近兩年大家慣常聽到一個(gè)詞“大數(shù)據(jù)”，什么是大數(shù)據(jù)?顧名思義，大數(shù)據(jù)指數(shù)據(jù)總量巨大，其中包含各個(gè)類型的數(shù)據(jù)庫(kù)體系。IBM曾經(jīng)做過(guò)一個(gè)統(tǒng)計(jì)，世界上90%的可用數(shù)據(jù)，是在過(guò)去兩年內(nèi)所產(chǎn)生的。數(shù)據(jù)之所以龐大主要來(lái)自于機(jī)器的介入，從流水線上某一臺(tái)中控設(shè)備的每一個(gè)傳感信息到智能終端上每一次用戶點(diǎn)擊，時(shí)時(shí)刻刻都在產(chǎn)生數(shù)據(jù)。

　　對(duì)于數(shù)據(jù)的有效利用已經(jīng)成為各個(gè)公司首要關(guān)心的事情，他們借助于整合公司多樣化的數(shù)據(jù)子集來(lái)幫助企業(yè)實(shí)現(xiàn)項(xiàng)目推進(jìn)與業(yè)務(wù)開展。珍島電商將與各位分享如何有效利用大數(shù)據(jù)。

　　企業(yè)要修煉成大數(shù)據(jù)企業(yè)，要從兩大方向著手：內(nèi)部的構(gòu)建和外部的互動(dòng)。那么如何實(shí)現(xiàn)內(nèi)部的數(shù)據(jù)構(gòu)建：

　　如何實(shí)現(xiàn)企業(yè)數(shù)據(jù)化?

　　不同的企業(yè)對(duì)數(shù)據(jù)的關(guān)注點(diǎn)不一樣，要首先明確我們需要什么樣的數(shù)據(jù)，以人為中心還是以產(chǎn)品為中心。明確了這一點(diǎn)后，在經(jīng)營(yíng)過(guò)程中把數(shù)據(jù)采集下來(lái)，哪怕是當(dāng)前沒(méi)什么用的數(shù)據(jù)也要保存，說(shuō)不定某一天會(huì)有價(jià)值。以產(chǎn)品為中心主要靠技術(shù)手段采集，以人為中心有時(shí)還要靠人來(lái)采集。例如，某餐廳的客人來(lái)就餐時(shí)，發(fā)生的一切行為都要記錄。比如來(lái)了幾個(gè)人，性別，年齡，有老人或小孩嗎?排隊(duì)用了多久?是慕名而來(lái)還是偶然路過(guò)?點(diǎn)了什么菜，看了什么菜，點(diǎn)菜時(shí)長(zhǎng)?用餐時(shí)長(zhǎng)，對(duì)菜品的滿意度。大數(shù)據(jù)的步就是企業(yè)數(shù)據(jù)化。

　　企業(yè)要如何建立自己的數(shù)據(jù)管理平臺(tái)?

　　對(duì)于中小型企業(yè)，數(shù)據(jù)的存儲(chǔ)可以考慮使用外部的云端數(shù)據(jù)中心，目前外部數(shù)據(jù)中心的成本已經(jīng)非常低了。在企業(yè)內(nèi)部還是要建立自己的數(shù)據(jù)分析架構(gòu)，其中要用到一些常用的數(shù)據(jù)工具。很多中小公司對(duì)數(shù)據(jù)管理和數(shù)據(jù)應(yīng)用只是簡(jiǎn)單地輸入日?qǐng)?bào)表，周報(bào)表，然后是月報(bào)表。然后根據(jù)這些報(bào)表由公司領(lǐng)導(dǎo)給出下一階段的決策。這些報(bào)表通常都是固定格式，只是數(shù)據(jù)不同。決策層長(zhǎng)期以往，思維將會(huì)被禁錮在這些一成不變的表格中。很多決策層已經(jīng)認(rèn)識(shí)到這一點(diǎn)，于是他們說(shuō)“給我新的東西看”甚至明確要求我要什么形式，什么維度的報(bào)表。于是我們的DBA們開始敲代碼，跑數(shù)據(jù)，后面是領(lǐng)導(dǎo)不停的催，折騰個(gè)一兩天是很正常的事，終于跑出一張報(bào)表了。有時(shí)剛交上去，報(bào)表需求又變了，我還要XX的報(bào)表，于是又是一次循環(huán)，又是一兩天。好了，一周就這么過(guò)去了。市場(chǎng)在這一周里又發(fā)生了很多變化。這就是傳統(tǒng)的數(shù)據(jù)分析，甚至還談不上數(shù)據(jù)挖掘，感覺永遠(yuǎn)是慢一拍。類似這種公司的數(shù)據(jù)量不大不小，來(lái)源固定，比如百貨行業(yè)，自建的網(wǎng)上商場(chǎng)，垂直類電商。對(duì)于這種首先要改善的是速度和敏捷。在明確了那些固定報(bào)表，和常用分析維度后，通過(guò)大數(shù)據(jù)技術(shù)手段我們完全可以把報(bào)表分析做到，實(shí)時(shí)查詢，主動(dòng)提醒，對(duì)于臨時(shí)提出的分析要求也可以做到快速輸出報(bào)表。

　　那么如何實(shí)現(xiàn)，我們大致介紹下所要用到的實(shí)現(xiàn)方案。目前流行的大數(shù)據(jù)的解決方案大部分都是以Hadoop為基礎(chǔ)架構(gòu)。什么是Hadoop?簡(jiǎn)單來(lái)說(shuō)Hadoop是一個(gè)分布式計(jì)算的解決方案，分布式通俗來(lái)說(shuō)就是把一件事分布到幾臺(tái)計(jì)算機(jī)上運(yùn)行。由多臺(tái)計(jì)算機(jī)同時(shí)運(yùn)行和存儲(chǔ)數(shù)據(jù)，比一臺(tái)計(jì)算機(jī)運(yùn)行速度快，而且如果數(shù)據(jù)量大了，或者報(bào)表復(fù)雜導(dǎo)致運(yùn)算速度慢，只要再加計(jì)算機(jī)就解決了。當(dāng)每臺(tái)計(jì)算機(jī)運(yùn)算完畢后，會(huì)把中間結(jié)果集中到一臺(tái)計(jì)算機(jī)上，再把這些中間結(jié)果匯總起來(lái)得出終結(jié)果。這就是經(jīng)典map/reduce模式。一句話總結(jié)就是：拆分任務(wù)，分布運(yùn)算，匯總出結(jié)果。


　　每次的報(bào)表分析工作只要能按這套模式拆分成能分布運(yùn)算的任務(wù)，并且任務(wù)結(jié)果可以合并成一個(gè)結(jié)果，就可以支持Hadoop的分布式運(yùn)算，從而解決了分析速度的問(wèn)題。

　　中小企業(yè)是否需要有一支具有大數(shù)據(jù)理念的“小數(shù)據(jù)”挖掘團(tuán)隊(duì)?

　　目前中小企業(yè)對(duì)于大數(shù)據(jù)普遍存在的觀點(diǎn)：

　　我的數(shù)據(jù)量每月就那么多，或者網(wǎng)站的流量不多。從“量”上來(lái)說(shuō)不多，從“樣”上來(lái)說(shuō)也不廣，來(lái)源也很單一。所以我們沒(méi)有搞大數(shù)據(jù)的必要，離我們太遙遠(yuǎn)了。

　　在大數(shù)據(jù)的浪潮下，做為中小公司對(duì)大數(shù)據(jù)的認(rèn)識(shí)要有所求有所舍。中小公司關(guān)鍵要形成大數(shù)據(jù)的理念。作為一個(gè)合格的“數(shù)據(jù)科學(xué)家”不是一定要非常擅長(zhǎng)互聯(lián)網(wǎng)，營(yíng)銷之類，只要是熟悉就可以，重要是要有武器，什么樣的問(wèn)題來(lái)了，我用什么武器應(yīng)對(duì)，解決方案是什么，可行性是多少。　　除了結(jié)構(gòu)化數(shù)據(jù)以外還有文本，音頻，圖像，網(wǎng)絡(luò)，行為軌跡，時(shí)間維等非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)如果處理?解決方案是什么?

　　要懂預(yù)測(cè)，大數(shù)據(jù)終就是用于預(yù)測(cè)，預(yù)測(cè)中會(huì)用到很多方法是基于機(jī)器學(xué)習(xí)的，其中比較熱門的是集群學(xué)習(xí)。

　　懂分布式計(jì)算，前面提到了一點(diǎn)分布式計(jì)算的皮毛，如Hadoop，但不是說(shuō)知道這點(diǎn)術(shù)語(yǔ)和概念就可以了，關(guān)鍵是要會(huì)靈活使用這些工具和技術(shù)。面對(duì)一堆數(shù)據(jù)，要用什么算法來(lái)實(shí)現(xiàn)map/reduce,哪些分析我只要hive就可以解決。要用開放的眼光，要知道公司里哪些數(shù)據(jù)對(duì)外部有重大價(jià)值，外部有什么數(shù)據(jù)能對(duì)公司產(chǎn)生重大價(jià)值，借他山之石以攻玉，實(shí)現(xiàn)內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)的整合。

　　隨著互聯(lián)網(wǎng)進(jìn)程的深入推進(jìn)，數(shù)據(jù)產(chǎn)生的時(shí)速和規(guī)模要遠(yuǎn)遠(yuǎn)超過(guò)現(xiàn)在，對(duì)于中小企業(yè)來(lái)說(shuō)，越早培育起數(shù)據(jù)意識(shí)，才能應(yīng)對(duì)這場(chǎng)互聯(lián)網(wǎng)的浪潮。