近兩年大家慣常聽到一個詞“大數據”，什么是大數據?顧名思義，大數據指數據總量巨大，其中包含各個類型的數據庫體系。IBM曾經做過一個統計，世界上90%的可用數據，是在過去兩年內所產生的。數據之所以龐大主要來自于機器的介入，從流水線上某一臺中控設備的每一個傳感信息到智能終端上每一次用戶點擊，時時刻刻都在產生數據。

　　對于數據的有效利用已經成為各個公司首要關心的事情，他們借助于整合公司多樣化的數據子集來幫助企業實現項目推進與業務開展。珍島電商將與各位分享如何有效利用大數據。

　　企業要修煉成大數據企業，要從兩大方向著手：內部的構建和外部的互動。那么如何實現內部的數據構建：

　　如何實現企業數據化?

　　不同的企業對數據的關注點不一樣，要首先明確我們需要什么樣的數據，以人為中心還是以產品為中心。明確了這一點后，在經營過程中把數據采集下來，哪怕是當前沒什么用的數據也要保存，說不定某一天會有價值。以產品為中心主要靠技術手段采集，以人為中心有時還要靠人來采集。例如，某餐廳的客人來就餐時，發生的一切行為都要記錄。比如來了幾個人，性別，年齡，有老人或小孩嗎?排隊用了多久?是慕名而來還是偶然路過?點了什么菜，看了什么菜，點菜時長?用餐時長，對菜品的滿意度。大數據的步就是企業數據化。

　　企業要如何建立自己的數據管理平臺?

　　對于中小型企業，數據的存儲可以考慮使用外部的云端數據中心，目前外部數據中心的成本已經非常低了。在企業內部還是要建立自己的數據分析架構，其中要用到一些常用的數據工具。很多中小公司對數據管理和數據應用只是簡單地輸入日報表，周報表，然后是月報表。然后根據這些報表由公司領導給出下一階段的決策。這些報表通常都是固定格式，只是數據不同。決策層長期以往，思維將會被禁錮在這些一成不變的表格中。很多決策層已經認識到這一點，于是他們說“給我新的東西看”甚至明確要求我要什么形式，什么維度的報表。于是我們的DBA們開始敲代碼，跑數據，后面是領導不停的催，折騰個一兩天是很正常的事，終于跑出一張報表了。有時剛交上去，報表需求又變了，我還要XX的報表，于是又是一次循環，又是一兩天。好了，一周就這么過去了。市場在這一周里又發生了很多變化。這就是傳統的數據分析，甚至還談不上數據挖掘，感覺永遠是慢一拍。類似這種公司的數據量不大不小，來源固定，比如百貨行業，自建的網上商場，垂直類電商。對于這種首先要改善的是速度和敏捷。在明確了那些固定報表，和常用分析維度后，通過大數據技術手段我們完全可以把報表分析做到，實時查詢，主動提醒，對于臨時提出的分析要求也可以做到快速輸出報表。

　　那么如何實現，我們大致介紹下所要用到的實現方案。目前流行的大數據的解決方案大部分都是以Hadoop為基礎架構。什么是Hadoop?簡單來說Hadoop是一個分布式計算的解決方案，分布式通俗來說就是把一件事分布到幾臺計算機上運行。由多臺計算機同時運行和存儲數據，比一臺計算機運行速度快，而且如果數據量大了，或者報表復雜導致運算速度慢，只要再加計算機就解決了。當每臺計算機運算完畢后，會把中間結果集中到一臺計算機上，再把這些中間結果匯總起來得出終結果。這就是經典map/reduce模式。一句話總結就是：拆分任務，分布運算，匯總出結果。


　　每次的報表分析工作只要能按這套模式拆分成能分布運算的任務，并且任務結果可以合并成一個結果，就可以支持Hadoop的分布式運算，從而解決了分析速度的問題。

　　中小企業是否需要有一支具有大數據理念的“小數據”挖掘團隊?

　　目前中小企業對于大數據普遍存在的觀點：

　　我的數據量每月就那么多，或者網站的流量不多。從“量”上來說不多，從“樣”上來說也不廣，來源也很單一。所以我們沒有搞大數據的必要，離我們太遙遠了。

　　在大數據的浪潮下，做為中小公司對大數據的認識要有所求有所舍。中小公司關鍵要形成大數據的理念。作為一個合格的“數據科學家”不是一定要非常擅長互聯網，營銷之類，只要是熟悉就可以，重要是要有武器，什么樣的問題來了，我用什么武器應對，解決方案是什么，可行性是多少。　　除了結構化數據以外還有文本，音頻，圖像，網絡，行為軌跡，時間維等非結構化數據，這些數據如果處理?解決方案是什么?

　　要懂預測，大數據終就是用于預測，預測中會用到很多方法是基于機器學習的，其中比較熱門的是集群學習。

　　懂分布式計算，前面提到了一點分布式計算的皮毛，如Hadoop，但不是說知道這點術語和概念就可以了，關鍵是要會靈活使用這些工具和技術。面對一堆數據，要用什么算法來實現map/reduce,哪些分析我只要hive就可以解決。要用開放的眼光，要知道公司里哪些數據對外部有重大價值，外部有什么數據能對公司產生重大價值，借他山之石以攻玉，實現內部數據與外部數據的整合。

　　隨著互聯網進程的深入推進，數據產生的時速和規模要遠遠超過現在，對于中小企業來說，越早培育起數據意識，才能應對這場互聯網的浪潮。