企業(yè)大數(shù)據(jù)解決方案

1、大數(shù)據(jù)時代，澤佳助力企業(yè)發(fā)展大數(shù)據(jù)時代，澤佳助力企業(yè)發(fā)展2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 2 頁什么是大數(shù)據(jù)什么是大數(shù)據(jù)2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 3 頁數(shù)據(jù)無處不在數(shù)據(jù)無處不在任何時間，任何地點，任何事情，任何人任何時間，任何地點，任何事情，任何人? ?Anytime，anywhere，anything， anyone?休息中，隨意刷微博爬山時，記錄每一瞬間旅途中，處理公司事件工作時，實時掌握市場動態(tài)2013 北京澤佳公

2、司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 4 頁大數(shù)據(jù)時代已經(jīng)來到大數(shù)據(jù)時代已經(jīng)來到每分鐘都有大量數(shù)據(jù)產(chǎn)生1min486筆訂單（2012年11月）7.3萬筆交易數(shù)（2012年雙11）1.1GB文件下載9.5萬條微博發(fā)送14萬張照片上傳70TB處理數(shù)據(jù)2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 5 頁互聯(lián)網(wǎng)中的大數(shù)據(jù)互聯(lián)網(wǎng)中的大數(shù)據(jù)n Web 3.0時代，社交媒體網(wǎng)站數(shù)據(jù)出現(xiàn)井噴式激增，截至2013年3月底，新浪微博注冊用戶數(shù)增長到5.36億，日均活躍用戶數(shù)達到498

3、0萬，每日新增微博約2億。n 企業(yè)在大數(shù)據(jù)時代，面臨文化、戰(zhàn)略、組織、流程、信息化、公共公關(guān)系、人才培養(yǎng)方方面面的挑戰(zhàn)，同時也迎來重大的轉(zhuǎn)型機遇和飛躍契機。2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 6 頁互聯(lián)網(wǎng)中的大數(shù)據(jù)互聯(lián)網(wǎng)中的大數(shù)據(jù) 大數(shù)據(jù)在消費IT領域的作用更加明顯。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在

4、為你張羅生日、餐飲、旅游、結(jié)婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。大數(shù)據(jù)在消費IT領域的作用更加明顯。只要你用PC上網(wǎng)或手機瀏覽信息，你便在網(wǎng)絡上處處留照了，性別、年齡、愛好、蹤跡、信用等等便被大數(shù)據(jù)刻畫的一覽無余，恭喜你已經(jīng)成為數(shù)字透明人了！可能你都不知道自己下一步要干什么，產(chǎn)品經(jīng)銷商借助搜索引擎、電子商務平臺、旅游網(wǎng)站的數(shù)據(jù)根據(jù)你的瀏覽行為已經(jīng)在為你張羅生日、餐飲、旅游、結(jié)婚、生子、購房、購車了，特價機票、婚紗、尿不濕、奶粉、海景房等廣告已經(jīng)為你編排好了。2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting

5、 Corporation第 7 頁企業(yè)企業(yè)ITIT進入進入2.02.0時代時代 隨著公司業(yè)務的增長，大量和流程、規(guī)則相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)也爆發(fā)式增長。比如：1、業(yè)務系統(tǒng)現(xiàn)在平均每天存儲20萬張圖片，磁盤空間每天消耗100G；2、平均每天產(chǎn)生簽約視頻文件6000個，每個平均250M，磁盤空間每天消耗1T;2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 8 頁大數(shù)據(jù)的特性大數(shù)據(jù)的特性 V V V V價值Veracity體量Volume多樣性Variety速度Velocity68%31%來源多；格式多：大數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化

6、數(shù)據(jù)，郵件，Word,圖片，音頻信息，視頻信息。最新研究報告，到2020年，全球數(shù)據(jù)使用量預計暴增44倍，達到35.2ZB。價值密度低，猶如沙里淘金，海量業(yè)務中尋找價值。1秒定律，實時獲取所需要的數(shù)據(jù)，為決策提供依據(jù)。2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 9 頁企業(yè)大數(shù)據(jù)的挑戰(zhàn)企業(yè)大數(shù)據(jù)的挑戰(zhàn)業(yè)務數(shù)據(jù)的映射提取大數(shù)據(jù)價值大數(shù)據(jù)隱私大數(shù)據(jù)分析2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 10 頁澤佳建議企業(yè)大數(shù)據(jù)解決方案澤佳建議企業(yè)大數(shù)據(jù)解決方案

7、2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 11 頁大數(shù)據(jù)基礎架構(gòu)要求大數(shù)據(jù)基礎架構(gòu)要求n 可預測的低延遲n 高事務參數(shù)n 靈活的數(shù)據(jù)結(jié)構(gòu)n 高吞吐量n 就地準備n 所有數(shù)據(jù)源和結(jié)構(gòu)n 深度分析n 敏捷開發(fā)n 高度可伸縮性n 實時n 流數(shù)據(jù)n 運營影響2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 12 頁澤佳大數(shù)據(jù)解決方案，以數(shù)據(jù)融合、綜合處理為方向澤佳大數(shù)據(jù)解決方案，以數(shù)據(jù)融合、綜合處理為方向大交易數(shù)據(jù)大交互數(shù)據(jù)大交易融合大數(shù)據(jù)處理企業(yè)供應鏈消費者

8、SNS互聯(lián)網(wǎng)物聯(lián)網(wǎng)移動終端OLTP實時 交易處理OLAP實時分析處理SOCIAL MEDIA DATAOTHERINTERACTION DATAMachine/DeviceSensors/meters/RFID tags CDR/mobileSD，MM，PP，SD，F(xiàn)ICO。2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 13 頁澤佳大數(shù)據(jù)解決方案整體架構(gòu)澤佳大數(shù)據(jù)解決方案整體架構(gòu)企業(yè)內(nèi)外部協(xié)同（供應商+企業(yè)內(nèi)部+客戶+銀行+稅務+政府+社區(qū)+)外部信息（社交+電商+移動+視音頻+)開放式API和協(xié)議通用的設計和模型環(huán)境通用

9、數(shù)據(jù)管理環(huán)境交易數(shù)據(jù)管理社交數(shù)據(jù)管理移動數(shù)據(jù)管理主數(shù)據(jù)管理內(nèi)存數(shù)據(jù)管理企業(yè)數(shù)據(jù)倉庫管理數(shù)據(jù)存儲數(shù)據(jù)獲取數(shù)據(jù)組織數(shù)據(jù)分析數(shù)據(jù)展現(xiàn)無線數(shù)據(jù)管理信息管理和實時數(shù)據(jù)遷移聯(lián)合訪問實時大數(shù)據(jù)平臺門戶數(shù)據(jù)分析 電子郵件 辦公軟件大屏幕電腦桌面 移動終端企業(yè)級報告工具Ad hoc 即時查詢 例外分析非結(jié)構(gòu)化數(shù)據(jù)探索預測與挖掘2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 14 頁澤佳大數(shù)據(jù)解決方案體系澤佳大數(shù)據(jù)解決方案體系數(shù)據(jù)多樣性模式動態(tài)模式HDFS分布式文件系統(tǒng)Hbase分布式列存儲系統(tǒng)Sybase ESP事件流處理器Hdoop Map

10、ReduceBig Data ConnectorsYoung hong BI獲取組織分析決策復雜場景處理實 時決 策ETLEDW2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 15 頁一般企業(yè)數(shù)據(jù)處理平臺的基礎架構(gòu)一般企業(yè)數(shù)據(jù)處理平臺的基礎架構(gòu)2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 16 頁澤佳大數(shù)據(jù)解決方案基礎架構(gòu)澤佳大數(shù)據(jù)解決方案基礎架構(gòu)澤佳大數(shù)據(jù)平臺快速、可靠SCMSCMCRMCRMERPERP安全，部署，管理靈活體系MESMESPDMPDM

11、2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 17 頁澤佳建議企業(yè)大數(shù)據(jù)解決方案基礎架構(gòu)圖澤佳建議企業(yè)大數(shù)據(jù)解決方案基礎架構(gòu)圖2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 18 頁應用層數(shù)據(jù)分析應用層數(shù)據(jù)分析2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 19 頁視頻存儲視頻存儲2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corpora

12、tion第 20 頁離線日志分析離線日志分析2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 21 頁在線數(shù)據(jù)分析在線數(shù)據(jù)分析2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 22 頁大數(shù)據(jù)解決方案特點大數(shù)據(jù)解決方案特點澤佳大數(shù)據(jù)解決方案提供高速、低速兩種互聯(lián)解決方案，在節(jié)點間能夠建立起40Gb的互聯(lián)通路，徹底消除系統(tǒng)節(jié)點間通信的瓶頸。高性能高可擴展性高可靠相比較傳統(tǒng)的數(shù)據(jù)庫集群，澤佳大數(shù)據(jù)解決方案具有良好的可擴展性，隨著數(shù)據(jù)節(jié)點的增加，系統(tǒng)整體性能接近線性增

13、加。同時數(shù)據(jù)節(jié)點可以在系統(tǒng)運行中動態(tài)添加，對系統(tǒng)不會造成任何影響。因此企業(yè)可以根據(jù)自身業(yè)務需要，動態(tài)添加數(shù)據(jù)節(jié)點，當業(yè)務量較小時，配置較少的數(shù)據(jù)節(jié)點，隨著業(yè)務量的逐漸增多，添加相應的數(shù)據(jù)節(jié)點，從而滿足自身業(yè)務量增長的需求。澤佳大數(shù)據(jù)解決方案能自動地維護數(shù)據(jù)的多份復制，并且在任務失敗后能自動地重新部署（redeploy）計算任務。同時消除系統(tǒng)單點故障，系統(tǒng)中任意一個部分出現(xiàn)故障，系統(tǒng)將自動進行切換，保證用戶應用的無縫連接，具有較高的穩(wěn)定性和可靠性。2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 23 頁大數(shù)據(jù)應用技術(shù)大數(shù)據(jù)應用

14、技術(shù)2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 24 頁大數(shù)據(jù)的技術(shù)領域占位圖大數(shù)據(jù)的技術(shù)領域占位圖2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 25 頁澤佳大數(shù)據(jù)應用主要技術(shù)澤佳大數(shù)據(jù)應用主要技術(shù) Hadoop Hadoop 據(jù)IDC的預測，全球大數(shù)據(jù)市場2015年 將達170億美元規(guī)模，市場發(fā)展前景很大。而HadoopHadoop作為作為新一代的架構(gòu)和技術(shù)，因為有利于并行分布處理 “大數(shù)據(jù)”而備受重視。 Apache Hadoop 是一個用jav

15、a語言實現(xiàn)的軟件框架，在由大量計算機組成的集群中運行海量數(shù)據(jù)的分布式計算，它可以讓應用程序支持上千個節(jié)點和PB級別的數(shù)據(jù)。 Hadoop是項目的總稱，主要是由分布式存儲（HDFS）、分布式計算（MapReduce）等組成 。 2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 26 頁HadoopHadoop體系架構(gòu)體系架構(gòu)MapReduceHDFSHBasePigChuKwaHiveZooKeeperlPig是一個基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺，Pig為復雜的海量數(shù)據(jù)并行計算提供了一個簡易的操作和編程接口。lChukwa

16、是基于Hadoop的集群監(jiān)控系統(tǒng)，由yahoo貢獻。lHive是基于Hadoop的一個工具，提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務進行運行。lZooKeeper：高效的，可擴展的協(xié)調(diào)系統(tǒng),存儲和協(xié)調(diào)關(guān)鍵共享狀態(tài)。lHBase是一個開源的，基于列存儲模型的分布式數(shù)據(jù)庫。lHDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應用程序。lMapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corpora

17、tion第 27 頁HadoopHadoop核心設計核心設計2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 28 頁HDFSHDFS文件讀流程文件讀流程HDFS是一個分布式文件系統(tǒng)。有著高容錯性的特點，并且設計用來部署在低廉的硬件上，適合那些有著超大數(shù)據(jù)集的應用程序。lClient向NameNode發(fā)起文件讀取的請求。lNameNode返回文件存儲的DataNode的信息。lClient讀取文件信息。2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 29 頁

18、HDFSHDFS文件寫流程文件寫流程lClient向NameNode發(fā)起文件寫入的請求。lNameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。lClient將文件劃分為多個Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 30 頁MapReduceMapReduce映射、化簡編程模型映射、化簡編程模型輸入數(shù)據(jù)-Map分解任務-執(zhí)行并返回結(jié)果-Reduce匯總結(jié)果-輸出結(jié)果2013 北京澤佳公司版權(quán)

19、所有Copyright2013 Zejia Consulting Corporation第 31 頁HbaseHbase分布式數(shù)據(jù)存儲系統(tǒng)分布式數(shù)據(jù)存儲系統(tǒng)lClient：使用HBase RPC機制與HMaster和HRegionServer進行通信lZookeeper：協(xié)同服務管理，HMaster通過Zookeepe可以隨時感知各個HRegionServer的健康狀況lHMaster: 管理用戶對表的增刪改查操作lHRegionServer：HBase中最核心的模塊，主要負責響應用戶I/O請求，向HDFS文件系統(tǒng)中讀寫數(shù)據(jù)lHRegion:Hbase中分布式存儲的最小單元，可以理解成一個Ta

20、blelHStore：HBase存儲的核心。由MemStore和StoreFile組成。lHLog：每次用戶操作寫入Memstore的同時，也會寫一份數(shù)據(jù)到HLog文件2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 32 頁大數(shù)據(jù)未來發(fā)展瓶頸大數(shù)據(jù)未來發(fā)展瓶頸 通過對大數(shù)據(jù)產(chǎn)業(yè)鏈的分析，我們可以看到，在大數(shù)據(jù)產(chǎn)業(yè)鏈的各個生產(chǎn)環(huán)節(jié)中，各大公司都已開占位，隨著高性能計算機、海量數(shù)據(jù)的存儲和管理的流程的不斷優(yōu)化，技術(shù)能夠解決的問題終將不會成為問題。我們認為，真正會制約或者成為大數(shù)據(jù)發(fā)展和應用瓶頸的有三個環(huán)節(jié)：n 數(shù)據(jù)收集和提取的合

21、法性，數(shù)據(jù)隱私的保護和數(shù)據(jù)隱私應用之間的權(quán)衡。n 大數(shù)據(jù)發(fā)揮協(xié)同效應需要產(chǎn)業(yè)鏈各個環(huán)節(jié)的企業(yè)達成競爭與合作的平衡。n 大數(shù)據(jù)結(jié)論的解讀和應用。2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 33 頁NoSQL產(chǎn)品產(chǎn)品2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 34 頁大數(shù)據(jù)應用案例大數(shù)據(jù)應用案例2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 35 頁大數(shù)據(jù)行業(yè)應用分析大數(shù)據(jù)行業(yè)應用分

22、析應用可能性應用可能性電信政府（公共事業(yè)）交通金融醫(yī)療教育能源（電力/石油）n縱軸契合度：縱軸契合度：表示該用戶的IT應用特點與大數(shù)據(jù)特性的契合程度；n橫軸應用可能性橫軸應用可能性：表示該用戶出于主客觀因素在短期內(nèi)投資大數(shù)據(jù)的可能性；u 注：注：該位置為分析師訪談的綜合印象，為定性分析，圖中位置不代表具體數(shù)值HighHighMidMidLowLowLowLowMidMidHighHigh優(yōu)先關(guān)注行業(yè)用戶應用特點與大數(shù)據(jù)技術(shù)有較高的契合度，在主客觀條件上也有較高的應用可能性。值得關(guān)注行業(yè)用戶應有特點與大數(shù)據(jù)的契合度及應用可能性綜合較高適當關(guān)注行業(yè)用戶兩個維度暫時都不具備優(yōu)勢，可適當給予關(guān)注互聯(lián)網(wǎng)

23、（電子商務）契合度契合度流通零售制造2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 36 頁互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)需求分析互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)需求分析互聯(lián)網(wǎng)行業(yè)擁抱大數(shù)據(jù)的關(guān)鍵因素互聯(lián)網(wǎng)行業(yè)擁抱大數(shù)據(jù)的關(guān)鍵因素互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)的應用，會首先帶動社會化媒體、互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)的應用，會首先帶動社會化媒體、電子商務的快速發(fā)展，其他的互聯(lián)網(wǎng)分支也會緊追電子商務的快速發(fā)展，其他的互聯(lián)網(wǎng)分支也會緊追其后，整個行業(yè)在大數(shù)據(jù)的推動下將會蓬勃發(fā)展。其后，整個行業(yè)在大數(shù)據(jù)的推動下將會蓬勃發(fā)展。l互聯(lián)網(wǎng)行業(yè)對數(shù)據(jù)實時分析要求較高，例如廣告監(jiān)測、B2C業(yè)務，

24、往往要求在數(shù)秒內(nèi)返回上億行數(shù)據(jù)的分析，從而達到不影響用戶體驗和快速準確營銷的目的。l目前互聯(lián)網(wǎng)企業(yè)面對大數(shù)據(jù)，會普遍感覺到實時分析能力差、海量數(shù)據(jù)處理效率低、缺少分析方法、分析軟件能力差等問題?；ヂ?lián)網(wǎng)行業(yè)大數(shù)據(jù)分析面互聯(lián)網(wǎng)行業(yè)大數(shù)據(jù)分析面臨的主要問題臨的主要問題2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 37 頁騰訊基于騰訊基于HadoopHadoop的大數(shù)據(jù)架構(gòu)圖的大數(shù)據(jù)架構(gòu)圖2013 北京澤佳公司版權(quán)所有Copyright2013 Zejia Consulting Corporation第 38 頁騰訊大數(shù)據(jù)現(xiàn)狀騰訊大數(shù)據(jù)現(xiàn)狀 從業(yè)務角度