大數(shù)據(jù)引領我們走向數(shù)據(jù)智能時代

大數(shù)據(jù)引領我們走向數(shù)據(jù)智能化時代

——BigData專題報告

易歡歡

yihh@gjzq

MSN：

SAC執(zhí)業(yè)編號：2

主要內(nèi)容什么是大數(shù)據(jù)？海量非結(jié)構化數(shù)據(jù)本身+處理方法大數(shù)據(jù)為什么重要？決定了企業(yè)是否有未來和業(yè)務可延伸范圍國外處于什么樣的一個情況？萬馬奔騰，搶占大數(shù)據(jù)高地大數(shù)據(jù)由哪些方面組成？技術、改造、數(shù)據(jù)提供商、展現(xiàn)方式大數(shù)據(jù)在中國的機遇？投資重點、規(guī)模巨大、長期大數(shù)據(jù)專題可能的演進路徑相關投資標的什么是大數(shù)據(jù)？

海量數(shù)據(jù)本身+處理方法指數(shù)型增長的海量數(shù)據(jù)所有研究都說明，未來數(shù)年數(shù)據(jù)量會呈現(xiàn)指數(shù)增長。根據(jù)麥肯錫全球研究院〔MGI〕估計，全球企業(yè)2021年在硬盤上存儲了超過7EB〔1EB等于10億GB〕的新數(shù)據(jù)，而消費者在PC和筆記本等設備上存儲了超過6EB新數(shù)據(jù)。1EB數(shù)據(jù)相當于美國國會圖書館中存儲的數(shù)據(jù)的4000多倍。事實上，我們?nèi)缃癞a(chǎn)生如此多的數(shù)據(jù)，以至于根本不可能全部存儲下來。例如，醫(yī)療衛(wèi)生提供商會處理掉他們所產(chǎn)生的90%的數(shù)據(jù)〔比方手術過程中產(chǎn)生的幾乎所有實時視頻圖像〕。存儲、分類、統(tǒng)計、建模、預測

的技術手段能夠在不同的數(shù)據(jù)類型中，進行交叉分析的技術，是大數(shù)據(jù)的核心技術之一。語義分析技術、圖文轉(zhuǎn)換技術、模式識別技術、地理信息技術等等，都在大數(shù)據(jù)分析時獲得應用。大數(shù)據(jù)為什么重要？決定企業(yè)是否有未來、業(yè)務可延伸范圍更高一層數(shù)據(jù)層面整合企業(yè)內(nèi)外部挖掘內(nèi)心需求經(jīng)過大數(shù)據(jù)改造的IT不再是一個冷冰冰的系統(tǒng)，而變成了推動業(yè)務開展，挖掘客戶內(nèi)心需求的真正推動劑；大數(shù)據(jù)將催生更多的應用領域需求。產(chǎn)生新的用戶量、給用戶產(chǎn)生行為指紋用戶在線的每一次點擊，每一次評論，每一個視頻點播，就是大數(shù)據(jù)的典型來源。互聯(lián)網(wǎng)企業(yè)之所以取得令人矚目的成績，其核心的本質(zhì)就是包括用戶網(wǎng)絡操作的大數(shù)據(jù)，進行記錄和分析，形成用戶“行為指紋〞，從而洞悉用戶的潛在的、真實的需求，形成預判。這是傳統(tǒng)企業(yè)花費重金都難以企及的夢想。所有傳統(tǒng)的產(chǎn)品公司都只能淪為這種新型用戶平臺級公司的附庸。國外什么情況？萬馬奔騰，搶占大數(shù)據(jù)高地衍生于亞馬遜、Google等互聯(lián)網(wǎng)公司前瞻來看，隨著互聯(lián)網(wǎng)對網(wǎng)民的理解，網(wǎng)民對網(wǎng)絡的反作用，互聯(lián)網(wǎng)將變得越來越智能。它在滿足你需求的同時，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型那么是Facebook。谷歌的盈利在于所有的軟件應用都是在線的。用戶在免費使用這些產(chǎn)品的同時，把個人的行為、喜好等信息也免費的送給了Google。因此Google的產(chǎn)品線越豐富，他對用戶的理解就越深入，他的廣告就越精準。廣告的價值就越高。這是正向的循環(huán)，谷歌好用的、免費得軟件產(chǎn)品，換取對用戶的理解；通過精準的廣告，找到生財之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘。互聯(lián)網(wǎng)越來越智能Google精確掌握用戶行為、獲取需求IBM\Oracle\EMC\Microsoft角力大數(shù)據(jù)

EMCEMC的大數(shù)據(jù)解決方案專注于使組織更有效地使用他們從不同來源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡上，網(wǎng)頁上，消費者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計算產(chǎn)品事業(yè)部正在開發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個產(chǎn)品。2021年7月收購數(shù)據(jù)庫軟件供給商Greenplum，花費3億美元2021年七月收購數(shù)據(jù)復制解決方案提供商DataDomain，花費24億美元不一定和大數(shù)據(jù)完全相關，EMC從2021年起收購了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM的策略是提供一個全面的方法來解決前所未有的信息爆炸提出的挑戰(zhàn)，因為信息量無論在流量、種類、速度還是活力上都是爆炸式增長IBM一直致力于擴大對包括數(shù)據(jù)倉庫中的大數(shù)據(jù)、信息流和結(jié)構化數(shù)據(jù)的分析在過去四年中，IBM已經(jīng)投入超過120億美元進行了23項相關并購，其中包括：2021年9月收購數(shù)據(jù)庫分析供給商Netezza公司，花費17億美元2021年10月收購網(wǎng)絡分析軟件供給商Coremetrics2021年10月收購數(shù)據(jù)分析和統(tǒng)計軟件提供商SPSS,花費12億美元2021年1月收購業(yè)務規(guī)那么管理軟件供給商ILOG,花費3億4千萬美元2007年花費20億美元收購商務智能軟件供給商Cognos微軟微軟提供了高性能計算能力，并在2005年靠WindowsComputeCluster效勞器進入相關市場最近，微軟的HPC部門開發(fā)了該公司的Dryad

并行處理技術社區(qū)技術預覽(CTP),第一步是向WindowsHPCServer的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫和數(shù)據(jù)庫軟件主要用于配合Sun的硬件，特別是它的最高端效勞2021年7月收購專注于數(shù)據(jù)復制和實時數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGateSoftware國外已經(jīng)開始投資應用美國國務院采用大數(shù)據(jù)技術開發(fā)新的美國護照系統(tǒng)。IBM宣布投資1億美元用于大數(shù)據(jù)研究；美國IT公司開始意識到大數(shù)據(jù)技術能夠為公司創(chuàng)造價值；大數(shù)據(jù)公司引入汽車行業(yè)高管人員擴展營銷業(yè)務；大數(shù)據(jù)組成？技術\改造\數(shù)據(jù)提供商\展現(xiàn)方式新玩家和新模式正在出現(xiàn)基于SQL語言:

面對OLAP的傳統(tǒng)行和列不基于SQL或map-reduce的:

由谷歌率先發(fā)起數(shù)據(jù)流:

基于運行商數(shù)據(jù)直接生成任意圖形新平臺技術數(shù)據(jù)入口/會聚數(shù)據(jù)平臺分析不同范圍的服務前提：傳統(tǒng)交付模式

-

單片或基于設備的解決方案云:

能夠充分利用物理設施的彈性，以實現(xiàn)處理快速增長數(shù)據(jù)的能力“數(shù)據(jù)庫將演變成一個虛擬的，基于云計算，超級可擴展的分布式平臺?！?ForresteranalystJimKobielus新的傳輸方案大數(shù)據(jù)的各局部組成大數(shù)據(jù)技術：圖像、音頻、視頻、非結(jié)構化、社交關系數(shù)據(jù)處理技術商；現(xiàn)有IT系統(tǒng)改造商：大數(shù)據(jù)咨詢公司、集成商、ERP、商務智能、客戶關系管理系統(tǒng)；終端提供商向數(shù)據(jù)提供商演進：對現(xiàn)有客戶數(shù)據(jù)的深度把握、建立客戶之間的社交和聯(lián)系；展現(xiàn)方式：大型控制中心、移動終端在多樣性、體量、速度三大特征的指引下，大數(shù)據(jù)將有新型的展現(xiàn)方式：大型控制中心和移動終端，實現(xiàn)數(shù)據(jù)的實時處理和快速決策。大數(shù)據(jù)在中國的機遇？投資重點\規(guī)模巨大\長期云計算、物聯(lián)網(wǎng)從政績工程變成實用工程國內(nèi)各地制定云計算“十二五〞規(guī)劃云計算、物聯(lián)網(wǎng)園區(qū)中國各地制定或公布了云計算、物聯(lián)網(wǎng)等產(chǎn)業(yè)規(guī)劃；這些工程的初始著眼點在房地產(chǎn)，政績工程居多，大數(shù)據(jù)作為核心內(nèi)容端，使得政績工程變?yōu)槭褂霉こ獭?/p>

云計算、物聯(lián)網(wǎng)、社交化媒體、GIS為大數(shù)據(jù)提供了豐富的數(shù)據(jù)來源。因此大數(shù)據(jù)中包括的每個用戶的身份、地點、時間、喜好、厭惡、社會關系等等大量的信息。伴隨數(shù)據(jù)挖掘和分析的技術開展，我們即將步入基于大數(shù)據(jù)的智能化時代。改變商業(yè)模式賣license賣效勞從對license的需求到對整體解決方案、服務的需求易復制、利潤率高邊際本錢為零賣人頭盜版客戶粘度高軟硬一體化利潤率較賣license低，需要解決復用問題因泛在計算而導致行業(yè)需求變化利用好海量的大數(shù)據(jù)，解決中國軟件公司賣人頭、賣授權、無粘度的商業(yè)模式，轉(zhuǎn)變?yōu)橐詳?shù)據(jù)效勞為核心的新商業(yè)模式。啟發(fā)各行業(yè)對IT系統(tǒng)投資新熱點不同行業(yè)中，企業(yè)信息化成熟度差異明顯；政府等行業(yè)的信息化成熟度明顯領先，總體處于擴展和整合優(yōu)化階段；除金融和電信之外的效勞行業(yè)的信息化建設成熟度相對較低,仍處在成長階段。對大數(shù)據(jù)的處理需求將啟發(fā)對于IT系統(tǒng)投資新熱點，證實IT推動業(yè)務開展，增加對IT投資。從IT系統(tǒng)走向大數(shù)據(jù)決策分析未來著眼點在于服務2000制造業(yè)金融電信政府互聯(lián)網(wǎng)企業(yè)自動化走向初步信息化快速發(fā)展整體解決方案需求年600億投資規(guī)模信息化走向移動互聯(lián)化基本架構已經(jīng)建立相對成熟500億以上投資規(guī)模手工化向自動化轉(zhuǎn)型：成熟度低成長階段中國建筑信息化投入占總收入0.03%建筑流通移動互聯(lián)化數(shù)據(jù)智能化大數(shù)據(jù)大數(shù)據(jù)專題可能的演進路徑中國互聯(lián)網(wǎng)重視并加大投資微博為新浪帶來巨大價值馬云的判斷來自于數(shù)據(jù)分析“2021年初,阿里巴巴平臺上整個買家詢盤數(shù)急劇下滑，歐美對中國采購在下滑。海關是賣了貨,出去以后再獲得數(shù)據(jù);而我們提前半年時間從詢盤上推斷出世界貿(mào)易發(fā)生變化了。〞馬云對未來的預測，是建立在對用戶行文分析的根底上。通常而言，買家在采購商品前，會比較多家供給商的產(chǎn)品，反映到阿里巴巴網(wǎng)站統(tǒng)計數(shù)據(jù)中，就是查詢點擊的數(shù)量和購置點擊的數(shù)量會保持一個相對的數(shù)值，綜合各個維度的數(shù)據(jù)可建立用戶行為模型。因為數(shù)據(jù)樣本巨大，保證用戶行為模型的準確性。因此在這個案例中，詢盤數(shù)據(jù)的下降，自然導致買盤的下降。騰訊在天津投資建立亞洲最大的數(shù)據(jù)中心；百度也在投資建立大數(shù)據(jù)處理中心；新浪推出企業(yè)微博產(chǎn)品，提供精準的數(shù)據(jù)分析效勞。更多行業(yè)的應用政府、金融、電信等行業(yè)投資建立大數(shù)據(jù)的處理分析手段，實現(xiàn)綜合治理、業(yè)務開拓等目標；應用到制造等更多行業(yè)。未來IT投資重心轉(zhuǎn)移結(jié)構化數(shù)據(jù)向非結(jié)構化數(shù)據(jù)演進，使得未來IT投資重點不再是建系統(tǒng)為核心，而是圍繞大數(shù)據(jù)為核心；海量數(shù)據(jù)可以在各個部門創(chuàng)造重大的財物價值，未來投資傾斜