大數(shù)據(jù)時(shí)代生活工作與思維大變革

大數(shù)據(jù)時(shí)代——生活、工作與思維大變革大數(shù)據(jù)時(shí)代——生活、工作與思維大變革大數(shù)據(jù)時(shí)代——生活、工作與思維大變革一、認(rèn)識(shí)大數(shù)據(jù)二、大數(shù)據(jù)時(shí)代全新的思維方式三、大數(shù)據(jù)時(shí)代的挑戰(zhàn)四、大數(shù)據(jù)的應(yīng)用及案例交流講解大綱何為大？—數(shù)據(jù)度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes《紅樓夢(mèng)》含標(biāo)點(diǎn)87萬(wàn)字（不含標(biāo)點(diǎn)853509字）每個(gè)漢字占兩個(gè)字節(jié)：1漢字=16bit=2*8位=2bytes1GB約等于671部紅樓夢(mèng)1TB約等于631,903部1PB約等于647,068,911部美國(guó)國(guó)會(huì)圖書(shū)館藏書(shū)（151,785,778冊(cè)）（2011年4月：收錄數(shù)據(jù)235TB）1EB=4000倍美國(guó)國(guó)會(huì)圖書(shū)館存儲(chǔ)的信息量每天有2940億封電子郵件發(fā)出，如果這些是紙質(zhì)信件，在美國(guó)需要花費(fèi)兩年時(shí)間處理；每天有200萬(wàn)篇博客在網(wǎng)上發(fā)布，這些文章相當(dāng)于《時(shí)代》雜志刊發(fā)770年的總量；每天有2.5億張照片上傳至社交網(wǎng)站Facebook，如果都打印出來(lái)，摞在一起能有80個(gè)埃菲爾鐵塔那么高；每天有86.4萬(wàn)小時(shí)視頻被上傳至視頻網(wǎng)站Youtube，相當(dāng)于不間斷播放視頻98年；每天有1.87億個(gè)小時(shí)的音樂(lè)會(huì)在流媒體音樂(lè)網(wǎng)站Pandora上播放，如果一臺(tái)電腦從公元元年就開(kāi)始播放這些音樂(lè)會(huì)，到現(xiàn)在還沒(méi)完沒(méi)了地接著放；谷歌翻譯每天處理的文字?jǐn)?shù)量,每天翻譯次數(shù)達(dá)十億次，相當(dāng)于一百萬(wàn)冊(cè)圖書(shū)，超過(guò)了全世界的專業(yè)翻譯人員一年能夠翻譯的文字規(guī)模；百度每天的關(guān)鍵詞搜索量50億，谷歌33.3億；淘寶天貓雙11那一天營(yíng)業(yè)額達(dá)191億人民幣。中國(guó)小商品城全年成交額才580.03億元人民幣；累積起來(lái)，互聯(lián)網(wǎng)一天之內(nèi)產(chǎn)生的信息總量，可以裝滿1.68億張DVD光盤。……未來(lái)：物聯(lián)網(wǎng)每天產(chǎn)生的數(shù)據(jù)將會(huì)是海量的。一、認(rèn)識(shí)大數(shù)據(jù)（續(xù)）什么是大數(shù)據(jù)？

什么是大數(shù)據(jù)(big-data)？人們并未形成統(tǒng)一的認(rèn)識(shí)，一般而言，它是指規(guī)模遠(yuǎn)遠(yuǎn)超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)軟件處理能力的海量數(shù)據(jù)集合。這一概念首要是針對(duì)信息化社會(huì)數(shù)據(jù)“爆炸式”增長(zhǎng)，體量巨大而提出的。對(duì)于數(shù)據(jù)多大能稱之為“大數(shù)據(jù)”，業(yè)界并沒(méi)有統(tǒng)一的認(rèn)識(shí)，通常認(rèn)為100TB（太字節(jié)）是大數(shù)據(jù)的門檻。

簡(jiǎn)而言之，傳統(tǒng)方法無(wú)法處理的數(shù)據(jù)即為大數(shù)據(jù)。

據(jù)美國(guó)政府估計(jì)，全球每年由各類設(shè)備產(chǎn)生的數(shù)據(jù)達(dá)到約1.2ZB（1ZB=12億TB）。若用1粒沙代表1B數(shù)據(jù)，1PB（相當(dāng)于1000T）相當(dāng)于1英里長(zhǎng)、100碼寬的沙灘，而1.2ZB的數(shù)據(jù)就如同一片浩瀚的沙漠。一、認(rèn)識(shí)大數(shù)據(jù)（續(xù)）21世紀(jì)是數(shù)據(jù)信息大發(fā)展的時(shí)代，移動(dòng)互聯(lián)、社交網(wǎng)絡(luò)、電子商務(wù)等極大拓展了互聯(lián)網(wǎng)的邊界和應(yīng)用范圍，各種數(shù)據(jù)正在迅速膨脹并變大?；ヂ?lián)網(wǎng)（社交、搜索、電商）、移動(dòng)互聯(lián)網(wǎng)（微博）、物聯(lián)網(wǎng)（傳感器，智慧地球）、車聯(lián)網(wǎng)、GPS、醫(yī)學(xué)影像、安全監(jiān)控、金融（銀行、股市、保險(xiǎn)）、電信（通話、短信）都在瘋狂產(chǎn)生著數(shù)據(jù)。“大數(shù)據(jù)”的誕生：半個(gè)世紀(jì)以來(lái)，隨著計(jì)算機(jī)技術(shù)全面融入社會(huì)生活，信息爆炸已經(jīng)積累到了一個(gè)開(kāi)始引發(fā)變革的程度。它不僅使世界充斥著比以往更多的信息，而且其增長(zhǎng)速度也在加快。信息爆炸的學(xué)科如天文學(xué)和基因?qū)W，創(chuàng)造出了“大數(shù)據(jù)”這個(gè)概念*。如今，這個(gè)概念幾乎應(yīng)用到了所有人類智力及發(fā)展的領(lǐng)域中。2007年，圖靈獎(jiǎng)獲得者JimGray，提出“數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)(Data-IntensiveScientificDiscovery)”將成為科學(xué)研究的第四范式，“數(shù)據(jù)科學(xué)”拉開(kāi)了帷幕。2008年，《Nature》雜志出版專刊，討論大數(shù)據(jù)處理相關(guān)的一系列技術(shù)問(wèn)題和挑戰(zhàn)。2012年3月底，美國(guó)政府發(fā)布了大數(shù)據(jù)研發(fā)專項(xiàng)研究計(jì)劃(BigDataInitiative)，擬投入2億美元用于研究開(kāi)發(fā)科學(xué)探索、環(huán)境和生物醫(yī)學(xué)、教育和國(guó)家安全等重大領(lǐng)域和行業(yè)所急需的大數(shù)據(jù)處理技術(shù)和工具，把大數(shù)據(jù)研究上升到為國(guó)家戰(zhàn)略。2012年10月，中國(guó)計(jì)算機(jī)學(xué)會(huì)于成立大數(shù)據(jù)專家委員會(huì)，并在2012年12月發(fā)布調(diào)研報(bào)告，說(shuō)明數(shù)據(jù)科學(xué)的熱點(diǎn)問(wèn)題和發(fā)展趨勢(shì)。2012年3月29日，白宮發(fā)布美國(guó)政府的大數(shù)據(jù)計(jì)劃。通過(guò)提高從大型復(fù)雜的數(shù)字?jǐn)?shù)據(jù)集中提取知識(shí)和觀點(diǎn)的能力，承諾幫助加快在科學(xué)及工程中的步伐，加強(qiáng)國(guó)家安全，并改變教學(xué)研究。2/2/2023

我國(guó)的應(yīng)對(duì)

最早提出“大數(shù)據(jù)”時(shí)代已經(jīng)到來(lái)的機(jī)構(gòu)是全球知名咨詢公司麥肯錫。麥肯錫在研究報(bào)告中指出，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?！胞溈襄a的報(bào)告發(fā)布后，大數(shù)據(jù)迅速成為了計(jì)算機(jī)行業(yè)爭(zhēng)相傳誦的熱門概念，也引起了金融界的高度關(guān)注?！彪S著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，數(shù)據(jù)本身是資產(chǎn)，這一點(diǎn)在業(yè)界已經(jīng)形成共識(shí)?！叭绻f(shuō)云計(jì)算為數(shù)據(jù)資產(chǎn)提供了保管、訪問(wèn)的場(chǎng)所和渠道，那么如何盤活數(shù)據(jù)資產(chǎn)，使其為國(guó)家治理、企業(yè)決策乃至個(gè)人生活服務(wù)，

事實(shí)上，全球互聯(lián)網(wǎng)巨頭都已意識(shí)到了“大數(shù)據(jù)”時(shí)代，數(shù)據(jù)的重要意義。包括EMC、惠普(微博)、IBM、微軟(微博)在內(nèi)的全球IT巨頭紛紛通過(guò)收購(gòu)“大數(shù)據(jù)”相關(guān)廠商來(lái)實(shí)現(xiàn)技術(shù)整合，亦可見(jiàn)其對(duì)“大數(shù)據(jù)”的重視?！按髷?shù)據(jù)”作為一個(gè)較新的概念，目前尚未直接以專有名詞被我國(guó)政府提出來(lái)給予政策支持。不過(guò)，在工信部發(fā)布的物聯(lián)網(wǎng)“十二五”規(guī)劃上，把信息處理技術(shù)作為4項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一被提出來(lái)，其中包括了海量數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、圖像視頻智能分析，這都是大數(shù)據(jù)的重要組成部分。而另外3項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程，包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù)，也都及“大數(shù)據(jù)”密切相關(guān)。1.Volume2.Variety3.value4.Velocity結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)如今的數(shù)據(jù)類型早已不是單一的文本形式，訂單、日志、音頻，對(duì)處理能力提出了更高的要求沙里淘金，價(jià)值密度低以視頻為例，一部一小時(shí)的視頻，在連續(xù)不間斷監(jiān)控過(guò)程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過(guò)強(qiáng)大的機(jī)器算法更迅速地完成數(shù)據(jù)的價(jià)值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題實(shí)時(shí)獲取需要的信息大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)最顯著的特征。如今已是ZB時(shí)代，在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命“大量化(Volume)、多樣化(Variety)、快速化(Velocity)、價(jià)值密度低（Value）”就是“大數(shù)據(jù)”的顯著特征，或者說(shuō)，只有具備這些特點(diǎn)的數(shù)據(jù)，才是大數(shù)據(jù)。大數(shù)據(jù)的4V特征數(shù)據(jù)量巨大全球在2010年正式進(jìn)入ZB時(shí)代，IDC預(yù)計(jì)到2020年，全球?qū)⒖偣矒碛?5ZB的數(shù)據(jù)量大數(shù)據(jù)=海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)大數(shù)據(jù)包括：交易數(shù)據(jù)和交互數(shù)據(jù)集在內(nèi)的所有數(shù)據(jù)集海量交易數(shù)據(jù)：企業(yè)內(nèi)部的經(jīng)營(yíng)交易信息主要包括聯(lián)機(jī)交易數(shù)據(jù)和聯(lián)機(jī)分析數(shù)據(jù)，是結(jié)構(gòu)化的、通過(guò)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行管理和訪問(wèn)的靜態(tài)、歷史數(shù)據(jù)。通過(guò)這些數(shù)據(jù)，我們能了解過(guò)去發(fā)生了什么。海量交互數(shù)據(jù)：源于Facebook、Twitter、LinkedIn及其他來(lái)源的社交媒體數(shù)據(jù)構(gòu)成。它包括了呼叫詳細(xì)記錄CDR、設(shè)備和傳感器信息、GPS和地理定位映射數(shù)據(jù)、通過(guò)管理文件傳輸ManageFileTransfer協(xié)議傳送的海量圖像文件、Web文本和點(diǎn)擊流數(shù)據(jù)、科學(xué)信息、電子郵件等等?？梢愿嬖V我們未來(lái)會(huì)發(fā)生什么。海量數(shù)據(jù)處理：大數(shù)據(jù)的涌現(xiàn)已經(jīng)催生出了設(shè)計(jì)用于數(shù)據(jù)密集型處理的架構(gòu)。例如具有開(kāi)放源碼、在商品硬件群中運(yùn)行的ApacheHadoop。第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。第三層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的最終價(jià)值體現(xiàn)。大數(shù)據(jù)處理技術(shù)讓大數(shù)據(jù)能夠?yàn)槲宜茫髷?shù)據(jù)時(shí)代終于開(kāi)啟了。大數(shù)據(jù)及云計(jì)算

大數(shù)據(jù)及云計(jì)算

云計(jì)算的模式是業(yè)務(wù)模式，本質(zhì)是數(shù)據(jù)處理技術(shù)。

（肉體+靈魂）數(shù)據(jù)是資產(chǎn)，云為數(shù)據(jù)資產(chǎn)提供存儲(chǔ)、訪問(wèn)和計(jì)算。盤活資產(chǎn)，使其為國(guó)家治理、企業(yè)決策、個(gè)人生活服務(wù)，是大數(shù)據(jù)核心議題，也是云計(jì)算的最終方向。如果將云計(jì)算及大數(shù)據(jù)進(jìn)行一些比較，最明顯的區(qū)分在兩個(gè)方面：第一，在概念上兩者有所不同，云計(jì)算改變了IT，而大數(shù)據(jù)則改變了業(yè)務(wù)。然而大數(shù)據(jù)必須有云作為基礎(chǔ)架構(gòu)，才能得以順暢運(yùn)營(yíng)。第二，大數(shù)據(jù)和云計(jì)算的目標(biāo)受眾不同，云計(jì)算是CIO等關(guān)心的技術(shù)層，是一個(gè)進(jìn)階的IT解決方案。而大數(shù)據(jù)是CEO關(guān)注的、是業(yè)務(wù)層的產(chǎn)品，而大數(shù)據(jù)的決策者是業(yè)務(wù)層。大數(shù)據(jù)比云計(jì)算更為落地大數(shù)據(jù)不僅僅是“大”軟件是大數(shù)據(jù)的引擎大數(shù)據(jù)的應(yīng)用不僅僅是商業(yè)化服務(wù)管理大數(shù)據(jù)“易”，理解大數(shù)據(jù)“難”和數(shù)據(jù)中心（DataCenter）

一樣，軟件是大數(shù)據(jù)的驅(qū)動(dòng)力，軟件改變世界通過(guò)用戶行為分析實(shí)現(xiàn)精準(zhǔn)管理、科學(xué)決策和人性化服務(wù)是大數(shù)據(jù)的典型應(yīng)用，大數(shù)據(jù)在各行各業(yè)特別是公共服務(wù)領(lǐng)域具有廣闊的應(yīng)用前景消費(fèi)行業(yè)金融服務(wù)食品安全醫(yī)療衛(wèi)生軍事交通環(huán)保電子商務(wù)氣象雖然大數(shù)據(jù)是一個(gè)重大問(wèn)題，真正的問(wèn)題是讓大數(shù)據(jù)更有意義目前大數(shù)據(jù)管理多從架構(gòu)和并行等方面考慮，解決高并發(fā)數(shù)據(jù)存取的性能要求及數(shù)據(jù)存儲(chǔ)的橫向擴(kuò)展，但對(duì)非結(jié)構(gòu)化數(shù)據(jù)的內(nèi)容理解仍缺乏實(shí)質(zhì)性的突破和進(jìn)展，這是實(shí)現(xiàn)大數(shù)據(jù)資源化、知識(shí)化、普適化的核心非結(jié)構(gòu)化海量信息的智能化處理：自然語(yǔ)言理解、多媒體內(nèi)容理解、機(jī)器學(xué)習(xí)等大數(shù)據(jù)時(shí)代沒(méi)有隱私愛(ài)德華·斯諾登70萬(wàn)人，無(wú)人告知的在線實(shí)驗(yàn)，全球第一大社交網(wǎng)絡(luò)臉書(shū)（Facebook）隱秘進(jìn)行的情感測(cè)試近日曝光天下，業(yè)界一片嘩然。2012年，臉書(shū)（Facebook）的幕后試驗(yàn)旨在公測(cè)70萬(wàn)用戶在面對(duì)相應(yīng)的NewsFeed中的情感反應(yīng)和行為引導(dǎo)。具體說(shuō)來(lái)，臉書(shū)（Facebook）在頁(yè)面上人為的設(shè)置一些正面或是負(fù)面的情感性關(guān)鍵詞，同時(shí)控制用戶在自己的NewsFeed中得閱讀內(nèi)容，從而觀察用戶在自身Post中得行為表達(dá)。經(jīng)過(guò)大約一周的數(shù)據(jù)收集，臉書(shū)的數(shù)據(jù)分析員可以觀察到用戶對(duì)于社交網(wǎng)絡(luò)上的情緒反應(yīng)。對(duì)于70萬(wàn)用戶情緒被消無(wú)聲息的如此操控，臉書(shū)（Facebook）的行為無(wú)疑遭到了強(qiáng)烈的指控。臉書(shū)此次幕后試驗(yàn)的曝光，是一個(gè)警醒的明示。用戶、互聯(lián)網(wǎng)企業(yè)以及政府之間的權(quán)衡，是一個(gè)當(dāng)即也是長(zhǎng)期去努力協(xié)作的過(guò)程。在個(gè)人隱私和道德制約的前提下，“大數(shù)據(jù)“時(shí)代，不是一個(gè)濫用數(shù)據(jù)的時(shí)代，而是一個(gè)需要善用數(shù)據(jù)的時(shí)代。大數(shù)據(jù)屬于誰(shuí)？數(shù)據(jù)獨(dú)裁卓越的才華并不依賴大數(shù)據(jù)，大數(shù)據(jù)扼殺創(chuàng)新。如果對(duì)不可量化的事物進(jìn)行量化，我們將失去全面了解該事物的機(jī)會(huì)。？中國(guó)工程院院士鄔賀銓說(shuō)道，“智慧城市是使用智能計(jì)算技術(shù)使得城市的關(guān)鍵基礎(chǔ)設(shè)施的組成和服務(wù)更智能、互聯(lián)和有效，隨著智慧城市的建設(shè)，社會(huì)將步入“大數(shù)據(jù)”時(shí)代?！敝腔壅?wù)智慧交通智慧電網(wǎng)智慧教育智慧醫(yī)療……根據(jù)國(guó)家信息中心信息化研究部統(tǒng)計(jì)，目前我國(guó)提出智慧城市建設(shè)的城市總數(shù)已達(dá)到154個(gè)，預(yù)計(jì)投資規(guī)模超過(guò)1.5萬(wàn)億元。智慧城市必將產(chǎn)生大數(shù)據(jù)，利用大數(shù)據(jù)的思維來(lái)改變公共管理部門的形象。醫(yī)療可利用多種大數(shù)據(jù)手段臨床操作——1、療效比較研究

2、臨床決策支持系統(tǒng)

3、醫(yī)療數(shù)據(jù)透明度

4、遠(yuǎn)程醫(yī)療監(jiān)護(hù)

5、針對(duì)患者情況的先進(jìn)分析付款/定價(jià)——1、自動(dòng)化系統(tǒng)

2、醫(yī)保系統(tǒng)研發(fā)——1、預(yù)測(cè)模型

2、改進(jìn)臨床試驗(yàn)設(shè)計(jì)的統(tǒng)計(jì)工具和算法

3、臨床實(shí)驗(yàn)數(shù)據(jù)分析

4、個(gè)體化醫(yī)療

5、疾病模式分析新業(yè)務(wù)模型——1、患者臨床記錄和需求數(shù)據(jù)的聚合

2、在線平臺(tái)和社區(qū)公共衛(wèi)生醫(yī)療行業(yè)受益于大數(shù)據(jù)電子病歷醫(yī)療行業(yè)產(chǎn)生大數(shù)據(jù)（電子病歷），利用大數(shù)據(jù)的思維將會(huì)給醫(yī)療行業(yè)帶來(lái)變革。旅游業(yè)發(fā)展趨勢(shì)是：網(wǎng)絡(luò)化、散客化、大眾化。在大數(shù)據(jù)時(shí)代，必須運(yùn)用大數(shù)據(jù)思維，推行旅游的數(shù)字化管理，開(kāi)展數(shù)字化營(yíng)銷，為旅客提供精準(zhǔn)的個(gè)性化服務(wù)。購(gòu)物：不受時(shí)空限制，隨時(shí)隨地購(gòu)物。在看不到商品的情況下，口碑就是質(zhì)量。旅行：足不出戶，安排好一切。信息：人人都是傳媒。社交：你所有的朋友都能在網(wǎng)絡(luò)上找到。分析事物時(shí)，依賴該事物的所有數(shù)據(jù)，不再是進(jìn)行樣本分析。在大數(shù)據(jù)時(shí)代，允許不精確。更注重相關(guān)關(guān)系，而不是因果關(guān)系。一場(chǎng)生活、工作及思維的大變革大數(shù)據(jù)開(kāi)啟了一次重大的時(shí)代轉(zhuǎn)型。就想望遠(yuǎn)鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測(cè)微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式，成為新發(fā)明和新服務(wù)的源泉，而更多的改變正蓄勢(shì)待發(fā)……大數(shù)據(jù)，變革公共衛(wèi)生大數(shù)據(jù)，變革商業(yè)大數(shù)據(jù)，變革思維大數(shù)據(jù)，開(kāi)啟重大的時(shí)代轉(zhuǎn)型預(yù)測(cè)，大數(shù)據(jù)的核心大數(shù)據(jù)，大挑戰(zhàn)引言大變革思維商業(yè)管理1、大數(shù)據(jù)時(shí)代的思維變革2、大數(shù)據(jù)時(shí)代的商業(yè)變革3、大數(shù)據(jù)時(shí)代的管理變革1、大數(shù)據(jù)時(shí)代的思維變革1、大數(shù)據(jù)時(shí)代的思維變革—更多“更多”——不是隨機(jī)樣本，而是全體數(shù)據(jù)當(dāng)數(shù)據(jù)處理技術(shù)已經(jīng)發(fā)生翻天覆地的變化時(shí)，在大數(shù)據(jù)時(shí)代進(jìn)行抽樣分析就像在汽車時(shí)代騎馬一樣。一切都改變了，我們需要的是所有的數(shù)據(jù)，“樣本＝總體”。讓數(shù)據(jù)“發(fā)聲”小數(shù)據(jù)時(shí)代的隨機(jī)采樣，最少的數(shù)據(jù)獲得最多的信息全數(shù)據(jù)模式，樣本＝總體1、大數(shù)據(jù)時(shí)代的思維變革—更雜“更雜”——不是精確性，而是混雜性執(zhí)迷于精確性是信息缺乏時(shí)代和模擬時(shí)代的產(chǎn)物。只有5%的數(shù)據(jù)是有框架且能適用于傳統(tǒng)數(shù)據(jù)庫(kù)的。如果不能接受混亂，剩下95%的非框架數(shù)據(jù)都無(wú)法被利用，只有接受不精確性，我們才能打開(kāi)一扇從未涉足的世界的窗戶。允許不精確大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更有效紛繁的數(shù)據(jù)越多越好混雜性，不是竭力避免，而是標(biāo)準(zhǔn)途徑新的數(shù)據(jù)庫(kù)設(shè)計(jì)的誕生1、大數(shù)據(jù)時(shí)代的思維變革—更好“更好”——不是因果關(guān)系，而是相關(guān)關(guān)系知道“是什么”就夠了，沒(méi)必要知道“為什么”。在大數(shù)據(jù)時(shí)代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵“是什么”，而不是“為什么”改變，從操作方式開(kāi)始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒?、大數(shù)據(jù)時(shí)代的商業(yè)變革2、大數(shù)據(jù)時(shí)代的商業(yè)變革—數(shù)據(jù)化“數(shù)據(jù)化”——一切皆可“量化”大數(shù)據(jù)發(fā)展的核心動(dòng)力來(lái)源于人類測(cè)量、記錄和分析世界的渴望。信息技術(shù)變革隨處可見(jiàn)，但是如今信息技術(shù)變革的重點(diǎn)在“T”（技術(shù)）上，而不是在“I”(信息）上?，F(xiàn)在，我們是時(shí)候把聚光燈打向“I”，開(kāi)始關(guān)注信息本身了。數(shù)據(jù)，從最不可能的地方提取出來(lái)數(shù)據(jù)化，不是數(shù)字化量化一切，數(shù)據(jù)化的核心當(dāng)文字變成數(shù)據(jù)當(dāng)方位變成數(shù)據(jù)當(dāng)溝通成為數(shù)據(jù)一切事物的數(shù)據(jù)化2、大數(shù)據(jù)時(shí)代的商業(yè)變革—價(jià)值“價(jià)值”——“取之不盡，用之不竭”的數(shù)據(jù)創(chuàng)新數(shù)據(jù)就像一個(gè)神奇的鉆石礦，當(dāng)它的首要價(jià)值被發(fā)掘后仍能不斷給予。它的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而絕大部分都隱藏在表面之下。數(shù)據(jù)創(chuàng)新1：數(shù)據(jù)的再利用數(shù)據(jù)創(chuàng)新2：重組數(shù)據(jù)數(shù)據(jù)創(chuàng)新3：可擴(kuò)展數(shù)據(jù)數(shù)據(jù)創(chuàng)新4：數(shù)據(jù)的折舊值數(shù)據(jù)創(chuàng)新5：數(shù)據(jù)廢氣數(shù)據(jù)創(chuàng)新6：開(kāi)放數(shù)據(jù)給數(shù)據(jù)估值2、大數(shù)據(jù)時(shí)代的商業(yè)變革—角色定位“角色定位”——數(shù)據(jù)、技術(shù)及思維的三足鼎立微軟以1.1億美元的價(jià)格購(gòu)買了大數(shù)據(jù)公司Farecast，而兩年后谷歌則以7億美元的價(jià)格購(gòu)買了給Farecast提供數(shù)據(jù)的ITASoftware公司。如今，我們正處在大數(shù)據(jù)時(shí)代的早期，思維和技術(shù)是最有價(jià)值的，但是最終大部分價(jià)值還是必須從數(shù)據(jù)本身來(lái)挖掘。大數(shù)據(jù)價(jià)值的3大構(gòu)成大數(shù)據(jù)掌控公司大數(shù)據(jù)技術(shù)公司大數(shù)據(jù)思維公司和個(gè)人全新的數(shù)據(jù)中間商專家的消亡及數(shù)據(jù)科學(xué)家的崛起大數(shù)據(jù)，決定企業(yè)的競(jìng)爭(zhēng)力3、大數(shù)據(jù)時(shí)代的管理變革3、大數(shù)據(jù)時(shí)代的管理變革—風(fēng)險(xiǎn)“風(fēng)險(xiǎn)”——讓數(shù)據(jù)主宰一切的隱憂我們時(shí)刻都暴露在“第三只眼”之下：亞馬遜監(jiān)視著我們的購(gòu)物習(xí)慣，谷歌監(jiān)視著我們的網(wǎng)頁(yè)瀏覽習(xí)慣，而微博似乎什么都知道，不僅竊聽(tīng)到了我們心中的“TA”，還有我們的社交關(guān)系網(wǎng)。無(wú)處不在的“第三只眼”我們的隱私被二次利用了預(yù)測(cè)及懲罰，不是因?yàn)椤八觥?，而是因?yàn)椤皩⒆觥睌?shù)據(jù)獨(dú)裁掙脫大數(shù)據(jù)的困境3、大數(shù)據(jù)時(shí)代的管理變革—掌控“掌控”——責(zé)任及自由并舉的信息管理當(dāng)世界開(kāi)始邁向大數(shù)據(jù)時(shí)代時(shí)，社會(huì)也將經(jīng)歷類似的地殼運(yùn)動(dòng)。在改變?nèi)祟惢镜纳罴八伎挤绞降耐瑫r(shí)，大數(shù)據(jù)早已在推動(dòng)人類信息管理準(zhǔn)則上重新定位。然而，不同于印刷革命，我們沒(méi)有幾個(gè)世紀(jì)的時(shí)間去適應(yīng)，我們也許只有幾年時(shí)間。管理變革1：個(gè)人隱私保護(hù)，從個(gè)人許可到讓數(shù)據(jù)使用者承擔(dān)責(zé)任管理變革2：個(gè)人動(dòng)因VS預(yù)測(cè)分析管理變革3：擊碎黑盒子，大數(shù)據(jù)程序員的崛起管理變革4：反數(shù)據(jù)壟斷大亨結(jié)語(yǔ)正在發(fā)生的未來(lái)大數(shù)據(jù)并不是一個(gè)充斥著算法和機(jī)器的冰冷世界，人類的作用依然無(wú)法被完全替代。大數(shù)據(jù)為我們提供的不是最終答案，只是參考答案，幫助是暫時(shí)的，而更好的方法和答案還在不久的未來(lái)。三、大數(shù)據(jù)時(shí)代的挑戰(zhàn)國(guó)外什么情況？萬(wàn)馬奔騰，搶數(shù)據(jù)高地衍生于亞馬遜、Google等互聯(lián)網(wǎng)公司前瞻來(lái)看，隨著互聯(lián)網(wǎng)對(duì)網(wǎng)民的理解，網(wǎng)民對(duì)網(wǎng)絡(luò)的反作用，互聯(lián)網(wǎng)將變得越來(lái)越智能。它在滿足你需求的同時(shí)，也在創(chuàng)造新的需求。前者的代表是Google，后者的典型則是Facebook。谷歌的盈利在于所有的軟件應(yīng)用都是在線的。用戶在免費(fèi)使用這些產(chǎn)品的同時(shí)，把個(gè)人的行為、喜好等信息也免費(fèi)的送給了Google。因此Google的產(chǎn)品線越豐富，他對(duì)用戶的理解就越深入，他的廣告就越精準(zhǔn)。廣告的價(jià)值就越高。這是正向的循環(huán)，谷歌好用的、免費(fèi)得軟件產(chǎn)品，換取對(duì)用戶的理解；通過(guò)精準(zhǔn)的廣告，找到生財(cái)之道。顛覆了微軟賣軟件拷貝賺錢的模式。成為互聯(lián)網(wǎng)的巨擘?；ヂ?lián)網(wǎng)越來(lái)越智能Google精確掌握用戶行為、獲取需求IBM\Oracle\EMC\Microsoft角力大數(shù)據(jù)

EMCEMC的大數(shù)據(jù)解決方案專注于使組織更有效地使用他們從不同來(lái)源產(chǎn)生的數(shù)據(jù)，包括網(wǎng)絡(luò)上，網(wǎng)頁(yè)上，消費(fèi)者，監(jiān)控系統(tǒng)和傳感器。EMC的數(shù)據(jù)計(jì)算產(chǎn)品事業(yè)部正在開(kāi)發(fā)分析工具以解決大數(shù)據(jù)現(xiàn)象。EMC的大數(shù)據(jù)解決方案包括40多個(gè)產(chǎn)品。2010年7月收購(gòu)數(shù)據(jù)庫(kù)軟件供應(yīng)商Greenplum，花費(fèi)3億美元2009年七月收購(gòu)數(shù)據(jù)復(fù)制解決方案提供商DataDomain，花費(fèi)24億美元不一定和大數(shù)據(jù)完全相關(guān)，EMC從2009年起收購(gòu)了ArcherTechnologies,SourceLabs,FastScaleTechnology,Configuresoft,andVaronisSystems。IBMIBM的策略是提供一個(gè)全面的方法來(lái)解決前所未有的信息爆炸提出的挑戰(zhàn)，因?yàn)樾畔⒘繜o(wú)論在流量、種類、速度還是活力上都是爆炸式增長(zhǎng)IBM一直致力于擴(kuò)大對(duì)包括數(shù)據(jù)倉(cāng)庫(kù)中的大數(shù)據(jù)、信息流和結(jié)構(gòu)化數(shù)據(jù)的分析在過(guò)去四年中，IBM已經(jīng)投入超過(guò)120億美元進(jìn)行了23項(xiàng)相關(guān)并購(gòu)，其中包括：2010年9月收購(gòu)數(shù)據(jù)庫(kù)分析供應(yīng)商N(yùn)etezza公司，花費(fèi)17億美元2010年10月收購(gòu)網(wǎng)絡(luò)分析軟件供應(yīng)商Coremetrics2009年10月收購(gòu)數(shù)據(jù)分析和統(tǒng)計(jì)軟件提供商SPSS,花費(fèi)12億美元2009年1月收購(gòu)業(yè)務(wù)規(guī)則管理軟件供應(yīng)商ILOG,花費(fèi)3億4千萬(wàn)美元2007年花費(fèi)20億美元收購(gòu)商務(wù)智能軟件供應(yīng)商Cognos微軟微軟提供了高性能計(jì)算能力，并在2005年靠WindowsComputeCluster服務(wù)器進(jìn)入相關(guān)市場(chǎng)最近，微軟的HPC部門開(kāi)發(fā)了該公司的Dryad

并行處理技術(shù)社區(qū)技術(shù)預(yù)覽(CTP),第一步是向WindowsHPCServer的用戶提供處理大數(shù)據(jù)工具甲骨文甲骨文大數(shù)據(jù)提供的數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)軟件主要用于配合Sun的硬件，特別是它的最高端服務(wù)2009年7月收購(gòu)專注于數(shù)據(jù)復(fù)制和實(shí)時(shí)數(shù)據(jù)集成解決方案的私人企業(yè)GoldenGateSoftware國(guó)外已經(jīng)開(kāi)始投資應(yīng)用美國(guó)國(guó)務(wù)院采用大數(shù)據(jù)技術(shù)開(kāi)發(fā)新的美國(guó)護(hù)照系統(tǒng)。IBM宣布投資1億美元用于大數(shù)據(jù)研究；美國(guó)IT公司開(kāi)始意識(shí)到大數(shù)據(jù)技術(shù)能夠?yàn)楣緞?chuàng)造價(jià)值；大數(shù)據(jù)公司引入汽車行業(yè)高管人員擴(kuò)展?fàn)I銷業(yè)務(wù)；成功企業(yè)具備時(shí)代特征大數(shù)據(jù)云計(jì)算物聯(lián)網(wǎng)平臺(tái)移動(dòng)互聯(lián)語(yǔ)義網(wǎng)智能化大數(shù)據(jù)時(shí)代能產(chǎn)生大數(shù)據(jù)，如電信運(yùn)營(yíng)商，互聯(lián)網(wǎng)門戶具備大數(shù)據(jù)挖掘能力，如google，百度能應(yīng)用大數(shù)據(jù)進(jìn)行垂直整合，如蘋果，淘寶工業(yè)時(shí)代信息時(shí)代手工時(shí)代大數(shù)據(jù)時(shí)代典型特征在大數(shù)據(jù)時(shí)代，讓數(shù)據(jù)成為資產(chǎn)，三類企業(yè)將獲得成功時(shí)代變遷掌握”入口”是共性58SONY沒(méi)落原因總結(jié)：“新一代基于互聯(lián)網(wǎng)DNA企業(yè)的核心能力在于利用新模式和新技術(shù)更加貼近消費(fèi)者、深刻理解需求、高效分析信息并作出預(yù)判，所有傳統(tǒng)的產(chǎn)品公司都只能淪為這種新型用戶平臺(tái)級(jí)公司的附庸，其衰落不是管理能扭轉(zhuǎn)的。互聯(lián)網(wǎng)的魅力就是thepoweroflowend?！薄鼍熘⊿ONY前董事長(zhǎng)兼首席執(zhí)行官）他們?cè)?jīng)偉大，但在沒(méi)落Nextwho?59平臺(tái)化滿足用戶個(gè)性化需求，企業(yè)才能持續(xù)領(lǐng)先自動(dòng)交互個(gè)性化需求滿足平臺(tái)自愿進(jìn)入自我增值產(chǎn)品銷售規(guī)?；a(chǎn)品供應(yīng)流程批量生產(chǎn)服務(wù)響應(yīng)顛覆性創(chuàng)新傳統(tǒng)的以產(chǎn)品營(yíng)銷和服務(wù)為核心的商業(yè)模式，構(gòu)建以用戶需求為核心的平臺(tái)生態(tài)圈，形成用戶：自愿進(jìn)入（搭建以用戶為核心的開(kāi)放交互平臺(tái)）；自動(dòng)交互（過(guò)程中應(yīng)用大數(shù)據(jù)分析挖掘形成用戶知識(shí)）；自我增值（整合網(wǎng)絡(luò)資源為用戶提供個(gè)性化解決方案服務(wù)）的商業(yè)模式60向平臺(tái)生態(tài)圈企業(yè)轉(zhuǎn)型，企業(yè)需經(jīng)歷三個(gè)階段平臺(tái)化轉(zhuǎn)型期采集大數(shù)據(jù)，形成“入口”能力（~1年時(shí)間）平臺(tái)化發(fā)展期應(yīng)用“入口”大數(shù)據(jù)，服務(wù)產(chǎn)品化（2~3年時(shí)間）平臺(tái)生態(tài)圈發(fā)展期垂直整合，“入口”能力釋放（持續(xù)發(fā)展）開(kāi)發(fā)能采集用戶大數(shù)據(jù)的智能產(chǎn)品、完善運(yùn)營(yíng)大數(shù)據(jù)的采集能力形成大數(shù)據(jù)采集、存儲(chǔ)和管理的技術(shù)平臺(tái)內(nèi)外部數(shù)據(jù)梳理和整合，形成統(tǒng)一的用戶大數(shù)據(jù)和運(yùn)營(yíng)大數(shù)據(jù)整合數(shù)據(jù)挖掘資源和能力，應(yīng)用內(nèi)外大數(shù)據(jù)支撐產(chǎn)品領(lǐng)先和消費(fèi)體驗(yàn)領(lǐng)先戰(zhàn)略發(fā)展大數(shù)據(jù)技術(shù)平臺(tái)成熟基于用戶的大數(shù)據(jù)內(nèi)生和應(yīng)用平臺(tái)形成形成1~2個(gè)領(lǐng)先型大數(shù)據(jù)產(chǎn)品擁有強(qiáng)大的數(shù)據(jù)挖掘資源和能力，對(duì)大數(shù)據(jù)進(jìn)行價(jià)值挖掘和應(yīng)用，數(shù)據(jù)價(jià)值開(kāi)始顯著發(fā)揮形成網(wǎng)絡(luò)化的大數(shù)據(jù)采集體系整合相關(guān)資源形成開(kāi)放生態(tài)圈平臺(tái)，成為平臺(tái)生態(tài)圈發(fā)展的主導(dǎo)者基于生態(tài)圈平臺(tái)，能為用戶提供多元化的精確性服務(wù)，搶占用戶的心理份額、生活份額、錢包份額61數(shù)據(jù)源內(nèi)部結(jié)構(gòu)化數(shù)據(jù)外部其他渠道網(wǎng)絡(luò)/應(yīng)用日志EDW（內(nèi)外部結(jié)構(gòu)化數(shù)據(jù)）用戶基本信息數(shù)據(jù)庫(kù)Hadoop（內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)）Hadoop/GPFSClusterMapReduce&Analytics網(wǎng)絡(luò)日志分析內(nèi)容分析交互數(shù)據(jù)分析個(gè)體分析用戶購(gòu)買記錄數(shù)據(jù)庫(kù)用戶維修記錄數(shù)據(jù)庫(kù)內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)社會(huì)化媒體數(shù)據(jù)生產(chǎn)、銷售、服務(wù)、售后數(shù)據(jù)數(shù)據(jù)應(yīng)用倉(cāng)庫(kù)用戶在線瀏覽據(jù)庫(kù)用戶安裝配送數(shù)據(jù)庫(kù)。。。。。其他數(shù)據(jù)集清洗整合用戶數(shù)據(jù)清洗整合規(guī)則確定ETLDQ數(shù)據(jù)清洗、整合、轉(zhuǎn)換開(kāi)發(fā)清洗整合規(guī)則自動(dòng)調(diào)度規(guī)則與標(biāo)準(zhǔn)制定用戶信息歸屬規(guī)則確定用戶數(shù)據(jù)使用權(quán)限與流程確定用戶數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)確定數(shù)據(jù)應(yīng)用/服務(wù)營(yíng)銷/關(guān)懷活動(dòng)自動(dòng)化管理商業(yè)智能管理駕駛艙業(yè)務(wù)報(bào)表專題分析嵌入運(yùn)營(yíng)系統(tǒng)的大數(shù)據(jù)應(yīng)用信息可視化工具CRMSCMMESPLM平臺(tái)化企業(yè)，需要大數(shù)據(jù)架構(gòu)的支撐【案例】阿里大數(shù)據(jù)平臺(tái)生態(tài)圈發(fā)展史內(nèi)部建設(shè)天梯1技術(shù)平臺(tái)業(yè)務(wù)需求驅(qū)動(dòng)，分析PV，UV等行業(yè)基礎(chǔ)指標(biāo)，優(yōu)化用戶消費(fèi)體驗(yàn)在小網(wǎng)站聯(lián)盟投放廣告，并進(jìn)行精準(zhǔn)投放分析需求，發(fā)展聚集用戶，發(fā)展入口~20062007~20112012~入口爆發(fā)式增長(zhǎng)，用戶大數(shù)據(jù)形成數(shù)據(jù)開(kāi)放，形成系列化產(chǎn)品應(yīng)用：為商戶提供“活動(dòng)直播間”、“數(shù)據(jù)魔方”、“量子恒道”等付費(fèi)服務(wù)；為用戶提供“一淘”、“雙11”、“聚劃算”等免費(fèi)服務(wù)或活動(dòng)；為內(nèi)部提供“淘數(shù)據(jù)”，“KPI系統(tǒng)”等產(chǎn)品技術(shù)平臺(tái)向Hadoop開(kāi)源平臺(tái)遷移投資sina微博，開(kāi)展微博社會(huì)化網(wǎng)購(gòu)?fù)顿Y高德，整合位置地理信息資源聯(lián)合基金公司，發(fā)展用戶互聯(lián)網(wǎng)金融為企業(yè)和用戶提供信貸，發(fā)展供應(yīng)鏈金融投資UC，強(qiáng)化移動(dòng)互聯(lián)入口······平臺(tái)生態(tài)圈成熟期垂直整合發(fā)展平臺(tái)生態(tài)圈發(fā)展期入口聚集用戶，服務(wù)產(chǎn)品化發(fā)展平臺(tái)建設(shè)初期聚集用戶，發(fā)展入口6364四、大數(shù)據(jù)的應(yīng)用及案例交流在農(nóng)業(yè)領(lǐng)域，硅谷有個(gè)氣候公司，從美國(guó)氣象局等數(shù)據(jù)庫(kù)中獲得幾十年的天氣數(shù)據(jù)，將各地降雨、氣溫、土壤狀況及歷年農(nóng)作物產(chǎn)量的相關(guān)度做成精密圖表，預(yù)測(cè)農(nóng)場(chǎng)來(lái)年產(chǎn)量，向農(nóng)戶出售個(gè)性化保險(xiǎn)。在商業(yè)領(lǐng)域，沃爾瑪公司通過(guò)分析銷售數(shù)據(jù)，了解顧客購(gòu)物習(xí)慣，得出適合搭配在一起出售的商品，還可從中細(xì)分顧客群體，提供個(gè)性化服務(wù)。在金融領(lǐng)域，華爾街“德溫特資本市場(chǎng)”公司分析3.4億微博賬戶留言，判斷民眾情緒，依據(jù)人們高興時(shí)買股票、焦慮時(shí)拋售股票的規(guī)律，決定公司股票的買入或賣出。阿里公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財(cái)務(wù)健康和講究誠(chéng)信的企業(yè)，對(duì)他們發(fā)放無(wú)需擔(dān)保的貸款。目前已放貸300多億元，壞賬率僅0.3%。在醫(yī)療保健領(lǐng)域，“谷歌流感趨勢(shì)”項(xiàng)目依據(jù)網(wǎng)民搜索內(nèi)容分析全球范圍內(nèi)流感等病疫傳播狀況，及美國(guó)疾病控制和預(yù)防中心提供的報(bào)告對(duì)比，追蹤疾病的精確率達(dá)到97%。社交網(wǎng)絡(luò)為許多慢性病患者提供臨床癥狀交流和診治經(jīng)驗(yàn)分享平臺(tái)，醫(yī)生借此可獲得在醫(yī)院通常得不到的臨床效果統(tǒng)計(jì)數(shù)據(jù)?；趯?duì)人體基因的大數(shù)據(jù)分析，可以實(shí)現(xiàn)對(duì)癥下藥的個(gè)性化治療。在社會(huì)安全管理領(lǐng)域，通過(guò)對(duì)手機(jī)數(shù)據(jù)的挖掘，可以分析實(shí)時(shí)動(dòng)態(tài)的流動(dòng)人口來(lái)源、出行，實(shí)時(shí)交通客流信息及擁堵情況。利用短信、微博、微信和搜索引擎，可以收集熱點(diǎn)事件，挖掘輿情，還可以追蹤造謠信息的源頭。美國(guó)麻省理工學(xué)院通過(guò)對(duì)十萬(wàn)多人手機(jī)的通話、短信和空間位置等信息進(jìn)行處理，提取人們行為的時(shí)空規(guī)律性，進(jìn)行犯罪預(yù)測(cè)。在科學(xué)研究領(lǐng)域，基于密集數(shù)據(jù)分析的科學(xué)發(fā)現(xiàn)成為繼實(shí)驗(yàn)科學(xué)、理論科學(xué)和計(jì)算科學(xué)之后的第四個(gè)范例，基于大數(shù)據(jù)分析的材料基因組學(xué)和合成生物學(xué)等正在興起。華爾街最新調(diào)研武器-大數(shù)據(jù)

通過(guò)高分辨率的衛(wèi)星，他們可以比普通公眾更早獲知某些經(jīng)濟(jì)數(shù)據(jù)的異動(dòng)；他們也可以定點(diǎn)監(jiān)控某一個(gè)地點(diǎn)，比如百貨公司或者大型連鎖超市的停車場(chǎng)以獲取足以判斷這些零售企業(yè)經(jīng)營(yíng)景氣度的可靠數(shù)據(jù)。一些商業(yè)保險(xiǎn)公司通過(guò)衛(wèi)星監(jiān)控航運(yùn)和氣候信息，從而控制承保風(fēng)險(xiǎn)；另有一些華爾街投資公司則利用衛(wèi)星或者紅外線技術(shù)來(lái)獲得先人一步的情報(bào)。戰(zhàn)爭(zhēng)步入大數(shù)據(jù)時(shí)代隨著大數(shù)據(jù)在軍事領(lǐng)域的高效開(kāi)發(fā)和全面運(yùn)用，戰(zhàn)爭(zhēng)將步入大數(shù)據(jù)時(shí)代。在未來(lái)戰(zhàn)場(chǎng)上，“除了上帝，任何人都必須用數(shù)據(jù)說(shuō)話”，只有具備大數(shù)據(jù)優(yōu)勢(shì)的一方，才能有效掌控?cái)?shù)據(jù)——這一關(guān)鍵戰(zhàn)略資源，從而在戰(zhàn)場(chǎng)上立于不敗之地。毫無(wú)疑問(wèn)，打贏未來(lái)信息化戰(zhàn)爭(zhēng)，大數(shù)據(jù)已成為軍隊(duì)必備的能力?？蛻衾C：

BNSF鐵路公司是北美地區(qū)最大的貨運(yùn)鐵路運(yùn)輸公司之一。該公司正在采用IBMBLUAcceleration，以更快地了解該公司1700臺(tái)服務(wù)器產(chǎn)生的海量數(shù)據(jù)，這些服務(wù)器追蹤記錄維護(hù)、氣象、調(diào)度，庫(kù)存、安全、交付等信息。BNSF的業(yè)務(wù)分布于美國(guó)的28個(gè)州和加拿大的兩個(gè)省，每天運(yùn)營(yíng)超過(guò)1,400輛列車，運(yùn)營(yíng)總里程為32500英里?！懊绹?guó)當(dāng)?shù)匾约笆澜绺鞯氐娜藗兠刻於荚谑褂肂NSF運(yùn)送的眾多產(chǎn)品和材料，所以如何追蹤這些貨品對(duì)于公司而言起著至關(guān)重要的作用?！盉NSF鐵路公司數(shù)據(jù)庫(kù)解決方案架構(gòu)師KentCollins先生表示，“憑借及IBM開(kāi)展的合作，我們現(xiàn)在可以輕松分析公司的大數(shù)據(jù)信息。得益于這項(xiàng)新技術(shù)，公司執(zhí)行任務(wù)的速度比以前更快，例如查詢速度提高了100倍以上，存儲(chǔ)消耗卻減少到原來(lái)的十分之一。BLUAcceleration的便捷操作讓我們尤其欣賞，操作時(shí)只需要加載數(shù)據(jù)和運(yùn)行查詢即可?！?/p>

IBM創(chuàng)新大數(shù)據(jù)解決方案：讓大數(shù)據(jù)處理變得簡(jiǎn)易方便，更適合企業(yè)應(yīng)用大數(shù)據(jù)的應(yīng)用

——BNSF鐵路公司我國(guó)鐵路應(yīng)用大數(shù)據(jù)技術(shù)的思考

（一）我國(guó)鐵路應(yīng)用大數(shù)據(jù)技術(shù)的思考鐵路應(yīng)用大數(shù)據(jù)技術(shù)具有重要的現(xiàn)實(shí)意義。從開(kāi)展客戶關(guān)系管理、加強(qiáng)市場(chǎng)分析和預(yù)測(cè)、提高運(yùn)輸收益管理和發(fā)展鐵路現(xiàn)代物流4個(gè)方面，探討鐵路應(yīng)用大數(shù)據(jù)技術(shù)的發(fā)展方向，提出鐵路應(yīng)用大數(shù)據(jù)技術(shù)的發(fā)展策略：提高從數(shù)據(jù)到?jīng)Q策的轉(zhuǎn)化效率，打造鐵路“數(shù)據(jù)供應(yīng)鏈”，建立完善的數(shù)據(jù)安全和客戶隱私保障策略。

在鐵路加快轉(zhuǎn)變發(fā)展方式的新形勢(shì)下，為了適

應(yīng)市場(chǎng)化經(jīng)營(yíng)要求，構(gòu)建鐵路運(yùn)輸企業(yè)的核心競(jìng)爭(zhēng)力，提升鐵路的持續(xù)發(fā)展能力和盈利能力，應(yīng)用大數(shù)據(jù)技術(shù)具有極其重要的現(xiàn)實(shí)意義。

（1）提高信息集成和組合的效率。我國(guó)鐵路

信息系統(tǒng)在一定程度上具有分散性，由不同的業(yè)務(wù)部門主管，呈現(xiàn)出條塊分割的現(xiàn)象，導(dǎo)致鐵路管理信息的碎片化，信息集成優(yōu)勢(shì)尚未顯現(xiàn)。大數(shù)據(jù)技術(shù)能夠?qū)⑷舾蓚€(gè)分散數(shù)據(jù)源中的數(shù)據(jù)，邏輯地或物理地集成到一個(gè)統(tǒng)一的數(shù)據(jù)集合中，將相互關(guān)聯(lián)的分布式異構(gòu)數(shù)據(jù)源信息整合到一起，建立綜合的運(yùn)輸信息體系，提高鐵路運(yùn)輸信息集成和組合的效率。

（2）建立面向市場(chǎng)的營(yíng)銷體系?；诟鞣N客戶、業(yè)務(wù)信息，制定長(zhǎng)遠(yuǎn)發(fā)展戰(zhàn)略決策和日常經(jīng)營(yíng)管理決策，是中國(guó)鐵路總公司營(yíng)運(yùn)部、鐵路運(yùn)輸企業(yè)營(yíng)銷中心等各級(jí)經(jīng)營(yíng)管理部門的主要職能。其中，面對(duì)海量數(shù)據(jù)，能否通過(guò)技術(shù)手段進(jìn)行有效挖掘，獲取關(guān)鍵信息，為管理決策提供強(qiáng)大的技術(shù)支持，是建立以市場(chǎng)為導(dǎo)向的營(yíng)銷體系的重要前提。而大數(shù)據(jù)技術(shù)正是要通過(guò)對(duì)這些基礎(chǔ)數(shù)據(jù)進(jìn)行專業(yè)化處理，供快速獲取有價(jià)值信息的能力。（3）開(kāi)展全程物流及供應(yīng)鏈管理。一直以來(lái)，鐵路主要運(yùn)輸煤炭鐵礦石、糧食等大宗貨物，此類貨物附加值不高而且運(yùn)價(jià)低廉；家用電器、電子產(chǎn)品等高附加值貨物則通常由航空、公路等其他運(yùn)輸方式進(jìn)行運(yùn)輸，鐵路在這類高端貨物市場(chǎng)上的份額有限。為了提高運(yùn)輸經(jīng)營(yíng)效益，鐵路必須開(kāi)展全程物流服務(wù)，將輸服務(wù)延伸到客戶的供應(yīng)鏈中、外資源共同滿足客戶運(yùn)輸需求。因此，供應(yīng)鏈上、下游之間信息的互聯(lián)互通和物流環(huán)節(jié)的協(xié)同優(yōu)化尤為重要，利用大數(shù)據(jù)技術(shù)進(jìn)行信息整合和數(shù)據(jù)分析，有助于建立統(tǒng)一管理、經(jīng)營(yíng)協(xié)同、資源整合、信息共享的信息集成平臺(tái)，實(shí)現(xiàn)供應(yīng)鏈管理、運(yùn)輸、物流服務(wù)一體化，最大限度地發(fā)揮數(shù)據(jù)信息對(duì)提高鐵路經(jīng)營(yíng)效能的作用。（二）鐵路應(yīng)用大數(shù)據(jù)技術(shù)的發(fā)展方向:(1)開(kāi)展客戶關(guān)系管理通過(guò)不同途徑積累的海量客戶數(shù)據(jù)中隱藏著用戶習(xí)慣、市場(chǎng)變化、運(yùn)輸趨勢(shì)等有價(jià)值的信息，這些信息是進(jìn)行客戶關(guān)系管理和精準(zhǔn)營(yíng)銷的關(guān)鍵。如何利用大數(shù)據(jù)技術(shù)以洞察群體消費(fèi)特征為目標(biāo)，挖掘客戶需求的潛在方向；以洞察個(gè)體消費(fèi)特征為目標(biāo)，制訂有針對(duì)性的營(yíng)銷方案和個(gè)性化服務(wù)項(xiàng)目，是大數(shù)據(jù)技術(shù)在鐵路運(yùn)輸中的重要應(yīng)用方向。

（2）加強(qiáng)市場(chǎng)分析和預(yù)測(cè)大數(shù)據(jù)技術(shù)可以利用鐵路的客票系統(tǒng)、貨票系統(tǒng)、貨運(yùn)電子商務(wù)平臺(tái)、運(yùn)輸信息集成平臺(tái)等信息系統(tǒng)采集海量的原始信息，這些信息可以為市場(chǎng)分析和預(yù)測(cè)提供有力的支撐。（3）提高運(yùn)輸收益管理收益管理指在準(zhǔn)確把握市場(chǎng)需求的基礎(chǔ)上，充分合理使用鐵路運(yùn)輸資源，設(shè)計(jì)合適的運(yùn)輸產(chǎn)品，以合適的價(jià)格體系銷售給合適的客戶群體，目的是實(shí)現(xiàn)鐵路收益最大化。長(zhǎng)期以來(lái)，鐵路進(jìn)行收益管理的主要難點(diǎn)集中于如何確定市場(chǎng)需求，如何設(shè)計(jì)合理的運(yùn)輸產(chǎn)品及其價(jià)格體系，以及如何確定運(yùn)輸產(chǎn)品的消費(fèi)群體，大數(shù)據(jù)技術(shù)為解決這些問(wèn)題提供了可能。（4）發(fā)展鐵路現(xiàn)代物流

及公路、航空、水運(yùn)物流相比，我國(guó)鐵路依然處于物流價(jià)值鏈底端，物流經(jīng)營(yíng)管理能力不足，尚未建立起現(xiàn)代物流體系。其中，既有缺乏鐵路發(fā)展現(xiàn)代物流方面的理論指導(dǎo)、策略