大數(shù)據(jù)預(yù)測(cè)的前景和潛在威脅

前言在你出生的那一刻：男孩、7斤8兩，而你的父母不再爭(zhēng)論你長(zhǎng)得像誰，因?yàn)樗麄冊(cè)缇椭懒岁P(guān)于你的一切。計(jì)算機(jī)通過計(jì)算你的基因、出生環(huán)境等遺傳信息，數(shù)據(jù)分析的結(jié)果你會(huì)有43%像母親、57%像父親，而你的未來的一切更是清晰可見：你的智力水平?jīng)Q定你只會(huì)上當(dāng)?shù)卮髮W(xué)（你就不用太努力讀書考清華、北大或者耶魯、哈佛了）、你不擅長(zhǎng)滑雪但擅長(zhǎng)跑步（跳遠(yuǎn)也不太行）、你是個(gè)異性戀會(huì)喜歡棕色頭發(fā)的苗條女孩（根據(jù)GPS和其他信息的推斷，她將會(huì)在你隔壁的隔壁的醫(yī)院出生，只不過比你晚兩年）、你喜歡喝可樂（會(huì)熱愛可口可樂，去超市就不用考慮百事可樂或其他牌子了）??如果關(guān)于你的一切已經(jīng)注定，當(dāng)真實(shí)的你來到人世，你是打算努力拼搏一把過個(gè)真正屬于自己的人生，還是打算按照計(jì)算機(jī)計(jì)算出的？這并不是天方夜談，一切都會(huì)因大數(shù)據(jù)時(shí)代的到來，而變?yōu)榭赡軐?shí)現(xiàn)的事情。 這是一個(gè)信息爆炸的時(shí)代，根據(jù)IDC《數(shù)字宇宙膨脹：到2010年全球信息增長(zhǎng)預(yù)測(cè)》中統(tǒng)計(jì)的數(shù)據(jù)顯示，2006年全球產(chǎn)生，復(fù)制出的數(shù)字信息量共計(jì)16.1萬PB，當(dāng)年信息產(chǎn)量達(dá)到歷史上圖書信息總量的3000倍。2020年的數(shù)據(jù)產(chǎn)出量將比2009年的44倍還要多，超過70%的數(shù)據(jù)產(chǎn)生于個(gè)人，但其中有80%會(huì)通過企業(yè)存儲(chǔ)、保護(hù)和管理。 被譽(yù)為大數(shù)據(jù)應(yīng)用楷模的谷歌、亞馬遜等數(shù)據(jù)型公司在2013年第一季度確實(shí)取得了不俗的業(yè)績(jī)。其中谷歌營業(yè)收入增長(zhǎng)了31%，亞馬遜增長(zhǎng)了22%。大數(shù)據(jù)的時(shí)代即將到來，而最普遍的運(yùn)用就是，通過數(shù)據(jù)處理和分析，預(yù)測(cè)事務(wù)走向，這是人類歷史發(fā)展的機(jī)遇，卻也是一個(gè)不可小視的挑戰(zhàn)。大數(shù)據(jù)預(yù)測(cè)技術(shù)前景無限美國率先搶占“大數(shù)據(jù)”這塊面包回顧近幾十年的發(fā)展歷程，美國在全球經(jīng)濟(jì)中一直獨(dú)占鰲頭，其中最重要的因素就是美國政府在“高技術(shù)”的直接推動(dòng)。1920-1930年，美國通過“高速公路計(jì)劃”踏入超級(jí)大國的征程；1960-1970年，通過“星球大戰(zhàn)”計(jì)劃讓美國擺脫全球性經(jīng)濟(jì)危機(jī)，走向高科技成為世界第一強(qiáng)國；1990年，“信息高速公路計(jì)劃”，讓美國繼續(xù)在人才、技術(shù)和資金等方面占據(jù)世界制高點(diǎn)，拉大與他國的差距；2012年3月，奧巴馬政府發(fā)起《大數(shù)據(jù)研究和發(fā)展倡議》，并將此形成國家的發(fā)展戰(zhàn)略。數(shù)據(jù)正在呈指數(shù)級(jí)增長(zhǎng)，各種傳感器的劇增，高清晰度的圖像和視頻都是數(shù)據(jù)爆炸的原因之一。美國國防部利用數(shù)據(jù)支持決策：每年將投資2.5億美元左右，開展以創(chuàng)新方式使用海量數(shù)據(jù)、提高作戰(zhàn)人員和分析人員的環(huán)境和狀況感知能力、大數(shù)據(jù)領(lǐng)域的技術(shù)創(chuàng)新的系列研究。此外，美國國防部、能源部、地質(zhì)調(diào)查局等也推出了相關(guān)項(xiàng)目。美國總統(tǒng)科技顧問委員會(huì)報(bào)告美國總統(tǒng)科技顧問委員會(huì)報(bào)告.《規(guī)劃數(shù)字化未來》[R].2010年.大數(shù)據(jù)預(yù)測(cè)成功案例奧斯卡獲獎(jiǎng)影片《點(diǎn)球成金》講述了一個(gè)美國棒球大聯(lián)盟中的真實(shí)事件，奧克蘭勇士隊(duì)在剛有起色時(shí)，球隊(duì)主力紛紛被重金挖走，資方投入嚴(yán)重不足，新賽季的前途非常渺茫。此時(shí)球隊(duì)經(jīng)理另辟蹊徑，打破原有球隊(duì)經(jīng)營理念。利用數(shù)學(xué)建模，定量分析不同球員之間的特點(diǎn)，合理搭配，顛覆了傳統(tǒng)球界靠明星組隊(duì)的理念。在新賽季中，奧克蘭勇士隊(duì)創(chuàng)造了20連勝的新歷史。這只是一個(gè)視頻，但現(xiàn)實(shí)中也有許多諸如此類的案例。2003年，美國計(jì)算機(jī)專家奧倫·埃齊奧尼在一次航空旅行中發(fā)現(xiàn)，雖然自己早早就預(yù)定了機(jī)票，但是票價(jià)卻比同行的比他買票更晚的人還要貴。他決定開發(fā)一個(gè)預(yù)測(cè)機(jī)票價(jià)格走勢(shì)的系統(tǒng)，供人買票時(shí)參考。這個(gè)預(yù)測(cè)系統(tǒng)建立在連續(xù)41天內(nèi)價(jià)格波動(dòng)產(chǎn)生的12000個(gè)價(jià)格樣本基礎(chǔ)之上，需要分析所有特定航線機(jī)票的銷售價(jià)格并確定票價(jià)與提前購買天數(shù)的關(guān)系。這個(gè)預(yù)測(cè)系統(tǒng)不知道是哪些因素導(dǎo)致了機(jī)票價(jià)格的波動(dòng)，只知道利用其他航班的數(shù)據(jù)來預(yù)測(cè)未來機(jī)票價(jià)格的走勢(shì)。之后，這個(gè)項(xiàng)目被微軟公司以1.1億美元收購。到2012年為止，這個(gè)系統(tǒng)用了將近十萬億條價(jià)格記錄來幫助預(yù)測(cè)美國國內(nèi)航班的票價(jià)，票價(jià)預(yù)測(cè)的準(zhǔn)確度已經(jīng)高達(dá)75%，使用這個(gè)預(yù)測(cè)工具購買機(jī)票的旅客，平均每張機(jī)票可節(jié)省50美元。2相海泉2相海泉《迎接大數(shù)據(jù)時(shí)代》[N].特別報(bào)道e大數(shù)據(jù)時(shí)代2013年5月。迎接大數(shù)據(jù)預(yù)測(cè)時(shí)代“大數(shù)據(jù)”是繼云計(jì)算、物聯(lián)網(wǎng)之后IT產(chǎn)業(yè)又一次顛覆性的技術(shù)變革。對(duì)國家治理模式、企業(yè)決策、組織和業(yè)務(wù)流程、個(gè)人生活方式等都將產(chǎn)生巨大的影響。2012年世界經(jīng)濟(jì)論壇發(fā)布了“BigData,BigImpact”的報(bào)告，從金融服務(wù)、健康、教育、農(nóng)業(yè)、醫(yī)療等多個(gè)領(lǐng)域闡述了大數(shù)據(jù)為國際發(fā)展帶來的新機(jī)會(huì)李志剛《大數(shù)據(jù)——大價(jià)值、大機(jī)遇、大變革》[M].電子工業(yè)出版社2012年10月.大數(shù)據(jù)是一筆龐大無比的資產(chǎn)，但如何盤活資產(chǎn)，讓大數(shù)據(jù)證明自己?這才是關(guān)鍵所在，也是市場(chǎng)利益驅(qū)動(dòng)所在。據(jù)相關(guān)機(jī)構(gòu)統(tǒng)計(jì)，2012年中國大數(shù)據(jù)IT應(yīng)用市場(chǎng)規(guī)模約為10.5億元，其中，互聯(lián)網(wǎng)、電信、金融等行業(yè)大數(shù)據(jù)IT應(yīng)用投資占據(jù)較大的市場(chǎng)份額，分別達(dá)到16.8%、12.3%和11.2%。在未來三年，大數(shù)據(jù)市場(chǎng)規(guī)模將呈爆發(fā)式增長(zhǎng)，達(dá)到近90%的年復(fù)合增長(zhǎng)率。在大數(shù)據(jù)時(shí)代，各個(gè)行業(yè)的用戶對(duì)數(shù)據(jù)分析功能的需求更加旺盛，同時(shí)對(duì)數(shù)據(jù)分析的深度和速度都有更高的要求，促使IT廠商加快對(duì)于數(shù)據(jù)分析技術(shù)的研發(fā)創(chuàng)新。一方面，大數(shù)據(jù)分析不再局限于結(jié)構(gòu)化的歷史數(shù)據(jù)，它更傾向于分析來自社交網(wǎng)絡(luò)、RFID傳感器等的非結(jié)構(gòu)化數(shù)據(jù)，這可以促進(jìn)對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析技術(shù)的創(chuàng)新；另一方面，激烈的市場(chǎng)競(jìng)爭(zhēng)促使大數(shù)據(jù)解決方案廠商加大了對(duì)數(shù)據(jù)的快速實(shí)時(shí)分析、智能決策技術(shù)的研發(fā)投入。郭國奇《把準(zhǔn)脈搏，在大數(shù)據(jù)市場(chǎng)淘金》[N].電腦報(bào)2013年9月2日第14版.大數(shù)據(jù)時(shí)代即將到來，數(shù)據(jù)分析與預(yù)測(cè)將是其價(jià)值最直接的體現(xiàn)。從國內(nèi)市場(chǎng)來看，智慧城市、電信、金融等行業(yè)對(duì)大數(shù)據(jù)的應(yīng)用需求迫切，今年年初住建部公布了90個(gè)首批國家智慧城市試點(diǎn)名單，并配套4400億元授信額度，標(biāo)志著我國智慧城市建設(shè)已經(jīng)進(jìn)入提速發(fā)展時(shí)期；還有就是移動(dòng)互聯(lián)網(wǎng)終端熱度居高不下，移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的需求呈爆炸式增長(zhǎng)，電信業(yè)將圍繞著面向移動(dòng)互聯(lián)網(wǎng)的應(yīng)用和內(nèi)容平臺(tái)轉(zhuǎn)移，以大數(shù)據(jù)為依托，走向以融合為中心的新時(shí)代；同時(shí)國內(nèi)金融業(yè)務(wù)的載體與社交媒體、電子商務(wù)的融合越來越充分，金融業(yè)僅對(duì)原有15%的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析已經(jīng)不能滿足發(fā)展的需求，急需借助大數(shù)據(jù)戰(zhàn)略打破數(shù)據(jù)邊界，構(gòu)建更全面的企業(yè)運(yùn)營全景視圖。大數(shù)據(jù)預(yù)測(cè)的威脅理性對(duì)待大數(shù)據(jù)預(yù)測(cè)和分析一些大數(shù)據(jù)技術(shù)和解決方案服務(wù)的公司并沒有取得如此的業(yè)績(jī)。比如IBM第一季度營業(yè)收入下滑5.1%，凈利潤下滑1.1%；微軟第一季度營業(yè)收入下滑8%，凈利潤下滑22%；英特爾營業(yè)收入下滑2%，利潤下滑25%。直覺主義讓位于數(shù)據(jù)分析，專家決策讓位于群眾智慧，只能是大數(shù)據(jù)倡導(dǎo)者的一廂情愿。一個(gè)折中的辦法是，數(shù)據(jù)做分析，專家做判斷，數(shù)據(jù)給答案，專家做選擇。但對(duì)企業(yè)家而言，專家可以找，思想家必須自己做。從數(shù)據(jù)戰(zhàn)略的構(gòu)建，到群體智慧的萃??；從社會(huì)關(guān)系網(wǎng)絡(luò)的解析，到復(fù)雜的自組織系統(tǒng)的發(fā)現(xiàn)，均依賴于企業(yè)家的智慧，而不能完全依賴于機(jī)器。即便是有一將難求的數(shù)據(jù)科學(xué)家的協(xié)助，大數(shù)據(jù)決策依然是輔助系統(tǒng)。[5][5]張建設(shè).大數(shù)據(jù)悖論[N].中國計(jì)算機(jī)報(bào)，2013年05月13日第10版.換言之，大數(shù)據(jù)將演繹“信息轉(zhuǎn)化為數(shù)據(jù)，數(shù)據(jù)集聚成知識(shí)，知識(shí)涌現(xiàn)出智慧”的進(jìn)程。按照哈耶克在《自由憲章》一書中對(duì)人類知識(shí)增長(zhǎng)和進(jìn)步的論述，大數(shù)據(jù)應(yīng)該是一個(gè)人類知識(shí)增長(zhǎng)的復(fù)雜過程。首先大數(shù)據(jù)原本并不以具有明確的目標(biāo)和對(duì)象為出發(fā)點(diǎn)，而是在不斷收集、重組和聚類中，發(fā)現(xiàn)社會(huì)發(fā)展的先行參數(shù)和相關(guān)關(guān)系。其次，大數(shù)據(jù)在社會(huì)難題中的應(yīng)用不僅沒有設(shè)定的目標(biāo)，也沒有設(shè)定的問題，能發(fā)現(xiàn)什么啟示是自然形成的結(jié)果。再次大數(shù)據(jù)發(fā)現(xiàn)的結(jié)果往往超出既有的思維和判斷，往往不能為社會(huì)所接受，檢驗(yàn)其預(yù)測(cè)的準(zhǔn)確與否。滿足市場(chǎng)需求的大數(shù)據(jù)應(yīng)用模式，有利于技術(shù)和數(shù)據(jù)公司將既有的資源和能力轉(zhuǎn)化為商品，有利于這些企業(yè)尋找到以客戶需求和盈利模式為支撐的商業(yè)模式。而對(duì)于大數(shù)據(jù)應(yīng)用者而言，數(shù)據(jù)的聚類和多次利用，也有利于實(shí)現(xiàn)跨部門、跨行業(yè)等跨界融合，有利于實(shí)現(xiàn)企業(yè)和產(chǎn)業(yè)的開放式創(chuàng)新。而致力于破解社會(huì)難題的大數(shù)據(jù)應(yīng)用，卻很難在短期內(nèi)找到盈利模式。[6][6]Franks,Bill,Taming,THEBIGDARATiDALWAVE.JohnWiley&Sons,2012科技進(jìn)步與危險(xiǎn)同在牛津大學(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)研究所治理與監(jiān)管科研項(xiàng)目負(fù)責(zé)人維克托·邁爾-舍恩伯格教授，在和肯尼斯·庫可耶合著的《大數(shù)據(jù)時(shí)代》一書中在肯定了大數(shù)據(jù)的核心功能是預(yù)測(cè)之外，更發(fā)人深省地提出：“也許，大數(shù)據(jù)預(yù)測(cè)可以為我們打造一個(gè)更安全、更有效的社會(huì)，但是卻否定了我們之所以為人的重要組成部分——自由選擇的能力和行為責(zé)任自負(fù)。大數(shù)據(jù)成為了集體選擇的工具，但也放棄了我們的自由意志”。他指出，大數(shù)據(jù)的不利影響并不是大數(shù)據(jù)本身的缺陷，而是人們?yōu)E用大數(shù)據(jù)預(yù)測(cè)所導(dǎo)致的結(jié)果。大數(shù)據(jù)預(yù)測(cè)是建立在相關(guān)性基礎(chǔ)上的。而人們習(xí)慣從因管理果關(guān)系視角理解世界。一旦大數(shù)據(jù)預(yù)測(cè)被濫用，人們要為還未實(shí)施的未來行為買單，那么人類社會(huì)的道德指標(biāo)將被預(yù)測(cè)系統(tǒng)所取代，人會(huì)一直受到集體意志的沖擊。如果這一切成為可能，大數(shù)據(jù)將會(huì)把人類禁錮在可能性之中。你未來很有可能考不上清華、北大，那么你還要為此進(jìn)行努力嗎？要知道喬布斯可不是因?yàn)閷?duì)于市場(chǎng)調(diào)查數(shù)據(jù)的信任而推出革命性的蘋果系列產(chǎn)品，他的秘訣是第六感。而人類對(duì)數(shù)據(jù)的執(zhí)迷會(huì)使得數(shù)據(jù)以良莠參半的方式統(tǒng)治人類本身。僅僅為了收集數(shù)據(jù)而收集數(shù)據(jù)，或者賦予數(shù)據(jù)根本無權(quán)得到的信任。維克托提醒人們——那些嘗到大數(shù)據(jù)益處的人，不要將大數(shù)據(jù)運(yùn)用到不適用的領(lǐng)域，不要過分膨脹對(duì)大數(shù)據(jù)分析結(jié)果的預(yù)測(cè)。越來越多想要從大數(shù)據(jù)中掘金的人會(huì)導(dǎo)致對(duì)其的盲目崇拜。至少，現(xiàn)在人們已經(jīng)看到，面對(duì)大數(shù)據(jù)，保護(hù)隱私的核心技術(shù)已經(jīng)不再適用了[7][7]鄭悅《大數(shù)據(jù)進(jìn)階閱讀》[N].IT經(jīng)理世界.CEOCIO.第355期.如果不加控制，大數(shù)據(jù)將會(huì)成為一頭怪獸，吞噬人類社會(huì)既有的生活和思考方式。這就要求人類信息管理準(zhǔn)則重新進(jìn)行定位。不過由于這一過程過于迅速，人們也許只有幾年時(shí)間進(jìn)行“責(zé)任與自由并舉的信息管理”變革。《大數(shù)據(jù)時(shí)代》一書認(rèn)為有四件事情人們必須現(xiàn)在開始行動(dòng)：首先要從個(gè)人許可使用個(gè)人信息改為數(shù)據(jù)使用者承擔(dān)相應(yīng)責(zé)任，發(fā)明并推行新技術(shù)進(jìn)行隱私保護(hù)，