大數(shù)據(jù)時(shí)代的思維變革

1.大數(shù)據(jù)時(shí)代的思維變革1.大數(shù)據(jù)時(shí)代的思維變革——更好“更好”——不是因果關(guān)系，而是相關(guān)關(guān)系知道“是什么”就夠了，沒必要知道“為什么”。在大數(shù)據(jù)時(shí)代，我們不必非得知道現(xiàn)象背后的原因，而是要讓數(shù)據(jù)自己“發(fā)聲”。關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵“是什么”，而不是“為什么”改變，從操作方式開始大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒?997年，24歲的格雷格·林登（Greg

Linden）在華盛頓大學(xué)就讀博士，研究人工智能，閑暇之余，他會(huì)在網(wǎng)上賣書。他的網(wǎng)店運(yùn)營(yíng)才兩年就已經(jīng)生意興隆。林登被亞馬遜聘為軟件工程師，以確保網(wǎng)站的正常運(yùn)行。詹姆斯·馬庫(kù)斯（James

arcus）回憶說(shuō)：“推薦信息往往為你提供與你以前購(gòu)買物品有微小差異的產(chǎn)品，并且循環(huán)往復(fù)。”詹姆斯·馬庫(kù)斯從1996年到2001年都是亞馬遜的書評(píng)家，在他的回憶錄《亞馬遜》（Amazonia）里，他說(shuō)道：“那種感覺就像你和一群腦殘?jiān)谝黄鸸鋾??！睋?jù)說(shuō)亞馬遜銷售額的三分之一都是來(lái)自于它的個(gè)性化推薦系統(tǒng)。林登與亞馬遜推薦系統(tǒng)1997年，林登，亞馬遜，推薦書籍1998年“item-to-item”協(xié)同過(guò)濾技術(shù)書評(píng)團(tuán)隊(duì)被解散評(píng)論家所創(chuàng)造的銷售業(yè)績(jī)計(jì)算機(jī)生成內(nèi)容所產(chǎn)生的銷售業(yè)績(jī)海明威作品與菲茨杰拉德的書知道是什么就夠了，沒必要知道為什么

據(jù)說(shuō)亞馬遜銷售額的三分之一都是來(lái)自于它的個(gè)性化推薦系統(tǒng)。在大數(shù)據(jù)時(shí)代之前，相關(guān)關(guān)系的應(yīng)用很少。因?yàn)閿?shù)據(jù)很少而且收集數(shù)據(jù)很費(fèi)時(shí)費(fèi)力，所以統(tǒng)計(jì)學(xué)家們喜歡找到一個(gè)關(guān)聯(lián)物，然后收集與之相關(guān)的數(shù)據(jù)進(jìn)行相關(guān)關(guān)系分析來(lái)評(píng)測(cè)這個(gè)關(guān)聯(lián)物的優(yōu)劣。那么，如何尋找這個(gè)關(guān)聯(lián)物呢？除了僅僅依靠相關(guān)關(guān)系，專家們還會(huì)使用一些建立在理論基礎(chǔ)上的假想來(lái)指導(dǎo)自己選擇適當(dāng)?shù)年P(guān)聯(lián)物。這些理論就是一些抽象的觀點(diǎn)，關(guān)于事物是怎樣運(yùn)作的。然后收集與關(guān)聯(lián)物相關(guān)的數(shù)據(jù)來(lái)進(jìn)行相關(guān)關(guān)系分析，以證明這個(gè)關(guān)聯(lián)物是否真的合適。如果不合適，人們通常會(huì)固執(zhí)地再次嘗試，因?yàn)閾?dān)心可能是數(shù)據(jù)收集的錯(cuò)誤，而最終卻不得不承認(rèn)一開始的假想甚至假想建立的基礎(chǔ)都是有缺陷和必須修改的。這種對(duì)假想的反復(fù)試驗(yàn)促進(jìn)了學(xué)科的發(fā)展。但是這種發(fā)展非常緩慢，因?yàn)閭€(gè)人以及團(tuán)體的偏見會(huì)蒙蔽我們的雙眼，導(dǎo)致我們?cè)谠O(shè)立假想、應(yīng)用假想和選擇關(guān)聯(lián)物的過(guò)程中犯錯(cuò)誤?？傊?，這是一個(gè)煩瑣的過(guò)程，只適用于小數(shù)據(jù)時(shí)代。關(guān)聯(lián)物，預(yù)測(cè)的關(guān)鍵

相關(guān)關(guān)系：相關(guān)關(guān)系的核心是量化兩個(gè)數(shù)據(jù)值之間的數(shù)理關(guān)系。強(qiáng)和弱

通過(guò)給我們找到一個(gè)現(xiàn)象的良好的關(guān)聯(lián)物，相關(guān)關(guān)系可以幫助我們捕捉現(xiàn)在和預(yù)測(cè)未來(lái)。實(shí)例：沃爾瑪——蛋撻與颶風(fēng)生活中的相關(guān)關(guān)系身高與前臂的長(zhǎng)度小數(shù)據(jù)時(shí)代的相關(guān)關(guān)系大數(shù)據(jù)時(shí)代的相關(guān)關(guān)系–谷歌流感預(yù)測(cè)：5億個(gè)數(shù)學(xué)模型建立在相關(guān)關(guān)系分析法基礎(chǔ)上的預(yù)測(cè)是大數(shù)據(jù)的核心。數(shù)據(jù)驅(qū)動(dòng)的關(guān)于大數(shù)據(jù)的相關(guān)關(guān)系分析法，取代了基于假想的易出錯(cuò)的方法。大數(shù)據(jù)的相關(guān)關(guān)系分析法更準(zhǔn)確、更快，而且不易受偏見的影響。實(shí)例FICO提出“遵從醫(yī)囑評(píng)分”一系列變量→是否按時(shí)吃藥益百利預(yù)測(cè)個(gè)人收入信用卡交易記錄→預(yù)測(cè)個(gè)人收入1$證明一個(gè)人的收入狀況10$中英人壽保險(xiǎn)公司申請(qǐng)人的健康隱患信用報(bào)告、市場(chǎng)分析報(bào)告→高血壓、糖尿病和抑郁癥5$血液尿液樣本130$美國(guó)折扣零售商塔吉特懷孕預(yù)測(cè)UPS與汽車修理預(yù)測(cè)UPS國(guó)際快遞公司從2000年就開始使用預(yù)測(cè)性分析來(lái)監(jiān)測(cè)自己全美60000輛車規(guī)模的車隊(duì)，這樣就能及時(shí)地進(jìn)行防御性的修理。如果車在路上拋錨損失會(huì)非常大，因?yàn)槟菢泳托枰倥梢惠v車，會(huì)造成延誤和再裝載的負(fù)擔(dān)，并消耗大量的人力物力，所以以前UPS每?jī)扇昃蜁?huì)對(duì)車輛的零件進(jìn)行定時(shí)更換。但這種方法不太有效，因?yàn)橛械牧慵]有什么毛病就被換掉了。通過(guò)監(jiān)測(cè)車輛的各個(gè)部位，UPS如今只需要更換需要更換的零件，從而節(jié)省了好幾百萬(wàn)美元。有一次，監(jiān)測(cè)系統(tǒng)甚至幫助UPS發(fā)現(xiàn)了一個(gè)新車的一個(gè)零件有問題，因此免除了可能會(huì)造成的困擾。預(yù)測(cè)分析法一個(gè)能發(fā)現(xiàn)可能的流行歌曲的算法系統(tǒng)防止機(jī)器失效和建筑倒塌異常情況與正常情況

通過(guò)找出一個(gè)關(guān)聯(lián)物并監(jiān)控它，我們就能預(yù)測(cè)未來(lái)。實(shí)例：UPS與汽車維修預(yù)測(cè)–2000年，60000輛收集和分析數(shù)據(jù)的花費(fèi)比出現(xiàn)停產(chǎn)的損失小得多。

當(dāng)收集、存儲(chǔ)和分析數(shù)據(jù)的成本較高的時(shí)候，應(yīng)該適當(dāng)?shù)貋G棄一些數(shù)據(jù)。醫(yī)療設(shè)備獲取病人的數(shù)據(jù)安大略理工大學(xué)IBM醫(yī)院卡羅琳·麥格雷戈檢測(cè)處理即時(shí)的病人信息早產(chǎn)兒病情診斷16個(gè)數(shù)據(jù)點(diǎn)1260/秒在明顯感染癥狀出現(xiàn)的24小時(shí)之前，可發(fā)現(xiàn)早產(chǎn)兒的穩(wěn)定是病情感染前的準(zhǔn)備..幸福的非線性關(guān)系多年來(lái)，經(jīng)濟(jì)學(xué)家和政治家一直錯(cuò)誤地認(rèn)為收入水平和幸福感是成正比的。我們從數(shù)據(jù)圖表上可以看到，雖然統(tǒng)計(jì)工具呈現(xiàn)的是一種線性關(guān)系，但事實(shí)上，它們之間存在一種更復(fù)雜的動(dòng)態(tài)關(guān)系：對(duì)于收入水平在1萬(wàn)美元以下的人來(lái)說(shuō)，一旦收入增

加，幸福感會(huì)隨之提升；但對(duì)于收入水平在1萬(wàn)美元以上的人來(lái)說(shuō)，幸福感并不會(huì)隨著收入水平提高而提升。如果能發(fā)現(xiàn)這層關(guān)系，我們看到的就應(yīng)該是一條曲線，而不是統(tǒng)計(jì)工具分析出來(lái)的直線。當(dāng)我們說(shuō)人類是通過(guò)因果關(guān)系了解世界時(shí)，我們指的是我們?cè)诶斫夂徒忉屖澜绺鞣N現(xiàn)象時(shí)使用的兩種基本方法：一種是通過(guò)快速、虛幻的因果關(guān)系，還有一種就是通過(guò)緩慢、有條不紊的因果關(guān)系。大數(shù)據(jù)會(huì)改變這兩種基本方法在我們認(rèn)識(shí)世界時(shí)所扮演的角色。是什么，而不是為什么

在小數(shù)據(jù)時(shí)代，相關(guān)關(guān)系分析和因果分析都不容易，都耗費(fèi)巨大，都要從建立假設(shè)開始。非線性關(guān)系小數(shù)據(jù)時(shí)代，計(jì)算機(jī)能力的不足限制了非線性關(guān)系的研究實(shí)例：幸福的非線性關(guān)系因果關(guān)系是否存在不費(fèi)力的快速思維費(fèi)力的慢性思維實(shí)例：感冒、狂犬疫苗

我們的直接愿望就是了解因果關(guān)系。即使無(wú)因果聯(lián)系存在，我們也還是會(huì)假定其存在。

研究證明，這只是我們的認(rèn)知方式，與每個(gè)人的文化背景、生長(zhǎng)環(huán)境以及教育水平是無(wú)關(guān)的。當(dāng)我們看到兩件事情接連發(fā)生的時(shí)候，我們會(huì)習(xí)慣性地從因果關(guān)系的角度來(lái)看待它們?？纯聪旅娴娜湓挘酣C弗雷德的父母遲到了；供應(yīng)商快到了；弗雷德生氣了。……弗雷德為什么生氣?

快速思維模式使人們偏向用因果聯(lián)系來(lái)看待周圍的一切，即使這種關(guān)系并不存在。–冬天不戴帽子和感冒事實(shí)證明，一般來(lái)說(shuō)，人被狂犬病狗咬后患上狂犬病的概率只有七分之一。即使巴斯德的疫苗有效，這也只適用于七分之一的案例中。無(wú)論如何，就算沒有狂犬疫苗，這個(gè)小男孩活下來(lái)的概率還是有85%?？袢呙邕@個(gè)例子來(lái)說(shuō)，1885年7月6日，法國(guó)化學(xué)家路易·巴斯德（Louis

Pasteur）接診了一個(gè)9歲的小孩約瑟夫·梅斯特（Joseph

Meister），他被帶有狂犬病

毒的狗咬了。巴斯德剛剛研發(fā)出狂犬疫苗，也實(shí)驗(yàn)驗(yàn)證過(guò)效果了。梅斯特的父母就懇求巴斯德給他們的兒子注射一針。巴斯德做了，梅斯特活了下來(lái)。發(fā)布會(huì)上，巴斯德因?yàn)榘岩粋€(gè)小男孩從死神手中救出而大受褒獎(jiǎng)。一般來(lái)說(shuō)，人被狂犬病狗咬后患上狂犬病的概率只有七分之一。例如，Kaggle，一家為所有人提供數(shù)據(jù)挖掘競(jìng)賽平臺(tái)的公司，舉辦了關(guān)于二手車的質(zhì)量競(jìng)賽。二手車經(jīng)銷商將二手車數(shù)據(jù)提供給參加比賽的統(tǒng)計(jì)學(xué)家，統(tǒng)計(jì)學(xué)家們用這些數(shù)據(jù)建立一個(gè)算法系統(tǒng)來(lái)預(yù)測(cè)經(jīng)銷商拍賣的哪些車有可能出現(xiàn)質(zhì)量問題。相關(guān)關(guān)系分析表明，橙色的車有質(zhì)量問題的可能性只有其他車的一半。當(dāng)我們讀到這里的時(shí)候，不禁也會(huì)思考其中的原因。難道是因?yàn)槌壬嚨能囍鞲鼝圮?，所以車被保護(hù)得更好嗎？或是這種顏色的車子在制造方面更精良些嗎？還是因?yàn)槌壬能嚫@眼、出車禍的概率更小，所以轉(zhuǎn)手的時(shí)候，各方面的性能保持得更好？馬上，我們就陷入了各種各樣謎一樣的假設(shè)中。若要找出相關(guān)關(guān)系，我們可以用數(shù)學(xué)方法，但如果是因果關(guān)系的話，這卻是行不通的。所以，我們沒必要一定要找出相關(guān)關(guān)系背后的原因，當(dāng)我們知道了“是什么”的時(shí)候，“為什么”其實(shí)沒那么重要了，否則就會(huì)催生一些滑稽的想法。比方說(shuō)上面提到的例子里，我們是不是應(yīng)該建議車主把車漆成橙色呢？畢竟，這樣就說(shuō)明車子的質(zhì)量更過(guò)硬??！相關(guān)關(guān)系很有用，不僅僅是因?yàn)樗転槲覀兲峁┬碌囊暯?，而且提供的視角都是很清晰的。而我們一旦把因果關(guān)系考慮進(jìn)去，這些視角就有可能被蒙蔽掉。–實(shí)例：kaggle二手車質(zhì)量競(jìng)賽橙色的車

因果是相關(guān)關(guān)系的一種。相關(guān)關(guān)系分析通常情況下能取代因果關(guān)系起作用，即使不可取代的情況下，它也能指導(dǎo)因果關(guān)系起作用。–實(shí)例：曼哈頓沙井蓋的爆炸聯(lián)合愛迪生電力公司（Con

Edison）每年都會(huì)對(duì)沙井蓋進(jìn)行常規(guī)檢查和維修。過(guò)去，這完全看運(yùn)氣，如果工作人員檢查到的正好是即將爆炸的就最好了，因?yàn)樯尘w爆炸威力可不小。2007年，聯(lián)合愛迪生電力公司向哥倫比亞大學(xué)的統(tǒng)計(jì)學(xué)家求助，希望他們通過(guò)對(duì)一些歷史數(shù)據(jù)的研究，比如說(shuō)通過(guò)研究以前出現(xiàn)過(guò)的問題、基礎(chǔ)設(shè)施之間的聯(lián)系，進(jìn)而預(yù)測(cè)出可能會(huì)出現(xiàn)問題并且需要維修的沙井蓋。如此一來(lái)，它們就只要把自己的人力物力集中在維修這些沙井蓋上。這是一個(gè)復(fù)雜的大數(shù)據(jù)問題。光在紐約，地下電纜就有15萬(wàn)公里，都足夠環(huán)繞地球三周半了。而曼哈頓有大約51000個(gè)沙井蓋和服務(wù)設(shè)施，其中很多設(shè)施都是在愛迪生那個(gè)時(shí)代建成的，而且有二十分之一的電纜在1930年之前就鋪好了。盡管1880以來(lái)的數(shù)據(jù)都保存著，卻很雜亂，因?yàn)閺臎]想過(guò)要用來(lái)進(jìn)行數(shù)據(jù)分析。這些數(shù)據(jù)都是由會(huì)計(jì)人員或進(jìn)行整修的工作人員記錄下來(lái)的，因?yàn)槭鞘钟?，所以說(shuō)這些數(shù)據(jù)雜亂一點(diǎn)也不為過(guò)。改變，從操作開始實(shí)例：曼哈頓沙井蓋爆炸–每年，因沙井蓋內(nèi)部失火，紐約每年有很多沙井蓋會(huì)發(fā)生爆炸。

聯(lián)合愛迪生電力公司（ConEdison）每年都會(huì)對(duì)沙井蓋進(jìn)行常規(guī)檢查和維修。

2007年，聯(lián)合愛迪生電力公司向哥倫比亞大學(xué)的統(tǒng)計(jì)學(xué)家求助，希望他們通過(guò)對(duì)一些歷史數(shù)據(jù)的研究，預(yù)測(cè)出可能會(huì)出現(xiàn)問題并且需要維修的沙井蓋。聯(lián)合愛迪生電力公司（Con

Edison）每年都會(huì)對(duì)沙井蓋進(jìn)行常規(guī)檢查和維修。過(guò)去，這完全看運(yùn)氣，如果工作人員檢查到的正好是即將爆炸的就最好了，因?yàn)樯尘w爆炸威力可不小。2007年，聯(lián)合愛迪生電力公司向哥倫比亞大學(xué)的統(tǒng)計(jì)學(xué)家求助，希望他們通過(guò)對(duì)一些歷史數(shù)據(jù)的研究，比如說(shuō)通過(guò)研究以前出現(xiàn)過(guò)的問題、基礎(chǔ)設(shè)施之間的聯(lián)系，進(jìn)而預(yù)測(cè)出可能會(huì)出現(xiàn)問題并且需要維修的沙井蓋。如此一來(lái)，它們就只要把自己的人力物力集中在維修這些沙井蓋上。這是一個(gè)復(fù)雜的大數(shù)據(jù)問題。光在紐約，地下電纜就有15萬(wàn)公里，都足夠環(huán)繞地球三周半了。而曼哈頓有大約51000個(gè)沙井蓋和服務(wù)設(shè)施，其中很多設(shè)施都是在愛迪生那個(gè)時(shí)代建成的，而且有二十分之一的電纜在1930年之前就鋪好了。盡管1880以來(lái)的數(shù)據(jù)都保存著，卻很雜亂，因?yàn)閺臎]想過(guò)要用來(lái)進(jìn)行數(shù)據(jù)分析。這些數(shù)據(jù)都是由會(huì)計(jì)人員或進(jìn)行整修的工作人員記錄下來(lái)的，因?yàn)槭鞘钟?，所以說(shuō)這些數(shù)據(jù)雜亂一點(diǎn)也不為過(guò)。改變，從操作開始這是一個(gè)復(fù)雜的大數(shù)據(jù)問題。僅紐約，地下電纜就有15萬(wàn)公里；曼哈頓有大約51000個(gè)沙井蓋和服務(wù)設(shè)施，很多設(shè)施都是在愛迪生那個(gè)時(shí)代建成的有二十分之一的電纜在1930年之前就鋪好了。1880以來(lái)的數(shù)據(jù)都保存著，卻很雜亂，聯(lián)合愛迪生電力公司（Con

Edison）每年都會(huì)對(duì)沙井蓋進(jìn)行常規(guī)檢查和維修。過(guò)去，這完全看運(yùn)氣，如果工作人員檢查到的正好是即將爆炸的就最好了，因?yàn)樯尘w爆炸威力可不小。2007年，聯(lián)合愛迪生電力公司向哥倫比亞大學(xué)的統(tǒng)計(jì)學(xué)家求助，希望他們通過(guò)對(duì)一些歷史數(shù)據(jù)的研究，比如說(shuō)通過(guò)研究以前出現(xiàn)過(guò)的問題、基礎(chǔ)設(shè)施之間的聯(lián)系，進(jìn)而預(yù)測(cè)出可能會(huì)出現(xiàn)問題并且需要維修的沙井蓋。如此一來(lái)，它們就只要把自己的人力物力集中在維修這些沙井蓋上。這是一個(gè)復(fù)雜的大數(shù)據(jù)問題。光在紐約，地下電纜就有15萬(wàn)公里，都足夠環(huán)繞地球三周半了。而曼哈頓有大約51000個(gè)沙井蓋和服務(wù)設(shè)施，其中很多設(shè)施都是在愛迪生那個(gè)時(shí)代建成的，而且有二十分之一的電纜在1930年之前就鋪好了。盡管1880以來(lái)的數(shù)據(jù)都保存著，卻很雜亂，因?yàn)閺臎]想過(guò)要用來(lái)進(jìn)行數(shù)據(jù)分析。這些數(shù)據(jù)都是由會(huì)計(jì)人員或進(jìn)行整修的工作人員記錄下來(lái)的，因?yàn)槭鞘钟?，所以說(shuō)這些數(shù)據(jù)雜亂一點(diǎn)也不為過(guò)。改變，從操作開始這是一個(gè)復(fù)雜的大數(shù)據(jù)問題。僅紐約，地下電纜就有15萬(wàn)公里；曼哈頓有大約51000個(gè)沙井蓋和服務(wù)設(shè)施，很多設(shè)施都是在愛迪生那個(gè)時(shí)代建成的有二十分之一的電纜在1930年之前就鋪好了。1880以來(lái)的數(shù)據(jù)都保存著，卻很雜亂，負(fù)責(zé)這個(gè)項(xiàng)目的統(tǒng)計(jì)學(xué)家辛西亞·魯?。–ynthia

Rudin）回憶道：乍看這些數(shù)據(jù)的時(shí)候，我們從未想過(guò)能從這些未經(jīng)處理的數(shù)據(jù)中找出想要的信息。我打印了一個(gè)關(guān)于所有電纜的表格。如果把這個(gè)表格卷起來(lái)的話，除非你在地上拖，不然你絕對(duì)提不起它來(lái)。而我們需要處理的就是這么多沒有處理過(guò)的數(shù)據(jù)。只有理解了這些數(shù)據(jù)，才能從中淘金，并傾己所有創(chuàng)建一個(gè)好的預(yù)測(cè)模型。

負(fù)責(zé)這個(gè)項(xiàng)目的統(tǒng)計(jì)學(xué)家辛西亞·魯?。–ynthiaRudin）將雜亂的數(shù)據(jù)整理好給機(jī)器處理發(fā)現(xiàn)了大型沙井蓋爆炸的106種預(yù)警情況。在布朗克斯（Bronx）的電網(wǎng)測(cè)試中，他們對(duì)2008年中期之前的數(shù)據(jù)都進(jìn)行了分析，并利用這些數(shù)據(jù)預(yù)測(cè)了2009年會(huì)出現(xiàn)問題的沙井蓋。

預(yù)測(cè)效果非常好，在他們列出的前10%的高危沙井蓋名單里，有44%的沙井蓋都發(fā)生了嚴(yán)重的事故。

最重要的因素是這些電纜的使用年限和有沒有出現(xiàn)過(guò)問題。2008年，《連線》雜志主編克里斯·安德森（Chris

Anderson）就指出：“數(shù)據(jù)爆炸使得科學(xué)的研究方法都落伍了?！焙髞?lái)，他又在《拍字節(jié)時(shí)代》（The

Petabyte

Age）的封面故事中講到，大量的數(shù)據(jù)從某種程度上意味著“理論的終結(jié)”。安德森也表示，用一系列的因果關(guān)系來(lái)驗(yàn)證各種猜想的傳統(tǒng)研究范式已經(jīng)不實(shí)用了，如今它已經(jīng)被無(wú)需理論指導(dǎo)的純粹的相關(guān)關(guān)系研究所取代。大數(shù)據(jù)，改變?nèi)祟愄剿魇澜绲姆椒ù罅康臄?shù)據(jù)從某種程度上意味著“理論的終結(jié)”。——2008年，《連線》主編克里斯·安德森大數(shù)據(jù)是在理論的基礎(chǔ)上形成的。理論貫穿于大數(shù)據(jù)的整個(gè)過(guò)程。–數(shù)據(jù)的收集、分析、結(jié)果解讀接下