谷歌與大數(shù)據(jù)時(shí)代

1、谷歌與大數(shù)據(jù)時(shí)代谷歌與大數(shù)據(jù)時(shí)代谷歌與大數(shù)據(jù)谷歌搜索與流感預(yù)測(cè)無(wú)所不包的谷歌翻譯系統(tǒng)谷歌的數(shù)字圖書館谷歌街景與GPS采集谷歌的拼寫檢查流感預(yù)測(cè)1.1.谷歌谷歌搜索與流感預(yù)測(cè)搜索與流感預(yù)測(cè)各國(guó)都要求醫(yī)生在發(fā)現(xiàn)新型流感病例時(shí)告知疾各國(guó)都要求醫(yī)生在發(fā)現(xiàn)新型流感病例時(shí)告知疾病控制與預(yù)防中心。病控制與預(yù)防中心。但由于人們可能患病多日實(shí)在受不了了才會(huì)去但由于人們可能患病多日實(shí)在受不了了才會(huì)去醫(yī)院，同時(shí)這個(gè)信息傳達(dá)回疾控中心也需要時(shí)醫(yī)院，同時(shí)這個(gè)信息傳達(dá)回疾控中心也需要時(shí)間，因此，通告新流感病例時(shí)往往會(huì)有一兩周間，因此，通告新流感病例時(shí)往往會(huì)有一兩周的延遲。而且，疾控中心每周只進(jìn)行一次數(shù)據(jù)的延遲。而且，疾控

2、中心每周只進(jìn)行一次數(shù)據(jù)匯總。匯總。然而，對(duì)于一種飛速傳播的疾病，信息滯后兩然而，對(duì)于一種飛速傳播的疾病，信息滯后兩周的后果將是致命的。這種滯后導(dǎo)致公共衛(wèi)生周的后果將是致命的。這種滯后導(dǎo)致公共衛(wèi)生機(jī)構(gòu)在疫情爆發(fā)的關(guān)鍵時(shí)期反而無(wú)所適從。機(jī)構(gòu)在疫情爆發(fā)的關(guān)鍵時(shí)期反而無(wú)所適從。1.1.谷歌谷歌搜索與流感預(yù)測(cè)搜索與流感預(yù)測(cè)然而然而在甲型在甲型H1N1流感爆發(fā)的幾周前，流感爆發(fā)的幾周前，谷歌公司谷歌公司便已預(yù)測(cè)到冬季流感傳播的具體情況。便已預(yù)測(cè)到冬季流感傳播的具體情況。谷歌通過(guò)觀察人們?cè)诰W(wǎng)上的搜索記錄來(lái)完成谷歌通過(guò)觀察人們?cè)诰W(wǎng)上的搜索記錄來(lái)完成這個(gè)預(yù)測(cè)，而這種方法以前一直是被忽略的。這個(gè)預(yù)測(cè)，而這種方法以

3、前一直是被忽略的。1.1.谷歌谷歌搜索與流感預(yù)測(cè)搜索與流感預(yù)測(cè)谷歌公司谷歌公司把把5000萬(wàn)條美國(guó)人最頻繁檢索的詞條和美國(guó)疾控中心萬(wàn)條美國(guó)人最頻繁檢索的詞條和美國(guó)疾控中心在在2003年至年至2008年間季節(jié)性流感傳播時(shí)期的數(shù)據(jù)進(jìn)行了比較。年間季節(jié)性流感傳播時(shí)期的數(shù)據(jù)進(jìn)行了比較。他們通過(guò)分析人們的搜索記錄來(lái)判斷這些人是否患上了流感。他們通過(guò)分析人們的搜索記錄來(lái)判斷這些人是否患上了流感。其他公司也曾試圖確定這些相關(guān)的詞條，但是他們?nèi)狈ο窆雀杵渌疽苍噲D確定這些相關(guān)的詞條，但是他們?nèi)狈ο窆雀韫疽粯育嫶蟮臄?shù)據(jù)資源、處理能力和統(tǒng)計(jì)技術(shù)。公司一樣龐大的數(shù)據(jù)資源、處理能力和統(tǒng)計(jì)技術(shù)。更關(guān)鍵的是，他們建

4、立的系統(tǒng)并不依賴于這樣的語(yǔ)義理解。更關(guān)鍵的是，他們建立的系統(tǒng)并不依賴于這樣的語(yǔ)義理解。他們?cè)O(shè)立的這個(gè)系統(tǒng)唯一關(guān)注的就是特定檢索詞條的使用頻率他們?cè)O(shè)立的這個(gè)系統(tǒng)唯一關(guān)注的就是特定檢索詞條的使用頻率與流感在時(shí)間和空間上的傳播之間的聯(lián)系。與流感在時(shí)間和空間上的傳播之間的聯(lián)系。谷歌公司谷歌公司為了測(cè)試這些檢索詞條，總共處理了為了測(cè)試這些檢索詞條，總共處理了4.5億個(gè)不同的數(shù)億個(gè)不同的數(shù)學(xué)模型。他們的預(yù)測(cè)與官方數(shù)據(jù)的相關(guān)性高達(dá)學(xué)模型。他們的預(yù)測(cè)與官方數(shù)據(jù)的相關(guān)性高達(dá)97%，并且及時(shí)并且及時(shí)判斷出流感是從哪里傳播出來(lái)的，不會(huì)像疾控中心一樣要在流判斷出流感是從哪里傳播出來(lái)的，不會(huì)像疾控中心一樣要在流感爆發(fā)一

5、兩周之后才可以做到。感爆發(fā)一兩周之后才可以做到。1.1.谷歌谷歌搜索與流感預(yù)測(cè)搜索與流感預(yù)測(cè) 所以，所以，2009年甲型年甲型H1N1流感爆發(fā)的時(shí)候，與流感爆發(fā)的時(shí)候，與習(xí)慣性滯后的官方數(shù)據(jù)相比，習(xí)慣性滯后的官方數(shù)據(jù)相比，谷歌谷歌成為了一個(gè)更有成為了一個(gè)更有效、更及時(shí)的指示標(biāo)。效、更及時(shí)的指示標(biāo)。公共衛(wèi)生機(jī)構(gòu)的官員獲得了非常有價(jià)值的數(shù)據(jù)信息。公共衛(wèi)生機(jī)構(gòu)的官員獲得了非常有價(jià)值的數(shù)據(jù)信息。 更驚人的是，更驚人的是，谷歌公司谷歌公司甚至不需要分發(fā)口腔試紙甚至不需要分發(fā)口腔試紙和聯(lián)系醫(yī)生和聯(lián)系醫(yī)生它是建立在大數(shù)據(jù)的基礎(chǔ)之上的。它是建立在大數(shù)據(jù)的基礎(chǔ)之上的。1.1.谷歌谷歌搜索與流感預(yù)測(cè)搜索與流感預(yù)測(cè)

6、這是這是大數(shù)據(jù)時(shí)代大數(shù)據(jù)時(shí)代所獨(dú)有的一種新型能力：所獨(dú)有的一種新型能力： 以一種以一種前所未有的方式，通過(guò)對(duì)海量數(shù)據(jù)進(jìn)行分析，獲前所未有的方式，通過(guò)對(duì)海量數(shù)據(jù)進(jìn)行分析，獲得有巨大價(jià)值的產(chǎn)品和服務(wù)，或深刻的洞見(jiàn)。得有巨大價(jià)值的產(chǎn)品和服務(wù)，或深刻的洞見(jiàn)。 有有巨大價(jià)值的產(chǎn)品和服務(wù)，或深刻的洞見(jiàn)。巨大價(jià)值的產(chǎn)品和服務(wù)，或深刻的洞見(jiàn)。 基于這樣的技術(shù)理念和數(shù)據(jù)儲(chǔ)備，下一次流感來(lái)基于這樣的技術(shù)理念和數(shù)據(jù)儲(chǔ)備，下一次流感來(lái)襲的時(shí)候，世界將會(huì)擁有一種更好的預(yù)測(cè)工具，襲的時(shí)候，世界將會(huì)擁有一種更好的預(yù)測(cè)工具，以預(yù)防流感的傳播。以預(yù)防流感的傳播。2.無(wú)所不包的無(wú)所不包的谷歌谷歌翻譯系統(tǒng)翻譯系統(tǒng)20062006年

7、，年，谷歌公司谷歌公司也開(kāi)始涉足機(jī)器翻譯。這被當(dāng)作實(shí)也開(kāi)始涉足機(jī)器翻譯。這被當(dāng)作實(shí)現(xiàn)現(xiàn)“收集全世界的數(shù)據(jù)資源，并讓人人都可享受這些收集全世界的數(shù)據(jù)資源，并讓人人都可享受這些資源資源”這個(gè)目標(biāo)的一個(gè)步驟。谷歌翻譯開(kāi)始利用一個(gè)這個(gè)目標(biāo)的一個(gè)步驟。谷歌翻譯開(kāi)始利用一個(gè)更大更繁雜的數(shù)據(jù)庫(kù)，也就是全球的互聯(lián)網(wǎng)，而不再更大更繁雜的數(shù)據(jù)庫(kù)，也就是全球的互聯(lián)網(wǎng)，而不再只利用兩種語(yǔ)言之間的文本翻譯。只利用兩種語(yǔ)言之間的文本翻譯。2.無(wú)所不包的無(wú)所不包的谷歌谷歌翻譯系統(tǒng)翻譯系統(tǒng)谷歌谷歌翻譯系統(tǒng)為了訓(xùn)練計(jì)算機(jī)，會(huì)吸收它能找到的所翻譯系統(tǒng)為了訓(xùn)練計(jì)算機(jī)，會(huì)吸收它能找到的所有翻譯。它會(huì)從各種各樣語(yǔ)言的公司網(wǎng)站上尋找對(duì)譯

8、有翻譯。它會(huì)從各種各樣語(yǔ)言的公司網(wǎng)站上尋找對(duì)譯文檔，還會(huì)去尋找聯(lián)合國(guó)和歐盟這些國(guó)際組織發(fā)布的文檔，還會(huì)去尋找聯(lián)合國(guó)和歐盟這些國(guó)際組織發(fā)布的官方文件和報(bào)告的譯本，甚至?xí)账僮x項(xiàng)目中的書官方文件和報(bào)告的譯本，甚至?xí)账僮x項(xiàng)目中的書籍翻譯。籍翻譯。谷歌谷歌的翻譯系統(tǒng)會(huì)掌握用不同語(yǔ)言翻譯的質(zhì)量參差的翻譯系統(tǒng)會(huì)掌握用不同語(yǔ)言翻譯的質(zhì)量參差不齊的數(shù)十億頁(yè)的文檔。不齊的數(shù)十億頁(yè)的文檔。不考慮翻譯質(zhì)量的話，上萬(wàn)億的語(yǔ)料庫(kù)就相當(dāng)于不考慮翻譯質(zhì)量的話，上萬(wàn)億的語(yǔ)料庫(kù)就相當(dāng)于950950億句英語(yǔ)。億句英語(yǔ)。2.無(wú)所不包的無(wú)所不包的谷歌谷歌翻譯系統(tǒng)翻譯系統(tǒng)盡管其輸入源很混亂，但較其他翻譯系統(tǒng)而言，盡管其輸入源很混

9、亂，但較其他翻譯系統(tǒng)而言，谷歌谷歌的翻譯質(zhì)量相對(duì)而言還是最好的，而且可的翻譯質(zhì)量相對(duì)而言還是最好的，而且可翻譯的內(nèi)容更多。翻譯的內(nèi)容更多。到到2012年年中，年年中，谷歌谷歌數(shù)據(jù)庫(kù)涵蓋了數(shù)據(jù)庫(kù)涵蓋了60多種語(yǔ)言，多種語(yǔ)言，甚至能夠接受甚至能夠接受14種語(yǔ)言的語(yǔ)音輸入，并有很流種語(yǔ)言的語(yǔ)音輸入，并有很流利的對(duì)等翻譯。利的對(duì)等翻譯。2.無(wú)所不包的無(wú)所不包的谷歌谷歌翻譯系統(tǒng)翻譯系統(tǒng)之所以能做到這些，是因?yàn)樗鼘⒄Z(yǔ)言視為能夠判別可之所以能做到這些，是因?yàn)樗鼘⒄Z(yǔ)言視為能夠判別可能性的數(shù)據(jù)，而不是語(yǔ)言本身。能性的數(shù)據(jù)，而不是語(yǔ)言本身。因?yàn)樵诜g的時(shí)候它能適當(dāng)增減詞匯，所以谷歌的翻因?yàn)樵诜g的時(shí)候它能適當(dāng)增減

10、詞匯，所以谷歌的翻譯比其他系統(tǒng)的翻譯靈活很多。譯比其他系統(tǒng)的翻譯靈活很多。谷歌谷歌的翻譯之所以更好是因?yàn)榈姆g之所以更好是因?yàn)楣雀韫雀璺g增翻譯增加了很多各種各樣的數(shù)據(jù)，是因?yàn)樗邮芗恿撕芏喔鞣N各樣的數(shù)據(jù)，是因?yàn)樗邮芰擞绣e(cuò)誤的數(shù)據(jù)。了有錯(cuò)誤的數(shù)據(jù)。2.無(wú)所不包的無(wú)所不包的谷歌谷歌翻譯系統(tǒng)翻譯系統(tǒng)20062006年，年，谷歌谷歌發(fā)布的上萬(wàn)億的語(yǔ)料庫(kù)，就是來(lái)自于互發(fā)布的上萬(wàn)億的語(yǔ)料庫(kù)，就是來(lái)自于互聯(lián)網(wǎng)的一些廢棄內(nèi)容。這就是聯(lián)網(wǎng)的一些廢棄內(nèi)容。這就是“訓(xùn)練集訓(xùn)練集”，可以正確，可以正確地推算出英語(yǔ)詞匯搭配在一起的可能性。地推算出英語(yǔ)詞匯搭配在一起的可能性。如今如今谷歌谷歌語(yǔ)料庫(kù)則是一個(gè)質(zhì)的突破，它

11、使用龐大的數(shù)語(yǔ)料庫(kù)則是一個(gè)質(zhì)的突破，它使用龐大的數(shù)據(jù)庫(kù)使得自然語(yǔ)言處理這一方向取得了飛躍式的發(fā)展。據(jù)庫(kù)使得自然語(yǔ)言處理這一方向取得了飛躍式的發(fā)展。自然語(yǔ)言處理能力是語(yǔ)音識(shí)別系統(tǒng)和計(jì)算機(jī)翻譯的自然語(yǔ)言處理能力是語(yǔ)音識(shí)別系統(tǒng)和計(jì)算機(jī)翻譯的基礎(chǔ)?；A(chǔ)?；ヂ?lián)網(wǎng)上最火的網(wǎng)址都表明，它們欣賞互聯(lián)網(wǎng)上最火的網(wǎng)址都表明，它們欣賞不精確而不會(huì)假裝精確。不精確而不會(huì)假裝精確。3.谷歌谷歌的數(shù)字圖書館的數(shù)字圖書館20042004年，年，谷歌谷歌發(fā)布了一個(gè)野心勃勃的計(jì)劃：它試圖發(fā)布了一個(gè)野心勃勃的計(jì)劃：它試圖把所有版權(quán)條例允許的書本內(nèi)容進(jìn)行數(shù)字化，讓世把所有版權(quán)條例允許的書本內(nèi)容進(jìn)行數(shù)字化，讓世界上所有的人都能通過(guò)網(wǎng)

12、絡(luò)免費(fèi)閱讀這些書籍。為界上所有的人都能通過(guò)網(wǎng)絡(luò)免費(fèi)閱讀這些書籍。為了完成這個(gè)偉大的計(jì)劃，了完成這個(gè)偉大的計(jì)劃，谷歌谷歌與全球最大和最著名與全球最大和最著名的圖書館進(jìn)行了合作，并且還發(fā)明了一個(gè)能自動(dòng)翻的圖書館進(jìn)行了合作，并且還發(fā)明了一個(gè)能自動(dòng)翻頁(yè)的掃描儀，這樣對(duì)上百萬(wàn)書籍的掃描工作才切實(shí)頁(yè)的掃描儀，這樣對(duì)上百萬(wàn)書籍的掃描工作才切實(shí)可行且不至于太過(guò)昂貴?？尚星也恢劣谔^(guò)昂貴。3.谷歌谷歌的數(shù)字圖書館的數(shù)字圖書館雖然這是一個(gè)現(xiàn)代的、數(shù)字化的亞歷山大圖書館，比歷史上任何一個(gè)圖書館都要強(qiáng)大，但谷歌依然希望它能做得更多。谷歌知道，這些信息只有被數(shù)據(jù)化，它的巨大潛在價(jià)值才會(huì)被釋放出來(lái)。因此谷歌使用了能識(shí)別數(shù)

13、字圖像的光學(xué)字符識(shí)別軟件來(lái)識(shí)別文本的字、詞、句和段落，如此一來(lái)，書頁(yè)的數(shù)字化圖像就轉(zhuǎn)化成了數(shù)據(jù)化文本。3.谷歌谷歌的數(shù)字圖書館的數(shù)字圖書館如今，不僅人類可以使用這些文本信息，計(jì)算機(jī)也如今，不僅人類可以使用這些文本信息，計(jì)算機(jī)也可以處理和分析這些文本數(shù)據(jù)了。通過(guò)檢索和查詢，可以處理和分析這些文本數(shù)據(jù)了。通過(guò)檢索和查詢，我們可以對(duì)它進(jìn)行無(wú)窮無(wú)盡的文本分析。我們可以對(duì)它進(jìn)行無(wú)窮無(wú)盡的文本分析。數(shù)據(jù)化的實(shí)現(xiàn)讓抄襲學(xué)術(shù)作品的行為越來(lái)越無(wú)數(shù)據(jù)化的實(shí)現(xiàn)讓抄襲學(xué)術(shù)作品的行為越來(lái)越無(wú)處藏身，因此，很多歐洲政客的抄襲行為被曝處藏身，因此，很多歐洲政客的抄襲行為被曝光，最終不得不引咎辭職。光，最終不得不引咎辭職。4

14、.谷歌谷歌街景與街景與GPS采集采集如今，如今，GPS已經(jīng)只是眾多定位系統(tǒng)中的一種了。已經(jīng)只是眾多定位系統(tǒng)中的一種了。這些新系統(tǒng)通過(guò)對(duì)電塔和無(wú)線路由器的信號(hào)強(qiáng)度這些新系統(tǒng)通過(guò)對(duì)電塔和無(wú)線路由器的信號(hào)強(qiáng)度進(jìn)行三角測(cè)量來(lái)定位地理位置，從而彌補(bǔ)了進(jìn)行三角測(cè)量來(lái)定位地理位置，從而彌補(bǔ)了GPS無(wú)法在室內(nèi)和高樓之間進(jìn)行定位的缺陷。無(wú)法在室內(nèi)和高樓之間進(jìn)行定位的缺陷。谷歌谷歌的街景車邊拍照邊收集無(wú)線路由器信息正是的街景車邊拍照邊收集無(wú)線路由器信息正是如此。如此。4.谷歌谷歌街景與街景與GPS采集采集除了人以外，除了人以外，谷歌谷歌也可以跟蹤事物的地理位置信息。也可以跟蹤事物的地理位置信息。隨著汽車裝上了無(wú)線

15、傳感器，地理位置信息隨著汽車裝上了無(wú)線傳感器，地理位置信息的數(shù)據(jù)化深刻變革了保險(xiǎn)的概念。這些數(shù)據(jù)的數(shù)據(jù)化深刻變革了保險(xiǎn)的概念。這些數(shù)據(jù)提供了關(guān)于時(shí)間、地點(diǎn)和實(shí)際行駛路程的詳提供了關(guān)于時(shí)間、地點(diǎn)和實(shí)際行駛路程的詳細(xì)信息，使保險(xiǎn)公司能更好地為車險(xiǎn)定價(jià)。細(xì)信息，使保險(xiǎn)公司能更好地為車險(xiǎn)定價(jià)。4.谷歌谷歌街景與街景與GPS采集采集通過(guò)汽車定位每個(gè)人的地理方位也改變了通過(guò)汽車定位每個(gè)人的地理方位也改變了一些固定資產(chǎn)投入的模式，比方說(shuō)公路和一些固定資產(chǎn)投入的模式，比方說(shuō)公路和其他基礎(chǔ)設(shè)施可以讓使用這些資源的司機(jī)其他基礎(chǔ)設(shè)施可以讓使用這些資源的司機(jī)和其他人分擔(dān)一部分投入。和其他人分擔(dān)一部分投入。4.谷歌谷歌

16、街景與街景與GPS采集采集 “谷歌街景”服務(wù)只是谷歌地圖服務(wù)的補(bǔ)充。 谷歌公司希望用戶將它和之前發(fā)布的“谷歌地球”結(jié)合起來(lái)，從而充分的了解地球上的每一個(gè)地區(qū)。 不過(guò)之前“谷歌地球”就曾遭受猛烈的批評(píng)，因?yàn)樗ㄟ^(guò)衛(wèi)星從高空拍攝，并向用戶提供此類的地球照片。 這些照片大大流行，因?yàn)榭梢宰屓藗兛吹降厍蛏厦恳惶幗锹?。但是也有人認(rèn)為衛(wèi)星照片的精確程度太高，讓人們感到仿佛受到了監(jiān)視。5.谷歌谷歌的拼寫檢查的拼寫檢查 在過(guò)去的20多年中，微軟為其Word軟件開(kāi)發(fā)出了一個(gè)強(qiáng)大的拼寫檢查程序，通過(guò)與頻繁更的字典正確拼寫相比較來(lái)對(duì)用戶鍵入的字符流進(jìn)行判斷。字典囊括所有已知詞匯，系統(tǒng)將拼寫相似但字典中沒(méi)有的詞匯判斷

17、為拼寫錯(cuò)誤，并對(duì)其進(jìn)行糾正。由于需要不斷編譯和更新字，微軟Word的拼寫檢查僅適用于最常用的語(yǔ)言，且每年需要花費(fèi)數(shù)百萬(wàn)美元的創(chuàng)建和維護(hù)費(fèi)用。微軟的拼寫檢查5.谷歌谷歌的拼寫檢查的拼寫檢查谷歌谷歌擁有世界上最完整的拼寫檢查器，基本上涵蓋了擁有世界上最完整的拼寫檢查器，基本上涵蓋了世界上的每一種語(yǔ)言。這個(gè)系統(tǒng)一直在不斷地完善和世界上的每一種語(yǔ)言。這個(gè)系統(tǒng)一直在不斷地完善和增加新的詞匯，這是人們每天使用搜索引擎的附加結(jié)增加新的詞匯，這是人們每天使用搜索引擎的附加結(jié)果。果。5.谷歌谷歌的拼寫檢查的拼寫檢查而且，而且，谷歌谷歌幾乎是幾乎是“免費(fèi)免費(fèi)”地獲得了這種拼寫地獲得了這種拼寫檢查，它依據(jù)的是其每天處理的檢查，它依據(jù)的是其每天處理的30億查詢中輸億查詢中輸入搜索框中的錯(cuò)誤拼寫。一個(gè)巧妙的反饋循環(huán)入搜索框中的錯(cuò)誤拼寫。一個(gè)巧妙的反饋循環(huán)可以將用戶實(shí)際想輸入的內(nèi)容告知系統(tǒng)?？梢詫⒂脩魧?shí)際想輸入的內(nèi)容告知系統(tǒng)。5.谷歌谷歌的拼寫檢查的拼寫檢查微軟只看到了拼寫檢查作為文字處理這一個(gè)目微軟只看到了拼寫檢查作為文字處理這一個(gè)目的的價(jià)值，而的的價(jià)值，而谷歌谷歌卻理解了其更深層次的價(jià)值。卻理解了