認(rèn)知應(yīng)用：中科普開(kāi)大數(shù)據(jù)的下個(gè)轉(zhuǎn)折點(diǎn)

1、在我的之前的一些博客中，我提到了生成認(rèn)知的必要性和重要性, 并提供了一個(gè)認(rèn)知應(yīng)用的例子。我始終認(rèn)為認(rèn)知應(yīng)用是對(duì)于希望通過(guò)挖 掘大數(shù)據(jù)從而改進(jìn)決策和解決重要問(wèn)題的公司的關(guān)鍵所在。為了更好的 理解和領(lǐng)會(huì)開(kāi)發(fā)這類(lèi)應(yīng)用的必要性，考慮在大數(shù)據(jù)領(lǐng)域正在發(fā)生什么, 并且評(píng)估我們?cè)谏虡I(yè)智能系統(tǒng)上的經(jīng)驗(yàn)，及它應(yīng)該如何驅(qū)動(dòng)我們理解認(rèn) 知應(yīng)用是十分重要的。由于我認(rèn)為認(rèn)知應(yīng)用是大數(shù)據(jù)發(fā)展的下一個(gè)轉(zhuǎn)折（參見(jiàn)最近使用ibmwatson平臺(tái)建立的這類(lèi)應(yīng)用舉例），我將要在一系列博客中進(jìn)一步探討 這個(gè)話題。在這篇博客中,我對(duì)于數(shù)據(jù)分析在過(guò)去25年的演變進(jìn)行了 觀察。,特別是當(dāng)我們來(lái)到大數(shù)據(jù)時(shí)代，開(kāi)發(fā)認(rèn)知應(yīng)用是必然之舉。在 第二

2、篇博客中，我將更為詳細(xì)地描述這類(lèi)應(yīng)用，并且提供一些例子。在 第最后的第三篇博客中，我將討論投資者對(duì)認(rèn)知應(yīng)用的興趣，并描述我 最近對(duì)這一領(lǐng)域的創(chuàng)業(yè)公司的投資。在這些博客中，我的分析和理解均 基于本人作為三十多年的企業(yè)家、量?jī)煞治鰬?yīng)用創(chuàng)業(yè)公司的創(chuàng)始人以及 在這一領(lǐng)域進(jìn)行了 15年投資的風(fēng)險(xiǎn)投資人的經(jīng)驗(yàn)。數(shù)據(jù)分析在過(guò)去25年隨著過(guò)去25年中數(shù)據(jù)量的大幅增加,針對(duì)決策制定的數(shù)據(jù)理解都 由兩個(gè)步驟組成：創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)以及理解數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容。數(shù)據(jù)倉(cāng)庫(kù)以及它的前身一企業(yè)數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)市場(chǎng)等,是構(gòu)造專(zhuān)業(yè) 數(shù)據(jù)庫(kù)所必須的基礎(chǔ)架構(gòu)。這些數(shù)據(jù)可能來(lái)自于一個(gè)單獨(dú)的數(shù)據(jù)源（例 如客戶(hù)關(guān)系管理應(yīng)用的數(shù)據(jù)庫(kù)）或者來(lái)自整合過(guò)的

3、一系列不同的數(shù)據(jù)源 （例如將一個(gè)客戶(hù)關(guān)系管理應(yīng)用的數(shù)據(jù)庫(kù)和一個(gè)包含每個(gè)客戶(hù)的社交媒 體交互數(shù)據(jù)的數(shù)據(jù)庫(kù)整合起來(lái)）。這些數(shù)據(jù)可能是結(jié)構(gòu)化的（例如貨幣被 描述為每個(gè)用戶(hù)支付的數(shù)量）、非結(jié)構(gòu)化的（例如一個(gè)客戶(hù)和一個(gè)服務(wù)專(zhuān) 員之間以文本形式的交互內(nèi)容）。專(zhuān)業(yè)化數(shù)據(jù)是那些一旦被抓取,就是 干凈的、有標(biāo)簽的、并且自動(dòng)地或被（比人們認(rèn)為更頻繁地進(jìn)行）人工描 述的。在過(guò)去幾年里，我們已經(jīng)通過(guò)大量使用開(kāi)源軟件、云計(jì)算、商用硬 件等來(lái)降低數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)銷(xiāo)，并進(jìn)一步改進(jìn)我們管理更多樣、大量和高 速產(chǎn)生的數(shù)據(jù)的能力。我們已經(jīng)從只有諸如金融服務(wù)的花旗銀行以及零 售業(yè)的沃爾瑪之類(lèi)的大公司才能負(fù)擔(dān)的、干萬(wàn)美元開(kāi)銷(xiāo)的數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)

4、向 對(duì)于中小型企業(yè)可以負(fù)擔(dān)得起的數(shù)據(jù)倉(cāng)庫(kù)。最近，低開(kāi)銷(xiāo)的服務(wù)提供方, 諸如亞馬遜的redshift,谷歌的bigquery ,甚至是微軟的azure ,已經(jīng)把數(shù)據(jù)倉(cāng)庫(kù) 移到云上。最終,數(shù)據(jù)倉(cāng)庫(kù)對(duì)于普通企業(yè)來(lái)說(shuō)都是可用的。隨著數(shù)據(jù)倉(cāng)庫(kù)的崛起,數(shù)據(jù)分析報(bào)告的交付已從打印轉(zhuǎn)向數(shù)據(jù)化數(shù)據(jù)理解的第二步涉及到通過(guò)數(shù)據(jù)分析來(lái)理解數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容。在 商業(yè)環(huán)境中，這往往是通過(guò)報(bào)告和關(guān)聯(lián)的可視化來(lái)完成，有時(shí)候也會(huì)使 用更加定制化的可視化和諸如神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法（機(jī)器學(xué)習(xí)雖然并不是新概念,但幾乎從數(shù)據(jù)倉(cāng)庫(kù)作為數(shù)據(jù)存儲(chǔ)和管理工具出現(xiàn)開(kāi)始就 被使用）。隨著數(shù)據(jù)倉(cāng)庫(kù)被更多的各行各業(yè)的公司所采用,我們見(jiàn)證了可以創(chuàng) 建的

5、報(bào)告的形式的逐漸改變，報(bào)告被展現(xiàn)給分析師和決策者，以及準(zhǔn)備 報(bào)告的人。在早期（80年代末90年代早期）,商務(wù)智能報(bào)告由技術(shù)專(zhuān)員 創(chuàng)建，他們也是通過(guò)向數(shù)據(jù)倉(cāng)庫(kù)提供函數(shù)和查詢(xún)來(lái)得到報(bào)告。這些報(bào)告 被封裝（例如,它們可以被修改，但是有很大難度,且只能被同一個(gè)創(chuàng) 建報(bào)告的技術(shù)專(zhuān)員所修改）,并在計(jì)算機(jī)打印紙上呈現(xiàn)。后來(lái),盡管這 些報(bào)告仍然被封裝，它們可以在電腦上通過(guò)專(zhuān)門(mén)的報(bào)告程序來(lái)呈現(xiàn)，再 后來(lái),可以呈現(xiàn)在包括智能電話和手持終端運(yùn)行的網(wǎng)絡(luò)瀏覽器上。近年 來(lái)，查詢(xún)創(chuàng)建和報(bào)告撰寫(xiě)的任務(wù)從技術(shù)專(zhuān)員轉(zhuǎn)交給了商業(yè)用戶(hù)。然而, 盡管查詢(xún)和關(guān)聯(lián)的報(bào)告變得更快、更靈活、被更廣泛的使用,這些報(bào)告 的主要用戶(hù)商業(yè)分析師們，

6、仍然困擾于在大量信息中發(fā)現(xiàn)在報(bào)告中 存在的最簡(jiǎn)單的模式。最重要的是，這些用戶(hù)糾結(jié)于基于報(bào)告所包含的 信息應(yīng)該決定采取什么行動(dòng)（參見(jiàn)圖1的例子）。圖1關(guān)于復(fù)雜的數(shù)據(jù)模式和可視化的一些常見(jiàn)的例子隨著更多數(shù)據(jù)的產(chǎn)生,我們已經(jīng)可以更有效地管理數(shù)據(jù)所帶來(lái)的開(kāi)銷(xiāo)，但是仍然掙扎于進(jìn)行有效的數(shù)據(jù)分析受到全球因特網(wǎng)的普及，它所帶來(lái)的網(wǎng)絡(luò)連通性的驅(qū)動(dòng)，物聯(lián)網(wǎng)之 類(lèi)的新領(lǐng)域產(chǎn)生的前所未見(jiàn)的海量數(shù)據(jù),以及基于這些所創(chuàng)建的大量應(yīng) 用，使得我們被數(shù)據(jù)所淹沒(méi)。快速數(shù)據(jù)和慢數(shù)據(jù)，簡(jiǎn)單數(shù)據(jù)和復(fù)雜數(shù)據(jù), 所有這些數(shù)據(jù)都是前所未有的大量。數(shù)據(jù)的量變的多大了呢?我們已經(jīng) 從在2014年產(chǎn)生大約5澤字節(jié)的非結(jié)構(gòu)化數(shù)據(jù)到2020年將增加

7、到大 約40澤字節(jié)的非結(jié)構(gòu)化（參見(jiàn)圖2）。all global data in zettabytes401zb 二 1,126,000,000,000,000,000,000 bytes (approx)355 0 5 0 5 02 2 11圖2非結(jié)構(gòu)化數(shù)據(jù)在2005至2020年的實(shí)際和預(yù)期增長(zhǎng)對(duì)比特別是在上一個(gè)十年間,隨著數(shù)據(jù)量變得更大,企業(yè)的it策略核 變?yōu)橛煤苌俚馁Y源做更多的事。公司的數(shù)據(jù)倉(cāng)庫(kù)開(kāi)始面臨兩大問(wèn)題。第 -,其中的一些系統(tǒng)不能有效地管理所獲取的海量數(shù)據(jù)，因而數(shù)據(jù)不能 被應(yīng)用有效的利用。第二,開(kāi)銷(xiāo)變得不能承受的高,成為數(shù)據(jù)管理方面 另一大挑戰(zhàn)。與此同時(shí)，當(dāng)新t弋的數(shù)據(jù)管理軟件（例

8、如hadoop）被谷歌、雅虎 等重量級(jí)科技公司開(kāi)發(fā)出來(lái)，一些部分解決方案開(kāi)始出現(xiàn)。一開(kāi)始，這些軟件在商用硬件上運(yùn)行，并且很快開(kāi)源，從而使得企業(yè)可以以較低的開(kāi)銷(xiāo)來(lái)解決它們的大數(shù)據(jù)問(wèn)題。cloudera,hortonworks以及一些其他提供開(kāi)源軟件服務(wù)的公司在大數(shù)據(jù)基礎(chǔ)設(shè)施領(lǐng)域扮演了重要角色。我將這些解決方案稱(chēng)為部分是因?yàn)樵诠芾?數(shù)據(jù)的同時(shí),這些系統(tǒng)并不包含企業(yè)所使用數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的那些復(fù)雜的、 專(zhuān)用的功能。但是這些新系統(tǒng)擅于構(gòu)建數(shù)據(jù)湖泊,適用于多樣化的大數(shù) 據(jù)環(huán)境，并旨在通過(guò)更低的開(kāi)銷(xiāo)替代或增強(qiáng)某些類(lèi)型的數(shù)據(jù)倉(cāng)庫(kù)。盡管我們有效管理大數(shù)據(jù)開(kāi)銷(xiāo)的能力得到了改進(jìn)，但是我們分析數(shù) 據(jù)的能力，不計(jì)開(kāi)銷(xiāo)的情

9、況下，仍然沒(méi)有提升。盡管大眾媒體宣稱(chēng)從數(shù) 據(jù)中得來(lái)的認(rèn)知結(jié)果將是新的石油（或金子,挑選你喜歡的隱喻），但市 場(chǎng)研究公司idc預(yù)測(cè)，到2020只有很少一部分采集的數(shù)據(jù)會(huì)被分析。 我們需要分析更多抓取的數(shù)據(jù),并從中提取更多的信息。我們正在致力于改進(jìn)我們分析數(shù)據(jù)的能力，但是面臨著數(shù)據(jù)專(zhuān)業(yè)人員的短缺為了收集和分析更多的數(shù)據(jù),同時(shí)不放棄報(bào)告的生成，我們開(kāi)始廣 泛采用機(jī)器學(xué)習(xí)和其他基于人工智能數(shù)據(jù)分析技術(shù)的自動(dòng)化的信息抽 取方法。然而，這些方法要求使用一類(lèi)新的專(zhuān)業(yè)人員數(shù)據(jù)科學(xué)家。盡管我們看到數(shù)據(jù)科學(xué)家的數(shù)量潮涌般增加，但是我們需要更多，并且, 與正在產(chǎn)生的數(shù)據(jù)相比我們永遠(yuǎn)不能提供足夠的數(shù)據(jù)科學(xué)家。麥肯錫曾

10、 估計(jì)，到2018年，美國(guó)將面臨（大約14萬(wàn)至19萬(wàn)缺口）人才缺口 ,這 些人擁有可以從收集的數(shù)據(jù)中提取認(rèn)知結(jié)果的深度分析技能。我們還將 缺少大約150萬(wàn)擁有量化分析技能的、可以基于數(shù)據(jù)科學(xué)家生成的大數(shù) 據(jù)分析來(lái)做出重要商業(yè)決策的經(jīng)理。機(jī)器學(xué)習(xí)改進(jìn)了我彳i'發(fā)現(xiàn)數(shù)據(jù)中關(guān)聯(lián)性的能力，但做出決策的要求 的時(shí)間變短了,而數(shù)據(jù)產(chǎn)生的速度增加了商業(yè)智能是一個(gè)出現(xiàn)了近40年的領(lǐng)域。統(tǒng)計(jì)分析和機(jī)器學(xué)習(xí)技術(shù) 被使用的時(shí)間則更長(zhǎng)。在這一時(shí)期，我們已經(jīng)提升了我們從數(shù)據(jù)集中識(shí) 別關(guān)聯(lián)性的能力，但是做出決策的時(shí)間要求正在變短,而數(shù)據(jù)產(chǎn)生的速 度不斷增加。舉例來(lái)說(shuō),公司的首席金融官們可能有一個(gè)月的時(shí)間來(lái)創(chuàng) 建金

11、融預(yù)報(bào),然而一個(gè)自動(dòng)的在線廣告平臺(tái)只有僅僅10毫秒的時(shí)間來(lái) 決定把d那一個(gè)數(shù)字廣告展現(xiàn)給特定的用戶(hù)（參見(jiàn)圖3）o此夕卜,一個(gè)首席 金融官僅需要參考幾十億字節(jié)的數(shù)據(jù)就可以得出決策,而在線廣告系統(tǒng) 不得不分析萬(wàn)億兆字節(jié)的數(shù)據(jù)，大部分的數(shù)據(jù)還是近實(shí)時(shí)生成的。1111/21 hrmlns 1 min10 橫殍month weekdayday圖3各行業(yè)做出決策需要的平均時(shí)間示意 在一些應(yīng)用領(lǐng)域，簡(jiǎn)單地識(shí)別出數(shù)據(jù)集中的關(guān)聯(lián)性對(duì)做出決策來(lái)說(shuō) 已經(jīng)足夠。在其中一些高價(jià)值高投資回報(bào)的領(lǐng)域，通過(guò)數(shù)據(jù)科學(xué)家和其 他專(zhuān)業(yè)人員來(lái)從大量數(shù)據(jù)中抽取信息是合理且必要的。計(jì)算機(jī)安全威脅 檢測(cè)以及信用卡欺詐檢測(cè)就是兩個(gè)這樣的領(lǐng)域。在這些領(lǐng)域里，作岀決 策的時(shí)間是非常短的，做出錯(cuò)誤決定（過(guò)度保守）的代價(jià),至少最初并不 是非常高。將一個(gè)交易視作欺詐或者將f行為視為安全入侵的代價(jià)也 很低（例如持卡人的不便或是對(duì)于系統(tǒng)管理員的一些網(wǎng)絡(luò)取證）。但是， 沒(méi)有檢測(cè)到在已建立的行為模式中的異常的代價(jià)將會(huì)更高。為了跟上大數(shù)據(jù)的節(jié)奏和改善我們對(duì)信息的使用,我們需要能快速 而廉價(jià)地抽取相關(guān)性并將其與行動(dòng)關(guān)聯(lián)起來(lái)的應(yīng)用考慮到預(yù)期的數(shù)據(jù)科學(xué)家和具有量化分析能力的商業(yè)用戶(hù)的短缺, 以及我們迫切的繼續(xù)挖掘已經(jīng)收集到的海量數(shù)據(jù)的需求，我們要能更好 地開(kāi)發(fā)分析應(yīng)用，使其能夠生成認(rèn)知并關(guān)聯(lián)到