大數(shù)據(jù)時代的智能信息處理

大數(shù)據(jù)時代的智能信息處理王斌中國科學(xué)院信息工程研究所智能信息處理實驗室&信息內(nèi)容安全技術(shù)國家工程實驗室

自我介紹王斌博士，研究員，博導(dǎo)，主要研究方向為信息檢索、自然語言處理與數(shù)據(jù)挖掘主持973、863、自然科學(xué)基金等課題20余項發(fā)表學(xué)術(shù)論文120余篇，引用3000多次，獲得授權(quán)專利8項，多個實際系統(tǒng)上線應(yīng)用譯著4本：《信息檢索導(dǎo)論》、《大數(shù)據(jù)：互聯(lián)網(wǎng)大規(guī)模數(shù)據(jù)挖掘與分布式處理》、《機(jī)器學(xué)習(xí)實戰(zhàn)》、《Mahout實戰(zhàn)》中國中國信息學(xué)會理事、信息檢索專委會委員中國計算機(jī)學(xué)會高級會員、中文信息處理專委會委員《中文信息學(xué)報》編委、SIGIR/ACL/CIKM等國際頂級會議的程序委員會委員國家科技進(jìn)步及北京市科技二等獎各1項所授《現(xiàn)代信息檢索》課程獲得中國科學(xué)院大學(xué)全國優(yōu)秀課程(5%)已畢業(yè)博士生11名，碩士生20余名聯(lián)系方式：目錄大數(shù)據(jù)的基本知識大數(shù)據(jù)時代的智能信息處理小結(jié)大數(shù)據(jù)的發(fā)展歷史隨著計算機(jī)和網(wǎng)絡(luò)的發(fā)展，信息不斷爆炸1970s:超大規(guī)模數(shù)據(jù)庫(VLDB)【GB=109字節(jié)】21世紀(jì)初：海量數(shù)據(jù)（massivedata）【TB=1012字節(jié)】2008年：Bigdata【PB=1015字節(jié)】現(xiàn)在實際的數(shù)據(jù)量已經(jīng)達(dá)到：ZB=103EB=106PB=1021字節(jié)2008年9月4日《自然》（Nature）刊登了一個名為“BigData”的專輯2011年5月，McKinsey發(fā)布《大數(shù)據(jù)：創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》的報告，首次提出了大數(shù)據(jù)概念，認(rèn)為數(shù)據(jù)已經(jīng)成為經(jīng)濟(jì)社會發(fā)展的重要推動力。大數(shù)據(jù)的發(fā)展歷史2013年3月29日，美國奧巴馬政府宣布推出“大數(shù)據(jù)研究和發(fā)展計劃”（

BigDataResearchandDevelopmentInitiative），有人將其比之為克林頓政府當(dāng)年提出的“信息高速公路”計劃。該計劃涉及美國國家科學(xué)基金會、衛(wèi)生研究院、能源部、國防部等6個聯(lián)邦政府部門，投資超兩億美元，研發(fā)收集、組織和分析大數(shù)據(jù)的工具及技術(shù)。大數(shù)據(jù)的發(fā)展歷史2012年7月日本推出“新ICT戰(zhàn)略研究計劃”，在新一輪IT振興計劃中日本政府把大數(shù)據(jù)發(fā)展作為國家層面戰(zhàn)略提出。這是日本新啟動的2011年大地震一度擱置的政府ICT戰(zhàn)略研究。英國政府也宣稱投資6億英鎊科學(xué)資金，并計劃在未來兩年內(nèi)在大數(shù)據(jù)和節(jié)能計算研究投資1.89億英鎊。政府把大量的資金投入到計算基礎(chǔ)設(shè)施，用以捕捉并分析通過開放式數(shù)據(jù)革命獲得的數(shù)據(jù)流，帶動企業(yè)投入更多的資金。大數(shù)據(jù)的發(fā)展歷史2012年3月，我國科技部發(fā)布的“十二五國家科技計劃信息技術(shù)領(lǐng)域2013年度備選項目征集指南”把大數(shù)據(jù)研究列在首位。2013年3月國家自然基金委在上海舉行規(guī)模浩大的“大數(shù)據(jù)雙清論壇”。中國分別舉辦了第一屆（2011年）和第二屆（2012年）“大數(shù)據(jù)世界論壇”。IT時代周刊等舉辦了“大數(shù)據(jù)2012論壇”，中國計算機(jī)學(xué)會舉辦了“CNCC2012大數(shù)據(jù)論壇”。國家自然科學(xué)基金委，2014年立項重點和重大項目“大數(shù)據(jù)技術(shù)和應(yīng)用中的挑戰(zhàn)性科學(xué)問題”研究，擬從10個方向中選擇資助8個重點項目。國家科技部，863計劃信息技術(shù)領(lǐng)域2015年備選項目包括超級計算機(jī)、大數(shù)據(jù)、云計算、信息安全、第五代移動通信系統(tǒng)（5G）等。大數(shù)據(jù)的發(fā)展歷史大數(shù)據(jù)的發(fā)展歷史傳統(tǒng)IT巨頭（IBM、微軟、惠普、Oracle等）通過“硬件+軟件+數(shù)據(jù)”整合平臺，向用戶提供大數(shù)據(jù)完備的基礎(chǔ)設(shè)施和服務(wù)，實現(xiàn)“處理-存儲-網(wǎng)絡(luò)設(shè)備-軟件-應(yīng)用”，即所謂“大數(shù)據(jù)一體機(jī)”。通過并購大數(shù)據(jù)分析企業(yè)，迅速增強(qiáng)大數(shù)據(jù)分析實力和擴(kuò)展市場份額。商務(wù)智能廠商（SAS，Teradata等）長期專注行業(yè)（銀行、電信等）智能數(shù)據(jù)分析，技術(shù)實力強(qiáng)，產(chǎn)品線豐富，行業(yè)業(yè)務(wù)精。在大數(shù)據(jù)時代，這些廠商在原有結(jié)構(gòu)化數(shù)據(jù)處理的同時，開始加大在可擴(kuò)展計算、內(nèi)存計算、庫內(nèi)分析、實時流處理和非結(jié)構(gòu)化數(shù)據(jù)處理等方面的投入。這些廠商憑借在以往數(shù)據(jù)建模和分析方面的長期積累，雖處于行業(yè)領(lǐng)導(dǎo)地位，但面臨大數(shù)據(jù)，它們的諸多產(chǎn)品性能仍跟不上大數(shù)據(jù)的需求?；ヂ?lián)網(wǎng)公司（Google、Facebook、阿里巴巴、百度、騰訊等）這些公司基于自身應(yīng)用平臺、龐大的用戶群、海量用戶信息以及互聯(lián)網(wǎng)處理平臺，可提供精確營銷、個性化推介等商務(wù)活動。在大數(shù)據(jù)時代，催生了大數(shù)據(jù)分布式處理軟件框架Hadoop：包括分布式文件系統(tǒng)HDFS，并行編程框架Map-Reduce，數(shù)據(jù)倉庫工具Hive和大數(shù)據(jù)分析平臺Pig等。大數(shù)據(jù)的特點互聯(lián)網(wǎng)一分鐘，F(xiàn)rom,July2013Google執(zhí)行200萬次搜索互聯(lián)網(wǎng)上發(fā)送郵件2.04億有27.8萬個“Tweets”誕生亞馬遜銷售8.3萬美元商品Flickr圖片瀏覽2000萬次，Instagram分享21.6萬張圖片…….大數(shù)據(jù)的四個VVolume（AmountofData）：大容量

（主要體現(xiàn)數(shù)據(jù)存儲量大和計算量大）Velocity（SpeedofDatain&out）：快速率

（主要指數(shù)據(jù)更新、增長速度快，數(shù)據(jù)存儲、傳輸、處理速度快）Variety（RangeofDataTypes&Sources）：多樣性

（包括結(jié)構(gòu)化的原數(shù)據(jù)庫表格數(shù)據(jù)和半結(jié)構(gòu)化、非結(jié)構(gòu)化的文本、視頻、圖像等信息）Value（UsefulnessofData）：高價值

（大海撈針，“在大數(shù)據(jù)困難面前，不被利用就是成本”）大數(shù)據(jù)的魅力----地震探測日本是個地震高發(fā)國家，發(fā)生地震后越早探測到地震就能挽救更多的生命和財產(chǎn)。日本也是一個Twitter使用十分流行的國家。每年日本政府都投入巨資部署大量感應(yīng)器(sensor)來監(jiān)測地震，JapanMeteorologicalAgency(JMA，日本氣象局)會在地震發(fā)生后提供警報日本東京大學(xué)的幾名計算機(jī)科學(xué)家設(shè)計實現(xiàn)了一個基于Twitter的地震探測警報發(fā)布系統(tǒng)用戶作為感應(yīng)器(Sensor)Twitter作為信號傳輸網(wǎng)絡(luò)TakeshiSakaki,MakotoOkazaki,YutakaMatsuo,EarthquakeShakesTwitterUsers:Real-timeEventDetectionbySocialSensors,inProceedingsofWWW2010大數(shù)據(jù)的魅力----地震探測實驗結(jié)果，該系統(tǒng)對地震的探測預(yù)警比JMA要早3-8分鐘利用Twitter還可以探測孕婦情緒、監(jiān)測哮喘、預(yù)測股市、預(yù)測收視率等等Twitter宣稱可以開放全部數(shù)據(jù)為科學(xué)家研究所用大數(shù)據(jù)的魅力----地震探測大數(shù)據(jù)的魅力----疾病爆發(fā)預(yù)測2009年出現(xiàn)了一種稱為甲型H1N1的新流感病毒，在短短幾周內(nèi)迅速傳播開來，全球的公共衛(wèi)生機(jī)構(gòu)都擔(dān)心一場致命的流行病即將來襲。傳統(tǒng)的做法會使得信息滯后，而滯后兩周對一種飛速傳播的疾病是致命的，它使得公共衛(wèi)生機(jī)構(gòu)在疫情爆發(fā)的關(guān)鍵時期難以有效發(fā)揮作用。這種流感爆發(fā)的幾周前，Google的工程師在《自然》雜志發(fā)表引人注目的論文，令公共衛(wèi)生官員和計算機(jī)科學(xué)家感到震驚。因為文章不僅預(yù)測了流感在全美的傳播，而且具體到特定的地區(qū)和州Google是通過觀察人們在網(wǎng)上的搜索記錄來完成這個預(yù)測的，這種方法以前一直是被忽略的Google保存了多年來所有的搜索記錄,每天有來自全球30億條搜索指令(僅Google有這樣的數(shù)據(jù)資源),如此龐大數(shù)據(jù)資源足以支撐和幫助它完成這項工作JeremyGinsberg,MatthewH.Mohebbi,RajanS.Patel,LynnetteBrammer,MarkS.Smolinski

&LarryBrilliant。Detectinginfluenzaepidemicsusingsearchenginequerydata，Nature

457,1012-1014，2009大數(shù)據(jù)的魅力----疾病爆發(fā)預(yù)測原理：現(xiàn)在大家都有上網(wǎng)搜索信息的習(xí)慣，連頭痛感冒也上網(wǎng)搜索，Google流感趨勢項目通過記錄搜索有關(guān)“流感”詞條的地區(qū)和頻率，并分析其與流感在時間和空間上的傳播之間的聯(lián)系，追蹤到流感廣泛傳播的地區(qū)，進(jìn)而預(yù)測流感可能爆發(fā)的高危地區(qū)。即當(dāng)某地區(qū)在網(wǎng)上搜尋與流感有關(guān)信息的人日益增多，很可能意味著該地區(qū)有許多人患上流感類疾病因為流感趨勢項目能夠近乎實時地估計流感活動情況，故它比其他系統(tǒng)能夠更早地發(fā)現(xiàn)流感疫情大數(shù)據(jù)的魅力----疾病爆發(fā)預(yù)測Google把5000萬條美國人最頻繁檢索的詞條與疾控中心在2003年到2008年間季節(jié)性流感傳播期間的數(shù)據(jù)進(jìn)行比較，以確定相關(guān)檢索詞條，并總共處理了4.5億個不同的數(shù)學(xué)模型在把得出的預(yù)測與2007年和2008年美國疾控中心記錄的實際流感病例進(jìn)行對比后，篩選了45條檢索詞條的組合，并把它們用于一個特定的數(shù)學(xué)模型后，其預(yù)測與官方數(shù)據(jù)相關(guān)性高達(dá)97%因此當(dāng)2009年甲型H1N1流感爆發(fā)時，與滯后的官方數(shù)據(jù)相比，Google成為一個更有效及時的指示者利用Google搜索日志還可以探測熱點事件、發(fā)現(xiàn)罪犯、購物意圖分析等等。大數(shù)據(jù)的魅力----疾病爆發(fā)預(yù)測大數(shù)據(jù)的魅力----小結(jié)日本地震的例子：國家安全Google流感預(yù)測的例子：社會穩(wěn)定大數(shù)據(jù)會在多個行業(yè)領(lǐng)域都有重要影響，大數(shù)據(jù)的魅力無處不在……互聯(lián)網(wǎng)大數(shù)據(jù)地理交通大數(shù)據(jù)社交大數(shù)據(jù)金融大數(shù)據(jù)生物大數(shù)據(jù)醫(yī)療大數(shù)據(jù)2023/5/6數(shù)據(jù)庫研究所25目錄大數(shù)據(jù)的基本知識大數(shù)據(jù)時代的智能信息處理小結(jié)智能信息處理(IIP)數(shù)據(jù)信息知識：利用自然語言處理、信息檢索、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等技術(shù)，從數(shù)據(jù)中獲得有價值的信息和知識典型應(yīng)用搜索引擎：Google、百度等智能問答：微軟小冰、蘋果Siri、IBMWatson典型應(yīng)用機(jī)器翻譯：Google翻譯、百度翻譯典型應(yīng)用情報分析典型應(yīng)用輿情分析：對事件或產(chǎn)品的態(tài)度、看法進(jìn)行收集和分析典型應(yīng)用大數(shù)據(jù)給IIP帶來的機(jī)遇----機(jī)器翻譯2000年以前，機(jī)器翻譯以基于規(guī)則的方法為主(If….Then…Else)2000年以后，統(tǒng)計機(jī)器翻譯開始占據(jù)主流近年來，NIST評測中排名靠前的都是統(tǒng)計機(jī)器翻譯系統(tǒng)大數(shù)據(jù)是提高統(tǒng)計機(jī)器翻譯效果的關(guān)鍵統(tǒng)計機(jī)器翻譯依賴大數(shù)據(jù)ＳP（S）P（T｜S）ＴDeepQA2011年2月，IBM開發(fā)的DeepQA系統(tǒng)Watson系統(tǒng)參加美國電視智力節(jié)目Jeopardy!，大比分戰(zhàn)勝了兩位最厲害的兩位人類選手2011年，蘋果推出個人語音助手Siri2014年5月，微軟推出小冰機(jī)器人這些系統(tǒng)中的核心是大數(shù)據(jù)分析技術(shù)DeepQA的核心是大數(shù)據(jù)深度學(xué)習(xí)2011年IJCNN交通標(biāo)志識別及遷移學(xué)習(xí)評測獲得第一名2012年6月，媒體披露GoogleBrain項目微軟基于深度學(xué)習(xí)的語音識別系統(tǒng)在Switchboard標(biāo)準(zhǔn)數(shù)據(jù)集識別的錯誤率比已有的最低錯誤率降低了33%Google研究院利用深度學(xué)習(xí)在ImageNet數(shù)據(jù)集上得到的分類準(zhǔn)確率比當(dāng)前最好的結(jié)果提高了70%深度學(xué)習(xí)離不開大數(shù)據(jù)2011年，Google研究人員將1000萬張靜態(tài)圖像輸入由1000臺計算機(jī)構(gòu)成的網(wǎng)絡(luò)，利用深度學(xué)習(xí)訓(xùn)練3天，可以識別貓大數(shù)據(jù)使得智能信息處理的很多方向起死回生，大數(shù)據(jù)使得原來的一些不可能變成可能。那么大數(shù)據(jù)智能信息處理中的挑戰(zhàn)或需要注意的問題是什么？慎用大數(shù)據(jù)一篇發(fā)表在Science上的研究稱，自從2011年8月以來，Google流感趨勢在108周的時間里有100周出了錯。Google從來沒有披露過他們是采用哪些搜索關(guān)鍵詞來追蹤流感信息的。而事實上，以“流感”為關(guān)鍵詞進(jìn)行搜索的用戶，實際上并一定代表他們得了流感。去醫(yī)院看流感的人中，高達(dá)80%～90%比例的人實際上并沒有得流感，他們在Google上的搜索行為并不能作為可靠的信息來源。Google流感趨勢推出已經(jīng)長達(dá)六年，但是他們?nèi)匀粵]有辦法替代傳統(tǒng)的流感監(jiān)測模式。不要迷信大數(shù)據(jù)有困難,找警察Difficulttofindthepolice數(shù)據(jù)量增加到一定階段，數(shù)據(jù)的增長對機(jī)器翻譯效果的促進(jìn)作用不再明顯需要開發(fā)新的算法，有效利用大數(shù)據(jù)對于機(jī)器翻譯而言，統(tǒng)計+規(guī)則是必然選擇規(guī)則vs.統(tǒng)計統(tǒng)計方法占了主導(dǎo)地位，目前取得重大進(jìn)展的統(tǒng)計機(jī)器翻譯、語音識別等領(lǐng)域以統(tǒng)計方法為主。但是大部分統(tǒng)計方法都是“黑盒子”，另一方面數(shù)據(jù)的增長不會一直帶來性能的高速增長另一個事實，Google搜索引擎是以規(guī)則為主的應(yīng)用！如何獲得數(shù)據(jù)數(shù)據(jù)分成未加工數(shù)據(jù)+加工(標(biāo)注)后的數(shù)據(jù)如何獲得加工后的數(shù)據(jù)至關(guān)重要人工標(biāo)注：不可擴(kuò)展，7萬網(wǎng)頁=￥200萬，700萬=？萬自動標(biāo)注：精度問題利用隱式標(biāo)注：搜索中用戶的點擊、鼠標(biāo)等行為，精度問題眾包法眾包的例子----Google圖片標(biāo)注圖片的標(biāo)注是一個難題

2006年，CMU的LuisVon