大數(shù)據(jù)的發(fā)展與未來課件

江西財經(jīng)大學信息管理學院徐升華大數(shù)據(jù)的發(fā)展與未來江西財經(jīng)大學信息管理學院大數(shù)據(jù)的發(fā)展與未來11of33江西財經(jīng)大學信息管理學院目錄大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的管理大數(shù)據(jù)的應用大數(shù)據(jù)的到來1of33江西財經(jīng)大學目錄大數(shù)據(jù)的挑戰(zhàn)大22of33WEB時代PC時代20131959發(fā)明IC54年前1969@發(fā)明Internet44年前1979發(fā)明蜂窩電話34年前1989發(fā)明WWW24年前19993G3G標準化14年前發(fā)明PC197439年前互聯(lián)網(wǎng)時代移動通信時代寬帶移動通信時代發(fā)明計算機69年前194474年前1939發(fā)明電視47年前1966摩爾時代發(fā)明光纖后摩爾時代

2018？移動互聯(lián)網(wǎng)時代

2012后PC時代

2012后WEB時代

2012云計算時代

2015？物聯(lián)網(wǎng)時代

2020？LTE數(shù)字化/平板化電視時代2010DOSGUIWebCloud以計算機

為中心以軟件

為中心以服務

為中心網(wǎng)絡時代PC時代云計算時代以認知

為中心DataMining網(wǎng)絡共享內(nèi)容共享資源共享IOT物聯(lián)網(wǎng)時代以應用為中心大數(shù)據(jù)時代數(shù)據(jù)共享大數(shù)據(jù)時代2020？信息通信技術(shù)發(fā)展進入新時代大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院2of33WEB時代PC時代20131959發(fā)明IC54年前33of33一天一周一月一年1Eb可刻滿1.68億張DVD全球新產(chǎn)生的數(shù)據(jù)年增40%，全球信息總量每兩年就可以翻番!

而對新增數(shù)據(jù)的處理能力以及其利用率的增長則不足5%ZB()EB()PB()

TB()GB()MB()互聯(lián)網(wǎng)流量變化大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院3of33一天一周一月一年1Eb可刻滿1.68億張DVD全球44of33美國Telegeography的國際互聯(lián)網(wǎng)流量數(shù)據(jù)監(jiān)測顯示：

2010年比2009年全球增長了62%，按此推算10年超過1000倍！美國互聯(lián)網(wǎng)流量（TB/月）：90’96’99’11’110001000015000000大約10年1000倍全球骨干網(wǎng)IP流量骨干網(wǎng)IP流量變化大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院4of33美國Telegeography的國際互聯(lián)網(wǎng)流量數(shù)據(jù)55of33單日數(shù)據(jù)產(chǎn)生量超過50TB，存儲量40PB。淘寶新浪微博高峰期每秒100萬次響應請求。百度每天約處理60億次搜索請求，幾十PB數(shù)據(jù)。騰訊每天1千億次服務調(diào)用、5萬億次計算、300G存儲量。國家電網(wǎng)到2012年10月信息系統(tǒng)累計產(chǎn)生大數(shù)據(jù)2PB。聯(lián)通用戶上網(wǎng)記錄83萬條/秒，對應數(shù)據(jù)量3.6PB/年。中山大學第一醫(yī)院所存數(shù)據(jù)2008年130TB,預計2015年1PB。農(nóng)夫山泉每天從銷售其礦泉水的超市回傳10張照片，每月3TB。京東商城每秒產(chǎn)生2千元的交易額，累計各種數(shù)據(jù)達到PB。每天產(chǎn)生數(shù)據(jù)超過10TB，現(xiàn)已存20PB，預計該基因庫最終將達1EB。北京公交公交一卡通每天刷卡4000萬次，地鐵1000萬次。華大基因每日約處理600G數(shù)據(jù)。存量數(shù)據(jù)超過70TB。交通銀行大數(shù)據(jù)應用舉例大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院5of33單日數(shù)據(jù)產(chǎn)生量超過50TB，存儲量40PB。淘寶新66of33

“大數(shù)據(jù)是指無法在容許的時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合，大數(shù)據(jù)規(guī)模的標準是持續(xù)變化的，當前泛指單一數(shù)據(jù)集的大小在幾十TB和數(shù)PB之間”

－－維基百科定義數(shù)據(jù)規(guī)模微軟的研究發(fā)現(xiàn)，F(xiàn)acebook

90%的Hadoop任務數(shù)據(jù)集在100GB以下，Yahoo平均為12.5GB事實上，小數(shù)據(jù)也值得重視，對未到TB級規(guī)模的數(shù)據(jù)的挖掘也有價值！決策時間大數(shù)據(jù)的定義大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院6of33“大數(shù)據(jù)是指無法在容許的時間內(nèi)用常規(guī)軟件工具對其77of33超量

VOLUME高速VELOCITY種類VARIETY價值VALUESOCIALBLOGSMART

METER

101100101001001001101010101011100101010100100101數(shù)據(jù)體量巨大TB=1012,PB=1015,EB=1018,ZB=1021結(jié)構(gòu)化，非結(jié)構(gòu)化數(shù)據(jù)種類繁多更快的滿足實時性需求大數(shù)據(jù)包括ABC

三個要素：

大分析(Analytic)、

高帶寬(Bandwidth)、大內(nèi)容(Content)結(jié)構(gòu)化－－能以表格或關(guān)系數(shù)據(jù)庫的表、視圖來表示的數(shù)據(jù)大數(shù)據(jù)的特征大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院7of33超量

VOLUME高速種類價值SOCIALBLOG88of33大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的管理大數(shù)據(jù)的應用大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院8of33大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的管理大數(shù)據(jù)的應用大數(shù)據(jù)的到來江99of33豐田公司利用數(shù)據(jù)分析在試制樣車之前避免了80％的缺陷。日本小松公司的挖掘機安裝了GPS定位系統(tǒng)，在實時監(jiān)控車輛運行情況的同時，還統(tǒng)計挖掘機每月每年的工作情況，挖掘機開工越飽滿，說明市場需求越旺盛GE正在篩選生產(chǎn)的2萬臺噴氣引擎中的不易察覺的告警信號，對于某些型號的引擎，開發(fā)的算法能夠提前一個月預測其維護需求，預測準確率達到70%。陜鼓動力集團在其出廠的機組中加裝運行監(jiān)測傳感器并連網(wǎng)，提供在線監(jiān)測及故障診斷服務，服務收入占公司收入1/3。華爾街對沖基金依據(jù)購物網(wǎng)站顧客評論分析企業(yè)銷售狀況。華爾街銀行根據(jù)求職網(wǎng)站崗位數(shù)量推斷就業(yè)率。大數(shù)據(jù)在制造業(yè)的應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院9of33豐田公司利用數(shù)據(jù)分析在試制樣車之前避免了80％的缺1010of33硅谷有個氣候公司，從美國氣象局等數(shù)據(jù)庫中獲得幾十年的天氣數(shù)據(jù)，將各地的降雨、氣溫和土壤狀況及歷年農(nóng)作物產(chǎn)量做成精密圖表，從而預測任一農(nóng)場的明年產(chǎn)量，向農(nóng)戶出售個性化保險，如果出現(xiàn)未能預測的惡劣天氣損壞莊稼，氣候公司將及時賠付。美國農(nóng)業(yè)部建立一個網(wǎng)站，鏈接348個農(nóng)業(yè)數(shù)據(jù)集，通過數(shù)據(jù)挖掘找到最佳土壤、濕度、日照時間，準確判斷農(nóng)作物是否需要施肥、澆水或者打藥，農(nóng)民還可從數(shù)據(jù)庫分析市場價格，避免因供需失衡給農(nóng)民帶來經(jīng)濟損失。英國政府2013年8月12日發(fā)布《英國農(nóng)業(yè)技術(shù)戰(zhàn)略》，將有6000萬英鎊的投資致力于將英國打造成農(nóng)業(yè)信息學世界級強國，包括成立一家“農(nóng)業(yè)技術(shù)創(chuàng)新中心”，這家中心將研究焦點投向大數(shù)據(jù)。大數(shù)據(jù)在農(nóng)業(yè)中應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院10of33硅谷有個氣候公司，從美國氣象局等數(shù)據(jù)庫中獲得幾十1111of33沃爾瑪基于每月4500萬網(wǎng)絡購物數(shù)據(jù)并結(jié)合在社交網(wǎng)絡上挖掘出的對產(chǎn)品的大眾評分，開發(fā)機器學習語義搜索引擎“北極星”，方便瀏覽，在線購物者增加10%~15%，增加銷售十多億美元。沃爾瑪還通過對消費者的購物行為等非結(jié)構(gòu)化數(shù)據(jù)進行分析，了解顧客購物習慣，從銷售數(shù)據(jù)分析適合搭配賣的商品。美國No.2超市Target選出孕婦常購的典型商品，建立懷孕預測指數(shù)，針對性派送孕婦用品的優(yōu)惠廣告。還將分析用到各種細分客戶群。人人公司建立了人人游戲平臺分析玩家從哪個地區(qū)以何種設備登錄，玩家付費時間和充值記錄，獲取玩家的聯(lián)系方式，通過回訪和主動推廣以增加玩家黏性，優(yōu)化游戲的設計，過去一年人人游戲業(yè)務取得100%增長。大數(shù)據(jù)在商業(yè)中應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院11of33沃爾瑪基于每月4500萬網(wǎng)絡購物數(shù)據(jù)并結(jié)合在社交1212of33華爾街“德溫特資本市場”公司分析全球3.4億微博賬戶留言，判斷民眾情緒，人們高興的時候會買股票，而焦慮的時候會拋售股票，依此決定公司股票的買入或賣出，該公司今年第一季度獲得7%的收益率。阿里公司根據(jù)在淘寶網(wǎng)上中小企業(yè)的交易狀況篩選出財務健康和誠信的企業(yè)，無需擔保便可從網(wǎng)上申請到貸款，平均利率6.7%。目前已放貸上千億元，單筆微貸成本僅2.3元，為銀行的0.1%。壞帳率僅0.3％，為商業(yè)銀行的1/3。余額寶日獲利400萬元，用戶的年化收益率4%~5%。京東商城收購網(wǎng)銀在線，利用其掌握消費數(shù)據(jù)，聯(lián)手中國銀行可同時為商家和消費者提供貸款，包括訂單融資、應收賬款融資和協(xié)同投資等，還推出信用卡分期付款服務，打造倉儲、物流、貸款到支付的閉環(huán)。蘇寧旗下的易付寶獲得第三方支付牌照，還設立小貸公司為供應商解決貸款難問題，龐大的會員信息庫為精準營銷創(chuàng)造了條件。大數(shù)據(jù)在金融業(yè)應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院12of33華爾街“德溫特資本市場”公司分析全球3.4億微博1313of33利用收集的街景地圖海量數(shù)據(jù)支持無人駕駛美國AirSage公司每天通過處理來自公路汽車的上百萬手機用戶的150億條位置信息，為超過100個城市提供實時交通信息。騰訊投資嘀嘀打車，阿里投資快的打車。大數(shù)據(jù)在交通中應用美國紐約的交通部門從違規(guī)和事故統(tǒng)計中發(fā)現(xiàn)規(guī)律，改進道路設計。北京公交一卡通每天產(chǎn)生4千萬條刷卡記錄，地鐵每天乘客1千萬，分析這一數(shù)據(jù)可優(yōu)化設計城市公交路線。大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院13of33利用收集的街景地圖海量數(shù)據(jù)支持無人駕駛美國Air1414of33在長假之前，很多人會在網(wǎng)絡上搜索旅游地點介紹、住宿旅店、火車與飛機航班信息或自駕車游的路線等，根據(jù)同一IP地址的不同搜索，可以預先知道哪些旅游點和哪些交通線路擁塞。利用短信、微信和微博等數(shù)據(jù)可分析人流集中的熱點，監(jiān)控突發(fā)事件。大數(shù)據(jù)在旅游業(yè)應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院14of33在長假之前，很多人會在網(wǎng)絡上搜索旅游地點介紹、住1515of33Google每天收集并長期保存全球超過30億條搜索指令，把5000萬條美國人最頻繁檢索的詞條和美國疾控中心在2003～2008年間流感傳播期的數(shù)據(jù)進行了比較，從4.5億個數(shù)學模型中發(fā)現(xiàn)了一個特定的數(shù)學模型，結(jié)合45條

檢索詞條，得到與

疾控中心數(shù)據(jù)相關(guān)

性高達97%。2009年出現(xiàn)甲型H1N1

流感，在爆發(fā)的幾周

前，Google就給出了

預測，而且還能判斷

流感是從哪里來的。大數(shù)據(jù)在醫(yī)療保健中應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院15of33Google每天收集并長期保存全球超過30億條搜1616of33利用短信、微博、微信和搜索引擎可以收集熱點事件與輿情挖掘。通過對微博用戶建立檔案，從帖子中分析用戶的性格，提前關(guān)注可能引起社會不穩(wěn)定的因素。如果一個人在網(wǎng)上在搜索如何制造炸彈或有關(guān)器材的同時還搜索某一地點，能幫助提前鎖定作案的嫌疑人。通過對QQ群和微信用戶群的數(shù)據(jù)收集，按照物以類聚人以群分慣例，可大致判斷犯罪人員的關(guān)聯(lián)。2013年8月美《大西洋月刊》報道，紐約的一對夫婦因在Google上曾經(jīng)搜索“高壓鍋”和“背包”被一個由6人組成的聯(lián)合反恐部隊以“查水表”名義上門盤問是否拿高壓鍋來做炸彈。2012年美國加州大學分析洛杉磯市過去1300多萬起案件，找到了各小區(qū)發(fā)案與日期、天氣、交通狀況及其它相關(guān)事件的關(guān)系，建立犯罪活動預測平臺，當?shù)氐木瘑T每天按該系統(tǒng)發(fā)出的巡邏指令前往指定的小區(qū)。該系統(tǒng)已使該地區(qū)的財產(chǎn)犯罪率和盜竊案件分別下降了12%和26%。大數(shù)據(jù)在治安管理中的作用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院16of33利用短信、微博、微信和搜索引擎可以收集熱點事件與1717of33大數(shù)據(jù)在科學研究中應用幾千年前幾百年前幾十年前今天實驗科學描述自然現(xiàn)象理論科學牛頓定律、麥克斯韋方程等計算科學模擬復雜現(xiàn)象數(shù)據(jù)密集型科學理論和實驗及模擬的統(tǒng)一科學研究方法的發(fā)展大數(shù)據(jù)研究模式特點——不在意數(shù)據(jù)的雜亂，但看重數(shù)據(jù)的量；不要求數(shù)據(jù)精準，但強調(diào)效率；不刻意追求因果關(guān)系，但重視規(guī)律總結(jié)天文學的研究氣候變化分析與預測材料基因組的設計超材料特性仿真合成生物學中DNA的編程設計新藥的設計與合成中藥的藥理分析病理圖書館大電網(wǎng)的性能仿真石油勘探數(shù)據(jù)處理流程工業(yè)復雜生產(chǎn)過程的仿真大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院17of33大數(shù)據(jù)在科學研究中應用幾千年前幾百年前幾十年前今1818of33CloudTacticalOperationsCenter

C2andAnalysisBIGDATABACK-UP&RECOVERYANALYSISBIGDATALaunch&RecoveryGroundControlStationIntelligenceCloudBIGDATANOREAL-TIME,PREDICTIVE,INTERACTIVEANALYSISCONUS美國國防部---目標是將分析人員從任意語言文字資料中提取信息的能力提高100倍；美國中情局---利用大數(shù)據(jù)將分析搜集數(shù)據(jù)的時間由63天縮短為27分鐘。

美國反恐中心---一天需要查看的數(shù)據(jù)庫超過120個，每天處理1～1.2萬條情報信息。大數(shù)據(jù)在軍事領(lǐng)域的應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院18of33CloudTacticalOperations1919of33美國NBA球隊投籃位置與投籃概率

及命中率投籃概率高低投籃命中率高低NBA從80年代開始將球員在賽場上的表現(xiàn)數(shù)據(jù)化，經(jīng)過30多年的積累已達到可辨別每一個球員在場上的弱點，方便教練進行針對性戰(zhàn)術(shù)安排。目前30家NBA球隊俱樂部已有半數(shù)聘請了數(shù)據(jù)分析師，他們的平均勝率達到59.3%，而沒有進行數(shù)據(jù)分析的球隊僅有平均40.7%的勝率。大數(shù)據(jù)在體育訓練中的應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院19of33美國NBA球隊投籃位置與投籃概率

及命中率投籃概2020of33大數(shù)據(jù)提供機器翻譯服務過去機器翻譯是盡可能讓計算機學會語法和查字典，但語言太復雜了，

很多機器翻譯難以實用。Google將語言視為能夠判別可能性的數(shù)據(jù)，將語義挑戰(zhàn)變成數(shù)學問題。Google有天然的優(yōu)勢即已經(jīng)索引過的海量資料庫；Google翻譯系統(tǒng)搜尋不同字詞同時出現(xiàn)在同一網(wǎng)頁的頻率來確定字詞間的關(guān)聯(lián)性；一個字詞的意義經(jīng)常能從其他與它并用的字眼而獲得；從互聯(lián)網(wǎng)上找各種文章及對應的譯本，找出多語言數(shù)據(jù)之間的語法和文字對應規(guī)律；到2012年中，掌握用不同語言翻譯的數(shù)十億頁文檔，其語料庫相當于950億句英語。Google數(shù)據(jù)庫涵蓋了60多種語言，還能接受14種語言的語音輸入實現(xiàn)了機器自動學

習功能，從而極大地提高翻譯質(zhì)量。Google的語料庫來自互聯(lián)網(wǎng)上內(nèi)容，會有語法錯誤和拼寫錯誤等，但“大數(shù)據(jù)基礎(chǔ)上的簡單算法比小數(shù)據(jù)基礎(chǔ)上的復雜算法更有效”。大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院20of33大數(shù)據(jù)提供機器翻譯服務過去機器翻譯是盡可能讓計算2121of332012年斯坦福大學與Google合作建立深度學習網(wǎng)絡，對來自YouTube的上千萬幅視頻幀自主學習，用10天學會了識別貓的臉孔，然后從2萬張未見過的照片中找貓，準確率達到15.8%。人臉識別系統(tǒng)能對照片里的學生頭像自動編號和識別，并進行個人身份對比。很好治理了“選修課必逃，必修課選逃”現(xiàn)象的出現(xiàn)?！皩氊惢丶摇盇pp應用存有2萬名失蹤兒童照片，用戶只需將在大街上拍下的疑似失蹤兒童照片上傳，與數(shù)據(jù)庫中已有照片相似度達到61%時，系統(tǒng)就會通知“寶貝回家”組織，提醒家長確認。Face++的App利用人臉識別技術(shù)用于手機和網(wǎng)站密碼登錄的解鎖。硅谷Orbeus將人臉識別用于相親網(wǎng)站，自動選出長相符合要求的照片，幫助人們更容易找到心儀的對象。大數(shù)據(jù)提供人臉識別服務大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院21of332012年斯坦福大學與Google合作建立深度學2222of33奧巴馬競選團隊有數(shù)千名志愿者，通過社交網(wǎng)絡和微博等收集選民的愛好和關(guān)注，同時運行66000個計算機分析數(shù)據(jù)并建立選民檔案，例如某個選民在Facebook或者Twitter上的大部分帖子都是關(guān)于環(huán)保和醫(yī)療成本，就可通過電子郵件發(fā)一條源自奧巴馬專門談論環(huán)境問題的信息，讓該選民有理由支持總統(tǒng)連任。微軟紐約研究院的經(jīng)濟學家DavidRothschild根據(jù)網(wǎng)絡輿情在2012年預測美國總統(tǒng)選舉結(jié)果，對51個選區(qū)預測命中其中50個，準確率達到98%。在2013年奧斯卡獎項的預測中，全部猜中。大數(shù)據(jù)提供輿情服務大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院22of33奧巴馬競選團隊有數(shù)千名志愿者，通過社交網(wǎng)絡和微博2323of33大數(shù)據(jù)的經(jīng)濟價值3000億美元－－美國保健的年度潛在價值，相當于西班牙年度醫(yī)療保健開支兩倍2500億歐元－－歐洲公共管理的潛在年度價值，比希臘GDP的兩倍還多6000億美元－－服務提供者利用全球個人位置數(shù)據(jù)可獲得潛在的消費者年度盈余60％的增加－－零售商利用大數(shù)據(jù)可獲得的運營利潤50%的減少----制造業(yè)設備裝配成本14萬～19萬－－美數(shù)據(jù)深度分析人才數(shù)150萬－－美所需理解數(shù)據(jù)的管理者數(shù)世界經(jīng)濟論壇去年發(fā)布報告，認定大數(shù)據(jù)為新財富，價值堪比石油。麥肯錫說，大數(shù)據(jù)是下一個創(chuàng)新、競爭、生產(chǎn)力提高的前沿。數(shù)據(jù)就是一種生產(chǎn)資料。Gartner預測大數(shù)據(jù)將為全球帶來440萬個IT崗位，其中190萬在美國。另外每一個大數(shù)據(jù)崗位將催生3個非IT就業(yè)崗位。在未來4年，信息經(jīng)濟將推動美國產(chǎn)生600萬個就業(yè)崗位。大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院23of33大數(shù)據(jù)的經(jīng)濟價值3000億美元－－美國保健的年度2424of33大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的管理大數(shù)據(jù)的應用大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院24of33大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的管理大數(shù)據(jù)的應用大數(shù)據(jù)的到來2525of33數(shù)據(jù)采集、編索與整合需要低成本存儲與分布式處理大量的仿真和計算任務須協(xié)調(diào)數(shù)百個參數(shù)需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理需要可視化

計算結(jié)果分享與訪問控制，安全與隱私保護從數(shù)據(jù)挖掘到?jīng)Q策大數(shù)據(jù)的管理江西財經(jīng)大學信息管理學院25of33數(shù)據(jù)采集、編索與整合需要低成本存儲與分布式處理大2626of333S云計算數(shù)據(jù)中心數(shù)據(jù)挖掘虛擬現(xiàn)實DSS專家系統(tǒng)態(tài)勢分析SaaSTaaSDaaSIaaS湖泊污染監(jiān)視信息數(shù)據(jù)庫GIS數(shù)據(jù)庫數(shù)據(jù)錄入/查詢數(shù)據(jù)庫管理GIS服務器數(shù)據(jù)錄入多源異構(gòu)數(shù)據(jù)信息處理集成控制中心應用平臺WEBGIS

信息發(fā)布3D建模

與GIS

基礎(chǔ)信息數(shù)字湖泊模型

預警歷史數(shù)據(jù)同步回放數(shù)據(jù)挖掘?qū)崟r數(shù)據(jù)

融合結(jié)果GIS數(shù)據(jù)信息共享實時數(shù)據(jù)

多種傳輸網(wǎng)絡地基系統(tǒng)水質(zhì)

探測傳感網(wǎng)人工采集數(shù)據(jù)衛(wèi)星遙感數(shù)據(jù)水面自動監(jiān)測人工輔佐巡查空中影像監(jiān)測異源數(shù)據(jù)協(xié)同處理與云計算大數(shù)據(jù)的管理江西財經(jīng)大學信息管理學院26of333S云計算數(shù)據(jù)中心數(shù)據(jù)挖掘虛擬現(xiàn)實DSS專家系統(tǒng)2727of33ETL實時流非結(jié)構(gòu)化數(shù)據(jù)(HDFS)實時處理分析收集.歸類、組織所有有關(guān)的文本，解釋詞匯、編輯、通過上下文關(guān)聯(lián)增進理解

使用可視化分析工具和技術(shù)，從大量動態(tài)可能是模棱兩可甚至是矛盾的數(shù)據(jù)中綜合信息并導出可理解的內(nèi)容實時結(jié)構(gòu)化數(shù)據(jù)(hBase,Gemfire,Cassandra)批處理BIGSQL(Greenplum,AsterData,Etc…)非結(jié)構(gòu)化的大數(shù)據(jù)處理大數(shù)據(jù)的管理江西財經(jīng)大學信息管理學院27of33ETL實時流非結(jié)構(gòu)化數(shù)據(jù)(HDFS)實時處理分2828of33基于搜索詞頻的判斷不完全是獨立隨機的Google的流感指數(shù)在2008年H7N1流感爆發(fā)時給出的預測比美國疾控中心

（CDC)早兩周發(fā)布，與CDC數(shù)據(jù)相似度0.9。美國紐約州2013年1月流感流行狀況十分嚴峻，政府發(fā)布了“公共健康緊急狀態(tài)”的通告，大眾媒體的廣泛報道，影響了谷歌用戶的搜索行為，導致Google流感指數(shù)估值出現(xiàn)了假陽性，遠高于CDC的統(tǒng)計數(shù)值?；谖⒉┑呐袛嗖荒艽硭心挲g段的人群在谷歌流感指數(shù)啟發(fā)之下，紐約羅切斯特大學利用Twitter的數(shù)據(jù)進行了嘗試，可以提前8天預報流感對個體的侵襲狀況，而且準確率高達90%。不過Twitter的使用者大部分是年輕人，而季節(jié)性流感的襲擾對象多為抵抗力較弱的老年人和兒童。因此基于Twitter的微博判斷流感有片面性。數(shù)據(jù)可信性分析大數(shù)據(jù)的管理江西財經(jīng)大學信息管理學院28of33基于搜索詞頻的判斷不完全是獨立隨機的數(shù)據(jù)可信性分2929of33一個二線城市通常有上百條街道，每街道按50個路口，每個路口裝16路攝像頭，就共有8萬個攝像頭，如采用8Mbps攝像頭，而且存三個月，就需要72