大數(shù)據(jù)的發(fā)展與未來

江西財經(jīng)大學信息管理學院徐升華大數(shù)據(jù)的發(fā)展與未來1of33江西財經(jīng)大學信息管理學院目錄大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的管理大數(shù)據(jù)的應用大數(shù)據(jù)的到來2of33WEB時代PC時代20131959發(fā)明IC54年前1969@發(fā)明Internet44年前1979發(fā)明蜂窩電話34年前1989發(fā)明WWW24年前19993G3G標準化14年前發(fā)明PC197439年前互聯(lián)網(wǎng)時代移動通信時代寬帶移動通信時代發(fā)明計算機69年前194474年前1939發(fā)明電視47年前1966摩爾時代發(fā)明光纖后摩爾時代

2018？移動互聯(lián)網(wǎng)時代

2012后PC時代

2012后WEB時代

2012云計算時代

2015？物聯(lián)網(wǎng)時代

2020？LTE數(shù)字化/平板化電視時代2010DOSGUIWebCloud以計算機

為中心以軟件

為中心以服務

為中心網(wǎng)絡時代PC時代云計算時代以認知

為中心DataMining網(wǎng)絡共享內容共享資源共享IOT物聯(lián)網(wǎng)時代以應用為中心大數(shù)據(jù)時代數(shù)據(jù)共享大數(shù)據(jù)時代2020？信息通信技術發(fā)展進入新時代大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院3of33一天一周一月一年1Eb可刻滿1.68億張DVD全球新產(chǎn)生的數(shù)據(jù)年增40%，全球信息總量每兩年就可以翻番!

而對新增數(shù)據(jù)的處理能力以及其利用率的增長則不足5%ZB()EB()PB()

TB()GB()MB()互聯(lián)網(wǎng)流量變化大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院4of33美國Telegeography的國際互聯(lián)網(wǎng)流量數(shù)據(jù)監(jiān)測顯示：

2010年比2009年全球增長了62%，按此推算10年超過1000倍！美國互聯(lián)網(wǎng)流量（TB/月）：90’96’99’11’110001000015000000大約10年1000倍全球骨干網(wǎng)IP流量骨干網(wǎng)IP流量變化大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院5of33單日數(shù)據(jù)產(chǎn)生量超過50TB，存儲量40PB。淘寶新浪微博高峰期每秒100萬次響應請求。百度每天約處理60億次搜索請求，幾十PB數(shù)據(jù)。騰訊每天1千億次服務調用、5萬億次計算、300G存儲量。國家電網(wǎng)到2012年10月信息系統(tǒng)累計產(chǎn)生大數(shù)據(jù)2PB。聯(lián)通用戶上網(wǎng)記錄83萬條/秒，對應數(shù)據(jù)量3.6PB/年。中山大學第一醫(yī)院所存數(shù)據(jù)2008年130TB,預計2015年1PB。農(nóng)夫山泉每天從銷售其礦泉水的超市回傳10張照片，每月3TB。京東商城每秒產(chǎn)生2千元的交易額，累計各種數(shù)據(jù)達到PB。每天產(chǎn)生數(shù)據(jù)超過10TB，現(xiàn)已存20PB，預計該基因庫最終將達1EB。北京公交公交一卡通每天刷卡4000萬次，地鐵1000萬次。華大基因每日約處理600G數(shù)據(jù)。存量數(shù)據(jù)超過70TB。交通銀行大數(shù)據(jù)應用舉例大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院6of33

“大數(shù)據(jù)是指無法在容許的時間內用常規(guī)軟件工具對其內容進行抓取、管理和處理的數(shù)據(jù)集合，大數(shù)據(jù)規(guī)模的標準是持續(xù)變化的，當前泛指單一數(shù)據(jù)集的大小在幾十TB和數(shù)PB之間”

－－維基百科定義數(shù)據(jù)規(guī)模微軟的研究發(fā)現(xiàn)，F(xiàn)acebook

90%的Hadoop任務數(shù)據(jù)集在100GB以下，Yahoo平均為12.5GB事實上，小數(shù)據(jù)也值得重視，對未到TB級規(guī)模的數(shù)據(jù)的挖掘也有價值！決策時間大數(shù)據(jù)的定義大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院7of33超量

VOLUME高速VELOCITY種類VARIETY價值VALUESOCIALBLOGSMART

METER

101100101001001001101010101011100101010100100101數(shù)據(jù)體量巨大TB=1012,PB=1015,EB=1018,ZB=1021結構化，非結構化數(shù)據(jù)種類繁多更快的滿足實時性需求大數(shù)據(jù)包括ABC

三個要素：

大分析(Analytic)、

高帶寬(Bandwidth)、大內容(Content)結構化－－能以表格或關系數(shù)據(jù)庫的表、視圖來表示的數(shù)據(jù)大數(shù)據(jù)的特征大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院8of33大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的管理大數(shù)據(jù)的應用大數(shù)據(jù)的到來江西財經(jīng)大學信息管理學院9of33豐田公司利用數(shù)據(jù)分析在試制樣車之前避免了80％的缺陷。日本小松公司的挖掘機安裝了GPS定位系統(tǒng)，在實時監(jiān)控車輛運行情況的同時，還統(tǒng)計挖掘機每月每年的工作情況，挖掘機開工越飽滿，說明市場需求越旺盛GE正在篩選生產(chǎn)的2萬臺噴氣引擎中的不易察覺的告警信號，對于某些型號的引擎，開發(fā)的算法能夠提前一個月預測其維護需求，預測準確率達到70%。陜鼓動力集團在其出廠的機組中加裝運行監(jiān)測傳感器并連網(wǎng)，提供在線監(jiān)測及故障診斷服務，服務收入占公司收入1/3。華爾街對沖基金依據(jù)購物網(wǎng)站顧客評論分析企業(yè)銷售狀況。華爾街銀行根據(jù)求職網(wǎng)站崗位數(shù)量推斷就業(yè)率。大數(shù)據(jù)在制造業(yè)的應用大數(shù)據(jù)的應用江西財經(jīng)大學信息管理學院10of33硅谷有個個氣候公公司，從從美國氣氣象局等等數(shù)據(jù)庫庫中獲得得幾十年年的天氣氣數(shù)據(jù)，，將各地地的降雨雨、氣溫溫和土壤壤狀況及及歷年農(nóng)農(nóng)作物產(chǎn)產(chǎn)量做成成精密圖圖表，從從而預測測任一農(nóng)農(nóng)場的明明年產(chǎn)量量，向農(nóng)農(nóng)戶出售售個性化化保險，，如果出出現(xiàn)未能能預測的的惡劣天天氣損壞壞莊稼，，氣候公公司將及及時賠付付。美國農(nóng)業(yè)業(yè)部建立立一個網(wǎng)網(wǎng)站，鏈鏈接348個農(nóng)農(nóng)業(yè)數(shù)據(jù)據(jù)集，通通過數(shù)據(jù)據(jù)挖掘找找到最佳佳土壤、、濕度、、日照時時間，準準確判斷斷農(nóng)作物物是否需需要施肥肥、澆水水或者打打藥，農(nóng)農(nóng)民還可可從數(shù)據(jù)據(jù)庫分析析市場價價格，避避免因供供需失衡衡給農(nóng)民民帶來經(jīng)經(jīng)濟損失失。英國政府府2013年8月12日發(fā)布布《英國國農(nóng)業(yè)技技術戰(zhàn)略略》，將將有6000萬萬英鎊的的投資致致力于將將英國打打造成農(nóng)農(nóng)業(yè)信息息學世界界級強國國，包括括成立一一家“農(nóng)農(nóng)業(yè)技術術創(chuàng)新中中心”，，這家中中心將研研究焦點點投向大大數(shù)據(jù)。。大數(shù)據(jù)在在農(nóng)業(yè)中應用大數(shù)據(jù)的的應用江西財經(jīng)經(jīng)大學信息管理理學院11of33沃爾瑪基基于每月月4500萬網(wǎng)網(wǎng)絡購物物數(shù)據(jù)并并結合在在社交網(wǎng)網(wǎng)絡上挖挖掘出的的對產(chǎn)品品的大眾眾評分，，開發(fā)機機器學習習語義搜搜索引擎擎“北極極星”，，方便瀏瀏覽，在在線購物物者增加加10%~15%，增增加銷售售十多億億美元。。沃爾爾瑪瑪還還通通過過對對消消費費者者的的購購物物行行為為等等非非結結構構化化數(shù)數(shù)據(jù)據(jù)進進行行分分析析，，了了解解顧顧客客購購物物習習慣慣，，從從銷銷售售數(shù)數(shù)據(jù)據(jù)分分析析適適合合搭搭配配賣賣的的商商品品。。美國No.2超超市Target選出出孕婦婦常購購的典典型商商品，，建立立懷孕孕預測測指數(shù)數(shù)，針針對性性派送送孕婦婦用品品的優(yōu)優(yōu)惠廣廣告。。還將將分析析用到到各種種細分分客戶戶群。。人人公公司建建立了了人人人游戲戲平臺臺分析析玩家家從哪哪個地地區(qū)以以何種種設備備登錄錄，玩玩家付付費時時間和和充值值記錄錄，獲獲取玩玩家的的聯(lián)系系方式式，通通過回回訪和和主動動推廣廣以增增加玩玩家黏黏性，，優(yōu)化化游戲戲的設設計，，過去去一年年人人人游戲戲業(yè)務務取得得100%增長長。大數(shù)據(jù)在在商業(yè)中應用大數(shù)據(jù)的的應用江西財經(jīng)經(jīng)大學信息管理理學院12of33華爾街““德溫特特資本市市場”公公司分析析全球3.4億億微博賬賬戶留言言，判斷斷民眾情情緒，人人們高興興的時候候會買股股票，而而焦慮的的時候會會拋售股股票，依依此決定定公司股股票的買買入或賣賣出，該該公司今今年第一一季度獲獲得7%的收益益率。阿里公司根據(jù)據(jù)在淘寶寶網(wǎng)上中中小企業(yè)業(yè)的交易易狀況篩篩選出財財務健康康和誠信信的企業(yè)業(yè)，無需需擔保便便可從網(wǎng)網(wǎng)上申請請到貸款款，平均均利率6.7%。目前前已放貸貸上千億億元，單單筆微貸貸成本僅僅2.3元，為為銀行的的0.1%。壞壞帳率僅僅0.3％，為為商業(yè)銀銀行的1/3。。余額寶寶日獲利利400萬元，，用戶的的年化收收益率4%~5%。京東商城收購網(wǎng)銀銀在線，利用用其掌握消費費數(shù)據(jù)，聯(lián)手手中國銀行可可同時為商家家和消費者提提供貸款，包包括訂單融資資、應收賬款款融資和協(xié)同同投資等，還還推出信用卡卡分期付款服服務，打造倉倉儲、物流、、貸款到支付付的閉環(huán)。蘇寧旗下的易付寶寶獲得第三方方支付牌照，，還設立小貸貸公司為供應應商解決貸款款難問題，龐龐大的會員信信息庫為精準準營銷創(chuàng)造了了條件。大數(shù)據(jù)在金融業(yè)應用大數(shù)據(jù)的應用江西財經(jīng)大學學信息管理學院院13of33利用收集的街街景地圖海量量數(shù)據(jù)支持無無人駕駛美國AirSage公司每天通過過處理來自公公路汽車的上上百萬手機用用戶的150億條位置信息息，為超過100個城市提供實實時交通信息息。騰訊投資嘀嘀嘀打車，阿里里投資快的打打車。大數(shù)據(jù)在交通中應用美國紐約的交交通部門從違違規(guī)和事故統(tǒng)統(tǒng)計中發(fā)現(xiàn)規(guī)規(guī)律，改進道道路設計。北京公交一卡卡通每天產(chǎn)生生4千萬條刷刷卡記錄，地地鐵每天乘客客1千萬，分分析這一數(shù)據(jù)據(jù)可優(yōu)化設計計城市公交路路線。大數(shù)據(jù)的應用江西財經(jīng)大學學信息管理學院院14of33在長假之前，，很多人會在在網(wǎng)絡上搜索索旅游地點介介紹、住宿旅旅店、火車與與飛機航班信信息或自駕車車游的路線等等，根據(jù)同一一IP地址的的不同搜索，，可以預先知知道哪些旅游游點和哪些交交通線路擁塞塞。利用短信、微微信和微博等等數(shù)據(jù)可分析析人流集中的的熱點，監(jiān)控控突發(fā)事件。。大數(shù)據(jù)在旅游業(yè)應用大數(shù)據(jù)的應用江西財經(jīng)大學學信息管理學院院15of33Google每天收集并并長期保存全全球超過30億條搜索指指令，把5000萬條美美國人最頻繁繁檢索的詞條條和美國疾控控中心在2003～2008年間流流感傳播期的的數(shù)據(jù)進行了了比較，從4.5億個數(shù)數(shù)學模型中發(fā)發(fā)現(xiàn)了一個特特定的數(shù)學模模型，結合45條

檢索索詞條，得到到與

疾控中中心數(shù)據(jù)相關關

性高達97%。2009年出出現(xiàn)甲型H1N1

流感感，在爆發(fā)的的幾周

前，，Google就給出了了

預測，而而且還能判斷斷

流感是從從哪里來的。。大數(shù)據(jù)在醫(yī)療保健中應用大數(shù)據(jù)的應用江西財經(jīng)大學學信息管理學院院16of33利用短信、微微博、微信和和搜索引擎可可以收集熱點點事件與輿情情挖掘。通過對微博用用戶建立檔案案，從帖子中中分析用戶的的性格，提前前關注可能引引起社會不穩(wěn)穩(wěn)定的因素。。如果一個人在在網(wǎng)上在搜索索如何制造炸炸彈或有關器器材的同時還還搜索某一地地點，能幫助助提前鎖定作作案的嫌疑人人。通過對QQ群和微信信用戶群的數(shù)數(shù)據(jù)收集，按按照物以類聚聚人以群分慣慣例，可大致致判斷犯罪人人員的關聯(lián)。。2013年8月美《大西西洋月刊》報報道，紐約的的一對夫婦因因在Google上曾經(jīng)經(jīng)搜索“高壓壓鍋”和“背背包”被一個個由6人組成成的聯(lián)合反恐恐部隊以“查查水表”名義義上門盤問是是否拿高壓鍋鍋來做炸彈。。2012年美美國加州大學學分析洛杉磯磯市過去1300多萬起起案件，找到到了各小區(qū)發(fā)發(fā)案與日期、、天氣、交通通狀況及其它它相關事件的的關系，建立立犯罪活動預預測平臺，當當?shù)氐木瘑T每每天按該系統(tǒng)統(tǒng)發(fā)出的巡邏邏指令前往指指定的小區(qū)。。該系統(tǒng)已使使該地區(qū)的財財產(chǎn)犯罪率和和盜竊案件分分別下降了12%和26%。大數(shù)據(jù)在治安管理中的作用大數(shù)據(jù)的應用江西財經(jīng)大學學信息管理學院院17of33大數(shù)據(jù)在科學研究中應用幾千年前幾百年前幾十十年年前前今天天實驗驗科科學學描述述自自然然現(xiàn)現(xiàn)象象理論論科科學學牛頓頓定定律律、、麥麥克克斯斯韋韋方方程程等等計算算科科學學模擬擬復復雜雜現(xiàn)現(xiàn)象象數(shù)據(jù)據(jù)密密集集型型科科學學理論論和和實實驗驗及及模模擬擬的的統(tǒng)統(tǒng)一一科學學研研究究方方法法的的發(fā)發(fā)展展大數(shù)數(shù)據(jù)據(jù)研研究究模模式式特特點點———不在在意意數(shù)數(shù)據(jù)據(jù)的的雜雜亂亂，，但但看看重重數(shù)數(shù)據(jù)據(jù)的的量量；；不要要求求數(shù)數(shù)據(jù)據(jù)精精準準，，但但強強調調效效率率；；不刻刻意意追追求求因因果果關關系系，，但但重重視視規(guī)規(guī)律律總總結結天文文學學的的研研究究氣候候變變化化分分析析與與預預測測材料料基基因因組組的的設設計計超材材料料特特性性仿仿真真合成成生生物物學學中中DNA的編編程程設設計計新藥藥的的設設計計與與合合成成中藥藥的的藥藥理理分分析析病理理圖圖書書館館大電電網(wǎng)網(wǎng)的的性性能能仿仿真真石油油勘勘探探數(shù)數(shù)據(jù)據(jù)處處理理流程程工工業(yè)業(yè)復復雜雜生生產(chǎn)產(chǎn)過過程程的的仿仿真真大數(shù)數(shù)據(jù)據(jù)的的應用用江西西財財經(jīng)經(jīng)大大學學信息息管管理理學學院院18of33CloudTacticalOperationsCenterC2andAnalysisBIGDATABACK-UP&RECOVERYANALYSISBIGDATALaunch&RecoveryGroundControlStationIntelligenceCloudBIGDATANOREAL-TIME,PREDICTIVE,INTERACTIVEANALYSISCONUS美國國防防部---目標是將將分析人人員從任任意語言言文字資資料中提提取信息息的能力力提高100倍；美國國中情局局---利用大數(shù)數(shù)據(jù)將分分析搜集集數(shù)據(jù)的的時間由由63天縮短為為27分鐘。美國反恐恐中心---一天需要要查看的的數(shù)據(jù)庫庫超過120個，每天天處理1～1.2萬條情報報信息。。大數(shù)據(jù)在在軍事領域域的應用大數(shù)據(jù)的的應用江西財經(jīng)經(jīng)大學信息管理理學院19of33美國NBA球隊投籃籃位置與與投籃概概率及命中率率投籃概率率高低投籃命中中率高低NBA從80年代開始始將球員員在賽場場上的表表現(xiàn)數(shù)據(jù)據(jù)化，經(jīng)經(jīng)過30多年的積累已已達到可辨別別每一個球員員在場上的弱弱點，方便教教練進行針對對性戰(zhàn)術安排排。目前30家NBA球隊俱樂部已已有半數(shù)聘請請了數(shù)據(jù)分析析師，他們的的平均勝率達達到59.3%，而沒有進行行數(shù)據(jù)分析的的球隊僅有平平均40.7%的勝率。大數(shù)據(jù)在體育訓練中的應用大數(shù)據(jù)的應用江西財經(jīng)大學學信息管理學院院20of33大數(shù)據(jù)提供機器翻譯服務過去機器翻譯譯是盡可能讓讓計算機學會會語法和查字字典，但語言言太復雜了，，

很多機器器翻譯難以實實用。Google將語言視為為能夠判別可可能性的數(shù)據(jù)據(jù)，將語義挑挑戰(zhàn)變成數(shù)學學問題。Google有天然的優(yōu)優(yōu)勢即已經(jīng)索索引過的海量量資料庫；Google翻譯系統(tǒng)搜搜尋不同字詞詞同時出現(xiàn)在在同一網(wǎng)頁的的頻率來確定定字詞間的關關聯(lián)性；一個字詞的意意義經(jīng)常能從從其他與它并并用的字眼而而獲得；從互聯(lián)網(wǎng)上找找各種文章及及對應的譯本本，找出多語語言數(shù)據(jù)之間間的語法和文文字對應規(guī)律律；到2012年年中，掌握用用不同語言翻翻譯的數(shù)十億億頁文檔，其其語料庫相當當于950億億句英語。Google數(shù)據(jù)庫涵蓋蓋了60多種種語言，還能能接受14種種語言的語音音輸入實現(xiàn)了了機器自動學學

習功能，，從而極大地地提高翻譯質質量。Google的語料庫來來自互聯(lián)網(wǎng)上上內容，會有有語法錯誤和和拼寫錯誤等等，但“大數(shù)據(jù)基礎礎上的簡單算算法比小數(shù)據(jù)據(jù)基礎上的復復雜算法更有有效”。大數(shù)據(jù)的應用江西財經(jīng)大學學信息管理學院院21of332012年斯斯坦福大學與與Google合作建立立深度學習網(wǎng)網(wǎng)絡，對來自自YouTube的上千千萬幅視頻幀幀自主學習，，用10天學學會了識別貓貓的臉孔，然然后從2萬張張未見過的照照片中找貓，，準確率達到到15.8%。人臉識別系統(tǒng)統(tǒng)能對照片里里的學生頭像像自動編號和和識別，并進進行個人身份份對比。很好好治理了“選選修課必逃，，必修課選逃逃”現(xiàn)象的出出現(xiàn)?！皩氊惢丶摇薄盇pp應用存有2萬名失蹤兒童童照片，用戶戶只需將在大大街上拍下的的疑似失蹤兒兒童照片上傳傳，與數(shù)據(jù)庫庫中已有照片片相似度達到到61%時，系統(tǒng)就就會通知““寶貝回家家”組織，，提醒家長長確認。Face++的App利用人臉識識別技術用用于手機和和網(wǎng)站密碼碼登錄的解解鎖。硅谷Orbeus將人臉識別別用于相親親網(wǎng)站，自自動選出長長相符合要要求的照片片，幫助人人們更容易易找到心儀儀的對象。。大數(shù)據(jù)提供供人臉識別服務大數(shù)據(jù)的應用江西財經(jīng)大大學信息管理學學院22of33奧巴馬競選選團隊有數(shù)數(shù)千名志愿愿者，通過過社交網(wǎng)絡絡和微博等等收集選民民的愛好和和關注，同同時運行66000個計算機機分析數(shù)據(jù)據(jù)并建立選選民檔案，，例如某個個選民在Facebook或或者Twitter上的大部部分帖子都都是關于環(huán)環(huán)保和醫(yī)療療成本，就就可通過電電子郵件發(fā)發(fā)一條源自自奧巴馬專專門談論環(huán)環(huán)境問題的的信息，讓讓該選民有有理由支持持總統(tǒng)連任任。微軟軟紐紐約約研研究究院院的的經(jīng)經(jīng)濟濟學學家家DavidRothschild根根據(jù)據(jù)網(wǎng)網(wǎng)絡絡輿輿情情在在2012年年預預測測美美國國總總統(tǒng)統(tǒng)選選舉舉結結果果，，對對51個個選選區(qū)區(qū)預預測測命命中中其其中中50個個，，準準確確率率達達到到98%。。在在2013年年奧奧斯斯卡卡獎獎項項的的預預測測中中，，全全部部猜猜中中。。大數(shù)數(shù)據(jù)據(jù)提提供供輿情情服服務務大數(shù)數(shù)據(jù)據(jù)的的應用用江西西財財經(jīng)經(jīng)大大學學信息息管管理理學學院院23of33大數(shù)數(shù)據(jù)據(jù)的的經(jīng)濟濟價價值值3000億美美元元－－－美美國國保保健健的的年年度度潛潛在在價價值值，，相相當當于于西西班班牙牙年年度度醫(yī)醫(yī)療療保保健健開開支支兩兩倍倍2500億歐歐元元－－－歐歐洲洲公公共共管管理理的的潛潛在在年年度度價價值值，，比比希希臘臘GDP的兩兩倍倍還還多多6000億美美元元－－－服服務務提提供供者者利利用用全全球球個個人人位位置置數(shù)數(shù)據(jù)據(jù)可可獲獲得得潛潛在在的的消消費費者者年年度度盈盈余余60％的的增增加加－－－零零售售商商利利用用大大數(shù)數(shù)據(jù)據(jù)可可獲獲得得的的運運營營利利潤潤50%的減減少少----制造造業(yè)業(yè)設設備備裝裝配配成成本本14萬～～19萬－－－美美數(shù)數(shù)據(jù)據(jù)深深度度分分析析人人才才數(shù)數(shù)150萬－－－美美所所需需理理解解數(shù)數(shù)據(jù)據(jù)的的管管理理者者數(shù)數(shù)世界界經(jīng)經(jīng)濟濟論論壇壇去去年年發(fā)發(fā)布布報報告告，，認認定定大大數(shù)數(shù)據(jù)據(jù)為為新新財財富富，，價價值值堪堪比比石石油油。。麥肯肯錫錫說說，，大大數(shù)數(shù)據(jù)據(jù)是是下下一一個個創(chuàng)創(chuàng)新新、、競競爭爭、、生生產(chǎn)產(chǎn)力力提提高高的的前前沿沿。。數(shù)數(shù)據(jù)據(jù)就就是是一一種種生生產(chǎn)產(chǎn)資資料料。。Gartner預測測大大數(shù)數(shù)據(jù)據(jù)將將為為全全球球帶帶來來440萬個個IT崗位位，，其其中中190萬在在美美國國。。另另外外每每一一個個大大數(shù)數(shù)據(jù)據(jù)崗崗位位將將催催生生3個非非IT就業(yè)業(yè)崗崗位位。。在在未未來來4年，，信信息息經(jīng)經(jīng)濟濟將將推推動動美美國國產(chǎn)產(chǎn)生生600萬個個就就業(yè)業(yè)崗崗位位。。大數(shù)數(shù)據(jù)據(jù)的的應用用江西西財財經(jīng)經(jīng)大大學學信息管理理學院24of33大數(shù)據(jù)的挑戰(zhàn)大數(shù)據(jù)的管理大數(shù)據(jù)的應用大數(shù)據(jù)的到來江西財經(jīng)經(jīng)大學信息管理理學院25of33數(shù)據(jù)采集集、編索索與整合合需要低成成本存儲儲與分布布式處理理大量的仿仿真和計計算任務務須協(xié)調調數(shù)百個個參數(shù)需要將高高維圖像像等多媒媒體數(shù)據(jù)據(jù)降維后后度量與與處理需要可視視化計算結果果分享與訪訪問控制制，安全全與隱私私保護從數(shù)據(jù)挖掘到?jīng)Q策大數(shù)據(jù)的的管理江西財經(jīng)經(jīng)大學信息管理理學院26of333S云計算數(shù)據(jù)中心心數(shù)據(jù)挖掘掘虛擬擬現(xiàn)現(xiàn)實實DSS專家家系系統(tǒng)統(tǒng)態(tài)勢勢分分析析SaaSTaaSDaaSIaaS湖泊泊污污染染監(jiān)監(jiān)視視信息息數(shù)數(shù)據(jù)據(jù)庫庫GIS數(shù)據(jù)據(jù)庫庫數(shù)據(jù)據(jù)錄錄入入/查詢詢數(shù)據(jù)據(jù)庫庫管管理理GIS服務務器器數(shù)據(jù)據(jù)錄錄入入多源源異異構構數(shù)數(shù)據(jù)據(jù)信信息息處處理理集成成控控制制中中心心應應用用平臺臺WEBGIS信息息發(fā)發(fā)布布3D建模模與GIS基礎礎信信息息數(shù)字字湖湖泊泊模模型型預警警歷史史數(shù)數(shù)據(jù)據(jù)同同步步回回放放數(shù)據(jù)據(jù)挖挖掘掘實時時數(shù)數(shù)據(jù)據(jù)融合合結結果果GIS數(shù)據(jù)據(jù)信息息共共享享實時時數(shù)數(shù)據(jù)據(jù)多種種傳傳輸輸網(wǎng)網(wǎng)絡絡地基基系系統(tǒng)統(tǒng)水水質質探測測傳傳感感網(wǎng)網(wǎng)人工工采采集集數(shù)數(shù)據(jù)據(jù)衛(wèi)星星遙遙感感數(shù)數(shù)據(jù)據(jù)水面面自自動動監(jiān)監(jiān)測測人工工輔輔佐佐巡巡查查空中中影影像像監(jiān)監(jiān)測測異源源數(shù)數(shù)據(jù)據(jù)協(xié)同同處處理理與與云云計計算算大數(shù)數(shù)據(jù)據(jù)的的管理理江西西財財經(jīng)經(jīng)大大學學信息息管管理理學學院院27of33ETL實時時流流非結構化數(shù)據(jù)(HDFS)實時時處處理理分析收集集.歸類類、、組組織織所所有有有有關關的的文文本本，，解解釋釋詞詞匯匯、、編編輯輯、、通過過上上下下文文關關聯(lián)聯(lián)增增進進理理解解使用用可可視視化化分分析析工工具具和和技技術術，，從從大大量量動動態(tài)態(tài)可可能能是是模模棱棱兩兩可可甚甚至至是是矛矛盾盾的的數(shù)數(shù)據(jù)據(jù)中中綜綜合合信信息息并并導導出出可可理理解解的的內內容容實時時結結構構化化數(shù)數(shù)據(jù)據(jù)(hBase,Gemfire,Cassandra)批處處理理BIGSQL(Greenplum,AsterData,Etc……)非結結構構化化的大大數(shù)數(shù)據(jù)據(jù)處處理理大數(shù)數(shù)據(jù)據(jù)的的管理江西財經(jīng)大學學信息管理學院院28of33基于搜索詞頻頻的判斷不完完全是獨立隨隨機的Google的流感指數(shù)數(shù)在2008年H7N1流感爆發(fā)時時給出的預測測比美國疾控控中心（CDC)早早兩周發(fā)布，，與CDC數(shù)數(shù)據(jù)相似度0.9。美國紐約州2013年年1月月流感流行狀狀況十分嚴峻峻，政府發(fā)布布了“公共健健康緊急狀態(tài)態(tài)”的通告，，大眾媒體的的廣泛報道，，影響了谷歌歌用戶的搜索索行為，導致致Google流感指數(shù)數(shù)估值出現(xiàn)了了假陽性，遠遠高于CDC的統(tǒng)計計數(shù)值?；谖⒉┑呐信袛嗖荒艽肀硭心挲g段段的人群在谷歌流感指指數(shù)啟發(fā)之下下，紐約羅切切斯特大學利利用Twitter的的數(shù)據(jù)進行行了嘗試，可可以提前8天預報流流感對個體的的侵襲狀況，，而且準確率率高達90%。不過Twitter的的使用者大部部分是年輕人人，而季節(jié)性性流感的襲擾擾對象多為抵抵抗力較弱的的老年人和兒兒童。因此基基于Twitter的微微博判斷流