大數(shù)據(jù)技術(shù)及產(chǎn)業(yè)應(yīng)用

1大數(shù)據(jù)問題及技術(shù)與產(chǎn)業(yè)應(yīng)用清華大學(xué)蘇研院大數(shù)據(jù)處理中心

海量數(shù)據(jù)212+TBs

oftweetdata

everyday25+TBsof

logdataeveryday?TBsof

dataeveryday2+billionpeopleontheWebbyend201130billionRFIDtagstoday

(1.3Bin2005)4.6billioncameraphonesworldwide100sofmillionsofGPSenableddevicessoldannually76millionsmartmetersin2009…

200Mby2014數(shù)據(jù)分析復(fù)雜度大數(shù)據(jù)BigData大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合大數(shù)據(jù)=“海量數(shù)據(jù)”+“復(fù)雜類型的數(shù)據(jù)”涉及各個(gè)行業(yè)領(lǐng)域電力、電信、經(jīng)貿(mào)、教育、醫(yī)療、金融、石油、民航天文、氣象、基因、醫(yī)學(xué)、物理、互聯(lián)網(wǎng)與人類社會(huì)活動(dòng)有關(guān)的網(wǎng)絡(luò)數(shù)據(jù)4大數(shù)據(jù)特征5不同結(jié)構(gòu)的復(fù)雜數(shù)據(jù)：關(guān)系型數(shù)據(jù)、日志和文本數(shù)據(jù)流量大：數(shù)據(jù)處理從批處理轉(zhuǎn)向流處理大容量：從TB、PB到ZB數(shù)據(jù)即資源，體現(xiàn)價(jià)值，數(shù)據(jù)中能挖掘出價(jià)值信息Variety:Velocity:Volume:Value：

數(shù)據(jù)==價(jià)值6數(shù)據(jù)正在成為各行各業(yè)，乃至每個(gè)人最關(guān)心、最有價(jià)值的東西醫(yī)生需要了解病人病歷以及典型病人治療方式相關(guān)數(shù)據(jù)，以便對(duì)癥治療；疾病預(yù)防中心需要了解疫情爆發(fā)、擴(kuò)散的相關(guān)數(shù)據(jù)，以便做好疫情防御；醫(yī)院需要病床、藥品及季節(jié)行流行病相關(guān)數(shù)據(jù)，以便統(tǒng)一部署醫(yī)療設(shè)施；股票經(jīng)濟(jì)人需要對(duì)股票行情數(shù)據(jù)分析，判定下一個(gè)市場(chǎng)投資熱點(diǎn)；公司供應(yīng)鏈需要了解產(chǎn)品進(jìn)銷存數(shù)據(jù)，以便下一步備料生產(chǎn)；企業(yè)經(jīng)營(yíng)者需要對(duì)市場(chǎng)數(shù)據(jù)進(jìn)行分析，以便制定企業(yè)下一步的市場(chǎng)策略；投資者需要靠數(shù)據(jù)進(jìn)行投資前景、可行性進(jìn)行分析評(píng)估，確保投資收益；民航、酒店需要了解旅客的出行規(guī)律，以便更好的服務(wù)客戶；商場(chǎng)、商家需要了解顧客的生活習(xí)慣、購(gòu)物心理，制定最有效市場(chǎng)推廣方式；商業(yè)網(wǎng)站則需要了解用戶的網(wǎng)絡(luò)瀏覽方式，以便推出更貼切客戶習(xí)慣的產(chǎn)品；癌癥研究者需要了解分子結(jié)構(gòu)和癌分子的綁定數(shù)據(jù)，以便研制新型的抗癌藥；石油勘探需要需要了解地質(zhì)數(shù)據(jù)并分析建模；氣象工作者需要了解海洋氣候數(shù)據(jù)，以便發(fā)布及時(shí)準(zhǔn)確發(fā)布；大數(shù)據(jù)藍(lán)海7區(qū)域發(fā)展氣候信息行業(yè)信息市場(chǎng)信息國(guó)家戰(zhàn)略投資信息經(jīng)濟(jì)信息生活咨詢貿(mào)易信息旅游咨詢計(jì)算應(yīng)用分析加工個(gè)人生活相關(guān)（投資理財(cái)、居家生活、旅游出行）企業(yè)發(fā)展相關(guān)（投資前景、市場(chǎng)戰(zhàn)略、市場(chǎng)先機(jī)）區(qū)域經(jīng)濟(jì)發(fā)展（區(qū)域規(guī)劃、城市發(fā)展、發(fā)展先機(jī)）國(guó)家發(fā)展戰(zhàn)略（全球經(jīng)濟(jì)、國(guó)計(jì)民生、政策法規(guī)）大數(shù)據(jù)影響到我們生活周邊的各個(gè)方面。大數(shù)據(jù)處理的意義8大數(shù)據(jù)不是噱頭，是技術(shù)發(fā)展的必然階段云計(jì)算等新興信息技術(shù)正在真正地落地和實(shí)施云計(jì)算等新興信息技術(shù)恰恰是是解決大數(shù)據(jù)問題的核心關(guān)鍵應(yīng)用背景對(duì)大數(shù)據(jù)的推動(dòng)作用大于其他條件有充足的應(yīng)用場(chǎng)景有一個(gè)系統(tǒng)科學(xué)的方法論合理的人才和知識(shí)儲(chǔ)備有極為廣泛的創(chuàng)新動(dòng)機(jī)大數(shù)據(jù)是一個(gè)不可多得的發(fā)展機(jī)遇關(guān)鍵技術(shù)和核心技術(shù)各國(guó)之間的差距不是很大，這是追趕和減少綁架進(jìn)而實(shí)現(xiàn)自主創(chuàng)新的最大契機(jī)海外市場(chǎng)環(huán)境美國(guó)奧巴馬政府2012年推出了“大數(shù)據(jù)研究和發(fā)展倡議”，并投資2億美金支持大數(shù)據(jù)的研發(fā)，說明大數(shù)據(jù)已成為信息科技領(lǐng)域的熱點(diǎn)。資本市場(chǎng)高度關(guān)注大數(shù)據(jù)技術(shù)型企業(yè)的發(fā)展風(fēng)投機(jī)構(gòu)AccelPartners設(shè)立1億美元專項(xiàng)基金大數(shù)據(jù)分析公司Splunk，首日上市IPO即上漲109%大數(shù)據(jù)軟件提供商Birst公司今年已經(jīng)從紅杉資本等機(jī)構(gòu)獲得了2600萬美元的投資為開源大數(shù)據(jù)技術(shù)Hadoop的商業(yè)版本提供銷售和支持服務(wù)的Cloudera獲得7500萬美元投資MapR、10Gen、DataStax等大數(shù)據(jù)軟件服務(wù)商近期都完成了千萬美元級(jí)的融資。9市場(chǎng)預(yù)測(cè)10根據(jù)Wikibon最近發(fā)布的報(bào)告，大數(shù)據(jù)市場(chǎng)正處在井噴式增長(zhǎng)的前夕，未來五年全球大數(shù)據(jù)市場(chǎng)價(jià)值將高達(dá)500億美元。國(guó)內(nèi)云計(jì)算及大數(shù)據(jù)市場(chǎng)已經(jīng)初步具備發(fā)展態(tài)勢(shì)，據(jù)研究表明，大數(shù)據(jù)市場(chǎng)規(guī)模也將從2010年的167億元增長(zhǎng)到2013年的1174億元，年均復(fù)合增長(zhǎng)率達(dá)到91.5%。市場(chǎng)規(guī)模112012年政府、互聯(lián)網(wǎng)、電信、金融的大數(shù)據(jù)市場(chǎng)規(guī)模較大，四個(gè)行業(yè)將占據(jù)一半市場(chǎng)份額。大數(shù)據(jù)問題12速度方面的問題導(dǎo)入導(dǎo)出問題統(tǒng)計(jì)分析問題檢索查詢問題實(shí)時(shí)響應(yīng)問題

種類及架構(gòu)問題多源問題異構(gòu)問題原系統(tǒng)的底層架構(gòu)問題體量及靈活性問題線性擴(kuò)展問題動(dòng)態(tài)調(diào)度問題成本問題大機(jī)與小型服務(wù)器的成本比對(duì)原有系統(tǒng)改造的成本把控價(jià)值挖掘問題數(shù)據(jù)分析與挖掘問題數(shù)據(jù)挖掘后的實(shí)際增效問題存儲(chǔ)及安全問題結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)安全隱私安全互聯(lián)互通與數(shù)據(jù)共享問題數(shù)據(jù)標(biāo)準(zhǔn)與接口共享協(xié)議訪問權(quán)限大數(shù)據(jù)技術(shù)13計(jì)算結(jié)果展現(xiàn)報(bào)表、圖形、可視化工具、增強(qiáng)現(xiàn)實(shí)數(shù)據(jù)計(jì)算查詢、統(tǒng)計(jì)、分析、預(yù)測(cè)、挖掘、圖譜、BI數(shù)據(jù)存儲(chǔ)分布式文件系統(tǒng)，分布式數(shù)據(jù)庫(kù)數(shù)據(jù)采集ETL工具，數(shù)據(jù)總線基礎(chǔ)架構(gòu)支持云計(jì)算平臺(tái)、云存儲(chǔ)、分布式文件系統(tǒng)等行業(yè)大數(shù)據(jù)應(yīng)用的挑戰(zhàn)14清華大學(xué)大數(shù)據(jù)產(chǎn)品及成果云計(jì)算管理平臺(tái)：計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)資源的虛擬化管理、調(diào)度、監(jiān)控虛擬資源池管理系統(tǒng)：跨數(shù)據(jù)中心的虛擬資源池部署、配置、管理大規(guī)模分布式云存儲(chǔ)系統(tǒng)：分布式自容錯(cuò)、自恢復(fù)的云存儲(chǔ)系統(tǒng)分布式閃電數(shù)據(jù)庫(kù)：高效率的、支持綜合查詢及事務(wù)的分布式數(shù)據(jù)庫(kù)行業(yè)大數(shù)據(jù)處理平臺(tái)：結(jié)合多模態(tài)的大數(shù)據(jù)綜合處理平臺(tái)數(shù)據(jù)挖掘算法平臺(tái)：分布式數(shù)據(jù)挖掘平臺(tái)視頻處理平臺(tái)：多媒體綜合檢索、識(shí)別及語義分析平臺(tái)3D建模及體感交互技術(shù)：3D數(shù)字化建模及體感交互控制技術(shù)15行業(yè)大數(shù)據(jù)解決方案云燕：大規(guī)模任務(wù)流程管理系統(tǒng)應(yīng)用定制復(fù)雜流程管理自動(dòng)容錯(cuò)機(jī)制可視化云鷹：大規(guī)模任務(wù)調(diào)度系統(tǒng)輕型高效的任務(wù)調(diào)度：每秒分發(fā)幾千個(gè)任務(wù)高可擴(kuò)展性支持：上千萬任務(wù)、數(shù)十萬CPU跨數(shù)據(jù)中心資源協(xié)同使用自動(dòng)負(fù)載均衡云龍：云資源管理監(jiān)控系統(tǒng)集中統(tǒng)一的計(jì)算平臺(tái)：資源共享，彈性調(diào)度虛擬鏡像：自動(dòng)應(yīng)用環(huán)境部署完善的監(jiān)控及日志功能16云燕系統(tǒng)架構(gòu)17云燕解決海量數(shù)據(jù)計(jì)算中數(shù)據(jù)的多樣復(fù)雜性、系統(tǒng)的異構(gòu)性、系統(tǒng)流程管理問題；自動(dòng)實(shí)現(xiàn)并行化的運(yùn)行，能夠運(yùn)行于集群、網(wǎng)格、超級(jí)計(jì)算機(jī)及云平臺(tái)上。管理調(diào)度160000個(gè)CPU核18應(yīng)用效果：醫(yī)藥學(xué)靶點(diǎn)分析19CPU核:118784任務(wù)數(shù):934803運(yùn)行時(shí)間:2.01小時(shí)CPU年:21.43利用率:持續(xù):99.6%總體:78.3%吞吐量(任務(wù)/秒)

完成任務(wù)數(shù)處理器數(shù)目時(shí)間(秒)處理器活動(dòng)的任務(wù)完成的任務(wù)吞吐量(任務(wù)/秒)大數(shù)據(jù)應(yīng)用20大數(shù)據(jù)智慧安全智慧商業(yè)國(guó)家電網(wǎng)中航信工商總局審計(jì)中移動(dòng)智慧城市智能交通智能社區(qū)智能政務(wù)國(guó)家電網(wǎng)21中航信動(dòng)態(tài)航班聯(lián)程300萬航班實(shí)時(shí)路徑搜索與規(guī)則匹配90%的查詢操作在50ms內(nèi)完成跨數(shù)據(jù)中心同步分布式數(shù)據(jù)庫(kù)22中移動(dòng)營(yíng)銷數(shù)據(jù)分析及建模移動(dòng)終端促銷數(shù)據(jù)業(yè)務(wù)/手機(jī)應(yīng)用推廣23社保審計(jì)大數(shù)據(jù)處理24政策分析模型績(jī)效監(jiān)測(cè)模型分析型監(jiān)測(cè)模型合法性合規(guī)性監(jiān)測(cè)模型基礎(chǔ)數(shù)據(jù)統(tǒng)計(jì)業(yè)務(wù)審計(jì)、財(cái)務(wù)審計(jì)、復(fù)核審計(jì)供養(yǎng)比、替代率、基尼系數(shù)可持續(xù)性、政策一致性等地市區(qū)劃或行業(yè)劃分業(yè)務(wù)流程險(xiǎn)種企業(yè)職工基本養(yǎng)老保險(xiǎn)發(fā)放數(shù)據(jù)A市職工基本醫(yī)療保險(xiǎn)征繳數(shù)據(jù)清華大數(shù)據(jù)中心運(yùn)營(yíng)模式25企業(yè)研究院生產(chǎn)一線企應(yīng)用專家組政政府扶持力量海外資源產(chǎn)專家委員會(huì)研專業(yè)研究人員學(xué)師資團(tuán)隊(duì)企業(yè)化平臺(tái)合約關(guān)系優(yōu)勢(shì)：企業(yè)化運(yùn)營(yíng)獨(dú)立法人機(jī)構(gòu)研發(fā)、實(shí)施、運(yùn)維、服務(wù)以現(xiàn)代服務(wù)業(yè)理念服務(wù)于行業(yè)需求大數(shù)據(jù)應(yīng)用建議正確應(yīng)