大數(shù)據(jù)的發(fā)展與應(yīng)用課件

1、互聯(lián)網(wǎng)的產(chǎn)生和發(fā)展1目 錄大數(shù)據(jù)的概念大數(shù)據(jù)的特點(diǎn)21大數(shù)據(jù)的產(chǎn)生3大數(shù)據(jù)的應(yīng)用4第1頁/共47頁互聯(lián)網(wǎng)的產(chǎn)生和發(fā)展1目 錄大數(shù)據(jù)的概念大數(shù)據(jù)的特點(diǎn)21大數(shù)大數(shù)據(jù)的基本概念國務(wù)院促進(jìn)大數(shù)據(jù)發(fā)展行動綱要大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識、創(chuàng)造新價值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。第2頁/共47頁大數(shù)據(jù)的基本概念國務(wù)院促進(jìn)大數(shù)據(jù)發(fā)展行動綱要第2頁/共4大數(shù)據(jù)的基本概念重要意義大數(shù)據(jù)成為推動經(jīng)濟(jì)轉(zhuǎn)型發(fā)展的新動力大數(shù)據(jù)持續(xù)激發(fā)商業(yè)模式創(chuàng)新，不斷催生新業(yè)態(tài)，已成為互聯(lián)網(wǎng)等新

2、興領(lǐng)域促進(jìn)業(yè)務(wù)創(chuàng)新增值、提升企業(yè)核心價值的重要驅(qū)動力大數(shù)據(jù)成為重塑國家競爭優(yōu)勢的新機(jī)遇發(fā)掘和釋放數(shù)據(jù)資源的潛在價值，有利于更好發(fā)揮數(shù)據(jù)資源的戰(zhàn)略作用大數(shù)據(jù)成為提升政府治理能力的新途徑建立“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”的管理機(jī)制第3頁/共47頁大數(shù)據(jù)的基本概念重要意義第3頁/共47頁大數(shù)據(jù)的基本概念維基百科的定義大數(shù)據(jù)是指利用常用軟件工具捕獲、管理和處理數(shù)據(jù)所耗時間超過可容忍時間的數(shù)據(jù)集第4頁/共47頁大數(shù)據(jù)的基本概念維基百科的定義第4頁/共47頁大數(shù)據(jù)的基本概念I(lǐng)DC(International Data Corporation)的定義大數(shù)據(jù)一般會涉及2 種或2 種以上數(shù)據(jù)

3、形式。它要收集超過100TB 的數(shù)據(jù)，并且是高速、實時數(shù)據(jù)流; 或者是從小數(shù)據(jù)開始，但數(shù)據(jù)每年會增長60%以上第5頁/共47頁大數(shù)據(jù)的基本概念I(lǐng)DC(International Data大數(shù)據(jù)的基本概念Gartner的定義大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)第6頁/共47頁大數(shù)據(jù)的基本概念Gartner的定義第6頁/共47頁大數(shù)據(jù)的特點(diǎn)規(guī)模性（Volume）根據(jù)IDC 的定義至少要有超過100TB 的可供分析的數(shù)據(jù)，數(shù)據(jù)量大是大數(shù)據(jù)的基本屬性谷歌的自動駕駛汽車，為了對周圍環(huán)境作出預(yù)測，每秒鐘要收集差不多1GB的數(shù)據(jù)未來趨勢：智能

4、化汽車第7頁/共47頁大數(shù)據(jù)的特點(diǎn)規(guī)模性（Volume）谷歌的自動駕駛汽車，為了對大數(shù)據(jù)的特點(diǎn)著名咨詢公司IDC的統(tǒng)計2011 年全球被創(chuàng)建和復(fù)制的數(shù)據(jù)總量為1.8ZB（10 的21 次方），其中75%來自于個人（主要是圖片、視頻和音樂），遠(yuǎn)遠(yuǎn)超過人類有史以來所有印刷材料的數(shù)據(jù)總量（200PB）預(yù)測到2020 年，全球數(shù)據(jù)量暴增44 倍（相比2009 年），總量會達(dá)到35 ZB。第8頁/共47頁大數(shù)據(jù)的特點(diǎn)著名咨詢公司IDC的統(tǒng)計第8頁/共47頁大數(shù)據(jù)的特點(diǎn)數(shù)據(jù)增長定律圖靈獎獲得者Jim Gray提出數(shù)據(jù)增長的經(jīng)驗定律網(wǎng)絡(luò)環(huán)境下每18 個月產(chǎn)生的數(shù)據(jù)量等于有史以來數(shù)據(jù)量之和第9頁/共47頁大數(shù)

5、據(jù)的特點(diǎn)數(shù)據(jù)增長定律第9頁/共47頁大數(shù)據(jù)的特點(diǎn)著名咨詢公司IDC的統(tǒng)計Google 公司通過大規(guī)模集群和MapReduce 軟件，每月處理的數(shù)據(jù)量超過400PB百度每天大約要處理幾十PB 數(shù)據(jù)Facebook 注冊用戶超過10億，每月上傳的照片超過10 億張，每天生成300TB 以上的日志數(shù)據(jù)淘寶網(wǎng)會員超過3.7 億，在線商品超過11 億類，每天交易數(shù)千萬筆，產(chǎn)生約20TB 數(shù)據(jù)。第10頁/共47頁大數(shù)據(jù)的特點(diǎn)著名咨詢公司IDC的統(tǒng)計第10頁/共47頁大數(shù)據(jù)的特點(diǎn)第11頁/共47頁大數(shù)據(jù)的特點(diǎn)第11頁/共47頁大數(shù)據(jù)的特點(diǎn)著名咨詢公司IDC的統(tǒng)計傳感網(wǎng)和物聯(lián)網(wǎng)的蓬勃發(fā)展是大數(shù)據(jù)的又一推動力，

6、各個城市的視頻監(jiān)控每時每刻都在采集巨量的流媒體數(shù)勞斯萊斯公司對全世界數(shù)以萬計的飛機(jī)引擎進(jìn)行實時監(jiān)控，每年傳送PB數(shù)量級的數(shù)據(jù)。第12頁/共47頁大數(shù)據(jù)的特點(diǎn)著名咨詢公司IDC的統(tǒng)計第12頁/共47頁大數(shù)據(jù)的特點(diǎn)數(shù)據(jù)豐富，信息貧乏組織項目數(shù)據(jù)規(guī)模電信通話清單數(shù)十億條/月銀行業(yè)務(wù)數(shù)據(jù)數(shù)千萬條/月股票日線數(shù)據(jù)數(shù)十萬條/月卷煙廠生產(chǎn)數(shù)據(jù)數(shù)百萬條/月超市銷售數(shù)據(jù)數(shù)百萬條/月搜索引擎網(wǎng)頁數(shù)百億頁在線零售商交易數(shù)據(jù)數(shù)百萬條第13頁/共47頁大數(shù)據(jù)的特點(diǎn)數(shù)據(jù)豐富，信息貧乏組織項目數(shù)據(jù)規(guī)模電信通話清單數(shù)大數(shù)據(jù)的特點(diǎn)多樣性（Variety）數(shù)據(jù)類型繁多，復(fù)雜多變是大數(shù)據(jù)的重要特性以往的數(shù)據(jù)盡管數(shù)量龐大，但通常是事

7、先定義好的結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)是將事物向便于人類和計算機(jī)存儲、處理、查詢的方向抽象的結(jié)果數(shù)據(jù)都以表格的形式保存在數(shù)據(jù)庫中第14頁/共47頁大數(shù)據(jù)的特點(diǎn)多樣性（Variety）第14頁/共47頁大數(shù)據(jù)的特點(diǎn)多樣性（Variety）大數(shù)據(jù)時代半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)逐漸成為主流數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)量已占到數(shù)據(jù)總量的75%以上，且非結(jié)構(gòu)化數(shù)據(jù)的增長速度比結(jié)構(gòu)化數(shù)據(jù)快10 倍到50 倍。數(shù)據(jù)類型層出不窮，已經(jīng)很難用一種或幾種規(guī)定的模式來表征日趨復(fù)雜、多樣的數(shù)據(jù)形式視頻、音頻、圖片、郵件、HTML、RFID、GPS 和傳感器第15頁/共47頁大數(shù)據(jù)的特點(diǎn)多樣性（Variety）視頻、音頻、圖片、郵件、We

8、b數(shù)據(jù)挖掘面臨的難題Web上半結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)Web頁面的結(jié)構(gòu)是頁面自描述的在頁面里數(shù)據(jù)與結(jié)構(gòu)混合存在結(jié)構(gòu)經(jīng)常動態(tài)變化大數(shù)據(jù)多樣性帶來的問題第16頁/共47頁Web數(shù)據(jù)挖掘面臨的難題Web上半結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)大數(shù)據(jù)多樣性Web數(shù)據(jù)挖掘面臨的難題第17頁/共47頁Web數(shù)據(jù)挖掘面臨的難題第17頁/共47頁Web數(shù)據(jù)挖掘面臨的難題第18頁/共47頁Web數(shù)據(jù)挖掘面臨的難題第18頁/共47頁Web數(shù)據(jù)挖掘面臨的難題第19頁/共47頁Web數(shù)據(jù)挖掘面臨的難題第19頁/共47頁大數(shù)據(jù)的特點(diǎn)高速性（Velocity）要求數(shù)據(jù)的快速處理，是大數(shù)據(jù)區(qū)別于傳統(tǒng)海量數(shù)據(jù)處理的重要特性之一不斷激增的數(shù)據(jù)不但不能為解決問

9、題帶來優(yōu)勢，反而成了快速解決問題的負(fù)擔(dān)數(shù)據(jù)不是靜止不動的，而是在互聯(lián)網(wǎng)絡(luò)中不斷流動，且通常這樣的數(shù)據(jù)價值是隨著時間的推移而迅速降低的，如果數(shù)據(jù)尚未得到有效的處理，就失去了價值，大量的數(shù)據(jù)就沒有意義第20頁/共47頁大數(shù)據(jù)的特點(diǎn)高速性（Velocity）第20頁/共47頁大數(shù)據(jù)的特點(diǎn)價值性（Value）大數(shù)據(jù)的價值往往呈現(xiàn)出稀疏性的特點(diǎn)數(shù)據(jù)價值密度低是大數(shù)據(jù)關(guān)注的非結(jié)構(gòu)化數(shù)據(jù)的重要屬性視頻監(jiān)控，大量的圖像數(shù)據(jù)被存儲下來，對于某一特定的應(yīng)用，比如獲取犯罪嫌疑人的體貌特征，有效的視頻數(shù)據(jù)可能僅僅有1-2秒第21頁/共47頁大數(shù)據(jù)的特點(diǎn)價值性（Value）第21頁/共47頁大數(shù)據(jù)的產(chǎn)生數(shù)據(jù)產(chǎn)生方式的變

10、革人類社會的數(shù)據(jù)產(chǎn)生方式經(jīng)歷了個階段，而正是數(shù)據(jù)產(chǎn)生方式的巨大變化才最終導(dǎo)致大數(shù)據(jù)的產(chǎn)生運(yùn)營式系統(tǒng)階段用戶原創(chuàng)內(nèi)容階段感知式系統(tǒng)階段第22頁/共47頁大數(shù)據(jù)的產(chǎn)生數(shù)據(jù)產(chǎn)生方式的變革第22頁/共47頁大數(shù)據(jù)的產(chǎn)生運(yùn)營式系統(tǒng)階段數(shù)據(jù)庫出現(xiàn)使得數(shù)據(jù)管理的復(fù)雜度大大降低超市的銷售記錄系統(tǒng)銀行的交易記錄系統(tǒng)醫(yī)院病人的醫(yī)療記錄主要特點(diǎn)是數(shù)據(jù)伴隨運(yùn)營活動產(chǎn)生并記錄在數(shù)據(jù)庫中比如淘寶每銷售出一件產(chǎn)品就會在數(shù)據(jù)庫中產(chǎn)生相應(yīng)的一條銷售記錄第23頁/共47頁大數(shù)據(jù)的產(chǎn)生運(yùn)營式系統(tǒng)階段第23頁/共47頁大數(shù)據(jù)的產(chǎn)生用戶原創(chuàng)內(nèi)容階段互聯(lián)網(wǎng)促使人類社會數(shù)據(jù)量出現(xiàn)第次飛躍，但是真正的數(shù)據(jù)爆發(fā)產(chǎn)生于Web2.0時代， Web

11、2.0的最重要標(biāo)志就是用戶原創(chuàng)內(nèi)容主要原因以博客、微博和微信等為代表的新型社交網(wǎng)絡(luò)的出現(xiàn)和快速發(fā)展以智能手機(jī)、平板電腦為代表的新型移動設(shè)備的出現(xiàn)，使得人們在網(wǎng)上發(fā)表自己意見的途徑更為便捷第24頁/共47頁大數(shù)據(jù)的產(chǎn)生用戶原創(chuàng)內(nèi)容階段第24頁/共47頁大數(shù)據(jù)的產(chǎn)生感知式系統(tǒng)階段人類社會數(shù)據(jù)量第次飛躍最終導(dǎo)致了大數(shù)據(jù)的產(chǎn)生，今天正處于這個階段飛躍的根本原因感知式系統(tǒng)的廣泛使用制造極其微小的帶有處理功能的傳感器設(shè)備對整個社會運(yùn)轉(zhuǎn)進(jìn)行監(jiān)控設(shè)備會源源不斷地產(chǎn)生新數(shù)據(jù)第25頁/共47頁大數(shù)據(jù)的產(chǎn)生感知式系統(tǒng)階段第25頁/共47頁空氣鉆井事故預(yù)警系統(tǒng)第26頁/共47頁空氣鉆井事故預(yù)警系統(tǒng)第26頁/共47頁空

12、氣鉆井事故預(yù)警系統(tǒng)第27頁/共47頁空氣鉆井事故預(yù)警系統(tǒng)第27頁/共47頁空氣鉆井事故預(yù)警系統(tǒng)傳感器空氣管道產(chǎn)生800萬條數(shù)據(jù)第28頁/共47頁空氣鉆井事故預(yù)警系統(tǒng)傳感器空氣管道產(chǎn)生800萬條數(shù)據(jù)第28頁空氣鉆井事故預(yù)警系統(tǒng)第29頁/共47頁空氣鉆井事故預(yù)警系統(tǒng)第29頁/共47頁大數(shù)據(jù)在醫(yī)療行業(yè)的應(yīng)用臨床決策支持系統(tǒng)使用圖像分析和識別技術(shù), 識別醫(yī)療影像數(shù)據(jù)挖掘醫(yī)療文獻(xiàn)數(shù)據(jù)建立醫(yī)療專家數(shù)據(jù)庫, 從而給醫(yī)生提出診療建議第30頁/共47頁大數(shù)據(jù)在醫(yī)療行業(yè)的應(yīng)用臨床決策支持系統(tǒng)第30頁/共47頁華西藥房藥品陳列建議搜集了11萬數(shù)據(jù)做關(guān)聯(lián)規(guī)則分析1233第31頁/共47頁華西藥房藥品陳列建議搜集了11

13、萬數(shù)據(jù)做關(guān)聯(lián)規(guī)則分析1233華西藥房藥品陳列建議第32頁/共47頁華西藥房藥品陳列建議第32頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)預(yù)測基于微博和百度指數(shù)的福特汽車銷量預(yù)測背景來源第33頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用大數(shù)據(jù)預(yù)測第33頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第34頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第34頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第35頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第35頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第36頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第36頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第37頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第37頁/

14、共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第38頁/共47頁大數(shù)據(jù)在汽車制造公司的應(yīng)用第38頁/共47頁大數(shù)據(jù)在商業(yè)銀行的應(yīng)用精準(zhǔn)營銷通過聚類分析，對客戶進(jìn)行劃分，獲得各個客戶群不同的特征，從而對客戶群進(jìn)行針對性營銷，或者面向特定細(xì)分客戶群開發(fā)特定產(chǎn)品，從而提高產(chǎn)品銷量股票基金第39頁/共47頁大數(shù)據(jù)在商業(yè)銀行的應(yīng)用精準(zhǔn)營銷股票基金第39頁/共47頁大數(shù)據(jù)在商業(yè)銀行的應(yīng)用精準(zhǔn)營銷西太平洋銀行利用社交媒體數(shù)據(jù)對客戶進(jìn)行情感分析來實現(xiàn)精準(zhǔn)營銷第40頁/共47頁大數(shù)據(jù)在商業(yè)銀行的應(yīng)用精準(zhǔn)營銷第40頁/共47頁大數(shù)據(jù)在商業(yè)銀行的應(yīng)用風(fēng)險管理孤立點(diǎn)分析摩根大通在業(yè)務(wù)交易中引入信用卡和借記卡數(shù)據(jù)進(jìn)行詐騙檢驗例如，

15、從來沒有信用卡取現(xiàn)行為，被阻止中信銀行借助大數(shù)據(jù)分析技術(shù)監(jiān)控評估客戶的行為，并對客戶的信用消費(fèi)預(yù)警例如，消費(fèi)金額超過預(yù)期的預(yù)警第41頁/共47頁大數(shù)據(jù)在商業(yè)銀行的應(yīng)用風(fēng)險管理孤立點(diǎn)分析第41頁/共47大數(shù)據(jù)在保險公司的應(yīng)用汽車保險傳統(tǒng)上保險公司只把車險客戶做了簡單分類第一種是連續(xù)兩年沒有出車禍的第二種過去一年沒有出車禍第三種過去一年出了一次車禍第四種是過去一年出了兩次及以上車禍的不同類別客戶保費(fèi)有差異第42頁/共47頁大數(shù)據(jù)在保險公司的應(yīng)用汽車保險不同類別客戶保費(fèi)有差異第42頁大數(shù)據(jù)在保險公司的應(yīng)用汽車保險大數(shù)據(jù)時代保險公司考慮更多因素開車主要只是上下班，這條線路過去一年統(tǒng)計的事故率很低車況（車的使用年限、車型）好，此車型車禍率較低統(tǒng)計駕駛習(xí)慣，臨時剎車少，超車少，與周圍車保持了應(yīng)有的車距，駕駛習(xí)慣好最后結(jié)論車型好，車況好，駕駛習(xí)慣好，常走的線路事故率低，過去一年也沒有出過車禍，因此可以給予更大幅度的優(yōu)惠折扣第43頁/共47頁大數(shù)據(jù)在保險公司的應(yīng)用汽車保險第43頁/共47頁大數(shù)據(jù)在保險公司的應(yīng)用客戶流失預(yù)測保留老客戶的成本遠(yuǎn)低于獲取新客戶的成本對所有客戶進(jìn)行一對一營銷成本昂貴客戶流失預(yù)測出那些可能流失的客戶，對這部分客戶進(jìn)行一對一營銷，降低