云計(jì)算基礎(chǔ)-云計(jì)算與大數(shù)據(jù)

第九章云計(jì)算與大數(shù)據(jù)九.一概述九.一.一大數(shù)據(jù)地概念九.一.二大數(shù)據(jù)發(fā)展概況九.一.三大數(shù)據(jù)發(fā)展趨勢(shì)九.一.四云計(jì)算與大數(shù)據(jù)地關(guān)系九.二大數(shù)據(jù)地應(yīng)用九.二.一大數(shù)據(jù)產(chǎn)業(yè)鏈九.二.二大數(shù)據(jù)核心技術(shù)九.二.三大數(shù)據(jù)應(yīng)用領(lǐng)域九.一概述

大數(shù)據(jù)地概念什么是大數(shù)據(jù)？一.大數(shù)據(jù)是一個(gè)體量與數(shù)據(jù)類(lèi)別特別大地?cái)?shù)據(jù)集,無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容行抓取,管理與處理。二.大數(shù)據(jù)本質(zhì)上與傳統(tǒng)地?cái)?shù)據(jù)本無(wú)差異,它們大多是結(jié)構(gòu)化,半結(jié)構(gòu)化或者非結(jié)構(gòu)化地?cái)?shù)據(jù)。只是因?yàn)樗鼈兊財(cái)?shù)量級(jí)增長(zhǎng)太快,我們需要用全新地方式來(lái)計(jì)算這些數(shù)據(jù)。九.一概述

大數(shù)據(jù)地概念大數(shù)據(jù)具有四V特點(diǎn):一.規(guī)模大(volumes),這種規(guī)模可以從兩個(gè)維度來(lái)衡量,一是從時(shí)間序列累積大量地?cái)?shù)據(jù),二是在深度上更加細(xì)化地?cái)?shù)據(jù)。二.多樣化(variety),可以是不同地?cái)?shù)據(jù)格式,如文字,圖片,視頻等,可以是不同地?cái)?shù)據(jù)類(lèi)別,如口數(shù)據(jù),經(jīng)濟(jì)數(shù)據(jù)等,還可以有不同地?cái)?shù)據(jù)來(lái)源,如互聯(lián)網(wǎng),傳感器等。三.動(dòng)態(tài)化(Velocity）。數(shù)據(jù)是不停地變化地,可以隨著時(shí)間快速增加大量數(shù)據(jù),也可以是在空間上不斷移動(dòng)變化地?cái)?shù)據(jù)。四.真實(shí)(Veracity）。也就是價(jià)值密度低,因?yàn)榇髷?shù)據(jù)本身也具有一些問(wèn)題,比如高噪聲,缺失值等問(wèn)題,因此需要更加精細(xì)化地分析處理,才能取得更好地效果。九.一概述

大數(shù)據(jù)發(fā)展概況一.在全球七大重點(diǎn)領(lǐng)域內(nèi)（包括教育,通,消費(fèi),電力,能源,大健康以及金融）,大數(shù)據(jù)地應(yīng)用價(jià)值預(yù)計(jì)在三二二零零-五三九零零億美元之間。二.我大數(shù)據(jù)仍處于起步發(fā)展階段,各地發(fā)展大數(shù)據(jù)積極較高,行業(yè)應(yīng)用得到快速推廣,市場(chǎng)規(guī)模增速明顯。三.面臨挑戰(zhàn):五九%地?cái)?shù)據(jù)是無(wú)效數(shù)據(jù),七零%-八五%地?cái)?shù)據(jù)過(guò)于復(fù)雜,八五%地企業(yè)數(shù)據(jù)架構(gòu)無(wú)法適應(yīng)數(shù)據(jù)量與復(fù)雜增長(zhǎng)地需求,九八%地企業(yè)無(wú)法及時(shí),準(zhǔn)確地為業(yè)務(wù)提供正確地信息。九.一概述

大數(shù)據(jù)發(fā)展趨勢(shì)機(jī)器學(xué)算法越來(lái)越重要在分析領(lǐng)域內(nèi)存計(jì)算應(yīng)用更普遍Hadoop地應(yīng)用領(lǐng)域?qū)⒏訌V泛預(yù)測(cè)分析業(yè)務(wù)激增,精準(zhǔn)地預(yù)測(cè)未來(lái)可能放生地行為與數(shù)據(jù)可視化技術(shù)方便數(shù)據(jù)檢索與處理物聯(lián)網(wǎng),云技術(shù),大數(shù)據(jù)與網(wǎng)絡(luò)安全深層融合邊緣計(jì)算技術(shù)興起九.一概述

云計(jì)算與大數(shù)據(jù)地關(guān)系一.二者關(guān)系:云計(jì)算是硬件資源地虛擬化,而大數(shù)據(jù)是海量數(shù)據(jù)地高效處理。大數(shù)據(jù)著眼于數(shù)據(jù),云計(jì)算著眼于計(jì)算,數(shù)據(jù)是計(jì)算地對(duì)象。二.大數(shù)據(jù)地總體架構(gòu)包括三層:數(shù)據(jù)存儲(chǔ),數(shù)據(jù)處理與數(shù)據(jù)分析。分布式數(shù)據(jù)挖掘分布式處理分布式數(shù)據(jù)庫(kù)云存儲(chǔ)虛擬化如:Mahout如:MapReduce,JobKeeper如:HBase,數(shù)據(jù)立方如:HDFS,cStor如:VMare,OpenStackSaaSPaaSIaaS九.二大數(shù)據(jù)地應(yīng)用一.精準(zhǔn)化定制:主要是針對(duì)供需兩方地,獲取需方地個(gè)化需求,幫助供方定準(zhǔn)定位目地,然后依據(jù)需求提供產(chǎn)品,最終實(shí)現(xiàn)供需雙方地最佳匹配。智能化地搜索引擎,精準(zhǔn)營(yíng)銷(xiāo),選址定位等。大概可以分為三類(lèi):a.個(gè)化產(chǎn)品,比如智能化地搜索引擎,搜索同樣地內(nèi)容,每個(gè)地結(jié)果都不同?；蛘呤且恍┒ㄖ苹匦侣劮?wù),或者是網(wǎng)游等。b.精準(zhǔn)營(yíng)銷(xiāo),現(xiàn)在已經(jīng)比較常見(jiàn)地互聯(lián)網(wǎng)營(yíng)銷(xiāo),百度地推廣,淘寶地網(wǎng)頁(yè)推廣等,或者是基于地理位置地信息推送,當(dāng)?shù)竭_(dá)某個(gè)地方,會(huì)自動(dòng)推送周邊地消費(fèi)設(shè)施等。c.選址定位,包括零售店面地選址,或者是公基礎(chǔ)設(shè)施地選址。大數(shù)據(jù)地應(yīng)用可以概括為兩個(gè)方向,一是精準(zhǔn)化定制,二是預(yù)測(cè)。九.二大數(shù)據(jù)地應(yīng)用二.預(yù)測(cè):主要是圍繞目地對(duì)象,基于它過(guò)去,未來(lái)地一些有關(guān)因素與數(shù)據(jù)分析,從而提前做出預(yù)警,或者是實(shí)時(shí)動(dòng)態(tài)地優(yōu)化。從具體地應(yīng)用上,也大概可以分為三類(lèi):a.決策支持類(lèi),小到企業(yè)地運(yùn)營(yíng)決策,證券投資決策,醫(yī)療行業(yè)地臨床診療支持,以及電子政務(wù)等。b.風(fēng)險(xiǎn)預(yù)警類(lèi),比如疫情預(yù)測(cè),日常健康管理地疾病預(yù)測(cè),設(shè)備設(shè)施地運(yùn)營(yíng)維護(hù),公安全,以及金融業(yè)地信用風(fēng)險(xiǎn)管理等。c.實(shí)時(shí)優(yōu)化類(lèi),比如智能線(xiàn)路規(guī)劃,實(shí)時(shí)定價(jià)等。九.二大數(shù)據(jù)地應(yīng)用

大數(shù)據(jù)產(chǎn)業(yè)鏈大數(shù)據(jù)產(chǎn)業(yè)鏈主要包括數(shù)據(jù)采集,數(shù)據(jù)存儲(chǔ),數(shù)據(jù)處理與數(shù)據(jù)應(yīng)用等環(huán)節(jié)。以數(shù)據(jù)產(chǎn)品為心地縱向結(jié)構(gòu)與以大數(shù)據(jù)技術(shù)為心地橫向結(jié)構(gòu)結(jié)成一個(gè)"T"型價(jià)值鏈結(jié)構(gòu)九.二大數(shù)據(jù)地應(yīng)用

大數(shù)據(jù)核心技術(shù)大數(shù)據(jù)處理關(guān)鍵技術(shù)一般包括:大數(shù)據(jù)采集,大數(shù)據(jù)預(yù)處理,大數(shù)據(jù)存儲(chǔ)及管理,大數(shù)據(jù)分析及挖掘,大數(shù)據(jù)展現(xiàn)與應(yīng)用。數(shù)據(jù)應(yīng)用門(mén)戶(hù)報(bào)表系統(tǒng)自助取款績(jī)效考核專(zhuān)題分析監(jiān)控預(yù)警數(shù)據(jù)挖掘?qū)崟r(shí)API工作流引擎非結(jié)構(gòu)轉(zhuǎn)換搜索引擎推薦引擎Oracle/MySql/DB二..文件服務(wù)HBase/HDFS數(shù)據(jù)集模型PDMOcacle/DB二...傳統(tǒng)數(shù)據(jù)庫(kù)分布式計(jì)算Hadoop/HIve/SparkSQL實(shí)時(shí)流計(jì)算Storm/SparkStreaming臨時(shí)數(shù)據(jù)層數(shù)據(jù)集市ETL工具日志采集網(wǎng)絡(luò)爬蟲(chóng)FTP/HTTPScript業(yè)務(wù)數(shù)據(jù)庫(kù)終端設(shè)備日志網(wǎng)站日志網(wǎng)絡(luò)數(shù)據(jù)其它數(shù)據(jù)運(yùn)行狀態(tài)及任務(wù)調(diào)度數(shù)據(jù)質(zhì)量及系統(tǒng)監(jiān)控元數(shù)據(jù)及數(shù)據(jù)管理權(quán)限及安全管理系統(tǒng)管理九.二大數(shù)據(jù)地應(yīng)用

大數(shù)據(jù)核心技術(shù)一.大數(shù)據(jù)采集技術(shù):數(shù)據(jù)庫(kù)采集,網(wǎng)絡(luò)數(shù)據(jù)采集,文件采集;二．大數(shù)據(jù)預(yù)處理技術(shù):數(shù)據(jù)清理,數(shù)據(jù)集成,數(shù)據(jù)歸約,數(shù)據(jù)轉(zhuǎn)換;三.大數(shù)據(jù)存儲(chǔ)及管理技術(shù):MPP架構(gòu)地新型數(shù)據(jù)庫(kù)集群,基于Hadoop地技術(shù)擴(kuò)展與封裝,大數(shù)據(jù)一體機(jī);四.大數(shù)據(jù)展現(xiàn)與應(yīng)用技術(shù):大數(shù)據(jù)檢索,可視化,應(yīng)用,安全等。九.二大數(shù)據(jù)地應(yīng)用

大數(shù)據(jù)核心技術(shù)五.大數(shù)據(jù)分析及挖掘技術(shù)數(shù)據(jù)挖掘概念:就是從大量地,不完全地,有噪聲地,模糊地,隨機(jī)地實(shí)際應(yīng)用數(shù)據(jù),提取隱含在其地,們事先不知道地,但又是潛在有用地信息與知識(shí)地過(guò)程。大數(shù)據(jù)分析地五個(gè)基本方面大數(shù)據(jù)分析地理論核心就是數(shù)據(jù)挖掘算法,各種算法基于不同地?cái)?shù)據(jù)類(lèi)型與格式能更加科學(xué)地呈現(xiàn)出數(shù)據(jù)本身地特點(diǎn)。可視化分析能夠直觀地呈現(xiàn)大數(shù)據(jù)特點(diǎn),同時(shí)容易被讀者接收與理解,簡(jiǎn)單明了。大數(shù)據(jù)分析離不開(kāi)數(shù)據(jù)質(zhì)量與數(shù)據(jù)管理,它們保證了分析結(jié)果地真實(shí)與價(jià)值。大數(shù)據(jù)分析地重要領(lǐng)域之一就是預(yù)測(cè)分析,從大數(shù)據(jù)挖掘出特點(diǎn),建立模型,從而行預(yù)測(cè)。大數(shù)據(jù)分析廣泛應(yīng)用于網(wǎng)絡(luò)數(shù)據(jù)挖掘,如:用戶(hù)搜索關(guān)鍵詞或者其它輸入語(yǔ)義分析,從而判斷用戶(hù)需求,提高用戶(hù)體驗(yàn)與廣告匹配。可視化分析數(shù)據(jù)挖掘預(yù)測(cè)分析語(yǔ)