大學(xué)計(jì)算機(jī)-計(jì)算思維視角 課件 5.7 大數(shù)據(jù)應(yīng)用及關(guān)鍵技術(shù)

大數(shù)據(jù)應(yīng)用及關(guān)鍵技術(shù)數(shù)據(jù)庫與大數(shù)據(jù)章名：節(jié)名：大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的關(guān)鍵技術(shù)12大數(shù)據(jù)無處不在，社會(huì)各行各業(yè)都已經(jīng)融入了大數(shù)據(jù)的印跡。大數(shù)據(jù)應(yīng)用領(lǐng)域業(yè)務(wù)流程優(yōu)化監(jiān)控身體情況智能醫(yī)療研發(fā)智能汽車研發(fā)實(shí)時(shí)掌控交通情況金融交易理解滿足用戶需求大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的應(yīng)用案例1：連續(xù)劇的拍攝影視劇的投拍有風(fēng)險(xiǎn)

花巨額資金投拍卻得不到用戶關(guān)注，中國每年大部分的影視劇都會(huì)面臨這樣的厄運(yùn)。

方式：不具備科學(xué)性，盲目跟風(fēng)。亮劍(2005年)→抗日題材劇驟然活躍，中國橫店影視城每天群

眾演員不夠用(日本鬼子)。通過大數(shù)據(jù)分析團(tuán)隊(duì)的分析結(jié)果才著手投拍。

風(fēng)靡美國的知名影視劇。大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的應(yīng)用凱文·史派西奧斯卡影帝大衛(wèi)·芬奇金牌導(dǎo)演《紙牌屋》英國最火同名小說案例2：谷歌預(yù)測(cè)流感傳統(tǒng)預(yù)測(cè)方式各醫(yī)療結(jié)構(gòu)層層上報(bào)醫(yī)療病例專家匯總分析發(fā)布報(bào)告問題：比真實(shí)預(yù)警滯后一到兩周。大數(shù)據(jù)的應(yīng)用谷歌預(yù)測(cè)方式

美國公民通常遇到小病，首先求助搜索引擎，其次才是醫(yī)院。

搜索引擎實(shí)時(shí)收集各類生病用戶的查詢信息。

優(yōu)點(diǎn)：實(shí)時(shí)性高出很多。案例2：谷歌預(yù)測(cè)流感大數(shù)據(jù)的應(yīng)用大數(shù)據(jù)的應(yīng)用數(shù)據(jù)采集數(shù)據(jù)存儲(chǔ)與管理數(shù)據(jù)處理與分析數(shù)據(jù)隱私與安全1234V大數(shù)據(jù)的關(guān)鍵技術(shù)兩大核心技術(shù)大數(shù)據(jù)核心技術(shù)分布式存儲(chǔ)分布式處理大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)的關(guān)鍵技術(shù)分布式存儲(chǔ)：解決海量數(shù)據(jù)的存儲(chǔ)問題一臺(tái)計(jì)算機(jī)存儲(chǔ)不下，只能借助整個(gè)集群網(wǎng)絡(luò)進(jìn)行存儲(chǔ)。分布式處理：解決海量數(shù)據(jù)的處理問題

海量數(shù)據(jù)的實(shí)時(shí)處理與分析，單機(jī)無法完成，也要借助整個(gè)集群網(wǎng)絡(luò)進(jìn)行處理。分布式存儲(chǔ)與分布式處理均是以谷歌技術(shù)為代表。大數(shù)據(jù)的關(guān)鍵技術(shù)主要核心技術(shù)分布式數(shù)據(jù)庫BigTable分布式并行處理技術(shù)MapReduce分布式文件系統(tǒng)GFS分布式存儲(chǔ)分布式處理不同的計(jì)算模式需要使用不同的產(chǎn)品正如不同的鎖需要使用不同的鑰匙，企業(yè)中不同的應(yīng)用場(chǎng)景屬于不同的計(jì)算模式，需要使用不同的大數(shù)據(jù)技術(shù)。批處理實(shí)時(shí)計(jì)算圖計(jì)算交互式計(jì)算大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)的關(guān)鍵技術(shù)批處理計(jì)算模式典型代表：MapReduce不適合做實(shí)時(shí)的交互式計(jì)算不可能實(shí)現(xiàn)秒級(jí)響應(yīng)典型代表：Spark開發(fā)者：加州大學(xué)伯克利分校(2015)比MapReduce的實(shí)時(shí)性更好可高效地進(jìn)行迭代計(jì)算(如：數(shù)據(jù)挖掘)流計(jì)算模式專門針對(duì)流數(shù)據(jù)的實(shí)時(shí)計(jì)算。如：日志流、用戶點(diǎn)擊流流計(jì)算需要進(jìn)行實(shí)時(shí)處理，給出實(shí)時(shí)響應(yīng)，否則分析結(jié)果將會(huì)失去商業(yè)價(jià)值。代表產(chǎn)品：S4、Storm、Flume實(shí)現(xiàn)秒級(jí)的針對(duì)實(shí)時(shí)數(shù)據(jù)流的響應(yīng)。大數(shù)據(jù)的關(guān)鍵技術(shù)圖計(jì)算模式高效處理圖結(jié)構(gòu)數(shù)據(jù)，如：社交網(wǎng)絡(luò)數(shù)據(jù)、地理信息系統(tǒng)數(shù)據(jù)。查詢分析計(jì)算模式實(shí)現(xiàn)交互式實(shí)時(shí)分析查詢，代表產(chǎn)品：GoogleDremel大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)的關(guān)鍵技術(shù)大數(shù)據(jù)計(jì)算模式解決問題代表產(chǎn)品批處理計(jì)算針對(duì)大規(guī)模數(shù)據(jù)的批量處理MapReduce、Spark等流計(jì)算針對(duì)流數(shù)據(jù)的實(shí)時(shí)計(jì)算Storm、S4、Flume、Streams、Puma、DStream、SuperMario、銀河流數(shù)據(jù)處理平臺(tái)等圖計(jì)算針對(duì)大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計(jì)算大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分