大數(shù)據(jù)處理的基本思想和框架課件高中信息技術(shù)浙教版必修1

4.2.1大數(shù)據(jù)處理的基本思想和框架第四章第四章大數(shù)據(jù)具有數(shù)據(jù)量大、數(shù)據(jù)來源于類型多樣、處理速度快等特點，簡單的表格處理軟件已經(jīng)無法滿足大數(shù)據(jù)的處理需求，同時，大數(shù)據(jù)技術(shù)、理論和處理方法也在不斷發(fā)展，為大數(shù)據(jù)的處理提供了越來越有力的支持。量大速度快，類多價值低大數(shù)據(jù)的特征★分——將問題分解為規(guī)模更小的子問題★治——將規(guī)模更小的子問題逐個擊破★合——將已解決的子問題合并，最終得出原問題的解大數(shù)據(jù)處理思想——分治

開發(fā)“羊了個羊”小程序?qū)懘a畫界面設(shè)計游戲宣傳計算機專業(yè)美術(shù)專業(yè)計算機專業(yè)新媒體專業(yè)成果分治思想大數(shù)據(jù)處理分類大數(shù)據(jù)處理靜態(tài)數(shù)據(jù)流數(shù)據(jù)圖數(shù)據(jù)★靜態(tài)數(shù)據(jù)：在處理時已收集完成、在計算式不會發(fā)生改變的數(shù)據(jù)

★流數(shù)據(jù)：是指不間斷地、持續(xù)地到達的實時數(shù)據(jù)，隨著時間的流逝，流數(shù)據(jù)的價值也隨之降低，通過實時分析計算可以得到更有價值的分析的結(jié)果.★圖數(shù)據(jù)：以社交網(wǎng)絡(luò)、道路交通等數(shù)據(jù)為例的眾多以圖為數(shù)據(jù)呈現(xiàn)形式的數(shù)據(jù)，或者轉(zhuǎn)化為圖之后再進行分析靜態(tài)數(shù)據(jù)——批處理Hadoop是一個運行于計算機集群上的分布式系統(tǒng)基礎(chǔ)架構(gòu)，適用于靜態(tài)數(shù)據(jù)的批處理計算。Spark與hadoop相似，應(yīng)用較廣的開源分布式計算架構(gòu)。Spark啟用了內(nèi)存存儲中間結(jié)果，運行速度比hadoop快。批處理計算HDFS數(shù)據(jù)以文件的形式、用多副本保存在不同的存儲節(jié)點中，并進行分布式管理容錯性高，可以部署在廉價的機器中應(yīng)用：云盤、網(wǎng)盤HBase功能：采用基于列的存儲方式，用于存儲半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具有良好的橫向擴展能力，可管理PB級的大數(shù)據(jù)，是BigTable的開源實現(xiàn)。特點：高可靠、高性能、可伸縮、分布式Hbase(數(shù)據(jù)存儲與管理)分布式并行計算模型MapReduceMapReduce主要用于處理大規(guī)模數(shù)據(jù)集的并行運算，由Map（映射）和Reduce（歸納）兩部分組成。它的核心思想就是將任務(wù)分解并發(fā)到多個節(jié)點上進行處理，最后匯總輸出。批處理計算不間斷地、持續(xù)地到達的實時數(shù)據(jù)。流數(shù)據(jù)的價值會隨著時間的流逝而降低。

對采集的數(shù)據(jù)實時分析和計算并反饋實時結(jié)果。經(jīng)處理系統(tǒng)或處理完成的數(shù)據(jù)流直接丟棄或存儲用戶可以實時查詢最新數(shù)據(jù)分析結(jié)果，數(shù)據(jù)不斷更新，實時推薦給用戶流計算應(yīng)用：廣告推送、個性化推薦、實時交通流計算軟件：Heron、Storm、Streams、S4、Puma流數(shù)據(jù)——流計算

流處理系統(tǒng)處理的是實時的數(shù)據(jù)，而傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)處理的是預(yù)先存儲好的靜態(tài)數(shù)據(jù)。用戶通過流處理系統(tǒng)獲取的一般是實時結(jié)果，而傳統(tǒng)的數(shù)據(jù)處理方式獲取的都是過去某一個歷史時刻的快照。流處理系統(tǒng)會實時地把生成的結(jié)果不斷的推動給用戶，傳統(tǒng)數(shù)據(jù)需要用戶主動查詢才能獲取數(shù)據(jù)?；旌掀脚_（批處理&流計算）的整合縮短了批處理與流處理之間的切換延時時間，有利于減少系統(tǒng)的開銷，降低使用成本。傳統(tǒng)數(shù)據(jù)與流數(shù)據(jù)現(xiàn)實世界中以圖形式展現(xiàn)的數(shù)據(jù)。如社交網(wǎng)絡(luò)、道路交通等。圖處理軟件：Pregel、GraphX

圖數(shù)據(jù)——圖計算練一練1.下列關(guān)于流數(shù)據(jù)的描述不正確的是（

）

A.數(shù)據(jù)在處理時已經(jīng)采集完成

B.數(shù)據(jù)價值隨著時間的流逝降低

C.實時分析流數(shù)據(jù)可以得到更有價值的結(jié)果

D.可以采用流計算進行實時分析A練一練2.下列關(guān)于Hadoop架構(gòu)的描述正確的是（

）A.是一個對大數(shù)據(jù)進行聚合式處理的基礎(chǔ)軟件框架B.不能運行于大規(guī)模計算機集群上C.采用NTFS文件系統(tǒng)管理數(shù)據(jù)文件D.采用MapReduce編程模型處理大規(guī)模數(shù)據(jù)集D練一練2.下列關(guān)于Hadoop架構(gòu)的描述正確的是（

）A.是一個對大數(shù)據(jù)進行聚合式處理的基礎(chǔ)軟件框架

B.不能運行于大規(guī)模計算機集群上C.采用NTFS文件系統(tǒng)管理數(shù)據(jù)文件D.采用MapReduce編程模型處理大規(guī)模數(shù)據(jù)集D練一練3.下列軟件主要用于進行流計算的有（

）

A.Hadoop

B.Storm

C.Pregel

D.SparkB練一練4.實時處理與批處理整合的優(yōu)勢有（

）①可以在同一個平臺做