大數(shù)據(jù)計(jì)算模式和關(guān)鍵技術(shù)

1、未來(lái)，已發(fā)生改變大數(shù)據(jù)的關(guān)鍵技術(shù)1大數(shù)據(jù)關(guān)鍵技術(shù)1、數(shù)據(jù)采集2、數(shù)據(jù)存儲(chǔ)與管理3、數(shù)據(jù)處理與分析4、數(shù)據(jù)隱私與安全1.5大數(shù)據(jù)關(guān)鍵技術(shù)分布式存儲(chǔ)分布式處理大數(shù)據(jù)1.5大數(shù)據(jù)關(guān)鍵技術(shù)單機(jī)無(wú)法存儲(chǔ)集群分布式存儲(chǔ)海量數(shù)據(jù)的存儲(chǔ)1.5大數(shù)據(jù)關(guān)鍵技術(shù)1分布式數(shù)據(jù)庫(kù)Bigtable分布式文件系統(tǒng)GFS分布式并行處理技術(shù)Mapreduce 1.5大數(shù)據(jù)關(guān)鍵技術(shù)正如“不同的鎖需要不同的鑰匙”企業(yè)中不同的應(yīng)用場(chǎng)景數(shù)據(jù)不同的計(jì)算模式，需要使用不同的大數(shù)據(jù)技術(shù)1大數(shù)據(jù)關(guān)鍵技術(shù)批處理流數(shù)據(jù)需要實(shí)時(shí)處理圖計(jì)算需要實(shí)時(shí)處理實(shí)時(shí)計(jì)算交互式查詢分析交互式計(jì)算不同的計(jì)算模式需要使用不同的產(chǎn)品MapReduce批處理計(jì)算模式的典

2、型代表批處理計(jì)算MapReduce是批處理計(jì)算模式的典型代表可做迭代計(jì)算的Spark，實(shí)時(shí)性更好10流計(jì)算代表技術(shù)：Storm、S4、Flume、Streams流數(shù)據(jù)（網(wǎng)購(gòu)數(shù)據(jù)、游戲內(nèi)玩家活動(dòng)、社交網(wǎng)站信息、金融交易大廳或地理空間服務(wù)，以及來(lái)自數(shù)據(jù)中心內(nèi)所連接設(shè)備或儀器的遙測(cè)數(shù)據(jù)）需要實(shí)時(shí)處理，給出實(shí)時(shí)響應(yīng)，否則分析結(jié)果會(huì)失去商業(yè)價(jià)值。圖計(jì)算代表技術(shù)：Pregel、GraphX、社交網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換成圖結(jié)構(gòu)查詢分析計(jì)算代表技術(shù)：Dremel、Hive、Cassandra、Impala等大數(shù)據(jù)計(jì)算模式大數(shù)據(jù)計(jì)算模式大數(shù)據(jù)計(jì)算模式解決問(wèn)題解決問(wèn)題代表產(chǎn)品代表產(chǎn)品批處理計(jì)算針對(duì)大規(guī)模數(shù)據(jù)的批量處理Map

3、Reduce、Spark等流計(jì)算針對(duì)流數(shù)據(jù)的實(shí)時(shí)計(jì)算Storm、S4、Flume、Streams、Puma、DStream、Super Mario、銀河流數(shù)據(jù)處理平臺(tái)等圖計(jì)算針對(duì)大規(guī)模圖結(jié)構(gòu)數(shù)據(jù)的處理Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等查詢分析計(jì)算大規(guī)模數(shù)據(jù)的存儲(chǔ)管理和查詢分析Dremel、Hive、Cassandra、Impala等表1-3 大數(shù)據(jù)計(jì)算模式及其代表產(chǎn)品分布式存儲(chǔ)分布式處理大數(shù)據(jù)1. 云計(jì)算概念云計(jì)算實(shí)現(xiàn)了通過(guò)網(wǎng)絡(luò)提供可伸縮的、廉價(jià)的分布式計(jì)算能力，用戶只需要在具備網(wǎng)絡(luò)接入條件的地方，就可以隨時(shí)隨地獲得所需的各種IT資源

4、。云計(jì)算的優(yōu)勢(shì)企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以租用云端資源云計(jì)算的優(yōu)勢(shì)企業(yè)不需要自建IT基礎(chǔ)設(shè)施，可以租用云端資源圖1-7 云計(jì)算的服務(wù)模式和類型 云計(jì)算的服務(wù)模式和類型公有云私有云混合云Infrastructure as a ServicePlatform as a ServiceSoftware as a ServiceSaaSPaaSIaaSGoogle Apps, Microsoft “Software+Services”面向用戶（云軟件）Sina APP Engine, Google App Engine面向應(yīng)用開發(fā)者（搭建開發(fā)平臺(tái)作為服務(wù)出租）Amazon EC2, IBM Blue Cloud, Sun Grid面向網(wǎng)絡(luò)架構(gòu)師（基礎(chǔ)設(shè)施作為服務(wù)出租）ServerStorageServerStorageVisualizationInfrastructurePlatformApplication從一個(gè)集中的系統(tǒng)部署軟件，使之在一臺(tái)本地計(jì)算機(jī)上(或從云中遠(yuǎn)程地)運(yùn)行的一個(gè)模型。由于是計(jì)量服務(wù)，SaaS 允許出租一個(gè)應(yīng)用程序，并計(jì)時(shí)收費(fèi) IaaS將基礎(chǔ)設(shè)施(計(jì)算資源和存儲(chǔ))作為服務(wù)出租PaaS類似于 IaaS，但是它包括操作系統(tǒng)和圍繞特定應(yīng)用的必需的服務(wù)S