云計(jì)算概述

云計(jì)算簡(jiǎn)介 谷歌 GAE 三大云計(jì)算 亞馬遜 AWS 開(kāi)源 Hadoop 理論研究熱點(diǎn) 總結(jié)與展望 一種在規(guī)模經(jīng)濟(jì)驅(qū)動(dòng)下產(chǎn)生的大規(guī)模分布式計(jì)算。它是一個(gè)資源池，其中包含了抽象的、虛擬化的、可動(dòng)態(tài)伸縮和管理的計(jì)算資源、存儲(chǔ)資源、平臺(tái)和服務(wù)，并通過(guò)因特網(wǎng)按需提供給用戶。 Google File System(GFS) BigTable MapReduce Client Client Replicas Masters GFS Master GFS Master C0 C1 C2. C5 Chunkserver 1 C0 C5 Chunkserver N C1 C3. C5 Chunkserver 2 Client Client Client 文件被分割成 chunks (典型大小為 64 MB) Master 管理元數(shù)據(jù) 數(shù)據(jù)傳輸直接在 clients/chunkservers之間進(jìn)行 容錯(cuò)技術(shù) 冗余備份 日志 校驗(yàn)和 管理技術(shù) 大規(guī)模集群安裝升級(jí) 故障檢測(cè) 節(jié)點(diǎn)動(dòng)態(tài)加入 節(jié)能技術(shù) Google File System(GFS) BigTable MapReduce 為什么設(shè)計(jì) BigTable？ 數(shù)據(jù)種類(lèi)繁多 海量服務(wù)請(qǐng)求 設(shè)計(jì)目標(biāo)： 適用性 可擴(kuò)展性 高可用性 簡(jiǎn)單性 數(shù)據(jù)模型 (row, column, timestamp) cell contents 基本架構(gòu) Google File System(GFS) BigTable MapReduce 數(shù)據(jù)處理的兩個(gè)階段 Map: (in_key, in_value) (keyj, valuej) | j = 1 k Reduce: (key, value1, valuem) (key, f_value) D a t a s t o r e 1 D a t a s t o r e nm a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )m a p( k e y 1 , v a l u e s . . . )( k e y 2 , v a l u e s . . . )( k e y 3 , v a l u e s . . . )I n p u t k e y * v a l u e p a i r sI n p u t k e y * v a l u e p a i r s= = B a r r i e r = = : A g g r e g a t e s i n t e r m e d i a t e v a l u e s b y o u t p u t k e yr e d u c e r e d u c e r e d u c ek e y 1 , i n t e r m e d i a t e v a l u e sk e y 2 , i n t e r m e d i a t e v a l u e sk e y 3 , i n t e r m e d i a t e v a l u e sf i n a l k e y 1 v a l u e sf i n a l k e y 2 v a l u e sf i n a l k e y 3 v a l u e s. . . 為什么使用 Dynamo？ 半結(jié)構(gòu)化數(shù)據(jù)：購(gòu)物車(chē)、信息會(huì)話管理和推薦商品列表 數(shù)據(jù)處理方式：簡(jiǎn)單的讀取、寫(xiě)入，簡(jiǎn)單的 鍵值 方式存儲(chǔ) 實(shí)現(xiàn)： 位 的形式存儲(chǔ)，處理所有的數(shù)據(jù)類(lèi)型 應(yīng)用： S3構(gòu)建在 Dynamo之上， SimpleDB也極有可能 問(wèn)題 相關(guān)技術(shù) 數(shù)據(jù)均衡分布 改進(jìn)的一致性哈希算法 數(shù)據(jù)沖突處理 向量時(shí)鐘 臨時(shí)故障處理 數(shù)據(jù)回傳、弱 quorum機(jī)制 永久故障手的恢復(fù) Merkle哈希樹(shù) 成員資格以及錯(cuò)誤檢測(cè) 基于 gossip的成員資格協(xié)議和錯(cuò)誤檢測(cè) 一致性哈希算法 臨時(shí)性故障處理機(jī)制 弱 quorum機(jī)制（ W,R,N）和數(shù)據(jù)回傳 永久性故障后的恢復(fù) Merkle哈希樹(shù) Gossip協(xié)議 錯(cuò)誤檢測(cè) 失效停傳 定期檢測(cè) 新節(jié)點(diǎn) A 種子節(jié)點(diǎn) B C 新節(jié)點(diǎn) 亞馬遜機(jī)器映像（ AMI） 實(shí)例（ Instance） 彈性塊存儲(chǔ)塊（ EBS） 區(qū)域（ Zone） 通信機(jī)制 安全及容錯(cuò)機(jī)制 三個(gè)概念： 對(duì)象、鍵、桶 基本操作： Get、 Put、 List、 Delete和 Head 操作對(duì)象 Get Put List Delete Head 桶 獲取桶中對(duì)象 創(chuàng)建或更新桶 列出桶中所有鍵 刪除桶 無(wú) 對(duì)象 獲取對(duì)象數(shù)據(jù)和元數(shù)據(jù) 創(chuàng)建或更新對(duì)象 無(wú) 刪除對(duì)象 獲取對(duì)象元數(shù)據(jù) 身份認(rèn)證 基于 HMAC-SHA1的數(shù)字簽名方式 Access Key ID， Secret Access Key，服務(wù)請(qǐng)求字符串 訪問(wèn)控制 三類(lèi)用戶（ owner、 user、 group） 五類(lèi)訪問(wèn)權(quán)限（ Read， Write， Read_ACP, Write_ACP, FULL_CONTROL） 屬性 1 屬性 2 條目 1 值 值 條目 2 值 值 屬性 1 屬性 2 條目 1 值 值 條目 2 值 值 域 1 域 2 用戶賬戶 域 3 基本部分：系統(tǒng)組件、消息、隊(duì)列 內(nèi)容推送服務(wù) CloudFront 電子商務(wù)服務(wù) DevPay和 FPS 簡(jiǎn)單支付服務(wù) Simple Pay 土耳其機(jī)器人 Alexa Web服務(wù) 開(kāi)源云計(jì)算系統(tǒng) 商用云計(jì)算系統(tǒng) Hadoop HDFS Google GFS Hadoop MapReduce Google MapReduce Hadoop Hbase Google Bigtable Hadoop ZooKeeper Google Chubby Hadoop Pig Google Sawzall Eucalyptus、 Nimbus Amazon EC2 Eucalyptus Amazon S3 Sector and Sphere 無(wú) Abiquo 無(wú) MongoDB 無(wú) 設(shè)計(jì)前提與目標(biāo) 硬件錯(cuò)誤是常態(tài)而不是異常 流式數(shù)據(jù)訪問(wèn) 大規(guī)模數(shù)據(jù)集 簡(jiǎn)單一致性模型 移動(dòng)計(jì)算比移動(dòng)數(shù)據(jù)更劃算 異構(gòu)軟硬件平臺(tái)間的可移植性 冗余備份 副本存放 心跳檢測(cè) 安全模式 數(shù)據(jù)完整性檢測(cè) 空間回收 元數(shù)據(jù)磁盤(pán)失效 快照 副本選擇 負(fù)載均衡 客戶端緩存 流水線復(fù)制 邏輯模型：分治的策略 實(shí)現(xiàn)機(jī)制 分布式并行計(jì)算 本地計(jì)算 任務(wù)粒度 連接（ combine） 分區(qū)（ partition） 讀取中間結(jié)果 任務(wù)管道 邏輯模型 基本類(lèi)型：行關(guān)鍵字、時(shí)間戳和列 行關(guān)鍵字 時(shí)間戳 列content 列 anchor 列mime “n.www” t9 anchor: CNN t8 anchor:my.look.ca t6 . text/html t5 . t3 . 物理模型：行分割，列存儲(chǔ) 行關(guān)鍵字 時(shí)間戳 列 contents n.www t6 . t5 . t3 . 行關(guān)鍵字 時(shí)間戳 列 anchor n.www t9 anchor: CNN t8 anchor:my.look.ca 行關(guān)鍵字 時(shí)間戳 列 mime n.www t6 text/html 子表服務(wù)器 Hmemcache,Hstore,Hlog 主服務(wù)器 子服務(wù)器連接超時(shí) 元數(shù)據(jù)表 映射關(guān)系 根子表（ ROOT Table） 開(kāi)發(fā)目的 為研究人員提供一個(gè)云計(jì)算研究平臺(tái) 設(shè)計(jì)原則 可移植性 模塊化 體系結(jié)構(gòu) 可擴(kuò)展性 非侵入 工程目標(biāo)：可擴(kuò)展性和非入侵 GAE AWS Hadoop 提供服務(wù)類(lèi)型 PaaS IaaS、 PaaS、SaaS PaaS 服務(wù)間的關(guān)聯(lián)度 耦合度高 耦合度低 耦合度低 虛擬化技術(shù) 未使用 Xen 未使用 運(yùn)行環(huán)境 云端 云端 云端 支持編程