第8章 OpenStack開源虛擬化平臺(四)

電子工業(yè)出版社《云計算(第三版)》配套課件云計算（第三版）CLOUDCOMPUTINGThirdEdition主編：劉鵬教授第8章OpenStack開源虛擬化平臺(四)本套PPT下載地址：/list.aspx?cid=20云計算的紅寶書書籍購買地址：/item.html?itemID=1469775685&p=-1微信掃描二維碼關(guān)注云計算頭條電子工業(yè)出版社《云計算(第三版)》配套課件（包郵且有劉鵬教授親筆簽名）教授、博導(dǎo)、學(xué)科帶頭人，清華大學(xué)博士?，F(xiàn)任中國云計算專家咨詢委員會秘書長、中國信息協(xié)會大數(shù)據(jù)分會副會長、工業(yè)與信息化部云計算研究中心專家。主持完成科研項目25項，發(fā)表論文80余篇，出版專業(yè)書籍15本。獲部級科技進步二等獎4項、三等獎4項。主編了國內(nèi)第一本云計算教材《云計算》和第一本云計算編程書籍《實戰(zhàn)Hadoop》。創(chuàng)辦了知名的中國云計算（）和中國大數(shù)據(jù)（）網(wǎng)站。曾率隊奪得2002PennySort國際計算機排序比賽冠軍，兩次奪得全國高?？萍急荣愖罡擢?，并三次奪得清華大學(xué)科技比賽最高獎。榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省“333高層次人才培養(yǎng)工程”中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱號。劉鵬8.3對象存儲服務(wù)Swift8.3.1Swift特性8.3.2應(yīng)用場景8.3.3Swift主要組件8.3.4Swift基本原理8.3.5實例分析Swift的算法和存儲理論并不復(fù)雜主要有以下幾個概念68.3對象存儲服務(wù)Swift數(shù)據(jù)一致性模型（ConsistencyModel）為了實現(xiàn)這一目標(biāo)，Swift采用Quorum仲裁協(xié)議N為數(shù)據(jù)的副本總數(shù)W為寫操作被確認接受的副本數(shù)量R為讀操作的副本數(shù)量（2）強一致性：強一致性R+W>N，以保證對副本的讀寫操作會產(chǎn)生交集，從而保證可以讀取到最新版本弱一致性R+W<=N，如果讀寫操作的副本集合不產(chǎn)生交集，就可能會讀到臟數(shù)據(jù)78.3對象存儲服務(wù)Swift數(shù)據(jù)一致性模型（ConsistencyModel）寫操作讀操作v2v2v1YYNY？88.3對象存儲服務(wù)Swift一致性散列（ConsistentHashing）P0P1P2P3P4P5P6P7散列空間（0,232-1）位移量m=29（0,2m-1）（2m,2m+1-1）右移m位對象鍵散列函數(shù)虛擬節(jié)點將散列結(jié)果右移m位，可產(chǎn)生232-m個虛擬節(jié)點，例如m=29時可產(chǎn)生8個虛擬節(jié)點。98.3對象存儲服務(wù)Swift數(shù)據(jù)模型AccountAAccountBAccountCContainer1Container2Container1Container2Container1Container2葉子節(jié)點Account賬戶Container容器Object對象租戶，用來做頂層的隔離機制代表封裝一組對象，類似文件夾或目錄由元數(shù)據(jù)和內(nèi)容兩部分組成108.3對象存儲服務(wù)Swift環(huán)的數(shù)據(jù)結(jié)構(gòu)（2）分區(qū)到設(shè)備映射關(guān)系環(huán)是為了將虛擬節(jié)點（分區(qū)）映射到一組物理存儲設(shè)備上，并提供一定的冗余度而設(shè)計的，其數(shù)據(jù)結(jié)構(gòu)由以下信息組成。（1）存儲設(shè)備列表、設(shè)備信息包括唯一標(biāo)識號（id）、區(qū)域號（zone）、權(quán)重（weight）、IP地址（ip）、端口（port）、設(shè)備名稱（device）、元數(shù)據(jù)（metadata）（3）計算分區(qū)號的位移replica2part2dev_id數(shù)組part_shift整數(shù)118.3對象存儲服務(wù)Swift環(huán)的數(shù)據(jù)結(jié)構(gòu)P0d0d8d16P1d1d9d17P2d2d10d18P3d3d11d19…………P7d7d15d23設(shè)備編號列表分區(qū)到設(shè)備映射z1z2z3z4z5設(shè)備與區(qū)域映射（存在設(shè)備信息里）分區(qū)000向右移除分區(qū)索引MD5散列賬戶名/容器名/對象名區(qū)域128.3對象存儲服務(wù)SwiftReplica如果集群中的數(shù)據(jù)在本地節(jié)點上只有一份，一旦發(fā)生故障就可能會造成數(shù)據(jù)的永久性丟失。因此，需要有冗余的副本來保證數(shù)據(jù)安全。Swift中引入了Replica的概念，其默認值為3，理論依據(jù)主要來源于NWR策略（也叫Quorum協(xié)議）。138.3對象存儲服務(wù)SwiftReplica一種在分布式存儲系統(tǒng)中用于控制一致性級別的策略。在Amazon的Dynamo云存儲系統(tǒng)中，使用了NWR來控制一致性。NWR代表同一份數(shù)據(jù)的Replica的份數(shù)更新一個數(shù)據(jù)對象時需要確保成功更新的份數(shù)代表讀取一個數(shù)據(jù)需要讀取的Replica的份數(shù)148.3對象存儲服務(wù)SwiftReplica公式W+R>N，保證某個數(shù)據(jù)不被兩個不同的事務(wù)同時讀和寫，公式W>N/2保證兩個事務(wù)不能并發(fā)寫某一個數(shù)據(jù)。N12345非常危險比較危險N>2，N越大，成本越高工業(yè)界通常把N設(shè)置為3Swift的N=3、W=2、R=2，完全符合NWR策略，Swift系統(tǒng)是可靠的，沒有單點故障。158.3對象存儲服務(wù)SwiftZone如果所有的節(jié)點都在一個機架或一個機房中，那么一旦發(fā)生斷電、網(wǎng)絡(luò)故障等事故，都將導(dǎo)致用戶無法訪問需要一種機制對機器的物理位置進行隔離，以滿足分區(qū)容忍性Ring中引入了Zone的概念，把集群的節(jié)點分配到每個Zone中，其中，同一個Partition的Replica不能同時放在同一個節(jié)點上或同一個Zone內(nèi)。168.3對象存儲服務(wù)SwiftWeight權(quán)重Ring引入權(quán)重的目的是解決未來添加存儲能力更大的節(jié)點時，分配到更多的Partition。例如，2TB容量的節(jié)點的Partition數(shù)為1TB的兩倍，那么就可以設(shè)置2TB的權(quán)重為200，而1TB的權(quán)重為100。178.3對象存儲服務(wù)Swift系統(tǒng)架構(gòu)完全對稱面向資源組件可擴展非阻塞式I/O模式系統(tǒng)架構(gòu)認證服務(wù)節(jié)點代理節(jié)點緩存服務(wù)ObjectRingAccountRingControllerContainerRing對象服務(wù)容器服務(wù)賬戶服務(wù)ObjectFileContainerDBAccountDBEventualconsistencyObjectUpdaterObjectReplicatorObjectAuditorContainerUpdaterContainerReplicatorContainerAuditorAccountUpdaterAccountReplicatorAccountAuditorEventualconsistencyIntegritycheckingSwiftAPI8.3對象存儲服務(wù)Swift8.3.1Swift特性8.3.2應(yīng)用場景8.3.3Swift主要組件8.3.4Swift基本原理8.3.5實例分析208.3對象存儲服務(wù)Swift實例分析Proxy

serverObjectServerContainerServerAccountServerProxy

serverObjectServerContainerServerAccountServerProxy

serverObjectServerContainerServerAccountServerProxy

serverObjectServerContainerServerAccountServerZone1Zone2Zone3Zone4負載均衡器CET.abc.pngPUT.abc.png8.1OpenStack背景介紹8.2計算服務(wù)Nova8.3對象存儲服務(wù)Swift8.4鏡像服務(wù)Glance228.4鏡像服務(wù)GlanceGlance提供了一個虛擬磁盤鏡像的目錄和存儲倉庫，并且可以提供對虛擬機鏡像的存儲和檢索。這些磁盤鏡像常常廣泛應(yīng)用于OpenStackCompute組件之中。三種形式加以配置利用OpenStack對象存儲機制來存儲鏡像利用Amazon的簡單存儲解決方案（簡稱S3）直接存儲信息將S3存儲與對象存儲結(jié)合起來，作為S3訪問的連接器8.4鏡像服務(wù)Glance8.4.1Glance的作用8.4.2Glance的組成部分248.4鏡像服務(wù)GlanceGlance的作用Glance作為OpenStack的虛擬機的Image（鏡像）服務(wù)，提供了一系列的RESTAPI，用來管理、查詢虛擬機的鏡像，它支持多種后端存儲介質(zhì)可以看出，通過Glance，Opentack的3個模塊被鏈接成了一個整體，Glance為Nova提供鏡像的查找操作，而Swift又為Glance提供實際的存儲服務(wù)，Swift可以看成Glacne存儲接口的一個具體實現(xiàn)。NovaGlanceSwiftGlance在整個OpenStack項目中的角色定位8.4鏡像服務(wù)Glance8.4.1Glance的作用8.4.2Glance的組成部分268.4鏡像服務(wù)GlanceGlance的組成部分APIServerRegistryServer主要用來接受各種API調(diào)用請求，并提供相應(yīng)的操作。用來和MySQL數(shù)據(jù)庫進行交互，存儲或者獲取鏡像的元數(shù)據(jù)。OpenStackImageService（Glance）278.4鏡像服務(wù)GlanceGlance的組成部分OpenStackObjectStorageFileSystemS3HTTP它是OpenStack中高可用的對象存儲項目。OpenStackImageService存儲虛擬機鏡像的默認后端是后端文件系統(tǒng)。該后端允許OpenStackImageService存儲虛擬機鏡像在AmazonS3服務(wù)中。OpenStackImageService能通過HTTP在Internet上讀取可用的虛擬機鏡像。288.4鏡像服務(wù)GlanceGlance的組成部分Glance-apiGlance-registryNova-computeDatabaseSwiftorS31．OpenStack是什么？2．總結(jié)OpenStack的主要組件及其功能。3．請根據(jù)學(xué)過的知識總結(jié)一下各服務(wù)模塊之間如何協(xié)同工作。4．請通過學(xué)過的知識概括一下OpenStack與AWS的異同。習(xí)題：百度排名首位的大數(shù)據(jù)資料和交流中心百度排名首位的云計算資料和交流中心終生免費的智能硬件大數(shù)據(jù)托管平臺掃一掃，進入萬物云終生免費的環(huán)境大數(shù)據(jù)共享平臺掃一掃，進入環(huán)境云云創(chuàng)大數(shù)據(jù)

給您一步到位的解決方案！高校Hadoop教學(xué)科研一攬子解決方案云計算、大數(shù)據(jù)時代，社會亟需相關(guān)人才！而高校缺平臺、缺人才、缺經(jīng)驗！怎么辦？

建設(shè)一個Hadoop實驗平臺一套開源的Hadoop一體機和開發(fā)環(huán)境，詳細的指導(dǎo)書籍和實驗設(shè)計。

培養(yǎng)一支云計算師資隊伍來自云計算高手的系列培訓(xùn)，

早在2010年就培訓(xùn)了全國第一批云計算師資力量。

營造一個大數(shù)據(jù)科研環(huán)境為科研提供技術(shù)支持，與大數(shù)據(jù)應(yīng)用相結(jié)合，讓科研邁上新臺階。了解詳情學(xué)習(xí)云計算必須關(guān)注的公眾號知名微信公眾號推薦劉鵬看未來云計算頭條云創(chuàng)大數(shù)據(jù)中國大數(shù)據(jù)微信號：chinacloudnj微信號：cstorbigdata資源豐富、分析深入、更新及時的