虛擬存儲容器視頻

虛擬存儲容器2一、前言所謂的虛擬存儲可以理解為把數(shù)據(jù)存放在通常由第三方托管的多臺虛擬服務(wù)器，而非專屬的服務(wù)器上，以此來滿足數(shù)據(jù)存儲的需求。是指將多個不同類型、獨立存在的物理存儲體，通過軟、硬件技術(shù)，集成轉(zhuǎn)化為一個邏輯上的虛擬的存儲單元，集中管理供用戶統(tǒng)一使用。這個虛擬邏輯存儲單元的存儲容量是它所集中管理的各物理存儲體的存儲量的總和，而它具有的訪問帶寬則在一定程度上接近各個物理存儲體的訪問帶寬之和。3目前虛擬存儲的發(fā)展尚無統(tǒng)一標準，從虛擬化存儲的拓撲結(jié)構(gòu)來講主要有兩種方式：即對稱式與非對稱式。對稱式虛擬存儲技術(shù)是指虛擬存儲控制設(shè)備與存儲軟件系統(tǒng)、交換設(shè)備集成為一個整體，內(nèi)嵌在網(wǎng)絡(luò)數(shù)據(jù)傳輸路徑中；非對稱式虛擬存儲技術(shù)是指虛擬存儲控制設(shè)備獨立于數(shù)據(jù)傳輸路徑之外。從虛擬化存儲的實現(xiàn)原理來講也有兩種方式；即數(shù)據(jù)塊虛擬與虛擬文件系統(tǒng)。一、前言41、swift對象存儲Swift最初是由Rackspace公司開發(fā)的高可用分布式對象存儲服務(wù)，并于2010年貢獻給OpenStack開源社區(qū)作為其最初的核心子項目之一，為其Nova子項目提供虛機鏡像存儲服務(wù)。Swift構(gòu)筑在比較便宜的標準硬件存儲基礎(chǔ)設(shè)施之上，無需采用RAID(磁盤冗余陣列)，通過在軟件層面引入一致性散列技術(shù)和數(shù)據(jù)冗余性，犧牲一定程度的數(shù)據(jù)致性來達到高可用性和可伸縮性，支持多租戶模式、容器和對象讀寫操作，適合解決互聯(lián)網(wǎng)的應(yīng)用場景下非結(jié)構(gòu)化數(shù)據(jù)存儲問題。

此項目是基于Python開發(fā)的，采用Apache2.0許可協(xié)議，可用來開發(fā)商用系統(tǒng)。5基本原理一致性散列(ConsistentHashing)

面對海量級別的對象，需要存放在成千上萬臺服務(wù)器和硬盤設(shè)備上，首先要解決尋址問題，即如何將對象分布到這些設(shè)備地址上。Swift是基于一致性散列技術(shù)，通過計算可將對象均勻分布到虛擬空間的虛擬節(jié)點上，在增加或刪除節(jié)點時可大大減少需移動的數(shù)據(jù)量;虛擬空間大小通常采用2的n次冪，便于進行高效的移位操作;然后通過獨特的數(shù)據(jù)結(jié)構(gòu)Ring(環(huán))再將虛擬節(jié)點映射到實際的物理存儲設(shè)備上，完成尋址過程。67如圖中所示，以逆時針方向遞增的散列空間有4個字節(jié)長共32位，整數(shù)范圍是[0232-1];將散列結(jié)果右移m位，可產(chǎn)生232-m個虛擬節(jié)點，例如m=29時可產(chǎn)生8個虛擬節(jié)點。在實際部署的時候需要經(jīng)過仔細計算得到合適的虛擬節(jié)點數(shù)，以達到存儲空間和工作負載之間的平衡。8數(shù)據(jù)一致性模型(ConsistencyModel)

按照EricBrewer的CAP(Consistency,Availability,PartitionTolerance)理論，無法同時滿足3個方面，Swift放棄嚴格一致性(滿足ACID)事務(wù)級別)，而采用最終一致性模型(EventualConsistency)，來達到高可用性和無限水平擴展能力。為了實現(xiàn)這一個目標，Swift采用Quorum仲裁協(xié)議(Qurorum有法定投票人數(shù)的含義):(1)定義:N:數(shù)據(jù)的副本總數(shù);W:寫操作被確認接受的副本數(shù)量;R:讀操作的副本數(shù)量9(2)強一致性:R+W>N，以保證對副本的讀寫操作會產(chǎn)生交集，從而保證可以讀取到最新版本;如果W=N,R=1,則需要全部更新，適合大量讀少量寫操作場景下的強一致性;如果R=N,W=1,則只更新一個副本，通過讀取全部副本來得到最新版本，適合大量寫少量讀場景下的強一致性。(3)弱一致性:R+W<=N,如果讀寫操作的副本集合不產(chǎn)生交集，就可能會讀到臟數(shù)據(jù);適合對一致性要求比較低的場景。10Swift針對的是讀寫都比較頻繁的場景，所以采用了比較折中的策略，即寫操作需要滿足至少一半以上成功W>N/2,再保證讀操作與寫操作的副本集合至少產(chǎn)生-個交集，即R+W>N。Swift默認配置是N=3，W=2>N/2,R=1或2,即每個對象會存在3個副本，這些副本會盡量被存儲在不同區(qū)域的節(jié)點上;W=2表示至少需要更新2個副本才算寫成功;當R=1時意味著某一個讀操作成功便立刻返回，此種情況下可能會讀取到舊版本(弱-致性模型);當R=2時，需要通過在讀操作請求頭中增加newest=true參數(shù)來同時讀取2個副本的元數(shù)據(jù)信息，然后比較時間戳來確定哪個是最新版本(強一致性模型);如