云存儲(chǔ)基礎(chǔ)架構(gòu)剖析

1、云存儲(chǔ)基礎(chǔ)架構(gòu)剖析以目前數(shù)據(jù)增長(zhǎng)的速度來(lái)看，云存儲(chǔ)越來(lái)越流行不足為奇。增長(zhǎng)速度最快的數(shù)據(jù)是歸檔數(shù)據(jù)，鑒于很多因素它是云存儲(chǔ)的理想之選，這些因素包括成本、訪問(wèn)頻率、保護(hù)和可用性。但是并非所有云存儲(chǔ)都是相同的。一家提供商可能主要關(guān)注于成本，而另一家提供商關(guān)注于可用性或性能。沒(méi)有一個(gè)架構(gòu)具有單一側(cè)重點(diǎn)，但是一個(gè)架構(gòu)實(shí)現(xiàn)給定特征的程度定義了其市場(chǎng)和適當(dāng)?shù)氖褂媚Ｐ?。不從效用角度談?wù)摷軜?gòu)是很難的。我的意思是，通過(guò)各種特征度量一個(gè)架構(gòu)，包括成本、性能、遠(yuǎn)程訪問(wèn)，等等。因此，我首先定義一組可度量云存儲(chǔ)模型的標(biāo)準(zhǔn)，然后探究云存儲(chǔ)架構(gòu)內(nèi)的一些有趣的實(shí)現(xiàn)。首先，我們討論一個(gè)通用的云存儲(chǔ)架構(gòu)，設(shè)置上下文以供后面探究獨(dú)

2、特的架構(gòu)特性。通用架構(gòu)云存儲(chǔ)架構(gòu)主要關(guān)乎以一個(gè)高度可擴(kuò)展和多租戶的方式按需交付存儲(chǔ)。通用（參見(jiàn) 圖 1）的云存儲(chǔ)架構(gòu)包含一個(gè)導(dǎo)出 API 以訪問(wèn)存儲(chǔ)的前端。在傳統(tǒng)的存儲(chǔ)系統(tǒng)中，這個(gè) API 是 SCSI 協(xié)議；但是在云環(huán)境中，這些協(xié)議在演化。在那里您可以找到 Web 服務(wù)前端、基于文件的前端，甚至更多傳統(tǒng)前端（比如 Internet SCSI 或 iSCSI）。在前端后面是一個(gè)中間件層，我將它稱(chēng)作存儲(chǔ)邏輯。該層通過(guò)傳統(tǒng)的數(shù)據(jù)放置算法（考慮地理布局）實(shí)現(xiàn)各種功能，比如復(fù)制和數(shù)據(jù)簡(jiǎn)縮。最后，后端實(shí)現(xiàn)對(duì)數(shù)據(jù)的物理存儲(chǔ)。這可能是一個(gè)實(shí)現(xiàn)特定功能的內(nèi)部協(xié)議或物理磁盤(pán)的一個(gè)傳統(tǒng)后端。圖 1. 通

3、用的云存儲(chǔ)架構(gòu) 從圖 1 中，您可以看到當(dāng)前云存儲(chǔ)架構(gòu)的一些特征。注意，沒(méi)有特征在特定層中是獨(dú)有的，而是充當(dāng)本文探討的特定主題的指導(dǎo)。這些特征的定義見(jiàn) 表 1。表 1. 云存儲(chǔ)特征特征說(shuō)明可管理性以最少的資源管理系統(tǒng)的能力訪問(wèn)方法公開(kāi)云存儲(chǔ)所用的協(xié)議性能根據(jù)寬帶和延遲衡量的性能多租戶支持多個(gè)用戶（或承租者）可擴(kuò)展性通過(guò)擴(kuò)展?jié)M足更高要求或以得體的方式加載的能力數(shù)據(jù)可用性對(duì)一個(gè)系統(tǒng)的正常運(yùn)行時(shí)間的衡量控制控制系統(tǒng)的能力 特別是為成本、性能或其他特征進(jìn)行配置存儲(chǔ)效率度量如何高效使用原始存儲(chǔ)成本度量存儲(chǔ)成本（通常以美元每 GB 為單位）可管理性云存儲(chǔ)的一個(gè)重點(diǎn)是成本。如果客戶可以購(gòu)

4、買(mǎi)并在本地管理存儲(chǔ)，而不是在云中租賃它，那么云存儲(chǔ)市場(chǎng)就會(huì)消失。但是成本可劃分為兩個(gè)高級(jí)類(lèi)別：物理存儲(chǔ)生態(tài)系統(tǒng)本身的成本和管理它的成本。管理成本是隱式的，但卻是總體成本的一個(gè)長(zhǎng)期組成部分。為此，云存儲(chǔ)必須能在很大程度上進(jìn)行自我管理。引入新存儲(chǔ)（其中系統(tǒng)通過(guò)自動(dòng)自我配置來(lái)容納它）的能力和在出現(xiàn)錯(cuò)誤時(shí)查找和自我修復(fù)的能力很重要。在未來(lái)，諸如自主計(jì)算這樣的概念將在云存儲(chǔ)架構(gòu)中起到關(guān)鍵的作用。訪問(wèn)方法云存儲(chǔ)與傳統(tǒng)存儲(chǔ)之間最顯著的差異之一是其訪問(wèn)方法（參見(jiàn) 圖 2）。大部分提供商實(shí)現(xiàn)多個(gè)訪問(wèn)方法，但是 Web 服務(wù) APIs 是常見(jiàn)的。許多 APIs 是基于 REST 原則實(shí)現(xiàn)的，即在 HTT

5、P 之上開(kāi)發(fā)（使用 HTTP 進(jìn)行傳輸）的一種基于對(duì)象的方案。REST APIs 是無(wú)狀態(tài)的，因此可以簡(jiǎn)單而有效地予以提供。許多云存儲(chǔ)提供商實(shí)現(xiàn) REST APIs，包括 Amazon Simple Storage Service (Amazon S3)、Windows Azure 和 Mezeo Cloud Storage Platform。Web 服務(wù) APIs 的一個(gè)問(wèn)題是，它們需要與應(yīng)用程序集成，以利用云存儲(chǔ)。因此，對(duì)云存儲(chǔ)也使用常見(jiàn)的訪問(wèn)方法來(lái)提供即時(shí)集成。例如，NFS/Common Internet File System (CIFS) 或 FTP 等基于文件的協(xié)議，iSCSI 等

6、基于塊的協(xié)議。Nirvanix、Zetta 和 Cleversafe 等云存儲(chǔ)提供商提供這些訪問(wèn)方法。盡管上面提到的協(xié)議是最常用的，但也有適合云存儲(chǔ)的其他協(xié)議。最有趣的其中一個(gè)是基于 Web 的分布式創(chuàng)作與版本控制（WebDAV）。WebDAV 也基于 HTTP，且將 Web 作為一種可讀寫(xiě)的資源加以啟用。WebDAV 的提供商包括 Zetta 和 Cleversafe 等。圖 2. 云存儲(chǔ)訪問(wèn)方法  您還可以尋找支持多協(xié)議訪問(wèn)的解決方案。例如，IBM® Smart Business Storage Cloud 從同一存儲(chǔ)虛擬化架構(gòu)同時(shí)啟用基于文件（NFS 和 C

7、IFS）的協(xié)議和基于 SAN 的協(xié)議。性能性能表現(xiàn)為很多方面，但是在用戶與遠(yuǎn)程云存儲(chǔ)提供商之間移動(dòng)數(shù)據(jù)的能力是云存儲(chǔ)最大的挑戰(zhàn)。問(wèn)題就是 TCP，它同時(shí)也是互聯(lián)網(wǎng)的主力。TCP 基于數(shù)據(jù)包確認(rèn)從對(duì)等端點(diǎn)控制數(shù)據(jù)流。數(shù)據(jù)包丟失或延遲到達(dá)情況下將啟用阻塞控制，進(jìn)一步限制性能以避免更多全局網(wǎng)絡(luò)問(wèn)題。TCP 適用于通過(guò)全局 Internet 啟用小量數(shù)據(jù)，但不適用于會(huì)增加往返時(shí)間（RTT）的大型數(shù)據(jù)移動(dòng)。通過(guò) Aspera Software，Amazon 解決了這個(gè)問(wèn)題，方法就是從程式中刪除 TCP。且開(kāi)發(fā)了一個(gè)稱(chēng)為 Fast and Secure Protocol(FASP) 的新協(xié)議，以

8、在大型 RTT 和嚴(yán)重?cái)?shù)據(jù)包丟失情況下加速批量數(shù)據(jù)移動(dòng)。關(guān)鍵是 UDP 的使用，它是 TCP 的締約方傳輸協(xié)議。UDP 允許主機(jī)管理阻塞，將這個(gè)方面推進(jìn)到 FASP 的應(yīng)用層協(xié)議中（參見(jiàn) 圖 3）。圖 3. Aspera Software 上的 Fast and Secure Protocol  通過(guò)標(biāo)準(zhǔn)（非加速）NICs、FASP 有效使用應(yīng)用程序可用帶寬，并移除傳統(tǒng)的批量數(shù)據(jù)傳輸模式的基本瓶頸。參考資料 部分提供在傳統(tǒng) WAN、洲際傳輸和有損衛(wèi)星鏈接中 FASP 性能相關(guān)的一些有趣統(tǒng)計(jì)信息。多租戶云存儲(chǔ)架構(gòu)的一個(gè)關(guān)鍵特征稱(chēng)為多租戶。這只是表示存儲(chǔ)由多

9、個(gè)用戶（或多個(gè) “承租者”）使用。多租戶應(yīng)用于云存儲(chǔ)堆棧的多個(gè)層，從應(yīng)用層（其中存儲(chǔ)名稱(chēng)空間在用戶之間是隔離的）到存儲(chǔ)層（其中可以為特定用戶或用戶類(lèi)隔離物理存儲(chǔ)）。多租戶甚至適用于連接用戶與存儲(chǔ)的網(wǎng)絡(luò)基礎(chǔ)架構(gòu)，向特定用戶保證服務(wù)質(zhì)量和優(yōu)化帶寬。可擴(kuò)展性您可以從多個(gè)方面看待可擴(kuò)展性，但正是云存儲(chǔ)的隨需視圖使其最具吸引力。擴(kuò)展存儲(chǔ)需求（向上和向下）可改善用戶成本，提高云存儲(chǔ)提供商的復(fù)雜性。不僅要為存儲(chǔ)本身提供可擴(kuò)展性（功能擴(kuò)展），而且必須為存儲(chǔ)帶寬提供可擴(kuò)展性（負(fù)載擴(kuò)展）。云存儲(chǔ)的另一個(gè)關(guān)鍵特性是數(shù)據(jù)的地理分布（地理可擴(kuò)展性），支持經(jīng)由一組云存儲(chǔ)數(shù)據(jù)中心（通過(guò)遷移）使數(shù)據(jù)最接近于用戶。對(duì)于只讀數(shù)據(jù)

10、，也可以進(jìn)行復(fù)制和分布（使用內(nèi)容傳遞網(wǎng)絡(luò)完成）。這如 圖 4 所示。圖 4. 云存儲(chǔ)的可擴(kuò)展性 在內(nèi)部，一個(gè)云存儲(chǔ)架構(gòu)必須能夠擴(kuò)展。服務(wù)器和存儲(chǔ)必須能夠在不影響用戶的情況下重新調(diào)整大小。正如在 可管理性 部分所討論的，自主計(jì)算是云存儲(chǔ)架構(gòu)所必需的?？捎眯匀绻粋€(gè)云存儲(chǔ)供應(yīng)商有用戶的數(shù)據(jù)，它必須能夠應(yīng)求將該數(shù)據(jù)提供給用戶。鑒于網(wǎng)絡(luò)中斷、用戶錯(cuò)誤和其他情況，這很難以一種可靠而確定的方式予以提供。有一些有趣而新穎的方案可用于解決可用性，比如信息傳播。一家提供私有云存儲(chǔ)的公司 Cleversafe（稍后介紹）使用 Information Dispers

11、al Algorithm (IDA) 來(lái)在發(fā)生物理故障和網(wǎng)絡(luò)中斷的情況下實(shí)現(xiàn)更高的可用性。IDA 是由 Michael Rabin 最初為電信系統(tǒng)而創(chuàng)建的一種算法，它支持使用 Reed-Solomon 代碼對(duì)數(shù)據(jù)進(jìn)行切片處理，以便在數(shù)據(jù)丟失的情況下實(shí)現(xiàn)數(shù)據(jù)重建。此外，IDA 允許您配置數(shù)據(jù)切片的數(shù)量，這樣一來(lái)，可以為一個(gè)可接納故障將數(shù)據(jù)對(duì)象分割成 4 個(gè)切片，對(duì) 8 個(gè)可接納故障分割成 20 個(gè)切片。與 RAID 類(lèi)似，IDA 支持通過(guò)原始數(shù)據(jù)的子集重建數(shù)據(jù)，含有一定數(shù)量的代碼錯(cuò)誤開(kāi)銷(xiāo)（依賴(lài)于可接納故障的數(shù)量）。這如 圖 5 所示。圖 5. Cleversafe 用于最大化

12、數(shù)據(jù)可用性的方法  有了為數(shù)據(jù)切片的能力以及 cauchy Reed-Solomon 糾錯(cuò)碼，就可以將切片分發(fā)到地理上分散的站點(diǎn)進(jìn)行存儲(chǔ)。對(duì)于大量切片（p）和大量可接納故障（m），最終開(kāi)銷(xiāo)是 p/(p-m)。因此在 圖 5 中，p = 4 且 m = 1 的存儲(chǔ)系統(tǒng)的開(kāi)銷(xiāo)是is 33%。IDA 的缺點(diǎn)在于，它是處理密集型的，無(wú)硬件加速。復(fù)制是另一個(gè)有用的技術(shù)，且由各個(gè)云存儲(chǔ)提供商實(shí)現(xiàn)。盡管復(fù)制技術(shù)引入了大量開(kāi)銷(xiāo)（100%），但可以簡(jiǎn)單而高效地提供它。控制一名客戶控制和管理其數(shù)據(jù)存儲(chǔ)方式及其相關(guān)成本的能力很重要。許多

13、云存儲(chǔ)提供商實(shí)施控制，使用戶對(duì)其成本有更大的控制權(quán)。Amazon 實(shí)現(xiàn) Reduced Redundancy Storage (RRS)，為用戶提供最小化總存儲(chǔ)成本的一種方式。數(shù)據(jù)是在 Amazon S3 基礎(chǔ)架構(gòu)內(nèi)復(fù)制的，但使用 RRS，數(shù)據(jù)復(fù)制次數(shù)較少，且存在丟失數(shù)據(jù)的可能性。這適用于可重新創(chuàng)建的或在其他地方有副本的數(shù)據(jù)。Nirvanix 還提供基于策略的復(fù)制來(lái)對(duì)如何以及在何處存儲(chǔ)數(shù)據(jù)提供更細(xì)粒度的控制。效率存儲(chǔ)效率是云存儲(chǔ)基礎(chǔ)架構(gòu)的一個(gè)重要特征，特別是將重點(diǎn)放在總成本上。下一部分專(zhuān)門(mén)介紹成本，但是該特征更多地是關(guān)于對(duì)可用資源的高效使用，而非成本。要使一個(gè)存儲(chǔ)系統(tǒng)更高效，必須存儲(chǔ)更多數(shù)據(jù)。

14、一個(gè)常見(jiàn)的解決方案就是數(shù)據(jù)簡(jiǎn)縮，即通過(guò)減少源數(shù)據(jù)來(lái)降低物理空間需求。實(shí)現(xiàn)這一點(diǎn)的兩種方法包括壓縮  通過(guò)使用不同的表示編碼數(shù)據(jù)來(lái)縮減數(shù)據(jù) 和重復(fù)數(shù)據(jù)刪除  移除可能存在的相同的數(shù)據(jù)副本。雖然兩種方法都有用，但壓縮方法涉及到處理（重新編碼數(shù)據(jù)進(jìn)出基礎(chǔ)架構(gòu)），而重復(fù)數(shù)據(jù)刪除方法涉及到計(jì)算數(shù)據(jù)簽名以搜索副本。成本云存儲(chǔ)最顯著的特征之一是通過(guò)使用降低成本的能力。這包括購(gòu)置存儲(chǔ)的成本、驅(qū)動(dòng)存儲(chǔ)的成本、修復(fù)存儲(chǔ)的成本（當(dāng)驅(qū)動(dòng)器出現(xiàn)故障時(shí)）以及管理存儲(chǔ)的成本。在從這個(gè)角度（包括 SLAs 和增加存儲(chǔ)效率）看待云存儲(chǔ)時(shí)，云存儲(chǔ)在某些使用模型中會(huì)很有用。云存儲(chǔ)解決方案內(nèi)的一個(gè)有趣的使用高峰由

15、一個(gè)名為 Backblaze 的公司提供（參見(jiàn) 參考資料 了解詳情）。Backblaze 著手于為云存儲(chǔ)產(chǎn)品構(gòu)建廉價(jià)存儲(chǔ)。一個(gè) Backblaze POD（存儲(chǔ)架）在一個(gè) 4U 機(jī)箱中具有 67TB 的數(shù)據(jù)包，價(jià)格不到 8,000 美元。這個(gè)數(shù)據(jù)包含有一個(gè) 4U 機(jī)箱、一個(gè)主板、4GB 的 DRAM、4 個(gè) SATA 控制器、45 個(gè) 1.5TB SATA 硬盤(pán)和兩個(gè)電源。在主板上，Backblaze 運(yùn)行 Linux®（以 JFS 作為文件系統(tǒng)）且以 GbE NICs 作為前端，使用 HTTPS 和 Apache Tomcat。Backblaze 的軟件包括重復(fù)

16、數(shù)據(jù)刪除、加密功能和用于數(shù)據(jù)保護(hù)的 RAID6。Backblaze 對(duì)其 POD 的描述（詳細(xì)介紹如何構(gòu)建您自己的 POD）向您展示公司可以將存儲(chǔ)成本降低多大幅度，使云存儲(chǔ)成為一個(gè)可行且經(jīng)濟(jì)高效的選擇?；仨?yè)首云存儲(chǔ)模型到目前為止，我主要談?dòng)懥嗽拼鎯?chǔ)提供商，但是還有云存儲(chǔ)模型可支持用戶控制其數(shù)據(jù)。云存儲(chǔ)演化為三個(gè)類(lèi)別，其中一個(gè)支持合并兩個(gè)類(lèi)別，以提供一個(gè)經(jīng)濟(jì)高效而安全的選擇。本文大部分討論了公共云存儲(chǔ)提供商，它們將云存儲(chǔ)基礎(chǔ)架構(gòu)作為可出租商品予以提供（從長(zhǎng)期或短期存儲(chǔ)和基礎(chǔ)架構(gòu)內(nèi)使用的網(wǎng)絡(luò)帶寬角度來(lái)講）。私有云使用公共云存儲(chǔ)的概念，但是以可安全嵌入到用戶防火墻內(nèi)的形式。最后，混合云存儲(chǔ)支持合并這兩個(gè)模型，通過(guò)策略定義哪些數(shù)據(jù)必須私下維護(hù)，哪些可在公共云內(nèi)得到安全維護(hù)（參見(jiàn) 圖 6）。圖 6. 云存儲(chǔ)模型 云存儲(chǔ)模型如圖 6 所示。典型的公共云存儲(chǔ)供應(yīng)商包括 Amazon 和 Nirvanix（將存儲(chǔ)作為服務(wù)提供）。典型的私有云存儲(chǔ)提