云存儲(chǔ)技術(shù)及及規(guī)范0810

1、云存儲(chǔ)技術(shù)規(guī)范 上海電信互聯(lián)網(wǎng)部2010年7月總則編寫(xiě)目的為了更好的推進(jìn)網(wǎng)盤(pán)項(xiàng)目招標(biāo)和工程規(guī)范實(shí)施，特此編寫(xiě)此技術(shù)規(guī)范，對(duì)系統(tǒng)的各個(gè)特性和性能要求提出具體要求，起到規(guī)范統(tǒng)一的作用。建設(shè)背景和目標(biāo)隨著互聯(lián)網(wǎng)的急速發(fā)展和非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長(zhǎng)，公眾對(duì)高效，快速，分布式存儲(chǔ)提出了更高的要求。中國(guó)電信云存儲(chǔ)方案基于這個(gè)需求被提出來(lái)。適用范圍中國(guó)電信云存儲(chǔ)項(xiàng)目起草單位中國(guó)電信股份有限公司上海分公司互聯(lián)網(wǎng)部解釋權(quán)中國(guó)電信股份有限公司上海分公司互聯(lián)網(wǎng)部術(shù)語(yǔ)解釋參考文獻(xiàn)設(shè)計(jì)要求及使用條件總體設(shè)計(jì)要求要求系統(tǒng)部署合理，提供完善的網(wǎng)絡(luò)硬盤(pán)服務(wù)，提供完善的開(kāi)發(fā)接口，提供及時(shí)有效的售后服務(wù)。使用條件滿(mǎn)足一般條件下的

2、使用條件。技術(shù)要求及規(guī)范平臺(tái)架構(gòu)按照解耦和，多模塊的觀點(diǎn)，要求系統(tǒng)各個(gè)模塊結(jié)構(gòu)清晰，功能相對(duì)獨(dú)立，便于維護(hù)和升級(jí)。架構(gòu)圖可以參考如下的模型（圖）： = 3 * GB3 = 3 * GB3 = 1 * GB3 = 2 * GB3 （圖）圖詳解： = 1 * GB3 存儲(chǔ)業(yè)務(wù)作為磁盤(pán)空間，為中國(guó)電信內(nèi)部自有業(yè)務(wù)提供存儲(chǔ)支撐； = 2 * GB3 存儲(chǔ)業(yè)務(wù)為公眾用戶(hù)（主要是中國(guó)電信客戶(hù)）提供豐富的個(gè)人存儲(chǔ)產(chǎn)品和服務(wù)； = 3 * GB3 云存儲(chǔ)系統(tǒng)必須提供豐富的業(yè)務(wù)接口，以支持開(kāi)發(fā)豐富的上層應(yīng)用。組網(wǎng)結(jié)構(gòu)按照分布式的組網(wǎng)需求，并充分使用中國(guó)電信骨干網(wǎng)絡(luò)，要求全國(guó)云存儲(chǔ)采取分點(diǎn)組網(wǎng)，快速連接。整個(gè)組網(wǎng)

3、結(jié)構(gòu)，請(qǐng)參考如下圖（圖）：（圖）功能性要求基礎(chǔ)存儲(chǔ)服務(wù)云存儲(chǔ)管理平臺(tái)提供基礎(chǔ)的存儲(chǔ)資源池，將多個(gè)物理設(shè)備上的存儲(chǔ)資源虛擬為統(tǒng)一的存儲(chǔ)資源池，供上層使用。存儲(chǔ)管理設(shè)備管理：通過(guò)查詢(xún)域內(nèi)所有設(shè)備的磁盤(pán)、CPU、內(nèi)存、電源、風(fēng)扇、網(wǎng)口等信息。讓用戶(hù)實(shí)時(shí)了解域內(nèi)設(shè)備運(yùn)行信息，運(yùn)行狀態(tài)，從而可以操控設(shè)備；同時(shí)及時(shí)了解運(yùn)行有誤的設(shè)備，有必要可以采取適當(dāng)措施保證其正常運(yùn)行。資源管理：用戶(hù)可以方便的了解云存儲(chǔ)系統(tǒng)的各個(gè)節(jié)點(diǎn)的服務(wù)情況，包括MDS的主備、 MDSOSN的容量和性能（讀IOPS、寫(xiě)IOPS、讀流量、寫(xiě)流量）等信息，讓用戶(hù)實(shí)時(shí)了解域內(nèi)資源信息，運(yùn)行狀態(tài)，從而可以操控這些資源；同時(shí)及時(shí)了解資源的異常，

4、有必要可以采取適當(dāng)措施保證其正常運(yùn)行。策略管理云存儲(chǔ)平臺(tái)提供靈活的存儲(chǔ)策略，包括文件的副本數(shù)量、異地存儲(chǔ)、加密存儲(chǔ)、壓縮存儲(chǔ)、同步或異步存儲(chǔ)。可以對(duì)用戶(hù)不同目錄設(shè)置不同的存儲(chǔ)策略。多租戶(hù)管理云存儲(chǔ)平臺(tái)要求能支持對(duì)多租戶(hù)的管理，可以為每個(gè)租戶(hù)設(shè)定存儲(chǔ)空間、存儲(chǔ)帶寬、存儲(chǔ)策略、用戶(hù)數(shù)。租戶(hù)可以設(shè)置管理子租戶(hù)和孫租戶(hù)，形成目錄樹(shù)結(jié)構(gòu)。統(tǒng)計(jì)報(bào)表云存儲(chǔ)管理平臺(tái)提供統(tǒng)計(jì)報(bào)表接口，能夠完成用戶(hù)存儲(chǔ)容量、存儲(chǔ)數(shù)據(jù)訪問(wèn)量等數(shù)據(jù)的統(tǒng)計(jì)多線程支持云存儲(chǔ)管理平臺(tái)提供的接口支持多線程及斷點(diǎn)續(xù)傳上傳下載文件。跨數(shù)據(jù)中心部署云存儲(chǔ)管理平臺(tái)要求支持跨數(shù)據(jù)中心的部署和管理，并支持跨數(shù)據(jù)中心的用戶(hù)訪問(wèn)調(diào)度、數(shù)據(jù)遷移、數(shù)據(jù)異地存儲(chǔ)

5、備份等功能。支持集中管理，云存儲(chǔ)管理平臺(tái)部署在全國(guó)中心機(jī)房，存儲(chǔ)節(jié)點(diǎn)可以部署在全國(guó)各機(jī)房中，管理平臺(tái)對(duì)分點(diǎn)機(jī)房的存儲(chǔ)設(shè)備可以統(tǒng)一管理調(diào)度。數(shù)據(jù)寫(xiě)多份云存儲(chǔ)平臺(tái)要求能夠針對(duì)不同應(yīng)用或用戶(hù)的可靠性和性能需求，靈活設(shè)置文件存儲(chǔ)的副本數(shù)。在滿(mǎn)足數(shù)據(jù)可靠性要求（要求支持同時(shí)壞任意兩塊磁盤(pán)數(shù)據(jù)不丟失）和讀寫(xiě)性能要求的前提下，盡量提高存儲(chǔ)空間利用效率，降低存儲(chǔ)成本。分級(jí)安全服務(wù)傳輸安全云存儲(chǔ)系統(tǒng)采用HTTPS（Secure Hypertext Transfer Protocol）安全超文本傳輸協(xié)議，是以安全為目標(biāo)的HTTP通道，簡(jiǎn)單講是HTTP的安全版。Https:URL表明它使用了HTTP，但HTTPS存

6、在不同于HTTP的默認(rèn)端口及一個(gè)加密/身份驗(yàn)證層（在HTTP與TCP之間）。這個(gè)系統(tǒng)提供了身份驗(yàn)證與加密通訊方法，目前廣泛用于萬(wàn)維網(wǎng)上安全敏感的通訊，例如交易支付方面。云存儲(chǔ)提供的業(yè)務(wù)接口及管理接口都基于Https，從而保證數(shù)據(jù)的在傳輸層的安全。存儲(chǔ)安全云存儲(chǔ)系統(tǒng)在數(shù)據(jù)存儲(chǔ)時(shí)，根據(jù)條帶策略，將用戶(hù)數(shù)據(jù)根據(jù)側(cè)錄進(jìn)行分條，根據(jù)條帶策略決定每個(gè)分條的大小，數(shù)據(jù)分條的存儲(chǔ)物理位置等。數(shù)據(jù)的所有分條及布局信息是元數(shù)據(jù)的一部分內(nèi)容，由元數(shù)據(jù)節(jié)點(diǎn)統(tǒng)一管理。即使任何一個(gè)磁盤(pán)、一個(gè)云存儲(chǔ)節(jié)點(diǎn)被盜或被入侵。都無(wú)法得知具體的數(shù)據(jù)內(nèi)容。入侵者無(wú)法將零散的數(shù)據(jù)恢復(fù)成完整的數(shù)據(jù)內(nèi)容。從而保證數(shù)據(jù)在存儲(chǔ)過(guò)程中的安全。保證數(shù)

7、據(jù)在存儲(chǔ)過(guò)程中不被竊取。支持用戶(hù)指定的目錄和文件加密存儲(chǔ)。用戶(hù)和權(quán)限控制云存儲(chǔ)系統(tǒng)對(duì)每份數(shù)據(jù)都提供豐富的訪問(wèn)控制策略策略，對(duì)數(shù)據(jù)的所有操作都會(huì)進(jìn)行權(quán)限檢查。訪問(wèn)控制策略包括：用戶(hù)和權(quán)限。內(nèi)容搜索支持按關(guān)鍵字搜索文件名和文件內(nèi)容。離線下載關(guān)機(jī)后也可以雇傭服務(wù)器下載，支持HTTP多線程下載。維護(hù)管理設(shè)備管理、系統(tǒng)監(jiān)控、日志、節(jié)點(diǎn)管理、域管理、異地災(zāi)備、負(fù)載均衡等等基礎(chǔ)存儲(chǔ)服務(wù)應(yīng)用接入接口云存儲(chǔ)管理平臺(tái)提供基于HTTP（SOAP/REST）的應(yīng)用接入接口，包括對(duì)用戶(hù)所有資源的操作接口、用戶(hù)容器、用戶(hù)數(shù)據(jù)的操作、數(shù)據(jù)訪問(wèn)控制和權(quán)限的接口。云存儲(chǔ)管理平臺(tái)提供資源分配、空間使用、空間回收等管理接口。資源統(tǒng)

8、計(jì)接口云存儲(chǔ)管理平臺(tái)提供基于用戶(hù)的存儲(chǔ)資源使用情況相關(guān)接口，滿(mǎn)足計(jì)費(fèi)要求。具體包括：用戶(hù)使用空間的統(tǒng)計(jì)、用戶(hù)上傳下載的數(shù)據(jù)流量統(tǒng)計(jì)、用戶(hù)上傳下載的次數(shù)統(tǒng)計(jì)等。擴(kuò)展性要求考慮到后期擴(kuò)容的需求，對(duì)系統(tǒng)擴(kuò)展性的要求十分重要。主要體現(xiàn)在以下幾個(gè)方面：可以實(shí)時(shí)對(duì)容量進(jìn)行擴(kuò)充和升級(jí)；支持磁盤(pán)的熱插拔，新增的資源可以立即被平臺(tái)辨識(shí)，管理和分配；最低要求可以同時(shí)更換兩塊壞磁盤(pán)，更換上的新磁盤(pán)自動(dòng)進(jìn)行數(shù)據(jù)填充修復(fù)，以保持?jǐn)?shù)據(jù)完整性、一致性；新增磁盤(pán)空間要對(duì)磁盤(pán)的總體負(fù)載要起到良好的均衡作用；支持新增空間的主動(dòng)和被動(dòng)的數(shù)據(jù)備份作用。容量要求為了提供優(yōu)秀的讀取速度，穩(wěn)定的數(shù)據(jù)存儲(chǔ)性能，對(duì)云存儲(chǔ)系統(tǒng)的整體容量和最小容

9、量提出要求，具體如下：整體支持級(jí)的存儲(chǔ)能力，具有快速部署一個(gè)的能力；最小磁盤(pán)支持1TB(7200rmp)；整個(gè)云存儲(chǔ)平臺(tái)最大存儲(chǔ)能力要求達(dá)到30PB以上；性能要求云存儲(chǔ)平臺(tái)的吞吐能力要求能夠隨著存儲(chǔ)能力的增長(zhǎng)而線性增長(zhǎng)；要求能夠通過(guò)調(diào)整云存儲(chǔ)平臺(tái)的硬件配置，靈活調(diào)整吞吐能力與存儲(chǔ)能力的比率，以適應(yīng)業(yè)務(wù)變化對(duì)平臺(tái)能力的要求；要求支持客戶(hù)端多線程并發(fā)上傳下載文件，提供訪問(wèn)速度；要求支持大文件分片存儲(chǔ)在多個(gè)存儲(chǔ)節(jié)點(diǎn)，各存儲(chǔ)節(jié)點(diǎn)能夠完成對(duì)各分片的并發(fā)讀寫(xiě)能力，提高大文件的訪問(wèn)速度；可靠性要求云存儲(chǔ)一旦投入運(yùn)作，是全年不斷電無(wú)休系統(tǒng)，需要確保高度的可靠性。具體要求以下幾點(diǎn)：全年不下電，不停機(jī)，不閃斷；出

10、現(xiàn)故障及時(shí)進(jìn)行告警（聲音、燈閃），告警分等級(jí)，界面可見(jiàn)，具有詳細(xì)說(shuō)明和修復(fù)手段提示；要求有raid保護(hù)機(jī)制，在用戶(hù)數(shù)據(jù)寫(xiě)單份的情況下，要求數(shù)據(jù)訪問(wèn)的可靠性達(dá)到%，即對(duì)單個(gè)存儲(chǔ)節(jié)點(diǎn)要求：可訪問(wèn)時(shí)長(zhǎng)/全年時(shí)長(zhǎng) = 要求用戶(hù)數(shù)據(jù)可靠性可靈活配置，支持設(shè)置用戶(hù)數(shù)據(jù)的副本數(shù)、是否異地存放，向用戶(hù)提供不同級(jí)別的可靠性保護(hù)；要求任意兩塊磁盤(pán)或單個(gè)存儲(chǔ)節(jié)點(diǎn)損壞，不會(huì)導(dǎo)致用戶(hù)數(shù)據(jù)丟失；要求任意磁盤(pán)或存儲(chǔ)節(jié)點(diǎn)故障，不影響云存儲(chǔ)平臺(tái)其他設(shè)備的正常使用和用戶(hù)訪問(wèn)。安全性要求硬件安全性硬件安全性是指硬件在安裝、調(diào)試、維護(hù)、更新等環(huán)節(jié)，對(duì)人員和環(huán)境是安全的，具體體現(xiàn)在以下幾點(diǎn)：產(chǎn)品電位接地，防止觸電事故；尺寸、規(guī)格、形狀

11、合理，以免傾斜倒伏，碰撞；產(chǎn)品材質(zhì)耐溫，散熱；明確警示觸電、有毒害、或其它危險(xiǎn)發(fā)生的可能；系統(tǒng)安全性系統(tǒng)安全性主要體現(xiàn)在：強(qiáng)有力的加密手段和管理策略，確保管理員賬戶(hù)的安全性；采取設(shè)置防火墻等手段，防止來(lái)自公網(wǎng)的破壞；對(duì)于大規(guī)模訪問(wèn)量，異常訪問(wèn)等情況進(jìn)行監(jiān)控；強(qiáng)大的系統(tǒng)管理能力，提供簡(jiǎn)潔，高效，互動(dòng)良好的GUI界面進(jìn)行系統(tǒng)配置，這些配置項(xiàng)應(yīng)該包括（但不局限于）以下一些屬性：管理，監(jiān)視，控制硬件資源；管理網(wǎng)絡(luò)資源（IP分配和服務(wù)）；管理每個(gè)結(jié)點(diǎn)（node）上運(yùn)行的軟件；配置每個(gè)結(jié)點(diǎn)服務(wù)均衡；控制整體行為；設(shè)置異?；蚬收系母婢?；釋放結(jié)點(diǎn)或系統(tǒng)的資源。數(shù)據(jù)安全性數(shù)據(jù)安全性，指用戶(hù)存放的數(shù)據(jù)不可被非法訪

12、問(wèn)、復(fù)制、修改等，具體如下：提供加密接口，對(duì)用戶(hù)數(shù)據(jù)進(jìn)行加密；基于角色的數(shù)據(jù)保護(hù)策略：級(jí)別職責(zé)備注安全管理員1系統(tǒng)初始安裝，創(chuàng)建賬戶(hù)，分配/刪除系統(tǒng)管理員賬戶(hù)系統(tǒng)新建時(shí)默認(rèn)的管理員，對(duì)“系統(tǒng)管理員”進(jìn)行授權(quán)系統(tǒng)管理員2管理整個(gè)云存儲(chǔ)系統(tǒng)：網(wǎng)段，存儲(chǔ)群和節(jié)點(diǎn)；更換壞盤(pán)和硬件；對(duì)“租戶(hù)管理員”進(jìn)行授權(quán)租戶(hù)管理員3在給定的空間內(nèi)進(jìn)行策略配置，User ID分配等工作；對(duì)“子租戶(hù)管理員”進(jìn)行授權(quán)子租戶(hù)管理員4在給定的空間內(nèi)創(chuàng)建用戶(hù)，重構(gòu)策略;無(wú) 策略化數(shù)據(jù)管理，管理員通過(guò)可視化界面，進(jìn)行策略配置，從而實(shí)現(xiàn)諸如：創(chuàng)建不同的策略等級(jí)（金牌，銀牌，銅牌）；配置不同的用戶(hù)對(duì)應(yīng)不同的服務(wù)等級(jí)，或者同一用戶(hù)的不同

13、數(shù)據(jù)對(duì)象擁有不同的服務(wù)等級(jí)；同步副本和異步副本數(shù)目策略配置，副本壓縮，選擇存儲(chǔ)地的權(quán)限 采取冗余手段和版本管理，實(shí)現(xiàn)數(shù)據(jù)恢復(fù)和災(zāi)難備份：副本種類(lèi)定義屬性備注同步副本數(shù)據(jù)對(duì)象的一個(gè)完全拷貝每個(gè)數(shù)據(jù)對(duì)象都有至少一個(gè)同步副本同步副本數(shù)量，副本間距離，網(wǎng)絡(luò)連接情況等都影響響應(yīng)速度異步副本基于某種策略的數(shù)據(jù)備份“盡最大努力”進(jìn)行數(shù)據(jù)恢復(fù)系統(tǒng)自動(dòng)進(jìn)行異步副本的更新，以保持?jǐn)?shù)據(jù)一致磁盤(pán)利用率磁盤(pán)利用率指磁盤(pán)在提供數(shù)據(jù)冗余備份功能的前提下，能提供的實(shí)際裸存儲(chǔ)空間占總空間的比例，該指標(biāo)反應(yīng)系統(tǒng)的有效利用率，對(duì)投入產(chǎn)出比具有重要的參考意義。參考目前主流的技術(shù)指標(biāo)，要求云存儲(chǔ)提供65%的磁盤(pán)利用率。AA：可以被系統(tǒng)

14、管理的空間B：系統(tǒng)自行耗用的空間（數(shù)據(jù)恢復(fù)，系統(tǒng)文件等）B：系統(tǒng)自行耗用的空間（數(shù)據(jù)恢復(fù)，系統(tǒng)文件等）要求：A/(A+B) 65%要求支持重復(fù)數(shù)據(jù)刪除技術(shù)，通過(guò)刪除重復(fù)數(shù)據(jù)，進(jìn)一步提高存儲(chǔ)空間利用效率。維護(hù)與升級(jí)保障隨著未來(lái)硬件技術(shù)和服務(wù)質(zhì)量的提升，考慮到產(chǎn)品有較長(zhǎng)的生命周期，故在此單獨(dú)提出對(duì)維護(hù)和升級(jí)保障方面的要求：?jiǎn)蝹€(gè)磁盤(pán)損壞或故障時(shí)需使用新磁盤(pán)替換，系統(tǒng)需在4小時(shí)之內(nèi)恢復(fù)數(shù)據(jù)到新替換的磁盤(pán)；單個(gè)存儲(chǔ)節(jié)點(diǎn)損壞或故障，需在24小時(shí)內(nèi)解決并恢復(fù)用戶(hù)訪問(wèn)當(dāng)存儲(chǔ)空間使用率達(dá)到一定額度時(shí)，需對(duì)存儲(chǔ)擴(kuò)容，存儲(chǔ)擴(kuò)容工作從提出到完成上線，需在2個(gè)月之內(nèi)完成。工程實(shí)施的質(zhì)量、安全，效率有保障；主動(dòng)發(fā)現(xiàn)運(yùn)行中出現(xiàn)的隱形問(wèn)題和風(fēng)險(xiǎn)，