云存儲(chǔ)技術(shù)規(guī)范0810

1、云存儲(chǔ)技術(shù)規(guī)范0810“ CHINA TELECOM云存儲(chǔ)技術(shù)規(guī)范上海電信互聯(lián)網(wǎng)部2010年7月1、總則1.1 編寫目的為了更好的推進(jìn)網(wǎng)盤項(xiàng)目招標(biāo)和工程規(guī)范實(shí)施，特此編寫此技術(shù)規(guī)范， 對(duì)系統(tǒng)的各個(gè)特性和性能要求提出具體要求，起到規(guī)范統(tǒng)一的作用。1.2 建設(shè)背景和目標(biāo)隨著互聯(lián)網(wǎng)的急速發(fā)展和非結(jié)構(gòu)化數(shù)據(jù)的爆炸性增長(zhǎng)，公眾對(duì)高效，快 速，分布式存儲(chǔ)提出了更高的要求。中國(guó)電信云存儲(chǔ)方案基于這個(gè)需求 被提出來(lái)。1.3 適用范圍中國(guó)電信云存儲(chǔ)項(xiàng)目1.4 起草單位中國(guó)電信股份有限公司上海分公司互聯(lián)網(wǎng)部1.5 解釋權(quán)中國(guó)電信股份有限公司上海分公司互聯(lián)網(wǎng)部1.6 術(shù)語(yǔ)解釋1.7 參考文獻(xiàn)1.8 設(shè)計(jì)要求及使用條

2、件1.3.1 總體設(shè)計(jì)要求要求系統(tǒng)部署合理，提供完善的網(wǎng)絡(luò)硬盤服務(wù)，提供完善的開發(fā)接口，提供 及時(shí)有效的售后服務(wù)。1.3.2 使用條件滿足一般條件下的使用條件。2、技術(shù)要求及規(guī)范2.1平臺(tái)架構(gòu)按照解耦和，多模塊的觀點(diǎn)，要求系統(tǒng)各個(gè)模塊結(jié)構(gòu)清晰，功能相對(duì)獨(dú)立, 便于維護(hù)和升級(jí)。架構(gòu)圖可以參考如下的模型（圖3 1 ）:全國(guó)網(wǎng)盤平臺(tái)邏輯結(jié)構(gòu)圖1加郵箱3卜HG ，吟川迨一3 盤芬臺(tái) 網(wǎng)業(yè)平愛音樂(lè)足溟空間上他用筲砰 認(rèn)證計(jì)在 統(tǒng)計(jì)日志離線F段共享好發(fā)空間管理應(yīng)用管理比卜認(rèn)證度II產(chǎn)品管理數(shù)據(jù)存垠樓口其他應(yīng)用系統(tǒng)HTTP CSOAP REST）接口、NFS C1FETOSIX接口文件管理11應(yīng)用管理| J

3、安全管理11配置管理| |調(diào)度卷份11內(nèi)容索引云存儲(chǔ)管理平臺(tái)網(wǎng)就1 1云存儲(chǔ)資源池訪問(wèn)檢制接IJ據(jù)存取粽II（圖 3 1 ）圖詳解： 存儲(chǔ)業(yè)務(wù)作為磁盤空間，為中國(guó)電信內(nèi)部自有業(yè)務(wù)提供存儲(chǔ)支撐； 存儲(chǔ)業(yè)務(wù)為公眾用戶（主要是中國(guó)電信客戶）提供豐富的個(gè)人存儲(chǔ)產(chǎn)品 和服務(wù)； 云存儲(chǔ)系統(tǒng)必須提供豐富的業(yè)務(wù)接口，以支持開發(fā)豐富的上層應(yīng)用。2.2組網(wǎng)結(jié)構(gòu)按照分布式的組網(wǎng)需求，并充分使用中國(guó)電信CN2骨干網(wǎng)絡(luò)，要求全國(guó)云 存儲(chǔ)采取分點(diǎn)組網(wǎng)，快速連接。整個(gè)組網(wǎng)結(jié)構(gòu)，請(qǐng)參考如下圖（圖3 2 ）:51廣州機(jī)舟成箱磯格2.3功能性要求2.3.1基礎(chǔ)存儲(chǔ)服務(wù)2.3.2存儲(chǔ)管理云存儲(chǔ)管理平臺(tái)提供基礎(chǔ)的存儲(chǔ)資源池，將多個(gè)物

4、理設(shè)備上的存儲(chǔ)資源虛擬為統(tǒng)一的存儲(chǔ)資源池，供上層使用設(shè)備管理：通過(guò)查詢域內(nèi)所有設(shè)備的磁盤、CPU內(nèi)存、電源、風(fēng)扇、網(wǎng)口等信息。讓用戶實(shí)時(shí)了解域內(nèi)設(shè)備運(yùn)行信息，運(yùn)行狀態(tài)，從而可以操控設(shè)備;同時(shí)及時(shí)了解運(yùn)行有誤的設(shè)備，有必要可以采取適當(dāng)措施保證其正常運(yùn)行資源管理：用戶可以方便的了解云存儲(chǔ)系統(tǒng)的各個(gè)節(jié)點(diǎn)的服務(wù)情況，包括-慟陽(yáng)岫：京札歷哥州用戶&»IF |0E蕈陽(yáng)明機(jī)等MDS勺主備、MDSOSN勺容量和Tt能（讀IOPS 寫IOPS 讀流量、寫流量）等信息，讓用戶實(shí)時(shí)了解域內(nèi)資源信息，運(yùn)行狀態(tài)，從而可以操控這些資源；同 時(shí)及時(shí)了解資源的異常，有必要可以采取適當(dāng)措施保證其正常運(yùn)行。1.

5、1.3 策略管理云存儲(chǔ)平臺(tái)提供靈活的存儲(chǔ)策略，包括文件的副本數(shù)量、異地存儲(chǔ)、加密存儲(chǔ)、 壓縮存儲(chǔ)、同步或異步存儲(chǔ)?？梢詫?duì)用戶不同目錄設(shè)置不同的存儲(chǔ)策略。1.1.4 多租戶管理云存儲(chǔ)平臺(tái)要求能支持對(duì)多租戶的管理，可以為每個(gè)租戶設(shè)定存儲(chǔ)空間、存儲(chǔ) 帶寬、存儲(chǔ)策略、用戶數(shù)。租戶可以設(shè)置管理子租戶和孫租戶，形成目錄樹結(jié) 構(gòu)。1.1.5 統(tǒng)計(jì)報(bào)表云存儲(chǔ)管理平臺(tái)提供統(tǒng)計(jì)報(bào)表接口， 能夠完成用戶存儲(chǔ)容量、存儲(chǔ)數(shù)據(jù)訪問(wèn) 量等數(shù)據(jù)的統(tǒng)計(jì)1.1.6 多線程支持云存儲(chǔ)管理平臺(tái)提供的接口支持多線程及斷點(diǎn)續(xù)傳上傳下載文件。1.1.7 跨數(shù)據(jù)中心部署云存儲(chǔ)管理平臺(tái)要求支持跨數(shù)據(jù)中心的部署和管理，并支持跨數(shù)據(jù)中心的用戶訪問(wèn)

6、調(diào)度、數(shù)據(jù)遷移、數(shù)據(jù)異地存儲(chǔ)備份等功能。支持集中管理，云存儲(chǔ)管理平臺(tái)部署在全國(guó)中心機(jī)房， 存儲(chǔ)節(jié)點(diǎn)可以部署在 全國(guó)各機(jī)房中，管理平臺(tái)對(duì)分點(diǎn)機(jī)房的存儲(chǔ)設(shè)備可以統(tǒng)一管理調(diào)度。1.1.8 數(shù)據(jù)寫多份云存儲(chǔ)平臺(tái)要求能夠針對(duì)不同應(yīng)用或用戶的可靠性和性能需求，靈活設(shè)置文 件存儲(chǔ)的副本數(shù)。在滿足數(shù)據(jù)可靠性要求（要求支持同時(shí)壞任意兩塊磁盤數(shù)據(jù) 不丟失）和讀寫性能要求的前提下，盡量提高存儲(chǔ)空間利用效率，降低存儲(chǔ)成 本。1.1.9 分級(jí)安全服務(wù)傳輸安全云存儲(chǔ)系統(tǒng)采用 HTTPS（ Secure Hypertext Transfer Protocol ）安全超文 本傳輸協(xié)議，是以安全為目標(biāo)的HTTP!道，簡(jiǎn)單講是H

7、TTP的安全版。Https:URL 表明它使用了 HTTP ! HTTPS#在不同于HTTP的默認(rèn)端口及一個(gè)加密/身份驗(yàn) 證層（在HTTP與TCP之間）。這個(gè)系統(tǒng)提供了身份驗(yàn)證與加密通訊方法，目前 廣泛用于萬(wàn)維網(wǎng)上安全敏感的通訊，例如交易支付方面。云存儲(chǔ)提供的業(yè)務(wù)接 口及管理接口都基于Https ,從而保證數(shù)據(jù)的在傳輸層的安全。存儲(chǔ)安全云存儲(chǔ)系統(tǒng)在數(shù)據(jù)存儲(chǔ)時(shí)，根據(jù)條帶策略，將用戶數(shù)據(jù)根據(jù)側(cè)錄進(jìn)行分條， 根據(jù)條帶策略決定每個(gè)分條的大小，數(shù)據(jù)分條的存儲(chǔ)物理位置等。數(shù)據(jù)的所有 分條及布局信息是元數(shù)據(jù)的一部分內(nèi)容，由元數(shù)據(jù)節(jié)點(diǎn)統(tǒng)一管理。即使任何一 個(gè)磁盤、一個(gè)云存儲(chǔ)節(jié)點(diǎn)被盜或被入侵。都無(wú)法得知具體的數(shù)

8、據(jù)內(nèi)容。入侵者 無(wú)法將零散的數(shù)據(jù)恢復(fù)成完整的數(shù)據(jù)內(nèi)容。從而保證數(shù)據(jù)在存儲(chǔ)過(guò)程中的安全。 保證數(shù)據(jù)在存儲(chǔ)過(guò)程中不被竊取。支持用戶指定的目錄和文件加密存儲(chǔ)。用戶和權(quán)限控制云存儲(chǔ)系統(tǒng)對(duì)每份數(shù)據(jù)都提供豐富的訪問(wèn)控制策略策略，對(duì)數(shù)據(jù)的所有操作 都會(huì)進(jìn)行權(quán)限檢查。訪問(wèn)控制策略包括：用戶和權(quán)限。1.1.10 內(nèi)容搜索支持按關(guān)鍵字搜索文件名和文件內(nèi)容。1.1.11 離線下載關(guān)機(jī)后也可以雇傭服務(wù)器下載，支持 HTTP多線程下載。1.1.12 維護(hù)管理設(shè)備管理、系統(tǒng)監(jiān)控、日志、節(jié)點(diǎn)管理、域管理、異地災(zāi)備、負(fù)載均衡等等基 礎(chǔ)存儲(chǔ)服務(wù)1.1.13 應(yīng)用接入接口云存儲(chǔ)管理平臺(tái)提供基于 HTTP(SOAP/REST的應(yīng)用

9、接入接口，包括對(duì)用戶 所有資源的操作接口、用戶容器、用戶數(shù)據(jù)的操作、數(shù)據(jù)訪問(wèn)控制和權(quán)限的接 口。云存儲(chǔ)管理平臺(tái)提供資源分配、空間使用、空間回收等管理接口。1.1.14 資源統(tǒng)計(jì)接口云存儲(chǔ)管理平臺(tái)提供基于用戶的存儲(chǔ)資源使用情況相關(guān)接口，滿足計(jì)費(fèi)要求。 具體包括：用戶使用空間的統(tǒng)計(jì)、用戶上傳下載的數(shù)據(jù)流量統(tǒng)計(jì)、用戶上傳下 載的次數(shù)統(tǒng)計(jì)等。2.4 擴(kuò)展性要求考慮到后期擴(kuò)容的需求，對(duì)系統(tǒng)擴(kuò)展性的要求十分重要。主要體現(xiàn)在以下幾 個(gè)方面：(1)可以實(shí)時(shí)對(duì)容量進(jìn)行擴(kuò)充和升級(jí)；(2)支持磁盤的熱插拔，新增的資源可以立即被平臺(tái)辨識(shí)， 管理和分配；(3)最低要求可以同時(shí)更換兩塊壞磁盤，更換上的新磁盤自 動(dòng)進(jìn)行數(shù)據(jù)

10、填充修復(fù)，以保持?jǐn)?shù)據(jù)完整性、一致性；(4 )新增磁盤空間要對(duì)磁盤的總體負(fù)載要起到良好的均衡作 用；(5)支持新增空間的主動(dòng)和被動(dòng)的數(shù)據(jù)備份作用。2.5 容量要求為了提供優(yōu)秀的讀取速度，穩(wěn)定的數(shù)據(jù)存儲(chǔ)性能，對(duì)云存儲(chǔ)系統(tǒng)的整體容量 和最小容量提出要求，具體如下：(1 )整體支持P B級(jí)的存儲(chǔ)能力，具有快速部署一個(gè)P B的 能力；(2 ) 最小磁盤支持 仃B(7200rmp);(3)整個(gè)云存儲(chǔ)平臺(tái)最大存儲(chǔ)能力要求達(dá)到 30PB以上；2.6 性能要求(1)云存儲(chǔ)平臺(tái)的吞吐能力要求能夠隨著存儲(chǔ)能力的增長(zhǎng)而 線性增長(zhǎng)；(2)要求能夠通過(guò)調(diào)整云存儲(chǔ)平臺(tái)的硬件配置，靈活調(diào)整吞 吐能力與存儲(chǔ)能力的比率，以適應(yīng)業(yè)

11、務(wù)變化對(duì)平臺(tái)能力的要求；(3)要求支持客戶端多線程并發(fā)上傳下載文件，提供訪問(wèn)速 度；(4)要求支持大文件分片存儲(chǔ)在多個(gè)存儲(chǔ)節(jié)點(diǎn)，各存儲(chǔ)節(jié)點(diǎn) 能夠完成對(duì)各分片的并發(fā)讀寫能力，提高大文件的訪問(wèn)速度；2.7 可靠性要求云存儲(chǔ)一旦投入運(yùn)作，是全年不斷電無(wú)休系統(tǒng)，需要確保高度的可靠性。具 體要求以下幾點(diǎn)：(1)全年不下電，不停機(jī)，不閃斷;(2)出現(xiàn)故障及時(shí)進(jìn)行告警(聲音、燈閃)，告警分等級(jí)，界面可見，具有詳細(xì)說(shuō)明和修復(fù)手段提示；(3)要求有raid保護(hù)機(jī)制，在用戶數(shù)據(jù)寫單份的情況下，要 求數(shù)據(jù)訪問(wèn)的可靠性達(dá)到99.999%,即對(duì)單個(gè)存儲(chǔ)節(jié)點(diǎn)要求：可訪問(wèn)時(shí)長(zhǎng)/全年時(shí)長(zhǎng)=99.999 %(4)要求用戶數(shù)據(jù)可

12、靠性可靈活配置，支持設(shè)置用戶數(shù)據(jù)的副本數(shù)、是否異地存放，向用戶提供不同級(jí)別的可靠性保護(hù)；(5)要求任意兩塊磁盤或單個(gè)存儲(chǔ)節(jié)點(diǎn)損壞，不會(huì)導(dǎo)致用戶 數(shù)據(jù)丟失；(6)要求任意磁盤或存儲(chǔ)節(jié)點(diǎn)故障，不影響云存儲(chǔ)平臺(tái)其他 設(shè)備的正常使用和用戶訪問(wèn)。2.8 安全性要求2.3.1硬件安全性硬件安全性是指硬件在安裝、調(diào)試、維護(hù)、更新等環(huán)節(jié)，對(duì)人員和環(huán)境是安 全的，具體體現(xiàn)在以下幾點(diǎn)：(1) 產(chǎn)品電位接地，防止觸電事故；(2) 尺寸、規(guī)格、形狀合理，以免傾斜倒伏，碰撞；(3) 產(chǎn)品材質(zhì)耐溫，散熱；(4) 明確警示觸電、有毒害、或其它危險(xiǎn)發(fā)生的可能；2.3.2系統(tǒng)安全性系統(tǒng)安全性主要體現(xiàn)在：(1)強(qiáng)有力的加密手段和

13、管理策略，確保管理員賬戶的安全性；(2)采取設(shè)置防火墻等手段，防止來(lái)自公網(wǎng)的破壞；(3 )對(duì)于大規(guī)模訪問(wèn)量，異常訪問(wèn)等情況進(jìn)行監(jiān)控；(4)強(qiáng)大的系統(tǒng)管理能力，提供簡(jiǎn)潔，高效，互動(dòng)良好的GUI界面進(jìn)行系統(tǒng)配置，這些配置項(xiàng)應(yīng)該包括(但不局限于)以下一些屬 性：管理，監(jiān)視，控制硬件資源；管理網(wǎng)絡(luò)資源(IP分配和服務(wù))；管理每個(gè)結(jié)點(diǎn)(node)上運(yùn)行的軟件；配置每個(gè)結(jié)點(diǎn)服務(wù)均衡；控制整體行為；設(shè)置異?；蚬收系母婢会尫沤Y(jié)點(diǎn)或系統(tǒng)的資源。2.3.3數(shù)據(jù)安全性數(shù)據(jù)安全性，指用戶存放的數(shù)據(jù)不可被非法訪問(wèn)、 復(fù)制、修改等，具體如下：(1) 提供加密接口，對(duì)用戶數(shù)據(jù)進(jìn)行加密；(2) 基于角色的數(shù)據(jù)保護(hù)策略：角

14、色級(jí) 別職責(zé)備注安 1 系統(tǒng)初始安裝，創(chuàng)系統(tǒng)新建時(shí)默認(rèn)全 建賬戶，分配/刪除 的管理員，對(duì)“系管系統(tǒng)管理員賬戶統(tǒng)管理員”進(jìn)行理授權(quán)員系 2 管理整個(gè)云存儲(chǔ)系對(duì)“租戶管理員”統(tǒng)統(tǒng)：網(wǎng)段，存儲(chǔ)群進(jìn)行授權(quán)管和節(jié)點(diǎn)；更換壞盤理和硬件；員租 3 在給定的空間內(nèi)進(jìn)對(duì)“子租戶管理戶行策略配置，User員”進(jìn)行授權(quán)管ID分配等工作；理員子 4 在給定的空間內(nèi)創(chuàng)無(wú)租 建用戶，重構(gòu)策略；戶管理員(3) 策略化數(shù)據(jù)管理，管理員通過(guò)可視化界面，進(jìn)行策略配置，從而實(shí)現(xiàn)諸如：創(chuàng)建不同的策略等級(jí)(金牌，銀牌，銅牌)；配置不同的用戶對(duì)應(yīng)不同的服務(wù)等級(jí)，或者同一用戶的 不同數(shù)據(jù)對(duì)象擁有不同的服務(wù)等級(jí)；同步副本和異步副本數(shù)目策略

15、配置， 副本壓縮，選擇存儲(chǔ)地的權(quán) 限(4 )采取冗余手段和版本管理，實(shí)現(xiàn)數(shù)據(jù)恢復(fù)和災(zāi)難備份：副本種類定義屬性備注同步副本數(shù)據(jù)對(duì)象 的一個(gè)完 全拷貝每個(gè)數(shù)據(jù)對(duì)象都有至少一個(gè)同步副本同步副本數(shù)量，副本間跑離，網(wǎng) 絡(luò)連接情況等都影響響應(yīng)速度異步副本基于某種 策略的數(shù) 據(jù)備份“盡最大努力”進(jìn)行數(shù)據(jù)恢復(fù)系統(tǒng)自動(dòng)進(jìn)行異步副本的更新， 以保持?jǐn)?shù)據(jù)f2.9 磁盤利用率磁盤利用率指磁盤在提供數(shù)據(jù)冗余備份功能的前提下，能提供的實(shí)際裸存儲(chǔ) 空間占總空間的比例，該指標(biāo)反應(yīng)系統(tǒng)的有效利用率，對(duì)投入產(chǎn)出比具有重 要的參考意義。參考目前主流的技術(shù)指標(biāo)，要求云存儲(chǔ)提供方65%勺磁盤利用率。A:可以被系B B:系統(tǒng)自行耗用的空間(數(shù)要求：A/(A+B) > 65%要求支持重復(fù)數(shù)據(jù)刪除技術(shù)，通過(guò)刪除重復(fù)數(shù)據(jù)，進(jìn)一步提高存儲(chǔ)空間利用 效率。2.10 維護(hù)與升級(jí)保障隨著未來(lái)硬件技術(shù)和服務(wù)質(zhì)量的提升，考慮到產(chǎn)品有較長(zhǎng)的生命周期， 故在此單獨(dú)提出對(duì)維護(hù)和升級(jí)保障方面的要求：(1) 單個(gè)磁盤損壞或故障時(shí)需使用新磁盤替換，系統(tǒng)需在4小時(shí)之內(nèi)恢復(fù)數(shù)據(jù)到新替換的磁盤；(2 )單個(gè)存儲(chǔ)節(jié)點(diǎn)損壞或故障，需在 24小時(shí)內(nèi)解決并恢復(fù)用戶訪問(wèn)(3)當(dāng)存儲(chǔ)空間使用率達(dá)到一定額度時(shí)，需對(duì)存儲(chǔ)擴(kuò)容，存儲(chǔ)擴(kuò)容工作從提出到完成上線，需在2個(gè)月之內(nèi)完成。(4) 工程實(shí)施的質(zhì)量、安全，效率有保障；(5 ) 主動(dòng)發(fā)現(xiàn)運(yùn)行中出現(xiàn)的隱