云存儲(chǔ)平臺(tái)建設(shè)方案

1、云存儲(chǔ)平臺(tái)建設(shè)方案1.1.1.1云存儲(chǔ)簡(jiǎn)介cStor云存儲(chǔ)系統(tǒng)是xxxx技股份有限公司自主研發(fā)的高 科技產(chǎn)品，是一種軟件與硬件相結(jié)合的系統(tǒng)，其中專有技術(shù) 和軟件是高附加值部分。與目前國(guó)際上知名的云存儲(chǔ)技術(shù)相 比，具有低功耗、超高性價(jià)比、高可靠、通用、免維護(hù)的優(yōu) 勢(shì)，可以廣泛應(yīng)用于需要存儲(chǔ)大量數(shù)據(jù)的應(yīng)用場(chǎng)合，cStor 每個(gè)標(biāo)準(zhǔn)機(jī)架的最高容量可達(dá)1024TB以上，是國(guó)際最高水 平的3倍，擁有成本和運(yùn)營(yíng)成本都僅為同類產(chǎn)品的幾分之一。cStor系列產(chǎn)品存儲(chǔ)機(jī)柜1.1.1.2云存儲(chǔ)架構(gòu)設(shè)計(jì)存儲(chǔ)資源管理系統(tǒng)采用分布式的存儲(chǔ)機(jī)制，將數(shù)據(jù)分散 存儲(chǔ)在多臺(tái)獨(dú)立的存儲(chǔ)服務(wù)器上。它采用包括卷管理服務(wù) 器、元數(shù)據(jù)管

2、理服務(wù)器(Master Server).數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)服務(wù) 器(Chunk Server)和掛接訪問客戶端以及管理監(jiān)控中心服 務(wù)器的結(jié)構(gòu)構(gòu)成虛擬統(tǒng)一的海量存儲(chǔ)空間。在每個(gè)服務(wù)器節(jié) 點(diǎn)上運(yùn)行存儲(chǔ)資源管理系統(tǒng)相應(yīng)的軟件服務(wù)程序模塊，系統(tǒng) 架構(gòu)框圖如下：封據(jù)節(jié)點(diǎn)L解節(jié)點(diǎn)1數(shù)據(jù)節(jié)點(diǎn)L數(shù)據(jù)節(jié)是源節(jié)點(diǎn)?轍據(jù)節(jié)是數(shù)據(jù)節(jié)患解節(jié)點(diǎn)3數(shù)據(jù)節(jié)患數(shù)據(jù)節(jié)點(diǎn)JI醐節(jié)點(diǎn)M羚據(jù)節(jié)翩存儲(chǔ)資源管理系統(tǒng)架構(gòu)圖監(jiān)控中心11111玖郵窗里節(jié)點(diǎn)1主亓粉據(jù)管理節(jié)電Z1I玖螂葡里枝場(chǎng)1玖瞬船里節(jié)點(diǎn)11主頑據(jù)管理節(jié)點(diǎn)/k J1I玖麟留里節(jié)點(diǎn)主七占理服亍*主禪管理中亍*存俑空間度控程序狀戀監(jiān)控賜臉院空成暗監(jiān)控流量監(jiān)控全面吉警其中，Master S

3、erver保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)對(duì)整個(gè)文 件系統(tǒng)的管理，Master Server在邏輯上只有一個(gè)，但采用主 備雙機(jī)鏡像的方式，保證系統(tǒng)的不間斷服務(wù)；Chunk Server 負(fù)責(zé)具體的數(shù)據(jù)存儲(chǔ)工作，數(shù)據(jù)以文件的形式存儲(chǔ)在Chunk Server上，Chunk Server的個(gè)數(shù)可以有多個(gè)，它的數(shù)目直接 決定了存儲(chǔ)系統(tǒng)的規(guī)模；掛接訪問客戶端即為服務(wù)器對(duì)外提 供數(shù)據(jù)存儲(chǔ)和訪問服務(wù)的窗口，通常情況下，客戶端可以部 署在Chunk Server上，每一個(gè)塊數(shù)據(jù)服務(wù)器，既可以作為存 儲(chǔ)服務(wù)器同時(shí)也可以作為客戶端服務(wù)器。由一對(duì)元數(shù)據(jù)服務(wù)器及其管理的存儲(chǔ)服務(wù)器節(jié)點(diǎn)所提 供的存儲(chǔ)空間稱為一個(gè)卷空間，不同的卷

4、空間由卷管理服務(wù) 器虛擬化統(tǒng)一管理，對(duì)外可提供統(tǒng)一的海量存儲(chǔ)空間。管理監(jiān)控中心提供統(tǒng)一易用的 WEB配置管理監(jiān)控平 臺(tái)，提供設(shè)備監(jiān)控、空間監(jiān)控、文件監(jiān)控、服務(wù)監(jiān)控、用戶 認(rèn)證管理、配額管理、故障告警及預(yù)警等功能，實(shí)現(xiàn)智能化 管理。這種分布式系統(tǒng)最大的好處是有利于存儲(chǔ)系統(tǒng)的擴(kuò)展 和實(shí)現(xiàn)，在小規(guī)模的數(shù)據(jù)擴(kuò)展時(shí)，只需要添加具體的Chunk Server即可，而不需要添加整套設(shè)備。在實(shí)現(xiàn)大規(guī)模擴(kuò)展時(shí) 也可方便地添加整個(gè)卷設(shè)備。1113管理監(jiān)控中心管理監(jiān)控中心為系統(tǒng)管理員配置和維護(hù)cStor云存儲(chǔ)資 源管理系統(tǒng)的有效工具，充分體現(xiàn)了系統(tǒng)的可維護(hù)性。管理監(jiān)控中心提供帳戶管理、設(shè)備管理、系統(tǒng)監(jiān)控、卷 管理、

5、告警管理、故障管理等功能。以下為部分系統(tǒng)管理界 面。設(shè)備管理系統(tǒng)監(jiān)控告警信息1.1.1.4平臺(tái)優(yōu)勢(shì)特性高度可靠存儲(chǔ)系統(tǒng)采用云架構(gòu)，數(shù)據(jù)被分塊存儲(chǔ)在不同的存儲(chǔ)節(jié) 點(diǎn)上，數(shù)據(jù)采用先進(jìn)的1:1容錯(cuò)機(jī)制進(jìn)行容錯(cuò)，可在任意損 壞一個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)的情況下實(shí)現(xiàn)數(shù)據(jù)完整可靠，系統(tǒng)對(duì) 外存儲(chǔ)訪問服務(wù)不間斷。云存儲(chǔ)的管理節(jié)點(diǎn)采用了主備雙機(jī)鏡像熱備的高可用 機(jī)制，在主管理節(jié)點(diǎn)出現(xiàn)故障時(shí)，備管理節(jié)點(diǎn)自動(dòng)接替主管 理節(jié)點(diǎn)的工作，成為新的主管理節(jié)點(diǎn)，待故障節(jié)點(diǎn)修復(fù)并重 啟服務(wù)后，它則成為新的備管理節(jié)點(diǎn)，保障系統(tǒng)的7X24小 時(shí)不間斷服務(wù)。優(yōu)異性能cStor采用控制流與數(shù)據(jù)流分離的技術(shù)，數(shù)據(jù)的存儲(chǔ)或 讀取實(shí)際上是與各個(gè)存

6、儲(chǔ)節(jié)點(diǎn)上并行讀寫，這樣隨著存儲(chǔ)節(jié) 點(diǎn)數(shù)目的增多，整個(gè)系統(tǒng)的吞吐量和IO性能將呈線性增長(zhǎng)。同時(shí)，cStor采用負(fù)載均衡技術(shù)，自動(dòng)均衡各服務(wù)器負(fù) 載，使得各存儲(chǔ)節(jié)點(diǎn)的性能調(diào)節(jié)到最高，實(shí)現(xiàn)資源優(yōu)化配置。無限容量系統(tǒng)容量?jī)H受限于卷管理服務(wù)器內(nèi)存，可支撐的容量接 近無限，經(jīng)推算，理論容量為1024X1024X1024 PB （1G個(gè) PB容量）。在線伸縮cStor云存儲(chǔ)資源管理系統(tǒng)擴(kuò)容非常方便，支持不停止 服務(wù)的情況下，動(dòng)態(tài)加入新的存儲(chǔ)節(jié)點(diǎn)，無需任何操作，即 實(shí)現(xiàn)擴(kuò)容；同時(shí)，無需人為干預(yù)，也可以摘下任意節(jié)點(diǎn)，系 統(tǒng)自動(dòng)縮小規(guī)模而不丟失數(shù)據(jù)，存儲(chǔ)在此節(jié)點(diǎn)上的數(shù)據(jù)將會(huì) 重新備份到其他節(jié)點(diǎn)上。通用易用cStor云存儲(chǔ)系統(tǒng)提供符合POSIX標(biāo)準(zhǔn)的通用文件系統(tǒng) 接口，無論是哪種操作系統(tǒng)下的應(yīng)用程序，都可以不經(jīng)修改 將云存儲(chǔ)當(dāng)成自己的海量磁盤來使用。同時(shí)，也提供專用的 API接口，供開發(fā)人員調(diào)用。智能管理提供基于WEB的管理控制平臺(tái)，所有的管理工作均由 cStor管理模塊自動(dòng)完成，使用人員無需任何專業(yè)知識(shí)便可 以輕松管理整個(gè)系統(tǒng)。通過管理平臺(tái)，可以對(duì)cStor中的所 有節(jié)點(diǎn)實(shí)行實(shí)時(shí)監(jiān)控，用戶通過監(jiān)控界面可