ParaStor200云存儲系統(tǒng)介紹

曙光云存儲終極解決方案ParaStor面向海量數(shù)據(jù)面向非結(jié)構(gòu)化數(shù)據(jù)面向高性能需求面向高可靠需求ParaStor200定位141.管理控制器

-提供命令行和圖形界面兩種接口-內(nèi)嵌并行存儲管理系統(tǒng)，對軟硬件進行一體化監(jiān)控管理2.索引控制器

-管理存儲系統(tǒng)中所有元數(shù)據(jù)和命名空間-集群架構(gòu)，Active-Active運行方式3.數(shù)據(jù)控制器

-提供數(shù)據(jù)存儲空間-支持多副本容錯，自動處理磁盤失效234.客戶端驅(qū)動

-向應(yīng)用提供POSIX文件訪問接口-支持Linux/Windows客戶端系統(tǒng)構(gòu)成ParaStor200并行存儲系統(tǒng)并行群集存儲架構(gòu)設(shè)計數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器……索引控制器索引控制器索引控制器索引控制器數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器……管理控制器管理控制器客戶端管理網(wǎng)歸檔數(shù)據(jù)遷移并發(fā)讀寫并發(fā)讀寫并發(fā)讀寫數(shù)據(jù)遷移元數(shù)據(jù)讀寫采用分布式并行存儲系統(tǒng)架構(gòu)，相對San共享式文件系統(tǒng)擁有更好的擴展性。采用非對稱集群架構(gòu)，IO節(jié)點間耦合較松，節(jié)點間通訊更為簡單高效，擴展性更好。全active元數(shù)據(jù)集群設(shè)計，系統(tǒng)性能、可靠性以及可擴展性更高。元數(shù)據(jù)分布：成對擴展，對內(nèi)元數(shù)據(jù)主副本輪詢存放，對間根據(jù)哈希策略存放。真正的SingleFileSystemImage（SFI，區(qū)別于SinglePathImage），實現(xiàn)容量和IO負載的高度均衡，可支持更大的文件和更高的單流IO。硬件基于通用的存儲服務(wù)器，通過多副本、N+M、網(wǎng)絡(luò)負載均衡等技術(shù)構(gòu)建高可靠、高性能、高可擴展的高端存儲系統(tǒng)。先進的架構(gòu)設(shè)計超大容量超強擴展超高性能全方位數(shù)據(jù)保護超高易用性高性價比方案面向HPC特別優(yōu)化面向云計算特別優(yōu)化面向大數(shù)據(jù)處理支持九大特性超大容量數(shù)據(jù)中心存儲容量需求小型專用DC50TB~100TB中等綜合DC100TB~500TB大型DC500TB~5PB超大規(guī)模DC5PB~50PB根據(jù)摩爾定律以及當前數(shù)據(jù)快速增長的事實，這一分類標準還將不斷的被刷新紀錄。系統(tǒng)特點及優(yōu)勢超大容量集群架構(gòu)設(shè)計，集小流以成江海系統(tǒng)可達到EB級，是國家863計劃“EB級云存儲系統(tǒng)”原型部署于深圳超算中心的存儲系統(tǒng)16PB，是目前國內(nèi)最大的單一名字空間存儲系統(tǒng)。超大文件切片均衡分布，突破本地文件系統(tǒng)限制滿足大數(shù)據(jù)處理、高性能計算、云計算等領(lǐng)域大文件需求單系統(tǒng)容量16PB!目前國內(nèi)最大！系統(tǒng)特點及優(yōu)勢國家超算中心深圳中心超強擴展設(shè)備級擴展跨設(shè)備擴展跨中心擴展系統(tǒng)可擴展性需求性能隨容量線性增長、不增加管理的復(fù)雜性在線擴容需求如意乾坤袋擴容時不停業(yè)務(wù)，平滑在線無限擴容。LAN123412341234數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器初始狀態(tài)并行數(shù)據(jù)I/O數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器123412341234數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器擴展后“海納百川”——在線無限擴展并行數(shù)據(jù)I/O增加數(shù)據(jù)控制器按策略自動數(shù)據(jù)遷移超高性能海量小文件高并發(fā)IO高單流帶寬高聚合帶寬存儲性能需求超高IO性能并行集群架構(gòu)設(shè)計滿足高并發(fā)IO需求條帶優(yōu)化提供高單流IO帶寬聚合帶寬=數(shù)據(jù)控制器帶寬線性疊加，隨容量線性增長全Active索引集群提升海量小文件處理能力2.5GBps2.5GBps2.5GBps2.5GBps2.5GBps2.5GBps全方位數(shù)據(jù)保護7*24小時業(yè)務(wù)連續(xù)性需求設(shè)備故障不可避免，要求設(shè)備故障情況下，仍可保證業(yè)務(wù)連續(xù)性，時刻滿足系統(tǒng)工作負載需求數(shù)據(jù)安全防止非法篡改防止未授權(quán)主機掛載防止數(shù)據(jù)靜默損壞防御病毒攻擊關(guān)鍵數(shù)據(jù)保護需求寶石的形成需要數(shù)萬年100億個中微子才會有一個與物質(zhì)發(fā)生作用CERN上帝粒子探測器花費25億歐元……寶貴的原始數(shù)據(jù)以太網(wǎng)交換機1以太網(wǎng)交換機2索引控制器索引控制器/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg/home/appl/data/web/home/appl/data/web/important_big_spreadsheet.xls/home/appl/data/web/big_architecture_drawing.ppt/home/appl/data/web/unstructured_big_video.mpg

邏輯層0123456789101101234567891011abcdefghijklabcdefghijklABCDEFGHIJKLABCDEFGHIJKL02ABC全冗余架構(gòu)設(shè)計

物理層1重建無人值守數(shù)據(jù)重建無人值守。如，深夜磁盤出現(xiàn)故障，傳統(tǒng)RAID要立即人工更換磁盤，而ParaStor只要有剩余空間就可以進行數(shù)據(jù)重建。更快重建速度數(shù)據(jù)重建并發(fā)進行，1TB數(shù)據(jù)半小時內(nèi)重建完成相比傳統(tǒng)RAID優(yōu)勢

意外斷電保護UPS管理節(jié)點關(guān)閉服務(wù)機柜斷電防止全系統(tǒng)掉電后數(shù)據(jù)丟失ParaStor系統(tǒng)UPS監(jiān)控與存儲系統(tǒng)自我保護聯(lián)動WORM（WriteOnceReadMany）文件寫入超過設(shè)定時間文件只讀模擬磁帶庫存儲，防惡意篡改滿足法規(guī)要求防惡意篡改數(shù)據(jù)雙重保密ParaStor數(shù)據(jù)服務(wù)器數(shù)據(jù)服務(wù)器……管理控制器元數(shù)據(jù)服務(wù)器允許掛載拒絕掛載Ⅹ未授權(quán)客戶端授權(quán)客戶端未加密數(shù)據(jù)加密數(shù)據(jù)正確輸入密鑰超高易用性使用運維簡易性需求運維壓力傳統(tǒng)方式數(shù)量龐大、關(guān)系復(fù)雜、操作繁瑣、效率低下、成本高、安全隱患大數(shù)量龐大、關(guān)系復(fù)雜、操作復(fù)雜、效率低下、成本高、安全隱患大使用方便高效，對IT資源進行透明、統(tǒng)一的管理易用性需求“八仙過海”——豐富的訪問接口Parastor應(yīng)用節(jié)點●●●應(yīng)用節(jié)點應(yīng)用節(jié)點I/O節(jié)點I/O節(jié)點I/O節(jié)點oAppVFSoAppVFSoAppVFS互聯(lián)網(wǎng)應(yīng)用服務(wù)器FTP等文件存儲服務(wù)器管理監(jiān)控SNMPNFS,CIFS,REST……●●●豐富的接口訪問接口專有Linux、Windows內(nèi)核態(tài)訪問接口標準NFS，CIFS接口POSIXAPIMapReduce編程接口REST編程接口SOAP編程接口SNMP接口網(wǎng)絡(luò)接口20Gb/40Gb/56GbIB10Gb/1Gb以太網(wǎng)支持負載均衡和冗余治大國如烹小鮮——運維簡易型ParaStor并行存儲管理系統(tǒng)是曙光公司專為ParaStor系列產(chǎn)品開發(fā)的統(tǒng)一監(jiān)控管理平臺。直觀易懂的圖形界面方便用戶管理和監(jiān)控系統(tǒng)的軟硬件資源。管理功能監(jiān)控系統(tǒng)：網(wǎng)絡(luò)、節(jié)點磁盤、內(nèi)存、RAID卡狀態(tài)監(jiān)控，節(jié)點服務(wù)狀態(tài)監(jiān)控，系統(tǒng)故障告警，運維報表，管理事件記錄。系統(tǒng)管理：系統(tǒng)的啟停、卸載、升級，異常情況下進行強制啟動?？蛻舳耸跈?quán)、掛載及狀態(tài)管理，管理控制器、索引控制器和數(shù)據(jù)控制器的增刪、啟停以及更換。高級管理：配額管理，文件系統(tǒng)創(chuàng)建、刪除、配置，在線參數(shù)配置，閾值管理，資源配置。管理功能亮點功能亮點故障處理操作GUI指導(dǎo)在線版本升級在線更改配置GUI客戶端授權(quán)、掛載管理操作記錄網(wǎng)絡(luò)拓撲發(fā)現(xiàn)、監(jiān)控異構(gòu)OS用戶管理用戶、組、文件系統(tǒng)配額支持Windows本地盤支持SOAP、SNMP管理接口全局監(jiān)控視圖系統(tǒng)管理視圖網(wǎng)絡(luò)拓撲視圖高性價比方案高利用率數(shù)據(jù)保護方案D0D1D2D3D4D5D6D7Node1D0D4Node2D1D5Node3P0D6Node4D2P1Node5D3D7N+M:B，N代表數(shù)據(jù)對象個數(shù)或數(shù)據(jù)分布磁盤數(shù)量；M代表校驗對象個數(shù)或容忍故障的磁盤數(shù)量，B代表容忍故障的節(jié)點數(shù)量。例如本例8+2:1，表示集群可以丟失任意2塊磁盤或任意1個節(jié)點而不至于數(shù)據(jù)丟失。在這種配置下，空間利用率可達到80%。N+M是保證數(shù)據(jù)可靠性前提下，利用率較高的方案N+M:B配置4+1:1至少配置6個數(shù)據(jù)節(jié)點4+2:1

至少配置4個數(shù)據(jù)節(jié)點（推薦配置，67%利用率）4+2:2

至少配置8個數(shù)據(jù)節(jié)點8+2:1至少配置6個數(shù)據(jù)節(jié)點（推薦配置，80%利用率）8+2:2至少配置12個數(shù)據(jù)節(jié)點（推薦配置，80%利用率）16+4:4至少配置24個數(shù)據(jù)節(jié)點各模式最小節(jié)點數(shù)量B（N+M）/M，此時僅能滿足數(shù)據(jù)分布。為了節(jié)點失效后能夠即刻進行數(shù)據(jù)恢復(fù)，推薦節(jié)點數(shù)量為：(B(N+M)/M)+B，空間利用率為：N/(N+M)N+M:B優(yōu)勢空間率利用率高最高可達94%（16+1：1）高可靠性在空間利用率達到80%的同時，可以允許多塊硬盤同時失效（最多任意4塊），可以允許多個節(jié)點同時失效（最多任意4臺），而使用副本模式要達到這個可靠性只有20%的空間利用率高IO性能冗余數(shù)據(jù)量減少，聚合寫性能較副本提高數(shù)據(jù)生命周期管理數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器……索引控制器索引控制器索引控制器索引控制器數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器……管理控制器管理控制器客戶端管理網(wǎng)歸檔數(shù)據(jù)遷移并發(fā)讀寫并發(fā)讀寫并發(fā)讀寫數(shù)據(jù)遷移元數(shù)據(jù)讀寫高性能在線存儲高性價比近線存儲歸檔至離線存儲根據(jù)訪問頻率、文件名規(guī)則、路徑名規(guī)則等策略進行文件分級數(shù)據(jù)生命周期管理減少昂貴高速存儲設(shè)備投入按需關(guān)閉部分設(shè)備節(jié)能……D0D1D2D3D4D5D6D7D8D0D1D2D3D4D5D6D7D8D0D1D2D3D4D5D6D7D8數(shù)據(jù)可按目錄分區(qū)常用目錄所在分區(qū)硬件健康前提下，可暫時關(guān)閉不常用分區(qū)低采購成本采用X86架構(gòu)硬件軟硬一體存儲系統(tǒng)低管理成本自動化故障處理管理員參與程度低5年原廠商軟硬件服務(wù)按需購買可動態(tài)擴展容量和性能無需一次性占用大量資金低TCO面向HPC特別優(yōu)化高聚合

帶寬高并發(fā)IO和IO密集型高性能計算帶來極高的聚合帶寬激增IO性能部分應(yīng)用在計算過程中，突然會有大量的IO，需要存儲能夠處理這種激增IOIOQoS平臺應(yīng)用多樣，對IO需求不同，要求能為不同應(yīng)用提供不同級別的服務(wù)海量小文件檢索部分高性能計算，在計算過程中或之后產(chǎn)生海量小文件。高并發(fā)IO并行計算是高性能計算的重要特征。大量并行程序帶來大并發(fā)IO存儲性能極限需求內(nèi)核態(tài)客戶端IO效率高占用計算節(jié)點資源少高速通訊網(wǎng)絡(luò)支持56GbpsIB網(wǎng)絡(luò)優(yōu)化支持10Gbps、40Gbps萬兆網(wǎng)絡(luò)優(yōu)化支持全活索引集群支持均衡元數(shù)據(jù)壓力，支持海量小文件處理分級存儲高速在線存儲支撐熱點數(shù)據(jù)訪問。ParaStor解決之道客戶端數(shù)據(jù)一致性寫入~nsecnsec后其他客戶端并發(fā)更新

并行計算要求：統(tǒng)一用戶集、統(tǒng)一存儲映像矛盾：越高的一致性要求，系統(tǒng)開銷越大。解決之道：根據(jù)應(yīng)用對不一致性的容忍度來進行調(diào)優(yōu)，ParaStor可在100ms級一致下保證性能不受影響。存儲管理支持C