曙光媒資管理系統(tǒng)存儲解決方案

1、第一章 媒資管理系統(tǒng)存儲需求分析隨著數(shù)字媒體技術(shù)的發(fā)展，存儲技術(shù)在數(shù)字媒體領(lǐng)域也得到了廣泛應(yīng)用。特別是數(shù)字技術(shù)的迅猛變革，使存儲數(shù)字媒體的技術(shù)手段也發(fā)生很大變化。在媒體爆炸性增長的同時，廣電行業(yè)十分關(guān)心數(shù)字技術(shù)的未來發(fā)展，同時也更加關(guān)心數(shù)字媒體資產(chǎn)的管理、使用和存儲。 數(shù)字媒體節(jié)目平臺通常由節(jié)目制作系統(tǒng)、媒資存儲管理系統(tǒng)、節(jié)目播出系統(tǒng)三部分組成。其中媒資存儲管理系統(tǒng)是核心。媒體資產(chǎn)管理（MAM）的實質(zhì)是：以智能存儲為中心，建立具有資源共享的數(shù)據(jù)化、網(wǎng)絡(luò)化、自動化系統(tǒng)，能夠支持電視臺各頻道節(jié)目的數(shù)字化采集、編輯、播出、審查、存儲，全面提高節(jié)目制作效率。它是以內(nèi)容管理為基本理念的一個對媒體及內(nèi)容(

2、如視/音頻資料、文本文件、圖表等)進行總體管理的完整存儲管理系統(tǒng)，它基本能滿足資產(chǎn)擁有者收集、保存、查找、發(fā)布各種信息的要求，為媒體資源的使用者提供了訪問內(nèi)容更為簡便的方法，從而高效地保存和利用了媒體資產(chǎn)，拓展了新的業(yè)務(wù)增長點。媒體資產(chǎn)是廣播電臺最基本也是最重要的生產(chǎn)資料，要有效推動廣播電臺的發(fā)展，應(yīng)將內(nèi)容生產(chǎn)和資源管理緊密結(jié)合，以建設(shè)多接口、數(shù)字化、網(wǎng)絡(luò)化的海量媒體內(nèi)容存儲和管理平臺為目標，滿足廣播電臺節(jié)目資料存儲檢索、節(jié)目制作發(fā)布和內(nèi)容版權(quán)經(jīng)營的需求。隨著數(shù)字媒體技術(shù)發(fā)展的不斷推進以及高清、新媒體等業(yè)務(wù)的全面展開，為了更好的滿足采集整理、編目檢索、運行管理等多個業(yè)務(wù)系統(tǒng)的要求，媒資管理系統(tǒng)

3、對存儲容量、訪問寬帶等要求提高，具體要求如下：容量要求隨著高清視頻的普及，電視臺節(jié)目素材的快速增長，對存儲系統(tǒng)提出了大容量的存儲需求 高帶寬要求電臺制作人員需要頻繁訪問媒資系統(tǒng)，進行媒資文件的讀取和寫入，且由于電視臺節(jié)目制作的特殊性，該媒資文件系統(tǒng)隨時都有可能處于高速運轉(zhuǎn)模式下，必須有足夠的帶寬才能保證視頻的圖像連續(xù)可靠性要求非編系統(tǒng)中素材文件珍貴，數(shù)據(jù)存儲系統(tǒng)的可靠性是數(shù)據(jù)安全的有力保障。要具備從硬件到軟件的冗余機制或安全機制，具有容錯性，能提供持續(xù)正常的數(shù)據(jù)訪問服務(wù)?？蓴U展性多媒體業(yè)務(wù)日新月異的發(fā)展，要求存儲系統(tǒng)不僅在容量上可持續(xù)擴展，同時在性能上也要不斷提高。 高性價比 媒資管理系統(tǒng)是一

4、個海量存儲系統(tǒng)，存儲系統(tǒng)不僅要提供海量的存儲空間，同時要保證訪問的性能。 高效的檢索能力 海量的存儲空間中，需要快速的查找出所需的素材，提高媒資系統(tǒng)的管理能力，因此存儲系統(tǒng)應(yīng)提供高速IO的訪問能力，減少系統(tǒng)響應(yīng)時間。 第二章 曙光存儲解決方案介紹媒資系統(tǒng)通常采用分級存儲架構(gòu)，一般分為在線+近線；其中在線又分為高碼流存儲、低碼流存儲；高碼流存儲主要為高碼流視音頻文件的緩存，為采集、入庫及出庫等業(yè)務(wù)提供存儲支撐；低碼流存儲主要為流媒體文件的長期存儲，為編目、檢索等業(yè)務(wù)提供存儲支撐。在媒資系統(tǒng)中，存儲的分量愈發(fā)厚重，對存儲系統(tǒng)的性能、擴展性、可用性的要求也愈發(fā)嚴格。1.1.1. 傳統(tǒng)FC+以太的雙網(wǎng)

5、結(jié)構(gòu)解決方案傳統(tǒng)的媒資存儲系統(tǒng)以磁盤陣列作為在線存儲設(shè)備、數(shù)據(jù)流磁帶庫作為近線存儲設(shè)備，通過分布式存儲歸檔軟件，實現(xiàn)了不同存儲設(shè)備間的數(shù)據(jù)遷移，建立起廣電數(shù)字節(jié)目平臺的存儲管理系統(tǒng)。目前電視臺一般都采用 FC+以太的雙網(wǎng)結(jié)構(gòu)模式構(gòu)建其媒資存儲系統(tǒng)，其中SAN網(wǎng)絡(luò)用于連接前端應(yīng)用服務(wù)器、工作站和存儲系統(tǒng)，為了實現(xiàn)SAN上的數(shù)據(jù)共享，目前通常使用SAN共享文件系統(tǒng)軟件，如SANergy、Stornext等來完成。這些軟件的工作機理是采用一臺或兩臺服務(wù)器作為元數(shù)據(jù)控制器(Meta Data Controller，MDC)，負責管理整個文件系統(tǒng)，SAN中其他客戶端進行數(shù)據(jù)讀寫時，須先向MDC申請令牌，

6、在MDC進行數(shù)據(jù)調(diào)度后方可操作。為保證SAN共享文件系統(tǒng)軟件的正常工作，除建立FC網(wǎng)絡(luò)，還須要建立以太網(wǎng)用于傳遞控制信息。這就是所謂的雙網(wǎng)結(jié)構(gòu)。它由基于FC協(xié)議的光纖通道網(wǎng)和基于TCP/IP協(xié)議的以太網(wǎng)組成，其中以太網(wǎng)主要傳輸控制信息和數(shù)據(jù)庫信息，F(xiàn)C網(wǎng)絡(luò)主要傳輸高碼率的視音頻素材數(shù)據(jù)。存儲系統(tǒng)包括磁盤陣列和數(shù)據(jù)流磁帶庫，其中磁盤陣列作為在線存儲設(shè)備，通常選用具有超級的吞吐性能和更加強勁的連接能力的光纖磁盤陣列，用于存儲用戶的熱點音視頻素材，磁帶庫作為近線存儲設(shè)備，通常配置較大的存儲空間，用于存儲用戶的非熱點數(shù)據(jù)。為了實現(xiàn)在線存儲系統(tǒng)與近線存儲系統(tǒng)間的遷移、回遷和數(shù)據(jù)管理，還需要購買專業(yè)的數(shù)據(jù)

7、遷移管理系統(tǒng) 。雙網(wǎng)架構(gòu)媒資存儲系統(tǒng)方案架構(gòu)基于“FC+以太”的雙網(wǎng)結(jié)構(gòu)的媒資分級存儲系統(tǒng)，最大的優(yōu)點在于高性能，可以保證大數(shù)據(jù)量的并發(fā)訪問情況下主機讀寫帶寬的穩(wěn)定。但這種架構(gòu)也存在著相當多的不足。系統(tǒng)復(fù)雜，管理維護成本過高存儲系統(tǒng)由磁盤陣列、磁帶庫、SAN共享軟件、分級存儲軟件、FC SAN以及IP SAN網(wǎng)絡(luò)構(gòu)成，管理和使用人員要對這些設(shè)備都比較了解，才能順利地使用和管理，對操作人員的素質(zhì)要求比較高。并且由于此種結(jié)構(gòu)的存儲系統(tǒng)其產(chǎn)品通常采購自不同的廠商，當存儲系統(tǒng)出現(xiàn)故障時，存在著職責劃分不清、工程師難以協(xié)調(diào)等諸多問題，不利于系統(tǒng)的盡快維修和恢復(fù)。系統(tǒng)可靠性不高同樣由于存儲系統(tǒng)包含的功能模

8、塊過多，每個功能模塊都是一個潛在的系統(tǒng)故障點，任以模塊出現(xiàn)問題，整個存儲系統(tǒng)將會癱瘓。構(gòu)建成本過高，存在嚴重的資源浪費同時由于服務(wù)器和工作站都需要安裝FC HBA，網(wǎng)絡(luò)中需要大量的光纖通道交換機，這種網(wǎng)絡(luò)結(jié)構(gòu)也大大地增加了系統(tǒng)的建設(shè)成本，相當大的一部分投資要用購買光纖通道網(wǎng)絡(luò)設(shè)備和光纖存儲；而且，全臺網(wǎng)中的編目工作站、檢索工作站以及其它的需要進行低碼率文件讀寫的工作站數(shù)量一般都是幾十臺，甚至上百臺，與之相關(guān)存儲共享管理軟件的購置費用也會非常昂貴。同時，專業(yè)的數(shù)據(jù)遷移軟件也需要一筆不少的資金投入。系統(tǒng)擴展性不好同時，隨著電視臺節(jié)目數(shù)量的增加，要求存儲系統(tǒng)的性能和容量可以進行按需動態(tài)添加，而傳統(tǒng)的

9、雙網(wǎng)結(jié)構(gòu)存儲系統(tǒng)在性能和容量都存在著擴展的上限，很難滿足未來業(yè)務(wù)發(fā)展的需要。 存在兼容性問題其次，由于FC協(xié)議發(fā)展的時間還比較短(與以太網(wǎng)相比)，標準化工作完成得不夠好，不同廠商的產(chǎn)品間互操作性比較差，用戶在實際使用中，經(jīng)常會被一些設(shè)備不兼容的問題所困擾，特別是在不同品牌的交換設(shè)備進行級聯(lián)或路由時尤為突出，故在進行產(chǎn)品選擇時會有很大的局限性。1.2. 基于單網(wǎng)架構(gòu)的集群NAS存儲解決方案近一兩年來，隨著IT技術(shù)日新月異的發(fā)展，特別是千兆/萬兆以太網(wǎng)技術(shù)的成熟、芯片處理能力的提升、iSCSI等相關(guān)標準的制定，一種面向視音頻應(yīng)用的基于純以太網(wǎng)的單網(wǎng)架構(gòu)解決方案開始出現(xiàn)，并已經(jīng)在國內(nèi)外諸多項目中得到

10、了應(yīng)用。目前幾種常見的基于單網(wǎng)的解決方案主要包括NAS技術(shù)、iSCSI技術(shù)和集群NAS存儲系統(tǒng)等三類。其中NAS和iSCSI技術(shù)由于其本身技術(shù)的限制，主要應(yīng)用于對性能及擴展性要求不是很苛刻的中小規(guī)模存儲系統(tǒng)，而集群NAS存儲系統(tǒng)由于其高性能、高可擴展性、高可靠和易管理使用等特色，是近幾年在廣電行業(yè)得以大規(guī)模推廣和使用的高端存儲系統(tǒng)。集群NAS是眾多主流存儲廠商力推的一套存儲解決方案，準確地說它是基于并行文件系統(tǒng)的多NAS網(wǎng)關(guān)存儲服務(wù)器。它的核心是并行文件系統(tǒng)，這是一個SAN共享文件系統(tǒng)，與NAS文件系統(tǒng)相比，具有明顯的優(yōu)勢，這些優(yōu)勢包括其支持PB級的單文件系統(tǒng)、支持并行讀寫同一文件、支持文件系

11、統(tǒng)動態(tài)擴展、支持零秒的故障切換等。集群NAS解決方案的實質(zhì)是采用多個安裝有并行文件系統(tǒng)的節(jié)點服務(wù)器，通過NFS、CIFS等協(xié)議共享同一個卷。集群NAS由存儲子系統(tǒng)、NAS集群（機頭）、客戶端和網(wǎng)絡(luò)組成?？蛻舳藢?shù)據(jù)的訪問方式與訪問普通的NAS是一樣的，只不過這個NAS網(wǎng)關(guān)的性能是可以水平擴展的。當一個NAS網(wǎng)關(guān)性能無法滿足整體系統(tǒng)需要時，可以通過增加節(jié)點的方式擴充系統(tǒng)的整體帶寬。當系統(tǒng)的容量無法滿足業(yè)務(wù)需要時，可以通過增加存儲系統(tǒng)的方式擴容系統(tǒng)的整體容量。集群NAS存儲系統(tǒng)通常具有如下特點：n 開放式架構(gòu)（高擴展性）。開放式架構(gòu)是針對集群NAS存儲系統(tǒng)內(nèi)部構(gòu)成單元而言。集群NAS存儲系統(tǒng)通常包

12、括存儲單元、NAS節(jié)點單元、網(wǎng)絡(luò)單元、客戶端單元，每個單元都可以按需進行動態(tài)擴展，并且每個單元可以開放的采用其業(yè)界最新的技術(shù)，而無需改變系統(tǒng)架構(gòu)。n 并行文件系統(tǒng)。并行文件系統(tǒng)是集群NAS系統(tǒng)的靈魂所在，所有對集群NAS的操作都經(jīng)由并行文件系統(tǒng)統(tǒng)一調(diào)度和分發(fā)，分散到集群NAS存儲系統(tǒng)各個NAS節(jié)點上完成。n 全局統(tǒng)一命名空間。全局統(tǒng)一命名空間在很多廠家的存儲概念中都出現(xiàn)過，在集群NAS存儲系統(tǒng)中全局統(tǒng)一命名空間強調(diào)的是同一個文件系統(tǒng)下的統(tǒng)一命名空間。n 易管理使用性。集群NAS存儲系統(tǒng)通常能夠提供一種集中的、簡便易用的使用方式，不需要修改或重新編譯客戶端操作系統(tǒng)，采用文件系統(tǒng)提供的高速客戶端軟

13、件或是業(yè)界標準的訪問協(xié)議訪問存儲系統(tǒng)。而且，隨著存儲容量的增加，客戶不需要增加額外的管理人員，將精力更多的投向自己的應(yīng)用領(lǐng)域。n 動態(tài)負載均衡。在集群NAS存儲系統(tǒng)中，前端訪問存儲系統(tǒng)的讀寫操作，通過并行文件系統(tǒng)的負載均衡策略，將數(shù)據(jù)訪問分散到存儲系統(tǒng)的各個數(shù)據(jù)節(jié)點上，大大減輕了每個節(jié)點的負載。而后端訪問數(shù)據(jù)，通過開放式的架構(gòu)和存儲網(wǎng)絡(luò)，數(shù)據(jù)會分布在所有存儲設(shè)備上進行存放和讀取，每個讀寫操作都由更多的磁盤參與，因此大大的提高了讀寫操作的性能。n 高性能。集群NAS存儲系統(tǒng)通常能夠提供比傳統(tǒng)存儲架構(gòu)更優(yōu)的性能和更大的存儲容量（EB級別）以及更高的磁盤空間利用率（80%以上），尤其是在存儲帶寬方面

14、，集群NAS存儲系統(tǒng)的存儲帶寬能夠達到幾十甚至幾百GB/s。從集群NAS存儲系統(tǒng)集中了SAN和NAS結(jié)構(gòu)的優(yōu)點，并且具備SAN和NAS不具有的優(yōu)點。具有存儲帶寬和容量可以按需動態(tài)添加、使用方便和管理簡單等諸多優(yōu)點，屆時，隨著以太網(wǎng)和FC網(wǎng)之間性能差距的進一步縮小，單網(wǎng)結(jié)構(gòu)的集群NAS解決方案能夠支撐更大規(guī)模的標清甚至高清應(yīng)用。在未來一段時間內(nèi)，它將在越來越廣泛的領(lǐng)域內(nèi)，不斷對傳統(tǒng)的FC+以太網(wǎng)的雙網(wǎng)結(jié)構(gòu)帶來沖擊，并最終有可能取而代之，成為數(shù)字媒體網(wǎng)絡(luò)化存儲的標準方案。是廣電行業(yè)海量音視頻素材集中存儲的最佳平臺。1.3. 曙光集群NAS存儲解決方案作為國內(nèi)專業(yè)的存儲廠商之一，曙光公司為廣電用戶的

15、媒資、非線編等海量非結(jié)構(gòu)化數(shù)據(jù)存儲應(yīng)用推出了基于單網(wǎng)架構(gòu)的集群NAS存儲解決方案Parastor100H。ParaStor100H集群NAS存儲系統(tǒng)匯集了曙光公司多年以來在廣電行業(yè)和海量數(shù)據(jù)處理方面的豐富經(jīng)驗，從架構(gòu)上徹底消除了傳統(tǒng)存儲系統(tǒng)的瓶頸，能夠滿足高帶寬和高并發(fā)的海量富媒體文件存取的需求，為用戶帶來前所未有的存儲性能體驗。ParaStor100H集群NAS系統(tǒng)采用了代表存儲技術(shù)、網(wǎng)絡(luò)通信技術(shù)以及數(shù)據(jù)管理技術(shù)發(fā)展方向的并行體系架構(gòu)，是一款面向海量非結(jié)構(gòu)化數(shù)據(jù)處理、擁有自主知識產(chǎn)權(quán)的高端存儲系統(tǒng)。Parastor100H集群NAS存儲系統(tǒng)基于開放式的存儲架構(gòu)，基層采用曙光自主研發(fā)的Para

16、stor并行文件系統(tǒng)，將多臺物理存儲設(shè)備（這些物理設(shè)備可以是磁盤陣列，也可以是通用的存儲服務(wù)器）的存儲空間虛擬成一個具有統(tǒng)一訪問接口和管理界面的存儲池（也叫統(tǒng)一命名空間）。用戶的數(shù)據(jù)按照一定的負載均衡策略，條帶化的分布到后臺的多套存儲設(shè)備上，從而能夠?qū)崿F(xiàn)數(shù)據(jù)的并行讀寫以獲得更高的并發(fā)訪問性能，充分利用多臺存儲設(shè)備的性能和更大的存儲容量，并有效的提高存儲空間利用率，并且所有的存儲設(shè)備可以實現(xiàn)統(tǒng)一的管理和監(jiān)控，大大減輕了管理工作負擔！ 方案拓撲結(jié)構(gòu)如上圖所示。Parastor100H存儲系統(tǒng)包括管理控制器P100-MGR、索引控制器P100-oPara、數(shù)據(jù)控制器 P100-oStor以及存儲設(shè)備

17、P100-SSU。其中管理控制器通過管理網(wǎng)絡(luò)監(jiān)控系統(tǒng)的各個模塊的狀態(tài)，提供統(tǒng)一的控制管理界面，實現(xiàn)存儲系統(tǒng)的集中部署和監(jiān)控，1套Parastor100H只需要配置1臺管理控制器即可；索引控制器用于管理存儲系統(tǒng)的所有索引數(shù)據(jù)和命名空間，對外提供單一的全局映像，1套Parastor100H存儲系統(tǒng)至少需要2個索引控制器，2個索引控制器以Active-Active高可靠模式運行，一個控制器出現(xiàn)問題，不會影響存儲系統(tǒng)的正常運行，索引控制器可以按需以成對的方式進行擴展；數(shù)據(jù)控制器用于提供文件數(shù)據(jù)I/O通道，并實現(xiàn)存取的動作，數(shù)據(jù)控制器根據(jù)用戶實際的帶寬需要進行配置，并可以按需進行動態(tài)添加，I/O通道具有

18、千兆、萬兆和IB多種選擇，并且parastor100H支持多個I/O通道的冗余和負載均衡；存儲設(shè)備用來存放實際數(shù)據(jù)，依靠本身的冗余部件設(shè)計及RAID技術(shù)，保證數(shù)據(jù)的安全，存儲設(shè)備根據(jù)用戶實際的容量和帶寬需要進行配置，并且可以按需進行動態(tài)添加。媒資系統(tǒng)的前端應(yīng)用服務(wù)器和工作站可以通過兩種方式訪問Parastor100H存儲系統(tǒng)：一種方式是通過Parastor100H提供的專有Linux、Windows客戶端軟件，這種方式?jīng)]有額外的開銷，性能較好；另一種方式是通過Parastor100H提供的通用NFS、CIFS協(xié)議，這種方式支持的操作類型更為豐富，使用也更為簡單，但是性能與第一種方式相比有所降低

19、。1.4. 曙光解決方案優(yōu)勢采用Parastor100H構(gòu)建廣電行業(yè)的媒資集中存儲系統(tǒng)，具有如下優(yōu)勢：l 單一命名存儲空間，集中化共享虛擬存儲池，使用簡單、管理方便ParaStor100H可以智能地將數(shù)據(jù)存放到存儲系統(tǒng)的智能存儲設(shè)備上，創(chuàng)建一個集中化的共享虛擬存儲池，提供全局單一的命名空間。目前業(yè)界有很多存儲系統(tǒng)也聲明支持PB級的單一命名空間，但是底層無一不是通過將若干卷掛載在同一個根目錄下來形成的大容量統(tǒng)一命名空間，其效率和出現(xiàn)存儲熱點時的性能，將會大大低于將上PB級別的存儲空間置于同一個文件系統(tǒng)下管理的統(tǒng)一命名空間。全局單一命名空間使用戶直接對虛擬資源池進行讀寫和管理，而無需考慮數(shù)據(jù)在存儲

20、設(shè)備中的存放模式，與傳統(tǒng)的SAN存儲系統(tǒng)相比，簡化了海量數(shù)據(jù)存儲和管理的復(fù)雜性；同時，不同于SAN存儲系統(tǒng)，Parastor100H底層的存儲空間為所有的用戶所共享，不存在已分配給某個用戶而未被使用的空閑獨占空間，有利于提高存儲空間的利用率，測試數(shù)據(jù)表明，Parastor存儲空間的利用率高達90%左右，遠遠高于SAN存儲設(shè)備60%左右的利用率；另外，單一命名空間其容量可以近乎無限的擴大，突破了以前廣電用戶所要面臨的32位操作系統(tǒng)單一目錄不能超過2TB的限制，為高清大視頻文件的存儲帶來了便利。l 存儲系統(tǒng)自動實現(xiàn)數(shù)據(jù)遷移，有效降低存儲系統(tǒng)的復(fù)雜度Parastor100H硬件平臺構(gòu)建靈活：索引控制

21、器和數(shù)據(jù)控制器可根據(jù)實際的應(yīng)用環(huán)境進行軟、硬平臺配置優(yōu)化，存儲設(shè)備可選曙光全系列的從低端到高端的磁盤陣列，存儲介質(zhì)也可以根據(jù)實際需要選擇高性能SSD、FC、SAS硬盤或是大容量高性價比SATA硬盤。這種靈活的構(gòu)建方式可以極為方便的為媒資應(yīng)用構(gòu)建高性能存儲區(qū)和大容量低速存儲區(qū)，高性能存儲區(qū)可以用來存儲用戶訪問頻繁的音視頻素材，低速存儲區(qū)用來存儲用戶海量的歷史冷數(shù)據(jù)，Parastor100H支持用戶采用自動或是手動的方式實現(xiàn)音視頻素材在這兩個區(qū)的遷移。Parastor100H這種靈活的分層存儲架構(gòu)和對數(shù)據(jù)遷移功能的支持，使得媒資存儲系統(tǒng)不不需要額外的數(shù)據(jù)遷移管理系統(tǒng)，有效的降低了存儲系統(tǒng)的構(gòu)建復(fù)雜

22、度，同時提高了存儲系統(tǒng)的可靠性以及查詢的效率，在最大程度上降低用戶的投資成本以及使用和管理成本。l 高性能并行存儲系統(tǒng)，支持并發(fā)I/O讀寫，提供高達數(shù)百GB/s的聚合帶寬衡量一個存儲架構(gòu)的優(yōu)劣，無外乎從讀寫兩個方面來看，ParaStor100H的聚合性能可隨著數(shù)據(jù)控制器節(jié)點的增加而增加，根據(jù)實際測試結(jié)果，ParaStor系統(tǒng)數(shù)據(jù)控制器節(jié)點每個插兩塊雙口千兆以太網(wǎng)卡，提供4個數(shù)據(jù)傳輸通道，單節(jié)點可以提供高達150MB/s的寫帶寬和360MB/s的讀帶寬。ParaStor100H系統(tǒng)的聚合帶寬，可以用每節(jié)點帶寬乘以節(jié)點數(shù)來計算，系統(tǒng)性能可實現(xiàn)線性增長。部署于深圳云計算中心的、系統(tǒng)總?cè)萘?6PB的P

23、araStor系統(tǒng)可提供高達一百多GB/s的聚合帶寬！那么，ParaStor100H是如何達到超高性能的呢？我們可以通過ParaStor100H系統(tǒng)的讀寫機制來分析。某個客戶端發(fā)起讀寫請求，通過核心交換機，向ParaStor100H系統(tǒng)發(fā)起讀寫請求。以兩個索引控制器和八個數(shù)據(jù)控制器為例，索引控制器首先會接收此次讀寫請求，并通過分析數(shù)據(jù)控制器的狀態(tài)來確定將文件如何分割以及寫到哪些數(shù)據(jù)控制器上，然后將此信息反饋給客戶端，客戶端通過讀取此信息，利用與數(shù)據(jù)控制器相連的數(shù)據(jù)通道并發(fā)的將文件塊寫入到對應(yīng)的節(jié)點磁盤上。反過來看讀一個文件，這個非常好理解，就是寫的一個反過程。形象地舉個例子，傳統(tǒng)架構(gòu)數(shù)據(jù)要寫到

24、磁盤上或從磁盤上讀取數(shù)據(jù)，相當于一個人（一個機頭）搬八個箱子，而ParaStor100H存儲系統(tǒng)是八個人搬八個箱子，效率和速度大大提高，這種并行架構(gòu)決定了系統(tǒng)讀寫的性能比一般的存儲性能高很多。Parastor100H這種優(yōu)異的并行讀寫機制，可以充分利用后端多臺存儲設(shè)備的聚合帶寬，滿足廣電媒資管理系統(tǒng)多用戶并發(fā)所需的高帶寬需要。l Scale-out擴展方式，性能和容量隨數(shù)據(jù)控制器數(shù)量的增加而線性增長不同于Scale-up的單個設(shè)備向更強大的CPU、內(nèi)存、通道及其他設(shè)備擴展的方式，Scale-out則是通過一定的技術(shù)將一個個獨立的低成本設(shè)備聚合成一個大而強的系統(tǒng)。對于用戶來講，Scale-up架

25、構(gòu)的存儲系統(tǒng)其設(shè)備處理能力上限在購買時已經(jīng)確定，如果需求超過上限，只能重新購買更高性能的設(shè)備；而Scale-out架構(gòu)的系統(tǒng)可以采用搭積木的方式，通過把成百上千臺個體聚合起來，來滿足不斷增長的存儲容量和性能的需求。SAN和NAS存儲系統(tǒng)采用Scale-up擴展方式，存儲性能和容量都存在擴展上限，而ParaStor100H系統(tǒng)就是一款基于Scale-out架構(gòu)的高端存儲系統(tǒng)，其存儲性能和容量可以按需進行動態(tài)擴展。由于采用了Scale-out橫向動態(tài)擴展技術(shù)，ParaStor100H系統(tǒng)可以為用戶提供如下好處：打破了傳統(tǒng)SAN架構(gòu)的擴展限制，容量可擴展到EB級，同時可以保證存儲系統(tǒng)容量和性能的均衡

26、，可以很好的滿足廣電用戶未來隨業(yè)務(wù)增長所帶來的海量數(shù)據(jù)的存儲空間和帶寬的需求；避免由于用戶需求的不斷增長而帶來的數(shù)據(jù)遷移和應(yīng)用中斷的問題，可隨業(yè)務(wù)需求變化而動態(tài)調(diào)整資源，帶寬、處理能力和存儲容量都可以實時調(diào)整和擴展；所有擴容操作均可以在線進行，無須中斷應(yīng)用的正常執(zhí)行。l RAID、全冗余架構(gòu)、多副本等多種數(shù)據(jù)保護機制確保整套存儲系統(tǒng)安全可靠，無單點故障，提供始終如一的高可用性Parastor100H系統(tǒng)采用集群化架構(gòu)，元數(shù)據(jù)控制器、數(shù)據(jù)控制器、數(shù)據(jù)網(wǎng)絡(luò)、存儲設(shè)備等模塊都有2個或者多個模塊組成，一個模塊出現(xiàn)問題，不會影響存儲系統(tǒng)的正常運行。同時采用后端存儲系統(tǒng)采用全冗余架構(gòu)設(shè)計，整機無線纜連接，

27、保障系統(tǒng)長時間運行的可靠性；冗余的控制器，控制器Cache互為鏡像，支持路徑冗余；冗余電源模塊、冷卻模組，整機無單點故障；永久性緩存?zhèn)浞?確保在斷電時獲取緩存中的數(shù)據(jù)并確保其安全。ParaStor100H系統(tǒng)由于采用了全冗余架構(gòu)、RAID技術(shù)以及數(shù)據(jù)多副本技術(shù)，系統(tǒng)可靠性和數(shù)據(jù)安全性非常高！ParaStor100H可以提供針對系統(tǒng)級和數(shù)據(jù)級的兩個級別容錯。系統(tǒng)級容錯：數(shù)據(jù)讀取和傳輸過程中，當某一個模塊（可以是索引控制器、硬盤、電源、風扇或者交換機）發(fā)生問題宕掉了，通過系統(tǒng)級容錯，冗余模塊可以接替問題模塊繼續(xù)工作，系統(tǒng)仍是可用的，數(shù)據(jù)仍然是安全的、完整的，用戶端感覺不到任何變化。整套系統(tǒng)沒有單點

28、故障！數(shù)據(jù)級容錯： 支持支持RAID0、1、3、5、6、10、30、50、60、NRAID等多種RAID級別，數(shù)據(jù)條帶從16KB到1024KB動態(tài)可調(diào)；可在不同業(yè)務(wù)模式下，根據(jù)I/O特性，調(diào)整優(yōu)化存儲系統(tǒng)的性能；提供RAID遷移，RAID擴容，RAID級別調(diào)整等在線功能。同時存儲系統(tǒng)還支持多副本數(shù)據(jù)保護技術(shù)，一份數(shù)據(jù)可以存儲2個或是多個副本在不同的存儲介質(zhì)上，從而實現(xiàn)數(shù)據(jù)的高可靠性！l 豐富的使用方式Parastor100H為用戶提供了豐富的使用方式。Parastor100H為追求極致性能的Linux、Windows客戶提供專有接口應(yīng)用模式，該應(yīng)用模式在需要在客戶端安裝曙光提供的客戶端軟件，客

29、戶端軟件不用修改和編譯操作系統(tǒng)內(nèi)核，這種直接訪問方式?jīng)]有額外的開銷，因此具有最好的性能。Parastor100H還為用戶提供通用應(yīng)用模式，在該應(yīng)用模式下，Parastor100為用戶提供NFS、CIFS標準訪問協(xié)議，用戶的Linux、Windows客戶端通過這些標準訪問協(xié)議訪問后端存儲系統(tǒng)，這種方式對客戶端沒有影響，使用最簡單。l 集成曙光并行存儲管理系統(tǒng)，實現(xiàn)可視化的統(tǒng)一管理和監(jiān)控ParaStor并行存儲管理系統(tǒng)是專為ParaStor系列產(chǎn)品開發(fā)的統(tǒng)一監(jiān)控管理平臺，提供系統(tǒng)配置、客戶端管理、性能優(yōu)化、監(jiān)控告警等功能，直觀易懂的中文圖形化界面方便用戶實時監(jiān)控系統(tǒng)的軟硬件狀態(tài)和性能，簡化安裝和維

30、護過程，提高管理效率。ParaStor并行存儲管理系統(tǒng)主要提供以下功能： 管理維護：提供服務(wù)啟動停止和節(jié)點上線離線功能 文件系統(tǒng)管理：提供文件系統(tǒng)查詢、文件系統(tǒng)創(chuàng)建、文件系統(tǒng)刪除功能 客戶端管理：提供客戶端查詢、增加刪除客戶端以及修改客戶端功能 安裝配置：為管理員提供系統(tǒng)的安裝卸載、節(jié)點擴容刪除、系統(tǒng)升級、數(shù)據(jù)刪除、數(shù)據(jù)磁盤增加刪除、配置修改、配置備份恢復(fù)功能 監(jiān)控管理：提供索引控制器、數(shù)據(jù)控制器，以及并行文件系統(tǒng)和整個存儲系統(tǒng)的監(jiān)控通過Parastor并行存儲管理系統(tǒng)，安裝部署5個節(jié)點與安裝部署500個節(jié)點所需時間和工作量基本相同，管理和使用10TB的存儲空間與管理和使用10PB的存儲空間一

31、樣，極大地降低了廣電用戶后期的使用和管理成本，節(jié)省了大量的人力、物力和財力。第三章 Parastor性能結(jié)果展示2.1.2.3.3.1.2.1. 測試環(huán)境1.2.3.3.1.3.1.1. 拓樸結(jié)構(gòu)圖1給出了ParaStor測試環(huán)境。數(shù)據(jù)控制器采用曙光I640r-G，元數(shù)據(jù)控制器采用曙光I840服務(wù)器。管理節(jié)點通過管理網(wǎng)絡(luò)（藍線）和所有節(jié)點相連，數(shù)據(jù)網(wǎng)絡(luò)可以是千兆網(wǎng)、萬兆網(wǎng)或IB網(wǎng)絡(luò)。圖1 拓樸結(jié)構(gòu)3.1.2. 系統(tǒng)配置表一給出了高性能計算環(huán)境下的典型配置，計算節(jié)點一般采用曙光刀片，使用IB網(wǎng)絡(luò)連接。表一 Parastor系統(tǒng)的詳細配置設(shè)備型號具體配置數(shù)量操作系統(tǒng)1MGR高性能64位處理器，12

32、GB Cache，2個1Gb管理網(wǎng)絡(luò)接口，內(nèi)嵌曙光并行存儲管理軟件，中文圖形界面，包含系統(tǒng)配置、客戶端管理、性能優(yōu)化、監(jiān)控告警等功能模塊，實現(xiàn)存儲系統(tǒng)的集中化部署、管理、監(jiān)控和維護，提供命令行支持12oPara高性能64位處理器，48GB Cache，2個1Gb管理網(wǎng)絡(luò)接口，1個40Gb IB元數(shù)據(jù)訪問接口，Raid10模式保護的290GB高可靠SAS存儲空間，冗余電源，內(nèi)嵌高性能數(shù)據(jù)索引引擎，管理客戶端的并行訪問，實現(xiàn)全局統(tǒng)一命名空間，并支持兩個索引控制器以Active-Active方式運行。2SLES10SP2x643oStor高性能64位處理器，24GB Cache，2個1Gb管理網(wǎng)絡(luò)接

33、口，1個40Gb IB數(shù)據(jù)訪問接口，2個8Gb FC存儲接口，用來訪問后端磁盤陣列提供的存儲空間，支持按需動態(tài)在線擴展；53SSU高性能64位處理器，全冗余架構(gòu)，1個管理網(wǎng)絡(luò)端口，8個8Gb FC主機接口，為數(shù)據(jù)控制器提供存儲空間，支持RAID5、RAID6等多種RAID級別，支持SAS、SATA兩種存儲介質(zhì)，提供海量存儲空間，單套系統(tǒng)最大可擴展至168TB；實際配置2TB SATA硬盤作為存儲介質(zhì)，存儲容量為72TB2SLES10SP2x644oApp曙光刀片服務(wù)器100SLES11SP1x642.2. IB帶寬測試本節(jié)給出iozone測出ParaStor的單流帶寬、單客戶端可以達到的性能，

34、以及整體的聚合性能。iozone測試的每個文件大小為30GB，記錄長度為4KB。3.2.3.2.1. 單流帶寬測試有些應(yīng)用使用單個進程訪問存儲，ParaStor通過設(shè)置文件的條帶化參數(shù)，將單個進程的操作散布到多個磁盤設(shè)備上，加速這類場景的運算速度。如表二所示，設(shè)置fs16b2r2表示條帶寬度為16，存儲帶寬度為2，2個副本。表二 測試配置stripesizestripewidthbandwidthrep_nr文件大小 設(shè)置標號16K11248G*fs1b1r2116K1612128Gfs16b1r2216K1622128Gfs16b2r23圖2給出了不同配置下的單個進程可以使用的性能，將數(shù)據(jù)散

35、布到更多設(shè)備上增加了存儲通道，從而提高了性能。在僅使用4KB大小的記錄時，即可以達到350MB/s的讀帶寬和600MB/s的寫帶寬。圖2 單流性能測試3.2.2. 單客戶端性能測試本小節(jié)測試了單個客戶端啟動多個進程可以達到獲得的聚合帶寬值，這對應(yīng)于使用少數(shù)高性能節(jié)點執(zhí)行高并發(fā)程序的應(yīng)用場景。采用fs4b1r2的存儲設(shè)置。圖3 單客戶端多進程測試圖3給出的測試結(jié)果表明，單個客戶端起兩個線程時即分別達到超過600MB/s的讀速度和超過1GB/s的寫速度。由于讀數(shù)據(jù)必須操作磁盤，因此從繼續(xù)增加線程數(shù)可以進一步提高。在條帶化模式下，單客戶端讀帶寬超過1GB/s，寫帶寬超過1.5GB/s。條帶化操作加大了并發(fā)，在分片數(shù)為16時，超過6個線程時，性能有所下降。3.2.3. 多客戶端聚合帶寬測試圖4 多客戶端聚合帶寬測試同樣使用fs4b1r2的文件系統(tǒng)設(shè)置，多個客戶端單線程同時訪問并行存儲。圖4給出了聚合性能的變化。隨著客戶端個數(shù)增加，對于存儲系統(tǒng)的壓力也越來越大，當使用8個客戶端時，聚合讀寫帶寬都可以達到2.0GB/s。當增加到16客戶端時，聚合寫性能進一步