聯(lián)想LeoStor云存儲系統(tǒng)技術(shù)白皮書

`DOCPROPERTYTitle中央人民廣播電臺云平臺系統(tǒng)聯(lián)想LeoStor技術(shù)白皮書04/11，2015DOCPROPERTY部門聯(lián)想中國服務(wù)器事業(yè)部版權(quán)聲明本DOCPROPERTYCategory方案書版權(quán)屬于DOCPROPERTYCompany聯(lián)想（北京）有限公司。未經(jīng)DOCPROPERTYCompany聯(lián)想（北京）有限公司事先書面授權(quán)，不得復(fù)制、轉(zhuǎn)載、出版、泄露或用作原用途以外的其他目的。地址：地址：中國北京市海淀區(qū)上地創(chuàng)業(yè)路6號郵編： 100085網(wǎng)址：作者聯(lián)系A(chǔ)GEi目錄TOC\o"1-3"\h\z第1章概述 11.1項(xiàng)目描述 11.2一期需求 11.3LeoStor配置 2第2章聯(lián)想LeoStor并行存儲系統(tǒng)特點(diǎn) 42.1綜合擴(kuò)展方案 42.2高可用體系架構(gòu) 42.3硬盤輸出指標(biāo) 52.4系統(tǒng)輸出接口 62.5系統(tǒng)拓?fù)浔馄交?62.6存儲的池化能力 72.7應(yīng)用更簡單 82.8與大數(shù)據(jù)分析軟件的結(jié)合 8第3章聯(lián)想LeoStor并行存儲系統(tǒng)技術(shù)優(yōu)勢 103.1線性的I/O和IOPS輸出能力 103.2統(tǒng)一名稱空間技術(shù) 113.3前端智能切片技術(shù) 123.4基于目錄的數(shù)據(jù)保護(hù)技術(shù) 133.5基于目錄的分級存儲技術(shù) 143.6多級緩存技術(shù) 153.7存儲容量均衡技術(shù) 163.8基于智能碎片技術(shù)的異步復(fù)制 17-PAGE1-關(guān)鍵詞：并行存儲，LeoStor第1章概述1.1項(xiàng)目描述我國電臺主要由中央、省、市、縣四級電臺構(gòu)成，各級電臺有著各自的覆蓋范圍和聽眾群體，從而構(gòu)成了一個完整嚴(yán)密的廣播網(wǎng)絡(luò)。因此，國內(nèi)的廣播競爭也主要是在中央電臺、省級電臺和市級電臺之間展開。2013年中國廣播收聽市場的競爭格局，表現(xiàn)為市縣級電臺在本地市場競爭優(yōu)勢明顯，省級電臺大多在省會城市市場領(lǐng)先，而中央電臺憑借其全國覆蓋的優(yōu)勢，保持10%左右的市場份額。在廣播領(lǐng)域，移動互聯(lián)時代與手機(jī)終端的發(fā)展推動了收聽的移動化、聽眾的網(wǎng)民化與廣播的網(wǎng)絡(luò)融媒化。手機(jī)、車載收音系統(tǒng)等新媒體已經(jīng)成為廣播的主要收聽終端，呈現(xiàn)出智能化和移動化的特點(diǎn)。中央臺為加快媒體融合方針的落實(shí)，中國廣播云平臺項(xiàng)目中一個方向就是打造網(wǎng)絡(luò)廣播平臺，發(fā)展自己的移動互聯(lián)終端。央廣云平臺十二個分系統(tǒng)組成。它主要以采集音頻、編輯制作、音頻檢索、版權(quán)控制為庫的核心；通過數(shù)據(jù)中心分系統(tǒng)做庫內(nèi)音頻的數(shù)據(jù)挖掘與分析；通過互聯(lián)網(wǎng)集成播控分系統(tǒng)實(shí)現(xiàn)節(jié)目的播出、分發(fā)與集成；以媒資安全分系統(tǒng)控制整系統(tǒng)的數(shù)據(jù)安全；運(yùn)營管理分系統(tǒng)以運(yùn)營為出發(fā)點(diǎn)，包括用戶管理、合作伙伴管理、運(yùn)營終端管理及平臺管理。業(yè)務(wù)規(guī)劃上，未來兩年存儲規(guī)模達(dá)到1.7PB，業(yè)務(wù)帶寬需求為1Gbps。綜上所述，我們建議央廣云平臺系統(tǒng)的存儲子系統(tǒng)采用聯(lián)想LeoStor大規(guī)模分布式集群并行存儲系統(tǒng)，其采用X86存儲服務(wù)器作為存儲載體，提供高性能、低成本、多數(shù)據(jù)冗余的擴(kuò)展方案，并且可以由物理服務(wù)器、虛擬服務(wù)器、虛擬服務(wù)器宿主機(jī)等設(shè)備直接加載使用，也可以將原有的存儲設(shè)備進(jìn)行利舊。1.2一期需求央廣云平臺實(shí)行統(tǒng)一規(guī)劃，分期實(shí)施，一期需求如下：存儲：可用100TB,采用三個副本的模式，裸容量為300TB；帶寬：輸出1Gbps1.3LeoStor配置由于帶寬需求相對較少，采用容量優(yōu)先的配置方案，并滿足副本數(shù)據(jù)冗余對節(jié)點(diǎn)數(shù)量的需求。系統(tǒng)指標(biāo)如下：系統(tǒng)裸容量為360TB，I/O輸出20Gbps，IOPS打開文件數(shù)量8萬/秒類別序號技術(shù)指標(biāo)技術(shù)要求描述基本需求1存儲陣列類型分布式并行存儲系統(tǒng)硬件要求2控制器及其架構(gòu)支持采用多控制器集群模式，控制器需支持雙Active模式，支持256個及以上控制器擴(kuò)展，擴(kuò)展的控制器硬件可不同；本次實(shí)際配置≥2個，為避免控制器輸出瓶頸，每個存儲管理節(jié)點(diǎn)響應(yīng)數(shù)據(jù)均可直接輸出給應(yīng)用設(shè)備端，無需通過控制端。3數(shù)據(jù)一級緩存容量每個數(shù)據(jù)控制器緩存≥32GB，可擴(kuò)展到256GB。4網(wǎng)絡(luò)端口主機(jī)端口或后端互聯(lián)端口支持GE、10GE、IB；每控制器節(jié)點(diǎn)實(shí)際配置10GE主機(jī)端口≥2個，其它端口依據(jù)容量和效率按需配置。5驅(qū)動器類型支持盤體外插和內(nèi)插兩種模式；支持SAS、SATA、SSD硬盤。6驅(qū)動器數(shù)量最大支持≥7200塊磁盤，本次實(shí)際配置≥180塊4TBSAS/SATA磁盤（轉(zhuǎn)速≥7200轉(zhuǎn)/分鐘），必須是無微碼硬盤。7最大支持容量≥200PB8高可靠性所有部件采用冗余設(shè)計(jì)，確保無任何單點(diǎn)故障，如電源、數(shù)據(jù)通道等，采用內(nèi)存保護(hù)技術(shù)，在任何一部件發(fā)生故障時，系統(tǒng)仍能保持正常運(yùn)行。應(yīng)具有完全在線，無需停機(jī)的擴(kuò)充能力，包括系統(tǒng)微碼升級、系統(tǒng)處理能力的擴(kuò)充、存儲容量的擴(kuò)充等。9機(jī)柜配置原廠機(jī)柜及運(yùn)行維護(hù)管理套件性能要求10NAS指標(biāo)系統(tǒng)每秒fopen()IOPS不小于每秒6萬次，延遲不超過10ms；單一NAS文件系統(tǒng)≥100PB。11讀寫指標(biāo)大數(shù)據(jù)順序I/O：讀≥5GB/sec，寫≥4GB/sec。功能要求12數(shù)據(jù)可靠性保護(hù)支持多副本和N+M糾刪碼數(shù)據(jù)模式，最大可用空間可達(dá)80%，本次配置最大利用率為66%；支持每個目錄不同的數(shù)據(jù)保護(hù)模式。13協(xié)議輸出系統(tǒng)輸出LUN設(shè)備數(shù)量不少于65536，同時配置完備的NAS存儲相關(guān)協(xié)議，如NFS、CIFS協(xié)議等，支持前端切片技術(shù)的高速私有協(xié)議。14支持主機(jī)操作系統(tǒng)類型支持Windows、Linux、Solaris、AIX、MACOS等主機(jī)系統(tǒng)。15分級存儲功能支持每個目錄可管理不同存儲介質(zhì)，并設(shè)定不同數(shù)據(jù)保護(hù)級別16數(shù)據(jù)本地遷移功能要求存儲系統(tǒng)配置具有內(nèi)部數(shù)據(jù)遷移功能的軟件；基于存儲系統(tǒng)本身的控制器實(shí)現(xiàn)數(shù)據(jù)在文件系統(tǒng)之間的數(shù)據(jù)遷移，遷移和切換且無需中斷應(yīng)用訪問。17數(shù)據(jù)容災(zāi)功能支持存儲間數(shù)據(jù)復(fù)制協(xié)議，支持異步模式實(shí)現(xiàn)遠(yuǎn)程數(shù)據(jù)同步及容災(zāi)，支持雙活數(shù)據(jù)。18存儲利舊可掛載客戶原有IP-SAN、FC-SAN或NAS存儲陣列，可在單一目錄下合并存儲容量19通道負(fù)載均衡管理無需額外軟件，即可實(shí)現(xiàn)數(shù)據(jù)訪問流量的負(fù)載均衡，自動切換故障通道20配額管理支持基目錄的空間配額管理。軟件要求21管理軟件免費(fèi)提供管理控制臺及完整的存儲系統(tǒng)管理軟件，提供集中式Web管理，在單一管理界面實(shí)現(xiàn)監(jiān)控，提供與主流網(wǎng)絡(luò)管理軟件的集成。22安全管理軟件免費(fèi)提供基于存儲陣列的安全控制管理軟件，以保證不同主機(jī)系統(tǒng)對存儲陣列訪問的安全性。23性能分析軟件免費(fèi)提供存儲性能、流量分析軟件集成與售后服務(wù)24與現(xiàn)有系統(tǒng)集成與現(xiàn)有應(yīng)用軟件和系統(tǒng)無縫連接，無需應(yīng)用系統(tǒng)二次開發(fā)，保證磁盤陣列充分共享。25售后服務(wù)三年原廠免費(fèi)質(zhì)保及后續(xù)技術(shù)服務(wù)

第2章聯(lián)想LeoStor并行存儲系統(tǒng)特點(diǎn)2.1綜合擴(kuò)展方案LeoStor并行存儲系統(tǒng) 聯(lián)想LeoStor系統(tǒng)采用ThinkServer等性價(jià)比極高的存儲服務(wù)器和JBOD，構(gòu)筑并行存儲系統(tǒng)，支持千兆、萬兆和40G以太網(wǎng)絡(luò)以及Infiniband網(wǎng)絡(luò)。 聯(lián)想LeoStor并行存儲系統(tǒng)包含元數(shù)據(jù)集群節(jié)點(diǎn)（MDS）和存儲集群節(jié)點(diǎn)（OSS），其功能如下：MDS節(jié)點(diǎn)：存儲文件節(jié)點(diǎn)信息，每個MDS節(jié)點(diǎn)的文件并行打開能力（IOPS）可達(dá)4萬/秒，MDS節(jié)點(diǎn)需要成對部署。OSS節(jié)點(diǎn)：存儲文件數(shù)據(jù)信息，每個OSS節(jié)點(diǎn)的帶寬有效輸出能力（I/O）可達(dá)4Gbps，由于本項(xiàng)目需要做2副本模式，所以，系統(tǒng)至少要配置OSS節(jié)點(diǎn)4臺，且可以單數(shù)增加。LeoStor可采用簡單的通過增加存儲服務(wù)器的方式實(shí)現(xiàn)橫向擴(kuò)展（Scale-Out）方式增加MDS節(jié)點(diǎn)和OSS存儲節(jié)點(diǎn)，系統(tǒng)并不限制節(jié)點(diǎn)數(shù)量，節(jié)點(diǎn)數(shù)量依賴于交換機(jī)的端口數(shù)量。LeoStorOSS節(jié)點(diǎn)支持的硬盤為更穩(wěn)定、更經(jīng)濟(jì)、性價(jià)比更高的服務(wù)器硬盤，硬盤上沒有任何微碼，客戶可以在市場隨意采購，方便客戶降低使用成本。 聯(lián)想LeoStor并行存儲系統(tǒng)支持任何時期的MDS/OSS節(jié)點(diǎn)硬件，且每個MDS/OSS節(jié)點(diǎn)的配置不需要完全一致，可在長時間內(nèi)保護(hù)用戶的總體投資（TCO）。2.2高可用體系架構(gòu) LeoStor采用“帶外管理”架構(gòu)，系統(tǒng)架構(gòu)分成元數(shù)據(jù)節(jié)點(diǎn)和存儲數(shù)據(jù)節(jié)點(diǎn)，每個節(jié)點(diǎn)都可以形成自己的集群，集群數(shù)量越多，系統(tǒng)故障概率越低，隨著節(jié)點(diǎn)的數(shù)量增加，故障概率遞減，并趨近零。 元數(shù)據(jù)節(jié)點(diǎn)（MDS）采用Active-Active模型，負(fù)載均衡模型，實(shí)時接管，其他公司產(chǎn)品多采用Active-Standby模型，當(dāng)元數(shù)據(jù)節(jié)點(diǎn)故障時，元數(shù)據(jù)節(jié)點(diǎn)有個數(shù)秒的切換時間，而LeoStor的一個數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)故障，應(yīng)用服務(wù)器節(jié)點(diǎn)（MDC）可直接訪問另外一臺Active節(jié)點(diǎn)，無需故障切換機(jī)制。 在寫數(shù)據(jù)方面，有些公司分布式存儲產(chǎn)品，由于沒有采用高效的切片存儲算法，而是通過內(nèi)存做緩存的方式，提高寫速度，即客戶端的寫文件的時候，數(shù)據(jù)先寫入內(nèi)存中，再定期將內(nèi)存數(shù)據(jù)刷新到硬盤介質(zhì)中，假如此時系統(tǒng)斷電，系統(tǒng)將丟失大量數(shù)據(jù)，丟失數(shù)據(jù)的存儲，無論多便宜，都是不可使用的；而LeoStor的存儲有著高效的切片算法，所有數(shù)據(jù)都是直接寫入硬盤，只有全部片段寫入成功，MDC中的應(yīng)用程序中的fwrite()函數(shù)，才會返回正確。 在數(shù)據(jù)冗余方面，其他公司產(chǎn)品僅提供一備一數(shù)據(jù)冗余方案，而LeoStor提供兩類冗余方案，包括副本模式，N+M糾刪碼模式，其中副本模式，可以做多個副本，糾刪碼一般有2份數(shù)據(jù)一個校驗(yàn)，4份校驗(yàn)1個校驗(yàn)的數(shù)據(jù)保護(hù)模式。 在鏈路冗余方面，LeoStor支持802.3冗余鏈路協(xié)議，可以兼容所有主流交換機(jī)構(gòu)造的冗余網(wǎng)絡(luò)，并支持虛擬交換機(jī)網(wǎng)絡(luò)，所有冗余鏈路均為Active狀態(tài)，不僅做到冗余，而且做到鏈路帶寬的聚合。 LeoStor的MDS、OSS節(jié)點(diǎn)均采用高品質(zhì)LenovoThinkServer或SystemX存儲服務(wù)器硬件，標(biāo)配冗余電源，實(shí)時遠(yuǎn)程監(jiān)控、管理服務(wù)器部件狀態(tài)，可準(zhǔn)確預(yù)警、報(bào)警，可實(shí)現(xiàn)集中式管理。2.3硬盤輸出指標(biāo) LeoStor可以使用SAS、SATA、NL-SAS、SSD、PCI-SSD作為OSS節(jié)點(diǎn)的存儲介質(zhì)，LeoStor具有高效的“帶外”數(shù)據(jù)流管理機(jī)制，應(yīng)用服務(wù)器/客戶端節(jié)點(diǎn)在獲得MDS文件索引信息后，可直接與OSS節(jié)點(diǎn)通訊，可充分發(fā)揮每塊硬盤的I/O潛能。LeoStor硬盤輸出能力 使用LeoStor的場景包括大并發(fā)的實(shí)時業(yè)務(wù)系統(tǒng)，比如廣電流媒體、互聯(lián)網(wǎng)視頻點(diǎn)播、虛擬化vDC，考慮更多是帶寬的輸出和時效；網(wǎng)盤、教育課件庫、圖書館、金融的電子掃描件、視頻監(jiān)控，考慮更多的是更大的存儲容量，通過使用LeoStor的分級存儲功能，為不同的業(yè)務(wù)配置不同類型的硬盤，就可以滿足業(yè)務(wù)的各種需求。2.4系統(tǒng)輸出接口 LeoStor輸出兩類或三種接口：LUN，塊設(shè)備；網(wǎng)絡(luò)文件系統(tǒng)：高速LeoStorFS文件系統(tǒng)和NAS（CIFS/NFS）協(xié)議； 在云平臺系統(tǒng)中，LUN塊設(shè)備可以應(yīng)用在VMware、KVM、Citrix等宿主機(jī)的鏡像文件加載，以及OracleRAC系統(tǒng)中，其他的，非結(jié)構(gòu)化數(shù)據(jù)，以及MySQL、SQLServer、HBase等均可使用高速LeoStorFS文件系統(tǒng)，而不需要先加載LeoStor的塊設(shè)備，再在上面格式化EXT3/4、NTFS等文件系統(tǒng)。 LeoStor為IaaS基礎(chǔ)存儲平臺，可為上層應(yīng)用VMCerter提供PaaS層接口，包括符合RESTful、JSON、XML等格式的接口。2.5系統(tǒng)拓?fù)浔馄交?LeoStor構(gòu)筑在標(biāo)準(zhǔn)以太網(wǎng)和Infiniband網(wǎng)絡(luò)，應(yīng)用服務(wù)器節(jié)點(diǎn)通過網(wǎng)路直接訪問存儲系統(tǒng)，而無需再通過NAS協(xié)議，從而減少系統(tǒng)部署復(fù)雜性，并提高系統(tǒng)的可靠性。 LeoStor與周邊系統(tǒng)的連接方式有兩種：獨(dú)立拓?fù)淠Ｊ剑篖eoStor獨(dú)立拓?fù)淠Ｊ交旌贤負(fù)淠Ｊ絃eoStor混合拓?fù)淠Ｊ?獨(dú)立拓?fù)淠Ｊ胶突旌贤負(fù)淠Ｊ礁饔袃?yōu)缺點(diǎn)，這個要根據(jù)客戶的實(shí)際需求來確定，一般的說，如果預(yù)算許可，建議做獨(dú)立拓?fù)洹?.6存儲的池化能力 聯(lián)想LeoStor并行存儲系統(tǒng)具備更有彈性的目錄級存儲空間管理策略，系統(tǒng)可對不同的目錄做不同的配額管理，配合管理可基于設(shè)備、應(yīng)用和用戶等粒度進(jìn)行管理，并可以通過RESTful、XML等接口與管理系統(tǒng)對接。 LeoStor池化能力 在LeoStor中，所有存儲空間的分配都是邏輯的，每個目錄在邏輯邊界上做數(shù)據(jù)隔離，當(dāng)某一個目錄空間不夠的時候，如果還有未分配的空間，系統(tǒng)管理員可以將其目錄空間擴(kuò)大到預(yù)定數(shù)值，無需停止部署在該目錄上的應(yīng)用；如果沒有分配的空間，用戶可以通過兩個策略獲得可用空間：縮減其他目錄的空間，回收可用空間；增加OSS節(jié)點(diǎn)，增加系統(tǒng)可用空間；聯(lián)想LeoStor并行存儲系統(tǒng)可對目錄進(jìn)行安全管理，可設(shè)置基于應(yīng)用層ACL權(quán)限管理，確保池化數(shù)據(jù)的安全訪問。2.7應(yīng)用更簡單 傳統(tǒng)的磁盤陣列或其他公司的虛擬化存儲，對外提供的是基于LUN技術(shù)的塊存儲，客戶需要使用掛載文件系統(tǒng)才能使用。在配合負(fù)載均衡使用的時候，需要掛載并行文件系統(tǒng)或者CIFS/NFS協(xié)議的網(wǎng)絡(luò)文件系統(tǒng)，雖然在底層實(shí)現(xiàn)LUN的條帶化，但是網(wǎng)絡(luò)文件系統(tǒng)的低效會降低存儲的I/O和IOPS，此外，部署也比較復(fù)雜，不是系統(tǒng)運(yùn)維管理的未來方向。聯(lián)想LeoStor并行存儲系統(tǒng)提供高效的、網(wǎng)絡(luò)級的、共享文件協(xié)議，用戶無需面對傳統(tǒng)存儲陣列上各種復(fù)雜概念，使得部署起來更加得心應(yīng)手。 高效的LeoStor并行存儲系統(tǒng)，可以充當(dāng)統(tǒng)一存儲的要求，使得無論是結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫數(shù)據(jù)）還是非結(jié)構(gòu)化數(shù)據(jù)（圖片/視頻），均可以按照不同目錄的方式統(tǒng)一存儲和配置。 聯(lián)想LeoStor并行存儲系統(tǒng)在客戶端提供符合國際標(biāo)準(zhǔn)的POSIX協(xié)議的LEOFS文件系統(tǒng)，LEOFS支持Windows、Linux和蘋果的MacOS操作系統(tǒng)，使得LeoStor的客戶端可以是Windows和Linux操作系統(tǒng)的服務(wù)器，也可以是WindowsXP/Win7/Win8、Linux和蘋果iOS工作站，從而讓LeoStor云存儲既可以面對后臺系統(tǒng)，也可以面對前臺OA系統(tǒng)、工程制圖系統(tǒng)。2.8與大數(shù)據(jù)分析軟件的結(jié)合 Hadoop是大數(shù)據(jù)存儲和分析系統(tǒng)，其中，HDFS系統(tǒng)負(fù)責(zé)數(shù)據(jù)的存儲，MapReduce系統(tǒng)負(fù)責(zé)數(shù)據(jù)的分析。 聯(lián)想LeoStor系統(tǒng)較HDFS系統(tǒng)相比，具有一定的性能和部署優(yōu)勢。HadoopHDFSLeoStorLEOFS開發(fā)語言Java應(yīng)用程序級別C內(nèi)核級模塊定位處理行應(yīng)用通用大規(guī)模文件共享存儲應(yīng)用接口JavaAPI適用于一次寫多次讀的應(yīng)用，同一時間只能有一位寫用戶，不支持軟、硬連接，應(yīng)用程序需要更改文件讀寫API函數(shù)POSIX標(biāo)準(zhǔn)文件系統(tǒng)接口，同一個文件可以多讀多寫，應(yīng)用程序無需更改文件讀寫API函數(shù)文件類型優(yōu)化大文件大、小文件文件數(shù)量支持百萬致千萬級（白皮書公布）千億級，現(xiàn)有案例中超過300億文件數(shù)量數(shù)據(jù)遷移不支持（當(dāng)因服務(wù)器容量寫滿后進(jìn)行擴(kuò)容時無法利用起OSS存儲系統(tǒng)整體聚合帶寬）支持（按需遷移數(shù)據(jù)，所有OSS存儲服務(wù)器容量負(fù)載均衡，可以充分利用存儲整體帶寬）名字節(jié)點(diǎn)（MDS）單臺，存在單點(diǎn)故障集群架構(gòu)（最大可擴(kuò)展到128臺） LeoStor的LEOFS和Hadoop的HDFS的對比MapReduceMapReduceHadoopHDFSLeoStorLEOFS存儲服務(wù)器 MapReduce的訪問架構(gòu) 由于LEOFS具備標(biāo)準(zhǔn)的POSIX接口，MapReduce可以無縫接入，用戶在MapReduce上配置的分析腳本可以正常使用。 使用聯(lián)想LeoStor并行存儲系統(tǒng)，用戶無需再架構(gòu)一套HadoopHDFS，減少客戶的硬件投資和降低維護(hù)成本。

第3章聯(lián)想LeoStor并行存儲系統(tǒng)技術(shù)優(yōu)勢3.1線性的I/O和IOPS輸出能力傳統(tǒng)的，構(gòu)筑存儲陣列池的方式，一般會使用陣列上的FC端口形成FC-SAN架構(gòu)，或使用陣列上的以太網(wǎng)口形成IP-SAN架構(gòu)，但是，受制于物理硬件的限制，其FC端口和以太網(wǎng)口不能無限制擴(kuò)充，只能有個固定的最高值，如EMC5300存儲陣列支持16個8Gbps的FC端口，8個1Gbps或10Gbps的以太網(wǎng)端口。對于數(shù)據(jù)庫類的應(yīng)用，存儲陣列提供LUN設(shè)備，對于文件類的應(yīng)用，存儲陣列可以提供給應(yīng)用服務(wù)器LUN設(shè)備，然后由應(yīng)用服務(wù)器上的NAS協(xié)議，對外提供網(wǎng)絡(luò)文件服務(wù)，或者由存儲陣列上的NAS協(xié)議對外提供服務(wù)。 在存儲陣列中，由于帶寬受到物理通道的限制，增加容量的同時，并不能增加I/O，或者IOPS，因此，客戶需要通過CDN系統(tǒng)的方式，來解決I/O或者IOPS，但是，這種方案對于系統(tǒng)管理和應(yīng)用軟件來說，系統(tǒng)會過于復(fù)雜，會帶來災(zāi)難性的后果。 聯(lián)想LeoStor并行存儲系統(tǒng)可以從容面對大數(shù)據(jù)和云應(yīng)用，其通過Scale-Out方式，橫向增加MDS元數(shù)據(jù)節(jié)點(diǎn)，提升IOPS能力，橫向增加OSS存儲節(jié)點(diǎn)，提升系統(tǒng)I/O能力。LeoStor線性I/O能力 LeoStor并行存儲系統(tǒng)可擴(kuò)展1024個OSS節(jié)點(diǎn)，能夠提供有效帶寬達(dá)到6Tbps。LeoStor線性IOPS能力 LeoStor定義的IOPS能力為每個并發(fā)打開文件，即執(zhí)行fopen()能力，不同的型號其MDS節(jié)點(diǎn)的輸出能力不同，高端P系列的MDS節(jié)點(diǎn)可達(dá)15萬/秒，如果需要達(dá)到100萬，則需要配置6臺MDS節(jié)點(diǎn)即可。3.2統(tǒng)一名稱空間技術(shù) 聯(lián)想LeoStor并行存儲系統(tǒng)One-View統(tǒng)一名稱空間就是在不同的應(yīng)用服務(wù)器視角，都能看到同一個目錄空間或者目錄視圖。LeoStorOne-View統(tǒng)一名稱空間技術(shù) 傳統(tǒng)的應(yīng)用系統(tǒng)采用NAS技術(shù)實(shí)現(xiàn)統(tǒng)一名稱空間，但是NAS在解決大數(shù)據(jù)有天然不足，包括I/O、IOPS等，并且NAS系統(tǒng)有潛在熱點(diǎn)，造成系統(tǒng)阻塞，從而降低用戶的體驗(yàn)效果。集群NAS具有潛在熱點(diǎn)風(fēng)險(xiǎn)集群NAS的文件一致性靠NAS控制節(jié)點(diǎn)來保證，所以要不間斷的同步NAS控制器，致使控制器存在數(shù)量限制。 LeoStor較集群NAS系統(tǒng)更強(qiáng)壯 LeoStor并行存儲系統(tǒng)依靠元數(shù)據(jù)MDS子系統(tǒng)維持文件的一致性的，其4萬/秒的IOPS能力遠(yuǎn)大于MAS控制器的數(shù)千個IOPS能力，而集群MDS可以提供超過百萬個IOPS，滿足數(shù)十萬并發(fā)用戶的訪問。3.3前端智能切片技術(shù) 聯(lián)想LeoStor云存儲的前端切片（Front-EndSlicing）技術(shù)，就是將文件根據(jù)OSS節(jié)點(diǎn)和硬盤數(shù)量等條件按照策略自動切成多個數(shù)據(jù)片段，將數(shù)據(jù)片段存儲在不同的OSS存儲節(jié)點(diǎn)上的不同硬盤區(qū)域中。LeoStorFront-EndSlicing前端切片技術(shù)相對于不切片存儲技術(shù)具有天然的優(yōu)勢：不切片的存儲只能存儲在單一一臺存儲設(shè)備中，而LeoStor存儲在不同OSS節(jié)點(diǎn)中，可以避免單設(shè)備的硬盤和硬盤控制器的I/O和IOPS的瓶頸；不切片的存儲只能利用RAID控制器將數(shù)據(jù)平鋪到同一設(shè)備的不同硬盤中，雖然在同一設(shè)備中確保數(shù)據(jù)的安全，但是如果設(shè)備出現(xiàn)故障，比如控制器損壞或掉電，那么其中的數(shù)據(jù)將不可訪問，而LeoStor將數(shù)據(jù)保存到不同OSS存儲節(jié)點(diǎn)中，大大減少整體數(shù)據(jù)不可讀的概率；相對于后端切片技術(shù)，LeoStor仍具有更大的優(yōu)勢。雖然，后端切片可從不同OSS節(jié)點(diǎn)中獲得切片數(shù)據(jù)，但是其必須開更多的內(nèi)存去接收這些中間數(shù)據(jù)，當(dāng)面對大數(shù)據(jù)和大并發(fā)時，內(nèi)存不足將使得系統(tǒng)無法繼續(xù)；進(jìn)一步的，由于后端切片需要在該系統(tǒng)的控制部分進(jìn)行，需要占用本機(jī)大量的CPU資源，而為了能正確切片，需要更多內(nèi)存接收數(shù)據(jù)，當(dāng)面對大數(shù)據(jù)和大并發(fā)時，內(nèi)存不足將使得系統(tǒng)無法繼續(xù)。3.4基于目錄的數(shù)據(jù)保護(hù)技術(shù) 聯(lián)想LeoStor并行存儲系統(tǒng)UltraRaid是新一代的數(shù)據(jù)保護(hù)技術(shù)，如同服務(wù)器或者存儲陣列提供Raid0,1,3,5,50等傳統(tǒng)基于單一設(shè)備硬盤的數(shù)據(jù)保護(hù)技術(shù)，LeoStor提供更先進(jìn)的基于多個設(shè)備和硬盤的數(shù)據(jù)保護(hù)技術(shù)，滿足不同應(yīng)用的需求。UltraRaidR11：一份數(shù)據(jù)，一份拷貝，存儲利用率為50%；UltraRaidR12：一份數(shù)據(jù)，二份拷貝，存儲利用率為33%；UltraRaidR52：二份數(shù)據(jù)，一個校驗(yàn)值，存儲利用率為66%；UltraRaidR54：四份數(shù)據(jù)，四個校驗(yàn)值，存儲利用率為80%；LeoStorUltraRaid數(shù)據(jù)保護(hù)技術(shù) LeoStor并行存儲系統(tǒng)的UltraRaid技術(shù)并不要求硬盤的型號、容量等指標(biāo)一致，可長期保護(hù)用戶的投資。 LeoStor的豐富的數(shù)據(jù)保護(hù)模式，可以為客戶帶來顯而易見的費(fèi)用節(jié)省。比如某項(xiàng)目需要配置1PB的可用存儲空間，如果采用其他公司的產(chǎn)品，數(shù)據(jù)冗余程度只能做到50%，則其必須配置到2PB，而LeoStor只需要配置1.25PB，節(jié)省0.75PB的存儲，折合到4TB硬盤，可以節(jié)省192塊硬盤，4TB的企業(yè)級硬盤的價(jià)格約2000元左右，則可以節(jié)省38.4萬元。LeoStorUltraRaid基于目錄的數(shù)據(jù)保護(hù)技術(shù)LeoStor并行存儲系統(tǒng)的UltraRaid技術(shù)又一顯著優(yōu)勢，就是可以根據(jù)目錄的業(yè)務(wù)要求配置不同的數(shù)據(jù)保護(hù)類型，比如客戶檔案目錄，配置成RaidR11，而某些中間檔案文件、圖片可以配置成RaidR54，這樣，可以最大限度利用系統(tǒng)空間，以及滿足各種數(shù)據(jù)的保護(hù)要求。3.5基于目錄的分級存儲技術(shù)聯(lián)想LeoStor并行存儲系統(tǒng)Tiered-Storage分級存儲技術(shù)，提供基于目錄的混合存儲介質(zhì)解決方案，使得用戶在任何階段都能根據(jù)業(yè)務(wù)需求部署性價(jià)比更高的存儲介質(zhì)，而無需一步到位。LeoStorTiered-Storage可使用說有的存儲介質(zhì) 隨著存儲技術(shù)的發(fā)展，市場上可采購到SATA、SAS、SSD、PCI-SSD等存儲介質(zhì)，其各有特點(diǎn)，SATA是機(jī)械式的，一般是7200轉(zhuǎn)/秒，讀取能力較低，但是容量大，價(jià)格便宜，受到用戶的廣泛歡迎；PCI-SSD是電子的，具有跟內(nèi)存一樣的讀取速度，但是單機(jī)容量低，價(jià)格昂貴，在強(qiáng)調(diào)存取速度的業(yè)務(wù)中獨(dú)樹一幟。LeoStorTiered-Storage基于目錄的分級存儲技術(shù) LeoStorTiered-Storage分級存儲技術(shù)，可讓用戶將資金投入到最需要的業(yè)務(wù)中，比如在廣電視頻播放業(yè)務(wù)，經(jīng)常會有熱播劇或熱點(diǎn)欄目，當(dāng)流行一段時間后，用戶訪問量降低，面對這種業(yè)務(wù)，用戶可以配置兩種規(guī)格存儲，SATA介質(zhì)的目錄，放置數(shù)百TB的視頻庫和資料庫，而PCI-SSD/SSD介質(zhì)的目錄，放置熱播劇和7天回放的節(jié)目，可顯著降低每流的成本以及每用戶的成本，提高客戶的業(yè)務(wù)收益率。 LeoStor可實(shí)現(xiàn)在同一個目錄中的“混合介質(zhì)存儲”技術(shù)，即將低速的SATA和高速的SSD混合部署，通過手動遷移，將可識別的熱點(diǎn)文件，遷移到高速SSD介質(zhì)上，文件相對路徑不變，在減少系統(tǒng)抖動情況下，確保系統(tǒng)的高速輸出。3.6多級緩存技術(shù)聯(lián)想LeoStor并行存儲系統(tǒng)MultiCache多級緩存技術(shù)，在客戶端（應(yīng)用服務(wù)器節(jié)點(diǎn)）、MDS元數(shù)據(jù)節(jié)點(diǎn)和OSS存儲節(jié)點(diǎn)等三個地方可配置內(nèi)存級緩存，能夠顯著提升有效輸出帶寬和首次響應(yīng)時間，MultiCache多級緩存技術(shù)適合多讀一寫或多讀少寫的應(yīng)用場景，比如傳媒、教育和互聯(lián)網(wǎng)。LeoStorMultiCache多級緩存技術(shù)LeoStorOSS存儲節(jié)點(diǎn)可將來自應(yīng)用服務(wù)器的數(shù)據(jù)（切片）請求讀/預(yù)讀到內(nèi)存中，形成緩存，如果來自其他應(yīng)用服務(wù)器的數(shù)據(jù)（切片）請求，剛好在內(nèi)存中，則OSS根據(jù)TTL規(guī)則，會將緩存中的數(shù)據(jù)返回給應(yīng)用服務(wù)器端，而無需再從慢速的硬件介質(zhì)中讀取。用戶經(jīng)過應(yīng)用服務(wù)器（相對LeoStor，為客戶端）從LeoStor中觀看一個視頻，LeoStorClientAgent將視頻的相關(guān)片段，根據(jù)策略會保留在應(yīng)用服務(wù)器的內(nèi)存中，形成切片緩存，切片緩存有一定TTL生命時間，在TTL有效期內(nèi)，如果，另外一個客戶恰好也訪問該視頻片段（切片），則LeoStor會將該緩存的切片數(shù)據(jù)返回給客戶，而不會再向OSS存儲節(jié)點(diǎn)索取數(shù)據(jù)。如果一部影片都緩存在該應(yīng)用服務(wù)器中，則用戶的并發(fā)訪問數(shù)與應(yīng)用服務(wù)器的網(wǎng)絡(luò)帶寬密切有關(guān)，因此，類似