DDN高性能存儲(chǔ)WOS云存儲(chǔ)解決方案

李若甫ruofu.li@WOS?云存儲(chǔ)系統(tǒng)超大規(guī)模、面向?qū)ο?、地理分?014年6月18genda公司簡(jiǎn)介傳統(tǒng)方案的困境WOS?定位與典型應(yīng)用場(chǎng)景WOS?技術(shù)細(xì)節(jié)Q&ADDN公司簡(jiǎn)介規(guī)模實(shí)力外部存儲(chǔ)的品牌廠商

–按收入排名DDN是世界上最大的私人持有的存儲(chǔ)廠商DDN是全球第四大存儲(chǔ)廠商Source:行業(yè)認(rèn)證World’sLargestPrivately-HeldStorageCo.Fast500TechnologyCompanyInc.500|5000High-GrowthCompanyBestHPCStoragePlatformsBestPracticeforDigitalMediaHotTechnologyfor2012關(guān)鍵統(tǒng)計(jì)數(shù)據(jù)公司定位：提供高度可擴(kuò)展和高效的存儲(chǔ)解決方案，幫助客戶快速成功、隨數(shù)據(jù)集的持續(xù)增長輕易擴(kuò)展、解決性能和容量擴(kuò)展問題從而獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。1998年成立，總部位于Chatsworth,CaliforniaUSA；全球約700名雇員，覆蓋4大洲15個(gè)國家；擁有超1000家客戶，分布在50個(gè)國家，已交貨容量超過1EB(1ExaByte=1000PetaByte=106TeraByte)市場(chǎng)營銷策略:全球合作伙伴,增值分銷商,分銷商重點(diǎn)關(guān)注高性能計(jì)算與生命科學(xué)、云&網(wǎng)頁內(nèi)容、富媒體、情報(bào)及監(jiān)控等細(xì)分市場(chǎng)在大數(shù)據(jù)系統(tǒng)上的投資超過1億美元DDN|

全球大數(shù)據(jù)解決方案領(lǐng)導(dǎo)者大數(shù)據(jù)產(chǎn)品家族EXAScaler?10KsofClients1TB/s+,HSMLinux/WindowsClientsNFS&CIFSWOS?256BillionObjectsGeoReplicated8MillionObjects/SecondSelf-HealingMobileCloudAccessDirectMon大數(shù)據(jù)平臺(tái)管理方案SFA12K40GB/s/1.7MIOPS1,680Drives:16U-2RacksEmbeddedComputingSFA770010GB/s,600KIOPS60Drivesin4U;396Drivesin20UStorageFusionArchitecture?

CoreStoragePlatformsFlexibleDriveConfigurationSFXAutomatedFlashCachingReadWriteContextCommitInstantCommithScaler?50-2000Nodes200+DataSourcesHighSpeedETLUpto500%FasterResults企業(yè)級(jí)Hadoop一體機(jī)PB級(jí)Lustre?

存儲(chǔ)企業(yè)級(jí)水平擴(kuò)展文件存儲(chǔ)GRIDScaler?1KsofClients1TB/s+,HSMLinux/WindowsClientsNFS&CIFSCloudTieringSASSATASSDCloudFoundation高性能計(jì)算與生命科學(xué)超算基因排序地震資料處理金融建模大學(xué)和實(shí)驗(yàn)室研究DDN|目標(biāo)市場(chǎng)：大數(shù)據(jù)媒體電視廣播后期處理數(shù)字中期動(dòng)漫視頻點(diǎn)播政府/數(shù)字安全地理空間情報(bào)視頻監(jiān)控大規(guī)模偵聽堅(jiān)固耐用(rugged)解決方案云/互聯(lián)網(wǎng)/服務(wù)提供商網(wǎng)頁內(nèi)容托管服務(wù)提供商存儲(chǔ)服務(wù)提供商個(gè)人云存儲(chǔ)DDN|1000+家世界領(lǐng)先的客戶傳統(tǒng)方案的困境NAS的不足NAS性能低下NAS設(shè)備管理了大量目錄元數(shù)據(jù)如果在每個(gè)目錄下存儲(chǔ)幾千個(gè)文件，讀一個(gè)幾KB的文件可能需要10個(gè)以上磁盤操作；即使將每個(gè)目錄下的文件數(shù)量削減為幾百個(gè)，為獲取1個(gè)小文件NAS系統(tǒng)仍然需要至少3個(gè)磁盤操作：將目錄元數(shù)據(jù)加載到內(nèi)存并將文件名轉(zhuǎn)換為inodenumber、從磁盤上讀取inode、讀取文件本身NAS+NFS/CIFS成本高昂緩存文件句柄對(duì)longtail數(shù)據(jù)的性能幫助很小傳統(tǒng)CDN面臨的困境云備份、iCloud、電信運(yùn)營商的話單日志、Facebook等SNS網(wǎng)站…上述海量數(shù)據(jù)中，longtail數(shù)據(jù)占很大比例傳統(tǒng)CDN使用RAM緩存實(shí)現(xiàn)低延遲、高并發(fā)，為熱點(diǎn)數(shù)據(jù)提供了高性能；但對(duì)longtail數(shù)據(jù)無能為力SizeofHDDSizeofRAMCDN的價(jià)值＝如何降低海量數(shù)據(jù)的存儲(chǔ)成本，降低訪問longtail數(shù)據(jù)的延遲，提高IO性能？LongtailCIO的困境BYOD、Cloud、Social、Mobile…BigData！預(yù)算有限，分身無術(shù)，客戶需要一個(gè)簡(jiǎn)化的IT數(shù)據(jù)與應(yīng)用系統(tǒng)緊密耦合，“牽一發(fā)動(dòng)全身”擴(kuò)容、改造、升級(jí)常受制于系統(tǒng)現(xiàn)狀及軟件開發(fā)商故障點(diǎn)多，管理復(fù)雜，TCO高，新增應(yīng)用困難，擴(kuò)容升級(jí)困難現(xiàn)有應(yīng)用新增應(yīng)用票據(jù)影像數(shù)據(jù)存儲(chǔ)票據(jù)影像數(shù)據(jù)存儲(chǔ)票據(jù)影像數(shù)據(jù)存儲(chǔ)數(shù)據(jù)索引索引索引索引Harddisk：第一次購買時(shí)最優(yōu)RAID/LUN：安裝時(shí)用PND算法設(shè)定Filesystem:對(duì)現(xiàn)有應(yīng)用優(yōu)化VolumeManager：對(duì)現(xiàn)有數(shù)據(jù)優(yōu)化DataFlow?安裝即過時(shí)——WOS?典型應(yīng)用場(chǎng)景

及其生態(tài)系統(tǒng)2/7/1212WOS?：顛覆性的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方案對(duì)象被存儲(chǔ)在幾乎無限大的平面地址空間內(nèi)；將數(shù)據(jù)保存在被稱為Object的容器里每個(gè)Object都有data和metadata沒有文件系統(tǒng)的復(fù)雜性1MB以內(nèi)對(duì)象的每次讀寫只執(zhí)行1次硬盤IO對(duì)不同大小的文件自動(dòng)優(yōu)化IO性能無中心管理DataMetadataDataMetadataDataMetadata平面命名空間FullFile/Object>1MBObjectsSegmented

into1MBChunksUserMetadata(<64MB)Key-valueorbinaryTag=Beach;ThumbnailsReplication/ProtectionPolicyAsync,Sync,ObjectAssureCodingSecuritySignature64bitChecksumObjectID(OID):ACuoBKmWW3Uw1W2TmVYthAZone2Zone1WOS?

|讀寫數(shù)據(jù)流應(yīng)用/Web服務(wù)器(1)一個(gè)文件被上傳到應(yīng)用服務(wù)器或者web服務(wù)器(2)應(yīng)用程序調(diào)用WOS客戶端保存(PUT)一個(gè)新對(duì)象D.應(yīng)用程序返回文件給用戶(3)WOS客戶端在節(jié)點(diǎn)中保存該對(duì)象；后續(xù)的對(duì)象在云中被自動(dòng)負(fù)載均衡。LAN/WAN內(nèi)容數(shù)據(jù)庫(5)WOS客戶端返回唯一的標(biāo)識(shí)符OID；應(yīng)用程序保存該OID而不是傳統(tǒng)的文件路徑，然后應(yīng)用程序在內(nèi)容數(shù)據(jù)庫中注冊(cè)該OID。B.應(yīng)用程序調(diào)用WOS客戶端讀取(GET)該對(duì)象；OID被傳遞給WOS客戶端.A.某用戶需要讀取一個(gè)文件C.WOS客戶端自動(dòng)判斷哪個(gè)節(jié)點(diǎn)擁有被請(qǐng)求的對(duì)象，從延遲最低的數(shù)據(jù)源讀取該對(duì)象，并迅速將該文件返回給應(yīng)用程序(4)系統(tǒng)根據(jù)WOS的策略復(fù)制數(shù)據(jù)。本例中，該文件被復(fù)制到Zone2。OID=5718a36143521602OID=5718a36143521602WOS?用于數(shù)據(jù)源&數(shù)據(jù)加速（CDN）ApplicationServer內(nèi)容源WOSCacheServer內(nèi)容源內(nèi)容源ApplicationServerWOSCacheServerEdgeCacheWOSCacheServer內(nèi)容上傳內(nèi)容上傳AutomaticPolicy-based

SynchronizationApplicationServerEdgeCache城市1城市2城市3內(nèi)容上傳中心管理WOS?用于數(shù)據(jù)采集與圖像處理Store&AnalyzeStore&processmonthsofdatainthefieldIn-CountryLocalIn-CountryanalysisIn-Countryprotection1In-CountryRemoteReplicatetoremoteIn-countrycontainerCollaboratebetweensites1境內(nèi)采集分析Highperformanceaccessforanalysison-siteTotallyhands-off&selfhealingPetabytescapacity,smallfootprintBetterthanRAIDdurability&availabilityAnalyze,Search&ManageStoreanddeeparchiveexabytesofdatainasingleyear3長期高速歸檔AutomaticallyjoinstoragepoolMassiveScalabilityLowTCOHighreliability,durability,&availabilityAutomaticmanagement,migration&upgrades2TransportTransfercontainersfromthefield現(xiàn)有應(yīng)用WOS?用于非結(jié)構(gòu)化數(shù)據(jù)管理平臺(tái)分布式存儲(chǔ)、集中管理、就近訪問、水平擴(kuò)展、確保數(shù)據(jù)安全精簡(jiǎn)架構(gòu)，去掉多余組件，減少了故障點(diǎn)，精準(zhǔn)管理完全橫向擴(kuò)展話單查詢、醫(yī)療云…新增應(yīng)用RESTHarddisk：每次購買時(shí)最優(yōu)RAID/LUNFilesystemVolumeManager專屬索引專屬索引DataMetadataDataMetadataDataMetadata…平面命名空間網(wǎng)關(guān)WOS?用于提供類似Dropbox的云存儲(chǔ)服務(wù)某公立大學(xué)有40,000名學(xué)生要提供經(jīng)認(rèn)可的“類似Dropbox”的解決方案要求一個(gè)合法的內(nèi)部解決方案，發(fā)現(xiàn)其他競(jìng)爭(zhēng)解決方案對(duì)自己不利文件共享服務(wù)提供商，搭售了他們的數(shù)據(jù)中心和人員DDN的安全WOS?云文件共享解決了上述問題向?qū)W生和教職員提供安全的文件存儲(chǔ)和共享學(xué)生畢業(yè)后，除一個(gè)永久的電子郵件帳號(hào)外，還包括該服務(wù)LoadBalancerReplicated,GlobalNamespaceScale-OutObjectStorageCloudGatewaysProvisioning&BillingMulti-tenantAccessviaS3&RESTWOSStorageSmartDevicesBrowserAccessAPIAccess基于策略的自動(dòng)數(shù)據(jù)復(fù)制Zone2Zone3Zone1中心管理WOS?用于私有云(協(xié)同)WOS?技術(shù)細(xì)節(jié)WOS?Core

|主要技術(shù)指標(biāo)市場(chǎng)上最高的存儲(chǔ)密度每機(jī)柜1.98PB、660個(gè)磁頭、220億個(gè)對(duì)象最高的擴(kuò)展能力單一命名空間，每集群2560億個(gè)對(duì)象小規(guī)模起步,輕松擴(kuò)展到30PB以上;按需在線擴(kuò)展，集群性能線性提升性能200MB-500MB/node低延遲，1MB以內(nèi)對(duì)象的每次讀寫只執(zhí)行1次硬盤I/O用于保存任意比例的大小從512字節(jié)到5TB的文件，且存儲(chǔ)效率高達(dá)99%WOS60004U,60-driveWOSNode(SAS/SATA)1.98PB/11UnitsperRack典型拓?fù)鋱D(物理連接)Loadbalance注:非DDN產(chǎn)品IP網(wǎng)絡(luò)注:非DDN產(chǎn)品WOS6000云網(wǎng)關(guān)(提供各種協(xié)議支持）身份管理平臺(tái)注:非DDN產(chǎn)品WOSCloudClusterInterconnectService當(dāng)前版本可水平擴(kuò)展到256個(gè)節(jié)點(diǎn)……WOS?

|快速部署十分鐘或者更短時(shí)間內(nèi)將WOS節(jié)點(diǎn)、接入網(wǎng)絡(luò)給WOS節(jié)點(diǎn)分配IP地址，并制定集群名字(“AcmeWOS1”)進(jìn)入WOS管理界面。WOS節(jié)點(diǎn)出現(xiàn)在“PendingNodes”清單中。拖放該節(jié)點(diǎn)到所需的Zone如果需要，指定復(fù)制策略SanFranciscoNewYorkLondonTokyo拖放新節(jié)點(diǎn)到任何需要擴(kuò)展的Zone恭喜！WOS集群增加了180TB！WOS?

|易于管理數(shù)十PB的部署管理只需要1名全職工程師

單一、全局的命名空間，易于配置和擴(kuò)展自動(dòng)、透明、策略驅(qū)動(dòng)的數(shù)據(jù)復(fù)制零干預(yù)——通過（按規(guī)劃）故障點(diǎn)平滑降級(jí)數(shù)據(jù)保護(hù)

|ObjectAssure?技術(shù)工作特性O(shè)bjectAssure(OA)支持WOS-Lib和RESTAPIOA在WOS的單一節(jié)點(diǎn)內(nèi)運(yùn)行在WOS的保存策略中，指定“單一副本”時(shí)，OA功能開啟

在WOS集群中，OA和多副本復(fù)制保存方法可以混合使用以每個(gè)WOS節(jié)點(diǎn)為基礎(chǔ)，OA偵測(cè)多磁盤并發(fā)錯(cuò)誤，并能糾正2個(gè)不同磁盤的并發(fā)錯(cuò)誤ObjectAssure流程在PUT操作其間,OA將對(duì)象切片保存到8個(gè)磁盤上，并生成2份校驗(yàn)數(shù)據(jù)(8+2)如果驅(qū)動(dòng)器發(fā)生故障或?qū)ο笠褤p壞,WOS使用校驗(yàn)數(shù)據(jù)重建被損壞的數(shù)據(jù)（自愈合）。注意故障磁盤上的數(shù)據(jù)將散布到節(jié)點(diǎn)內(nèi)的多塊磁盤上。WOSOA根據(jù)需要在讀(GETs)操作期間快速糾正數(shù)據(jù)5678P1P21234X1ClientApp``WOS-Lib“PUT”SelfHealing“GET”數(shù)據(jù)保護(hù)

|ObjectAssure的技術(shù)優(yōu)勢(shì)傳統(tǒng)RAID重建容量損失——備盤容量被擱置重建時(shí)間長-必須重建整個(gè)驅(qū)動(dòng)器，即使發(fā)生故障的驅(qū)動(dòng)器上只有少部分?jǐn)?shù)據(jù)數(shù)據(jù)丟失風(fēng)險(xiǎn)高——如果備用驅(qū)動(dòng)器不可用就不能重建增加支持成本——在備件數(shù)量少時(shí)，需要立即請(qǐng)求維修降低寫性能——RAID降低磁盤寫性能，尤其是小文件…x……x…x…x立即請(qǐng)求維修傳統(tǒng)RAID存儲(chǔ)整個(gè)驅(qū)動(dòng)器被重建xxxReplicatedorObjectAssureFS+RAID6WOSWOS在各個(gè)驅(qū)動(dòng)器之間重新平衡數(shù)據(jù)負(fù)載充分利用所有驅(qū)動(dòng)器–任何驅(qū)動(dòng)器上的任何可用容量都是備用池的一部分恢復(fù)時(shí)間縮短50％-只實(shí)際數(shù)據(jù)被復(fù)制更快的恢復(fù)數(shù)倍地提升了整體性能，并降低了數(shù)據(jù)丟失的風(fēng)險(xiǎn)驅(qū)動(dòng)器故障僅使總?cè)萘繐p失故障驅(qū)動(dòng)器自身的容量在定期維護(hù)時(shí)，通過更換故障驅(qū)動(dòng)器恢復(fù)總?cè)萘考磿r(shí)資源調(diào)配可用容量:116TB可用容量:118TB可用容量:120TB為恢復(fù)容量，可選的計(jì)劃內(nèi)維修請(qǐng)求恢復(fù)RAID備盤1數(shù)據(jù)保護(hù)

|同步PUT操作同步PUTw/ReplicationWOSLib選擇“最短路徑”節(jié)點(diǎn)

Zone“SanFran”中的節(jié)點(diǎn)保存對(duì)象到磁盤，并按照策略復(fù)制該對(duì)象到NewYork和LondonSanFran節(jié)點(diǎn)收到來自NewYork和Londonzones的應(yīng)答SanFran節(jié)點(diǎn)返回OID給應(yīng)用程序ZoneSanFranWOSNodes…WOSNodes…ZoneNewYork01..0501..05ClientAppWOS-LibWOSClusterGroupMapWOSNodes…ZoneLondon01..05234AAAClientApp11數(shù)據(jù)保護(hù)|異步PUT操作PUT帶異步復(fù)制WOSLib選擇“最短路徑”節(jié)點(diǎn)Zone“SanFran”的節(jié)點(diǎn)保存對(duì)象的2份副本到不同的驅(qū)動(dòng)器(節(jié)點(diǎn))SanFran節(jié)點(diǎn)返回OID給應(yīng)用程序然后集群(盡快)將對(duì)象復(fù)制到NewYork&London收到來自NewYork&London的應(yīng)答，在SanFran的額外副本被立即刪除ZoneSanFranWOSNodes…WOSNodes…ZoneNewYork01..0501..05WOS-LibWOSClusterGroupMapWOSNodes…ZoneLondon01..0543AAAA240ms80ms10msLatencyMap在WOS的管理界面中可以查看數(shù)據(jù)復(fù)制的狀態(tài)高達(dá)4路復(fù)制1ZoneSanFranWOSNodes…2WOS?|GET

操作(WOS-Lib)Get操作——常規(guī)WOS-Lib選擇具有最小延遲路徑的副本，并發(fā)送GET請(qǐng)求Zone“SanFran”中的節(jié)點(diǎn)返回對(duì)象A給應(yīng)用程序WOSNodes…ZoneNewYork01..0501..05WOSNodes…ZoneLondon01..05AAAGet操作——修復(fù)受損數(shù)據(jù)WOS-Lib選擇具有最小延遲路徑的副本，并發(fā)送GET請(qǐng)求Zone“SanFran”節(jié)點(diǎn)檢測(cè)到對(duì)象損壞WOS-Lib找到下一個(gè)最近的副本并讀取、返回給客戶端應(yīng)用程序在后臺(tái),