WOS(Cloud Storage)譯文

1、產(chǎn)品介紹21 Mar 2011超大型分布式協(xié)協(xié)同存儲儲器菲利浦.朱（ Philip Zhu ） 亞洲北部地區(qū)總監(jiān) 2011 DataDirect Networks. All rights reserved 2Information Explosion 2.0: 新世界新世界 超大型 分布式 協(xié)同 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有 2011 DataDirect Networks. All rights reserved 3文件儲存文件儲存對象儲存對象儲存幾百萬份文件可擴(kuò)展性可擴(kuò)展性幾千億個對象點對點，局部性存取存取端對端 整體性容錯管理管理自我修復(fù) 自動性文件，范圍列表信息信息對象

2、 帶元數(shù)據(jù)，NoFS平均75%空間使用空間使用接近100%需要范式轉(zhuǎn)移需要范式轉(zhuǎn)移 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有 2011 DataDirect Networks. All rights reserved 4大數(shù)據(jù)需要什么大數(shù)據(jù)需要什么 超大型 全域唯一簡單的命名空間 密集、高效、環(huán)保 高性能、通用出入匝道 地理分布 在數(shù)據(jù)產(chǎn)生處附近對數(shù)據(jù)進(jìn)行處理VS復(fù)制大量處理數(shù)據(jù) 云應(yīng)用 全域唯一簡單的命名空間 極低總體擁有成本，具有彈性 不復(fù)雜 近零管理 隨機(jī)存取 遺留協(xié)議 訪問網(wǎng)絡(luò) 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有 2011 DataDirect Networks. All

3、 rights reserved 5介紹：介紹：DDN云存儲云存儲WOS系統(tǒng)系統(tǒng)大數(shù)據(jù)基礎(chǔ)結(jié)構(gòu)的內(nèi)容存儲結(jié)構(gòu)模塊產(chǎn)業(yè)領(lǐng)先的擴(kuò)展性對象存儲設(shè)備前所未有的性能和效率內(nèi)置單一命名空間和整體內(nèi)容分布協(xié)同環(huán)境優(yōu)化地理區(qū)域智能化優(yōu)化存取等待時間即時配置業(yè)內(nèi)最低總體擁有成本簡單，近零管理自動的“運行連續(xù)性”結(jié)構(gòu) 數(shù)據(jù)局部性& 國際協(xié)同 2011 DataDirect Networks. All rights reserved 6WOS 大數(shù)據(jù)構(gòu)建大數(shù)據(jù)構(gòu)建 每簇1280億對象 23PB的規(guī)模 起始字節(jié)小，后發(fā)展至數(shù)十PB 網(wǎng)絡(luò)和存儲效率高通用存取通用存取全局性和數(shù)據(jù)局部性全局性和數(shù)據(jù)局部性近零管理，彈性高近

4、零管理，彈性高超大型超大型 達(dá)4向同步 國際協(xié)同 存取最近數(shù)據(jù) 沒數(shù)據(jù)丟失風(fēng)險 自我修復(fù) 充分使用所有驅(qū)動 恢復(fù)功能比傳統(tǒng)磁盤冗余陣列快50% 減少或撤消維修呼叫3U，16驅(qū)動WOS節(jié)（SAS、SATA）4U，60驅(qū)動WOS節(jié)（SAS、SATA）每機(jī)架2FB/11單位WOS（復(fù)制或?qū)ο蟊ＷC）NAS協(xié)議（公共因特網(wǎng)文件系統(tǒng)、網(wǎng)絡(luò)文件系統(tǒng)等）云計算平臺S3兼容本地對象存儲界面 多重通訊協(xié)議網(wǎng)關(guān) 云存儲平臺 本地對象存儲 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有舊金山紐約倫敦東京 2011 DataDirect Networks. All rights reserved 7WOS和大數(shù)據(jù)生命周期

5、和大數(shù)據(jù)生命周期Content Distribution 1天30 天90 天1年2年5年n年高性能高性能分布和分布和長長期保存期保存WOS 確保高性能WOS是一個智能化、可擴(kuò)展的存儲系統(tǒng)，適用于高頻事務(wù)處理和內(nèi)容保存歸檔以及地理分布WOS 確保低總體擁有成本和可擴(kuò)展性WOS 提供自動復(fù)制和地理分布功能實時處實時處理理存取 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有超大型分布式協(xié)同存儲器超大型分布式協(xié)同存儲器全局視圖全局視圖 局部存取局部存取主要特性 四個站點的復(fù)制 地理位置和時間延遲智能化 利用NAS協(xié)議進(jìn)行數(shù)據(jù)處理和確保本地速度均勻 數(shù)據(jù)和DR受到保護(hù)主要獲益點 用戶可同時在多個地區(qū)進(jìn)行

6、數(shù)據(jù)存取和更新 提高性能和優(yōu)化存取等待時間 無數(shù)據(jù)丟失風(fēng)險數(shù)據(jù)局部性數(shù)據(jù)局部性和和國國際協(xié)際協(xié)同同 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有840 ms80 ms10 ms洛杉磯洛杉磯時間延遲圖像時間延遲圖像30 ms80 ms10 ms馬德里馬德里時間延遲圖像時間延遲圖像以本地速度在多個地區(qū)進(jìn)行復(fù)制和協(xié)同（搜集、以本地速度在多個地區(qū)進(jìn)行復(fù)制和協(xié)同（搜集、存取和更新數(shù)據(jù)）存取和更新數(shù)據(jù)）WOS結(jié)構(gòu)模塊結(jié)構(gòu)模塊WOS 6000 - 4U 高密度 60-驅(qū)動WOS 1600 - 3U 高性能 16-驅(qū)動關(guān)鍵指標(biāo)在DDN產(chǎn)業(yè)領(lǐng)先的高性能存儲平臺上構(gòu)建擁有市內(nèi)最高密度和擴(kuò)展性-1.98PB /機(jī)架

7、，每簇達(dá)23PB -660 軸/機(jī)架-22B 對象/機(jī)架，128B 對象/簇-任何文件大小（512字節(jié)到500千兆字節(jié)）混合的存儲效率達(dá)99%線性集群性能界定低延時-一張光碟每次讀取I/O或?qū)懭雽ο?1MB4U, 60-drive WOS Node (SAS/SATA)3U, 16-驅(qū)動驅(qū)動 WOS 字字節(jié)節(jié)(SAS/SATA)2PB / 11 單單元元/機(jī)機(jī)架架WOS 6000 WOS 1600 544TB / 15 單單元元/機(jī)架機(jī)架4U， ， 60-驅(qū)動驅(qū)動 WOS 字字節(jié)節(jié) (SAS/SATA) 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有9WOS可存取性可存取性NAS 協(xié)議協(xié)議(CI

8、FS、NFS 等等)本地對象本地對象存儲界面存儲界面云存儲平臺云存儲平臺S3 兼容兼容NAS NAS 網(wǎng)關(guān)網(wǎng)關(guān) 公共因特網(wǎng)文件系統(tǒng)/網(wǎng)絡(luò)文件系統(tǒng)協(xié)議 輕量級目錄訪問協(xié)議/AD支持 可擴(kuò)展 HA和受保護(hù)的DR 從現(xiàn)行的NAS中遷移 超越現(xiàn)行NAS的聯(lián)盟云存儲平臺云存儲平臺 S3-兼容和WebDAV APIs 多重用戶 報告和計費 遠(yuǎn)程存儲、文件共享和備份代理本地本地對對象存象存儲儲 C+、Python、Java、PHP、HTTP REST 界面 PUT、GET、DELETE 對象、RESERVE 對象ID等 NAS網(wǎng)關(guān) 可擴(kuò)展至多網(wǎng)關(guān) 受保護(hù)的DR和HA故障轉(zhuǎn)移 遠(yuǎn)程站點的同步數(shù)據(jù)庫 本地讀取和

9、寫入高速緩存 接入WOS的局域網(wǎng)或廣域網(wǎng) WOS和NAS的聯(lián)盟 云存儲平臺 針對云端服務(wù)提供商或私有云 讓支持S3的應(yīng)用程序低價使用WOS存儲 支持多重用戶、背書票據(jù)和各租戶報告 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有10智能智能WOS對象對象樣本對象樣本對象ID (OID)：如復(fù)制兩次；區(qū)域1和3對象 = 圖片名稱 = 沙灘確定任意64位密鑰，以免在未經(jīng)授權(quán)的情況下存取WOS對象確保64位檢查和的穩(wěn)定性，以便在每次讀取期間驗證數(shù)據(jù)的完整性ACuoBKmWW3Uw1W2TmVYthA完整文件或子對象完整文件或子對象用戶元數(shù)據(jù)用戶元數(shù)據(jù)關(guān)鍵值或二進(jìn)制關(guān)鍵值或二進(jìn)制政策政策簽簽名名檢查檢查和

10、和縮略圖 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有11 2011 DataDirect Networks. All rights reserved 12對象存儲對象存儲vs文件系統(tǒng)文件系統(tǒng)空間使用空間使用 WOS使用的可用磁盤空間比SAN/NAS文件系統(tǒng)平均多25% 1PB的分散空間總計共有150TB，其中加上$50K-$100K 的系統(tǒng)成本和現(xiàn)行的動力和空間成本W(wǎng)OS刪除了刪除了SAN/NAS文件系統(tǒng)存儲文件系統(tǒng)存儲中固有的分散存儲容量中固有的分散存儲容量磁盤空間使用磁盤空間使用GPFS與與WOS相比較相比較文件尺寸文件尺寸使用的WOS使用的GPFSWOS“存儲桶”包括相關(guān)大小的對象以優(yōu)

11、化布局WOS 對象“存儲槽”大小各異的對象不斷寫進(jìn)槽中存儲槽可少至512B以有效支持最小的文件。 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有使使用用率率 2011 DataDirect Networks. All rights reserved 13智能存儲的動力智能存儲的動力多個站點的數(shù)據(jù)局部性和協(xié)同性多個站點的數(shù)據(jù)局部性和協(xié)同性主要特點 四向復(fù)制，局部和/或遠(yuǎn)程 災(zāi)難防護(hù) 所有復(fù)制物的單一命中空間 數(shù)據(jù)局部性 智能數(shù)據(jù)分布xGigE 網(wǎng)網(wǎng)絡(luò)絡(luò)WOS-Lib用戶站點 2數(shù)據(jù)共享和協(xié)同 新對象按政策在各站點復(fù)制 ID 所有復(fù)制物的對象ID均相同 用戶可存取“最近”的對象 ABxGigE 網(wǎng)網(wǎng)

12、絡(luò)絡(luò)站點 1AB每個WOS節(jié)點均在磁盤上保存一份對象位置圖，讓單一磁盤運作可檢索對象，大大提高效率。WOS-Lib用戶WOS-Lib服務(wù)直接把對象請求按路徑發(fā)送至“最近”的復(fù)制對象 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有 2011 DataDirect Networks. All rights reserved 14WOS分布和配置分布和配置WOS結(jié)構(gòu)模塊容易分布和配置僅需10分鐘或更少 為WOS節(jié)點提供動力和網(wǎng)絡(luò) 為WOS節(jié)點分配IP地址和確定集群名稱（“Acme WOS 1”） 進(jìn)入WOS Admin UI。WOS節(jié)點在“未發(fā)布節(jié)點”San FranciscoNew YorkLond

13、onTokyo簡單地把新的節(jié)點拖簡單地把新的節(jié)點拖進(jìn)任何區(qū)域來擴(kuò)大存進(jìn)任何區(qū)域來擴(kuò)大存儲儲 將節(jié)點拖進(jìn)想放的區(qū)域 指定副本政策（如需要）恭喜！您已在您的恭喜！您已在您的WOS集群中新添了集群中新添了120TB容量！容量！ 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有 2011 DataDirect Networks. All rights reserved 15存儲數(shù)據(jù)保護(hù)存儲數(shù)據(jù)保護(hù)RAID的的復(fù)原復(fù)原 vs WOS重新平衡重新平衡RAID復(fù)原驅(qū)動器 丟失的容量熱備盤分散容量 長復(fù)原時間盡管故障驅(qū)動器僅占了一半容量，但仍需重建整個驅(qū)動盤 較高的數(shù)據(jù)丟失風(fēng)險如果熱備盤不適用，則不可進(jìn)行復(fù)原 增

14、加支持成本需要緊急服務(wù)呼叫來代替低備份的情況 減少寫入性能RAID減少磁盤寫入性能，特別是小文件的磁盤寫入性能RAID備份件緊急服務(wù)呼叫傳統(tǒng)的傳統(tǒng)的RAID存儲存儲復(fù)原復(fù)原WOS （復(fù)制或?qū)ο蟊ＷC）（復(fù)制或?qū)ο蟊ＷC）FS + RAID 6云存儲云存儲WOSWOS系統(tǒng)系統(tǒng)WOS重新平衡各驅(qū)動器的數(shù)據(jù) 充分使用所有驅(qū)動器任何驅(qū)動器上的剩余容量均是備援集區(qū)的一部分 重新平衡時間縮短了50只有實際數(shù)據(jù)可復(fù)制 快速烣復(fù)時間增加整體性能，并減少數(shù)據(jù)丟失風(fēng)險 驅(qū)動器故障只有通過故障驅(qū)動器的尺寸才可減少整體容量 在可預(yù)定的維護(hù)期間通過替換驅(qū)動器恢復(fù)所有容量Capacity Available: 116TBCa

15、pacity Available: 118TB可獲容量： 120TB可選擇的預(yù)定服務(wù)呼叫有助于恢復(fù)容量重新平衡重新平衡 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有1多協(xié)議網(wǎng)關(guān)NFS,CIFS,ftp元數(shù)據(jù)元數(shù)據(jù)存儲存儲WOS數(shù)據(jù)中心數(shù)據(jù)中心1 1處理地點WOS 多協(xié)議網(wǎng)關(guān)多協(xié)議網(wǎng)關(guān)內(nèi)部IT和私有云用的NFS/CIFS 優(yōu)化多站點協(xié)同和數(shù)據(jù)局部性 HA故障轉(zhuǎn)移和受保護(hù)DR為POSIX FS應(yīng)用提供NAS存取 具有輕量級目錄訪問協(xié)議整合的分散NFS/CIFS協(xié)議存取 NAS數(shù)據(jù)遷移能力數(shù)據(jù)中心復(fù)制數(shù)據(jù)中心復(fù)制和和多站點協(xié)同多站點協(xié)同處理地點處理地點 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有數(shù)

16、據(jù)中心數(shù)據(jù)中心2 2數(shù)據(jù)中心數(shù)據(jù)中心3 3網(wǎng)絡(luò)文件系統(tǒng)、公共因特網(wǎng)文件系統(tǒng)、文件傳輸協(xié)議元數(shù)據(jù)元數(shù)據(jù)存儲存儲多協(xié)議網(wǎng)關(guān)NFS,CIFS,ftp多協(xié)議網(wǎng)關(guān)NFS,CIFS,ftp元數(shù)據(jù)元數(shù)據(jù)存儲存儲WOS云存云存儲儲平臺平臺應(yīng)應(yīng)用程序用程序服務(wù)提供商、私有云和企業(yè)用的云存儲平臺云平臺軟件多重用戶支持與現(xiàn)有的配置和計費系統(tǒng)整合S3兼容和WebDAV APIs地理位置控制WOS存儲網(wǎng)際網(wǎng)路規(guī)模文件存儲用的內(nèi)容架構(gòu)全局內(nèi)容分布簡單、全局存儲管理內(nèi)業(yè)最低的總體擁有成本負(fù)載均衡器復(fù)制、全域命名空間向外擴(kuò)展對象存儲WebDAV移動用戶Windows 用戶第三方應(yīng)用程序云平臺網(wǎng)關(guān)云平臺網(wǎng)關(guān)云平臺軟件云平臺軟件

17、 配置和計費 多重用戶 通過S3和REST存取WOS 存儲存儲 幾十PB 達(dá)4個復(fù)制站點 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有17 2011 DataDirect Networks. All rights reserved 18WOS 后期制作的云后期制作的云 在主要的合作伙伴內(nèi)創(chuàng)建在主要的合作伙伴內(nèi)創(chuàng)建WOS地址地址 自動把完成的內(nèi)容傳送至合作伙伴工作室 把內(nèi)容傳送至內(nèi)容分發(fā)網(wǎng)絡(luò)用作網(wǎng)絡(luò)發(fā)布 以WOS配置自身的內(nèi)容分發(fā)網(wǎng)絡(luò)，以減少成本和加速原服務(wù) 結(jié)合性能和協(xié)同結(jié)合性能和協(xié)同 用戶存儲最近、最少等待時間的內(nèi)容 實現(xiàn)內(nèi)容全域共享，立刻存取最新更新信息 WOS為高頻交易提供性能 帶嵌入式

18、元數(shù)據(jù)的帶嵌入式元數(shù)據(jù)的WOS對象對象 包括原文件數(shù)據(jù) 支持用戶創(chuàng)建的元數(shù)據(jù)實時編輯實時編輯工工藝編輯藝編輯實時編輯實時編輯WOS自動為主要合作伙伴復(fù)制新內(nèi)容，以實現(xiàn)即時協(xié)同。 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有 2011 DataDirect Networks. All rights reserved 19340 ms80 ms10 ms洛杉磯洛杉磯時間延遲圖時間延遲圖多站點后期制作操作數(shù)據(jù)局部性和多站點后期制作操作數(shù)據(jù)局部性和協(xié)協(xié)同同數(shù)據(jù)局部性和協(xié)同數(shù)據(jù)局部性和協(xié)同1. LA站點用戶編輯視頻“A”，并根據(jù)政策復(fù)制至墨西哥城和馬德里2. MP網(wǎng)關(guān)立刻同步馬德里用戶的元數(shù)據(jù)數(shù)據(jù)庫3.

19、 馬德里用戶要求處理視頻“A”，WOS-Lib 選擇馬德里站點（最低延時）并為用戶檢索站點4. 馬德里用戶提取視頻框架，并寫進(jìn)WOS（新對象），然后復(fù)制至墨西哥城和LA。洛杉洛杉磯磯區(qū)域區(qū)域04.10505.10506.105AAMP 網(wǎng)關(guān)WOS-Lib馬德里用戶馬德里用戶A30 ms80 ms10 ms馬德里馬德里時間延遲圖時間延遲圖最好在演示模式瀏覽瀏覽洛杉磯墨西哥城馬德里東京MP 網(wǎng)關(guān)WOS-Lib2實時編輯應(yīng)實時編輯應(yīng)用程序用程序BBAA1墨西哥城區(qū)域墨西哥城區(qū)域 馬德里區(qū)域馬德里區(qū)域

20、B443洛杉磯用戶洛杉磯用戶實時編輯應(yīng)實時編輯應(yīng)用程序用程序 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有 2011 DataDirect Networks. All rights reserved 20WOS內(nèi)容分內(nèi)容分發(fā)發(fā)的云的云 2011 DataDirect Networks. All rights reserved 配置區(qū)域，根據(jù)政策復(fù)制各對象，現(xiàn)實4向同步 自動把內(nèi)容傳至邊緣 用戶存取最近復(fù)制本 易于管理，無單點故障Los AngelesLatin AmericaMadridMexico CityWOS管理用戶界面管理用戶界面 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有 2011

21、 DataDirect Networks. All rights reserved 21Rules oriented application meets object oriented storage iRODS 整合整合 WOS PB可擴(kuò)展性：通過添加存儲模組進(jìn)行擴(kuò)展 無可比擬的簡易性：精簡管理減少總體擁有成本 自我修復(fù)：故障零干擾，丟失分區(qū)自動恢復(fù) 快速復(fù)原：丟失分區(qū)立刻完全恢復(fù) 復(fù)制準(zhǔn)備：全域搜集和發(fā)布數(shù)據(jù) 災(zāi)難恢復(fù)：無論發(fā)生何種災(zāi)難，均用于連續(xù)事務(wù)處理 文件格式：容量和性能優(yōu)化 對象元數(shù)據(jù)：用戶確定元數(shù)據(jù)讓文件更易處理iRODS，是面向規(guī)則的分布式數(shù)據(jù)管理應(yīng)用，該應(yīng)用符合，是面向規(guī)則的

22、分布式數(shù)據(jù)管理應(yīng)用，該應(yīng)用符合WOS要求，同時也是要求，同時也是一個面向?qū)ο蟮膬?nèi)容擴(kuò)展和全域分布系統(tǒng)一個面向?qū)ο蟮膬?nèi)容擴(kuò)展和全域分布系統(tǒng)iRODS數(shù)據(jù)系統(tǒng)構(gòu)成要素用戶界面用戶界面網(wǎng)頁或圖形用戶界面客戶端存取以及管理數(shù)據(jù)和元數(shù)據(jù)iRODS服務(wù)器風(fēng)險數(shù)據(jù)iRODS規(guī)則引擎實施政策iRODS元數(shù)據(jù)目錄數(shù)據(jù)庫追蹤數(shù)據(jù)狀態(tài) 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有監(jiān)視云案例研究有助節(jié)省成本監(jiān)視云案例研究有助節(jié)省成本使用帶NVR的傳統(tǒng)CCTV前xxxxCCTV站點監(jiān)視 多個NVRs 多個iSCSI存儲島 剪輯回放軟件成本 管理和支持成本分布多站點監(jiān)視頻后帶WOS的云監(jiān)視 集中視頻回放 集中存儲 IP攝像機(jī) 節(jié)省管理成本在6400攝像機(jī)監(jiān)視配置中，使用WOS為主的IP攝像機(jī)解決方案有助節(jié)省33的配置成本，使總體擁有成本減少30到50。 2011年DataDirect網(wǎng)絡(luò)。版權(quán)所有22帶內(nèi)回放以太網(wǎng)iSCSI容量島帶內(nèi)外回放互聯(lián)網(wǎng)、互聯(lián)網(wǎng)、MAN、專用網(wǎng)或、專用網(wǎng)或內(nèi)部網(wǎng)絡(luò)內(nèi)部網(wǎng)絡(luò)WOS使用案例使用案例用于感應(yīng)捕捉和圖像處理的用于感應(yīng)捕捉和圖像處理的WOS存儲和分析實地存儲和處理數(shù)月的數(shù)據(jù)國內(nèi)當(dāng)?shù)氐貐^(qū)國內(nèi)當(dāng)?shù)氐貐^(qū) 國內(nèi)分析 國內(nèi)保護(hù)1國內(nèi)偏遠(yuǎn)地