信息中心虛擬化文件存儲架構設計

1、信息中心虛擬化文件存儲架構設計agenda 存儲現(xiàn)狀與用戶需求 文件存儲管理 f5 arx 介紹 本項目需求分析和建議存儲分類 - 按照連接方式數(shù)據(jù)存儲方式 結構化數(shù)據(jù)(block based) 數(shù)據(jù)庫 基本信息 瘦信息 容量小 常用來做為非結構化數(shù)據(jù)的索引 非結構化數(shù)據(jù)(file based) 文件 擴展信息 富信息 容量大 圖片、視頻流、網(wǎng)頁等 通常需要數(shù)據(jù)檢索技術的支持市場現(xiàn)狀it 預算限制存儲空間的增長it 部門在尋找更有效率和費用更低的解決方案agenda 存儲現(xiàn)狀與用戶需求 文件存儲管理 f5 arx 介紹 本項目需求分析和建議目前存儲架構的混亂管理日益增長的數(shù)據(jù)文件的文件存儲管理

2、不同的用戶和應用和后臺的存儲設備是復雜物理連接 難以管理: 后臺存儲的改變會導致業(yè)務中斷復雜: 存儲映射到各種各樣的后臺存儲設備低效: 設備的使用效率低下減少文件訪問與物理存儲設備之間的物理關聯(lián)靈活:后臺存儲的改變不會導致業(yè)務中斷簡單: 簡單的映射到統(tǒng)一的后臺存儲效率: 設備效率更高beforeafterf5 arx文件存儲管理解決方案簡單簡單,合理的訪問物理文件系統(tǒng)合理的訪問物理文件系統(tǒng)數(shù)據(jù)遷移數(shù)據(jù)遷移 在不同類型的存儲間移動數(shù)據(jù)而不發(fā)生混亂存儲分級存儲分級 自動的將數(shù)據(jù)存儲在適當級別的存儲上數(shù)據(jù)復制數(shù)據(jù)復制 高效經(jīng)濟的復制數(shù)據(jù)負載均衡負載均衡 自動的將需求平均分配到現(xiàn)有設備dasnas虛擬

3、化存儲虛擬化存儲存儲孤島存儲孤島擴展能力有限統(tǒng)一存儲利用率低提高利用率極大的擴展能力管理 復雜簡化管理分級管理脆弱的數(shù)據(jù)維護支持在線數(shù)據(jù)維護 每t數(shù)據(jù)的成本高opexopexcapexcapexcapex文件存儲管理的價值文件存儲管理實現(xiàn) 一 統(tǒng)一文件系統(tǒng)管理f5 file virtualizationprimary storage(tier 1)physical namespacesecondary storage(tier 2)bod.pptu:presentationsbod.ppt文件的“虛擬路徑”是獨立于文件的后臺實際存儲位置virtual namespacebod.ppt 支持在線

4、的存儲空間擴充 增加存儲設備的率用率 當前存儲設備投資利用最大化 減少新設備采購nas and file servers提高設備的利用率之前: 25tb data 60% utilization = 41.7tb raw capacity之后: 80% utilization = 31.3tb節(jié)省 = (41.7tb 31.3tb) x $10/gb 節(jié)節(jié)省的省的費費用用: $115,000clientf5 arx 文件存儲管理實現(xiàn) 二 提升存儲利用率 通過arx，可以把多臺nas集合起來，整體對外提供更高的 i/o讀寫性能 數(shù)據(jù)吞吐率 多種負載均衡算法 剩余容量 帶寬 nas cpu占用率

5、訪問延遲arx文件存儲管理實現(xiàn) 三 提升存儲性能 把 非熱點 的文件移動到比較廉價的存儲上 大部分的數(shù)據(jù)(70%-90%) 重新分配 tier 1的存儲的容量 數(shù)據(jù)的移動 是自動而且對用戶和應用是透明的tier 2 / secondary節(jié)省存儲磁盤費用：之前: 25tb x $/gb tier 1之后:5tb x $/gb tier 1 + 20tb x ($/gb tier1 - $/gb tier2)節(jié)省 = 20tb x $9/gb 節(jié)節(jié)省的省的費費用用: $180,000clienttier 1 / primaryf5 arx 分級存儲減少了主存儲的數(shù)量大部分的數(shù)據(jù)存放在tier 2

6、5tb active20tbinactive文件存儲管理實現(xiàn) 四 節(jié)省存儲成本 把非熱點 的文件移動到 費用較低的tier 2存儲上 減少了需要備份的數(shù)據(jù) 顯著的減少了備份熱點數(shù)據(jù)的時間 節(jié)省了備份介質的花費節(jié)省備份之前: 25tb x 5 weekly full copies = 125tb之后: 5tb x 5 weekly full copies = 25tb節(jié)省 = (125tb 25tb) x $0.75/gb (tape)節(jié)省的費用節(jié)省的費用: $75,000clienttier 1 / primarytier 2 / secondaryf5 arx 減少了tier 1 備份的數(shù)據(jù)

7、可以每周進行全部數(shù)據(jù)備份，但只有原來數(shù)據(jù)的10-30%無需每周進行備份，而是每月進行備份5tb active20tbinactive文件存儲管理實現(xiàn) 五 存儲備份時間節(jié)省 通過arx文件虛擬化存儲，可以實現(xiàn)在線的數(shù)據(jù)遷移 無需進行冗長的遷移規(guī)劃 無需進行多次增量拷貝arx文件存儲管理實現(xiàn) 六 透明數(shù)據(jù)遷移 當在生產(chǎn)中心和備份中心都部署arx的時候，可以通過arx實現(xiàn)自動數(shù)據(jù)復制 可支持不同品牌的后端nas設備 支持nfs和cifs 支持文件增量復制文件存儲管理實現(xiàn) 七 數(shù)據(jù)同步arx文件存儲管理帶來的總體效果數(shù)據(jù)備份$75,000電力$20,000設備利用率$160,000分級存儲$180,0

8、00每周備份5tb requiredbackup capacity每周備份25tb requiredbackup capacitytotal savings = $435,000單一存儲41.7tb allocated25tb utilized (60%)20tbtier 220tb utilizedtier 15tb utilized15k rpm7.2k rpm25tb allocated(80%)6.25tb allocated(80%)15k rpmf5 data manager 可擴展軟件平臺的數(shù)據(jù)管理工具 文件系統(tǒng)盤點 加強對存儲環(huán)境的可視化 監(jiān)控存儲資源的使用情況 提供相信的文件

9、系統(tǒng)狀態(tài)和使用趨勢報告 配置協(xié)助工具 簡化arx 文件虛擬化解決方案的部署過程f5 datamanager 的分析報告掃描文件系統(tǒng)后主要生成報表 : 文件讀取時間文件讀取時間 文件修改時間文件修改時間其他報表包括 disk capacity cifs information file system structure file capacity top file extensions top extensions by capacity top users by total files top users by capacity top file paths by total files to

10、p file paths by capacity等等信息arxswitch aarxswitch bclientsworkgroup switchesdistributionswitchesnas & file serversn 不改變現(xiàn)有的2-3層的網(wǎng)絡結構n 通過virtual server來引導client / server流量n arx 集群提供高可用性文件存儲管理 典型部署典型部署 之 arx+二級存儲storagecapacitytier1tier2二級存儲典型部署 之 arx+二級存儲 續(xù)storagecapacitytier1tier2二級存儲agenda 存儲現(xiàn)狀與用

11、戶需求 文件存儲管理 f5 arx 介紹 本項目需求分析和建議f5 arx 產(chǎn)品系列可擴展的產(chǎn)品系列 arx500: 適用分支機構或部門 arx1000: 適用中小企業(yè) arx2000 : 適用中型到大型的企業(yè) arx4000 : 適用于數(shù)據(jù)中心企業(yè)級的管理和適用性 cli, gui, snmp logging, reporting, scripting diagnostics, “e-mail home”arx hardware platformspricefunction / performanceethernet ports: 12xgbemax. throughput: 4gbps*p

12、ower supply: redundantheight: 2uarx2000arx4000ethernet ports:12xgbe or 2x10gbemax. throughput: 12gbps*power supply: redundantheight: 4uarx500ethernet ports: 1xgbemax. throughput: 800mbps*power supply: singleheight: 1uarx1000ethernet ports: 6xgbemax. throughput: 3.2gbps*power supply: singleheight: 2u

13、*stated values are estimated guidelines please consult with your f5 sales representative to determine which platform is right for your environment.examples with na list pricingagenda 存儲現(xiàn)狀與用戶需求 文件存儲管理 f5 arx 介紹 本項目需求分析和建議現(xiàn)狀及需求描述：信息中心目前給委辦或其它兄弟單位提供存儲資源。目前數(shù)據(jù)中心的存儲為200tb，今年計劃會有10%增長。存儲架構為ipsan的方式，備份的方式，根

14、據(jù)使用方不同，數(shù)據(jù)備份的方式有采用備份軟件的、也有采用dump文件的。背景現(xiàn)狀：背景現(xiàn)狀：客戶的需求（想法）：u 在備份中心對使用方提供類似“儲物箱”的方式，提供服務u 通過將現(xiàn)有的數(shù)據(jù)備份文件進行加密后智能歸放在備份中心u 實現(xiàn)異構平臺的存儲及有效的管理u 對現(xiàn)數(shù)據(jù)中心ipsan有一個有效的整合方案擔心：u 數(shù)據(jù)存放是采用非標準協(xié)議，擴展性差u 管理設備的對數(shù)據(jù)有加密操作，不透明。u 需要有專用備份軟件。客戶的需求（想法）和擔心：客戶的需求（想法）和擔心：方案設計需求：客戶的需求u 在備份中心對使用方提供類似“儲物箱”的方式，提供服務u 通過將現(xiàn)有的數(shù)據(jù)備份文件進行加密后智能歸放在備份中心

15、解決方案：通過f5 arx虛擬化文件管理系統(tǒng)，結合后端存儲設備提供的不同大小的空間，有效的實現(xiàn)文件“儲物箱”的 功能。同時實現(xiàn)數(shù)據(jù)分級、復制和負載均衡。u 實現(xiàn)異構平臺的存儲及有效的管理 解決方案：f5 arx 支持異構存儲平臺，同時結合f5 data manager 工具協(xié)助信息中心有效管理數(shù)據(jù)存放利用率以及存儲空間、文件類型等, 可以對數(shù)據(jù)及數(shù)據(jù)類型的增長做有效預測及管理。 u 對現(xiàn)數(shù)據(jù)中心ipsan有一個有效的整合方案 解決方案：f5 arx 支持nas架構。對現(xiàn)有數(shù)據(jù)中心 的應用(ipsan)架構，由于涉及較多單位應用，因此不建議做整體遷移。擔心：u 數(shù)據(jù)存放是采用非標準協(xié)議，擴展性差

16、u 管理設備的對數(shù)據(jù)有加密操作，不透明。說明：arx不修改數(shù)據(jù)，它是基于硬件的文件的管理系統(tǒng)。設備本身提供支持72小時的電池確保數(shù)據(jù)有效傳輸?shù)絻Υ娼橘|端。采用透明數(shù)據(jù)傳輸，支持標準的cifs、nfs協(xié)議。u 需要有專用備份軟件。說明：arx無需額外的備份軟件。設計拓撲主數(shù)據(jù)中心主數(shù)據(jù)中心備份數(shù)據(jù)中心備份數(shù)據(jù)中心storage zone（san）app server zone專用加密中間設備專用加密中間設備customer 1(data)customer 2(data)customer 3(data)customer 1(data)customer 2(data)customer 3(data)

17、brand#1 storagebrand#2 storagef5 arxf5 arxf5 arxf5 arxtie 1 storagetie 2 storageblockblockfilefile專線網(wǎng)單位單位1單位單位2單位單位3arxarx設計優(yōu)點：設計優(yōu)點：u 對各單位的數(shù)據(jù)有效的進行負載均衡對各單位的數(shù)據(jù)有效的進行負載均衡“儲物柜儲物柜”u實現(xiàn)數(shù)據(jù)分級，熱點和非熱點數(shù)據(jù)分級管理；實現(xiàn)數(shù)據(jù)分級，熱點和非熱點數(shù)據(jù)分級管理；u實現(xiàn)高效率實現(xiàn)高效率( (平行結構平行結構) )數(shù)據(jù)提取與存儲數(shù)據(jù)提取與存儲u數(shù)據(jù)對外統(tǒng)一呈現(xiàn)，減少管理難度數(shù)據(jù)對外統(tǒng)一呈現(xiàn)，減少管理難度data managerdata managervolume /mount pointvolume /mount point