




版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
1、云計算虛擬化技術存儲虛擬化技術爆炸性增長的數(shù)據(jù)全球數(shù)據(jù)量的發(fā)展2011年全球數(shù)據(jù)量 1.8 ZB1 ZB= 1024 EB= 1024*1024 PB = 1024*1024*0124TB=1024*1024*1024*1024GB問題:計算機里面的存儲設備或部件有哪些?存儲的類型.存儲的概念存儲的概念非常廣泛 (Storage),廣義的存儲是指基本的數(shù)據(jù)保存的概念。用于計算機設備的專用存儲設備(Storage Array/Disk Array)Array 的含義 1.(軍隊等的)列陣U2.(排列整齊的)一批;一系列;大量存儲陣列 / 磁盤陣列 網(wǎng)絡存儲陣列磁盤陣列(Disk Array)是由
2、一個或多個硬盤控制器來控制多個硬盤的相互連接,使多個硬盤的讀寫同步,減少錯誤,增加效率和可靠度的技術。 存儲重要歷史回顧1956年9月IBM的一個工程小組向世界展示了第一臺磁盤存儲系統(tǒng)IBM 350 RAMAC(Random Access Method of Accounting and Control),其磁頭可以直接移動到盤片上的任何一塊存儲區(qū)域,從而成功地實現(xiàn)了隨機存儲,這套系統(tǒng)的總容量只有5MB,共使用了50個直徑為24英寸的磁盤,這些盤片表面涂有一層磁性物質(zhì),它們被疊起來固定在一起,繞著同一個軸旋轉。此款RAMAC在那時主要用于飛機預約、自動銀行、醫(yī)學診斷及太空領域內(nèi)。1987年 -
3、 RAID 技術出現(xiàn)加州柏克大學的三位人員發(fā)表了名為“磁盤陣列控制器研究”的論文,正式提到了RAID也就是磁盤陣列控制器,論文提出廉價的5.25及3.5的硬盤也能如大機器上的8盤般提供大容量、高性能和數(shù)據(jù)的一致性,并詳述了RAID 1至5的技術。磁盤陣列的發(fā)展過程DASD direct access storage device 直接存取存儲設備JBODJust Bundle Of Disks 簡單磁盤捆綁或者“磁盤簇”Disk Array磁盤陣列“Intelligent” Disk Arrays智能磁盤陣列Types of Disk Systems: DASDMainframeDiskInt
4、roduced by IBM in 1956.JBOD 陣列 - “傻盤”HostDisk Disk DiskDisk Disk Multiple physical disks in an external cabinet.Array connects to a single server only.Data not protected by JBODArray基本磁盤陣列Host BDisk 1Disk 2Disk 3Disk 4Disk 5Disk ArrayControllerArray controllers for optimized I/O operations and RAID
5、calculations.Higher speed interconnects between drives than JBODs.Multiple host I/O channels.Can be partitioned to allow each host to access its own set of drives.Host AHost CHost AHost BHost C現(xiàn)在的陣列產(chǎn)品: 智能磁盤陣列產(chǎn)品Disk 1Disk 2Disk 3Disk 4Disk 5Disk ArrayControllerHighly optimized for I/O processing.Cach
6、e for improving I/O performance.Operating environments provide: Intelligence for managing Cache, Array resource allocation, Host access to Array resources, Connectivity for heterogeneous HostsHost BHost AHost CDisk Storage Systems - 12智能存儲系統(tǒng)的構成組件智能磁盤系統(tǒng)CacheFront EndBack EndCachePhysical DisksHostCon
7、nectivityDisk Storage Systems - 13智能存儲系統(tǒng): 前端Note: Include redundancy in the channels to and from the ports. 智能磁盤系統(tǒng)PortsHostConnectivityControllersFront EndBack EndCachePhysical DisksDisk Storage Systems - 14前端請求隊列排序技術- 智能技術之一FRONTENDRequest 1Request 2Request 3Request 41234FRONTENDRequest 1Request 2R
8、equest 3Request 41324Without Command QueuingWith Command Queuing12341234Disk Storage Systems - 15智能存儲系統(tǒng): 緩存智能磁盤系統(tǒng)HostConnectivityFront EndBack EndCachePhysical DisksDisk Storage Systems - 16智能存儲系統(tǒng): 后端HostConnectivityPortsControllersFront EndBack EndCachePhysical Disks智能磁盤系統(tǒng)Disk Storage Systems - 17智
9、能存儲系統(tǒng): 硬盤HostConnectivityFront EndBack EndCachePhysical Disks智能磁盤系統(tǒng)我們對存儲的要求快速尋找Storage System我們對存儲的要求InterfaceBufferHBADisk DriveInternal transfer rate measured hereExternal transfer rate measured hereHead Disk Assembly高速獲得我們對存儲的要求 可靠RAIDControllerHard DisksLogical ArrayPhysical ArrayRAID ArrayHost“
10、A Case for Redundant Arrays of Inexpensive Disks (RAID).”如何進行磁盤空間管理Stripe 1Stripe 2StripsStrip 1Strip 2Strip 3StripeStripStripeRaid 分級0 Striped array with no fault tolerance1 Disk mirroring Nested RAID (i.e., 1 + 0, 0 + 1, etc.) 3 Parallel access array with dedicated parity disk4 Striped array with
11、independent disks and a dedicated parity disk5 Striped array with independent disks and distributed parity6 Striped array with independent disks and dual distributed parityRaid 5HostBlock 0P 0 1 2 3Block 7RAIDControllerP 0 1 2 3Block 0Block 4Block 0Block 1Block 5Block 2Block 6Block 3ParityGeneratedB
12、lock 0P 0 1 2 3Block 4P 4 5 6 7P 4 5 6 7Block 4P 4 5 6 7Block 4ParityGenerated計算IOPSTotal IOPS at peak workload is 1200Read/Write ratio 2:1Calculate IOPS requirement at peak activity forRAID 1/0RAID 5Raid 級別劃分RAIDMinDisksStorage Efficiency %CostRead PerformanceWrite Performance02100LowVery good for
13、both random and sequential readVery good1250HighGoodBetter than a single diskGoodSlower than a single disk, as every write must be committed to two disks33(n-1)*100/nwhere n= number of disksModerateGood for random reads and very good for sequential readsPoor to fair for small random writesGood for l
14、arge, sequential writes53(n-1)*100/nwhere n= number of disksModerateVery good for random readsGood for sequential readsFair for random writeSlower due to parity overhead Fair to good for sequential writes64(n-2)*100/nwhere n= number of disksModerate but more than RAID 5Very good for random readsGood
15、 for sequential readsGood for small, random writes (has write penalty)1+0and0+1450HighVery goodGood 數(shù)據(jù)存儲的分類IP SANMulti Protocol RouterSAN / NASFC SANLANRAID ArrayJBODInternal DAS數(shù)據(jù)如何存儲Storage System - 28連接協(xié)議Tightly ConnectedEntities DirectlyAttachedEntitiesNetwork ConnectedEntities什么是DASInternal Dir
16、ect ConnectExternal Direct ConnectDAS的幾種類型IDE優(yōu)點:價格低廉、兼容性好SCSI優(yōu)點:適應面廣、高性能、同時具備內(nèi)外置FC優(yōu)點:帶寬高、連接距離長、連接設備數(shù)量大SATA優(yōu)點:一對一連接、獨享帶寬、支持熱插拔、低電壓SAS優(yōu)點:兼容性好、數(shù)據(jù)傳輸率高SCSI的地址分類Initiator IDTarget IDLUNc0t0d0PortPortPortPortPortHostStorage ArrayTarget (Front-end port)Target t0Initiator (HBA)Controller c0d0d1d2Storage Volu
17、mesHost Addressing:Storage Volume 1 - c0t0d0 Storage Volume 2 - c0t0d1 Storage Volume 3 - c0t0d2LUNLUNLUNSAN 和 NASBLOCK訪問FC SANIP SAN文件系統(tǒng)訪問NFSCIFS什么是FC SANStorage ArrayStorage ArrayServersFC SAN高速的專用的存儲連接網(wǎng)絡提供Block級別的設備訪問采用FC協(xié)議進行傳輸FC SAN的演變Zone的概念IP SAN使用IP協(xié)議封裝和承載SCSI協(xié)議。早期的IPSAN是采用TCP/IP和FC技術相結合的方式傳輸
18、SCSI指令,逐漸發(fā)展成可以采用iSCSI封裝技術傳輸SCSI指令和數(shù)據(jù)。ISCSIIETF提出的基于IP協(xié)議的技術標準不包含任何FC的內(nèi)容SCSI命令和數(shù)據(jù)幀壓縮為IP幀傳輸工作于SCSI和TCP/IP之間iSCSI幀封裝什么是NASFCoIP Entire Fibre Channel Frame Over IP基于IP的光纖通道(FCIP)是連接TCP/IP網(wǎng)絡鏈路上的光纖通道架構的一項IETF建議標準。FCOE以太網(wǎng)光纖通道(FCoE)是一個封裝協(xié)議,它通過被稱為融合增強型以太網(wǎng)(CEE)的新以太網(wǎng)版本,傳輸光纖通道存儲流量。DAS、NAS、SAN剖析 主機DASFC SAN應用文件/操
19、作系統(tǒng)I/O 重定向器TCP/IP 協(xié)議棧NFS/CIFS網(wǎng)絡接口卡 主機文件處理 I/ONAS IP Network網(wǎng)絡接口卡TCP/IP 協(xié)議棧NFS/CIFS文件系統(tǒng)+ 邏輯卷管理器數(shù)據(jù)管理系統(tǒng)RAID塊處理 I/O設備驅動應用邏輯卷管理器 裸卷SCSI 設備驅動塊處理 I/OIP SAN應用邏輯卷管理器 裸卷iSCSI LayerTCP/IP Stack網(wǎng)絡接口卡 主機塊處理 I/O塊處理 I/O IP Network FC Network網(wǎng)絡接口卡TCP/IP協(xié)議棧數(shù)據(jù)管理系統(tǒng)RAID塊處理 I/OFC總線卡FC協(xié)議棧數(shù)據(jù)管理系統(tǒng)RAID塊處理 I/O應用邏輯卷管理器 裸卷SCSI
20、設備驅動FC協(xié)議棧FC總線卡設備驅動設備驅動SCSI 設備驅動 主機文件/操作系統(tǒng)數(shù)據(jù)庫文件/操作系統(tǒng)數(shù)據(jù)庫文件/操作系統(tǒng)數(shù)據(jù)庫RAIDSCSI/FC 總線卡本地數(shù)據(jù)拷貝克隆生產(chǎn)信息克隆BCV完整映像拷貝BCVBCVBCVBCVBCVBCVBCV物理上獨立的源卷時間點拷貝對應用程序性能的影響最小適合于備份恢復 測試數(shù)據(jù)庫提取需要遷移的數(shù)據(jù)源亦稱為業(yè)務連續(xù)性卷 (BCV)如果需要大量的克隆,成本會很可觀克隆容量必須等于生產(chǎn)容量本地數(shù)據(jù)拷貝 快照數(shù)據(jù)的邏輯時間點拷貝基于指針的數(shù)據(jù)拷貝可能會對應用程序的性能產(chǎn)生一定的影響適合于備份恢復測試 管理一段時間內(nèi)的數(shù)據(jù)更改比克隆便宜所需容量通常是生產(chǎn)容量的
21、20%2 GB 的生產(chǎn)容量僅需要 400 MB 的快照容量NAS 存儲通常使用快照而非克隆生產(chǎn)信息Snap快照邏輯時間點視圖快照快照快照快照快照快照快照遠程復制恢復點目標 (RPO)數(shù)據(jù)丟失時,需要恢復多久之前的數(shù)據(jù)?恢復時間目標 (RTO)發(fā)生數(shù)據(jù)丟失事件之后,需要多長時間才能恢復正常運行? RPO:恢復點目標由于災難導致系統(tǒng)停機RTO:恢復時間目標周天小時分鐘時間周天小時分鐘同步模式1234I/OI/OACKACK從主機到本地存儲系統(tǒng)的 I/O從本地存儲系統(tǒng)到遠程(目標)系統(tǒng)的 I/O從遠程系統(tǒng)返回到本地系統(tǒng)的確認從本地存儲系統(tǒng)返回到主機的確認帶定期更新的異步復制1234I/OACK從主機
22、到存儲系統(tǒng)的 I/O從本地存儲系統(tǒng)返回到主機的確認觸發(fā)事件從本地存儲系統(tǒng)到遠程(目標)系統(tǒng)的增量集從遠程系統(tǒng)返回到本地系統(tǒng)的確認區(qū)塊增量集ACK5很常用的備份/恢復方法單個磁帶機可以連接到每臺服務器備份可以通過 LAN 完成速度慢且容易出錯,但價格低廉備份也可以通過 SAN 完成速度快但價格高昂 可以使用某種類型的磁帶庫隨著信息量的增加,磁帶的數(shù)量也必須增加,這可能導致成本高昂且難以管理安全是一個問題,因為磁帶可能會丟失或被盜磁帶難以保存,運輸期間可能會受損特點使用磁帶進行備份和恢復磁帶庫基本體系結構異構客戶端備份服務器關鍵應用程序LANSANNAS (NDMP)存儲節(jié)點問題:備份到磁帶的速度
23、很快,但恢復起來往往要慢的多使用磁盤進行備份和恢復磁盤備份目標磁帶庫Backup-to-Disk 體系結構異構客戶端備份服務器關鍵應用程序LANNAS存儲節(jié)點SAN越來越普遍的備份/恢復方法備份目標可以是存儲陣列中的大型 ATA 驅動器生產(chǎn)環(huán)境中可能使用同樣的存儲陣列備份目標可以是虛擬磁帶庫這是一個帶仿真硬件和軟件的存儲陣列同時支持多種類型的磁帶機和磁帶庫對于備份應用程序而言,虛擬磁帶庫“就像真的磁帶庫一樣” 特點解決方案:從磁盤恢復和備份的速度一樣快,因此恢復效果更好什么是存儲虛擬化SNIA(存儲網(wǎng)絡工業(yè)協(xié)會)對存儲虛擬化的定義: The act of abstracting, hiding
24、 or isolating the internal function of a storage (sub) system or service from applications, compute servers or general network resources for the purpose of enabling application and network independent management of storage or data. The application of virtualization to storage services or devices for
25、 the purpose of aggregating, hiding complexity or adding new capabilities to lower level storage resources. Storage can be virtualized simultaneously in multiple layers of a system, for instance to create HSM-like systems.參考譯文: 通過對存儲(子)系統(tǒng)或存儲服務的內(nèi)部功能進行抽象、隱藏或隔離,使存儲或數(shù)據(jù)的管理與應用、服務器、網(wǎng)絡資源的管理分離,從而實現(xiàn)應用和網(wǎng)絡的獨立管理
26、。 對存儲服務和設備進行虛擬化,能夠在對下一層存儲資源進行擴展時進行資源合并、降低實現(xiàn)的復雜度。存儲虛擬化可以在系統(tǒng)的多個層面實現(xiàn),比如建立類似于HSM(分級存儲管理)的系統(tǒng)。什么是存儲虛擬化虛擬化的原理16857管理2客 戶管理員物理資源邏輯資源為什么要存儲虛擬化存儲虛擬化的原動力虛擬存儲池復制空間資源整合鏡像快照統(tǒng)一數(shù)據(jù)管理遷移標準化接入存儲虛擬化的目的抽象Abstract統(tǒng)一數(shù)據(jù)管理功能“Virtualization”降低管理難度數(shù)據(jù)跨設備流動提高可擴展性提高設備使用效率隱藏Hide隔離Isolate設備構件化1、融合:技術基礎(更可靠、更可控、更靈活、更易擴展、更低成本)2、開放:個性
27、化基礎(SOA的標準中間件架構和應用開發(fā)接口)3、面向應用:以應用為先導,資源動態(tài)分配、統(tǒng)一管理用虛擬化簡化IT架構存儲系統(tǒng)計算節(jié)點互連網(wǎng)絡虛擬信息架構Virtual Information Infrastructure應用Applications(ERP,SCM,CRM,OA)What you haveWhat you want基礎架構技術融合;面向應用的計算、網(wǎng)絡、存儲的IT資源池開放中間件,實現(xiàn)可定制應用與基礎架構分離ESG報告表明,早期采用虛擬化技術平均每年可節(jié)約:24% 硬件成本16% 軟件成本19% 管理成本如果預算共$1,000,000,花費$500,000于硬件, $ 200,
28、000于軟件和$300,000于管理。存儲虛擬化的價值每年可節(jié)約$209,000存儲虛擬化實現(xiàn)模式存儲虛擬化實現(xiàn)的結果存儲虛擬化磁盤虛擬化塊虛擬化磁帶、磁帶驅動器、磁帶庫虛擬化文件系統(tǒng)虛擬化文件/記錄虛擬化基于主機的虛擬化基于網(wǎng)絡的虛擬化基于存儲設備、存儲子系統(tǒng)的虛擬化帶內(nèi)虛擬化帶外虛擬化實現(xiàn)結果實現(xiàn)位置實現(xiàn)方式兩條存儲路線的斗爭Scale Up & Scale OutConventional StorageClustered StorageFaster.Slower.TRAIN STOPS!TRAIN KEEPS GOING!1. 磁盤扇區(qū)的物理地址一般用C-H-S(柱面號-磁頭號-扇區(qū)號)
29、表示2. 磁盤虛擬化就是將扇區(qū)地址用LBA(邏輯塊地址)表示,屏蔽底層物理磁盤的概念3. 磁盤虛擬由磁盤自身固件完成4. 磁盤虛擬化的結果是使磁盤的使用者無須了解磁盤的內(nèi)部硬件細節(jié),通過塊地址就可以訪問磁盤磁盤虛擬化001002003004005006007磁盤虛擬化LBA1、塊虛擬化是指對多塊硬盤建立RAID,劃分邏輯卷(LUN)。2、每個邏輯卷對于使用者都完全等同于一塊物理硬盤。物理上來說,這個邏輯卷的所有數(shù)據(jù)塊,都是通過RAID處理,分布在不同的物理硬盤上。3、塊虛擬化的結果是使存儲的使用者無須關心RAID實現(xiàn)的具體過程,只要象讀寫普通硬盤一樣讀寫這個邏輯卷,就能獲得RAID對數(shù)據(jù)的保護
30、功能。塊虛擬化物理磁盤Raid、磁盤分區(qū)邏輯資源塊虛擬化1.采用類似RAID的技術對多盤磁帶進行條帶化和校驗,以期提高磁帶使用的可靠性和性能2.由于磁帶讀寫緩慢,難以滿足條帶和校驗的需要,因此RAIT技術很少使用磁帶、磁帶驅動器、磁帶庫虛擬化VTL虛擬磁帶庫磁帶虛擬化RAIT條帶化功能多個磁帶驅動器一個邏輯驅動器磁盤1.提高磁帶驅動器使用效率2.加快數(shù)據(jù)備份的速度VTL將磁盤陣列虛擬為磁帶庫,使用戶在無須改變備份習慣和現(xiàn)有備份軟件配置的情況下,獲得以下優(yōu)點:1、大幅度提高性能,縮短數(shù)據(jù)備份和恢復窗口2.獲得磁盤陣列的RAID保護功能,避免磁帶介質(zhì)故障3.持續(xù)擴展備份的性能和容量NAS虛擬化NA
31、S的特點支持異構主機成熟的網(wǎng)絡拓撲結構高度集成的存儲子系統(tǒng)設備簡單化虛擬文件系統(tǒng)NFS/CIFS 客戶端文件文件LANNAS設備虛擬硬盤提供專用文件系統(tǒng)NAS虛擬化典型產(chǎn)品EMCIsilonNFS, CIFS,FTP, HTTPClient/ApplicationLayerStandard GigabitEthernet LayerIsilon IQClustered Storage LayerIntraclusterCommunicationInfiniBand LayerWindowsUNIX/LINUXMAC(optional 2nd switch for additional subn
32、et)(optional 2nd switch for high availability)(optional 2nd switch)Isilon IQ Storage LayerIntracluster Communication Infiniband or GigE LayerServersClient/Application LayerNFS, CIFS,FTP, HTTP(optional 2nd switch)Standard Gigabit Ethernet LayerServersServersEMC Isilon ArchitectureWriting a File with
33、EMC Isilon(optional 2nd switch)(optional 2nd switch)ServersNFS, CIFS,FTP, HTTP(optional 2nd switch)ServersServersWorkVert-SpecificWriting a File with EMC Isilon(optional 2nd switch)WorkVert-Specific(optional 2nd switch)ServersNFS, CIFS,FTP, HTTP(optional 2nd switch)ServersServers(optional 2nd switch
34、)Reading a File with EMC IsilonWorkVert-SpecificReading a File with EMC Isilon(optional 2nd switch)ServersNFS, CIFS,FTP, HTTP(optional 2nd switch)ServersServersWorkVert-Specific存儲虛擬化實現(xiàn)的位置存儲虛擬化磁盤虛擬化塊虛擬化磁帶、磁帶驅動器、磁帶庫虛擬化文件系統(tǒng)虛擬化文件/記錄虛擬化基于主機的虛擬化基于網(wǎng)絡的虛擬化基于存儲設備、存儲子系統(tǒng)的虛擬化帶內(nèi)虛擬化帶外虛擬化實現(xiàn)結果實現(xiàn)位置實現(xiàn)方式基于主機的存儲虛擬化主要用途:
35、使服務器的存儲空間可以跨越多個異構的磁盤陣列,常用于在不同磁盤陣列之間做數(shù)據(jù)鏡像保護。優(yōu)點: 支持異構的存儲系統(tǒng)。缺點: 占用主機資源,降低應用性能。 存在操作系統(tǒng)和應用的兼容性問題。 導致主機升級、維護和擴展非常復雜,而且容易造成系統(tǒng)不穩(wěn)定性。 需要復雜的數(shù)據(jù)遷移過程,影響業(yè)務連續(xù)性。常見產(chǎn)品:Symantec Veritas VolumeManagerAgentAgentAgentAgentDAS或SAN存儲網(wǎng)絡實現(xiàn)方式:一般由操作系統(tǒng)下的邏輯卷管理軟件完成(安裝客戶端軟件),不同操作系統(tǒng)的邏輯卷管理軟件也不相同?;诖鎯υO備的存儲虛擬化主要用途:在同一存儲設備內(nèi)部,進行數(shù)據(jù)保護和數(shù)據(jù)遷移
36、。優(yōu)點: 與主機無關,不占用主機資源。 數(shù)據(jù)管理功能豐富。AgentAgentAgentAgentSAN存儲網(wǎng)絡虛擬化引擎實現(xiàn)方式:在存儲控制器上添加虛擬化功能,常見于中高端存儲設備。缺點: 一般只能實現(xiàn)對本設備內(nèi)磁盤的虛擬化。 不同廠商間的數(shù)據(jù)管理功能不能互操作。 多套存儲設備需配置多套數(shù)據(jù)管理軟件,成本較高。 常見產(chǎn)品H3C IX/EX系列HP EVAHDS TagmaStorSUN 6920系列基于網(wǎng)絡的存儲虛擬化主要用途:異構存儲系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理。優(yōu)點: 與主機無關,不占用主機資源。 能夠支持異構主機、異構存儲設備。 使不同存儲設備的數(shù)據(jù)管理功能統(tǒng)一。 構建統(tǒng)一管理平臺,可擴展性
37、好。SAN+虛擬化引擎實現(xiàn)方式:通過在存儲域網(wǎng)(SAN)中添加虛擬化引擎實現(xiàn)。缺點: 部分廠商數(shù)據(jù)管理功能弱,難以達到虛擬化統(tǒng)一數(shù)據(jù)管理的目的。 部分廠商產(chǎn)品成熟度較低,仍然存在和不同存儲和主機的兼容性問題。常見產(chǎn)品H3C IV系列IBM SVCEMC VPLEXNetApp GFiler系列存儲虛擬化實現(xiàn)技術比較主機影響主機兼容性存儲兼容性業(yè)務功能性能影響可擴展性實施影響基于主機基于存儲基于網(wǎng)絡好較好較差很差存儲虛擬化實現(xiàn)的方式存儲虛擬化磁盤虛擬化塊虛擬化磁帶、磁帶驅動器、磁帶庫虛擬化文件系統(tǒng)虛擬化文件/記錄虛擬化基于主機的虛擬化基于網(wǎng)絡的虛擬化基于存儲設備、存儲子系統(tǒng)的虛擬化帶內(nèi)虛擬化帶外
38、虛擬化實現(xiàn)結果實現(xiàn)位置實現(xiàn)方式帶內(nèi)虛擬化主機層網(wǎng)絡層存儲層虛擬化引擎邏輯讀寫指令物理磁盤指令SAN數(shù)據(jù)讀寫流用途: 異構存儲系統(tǒng)整合 統(tǒng)一數(shù)據(jù)管理,在業(yè)務運行同時完成復制、鏡像、CDP等各種數(shù)據(jù)管理功能優(yōu)點: 服務器、存儲設備的兼容性好 虛擬化和數(shù)據(jù)管理功能由專用硬件實現(xiàn),不占用主機資源 豐富的數(shù)據(jù)管理功能 配置簡單,易于實施缺點: 虛擬化設備發(fā)生故障,整個系統(tǒng)將中斷邏輯指令轉換物理指令帶內(nèi)虛擬化典型產(chǎn)品EMC VPLEX分布式. 動態(tài). 智能.數(shù)據(jù)中心內(nèi)VPLEX LocalVPLEX Metro遠距離 AccessAnywhere 同步VPLEX Geo遠距離 AccessAnywhere
39、 異步VPLEX 系列使用案例可用性高可用性消除故障切換所進行的存儲操作隨時隨地訪問移動性災難避免數(shù)據(jù)中心遷移工作負載重新平衡隨時隨地訪問群集 A群集 B協(xié)作遠距離即時和同時數(shù)據(jù)訪問優(yōu)化工作流程隨時隨地訪問遠距離移動和重新定位虛擬機、應用程序和數(shù)據(jù)支持跨地點并發(fā)讀/寫數(shù)據(jù)訪問通過跨位置鏡像保持可用性和無中斷訪問帶外虛擬化主機層網(wǎng)絡層存儲層SAN注冊請求存儲列表注冊響應建立連接,進行讀寫AgentAgentAgent控制信息流虛擬化引擎數(shù)據(jù)讀寫流用途: 一般用于不同存儲設備之間的數(shù)據(jù)復制 優(yōu)點: 虛擬化設備發(fā)生故障,整個系統(tǒng)將不會中斷缺點: 主機資源占用較大 大部分產(chǎn)品缺乏數(shù)據(jù)管理功能 主機和存
40、儲系統(tǒng)需要嚴格的兼容性認證 數(shù)據(jù)初始化同步復雜 配置復雜,實施難度高存儲虛擬化的應用難點原數(shù)據(jù)卷磁盤陣列Question:如何保證虛擬化之后的數(shù)據(jù)狀態(tài)不變,同時避免復雜的數(shù)據(jù)備份和遷移?Answer:SSE ( 存儲服務使能)實現(xiàn)對已有數(shù)據(jù)的卷的虛擬化:數(shù)據(jù)狀態(tài)不變訪問路徑不變無需數(shù)據(jù)遷移豐富的數(shù)據(jù)管理功能應用主機虛擬化之后的數(shù)據(jù)卷虛擬化信息無縫接入用戶原有環(huán)境!難點一:數(shù)據(jù)狀態(tài)的一致性保證難點二:多存儲訪問協(xié)議支持應用服務器DAS設備IP SAN設備FC SAN設備FCiSCSINFSCIFS虛擬化引擎Question:虛擬化如何同時支持IP SAN、FC SAN、NAS等多種存儲訪問協(xié)議?
41、Answer:虛擬化設備內(nèi)置高效的多協(xié)議數(shù)據(jù)轉換引擎,將來自前端服務器的多種主機數(shù)據(jù)訪問單元,與后端存儲陣列的存儲數(shù)據(jù)訪問單元,進行解析和轉換,保證數(shù)據(jù)的正確讀寫訪問。多協(xié)議數(shù)據(jù)轉換引擎存儲設備難點三:存儲多鏈路負載均衡Question:針對多樣化的存儲陣列,如何部署多鏈路負載均衡軟件,保證后端存儲訪問路徑的高可用?Answer:MultiPath是一種多路徑軟件,安裝在虛擬化管理設備上后,可為虛擬化引擎到后端存儲提供多路徑功能支持負載均衡支持故障切換LUN 0LUN 1存儲系統(tǒng)LUN0LUN0LUN0LUN0LUN1LUN1LUN1LUN1LUN0LUN1LUN 0虛擬化虛擬化虛擬化引擎Mu
42、ltiPathFC 交換機FC 交換機控制器2控制器1難點四:主機多鏈路負載均衡FC HBA 卡 1FC 交換機FC HBA 卡 2FC 交換機LUN 1LUN 0應用主機IV5000LUN0LUN0LUN1LUN1LUN0LUN1虛擬化虛擬化DynaPathQuestion:針對不同的應用主機,如何部署多鏈路負載均衡軟件,保證前端主機訪問路徑的高可用?Answer:DynaPath 是安裝在主機端,為了實現(xiàn)FC環(huán)境下的多路徑的一種軟件支持負載均衡支持故障切換難點五:統(tǒng)一數(shù)據(jù)管理功能虛擬存儲池HA功能鏡像 連續(xù)數(shù)據(jù)保護跨設備數(shù)據(jù)保護跨設備數(shù)據(jù)遷移遠程數(shù)據(jù)復制 應用服務器虛擬化引擎存儲設備Que
43、stion:虛擬化存儲資源整合后,能否提供統(tǒng)一的豐富的數(shù)據(jù)管理功能,實現(xiàn)跨設備、跨地域的全面數(shù)據(jù)保護?Answer:H3C Neocean虛擬化數(shù)據(jù)管理平臺,在提供數(shù)據(jù)虛擬化整合的基礎上,提供鏡像、快照、網(wǎng)絡復制等數(shù)據(jù)管理功能,提供豐富的數(shù)據(jù)保護解決方案。85計算云和存儲云LOB 用戶訪問服務虛擬或物理服務器App1App2App3App4App5App6App7App8云管理員LOB 用戶訪問服務Unix 計算云System p, x zApp1App2App3App4App5App6App7App8LOB 用戶訪問服務虛擬存儲云管理員LOB 用戶訪問服務存儲云XIV/SoFS計算云: 通過
44、互聯(lián)網(wǎng)或內(nèi)部網(wǎng)提供給云用戶的是一個可擴展的彈性的服務器(物理或虛擬), 存儲對用戶是透明的。存儲云:通過互聯(lián)網(wǎng)或內(nèi)部網(wǎng)提供給云用戶的是一個可擴展的彈性的存儲或數(shù)據(jù)服務,物理存儲設備對用戶是透明的。存儲云技術參考架構動態(tài)基礎架構OSS虛擬化管理IT服務自動化 & 控制BSS存儲云服務管理平臺業(yè)務管理存儲云服務用戶服務交付門戶平臺服務管理門戶Customer in-houseIT合作伙伴云用戶管理員用戶業(yè)務經(jīng)理云服務用戶云管理員資源虛擬化平臺服務器磁盤存儲磁帶存儲服務監(jiān)控/報告服務請求與目錄管理服務自動化管理數(shù)據(jù)備份/歸檔資源管理資源部署與回收費用管理計價管理用戶管理服務業(yè)務目錄服務報告訂單管理集
45、群管理網(wǎng)絡云操作員云服務開發(fā)者資源管理員服務接入文件級別的存儲云服務NFSCIFSHTTPFTPGPFS + HSMSystem DirectorTSMGPFS ClusterSoFS PackageLDAP or GPFS User mgmtGPFS+SAMBA+Apach File Service87從存儲虛擬化走向云存儲的路線圖整合 &虛擬化面向服務的管理管理自動化減少設備投資成本(CAPEX)資產(chǎn)利用率提高三倍空間節(jié)省可達 80%減少維護成本(OPEX)資源部署從幾個星期減少到幾個小時提高標準化水平實現(xiàn)硬件平臺的自動管理建立自我服務的門戶自動響應業(yè)務的變化IT架構與業(yè)務管理緊密聯(lián)系云存
46、儲存儲虛擬化88存儲云與傳統(tǒng)存儲平臺的區(qū)別塊存儲云文件存儲云塊存儲用戶文件存儲用戶LUN,iSCSI LUNTargetsPOSIX(NFS,CIFS,WebDAV),快速為用戶部署存儲空間按實際用量計費降低存儲成本(存儲共享,重復數(shù)據(jù)刪除,數(shù)據(jù)壓縮)系統(tǒng)管理簡單彈性擴展89存儲云的潛在用例面向互聯(lián)網(wǎng)應用:流媒體、社交網(wǎng)站、圖片非結構化數(shù)據(jù):通用內(nèi)容存儲(“云盤”): 通過POSIX進行訪問,如iCloud, ThingGrid等具備與云數(shù)據(jù)同步功能的通用內(nèi)容存儲:數(shù)據(jù)的訪問可能通過不標準的協(xié)議,如MobileMe, Google Docs, Windows Live Mesh等數(shù)據(jù)備份:把數(shù)
47、據(jù)備份到存儲云,在需要的時候進行恢復數(shù)據(jù)歸檔和保留:把數(shù)據(jù)保存一段時間,然后安全地刪除數(shù)據(jù)保存:數(shù)據(jù)保存很長一段時間,如圖書館、大學的資料等數(shù)據(jù)庫:為云應用存放表數(shù)據(jù),如Microsoft Azure Tables, Google BigTable, SimpleDB云計算需要的存儲:主要為laaS服務,存放映像,應用映象等,如Amazon S3等內(nèi)容分發(fā):全球性的發(fā)布數(shù)據(jù),減少延遲和提高擴展性云存儲之間的相互操作:存儲云之間的數(shù)據(jù)共享、數(shù)據(jù)復制、數(shù)據(jù)分布等Source: SNIA CloudStorage Use Case version 0.590存儲云的框架 Framework物理設備層
48、設備管理層數(shù)據(jù)管理層服務接入層高可用性數(shù)據(jù)在線遷移數(shù)據(jù)備份數(shù)據(jù)歸檔數(shù)據(jù)合規(guī)重復數(shù)據(jù)刪除內(nèi)容管理專用APINFSCIFSLUN/iSCSI LUNWebDAV數(shù)據(jù)安全信息挖掘存儲資源部署存儲云用戶Tier-1 DiskTier-2 DiskTier-3 DiskSAN SwitchTape塊存儲云(LUN服務)文件存儲云(文件服務)IBM存儲云解決方案數(shù)據(jù)快照應 用 相 關 性0100存儲虛擬化91存儲云建設的考慮因素數(shù)據(jù)服務的對象:公共存儲云還是私有存儲云?存儲數(shù)據(jù)服務的種類:塊存儲還是文件存儲?性能和吞吐量:對性能要求比較高的應用,如OLTP,服務器與存儲云應該放在一起,避免網(wǎng)絡延遲帶來的影
49、響。高可用性: 99.999%的可用性需要可靠的硬件,更需要有效的系統(tǒng)管理手段數(shù)據(jù)安全:如何保障公共存儲云上數(shù)據(jù)的安全性?數(shù)據(jù)加密?92廠商C廠商B廠商A驅動A驅動A驅動B驅動B驅動C遠程鏡像 ?沒空間了沒空間了沒空間了空余空間010101010101010101010010101101001000數(shù)據(jù)遷移SAN管理控制臺A管理控制臺 C管理控制臺 B快照?是否能利用現(xiàn)有的存儲網(wǎng)絡進行數(shù)據(jù)拷貝服務?管理多個存儲通過多個管理接口?整合需要為新增加的存儲容量購買各種功能的軟件授權?存儲的空間沒有得到有效的利用?整合是否支持非中斷的數(shù)據(jù)遷移,以及所需時間?應對7X24小時需求空間、制冷、電費?面臨的
50、信息挑戰(zhàn)在物理存儲系統(tǒng)和服務器之間增加一個虛擬層,它管理和控制所有存儲并對服務器提供存儲服務。服務器不直接與存儲硬件打交道,存儲硬件的增減、調(diào)換、分拆、合并對服務器層完全透明。 隱藏了復雜程度 允許將現(xiàn)有的功能集成使用 擺脫了物理容量的局限虛擬化邏輯表現(xiàn)物理設備什么是存儲虛擬化DS / TSStorageSubsystemEVA RAIDSAN 卷控制器SAN 文件系統(tǒng)NASStorageNetworkSVC SVSPGPFS EFS IBRIXp5 HypervisorVIOS/ VMFS操作系統(tǒng)LVMLVM ServerOperatingSystemVIOS虛擬化邏輯表現(xiàn)物理設備存儲虛擬化
51、技術塊設備訪問(Storage Volume)存儲集合管理VM MobilityOSOSOSHypervisorN-waySMPOSOSOSN-waySMP服務器集合管理HypervisorStorage ControllersSANSwitchesBlock Storage EnsembleStorage MobilityStorage ControllersSANSwitchesVirtualized Block Storage EnsembleStorage MobilityStorage ControllersSANSwitchesBackup & Archive EnsembleSt
52、orage ControllersSANSwitchesFile Storage Ensemble高擴展文件系統(tǒng)存儲虛擬層文件訪問(File)OSOSOSHypervisorN-waySMPTape存儲的變化應該對上層應用透明,不影響上層應用的配置和運行存儲虛擬化架構Time應用成長功能 擴展部分功能遷移到其他應用存儲初始規(guī)劃應用逐步下線部分正確定級部分正確定級快速發(fā)布簡單的流程沒有浪費沒有浪費 應用生命周期部分正確定級主動 并且 沒有痛苦的存儲管理深入了解應用特性預測并消除應用QoS問題簡單的初始定級簡單的再定級在應用生命周期的所有階段都有效利用空間存儲服務在應用生命周期的所有階段都可以很好
53、地匹配 業(yè)務的需求少數(shù)卓越的大型企業(yè)IO負載應用初始上線有限測試動態(tài)優(yōu)化存儲架構97聚集多個磁盤系統(tǒng)建立一個大的存儲池一套拷貝服務適用于所有存儲系統(tǒng)從一個點管理所有存儲系統(tǒng)存儲改變不影響應用VirtualDiskVirtualDiskVirtualDiskVirtualDiskSANSAN Volume ControllerAdvanced Copy ServicesStorage PoolHPEMCDS4000DS8000HDS異構環(huán)境構建存儲虛擬化虛擬化存儲整合解決方案Storage Virtualization客戶擁有很多的異構的存儲和不同平臺的主機系統(tǒng)整體低的利用率通過提高存儲的全部的
54、存儲的利用率,節(jié)省電源消耗;提升IO性能和吞吐量通過統(tǒng)一的任務窗口對異構存儲實施高級拷貝,備份和生命周期管理,降低存儲管理成本IBM, HP, EMC, HDSCombined 50% utilizationStorage PoolIBM, HP, EMC, HDSCombined 80% utilizationIBM SAN Volume Controller推薦的解決方案 價值主張目標客戶 IBM的虛擬化解決方案綠色策略整合存儲,提高存儲的利用率,降低能耗;構成一個大的存儲池;采用更大容量的SATA磁盤;減少磁盤數(shù)量;相同容量的SATA磁盤的耗電是FC磁盤的一半;遷移數(shù)據(jù),更有效的利用存儲
55、;根據(jù)策略,將數(shù)據(jù)遷移到SATA磁盤上;集中備份,占用更少的存儲;存儲池內(nèi)基于COW進行快照;4Q2007只備份變更的數(shù)據(jù);重復數(shù)據(jù)刪除技術;減少測試、開發(fā)所需的存儲空間;存儲池內(nèi),通過基于時間點的快照,而非克隆技術;存儲空間精簡配置存儲按需分配;2Q2008空間、電源、制冷成本!Windows 服務器Linux 服務器UNIX 服務器計算能力和數(shù)據(jù)的孤島不同的管理工具人工資源分配管理服務器物理整合復雜邏輯簡化Windows 服務器UNIX 服務器Linux 服務器網(wǎng)絡網(wǎng)絡較少的設備和許可證不同的管理工具耗費大量人力的資源分配資源池 每臺服務器多種操作系統(tǒng)快速資源分配自動管理存儲虛擬化虛擬服務器、存儲、網(wǎng)絡存儲服務器需要突破性技術降低復雜性簡化IT存儲架構網(wǎng)絡101Hidden Cost : Storage Virtualization潛在成本:儲存虛擬化資料整合為跨單位整合的第一步!導入評量指標:資料所有權/散佈權/重覆比例資料成長量= ? PB/Year現(xiàn)有資料副本個數(shù)/災害復原能力商業(yè)硬體方案:EMC、NetApp商業(yè)軟體方案:IBM GPFS自由軟體方案:Lustre、ZFS、GlusterFS.預期效益:減少資料重覆(Data Deduplica
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 小學生思品課件
- 廣州代理銷售合同范本
- 鋼廠皮帶銷售合同范本
- 小型設備采購合同范本
- 臨時搭建合同范本
- 香港租憑合同范本
- 按摩課程培訓課件
- 農(nóng)村的門窗合同范本
- 智能家居設備使用安全免責協(xié)議
- 綠色農(nóng)業(yè)科技項目投資扶持協(xié)議
- 泡沫鉆井技術
- 大學數(shù)學實驗(MATLAB版)PPT全套完整教學課件
- 2022年臨西縣事業(yè)單位考試真題及答案
- 新蘇教版三年級科學下冊知識點歸納復習資料
- 航天集團人才隊伍建設經(jīng)驗介紹
- 牙周炎-侵襲性牙周炎
- 心理委員工作記錄表
- 教師的十大轉變課件
- 焦化廠生產(chǎn)工序及工藝流程圖
- 可下載打印的公司章程
- 中藥熏洗法課件
評論
0/150
提交評論