存儲基礎(chǔ)知識

1、存儲基礎(chǔ)知識存儲基礎(chǔ)知識培訓(xùn)材料培訓(xùn)材料Contents1.您所熟悉的數(shù)據(jù)存儲3.數(shù)據(jù)備份技術(shù)5.信息生命周期2.存儲基礎(chǔ)知識4.主機高可用技術(shù)6.其他知識這是一個大數(shù)據(jù)時代！根據(jù)IDC發(fā)布的全球數(shù)據(jù)總量研究報告(Digital Universe)顯示，在接下來的8年中，我們所產(chǎn)生的數(shù)據(jù)量將超過40 ZB(估計是地球上所有海灘上砂礫數(shù)量的57倍)，這相當(dāng)于地球上每個人產(chǎn)生5200GB的數(shù)據(jù)。數(shù)據(jù)存儲的方式數(shù)據(jù)存儲您所面臨的疑惑？多媒體數(shù)據(jù)的電子化，使得數(shù)據(jù)容量增長速度越來越快。數(shù)據(jù)與是如何被管理起來？從磁盤層面時候可以保障數(shù)據(jù)的安全性穩(wěn)定性？Internet的發(fā)展使得數(shù)據(jù)在網(wǎng)絡(luò)傳播在網(wǎng)絡(luò)傳播，

2、怎么實現(xiàn)的？有哪些高可用方案保障數(shù)據(jù)的寫入、讀?。繕I(yè)務(wù)運行時的數(shù)據(jù)一致性如何保障？在發(fā)生災(zāi)難時，數(shù)據(jù)是否可以提供做好復(fù)制容災(zāi)措施？數(shù)據(jù)是否有生命周期？請思考數(shù)據(jù)存儲的知識領(lǐng)域。Contents1.您所熟悉的數(shù)據(jù)存儲3.數(shù)據(jù)備份技術(shù)5.信息生命周期2.存儲基礎(chǔ)知識4.主機高可用技術(shù)6.其他知識2.1存儲介質(zhì)基礎(chǔ)存儲介質(zhì)-HDDHDD（Hard Disk Drive，硬盤驅(qū)動器）構(gòu)成：介質(zhì)磁頭接口p IDC（Integrated Dive Electronics）p ATA（AT attachment）p SATA（Serial ATA）p SCSIp FCp SASHDD屬于物理機械結(jié)構(gòu)，比較容

3、易壞，卻好恢復(fù)數(shù)據(jù)。存儲介質(zhì)-SSDSSD屬于半導(dǎo)體結(jié)構(gòu)，一般不易壞，難以恢復(fù)數(shù)據(jù)。SSD（Solid State Drives，固態(tài)硬盤）主要有主控、內(nèi)存、緩存、固件四大部分組成，其中前三者屬于硬件部分，固件屬于軟件程序部分，用于控制主控的讀寫操作。新一代固態(tài)硬盤普遍采用SATA-2接口、SATA-3接口、SAS接口、MSATA接口、PCI-E接口、NGFF接口、CFast接口和SFF-8639接口。HDD與SSD比較固態(tài)硬盤（SSD)機械硬盤（HDD)容 量較小大價 格貴便宜隨機存取極快一般寫入次數(shù)SLC:10萬次/MLC:1萬次無限制磁盤陣列可極難工作噪音運轉(zhuǎn)寧靜普遍存在聲音工作溫度極低

4、較為明顯發(fā)熱情況發(fā)熱較少有一定發(fā)熱情況存在防震能力很好較差數(shù)據(jù)讀取讀取性能佳讀取性能遠低于SSD數(shù)據(jù)恢復(fù)難容易2.2接口、協(xié)議、主機、操作系統(tǒng)及數(shù)據(jù)庫硬盤接口硬盤接口SCSIFC（光纖通道）SAS接口IDCSATA常見接口常見接口協(xié)議協(xié)議SCSI小型計算機系統(tǒng)接口（Small Computer System Interface）的簡稱，于1979首次提出，是為小型機研制的一種接口技術(shù)，現(xiàn)在已完全普及到了小型機，高低端服務(wù)器以及普通PC上。目前SCSI的主流是Ultra 640（640MB/s）SCSI是在存儲產(chǎn)品中應(yīng)用最廣泛的主機接口類型，大部分的中低端盤陣都采用SCSI主機接口以太網(wǎng)口在存儲

5、設(shè)備中的以太網(wǎng)接口主要用于兩種用途：NAS和IP-SANNAS是一種網(wǎng)絡(luò)文件服務(wù)器IP-SAN是將SCSI的數(shù)據(jù)流通過IP網(wǎng)絡(luò)進行傳輸，構(gòu)成類似于FC-SAN的存儲專用網(wǎng)絡(luò)，目前主要的IP-SAN類型是iSCSI在iSCSI設(shè)備總一般都采用GBE，即千兆以太網(wǎng)卡FC（Fiber Channel，光纖通道）是一種主要使用光纖介質(zhì)的數(shù)據(jù)傳輸技術(shù)，用于計算機設(shè)備之間的數(shù)據(jù)傳輸，連接距離可到10KM（不用中繼設(shè)備）FC通道的主流速度為2Gb/s和4Gb/s光纖通道的主要特性有：熱插拔、高速帶寬、遠程連接、連接設(shè)備數(shù)量大等是構(gòu)成FC-SAN結(jié)構(gòu)的基礎(chǔ)，目前高端的存儲系統(tǒng)大多超過FC設(shè)備。iSCSI（互聯(lián)

6、網(wǎng)小型計算機系統(tǒng)接口）是一種在TCP/IP上進行數(shù)據(jù)塊傳輸?shù)臉?biāo)準。iSCSI可以實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進行快速的數(shù)據(jù)存取備份操作。iSCSIiSCSI協(xié)議協(xié)議l iSCSI是互聯(lián)網(wǎng)小型計算機系統(tǒng)接口（Internet Small Computer System Interface）的簡稱，是一種在TCP/IP上進行數(shù)據(jù)塊傳輸?shù)臉?biāo)準。可以理解為SCSI over IP。l iSCSI實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)進行快速的數(shù)據(jù)存取備份操作。可用于構(gòu)成基于IP的SAN，為用戶提供高速、低價、長距離的存儲解決方案。l iSCS

7、I是將SCSI命令封裝到TCP/IP數(shù)據(jù)包中，使I/O數(shù)據(jù)塊可通過IP網(wǎng)絡(luò)傳輸。數(shù)據(jù)校驗（若有）數(shù)據(jù)校驗（若有）以太網(wǎng)頭以太網(wǎng)頭(14)IP頭頭(20)TCP頭頭(20)iSCSI（TCP數(shù)據(jù)）數(shù)據(jù)）FCS源端口源端口目的端口目的端口序列號序列號確認號確認號首部首部長度長度保留保留U A P R S F窗口大小窗口大小校驗和校驗和緊急指針緊急指針iSCSI的知名端口是：的知名端口是：3260基本報頭段基本報頭段(BHS，48字節(jié)字節(jié))附加報頭段（若有）附加報頭段（若有）頭部校驗（若有）頭部校驗（若有）數(shù)據(jù)段（若有）數(shù)據(jù)段（若有）FCFC協(xié)議協(xié)議Fibre Channel是光纖通道的簡稱，用于服

8、務(wù)器共享存儲設(shè)備的連接，存儲控制器和驅(qū)動器之間的內(nèi)部連接。FC是一種高性能的串行連接標(biāo)準，其接口傳輸速率目前有1G、2G、4Gbit/S幾種標(biāo)準。傳輸介質(zhì)可以選擇銅纜或光纖，支持多種互聯(lián)網(wǎng)拓撲結(jié)構(gòu)。像TCP/IP一樣，F(xiàn)C協(xié)議集同樣具備TCP/IP和以太網(wǎng)中的很多概念，例如：FC交換機、FC路由器、SPF算法等。你完全可以將FC協(xié)議理解為SAN中的TCP/IP，因為他們都遵循OSI模型。服務(wù)器主機架構(gòu)服務(wù)器主機架構(gòu)X86體系架構(gòu)RISC體系架構(gòu)采用AMD的Opteron和Intel的Xeon/ Itanium等處理芯片，支持標(biāo)準的Windows和Linux操作系統(tǒng)?；趯Ｓ械?4位RISC芯片

9、體系系統(tǒng)架構(gòu)。 由各廠商自己開發(fā)芯片和操作系統(tǒng)，各家產(chǎn)品互不兼容，也不兼容大量x86平臺上的軟件，一般采用UNIX操作系統(tǒng)。一般都稱為小型機。像美國Sun、日本Fujitsu等公司的小型機是基于SPARC處理器架構(gòu),而美國HP公司的則是基于PARISC架構(gòu),Compaq公司是Alpha架構(gòu),IBM和SGI等的也都各不相同;其中IO總線也不相同,Fujitsu是PCI，Sun是SBUS,等等, 這就意味著各公司小型機機器上的插卡,如網(wǎng)卡、顯示卡、SCSI卡等可能也是專用的。機架式主要主機廠商主要主機廠商刀片塔式機柜式國內(nèi)主機廠商聯(lián)想、華為、浪潮、寶德、華碩、中科曙光、長城國外主機廠商IBM、DE

10、LL、HP、SUN、Cisco、富士通常見操作系統(tǒng)常見操作系統(tǒng)操作系統(tǒng)：是計算機系統(tǒng)中的管理軟件，負責(zé)管理計算機系統(tǒng)中的所有資源.主要用于管理主機的進程管理與協(xié)作、內(nèi)存管理、文件系統(tǒng)與輸入輸出、系統(tǒng)保護與安全等一般來說. 操作系統(tǒng)操作系統(tǒng)（服務(wù)器版本）服務(wù)器版本）Windows系列Unix系列Linux系列常見關(guān)系型數(shù)據(jù)庫系統(tǒng)常見關(guān)系型數(shù)據(jù)庫系統(tǒng)OracleIBMMicrosoftOracle能在所有主流平臺上運行。完全支持所有的工業(yè)標(biāo)準。采用完全開放策略。幾乎覆蓋了當(dāng)前所有流行的硬件和操作系統(tǒng)平臺：AIX、windows 2008、Red Hat等僅能在Windows平臺下運行支持AIX、F

11、reeBSD、HP-UX、Linux、Solaris、Windows等多種操作系統(tǒng)。支持多用戶，大事務(wù)量的事務(wù)處理 。數(shù)據(jù)安全性和完整性控制 。提供對于數(shù)據(jù)庫操作的接口。支持分布式事務(wù)處理 。可移植性，可兼容性和可連接性 。具有很好的并行性。DB2把數(shù)據(jù)庫管理擴充到了并行的、多節(jié)點的環(huán)境。數(shù)據(jù)庫分區(qū)是數(shù)據(jù)庫的一部分，包含自己的數(shù)據(jù)、索引、配置文件、和事務(wù)日志。數(shù)據(jù)庫分區(qū)有時被稱為節(jié)點安全性。 圖形化用戶界面，使系統(tǒng)管理和數(shù)據(jù)庫管理更加直觀、簡單，豐富的編程接口工具為用戶進行程序設(shè)計提供了更大的選擇余地。SQL Server與Windows NT完全集成，利用了NT的許多功能，如發(fā)送和接受消息，

12、管理登錄安全性等。開源軟件，版本更新較快。性能很出色。價格便宜。SAP能在所有主流平臺上運行，Unix、Linux、Windows。一種高性能的數(shù)據(jù)庫。采用了客戶/服務(wù)器結(jié)構(gòu)，應(yīng)用被分在了多臺機器上運行。Sybase數(shù)據(jù)庫，不只是簡單地提供了預(yù)編譯，而且公開了應(yīng)用程序接口DB-LIB，鼓勵第三方編寫DB-LIB接口。2.3文件系統(tǒng)基礎(chǔ)什么是文件系統(tǒng)？磁盤是由很多個扇區(qū)（Sector）組成的，如果扇區(qū)之間不建立任何的關(guān)系，寫入其中的文件就無法訪問，因為無法知道文件從哪個扇區(qū)開始，文件占多少個扇區(qū)，文件有什么屬性。為了訪問磁盤中的數(shù)據(jù)，就必需在扇區(qū)之間建立聯(lián)系，也就是需要一種邏輯上的數(shù)據(jù)存儲結(jié)構(gòu)。

13、建立這種邏輯結(jié)構(gòu)就是文件系統(tǒng)要做的事情，在磁盤上建立文件系統(tǒng)的過程通常稱為“格式化”。文件系統(tǒng)：定義了把文件存儲于磁盤時所必須的數(shù)據(jù)結(jié)構(gòu)及磁盤數(shù)據(jù)的管理方式。舉個通俗的比喻，一塊硬盤就像一個塊空地，文件就像不同的材料，我們首先得在空地上建起倉庫（分區(qū)），并且指定好（格式化）倉庫對材料的管理規(guī)范（文件系統(tǒng)），這樣才能將材料運進倉庫保管。FAT文件系統(tǒng)FAT(File Allocation Table)是“文件分配表”的意思。顧名思義，就是用來記錄文件所在位置的表格，它對于硬盤的使用是非常重要的，假若丟失文件分配表，那么硬盤上的數(shù)據(jù)就會因無法定位而不能使用了。微軟在Dos/Windows系列操作系

14、統(tǒng)中共使用的一種文件系統(tǒng)的總稱，F(xiàn)At12、FAT16、FAT32均是Fat文件系統(tǒng)。不同的操作系統(tǒng)所使用的文件系統(tǒng)不盡相同。操作系統(tǒng)根據(jù)表現(xiàn)整個磁盤空間所需要的簇數(shù)量來確定使用多大的FAT。FAT12FAT16FAT32分區(qū)大小16MB2GB32GB單個文件大小-2GB=2）可用容量總的磁盤容量磁盤容量的50%磁盤容量的（N-1）/N磁盤容量的(N-1)/N磁盤容量的50%2.5網(wǎng)路存儲主要技術(shù)存儲分類存儲分類存儲分類封閉式的存儲開放系統(tǒng)的存儲外掛存儲內(nèi)置存儲Direct-Attached Storage直接附加存儲（DAS）Fabric-Attached Storage網(wǎng)絡(luò)存儲（FAS）S

15、torage Area Storage網(wǎng)絡(luò)存儲區(qū)域網(wǎng)絡(luò)（SAN）Network-Attached Storage網(wǎng)絡(luò)接入存儲（NAS）DAS-Direct Attached StorageDAS-Direct Attached Storage直接附加存儲是指將存儲設(shè)備通過SCSI接口直接連接到一臺服務(wù)器上使用。DAS購置成本低，配置簡單，使用過程和使用本機硬盤并無太大差別，對于服務(wù)器的要求僅僅是一個外接的SCSI口，因此對于小型企業(yè)很有吸引力。DAS存在諸多問題：有限的擴展性SCSI總線的距離最大為25米；最多15個設(shè)備專屬的連接空間資源無法與其他服務(wù)器共享對于存在多個服務(wù)器的系統(tǒng)來說，設(shè)備分

16、散，不便管理。同時多臺服務(wù)器使用DAS時，存儲空間不能在服務(wù)器之間動態(tài)分配，可能造成相當(dāng)?shù)馁Y源浪費硬件失敗將導(dǎo)致更高的恢復(fù)成本數(shù)據(jù)備份操作復(fù)雜Application ServerSCSI or FCSSCSI or FCSSCSI ProtocolSAN-Storage Area StorageSAN-Storage Area StorageSAN（Storage Area Network ）存儲區(qū)域網(wǎng)絡(luò)，是一種通過網(wǎng)絡(luò)方式連接存儲設(shè)備和應(yīng)用服務(wù)器的存儲構(gòu)架，這個網(wǎng)絡(luò)專用于主機和存儲設(shè)備之間的訪問。當(dāng)有數(shù)據(jù)的存取需求時，數(shù)據(jù)可以通過存儲區(qū)域網(wǎng)絡(luò)在服務(wù)器和后臺存儲設(shè)備之間高速傳輸。SAN組成：服

17、務(wù)器，后端存儲系統(tǒng)（SAN控制器和磁盤系統(tǒng)構(gòu)成），SAN連接設(shè)備。SANSAN優(yōu)點優(yōu)點實現(xiàn)存儲介質(zhì)的共享非常好的擴展性基于數(shù)據(jù)備份和恢復(fù)實現(xiàn)備份磁帶共享LAN Free和Server Free高性能支持服務(wù)器集群技術(shù)容災(zāi)手段低的TCOSANSAN缺點缺點成本較高 需要專用的連接設(shè)備，如FC交換以及HBASAN孤島技術(shù)較為復(fù)雜 需要專業(yè)技術(shù)人員維護FC SANFC SAN與與iSCSI SANiSCSI SAN對比對比Application ServerFibre ChannelSCSI ProtocolSANSAN AttachedIPNetworkiSCSI ProtocoliSCSI Ap

18、plianceBlock IOApplicationiSCSI AttachedIP SAN優(yōu)點：部署成本低共享網(wǎng)絡(luò)（IP網(wǎng)絡(luò)復(fù)用，提高網(wǎng)絡(luò)利用率）維護簡便適合遠距離傳輸IP SAN缺點：傳輸效率低（正常IP網(wǎng)絡(luò)利用率不足50%）傳輸安全性低傳輸延時無保障一般占用大量主機資源FC SAN優(yōu)點：傳輸效率高傳輸安全性高傳輸延時極小占用主機資源少技術(shù)成熟應(yīng)用范圍最廣的專業(yè)存儲架構(gòu)FC SAN缺點：部署成本高需要專屬網(wǎng)絡(luò)NAS-Network Attached StorageNAS-Network Attached StorageNAS（Network Attached Storage網(wǎng)絡(luò)附加存儲），

19、是一種文件共享服務(wù)。擁有自己的文件系統(tǒng)，通過NFS或CIFS對外提供文件訪問服務(wù)。NAS包括存儲器件（例如硬盤驅(qū)動器陣列、CD或DVD驅(qū)動器、磁帶驅(qū)動器或可移動的存儲介質(zhì)）和專用服務(wù)器。專用服務(wù)器上裝有專門的操作系統(tǒng)，通常是簡化的unix/linux操作系統(tǒng)，或者是一個特殊的win2000內(nèi)核。它為文件系統(tǒng)管理和訪問做了專門的優(yōu)化。專用服務(wù)器利用NFS或CIFS，充當(dāng)遠程文件服務(wù)器，對外提供文件級的訪問。NAS的缺點：NAS設(shè)備與客戶機通過企業(yè)網(wǎng)進行連接，因此數(shù)據(jù)備份或存儲過程中會占用網(wǎng)絡(luò)的帶寬。NAS的可擴展性受到設(shè)備大小的限制。增加另一臺NAS設(shè)備非常容易，但是要想將兩個NAS設(shè)備的存儲空

20、間無縫合并并不容易，因為NAS設(shè)備通常具有獨特的網(wǎng)絡(luò)標(biāo)識符，存儲空間的擴大上有限。NAS訪問需要經(jīng)過文件系統(tǒng)格式轉(zhuǎn)換，所以是以文件一級來訪問。不適和Block級的應(yīng)用，尤其是要求使用裸設(shè)備的數(shù)據(jù)庫系統(tǒng)。NAS的優(yōu)點：NAS可以即插即用。NAS通過TCP/IP網(wǎng)絡(luò)連接到應(yīng)用服務(wù)器，因此可以基于已有的企業(yè)網(wǎng)絡(luò)方便連接。專用的操作系統(tǒng)支持不同的文件系統(tǒng)，提供不同操作系統(tǒng)的文件共享。經(jīng)過優(yōu)化的文件系統(tǒng)提高了文件的訪問效率，也支持相應(yīng)的網(wǎng)絡(luò)協(xié)議。即使應(yīng)用服務(wù)器不再工作了，仍然可以讀出數(shù)據(jù)。 IPNetworkFile Protocol（CIFS,NFS,HTTP,FTP,etc）NAS Applianc

21、eNetwork Attached Storage存儲技術(shù)對比存儲技術(shù)對比DASNASFC SANIP SAN（iSCSI）表現(xiàn)形式DVR，服務(wù)器內(nèi)/外掛的SCSI、SATA、1394擴展柜等基于以太網(wǎng)的存儲設(shè)備，提供文件級服務(wù)基于光纖網(wǎng)絡(luò)的存儲設(shè)備，提供塊設(shè)備級服務(wù)基于以太網(wǎng)的存儲設(shè)備，提供塊設(shè)備級服務(wù)容量可擴展性低較高高高共享能力低高高高距離可擴展性低高中高集中式存儲、管理否是是是配置的周邊設(shè)備SCSI卡，1394卡等以太網(wǎng)卡以太網(wǎng)交換機光纖通道卡光纖通道交換機以太網(wǎng)卡以太網(wǎng)交換機價格低中低高中低數(shù)據(jù)傳輸通道數(shù)據(jù)傳輸通道GE CardiSCSI HBA CardSCSI HBA CardF

22、C HBA Card主機iSCSI 磁盤陣列以太網(wǎng)線SCSI 磁盤陣列FC磁盤陣列SCSI線纜光纖線纜NASNAS與與SANSAN結(jié)合結(jié)合SAN針對海量、面向數(shù)據(jù)塊的數(shù)據(jù)傳輸，而NAS則提供文件級的數(shù)據(jù)訪問和共享服務(wù)。NAS和SAN不僅各有應(yīng)用場合，也相互結(jié)合，許多SAN部署于NAS后臺，為NAS設(shè)備提供高性能海量存儲空間。IPNetworkOver EthernetSANNFSOrCIFSNASFileSystemNAS GatewayFile IO ProtocolsBlock IO ProtocolsShared StorageClients & Servers2.7數(shù)據(jù)容災(zāi)與備

23、份復(fù)制數(shù)據(jù)一致性數(shù)據(jù)一致性數(shù)據(jù)一致性是指關(guān)聯(lián)數(shù)據(jù)之間的邏輯關(guān)系是否正確和完整。問題可以理解為應(yīng)用程序自己認為的數(shù)據(jù)狀態(tài)與最終寫入到磁盤中的數(shù)據(jù)狀態(tài)是否一致。分布式系統(tǒng)中數(shù)據(jù)一致性存在的問題 高度并行帶來的問題本機內(nèi)多任務(wù)并行帶來的困難多級并行帶來的困難網(wǎng)絡(luò)延遲不可預(yù)測 多副本帶來的問題系統(tǒng)存在多個副本，數(shù)據(jù)的修改通常會在不同的副本上進行。數(shù)據(jù)一致性數(shù)據(jù)一致性類型類型Cache引起的數(shù)據(jù)一致性引起數(shù)據(jù)一致性問題的一個主要原因是位于數(shù)據(jù)I/O路徑上的各種Cache或Buffer（包括數(shù)據(jù)庫Cache、文件系統(tǒng)Cache、存儲控制器Cache、磁盤Cache等）。由于不同系統(tǒng)模塊處理數(shù)據(jù)IO的速度是

24、存在差異的，所以就需要添加Cache來緩存IO操作，適配不同模塊的處理速度。這些Cache在提高系統(tǒng)處理性能的同時，也可能會“滯留”IO操作，帶來一些負面影響。時間不同步引起的數(shù)據(jù)一致性文件共享中的數(shù)據(jù)一致性關(guān)閉Cache或創(chuàng)建快照（Snapshot）。對相關(guān)聯(lián)的多個數(shù)據(jù)卷進行操作（如備份、復(fù)制）時，在時間上不同步。比如一個Oracle數(shù)據(jù)庫的數(shù)據(jù)庫文件、Redo日志文件、歸檔日志文件分別存儲在不同的卷上，如果在備份或復(fù)制的時候未考慮幾個卷之間的關(guān)聯(lián)，分別對一個個卷進行操作，那么備份或復(fù)制生成的卷就一定存在數(shù)據(jù)不一致問題。建立“卷組（Volume Group）”把多個關(guān)聯(lián)數(shù)據(jù)卷組成一個組，在創(chuàng)

25、建快照時同時為組內(nèi)多個卷建立快照，保證這些快照在時間上的同步。通常所采用的雙機或集群方式實現(xiàn)同構(gòu)和異構(gòu)服務(wù)器、工作站與存儲設(shè)備間的數(shù)據(jù)共享，主要應(yīng)用在非線性編輯等需要多臺主機同時對一個磁盤分區(qū)進行讀寫。在NAS環(huán)境，可以通過網(wǎng)絡(luò)共享協(xié)議N FS或CIFS來做到數(shù)據(jù)的共享。非NAS環(huán)境下，可以通過使用數(shù)據(jù)共享軟件裝在多臺主機上來實現(xiàn)磁盤分區(qū)的共享?？煺談?chuàng)建過程快照創(chuàng)建過程存儲控制器快照代理要為數(shù)據(jù)卷X創(chuàng)建快照，請配合一切準備就緒，可以創(chuàng)建了快照創(chuàng)建完成準備創(chuàng)建快照創(chuàng)建快照應(yīng)用進入Backup模式Flush Cache應(yīng)用進入Normal模式數(shù)據(jù)災(zāi)難定義數(shù)據(jù)災(zāi)難定義國務(wù)院信息化辦公室在2005年發(fā)

26、布了重要信息系統(tǒng)災(zāi)難恢復(fù)指南，用于指導(dǎo)信息系統(tǒng)的使用和管理單位的災(zāi)難恢復(fù)規(guī)劃工作，以及對信息系統(tǒng)災(zāi)難恢復(fù)規(guī)劃項目的審批和監(jiān)督管理。指南給災(zāi)難下了一個清晰的定義：“由于人為或自然的原因，造成信息系統(tǒng)運行嚴重故障或癱瘓，使信息系統(tǒng)支持的業(yè)務(wù)功能停頓或服務(wù)水平不可接受、達到特定的時間的突發(fā)性事件”。災(zāi)難恢復(fù)具有的技術(shù)與管理等級災(zāi)難恢復(fù)具有的技術(shù)與管理等級數(shù)據(jù)備份系統(tǒng)備用數(shù)據(jù)處理系統(tǒng)備用網(wǎng)絡(luò)系統(tǒng)備用基礎(chǔ)設(shè)施技術(shù)支持運行維護支持災(zāi)難恢復(fù)預(yù)案IT技術(shù)范疇管理和服務(wù)范疇數(shù)據(jù)備份系統(tǒng)面向的對象是數(shù)據(jù)，目的是實現(xiàn)數(shù)據(jù)的冗余備份。常用技術(shù)有數(shù)據(jù)備份和數(shù)據(jù)復(fù)制等。備用數(shù)據(jù)處理系統(tǒng)面向的對象是應(yīng)用服務(wù)器，目的是在主要

27、數(shù)據(jù)處理系統(tǒng)發(fā)生故障時候，可以利用數(shù)據(jù)備份系統(tǒng)產(chǎn)生的冗余數(shù)據(jù)來恢復(fù)應(yīng)用，常用的技術(shù)有雙擊熱備、服務(wù)器集群等。備用網(wǎng)絡(luò)系統(tǒng)面向的是網(wǎng)絡(luò)連接，目的是保證備用數(shù)據(jù)處理系統(tǒng)與其客戶端、不同備用數(shù)據(jù)處理系統(tǒng)之間的網(wǎng)絡(luò)，以便整個實現(xiàn)業(yè)務(wù)系統(tǒng)的恢復(fù)。災(zāi)難恢復(fù)應(yīng)具有的技術(shù)和管理支持分為6個等級，每個級別都包括數(shù)據(jù)備份系統(tǒng)、備用數(shù)據(jù)處理系統(tǒng)、備用網(wǎng)絡(luò)系統(tǒng)、備用基礎(chǔ)設(shè)施、技術(shù)支持、運行維護支持和災(zāi)難恢復(fù)預(yù)案這7個要素。容容災(zāi)的技術(shù)指標(biāo)災(zāi)的技術(shù)指標(biāo)RTO（Recovery Time Object，恢復(fù)時間目標(biāo)）指“將信息系統(tǒng)從災(zāi)難造成的故障或癱瘓狀態(tài)恢復(fù)到可正常運行狀態(tài)，并將其支持的業(yè)務(wù)功能從災(zāi)難造成的不正常狀態(tài)恢

28、復(fù)到可接受狀態(tài)”所需時間，其中包括備份數(shù)據(jù)恢復(fù)到可用狀態(tài)所需時間、數(shù)據(jù)處理系統(tǒng)切換時間、以及備用網(wǎng)絡(luò)切換時間等，該指標(biāo)用以衡量容災(zāi)方案的業(yè)務(wù)恢復(fù)能力。RPO（Recovery Point Time，恢復(fù)點目標(biāo)）RPO是指業(yè)務(wù)系統(tǒng)所允許的災(zāi)難過程中的最大數(shù)據(jù)丟失量（以時間來度量），這是一個與數(shù)據(jù)備份系統(tǒng)所選用的技術(shù)有密切關(guān)系的指標(biāo)，用以衡量災(zāi)難恢復(fù)方案的數(shù)據(jù)冗余備份能力。容災(zāi)半徑容災(zāi)半徑是指生產(chǎn)中心和災(zāi)備中心之間的直線距離，用以衡量容災(zāi)方案所能防御的災(zāi)難影響范圍。投入產(chǎn)出比投入產(chǎn)出比ROI（Return of Investment，投入產(chǎn)出比）也是用戶需要重點關(guān)注的，它用以衡量用戶投入到容災(zāi)系統(tǒng)

29、的資金與從中所獲得的收益的比率。直接和間接成本，包括：l 關(guān)鍵任務(wù)數(shù)據(jù)損壞l 停機時間對企業(yè)生產(chǎn)效率的影響l 設(shè)備及其他資產(chǎn)的損壞l 檢測和修復(fù)系統(tǒng)和核心業(yè)務(wù)過程的成本l 法律和法規(guī)的影響，包括訴訟辯護費用l 關(guān)鍵利益相關(guān)者之間失去的信心和信任l 市場的品牌和聲譽的損失數(shù)據(jù)中心電力中斷的平均成本增長示意圖數(shù)據(jù)備份數(shù)據(jù)備份數(shù)據(jù)備份是容災(zāi)的基礎(chǔ)，是指為防止系統(tǒng)出現(xiàn)操作失誤或系統(tǒng)故障導(dǎo)致數(shù)據(jù)丟失，而將全部或部分數(shù)據(jù)集合從應(yīng)用主機的硬盤或陣列復(fù)制到其它的存儲介質(zhì)的過程。傳統(tǒng)的數(shù)據(jù)備份主要是采用內(nèi)置或外置的磁帶機進行冷備份。但是這種方式只能防止操作失誤等人為故障，而且其恢復(fù)時間也很長。隨著技術(shù)的不斷發(fā)展

30、，數(shù)據(jù)的海量增加，不少的企業(yè)開始采用網(wǎng)絡(luò)備份。網(wǎng)絡(luò)備份一般通過專業(yè)的數(shù)據(jù)存儲管理軟件結(jié)合相應(yīng)的硬件和存儲設(shè)備來實現(xiàn)。定期磁帶數(shù)據(jù)庫網(wǎng)絡(luò)數(shù)據(jù)遠程鏡像LAN 備份、LAN Free備份和SAN Server-Free備份三種。LAN 備份針對所有存儲類型都可以使用， LAN Free備份和SAN Server-Free備份只能針對SAN架構(gòu)的存儲。完全備份、差異備份、增量備份差別完全備份、差異備份、增量備份差別數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制數(shù)據(jù)復(fù)制（Replication）是指利用復(fù)制軟件（如EMC的SRDF、H3C同步異步鏡像等）把數(shù)據(jù)從一個磁盤復(fù)制到另一個磁盤，生成一個數(shù)據(jù)副本。2.8存儲連接設(shè)備FC HB

31、AiSCSI HBA光纖信道主機總線適配器的縮寫，主要用于主機與FC設(shè)備之間的連接。FC HBA卡使用的傳輸介質(zhì)可以分為光纜和銅纜兩種；光纜分為單模長波和多模短波兩種，單模長波最大傳輸距離十公里，多模短波最大傳輸距離500米（直徑50微米）、175米（直徑62.5微米）iSCSI主機總線適配器的縮寫，將硬件iSCSI initiator集成到板卡上，利用 TCP/IP卸載引擎在適配卡上完成數(shù)據(jù)處理，作用在于減輕主機CPU負載，也提供了高可用環(huán)境下硬件多通道功能和服務(wù)器遠程引導(dǎo)功能接口類型與以太網(wǎng)原有接口完全相同大多數(shù)iSCSI HBA卡都具有TOE功能TOE（TCP/IP Offload En

32、gine）：TCP/IP卸載引擎的縮寫，TOE網(wǎng)卡將TCP/IP處理脫離主機CPU，在TOE網(wǎng)卡上由專用芯片完成TCP/IP處理和數(shù)據(jù)包創(chuàng)建，減輕主機CPU的負載。隨著iSCSI產(chǎn)品的普及，目前大多數(shù)iSCSI HBA也同時具備TOE功能，把二者的優(yōu)點整合在一起存儲連接設(shè)備存儲連接設(shè)備-HBA-HBA卡卡主機總線適配器(Host Bus Adapter,HBA)是一個在服務(wù)器和存儲裝置間提供輸入/輸出(I/O)處理和物理連接的電路板和/或集成電路適配器。因為HBA減輕了主處理器在數(shù)據(jù)存儲和檢索任務(wù)的負擔(dān)，它能夠提高服務(wù)器的性能。一個HBA和與之相連的磁盤子系統(tǒng)有時一起被稱作一個磁盤通道。FCF

33、C連接設(shè)備連接設(shè)備類似以太網(wǎng)HUB，內(nèi)部為仲裁環(huán)拓撲（Arbitrated Loop），所有連接到FC HUB上的設(shè)備共享全部總線帶寬，由于自身協(xié)議的原因，最多支持127個地址。FC交換機，內(nèi)部為Fabric拓撲，每端口獨占帶寬，理論上可以連接1600萬個設(shè)備。多 端 口 、 高 帶 寬 網(wǎng) 絡(luò) 的Switch，用于提供最高的可用性，一般用于FC骨干網(wǎng)中多 個 S A N 之 間 的 連 接 。Director中的每個部件的失靈不會影響正常應(yīng)用，具有全冗余、熱插拔部件，能將宕機時間最小化。結(jié)合IP和FC交換技術(shù)的存儲網(wǎng)絡(luò)平臺，配置以太網(wǎng)端口和FC通信端口，通過邏輯單元號（ L U N ） 映

34、射 實 現(xiàn)iSCSI和FC之間的協(xié)議轉(zhuǎn)換。Contents1.您所熟悉的數(shù)據(jù)存儲3.數(shù)據(jù)備份技術(shù)5.信息生命周期2.存儲基礎(chǔ)知識4.主機高可用技術(shù)6.其他知識數(shù)據(jù)備份數(shù)據(jù)備份將正常時刻的數(shù)據(jù)以某種格式和方式加以保存?zhèn)浞輸?shù)據(jù)的根本目的是數(shù)據(jù)恢復(fù),在數(shù)據(jù)遭受破壞或其他特定情況下能夠快速、正確、方便地恢復(fù)數(shù)據(jù)，才是備份系統(tǒng)的真正價值所在備份工作是系統(tǒng)的一個“額外負擔(dān)”，備份系統(tǒng)的選擇和優(yōu)化工作至關(guān)重要備份窗口：一個工作周期內(nèi)留給備份系統(tǒng)進行備份的時間長度備份策略：為所有具有相似備份要求的客戶機組配置的執(zhí)行備份的方式和時間備份系統(tǒng)：由備份服務(wù)器、備份軟件和備份介質(zhì)組成的備份系統(tǒng)星期天 周一 周二 周三

35、 周四 周五 周六全備份星期天全備份備份策略備份策略差量備份：備份自上次全備份后被修改過的文件增量備份：對上次全備份或者增量備份后被修改了的文件做備份全備份：每次都把所有數(shù)據(jù)完全備份應(yīng)用服務(wù)器LAN應(yīng)用服務(wù)器應(yīng)用服務(wù)器 備份設(shè)備 備份設(shè)備 備份設(shè)備數(shù)據(jù)備份方式數(shù)據(jù)備份方式- -本地備份本地備份備份服務(wù)器LAN應(yīng)用服務(wù)器應(yīng)用服務(wù)器 備份設(shè)備 備份設(shè)備數(shù)據(jù)流數(shù)據(jù)流數(shù)據(jù)備份方式數(shù)據(jù)備份方式- -網(wǎng)絡(luò)備份網(wǎng)絡(luò)備份Storage network數(shù)據(jù)備份方式數(shù)據(jù)備份方式-LAN Free-LAN Free備份服務(wù)器LAN應(yīng)用服務(wù)器應(yīng)用服務(wù)器 主設(shè)備 備份設(shè)備指令流Storage network數(shù)據(jù)備份方式

36、數(shù)據(jù)備份方式-Server-Less-Server-Less備份服務(wù)器LANLAN應(yīng)用服務(wù)器應(yīng)用服務(wù)器 主設(shè)備 備份設(shè)備指令流快照卷生產(chǎn)卷Storage networkStorage network傳統(tǒng)磁帶庫的局限傳統(tǒng)磁帶庫的局限l 備份速度慢，備份窗口冗長l 磁帶的恢復(fù)速度很慢l 磁帶介質(zhì)受灰塵、溫度、濕度影響很大，難以保證已經(jīng)離線保存的磁帶在需要的時候可以正常工作l 磁帶庫的機械手等物理設(shè)備的故障率和磨損率相對電子元件較高D2D2TD2D2TD2D（Disk to Disk）和D2D2T（Disk to Disk to Tape） 使用磁盤代替磁帶作為備份介質(zhì) 備份數(shù)據(jù)首先保存在性價比較高

37、的SATA磁盤陣列中，然后定期將磁盤備份的數(shù)據(jù)保存到磁帶上（D2D2T） 提高數(shù)據(jù)備份與恢復(fù)的速度，縮小備份窗口 解決磁帶介質(zhì)的固有問題 利用RAID技術(shù)保證數(shù)據(jù)可靠性 需要備份軟件支持VLTVLT與傳統(tǒng)備份的關(guān)系與傳統(tǒng)備份的關(guān)系VTL設(shè)備位于備份服務(wù)器和傳統(tǒng)磁帶庫之間，彌補了傳統(tǒng)備份模式備份/恢復(fù)速度慢和可靠性的不足。傳統(tǒng)磁帶設(shè)備可以繼續(xù)發(fā)揮支持數(shù)據(jù)離線歸檔保存的優(yōu)勢。典型存儲架構(gòu)：兩地三中心FC鏈路IP鏈路局域網(wǎng)LANFC SAN生產(chǎn)陣列生產(chǎn)中心生產(chǎn)中心異地災(zāi)備陣列異地異地災(zāi)備中心災(zāi)備中心LANFC SAN同城災(zāi)備陣列同同城災(zāi)備中心城災(zāi)備中心同步復(fù)制異步復(fù)制WANWDMWDM裸光纖Cont

38、ents1.您所熟悉的數(shù)據(jù)存儲3.數(shù)據(jù)備份技術(shù)5.信息生命周期2.存儲基礎(chǔ)知識4.主機高可用技術(shù)6.其他知識雙雙機熱備機熱備在雙機熱備份方式中，主服務(wù)器運行應(yīng)用，備份服務(wù)器處于空閑狀態(tài)，但實時監(jiān)測主服務(wù)器的運行狀態(tài)。一但主服務(wù)器出現(xiàn)異常或故障，備份服務(wù)器立刻接管主服務(wù)器的應(yīng)用。也就是目前通常所說的active/standby 方式，主要通過純軟件方式實現(xiàn)雙機容錯。磁盤陣列心跳連接Internet客戶端ActiveStandby服務(wù)器A服務(wù)器B應(yīng)用應(yīng)用A雙主機通過一條TCP/IP網(wǎng)絡(luò)線以及一條RS-232電纜線相聯(lián) 雙主機各自通過一條SCSI電纜線與RAID相聯(lián) 主機NT1為active，主機N

39、T2為standby主機NT1處理作業(yè)和數(shù)據(jù)，主機NT2作為熱備份機 主機NT1故障后，主機NT2自動接管主機NT1的作業(yè)和數(shù)據(jù) 主機NT2同時接管NT1的主機名(Host)及網(wǎng)絡(luò)地址(IP) 主機NT1的作業(yè)將在主機NT2上自動運行 主機NT1的客戶(client)可繼續(xù)運行，無需重新登錄 主機NT1修復(fù)后，自動接管原來的作業(yè)和數(shù)據(jù)，主機NT2繼續(xù)作備份機在這種方式中，沒有主服務(wù)器和備份服務(wù)器之分，兩臺主機互為備份。主機各自運行不同應(yīng)用，同時還相互監(jiān)測對方狀況。當(dāng)任一臺主機宕機時，另一臺主機立即接管它的應(yīng)用，以保證業(yè)務(wù)的不間斷運行。也就是目前通常所說的Active/Active方式，主要通過

40、純軟件方式實現(xiàn)雙機容錯。通常情況下,支持雙機熱備的軟件都可以支持雙機互備份方式,當(dāng)前應(yīng)用最廣泛的雙機互備軟件主要有LifeKeeper,Rose HA, DataWare和MSCS。雙雙機互備機互備磁盤陣列心跳連接Internet客戶端ActiveActive服務(wù)器A服務(wù)器B應(yīng)用應(yīng)用A應(yīng)用B雙主機通過一條TCP/IP網(wǎng)絡(luò)線以及一條RS-232電纜線相聯(lián)雙主機各自通過一條SCSI電纜線與RAID磁盤陣列相聯(lián)雙主機各自運行不同的作業(yè)，彼此獨立，并相互備援主機A故障后，主機B自動接管主機A運行主機A的作業(yè)將在主機B上自動運行主機A的客戶(client)要在主機B上重新登錄主機A修復(fù)后，主機B將把A的

41、作業(yè)自動交還主機A 主機B故障時，主機A接管主機B的作業(yè)和數(shù)據(jù)集群技術(shù)集群技術(shù)所謂群集（Cluster）技術(shù)就是一個域內(nèi)包含多臺擁有共享存儲空間的服務(wù)器，各服務(wù)器通過內(nèi)部局域網(wǎng)相互通信，群集內(nèi)的任一服務(wù)器上運行的業(yè)務(wù)都可被所有的客戶所使用。當(dāng)一臺服務(wù)器發(fā)生故障時，它所運行的應(yīng)用將由其他服務(wù)器自動接管，這就實現(xiàn)了負載均衡和互為備份。三種集群技術(shù)高性能集群（High Performance Cluster）負載均衡集群（Loading Balance Cluster）高可用性集群(High Availability Cluster)對存儲系統(tǒng)要求對存儲系統(tǒng)要求群集并發(fā)存取方式：1.并發(fā)處理能力：多

42、個群集節(jié)點的數(shù)據(jù)訪問是并發(fā)的、無規(guī)律的，因此就要求存儲設(shè)備具有很強的處理并發(fā)數(shù)據(jù)訪問能力，以使群集應(yīng)用發(fā)揮最高的性能。2.數(shù)據(jù)共享能力：多個節(jié)點的處理器能夠方便地共享相關(guān)的數(shù)據(jù)，這就要求存儲系統(tǒng)具備安全而高效的共享能力。3.大規(guī)模與可擴展性：如何實現(xiàn)在線升級、平滑過渡、現(xiàn)有用戶及素材的透明化處理，是存儲產(chǎn)品必需的功能。4.可管理性：一是管理操作分安全級別；二是提供清晰明確的管理界面，方便操作。避免人為誤操作，要求存儲系統(tǒng)的管理界面簡單明了，管理操作流程設(shè)計合理。5.高可用性：高性能群集的時效性很強，因此要求網(wǎng)絡(luò)系統(tǒng)具有極高的可靠性。首先要求有較高的容錯級別，例如控制器要求高可用容錯，存儲子系統(tǒng)

43、要求容錯冗余等；其次故障恢復(fù)時間要短，盡可能做到不宕機的在線恢復(fù)。雙機熱備方式：系統(tǒng)運行時，只有主服務(wù)器與存儲系統(tǒng)進行數(shù)據(jù)交換。當(dāng)發(fā)生主機故障切換時，要求存儲系統(tǒng)能與備份服務(wù)器快速建立數(shù)據(jù)通道，以支持業(yè)務(wù)的快速切換。雙機互備方式：系統(tǒng)運行時，兩臺主機需要同時對磁盤陣列進行讀寫操作，這要求存儲系統(tǒng)具備良好的的并發(fā)讀取操作和一定的負載均衡功能。Contents1.您所熟悉的數(shù)據(jù)存儲3.數(shù)據(jù)備份技術(shù)5.信息生命周期2.存儲基礎(chǔ)知識4.主機高可用技術(shù)6.其他知識信息生命周期信息生命周期信息生命周期是STK、EMC等公司于2003年提出的概念，不同廠商對信息生命周期的定義都會有相同，但是其目的是統(tǒng)一的：

44、適應(yīng)信息在其生命周期不同階段內(nèi)價值的變化，利用網(wǎng)絡(luò)存儲技術(shù)將數(shù)據(jù)自動保存于適當(dāng)?shù)慕橘|(zhì)中，實現(xiàn)資源優(yōu)化、投資保護、法規(guī)遵從等要求，直接或簡介為適應(yīng)業(yè)務(wù)和應(yīng)用的變化提供保障。信息生命周期的實現(xiàn)信息生命周期的實現(xiàn)一切數(shù)字化的信息最終都要保存于存儲系統(tǒng)中，因此信息生命周期管理的實現(xiàn)與存儲系統(tǒng)的關(guān)系密不可分，ILM的實現(xiàn)需要經(jīng)過三個階段：l 統(tǒng)一存儲資源管理：首先實現(xiàn)存儲系統(tǒng)的整合，消除Internal存儲和DAS存儲方式，解決異構(gòu)存儲系統(tǒng)的互操作和統(tǒng)一管理問題。l 針對不同應(yīng)用系統(tǒng)分別實現(xiàn)ILM：根據(jù)不同應(yīng)用系統(tǒng)的特點實現(xiàn)該系統(tǒng)所屬數(shù)據(jù)的分級存儲，在存儲資源統(tǒng)一管理的前提下實現(xiàn)數(shù)據(jù)的自動分級存儲（在線

45、、近線、離線、歸檔）。l 在整個組織范圍內(nèi)實現(xiàn)ILM：在第二步基礎(chǔ)上，以整個應(yīng)用系統(tǒng)為核心，實現(xiàn)存儲系統(tǒng)資源化，自動適應(yīng)應(yīng)用變化的需求，降低管理成本，保護原有投資。ISO文檔的文檔的生命周期生命周期管理管理審核創(chuàng)建培訓(xùn)&發(fā)布修訂回收歸檔廢止l 管理生命周期業(yè)務(wù)策略l 從創(chuàng)建到消亡自動分級l 通過手動和自動工作流來驅(qū)動l 動態(tài)安全、法規(guī)遵從和策略保持l ISO、GMP等各類質(zhì)量體系的應(yīng)用起草在線編輯模板創(chuàng)建編號管理審核審批流程電子簽章通知消息培訓(xùn)/發(fā)布培訓(xùn)記錄發(fā)布簽收打印管理修訂歸檔到期提醒關(guān)聯(lián)修訂舊版回收歸檔管理權(quán)限變更狀態(tài)變更通知消息狀態(tài)變更廢止審批管理策略設(shè)置狀態(tài)變更通知消息與信息

46、生命周期相關(guān)的存儲技術(shù)與信息生命周期相關(guān)的存儲技術(shù)文檔管理文檔管理Contents1.您所熟悉的數(shù)據(jù)存儲3.數(shù)據(jù)備份技術(shù)5.信息生命周期2.存儲基礎(chǔ)知識4.主機高可用技術(shù)6.其他知識存儲管理存儲設(shè)備存儲交換設(shè)備VeritasStoreAgeFalconStorDataCoreJBOD廠商BrocadeVixelCiscoNishanMcDataInrangeEMCHDSIBMSUNSANRADDotHillStoneFlyFibreStreamHPSTKADICFujitonLSIDellRAID 廠商NetAppPROCOM其他品牌HBATAPE 廠商DotHillEDI國內(nèi)品牌國內(nèi)存儲廠商一覽國內(nèi)存儲廠商一覽常見存儲廠家常見存儲廠家主流備份軟件廠商主流備份軟件廠商 VERITAS NetBackup DataCenter Backup Exec Legato NetWorker BakBone NetVault CA BrightStor Tivoli Storage Manager HP OmniBack數(shù)據(jù)遷移（數(shù)據(jù)遷移（HS