新版存儲基礎知識培訓.ppt

1、存儲基礎知識培訓,解決方案中心 賀凱 2015-4,什么是存儲？ 存儲網(wǎng)絡架構 存儲基本組成 Raid技術 備份容災 軟件功能,存儲基礎知識,什么是存儲？ 存儲系統(tǒng)是整個IT系統(tǒng)的基石，是IT技術賴以存在和發(fā)揮效能的基礎平臺。 早先的存儲形式是存儲設備?？梢园瑑蓚€方面的含義：一方面它是數(shù)據(jù)臨時或長期駐留的物理媒介；另一方面，它是保證數(shù)據(jù)完整安全存放的方式或行為。存儲就是把這兩個方面結合起來，向客戶提供一套數(shù)據(jù)存放解決方案 隨著服務器數(shù)量的增多，磁盤數(shù)量也在增加，且分散在不同的服務器上，查看每一個磁盤的運行狀況都需要到不同的應用服務器上去查看。更換磁盤也需要拆開服務器，中斷應用。于是，一種希望

2、將磁盤從服務器中脫離出來，集中到一起管理的需求出現(xiàn)了。不過，一個問題：如何將服務器和盤陣連接起來？ 面臨這樣的問題，有廠商提出了SCSI協(xié)議，通過專用的線纜將服務器的總線和存儲設備連接起來，通過專門的SCSI指令來實現(xiàn)數(shù)據(jù)的存儲。后來發(fā)展到FC協(xié)議。這樣，多個服務器可以通過SCSI線纜或光纖建立與存儲系統(tǒng)的連接。這樣的方式，我們稱之為直接附加存儲（DAS）。,存儲基本知識,存儲網(wǎng)絡的存儲架構 DAS：直接附加存儲 （Direct Attached Storage） SAN：存儲區(qū)域網(wǎng)絡 (Storage Area Network) NAS：網(wǎng)絡附加存儲 （Networks Attached S

3、torage）,存儲基礎知識,DAS-直接附加存儲,文件服務器,存儲設備,應用服務器,存儲設備,數(shù)據(jù)庫服務器,存儲設備,數(shù)據(jù)流,數(shù)據(jù)流,數(shù)據(jù)流,存儲設備（RAID系統(tǒng)、磁帶機和磁帶庫、光盤庫）直接連接到服務器； 傳統(tǒng)的、最常見的連接方式，容易理解、規(guī)劃和實施； 沒有獨立操作系統(tǒng)，不能提供跨平臺的文件共享，各平臺下數(shù)據(jù)需分別存儲； 各DAS系統(tǒng)之間沒有連接，數(shù)據(jù)只能分散管理；備份軟件不能離開服務器支持；DAS的前期投資比較少；,SAN-存儲區(qū)域網(wǎng)絡,文件服務器,應用服務器,存儲設備,數(shù)據(jù)流,SAN,存儲設備,存儲設備,數(shù)據(jù)流,高可用性，高性能的專用存儲網(wǎng)絡，用于安全的連接服務器和存儲設備并具備靈

4、活性和可擴展性；SAN對于數(shù)據(jù)庫環(huán)境、數(shù)據(jù)備份和恢復存在巨大的優(yōu)勢；SAN是一種非常安全的，快速傳輸、存儲、保護、共享和恢復數(shù)據(jù)的方法。 SAN是獨立出一個數(shù)據(jù)存儲網(wǎng)絡，網(wǎng)絡內部的數(shù)據(jù)傳輸率很快，但操作系統(tǒng)仍停留在服務器端，用戶不直接訪問SAN的網(wǎng)絡；SAN關注磁盤、磁帶以及聯(lián)接它們的可靠的基礎結構 。,NAS-網(wǎng)絡附加存儲,文件服務器,應用服務器,NAS存儲設備,LAN,數(shù)據(jù)流,數(shù)據(jù)流,NAS本身裝有獨立的OS，通過網(wǎng)絡協(xié)議可以實現(xiàn)完全跨平臺共享，支持WinNT、Linux、Unix等系統(tǒng)共享同一存儲分區(qū)；NAS可以實現(xiàn)集中數(shù)據(jù)管理；一般集成本地備份軟件，可以實現(xiàn)無服務器備份功能。 NAS內

5、每個應用服務器通過網(wǎng)絡共享協(xié)議，如：NFS（Linux）、CIFS（Windows）。使用同一個文件管理系統(tǒng)；NAS關注應用、用戶和文件以及它們共享的數(shù)據(jù)；磁盤I/O會占用業(yè)務網(wǎng)絡帶寬。,SAN和NAS SAN和NAS經(jīng)常被視為兩種競爭技術，實際上，二者能夠很好地相互補充，以提供對不同類型數(shù)據(jù)的訪問。SAN針對海量、面向數(shù)據(jù)塊的數(shù)據(jù)傳輸，而NAS則提供文件級的數(shù)據(jù)訪問和共享服務。 盡管這兩種技術類似，但嚴格意義上講NAS其實只是一種文件服務。 NAS和SAN不僅各有應用場合，也相互結合，許多SAN部署于NAS后臺，為NAS設備提供高性能海量存儲空間。,存儲網(wǎng)絡的存儲架構,SCSI：小型計算機系

6、統(tǒng)接口（Small Computer System Interface），主流SCSI-3，最高數(shù)據(jù)傳輸率640MBps。 FC：光纖通信，用于計算機設備之間數(shù)據(jù)傳輸，傳輸率達到4Gb/8Gb/16Gb，光纖通道用于 服務器共享存儲設備的連接，存儲控制器和驅動器之間的內部連接。 iSCSI（互聯(lián)網(wǎng)小型計算機系統(tǒng)接口）是一種在TCP/IP上進行數(shù)據(jù)塊傳輸?shù)臉藴省?iSCSI繼承了兩大最傳統(tǒng)技術：SCSI和TCP/IP協(xié)議。 對應設備有： HBA卡（FC HBA/iSCSI HBA） FC SWITCH iSCSI-FC 存儲路由器 另：硬盤分為：機械盤、固態(tài)硬盤（SSD）,主要接口協(xié)議,存儲基本

7、組成,存儲基本組成-單控,盤位 主機接口,存儲基本組成-雙控,存儲基本組成-機頭式,存儲基本組成-接口,Raid技術,RAID基本概念定義,RAID （Redundant Array of Independent Disks）即獨立磁盤冗余陣列，RAID技術將多個單獨的物理硬盤以不同的方式組合成一個邏輯硬盤，從而達到提升存儲容量、讀寫性能和數(shù)據(jù)安全性的目的。根據(jù)不同的組合方式可以分為不同的RAID級別,可靠性,未使用 RAID,一旦硬盤損壞，資料將丟失! 作業(yè)將停頓!,資料仍然存在!,使用 RAID,RAID出現(xiàn)原因 一,提高容量,未使用 RAID,使用 RAID,硬盤容量,單塊硬盤 容量,硬

8、盤容量,= 單塊硬盤容量 x N,RAID出現(xiàn)原因 二,一旦硬盤損壞，資料將丟失! 作業(yè)將停頓!,提升速度,速度 N x,單塊硬盤的速度,Total request execution time,Software setup Access Time Data Transfer Software Completion,RAID出現(xiàn)原因 三,CPU運算速度飛速提高，數(shù)據(jù)讀寫速度不應該成為計算機系統(tǒng)處理的瓶頸,RAID基本概念物理卷和邏輯卷,RAID10,RAID5,RAID由幾塊硬盤（物理卷）組成 RAID可以多個硬盤按照指定容量創(chuàng)建一個或多個邏輯卷，便通過LUN（Logic Unit Numbe

9、r）來標識。一個邏輯卷對于主機來說就是一塊硬盤（物理卷）,物理卷,物理卷,邏輯卷,邏輯卷,多個物理卷上創(chuàng)建1個邏輯卷,多個物理卷上創(chuàng)建2個邏輯卷,LUN2,LUN3,RAID的級別 RAID 0，條帶化。高可用，高讀寫，無冗余 RAID 1，鏡像。50%空間利用率，高安全，數(shù)據(jù)寫入效率有影響 RAID 3，1塊盤做校驗，其余盤做數(shù)據(jù)，寫效率較低 RAID 5，數(shù)據(jù)校驗信息均勻分散在每個盤上，解決并發(fā)寫入時的瓶頸 RAID 6，2級冗余，支持數(shù)據(jù)的恢復和校驗的恢復，代價高 RAID 10 (RAID 0+1)，先鏡像后條帶化，50%利用率，解決讀寫和冗余 RAID 50，更高的容錯，更快數(shù)據(jù)讀取

10、速率，磁盤故障影響吞吐量，重建時間較長,Raid技術,RAID 0 條帶存儲(Striping),原理：又稱數(shù)據(jù)分條，即把數(shù)據(jù)分成若干 相等大小的小塊，并把它們寫到陣列上不 同的硬盤上，這種技術又稱“Stripping” （即將數(shù)據(jù)條帶化），RAID0在讀寫時是以并行的方式對各硬盤同時進行操作。,優(yōu)點 磁盤空間利用率最高 在所有的級別中，RAID 0的速度是最快的,缺點 無冗余功能，如果一個磁盤損壞，則所有的數(shù)據(jù)都無法使用 不適合關鍵業(yè)務,應用 媒體編輯 圖像編輯 需要高帶寬的應用,RAID 1 鏡像/雙工,優(yōu)點 數(shù)據(jù)安全性相對其它RAID級，是最好的 缺點 磁盤利用率只有50%，是所有RAI

11、D上磁盤利用率最低的一個級別,原理：即每個工作盤都有一個鏡像盤，每次寫數(shù)據(jù)時必須同時寫入鏡像盤，讀數(shù)據(jù)時只從工作盤讀出，一旦工作盤發(fā)生故障立即轉入鏡像盤，從鏡像盤中讀出數(shù)據(jù)。當更換故障盤后，數(shù)據(jù)可以重構，恢復工作盤正確數(shù)據(jù),應用 財務 金融 需要高數(shù)據(jù)可用性的應用,RAID 3 (條帶分布+專用盤校驗),原理：使用至少三塊硬盤配置，在其中的一塊硬盤上存貯專用的校驗數(shù)據(jù)，當某塊硬盤出現(xiàn)故障時，其它硬盤可以通過校驗數(shù)據(jù)將有故障的硬盤的數(shù)據(jù)重新恢復出來。 特點：數(shù)據(jù)以位或字節(jié)的方式存于各盤（分散記錄在組內相同扇區(qū)的各個硬盤上）,優(yōu)點 高可用性 磁盤利用率較高(N-1) 并行I/O傳輸，順序讀性能較高

12、 缺點 校驗盤成為性能瓶頸 每次讀寫牽動整個組，每次只能完成一次I/O,應用 流媒體服務器 圖像編輯 視頻編輯,RAID 5 (條帶技術+分布式校驗),原理：RAID5 將所有校驗的數(shù)據(jù)分別存貯在所有的硬盤上,每一個硬盤的不同地方既存貯數(shù)據(jù)，也存貯校驗數(shù)據(jù)。當某塊硬盤出現(xiàn)故障時，其它硬盤可以通過校驗數(shù)據(jù)將故障的硬盤的數(shù)據(jù)重新恢復出來。,優(yōu)點 高可用性 磁盤利用率較高(N-1),沒有固定的校驗盤，奇偶校驗信息均勻分布在陣列所屬的所有磁盤中 隨機讀寫性能高允許在同一組內并發(fā)進行多個寫操作 缺點 異或較驗影響存儲性能,應用 文件及應用服務器 數(shù)據(jù)庫服務器 Web, E-mail 局域網(wǎng)服務器,RAI

13、D6（Double parity drive）高級數(shù)據(jù)保護,特點：較高的數(shù)據(jù)冗余性能；超強的數(shù)據(jù)保護能力，可以應付多顆盤同時出錯； 優(yōu)點：允許在同一組內并發(fā)進行多個寫操作 缺點：計算校驗地址占用較多的處理時間； 較低的寫入速率。,RAID性能比較,在線、近線、離線,在線存儲是指存儲設備和所存儲的數(shù)據(jù)時刻保持“在線”狀態(tài)，可供用戶隨意讀取，滿足計算平臺對數(shù)據(jù)訪問的速度要求。在線存儲設備一般為磁盤和磁盤陣列等存儲設備，價格相對昂貴，但性能較好。離線存儲是對在線存儲數(shù)據(jù)的備份，以防范可能發(fā)生的數(shù)據(jù)災難。離線存儲的數(shù)據(jù)不常被調用，一般也遠離系統(tǒng)應用，所以人們用“離線”來生動地描述這種存儲方式。近線存儲

14、(NearStore)，主要定位于客戶在線存儲和離線存儲之間的應用。就是指將那些并不是經(jīng)常用到，或者說數(shù)據(jù)的訪問量并不大的數(shù)據(jù)存放在性能較低的存儲設備上。但同時對這些的設備要求是尋址迅速、傳輸率高。 （例如客戶一些長期保存的不常用的文件的歸檔）。,數(shù)據(jù)備份手段 一,硬件級備份 硬件級的備份是指用冗余的硬件來保證系統(tǒng)的連續(xù)運行。比如磁盤鏡像，雙機容錯等方式。如果主硬件損壞，后備硬件馬上能夠接替其工作，這種方式可以有效地防止硬件故障，但無法防止數(shù)據(jù)的邏輯損壞 當邏輯損壞發(fā)生時，硬件備份只會將錯誤復制一遍，無法真正保護數(shù)據(jù)。硬件備份的作用實際上是保證系統(tǒng)在出現(xiàn)故障時能夠連續(xù)運行，更應稱為硬件容錯,數(shù)

15、據(jù)備份手段 二,軟件級備份 軟件級的備份是指通過備份軟件將數(shù)據(jù)保存到其他介質上，當出現(xiàn)錯誤時可以將系統(tǒng)恢復到備份時的狀態(tài)。由于這種備份是由軟件來完成的，所以稱為軟件備份。 用這種方法備份和恢復都要花費一定時間。但這種方法可以完全防止邏輯損壞，因為備份介質和計算機系統(tǒng)是分開的，錯誤不會復寫到介質上。這就意味著，只要保存足夠長時間的歷史數(shù)據(jù)，就能夠恢復正確的數(shù)據(jù)。,數(shù)據(jù)備份手段 三,人工手動備份 人工級的備份最為原始，也最簡單的備份。但如果要用手工方式從頭恢復所有數(shù)據(jù)，耗費的時間恐怕會令人難以忍受。,數(shù)據(jù)備份目的：重新利用，備份工作的核心是恢復 恢復（Recovery） 重新創(chuàng)建整個應用或計算環(huán)境

16、過去的操作狀態(tài) 在應用或計算環(huán)境被破壞或其他原因導致的不能使用后，需要進行恢復 恢復模式：完全恢復，小顆?；謴?數(shù)據(jù)恢復？,File Server,Database Server,Backup Servers,Tape Library,Tapes,RTO (恢復時間目標) 在業(yè)務中斷后的某一個時間點，業(yè)務的進程或應用服務必須恢復，確保業(yè)務正常進行（你能接受多長的宕機時間） RPO (恢復點目標) 在已確定的RTO內，應用數(shù)據(jù)或文件系統(tǒng)信息必須恢復到某一個時間順序點 (你能接受丟失多少數(shù)據(jù)）,什么是RTO/RPO？,數(shù)據(jù)保護時間軸,Failure 出錯時刻,12 hrs,12 hrs,12 hr

17、s,12 hrs,12 hrs,12 hrs,什么是虛擬磁帶庫/VTL用于備份,虛擬磁帶庫Virtual Tape Library是通過存儲虛擬化技術將現(xiàn)有的磁盤存儲系統(tǒng)虛擬成傳統(tǒng)的磁帶庫系統(tǒng)（包括磁帶庫機械臂、磁帶驅動器、插槽），為數(shù)據(jù)備份系統(tǒng)提供高可靠、高性價比的解決方案。通過固化了專門軟件的控制器，使磁盤（陣列） 對主機或應用軟件體現(xiàn)為 常規(guī)物理磁帶庫，也稱作虛擬磁帶庫 。,標準的SCSI、FC或iSCSI主機接口，采用易用的管理軟件配置、管理虛擬磁帶庫設備。,容災基礎知識,什么是災難及容災？ 災難：是指已經(jīng)發(fā)生，并導致系統(tǒng)中止運行、業(yè)務中斷，給企業(yè)和客戶造成重大影響的事件或事故。 容災

18、：為了應對災難對信息系統(tǒng)的破壞所采取的一系列措施。（比如在生產(chǎn)系統(tǒng)相隔較遠的異地，建立一套或多套功能相同的IT系統(tǒng)，互相之間可以進行健康狀態(tài)監(jiān)視和功能切換，當一處系統(tǒng)因意外(如火災、地震等)停止工作時，整個應用系統(tǒng)可以切換到另一處，使得該系統(tǒng)功能可以繼續(xù)正常工作。,為什么需要備份容災？,備份容災是保證業(yè)務連續(xù)性的最重要手段,911事件發(fā)生前世貿大廈有1200家企業(yè)；911事件一年后世貿大廈里的企業(yè)只剩400家，800家企業(yè)因無法存取重要的信息系統(tǒng)而倒閉。,業(yè)務連續(xù)性的重要性,容災層次,容災存儲系統(tǒng)一般分為哪3個層次 根據(jù)業(yè)務恢復時間的長短將容災劃分為三個容災層次：數(shù)據(jù)級、應用級和業(yè)務級。 數(shù)據(jù)

19、級容災：是僅將生產(chǎn)中心的數(shù)據(jù)完整地復制到容災中心的容災方式（容災中心往往只需要部署數(shù)據(jù)存儲設備） 應用級容災：是指在數(shù)據(jù)級容災的基礎上，還可以接管生產(chǎn)中心的應用（容災中心往往還包括服務器、網(wǎng)絡等設備） 業(yè)務級容災：是指在應用級容災的基礎上，還可以接管生產(chǎn)中心的業(yè)務（容災中心往往還包括辦公環(huán)境、管理制度和人員等其他資源）,容災和備份的區(qū)別及作用,容災指的是利用鏡像或復制等技術來實現(xiàn)數(shù)據(jù)的同步，其同步前后數(shù)據(jù)格式一致,容災數(shù)據(jù)可以直接不通過恢復進行使用；而備份采用的是備份軟件技術來實現(xiàn)數(shù)據(jù)的備份，備份前后數(shù)據(jù)格式不一致，數(shù)據(jù)經(jīng)過壓縮和格式轉換，備份數(shù)據(jù)必須恢復后才可使用。 容災的數(shù)據(jù)與生產(chǎn)數(shù)據(jù)實時

20、或相差一定時間保持一致，即基本上容災中心的數(shù)據(jù)同生產(chǎn)數(shù)據(jù)基本上是一樣；而備份是按照設定的策略，定時定期對數(shù)據(jù)進行備份，保存的是歷史生產(chǎn)數(shù)據(jù)。 容災是為防止生產(chǎn)數(shù)據(jù)丟失或數(shù)據(jù)中心遭受毀滅性災難，恢復速度快，數(shù)據(jù)基本上就是發(fā)生事故那會的版本；備份一般是為了防止認為誤操作或系統(tǒng)問題，保存的是歷史數(shù)據(jù)，恢復相對長。,Continuous Data Protection持續(xù)數(shù)據(jù)保護是一套方法，CDP可以捕獲或跟蹤數(shù)據(jù)的變化，并將其獨立存放在生產(chǎn)數(shù)據(jù)之外，以確保數(shù)據(jù)可以恢復到過去的任意時間點。持續(xù)數(shù)據(jù)保護系統(tǒng)可以基于塊、文件或應用實現(xiàn)，可以為恢復對象提供足夠細的恢復粒度，實現(xiàn)幾乎無限多的恢復時間點?！?從

21、數(shù)據(jù)保護時間上分為：CDP技術分為真CDP（True CDP）和準CDP（Near CDP）兩類,什么是CDP 技術,備份、快照、復制、CDP,快照（Snapshot） 為指定的數(shù)據(jù)集創(chuàng)建一個完全可用的數(shù)據(jù)副本，它包含了副本在創(chuàng)建時刻（時間點）的數(shù)據(jù)映像 快照實現(xiàn)方法： 存儲嵌入式快照：快照軟件運行在網(wǎng)上的存儲設備中 基于主機的快照：快照軟件運行在服務器中，通常駐留在操作系統(tǒng)級別的邏輯卷中,什么是快照？,File Server,Database Server,Backup Servers,Tape Library,Tapes,什么是復制？,復制（Replication） 通過網(wǎng)絡（LAN/WA

22、N)把數(shù)據(jù)從一個地方傳輸?shù)搅硪粋€地方 復制的種類： 數(shù)據(jù)塊級別復制： 文件級別復制： 字節(jié)級別復制: 復制模式： 同步復制：要求每一個寫入操作在執(zhí)行下一個操作處理之前，在這兩個地點都能完成。處理過程明顯變慢，這種復制不切實際的，會影響生產(chǎn)系統(tǒng)性能，除非第二個系統(tǒng)物理上離主系統(tǒng)比較近。 異步復制：在處理下一個操作前，不等待數(shù)據(jù)在復制目標系統(tǒng)中被記錄。這種復制性能更好、更快。 復制實現(xiàn)方法： 存儲嵌入式復制：復制軟件運行在網(wǎng)上的存儲設備中 基于主機的復制：復制軟件運行在服務器中，通常駐留在文件系統(tǒng)或在操作系統(tǒng)級別的邏輯卷中,產(chǎn)品背景： 存儲介質售價一直都在不停下降，卻遠遠趕不上數(shù)據(jù)保存和備份的數(shù)據(jù)

23、量的攀升速度，在這種環(huán)境下重復刪除技術應運而生。 重復數(shù)據(jù)刪除是一種數(shù)據(jù)縮減技術，通常用在基于磁盤的備份系統(tǒng)，目的是為了減少存儲系統(tǒng)中使用的存儲容量。采用“重復刪除”技術可以將存儲的數(shù)據(jù)縮減為原來的1/15，從而讓出更多的備份空間，不僅可以使磁盤上的備份數(shù)據(jù)保存更長的時間，而且還可以節(jié)約離線存儲時所需的大量的帶寬。 用更少的空間存更多的數(shù)據(jù)。,重復數(shù)據(jù)刪除,卷拷貝 遠程同步鏡像 自動精簡 一主一備 雙活,軟件功能,集群基礎知識,什么是集群技術？ 所謂集群就是為客戶機提供資源的一組計算機系統(tǒng)，常見集群技術一般包括三類： 高可用集群（以減少服務器中斷時間為目的的集群技術） 高性能計算集群（以提高科學計算能力為目的的計算機集群技術） 高擴展集群（帶負載均衡策略的服務器群集）,集群技術：至少將兩個系統(tǒng)連接到一起，使兩個或者以上的服務器能夠像一臺機器那樣工作或者看起來好像一臺機器。例如，一個有兩臺服務器生成的WEB服務器集群系統(tǒng)，它對每個終端用戶是透明的，而且完全就像一臺服務器在工作。,集群概述,服務器A,服務器B,鏡像盤,心跳線,公用網(wǎng)絡,1、在服務器之間，通過網(wǎng)絡方式