存儲技術(shù)專題介紹課件

1、存儲技術(shù)專題介紹第1頁，共50頁。Page 2前言什么是存儲？存儲就是根據(jù)不同的應(yīng)用環(huán)境通過采取合理、安全、有效的方式將數(shù)據(jù) 保存到某些介質(zhì)上并能保證有效的訪問。存儲的實(shí)體必須能安全地保存在介質(zhì)上必須能提供對該存儲實(shí)體的有效訪問存儲管理磁盤存儲光盤固態(tài)盤（SSD）常見的存儲介質(zhì)磁帶存儲第2頁，共50頁。目錄存儲典型組網(wǎng)存儲協(xié)議RAID技術(shù)硬盤陣列文件系統(tǒng)第3頁，共50頁。DAS (Direct Attached Storage)存儲設(shè)備直接連接到主機(jī)數(shù)據(jù)分散管理存儲容量利用率低擴(kuò)展性差文件服務(wù)器存儲設(shè)備應(yīng)用服務(wù)器存儲設(shè)備數(shù)據(jù)庫服務(wù)器存儲設(shè)備LAN數(shù)據(jù)流客戶端SCSIPage 4數(shù)據(jù)流SCSI數(shù)

2、據(jù)流SCSI第4頁，共50頁。NAS (Network Attached Storage)NAS（Network Attached Storage）網(wǎng)絡(luò)附加存儲，即將存儲設(shè)備連接到現(xiàn)有的 網(wǎng)絡(luò)上，提供數(shù)據(jù)和文件服務(wù)支持網(wǎng)絡(luò)文件共享協(xié)議CIFS，NFSNAS實(shí)際上就是一個(gè)專門優(yōu)化了的文件服務(wù)器文件服務(wù)器應(yīng)用服務(wù)器NAS存儲設(shè)備LAN數(shù)據(jù)流數(shù)據(jù)流Page 5第5頁，共50頁。SAN (Storage Area Network)SAN：存儲區(qū)域網(wǎng)絡(luò)，提供在主機(jī)和存儲系統(tǒng)之間數(shù)據(jù)傳輸，網(wǎng)絡(luò)內(nèi)部數(shù)據(jù)傳輸?shù)乃俾士熘鳈C(jī)、存儲設(shè)備可以獨(dú)立擴(kuò)展存儲容量利用率高文件服務(wù)器應(yīng)用服務(wù)器存儲設(shè)備LAN數(shù)據(jù)流SAN存儲設(shè)

3、備存儲設(shè)備數(shù)據(jù)流Page 6第6頁，共50頁。三種存儲組網(wǎng)模型的比較SCSI, FCDAS應(yīng)用服務(wù)器文件系統(tǒng)JBOD應(yīng)用服務(wù)器IP交換機(jī)NASSAN文件系統(tǒng)RAID文件系統(tǒng)RAIDRAIDRAID應(yīng)用服務(wù)器文件系統(tǒng)交換機(jī)Page 7第7頁，共50頁。三種存儲組網(wǎng)比較DASNASSAN傳輸類型SCSI、FCIPIP、FC、SAS數(shù)據(jù)類型數(shù)據(jù)塊文件數(shù)據(jù)塊典型應(yīng)用任何文件服務(wù)器數(shù)據(jù)庫應(yīng)用優(yōu)點(diǎn)磁盤與服務(wù)器分離，便于統(tǒng)一管理不占用應(yīng)用服務(wù)器資源廣泛支持操作系統(tǒng)擴(kuò)展較容易即插即用，安裝簡單方便高擴(kuò)展性高可用性數(shù)據(jù)集中，易管理缺點(diǎn)連接距離短數(shù)據(jù)分散，共享困難存儲空間利用率不高擴(kuò)展性有限不適合存儲量大的塊級應(yīng)

4、用 數(shù)據(jù)備份及恢復(fù)占用網(wǎng)絡(luò)帶 寬相比NAS成本較高 安裝和升級比NAS 復(fù)雜Page 8第8頁，共50頁。NAS和SAN的融合是未來的發(fā)展方向必須是SAN必須是NAS可以是SAN和NASPage 9第9頁，共50頁。目錄存儲典型組網(wǎng)存儲協(xié)議RAID技術(shù)硬盤陣列文件系統(tǒng)第10頁，共50頁。存儲傳輸?shù)挠布ǖ滥壳爸饕腥N：傳輸通道iSCSI 磁盤陣列FC HBAFC 磁盤陣列SAS HBASAS磁盤陣列主機(jī)NICPage 11第11頁，共50頁。SCSI協(xié)議SCSI（Small Computer System Interface)，小型計(jì)算機(jī)系統(tǒng)接口， 是連接存儲設(shè)備與服務(wù)器的最通用的 方法SC

5、SI 最早研制于1979，是為小型機(jī)研制出的一種接口技術(shù)，但隨著電腦 技術(shù)的發(fā)展，現(xiàn)在它被完全移植到了 普通PC上SCSI-3是所有存儲協(xié)議的基礎(chǔ)，其它存儲協(xié)議都用到SCSI指令集第12頁，共50頁。SCSI應(yīng)用SCSI傳輸協(xié)議SCSI物理連接SCSI應(yīng)用SCSI傳輸協(xié)議SCSI物理連接Initiator 設(shè)備Target 設(shè)備互連協(xié)議應(yīng)用協(xié)議傳輸協(xié)議傳輸服務(wù)接口互連服務(wù)接口應(yīng)用層傳輸協(xié)議層互連層SCSI啟動器-目標(biāo)器模型第13頁，共50頁。iSCSI協(xié)議iSCSI是互聯(lián)網(wǎng)小型計(jì)算機(jī)系統(tǒng)接口（Internet Small Computer System Interface）的簡稱，是一種在TC

6、P/IP 上進(jìn)行數(shù)據(jù)塊傳輸?shù)臉?biāo)準(zhǔn)，可以理解為 SCSI over IPiSCSI可構(gòu)成基于IP的SAN，為用戶提供高速、低價(jià)、長距離的存儲解決方案iSCSI將SCSI命令封裝到TCP/IP數(shù)據(jù)包中，使I/O數(shù)據(jù)塊可通過IP網(wǎng)絡(luò)傳輸?shù)?4頁，共50頁。iSCSI啟動器-目標(biāo)器模型啟動器（Initiator）SCSI層負(fù)責(zé)生成CDB（命令描述 符塊），將CDB傳給iSCSIiSCSI層負(fù)責(zé)生成iSCSI PDU（協(xié) 議數(shù)據(jù)單元），并通過IP網(wǎng)絡(luò)將 PDU發(fā)給target目標(biāo)器（Target）iSCSI層收到PDU，將CDB傳給SCSI層SCSI層負(fù)責(zé)解釋CDB的意義。必 要時(shí)發(fā)送響應(yīng)SCSISCS

7、IiSCSIiSCSITCPTCPIPIPLinkLinkInitiatorTarget第15頁，共50頁。FC協(xié)議FC是光纖通道（Fiber Channel）的 簡稱，用于服務(wù)器共享存儲設(shè)備的連 接，存儲控制器和驅(qū)動器之間的內(nèi)部 連接FC是一種高性能的串行連接標(biāo)準(zhǔn)。其接口傳輸速率目前有4Gbps 、8Gbps幾種標(biāo)準(zhǔn)。傳輸介質(zhì)可以選擇 銅纜或光纖，傳輸距離遠(yuǎn)，支持多種 互聯(lián)拓?fù)浣Y(jié)構(gòu)第16頁，共50頁。SAS協(xié)議SAS：Serial Attached SCSI，是SCSI 總線協(xié)議的串行標(biāo)準(zhǔn)，即串行連接 SCSISAS采用串行技術(shù)以獲得更高的傳輸速率和更好的擴(kuò)充性，并兼容SATA硬盤SAS目前

8、的傳輸速率高達(dá)3Gbps、 6Gbps，支持全雙工模式第17頁，共50頁。目錄存儲典型組網(wǎng)存儲協(xié)議RAID技術(shù)硬盤陣列文件系統(tǒng)第18頁，共50頁。RAID基本概念定義RAID （Redundant Array of Independent Disks）即獨(dú)立磁盤冗余 陣列，RAID技術(shù)將多個(gè)單獨(dú)的物理硬盤以不同的方式組合成一個(gè)邏輯硬 盤，從而提高了硬盤的讀寫性能和數(shù)據(jù)安全性。根據(jù)不同的組合方式可以分為不同的RAID級別:RAID 0數(shù)據(jù)條帶化，無校驗(yàn)RAID 1數(shù)據(jù)鏡像，無校驗(yàn)RAID 3數(shù)據(jù)條帶化讀寫，校驗(yàn)信息存放于專用硬盤RAID 5數(shù)據(jù)條帶化，校驗(yàn)信息分布式存放RAID 6數(shù)據(jù)條帶化，分

9、布式校驗(yàn)并提供兩級冗余第19頁，共50頁。RAID組合方式級別擴(kuò)展同時(shí)采用兩種不同的RAID方式還能組合成新的RAID級別RAID 0+1先做RAID 0，后做RAID 1，同時(shí)提供數(shù)據(jù)條帶化和鏡像RAID 10類似于RAID 0+1，區(qū)別在于先做RAID 1，后做RAID 0RAID 50先做RAID 5，后做RAID 0，能有效提高RAID 5的性能第20頁，共50頁。RAID基本概念 條帶分條條帶硬盤0硬盤2硬盤1硬盤3第21頁，共50頁。RAID基本概念 校驗(yàn)異或運(yùn)算P=A0 XOR A1A0值A(chǔ)1值P值000101011110表1-3 異或 XOR 的校驗(yàn)原理A1A0P數(shù)據(jù)盤數(shù)據(jù)盤數(shù)

10、據(jù)A0和A1通過異或運(yùn)算進(jìn)行奇偶 校驗(yàn)得到校驗(yàn)位P校驗(yàn)盤第22頁，共50頁。RAID基本概念熱備熱備（HotSpare）的定義：當(dāng)冗余的RAID組中某個(gè)硬盤失效時(shí)，在不干擾當(dāng)前RAID系統(tǒng)的正常使 用的情況下，用RAID系統(tǒng)中另外一個(gè)正常的備用硬盤自動頂替失效硬 盤，及時(shí)保證RAID系統(tǒng)的冗余性熱備一般分為兩種：全局式：備用硬盤為系統(tǒng)中所有的冗余RAID組共享專用式：備用硬盤為系統(tǒng)中某一組冗余RAID組專用第23頁，共50頁。RAID基本概念 重構(gòu)（Rebuild）數(shù)據(jù)盤A0A0A1PPXOR故障數(shù)據(jù)盤校驗(yàn)盤A2XOR數(shù)據(jù)盤更換Page 24第24頁，共50頁。RAID基本概念邏輯卷RAID1

11、0RAID5在RAID的基礎(chǔ)上可以按照指定容量創(chuàng)建一個(gè)或多個(gè)邏輯卷，通過 LUN（Logic Unit Number）來標(biāo)識邏輯卷邏輯卷單個(gè)物理卷上創(chuàng)建1個(gè)邏輯卷單個(gè)物理卷上創(chuàng)建2個(gè)邏輯卷LUN1LUN2LUN3第25頁，共50頁。RAID、邏輯卷的形成過程物理磁盤RAID第26頁，共50頁。RAID、邏輯卷的形成過程物理磁盤邏輯卷RAIDLUN1LUN2LUN3分割Page 27第27頁，共50頁。RAID級別 RAID 0DHLCGKBFJRAID0即沒有容錯(cuò)設(shè)計(jì)的條帶硬盤陣列（Striped Disk Array without FaultTolerance），以條帶形式將RAID組的數(shù)

12、據(jù)均勻分布在各個(gè)硬盤中數(shù)據(jù)ABCDEFGHAEI第28頁，共50頁。RAID級別 RAID 1A B C DEA B C DEABCDE=RAID 1又稱鏡像（Mirror），數(shù)據(jù)同時(shí)一致寫到主硬盤和鏡像硬盤數(shù)據(jù)第29頁，共50頁。RAID級別 RAID 3A0B0C0 D0C2 D2A2B2ABCDRAID 3即帶有校驗(yàn)的并行數(shù)據(jù)傳輸陣列（Paralleled transfer with parity），數(shù)據(jù)條帶化分布在數(shù)據(jù)盤中，同時(shí)使用專用校驗(yàn)硬盤存放校驗(yàn)數(shù)據(jù)異或運(yùn)算A1 B1 C1 D1數(shù)據(jù)盤P A P B P C P D校驗(yàn)盤第30頁，共50頁。RAID級別 RAID 5A0 A1 A

13、2 A3 P4B0 B1 B2 P3 B4C0 C1 P2 C3 C4D0 P1 D2 D3 D4P0 E1 E2 E3 E4異或運(yùn)算A0B0C0D0A1B1C1E1A2B2D2校驗(yàn)信息Px分布式存儲RAID 5與RAID 3機(jī)制類似，但校驗(yàn)數(shù)據(jù)均勻分布在各數(shù)據(jù)硬盤上，RAID成 員硬盤上同時(shí)保存數(shù)據(jù)和校驗(yàn)信息，數(shù)據(jù)塊和對應(yīng)的校驗(yàn)信息保存在不同硬 盤上。RAID 5是最常用的RAID方式之一數(shù)據(jù)第31頁，共50頁。RAID級別 RAID 6原理示例A1A2A4A5A9 A13A6A3 A7 A11A8 A12異或運(yùn)算P1P2 P3P4橫向校驗(yàn)盤斜向校驗(yàn)盤數(shù)據(jù)盤橫向校驗(yàn)盤中P1P4為各個(gè)數(shù)據(jù)盤中

14、橫向數(shù)據(jù)的校驗(yàn)信息例：P1=A1 XOR A2 XOR A3 XOR A4斜向校驗(yàn)盤中DP1DP4為各個(gè)數(shù)據(jù)盤及橫向校驗(yàn)盤的斜向數(shù)據(jù)的校驗(yàn)信息 例：DP1=A1 XOR A6 XOR A11 XOR A16A1A2A3A4A5A6A7A8A9DP1DP2DP3A10A14A15A16DP4DP5第32頁，共50頁。RAID組合級別 RAID 10RAID 10是將鏡像和條帶進(jìn)行兩級組合的RAID級別，第一級是RAID1鏡像對，第二級為RAID 0。RAID10也是一種應(yīng)用比較廣泛的RAID級別。ABCDEFGHAABBDDCE GCE GFHF H第33頁，共50頁。RAID組合級別 RAID

15、 50A0 A1 P02 A2B0P01 B1B2P00 C0 C1 P03異或運(yùn)算RAID 50是將RAID5和RAID 0進(jìn)行兩級組合的RAID級別，最低一級是RAID 5， 第二級為RAID 0A0B0D0E0A1C0D1F0B1C1 D0 D1 P12 D2E0 P11 E1E2P10 F0 F1 P13硬盤0硬盤1硬盤2硬盤3硬盤4硬盤5異或運(yùn)算第34頁，共50頁。S&K常見RAID級別的比較RAID級別RAID 0RAID 1RAID 3RAID 5RAID 10容錯(cuò)性無有有有有冗余類型無鏡像冗余校驗(yàn)冗余校驗(yàn)冗余鏡像冗余可用空間10050（N-1)/N（N-1)/N50讀性能高低高

16、高普通隨機(jī)寫性能高低低低普通連續(xù)寫性能高低低低普通最少磁盤數(shù)2個(gè)2個(gè)3個(gè)3個(gè)4個(gè)應(yīng)用場景傳輸帶寬需 求大的應(yīng)用安全性要求 較高的應(yīng)用大文件、連 續(xù)數(shù)據(jù)的應(yīng) 用讀/寫比率較 高的應(yīng)用安全性要求 高的應(yīng)用第35頁，共50頁。目錄存儲典型組網(wǎng)存儲協(xié)議RAID技術(shù)硬盤陣列文件系統(tǒng)第36頁，共50頁。存儲陣列是把多個(gè)硬盤組成一個(gè)陣列，當(dāng)作單一硬盤使用，它將數(shù)據(jù)以分段（striping）的方式儲存在不同的硬盤中，存取數(shù)據(jù)時(shí)，陣列中的相關(guān)磁盤 一起動作，大幅減低數(shù)據(jù)的存取時(shí)間， 同時(shí)有更佳的空間利用率。陣列第37頁，共50頁?？刂破魇顷嚵械摹按竽X”，主要部件 為處理器和緩存，最先主要實(shí)現(xiàn)簡單 IO操作、RA

17、ID管理功能，隨著技術(shù)發(fā) 展，能夠提供各種各樣的數(shù)據(jù)管理功 能，如快照、鏡像、復(fù)制等?？刂破鞯?8頁，共50頁。常見陣列組成形式(以我司陣列為例)控制框硬盤擴(kuò)展框=+控制框和硬盤框分離控制器和磁盤框一體硬盤框控制器模塊=+存儲陣列系統(tǒng)存儲陣列系統(tǒng)第39頁，共50頁。控制模塊電源模塊BBU模塊風(fēng)扇模塊IO模塊機(jī)箱盤控分離式控制框Page 40第40頁，共50頁。CacheCache即高速緩存，是存儲系統(tǒng)中用于緩存主機(jī)數(shù)據(jù)，提高陣列性能及可靠性的部件。依靠Cache的聚合和命中可以大大提升存儲系統(tǒng)的性能。所謂聚合，是指Cache把多個(gè)主機(jī)寫請求歸一為同一 個(gè)內(nèi)部寫請求的能力；命中，CPU在讀 操作

18、時(shí)，Cache首先要依據(jù)地址來判 斷數(shù)據(jù)是否在Cache中，若在Cache 中，則稱為“命中”；若不在，則稱為 “不命中”。第41頁，共50頁。緩存Cache的回寫和透寫緩存主機(jī)寫入 數(shù)據(jù)流反饋 寫OKWrite-back 回寫主機(jī)寫入 數(shù)據(jù)流反饋 寫OKWrite-through 透寫第42頁，共50頁。Cache預(yù)取技術(shù)a開智能Cache預(yù)取原理智能識別主機(jī)讀取模式，預(yù)測即將 訪問的數(shù)據(jù)，預(yù)先從硬盤中讀出即 將訪問的數(shù)據(jù)，提高CACHE的命 中率運(yùn)行特點(diǎn)根據(jù)主機(jī)讀取模式的變化，動態(tài)啟停預(yù)取過程識別出隨機(jī)模式，則關(guān)閉預(yù)取，如 果為順序業(yè)務(wù)，則啟動預(yù)取智能識別IO流的連續(xù)性，自動選擇合適的預(yù)取長度，達(dá)到性能最優(yōu)，例如：音頻流媒體應(yīng)用預(yù)取大小設(shè) 為4KB，視頻流媒體應(yīng)用時(shí)，動態(tài) 將預(yù)取大小調(diào)整為64KBbcdeabc0 x210 x220 x230 xCache預(yù)取主機(jī)讀