虛擬磁盤(pán)、卷和文件系統(tǒng)

RAID、虛擬磁盤(pán)、卷和文件系統(tǒng)存儲(chǔ)技術(shù)

——

第3部分目標(biāo)理解軟件和硬件RAID的區(qū)別RAID卡和SCSI卡架構(gòu)理解磁盤(pán)柜和磁盤(pán)陣列的原理深刻理解LUN和卷的重要性

理解虛擬磁盤(pán)和卷之間的關(guān)系分區(qū)和分區(qū)表的定義文件系統(tǒng)的重要性目錄3.1軟件和硬件RAID3.2理解磁盤(pán)陣列和LUN3.3虛擬磁盤(pán)、卷和文件系統(tǒng)3.1軟件和硬件RAID3.1.1軟件RAID在主機(jī)上編寫(xiě)程序，運(yùn)行于操作系統(tǒng)底層，將從主機(jī)SCSI或者IDE控制器提交上來(lái)的物理磁盤(pán)，運(yùn)用RAID算法，虛擬成各種模式的虛擬磁盤(pán)，然后再提交給上層程序接口，這就是用軟件實(shí)現(xiàn)的RAID，也叫軟RAID?！獮榱吮ＷC性能，最好不用將IDE和SCSI硬盤(pán)混搭做RAIDWindows系統(tǒng)RAID介紹：——跨區(qū)卷：一個(gè)卷的空間可以跨越多個(gè)物理磁盤(pán)，相當(dāng)于沒(méi)做條帶的RAID0，只是把磁盤(pán)容量累加?！獛^(qū)卷：相當(dāng)于條帶化的RAID0系統(tǒng)?！R像卷：相當(dāng)于RAID1系統(tǒng)?！猂AID5卷：相當(dāng)于RAID5系統(tǒng)。

Windows的動(dòng)態(tài)磁盤(pán)管理實(shí)際上應(yīng)該算是一個(gè)帶有RAID功能的卷管理軟件，而不僅僅是RAID軟件。3.1.1軟件RAID的缺點(diǎn)軟件RAID有三大缺點(diǎn)，決定了它無(wú)法在對(duì)安全性要求高的環(huán)境使用：——占用內(nèi)存空間——占用CPU資源——無(wú)法將安裝有操作系統(tǒng)的那個(gè)磁盤(pán)分區(qū)做成RAID模式3.1.2硬件RAID軟件RAID的缺點(diǎn)如此之多，也就決定了對(duì)硬件RAID的需求，RAID卡就是一種利用獨(dú)立硬件來(lái)實(shí)現(xiàn)RAID功能的方法。如果要在硬件上實(shí)現(xiàn)RAID功能，必須找一個(gè)物理硬件作為載體，SCSI卡或者主板的南橋芯片無(wú)疑就是最好的載體了，也就是說(shuō)需要在SCSI卡或南橋上增加一個(gè)可以執(zhí)行RAID算法的芯片。能夠?qū)崿F(xiàn)RAID功能的板卡，統(tǒng)稱RAID卡。同樣，在主板南橋芯片上也可實(shí)現(xiàn)RAID功能，但由于南橋中的RAID芯片，不能靠CPU來(lái)完成它們的功能，所以這些芯片完全要靠電路邏輯來(lái)自己運(yùn)算，盡管速度很快，但功能相對(duì)RAID卡要弱。對(duì)于硬件RAID來(lái)說(shuō)，操作系統(tǒng)根本無(wú)法感知底層的物理磁盤(pán)，而只能通過(guò)廠家提供的RAID卡管理軟件來(lái)查看卡上所連接的物理磁盤(pán)，通常是在開(kāi)機(jī)后進(jìn)入這個(gè)硬件來(lái)配置。3.1.3詳解RAID卡架構(gòu)帶CPU的RAID其實(shí)就是一個(gè)小的計(jì)算機(jī)系統(tǒng)，有自己的CPU、內(nèi)存、ROM、總線和IO接口，只不過(guò)它是為大計(jì)算機(jī)服務(wù)的。下面列舉RAID卡的幾個(gè)部分組成，以及它們的功能——SCSI控制器：因?yàn)槠浜蠖诉B接的依然是SCSI物理磁盤(pán)——PCI控制器：其前端連接到PCI總線上——ROM：還需要有一個(gè)ROM，其中存放著初始化RAID卡必須的代碼以及實(shí)現(xiàn)RAID功能所需的代碼?！猂AM：首先是作為數(shù)據(jù)緩存，提高性能；其次作為RAID卡上的CPU執(zhí)行RAID運(yùn)算所需要內(nèi)存空間——XOR：專門(mén)用來(lái)做RAID3、5、6等這類校驗(yàn)型RAID的校驗(yàn)數(shù)據(jù)計(jì)算。如果讓CPU來(lái)做校驗(yàn)計(jì)算，將耗費(fèi)很多周期，而使用專用的數(shù)字電路，一進(jìn)一出就立即得到結(jié)果，大大增加了數(shù)據(jù)校驗(yàn)計(jì)算的速度。3.1.4RAID卡與SCSI卡的區(qū)別RAID卡與SCSI卡的區(qū)別就在于RAID功能，如果RAID卡上有多個(gè)SCSI通道，那么它就是多通道RAID卡。目前最高有6通道到SCSIRAID卡，也就是說(shuō)其后端可以接入6條SCSI總線，所以最多可連接96個(gè)SCSI設(shè)備（16位總線）。增加了RAID功能之后，SCSI控制器就成了RAID程序代碼的傀儡，RAID讓它干什么，它就干什么。SCSi控制器了解它下面掌管的磁盤(pán)情況，它將磁盤(pán)情況報(bào)告給RAID控制器，RAID知道SCSI控制器掌管的磁盤(pán)情況后，就按照ROM中所設(shè)置的RAID類型、條帶大小等，對(duì)RAID控制器做相應(yīng)的調(diào)整，操控它的傀儡SCSI控制器向主機(jī)報(bào)告“虛擬”的邏輯盤(pán)，而不是所有物理磁盤(pán)了。提示：RAID思想中有個(gè)“條帶化”的概念。所謂的條帶化，并不是真正的像低級(jí)格式化一樣將磁盤(pán)劃分成條和帶。這個(gè)條帶化完全就是在“心中”，也就是體現(xiàn)在程序代碼上。條帶化之后，RAID程序代碼就操控SCSI控制器向OS層驅(qū)動(dòng)程序代碼提交一個(gè)虛擬化之后的所謂的“虛擬盤(pán)”，一般我叫它“LUN”。3.2理解磁盤(pán)陣列和LUN3.2.1理解外置磁盤(pán)柜和磁盤(pán)陣列內(nèi)置陣列卡的局限性：如果RAID功能內(nèi)置到服務(wù)器里面，放幾塊磁盤(pán)就滿了，并且受主機(jī)影響。調(diào)整RAID時(shí)，需要關(guān)機(jī)，并且與主機(jī)類型、操作系統(tǒng)等有關(guān)。主機(jī)故障（如停電等）會(huì)直接影響到存儲(chǔ)數(shù)據(jù)及RAID的完整性?！疟P(pán)柜：將很多磁盤(pán)集成到一個(gè)箱子里面，箱子有獨(dú)立的電源和散熱系統(tǒng)，通過(guò)SCSI接口連接到主機(jī)的RAID控制器，這種箱子我們稱它是磁盤(pán)柜或JBOD?！疟P(pán)陣列：而自帶RAID控制器的磁盤(pán)箱叫做“磁盤(pán)陣列”或盤(pán)陣。磁盤(pán)柜內(nèi)置RAID卡服務(wù)器3.2.2磁盤(pán)陣列柜的優(yōu)勢(shì)盤(pán)陣是在盤(pán)柜的集成上，將內(nèi)部的磁盤(pán)經(jīng)過(guò)其自帶的RAID控制器的分分合合，虛擬化成邏輯磁盤(pán)，盤(pán)陣與主機(jī)和操作系統(tǒng)完全獨(dú)立。是一個(gè)獨(dú)立的存儲(chǔ)子系統(tǒng)。與主機(jī)通過(guò)SCSI電纜連接，無(wú)需任何軟件驅(qū)動(dòng)或硬件支持，只需主機(jī)提供標(biāo)準(zhǔn)SCSI接口即可。此時(shí)整個(gè)盤(pán)陣對(duì)于主機(jī)來(lái)說(shuō)，就是主機(jī)SCSI總線上的一個(gè)或多個(gè)設(shè)備，具有一個(gè)或者多個(gè)SCSIID。所以邏輯磁盤(pán)都以LUN的形式呈現(xiàn)給主機(jī)?！c主機(jī)操作系統(tǒng)獨(dú)立，無(wú)需驅(qū)動(dòng)——設(shè)置RAID無(wú)需進(jìn)入BIOS，可直接更改——支持的RAID模式更多，冗余性能更強(qiáng)——支持的通道數(shù)量多，單個(gè)磁盤(pán)柜最多可以支持96塊硬盤(pán)磁盤(pán)陣列柜結(jié)構(gòu)HPStorageWorksD2000系列陣列柜3.2.3理解LUN和卷的區(qū)別因?yàn)閷?duì)于大型磁盤(pán)陣列來(lái)說(shuō)，可能生成幾百甚至幾千個(gè)虛擬磁盤(pán)，但是由于每個(gè)SCSI總線最多允許16個(gè)設(shè)備接入（目前32位SCSI標(biāo)準(zhǔn)最大允許32個(gè)設(shè)備）。因此為每個(gè)磁盤(pán)分配一個(gè)SCSIID是遠(yuǎn)遠(yuǎn)不夠用的，LUN就是來(lái)解決這個(gè)問(wèn)題。LUN是SCSI協(xié)議中的名詞，它是SCSIID更細(xì)一級(jí)的地址號(hào)，每個(gè)SCSIID下面還可以有更多的LUNID。LUN就是這樣一個(gè)次級(jí)尋址ID，這樣就可以在一條總線上生成眾多虛擬磁盤(pán)，以滿足需求?！狶UN：我們把硬件層次生成的虛擬磁盤(pán)，稱為“LUN”。——卷：而由軟件生成的虛擬磁盤(pán)，統(tǒng)一稱為“卷”。3.2.4雙控制器的高安全磁盤(pán)陣列如果盤(pán)陣內(nèi)部只有一個(gè)控制器模塊，那么將會(huì)是一個(gè)單點(diǎn)故障點(diǎn)。所以一些高端的盤(pán)陣內(nèi)部都有兩個(gè)控制器，互為冗余。分配給其中一個(gè)控制器的LUN邏輯卷，可以在這個(gè)控制器因故障失效的時(shí)候，自動(dòng)被另一個(gè)工作正常的控制器接管，繼續(xù)處理針對(duì)這個(gè)LUN的讀寫(xiě)請(qǐng)求。兩個(gè)控制器平時(shí)都管理各自的LUN，一旦發(fā)現(xiàn)對(duì)方故障，那么就會(huì)自動(dòng)將所有LUN都接管過(guò)來(lái)。兩個(gè)控制器需要相互通信，以通告各自的狀態(tài)，方式如下：——Active-Standby：這種方式又稱HA方式，即兩個(gè)控制器中同一時(shí)刻只有一個(gè)在工作，另外一個(gè)處于等待、同步和監(jiān)控狀態(tài)——Dual-Active：兩個(gè)控制器同時(shí)工作，每個(gè)總線平時(shí)只被其中一個(gè)控制器管理，一旦其中一個(gè)損壞，則另外一個(gè)控制器接管所有總線3.2.5連接多個(gè)擴(kuò)展柜為了充分發(fā)揮兩個(gè)控制器的性能，可以把盤(pán)柜和盤(pán)柜之間用線連接起來(lái)。因?yàn)橐粋€(gè)控制器上可以有多個(gè)通道，一個(gè)通道下面就是一條SCSI總線，那么盤(pán)陣的每個(gè)控制器上如果能多提供幾個(gè)接口，每個(gè)接口連接盤(pán)柜（JBOD），這樣它所能連接硬盤(pán)的數(shù)量將成倍增加。理論上，只要RAID控制器處理速度夠強(qiáng)，總線帶寬和面板上空間夠大，多增加幾個(gè)通道都沒(méi)問(wèn)題。如右圖所示：一般情況下，把帶有控制器的磁盤(pán)柜稱作“機(jī)頭”，因?yàn)樗拖窕疖囶^一樣，是提供動(dòng)力的。機(jī)頭里可以有磁盤(pán)，也可以根本不含磁盤(pán)。把用于擴(kuò)展容量用的JBOD叫做“擴(kuò)展柜”，它就像一節(jié)節(jié)火車車廂，本身沒(méi)有動(dòng)力，全靠車頭帶，但是基本的供電和冷卻系統(tǒng)還是要有的。3.2.6磁盤(pán)陣列柜種類和結(jié)構(gòu)圖按照前端和后端接口來(lái)分，有SCSI-FC盤(pán)陣，F(xiàn)C-FC盤(pán)陣，SATA-FC盤(pán)陣，SCSI-SCSI盤(pán)陣等類型。SCSI-FC類型表示后端接口為SCSI接口，前端用于連接主機(jī)的為FC接口。磁盤(pán)陣列和陣列柜之間的結(jié)構(gòu)圖磁盤(pán)陣列柜的外部連接圖3.2.7從存儲(chǔ)的角度理解網(wǎng)絡(luò)網(wǎng)絡(luò)：不僅僅指以太網(wǎng)，TCP/IP網(wǎng)絡(luò)，它還可以是SCSI網(wǎng)，PCI總線網(wǎng)，USB網(wǎng)等。你可以這樣理解，其實(shí)RAID控制器，就相當(dāng)于一個(gè)路由器，它在各種協(xié)議之間做轉(zhuǎn)換，只不過(guò)這些協(xié)議是運(yùn)行在計(jì)算機(jī)內(nèi)部。現(xiàn)在我們可以為存儲(chǔ)網(wǎng)絡(luò)做一個(gè)定義：將磁盤(pán)放到了主機(jī)的外部，此時(shí)存儲(chǔ)設(shè)備和主機(jī)之間，就形成了又一個(gè)獨(dú)立的網(wǎng)絡(luò)：存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）3.3虛擬磁盤(pán)、卷和文件系統(tǒng)3.3.1虛擬磁盤(pán)實(shí)際中，比如用5塊100GB的磁盤(pán)做了一個(gè)RAID5，那么實(shí)際數(shù)據(jù)空間可以有400GB，如果將這400GB虛擬成一塊盤(pán)，不夠靈活。且如果OS不需要這么大的磁盤(pán)，將非常浪費(fèi)。所以要再次劃分這400GB的空間，比如劃分成4塊100GB的邏輯磁盤(pán)，然后提交給OS。目前各種RAID卡都可以劃分邏輯盤(pán)，邏輯盤(pán)大小任意設(shè)置。每個(gè)邏輯盤(pán)對(duì)于OS來(lái)說(shuō)都認(rèn)成一塊單獨(dú)的物理磁盤(pán)。這里千萬(wàn)不要跟分區(qū)搞混，分區(qū)是OS在一塊物理磁盤(pán)上做的再次劃分。而RAID卡提供給OS的，任何時(shí)候，都是一塊或者幾塊邏輯盤(pán)，也就是OS認(rèn)成的物理磁盤(pán)。而OS在這個(gè)磁盤(pán)上，還可以進(jìn)行分區(qū)、格式化等操作。一種RAID類型中包含的磁盤(pán)共同組成一個(gè)RAIDGroup，簡(jiǎn)稱RG。邏輯盤(pán)就是從這個(gè)RG中劃分出來(lái)的，原則上邏輯盤(pán)不能跨RG來(lái)劃分，就是說(shuō)不能讓一個(gè)邏輯盤(pán)的一部分處于一個(gè)RG，另一部分處于另一個(gè)RG。3.3.2卷管理層和它的作用原因：虛擬磁盤(pán)的局限性是，當(dāng)使用一段時(shí)間，磁盤(pán)空間不夠了，只能重新劃分邏輯磁盤(pán)，這個(gè)時(shí)候，數(shù)據(jù)將全部丟失，這是不能容忍的。解決：為了能夠?qū)崿F(xiàn)收縮自如，我們?cè)贠S層再把RAID控制器提交上來(lái)的邏輯盤(pán)（OS會(huì)認(rèn)成不折不扣的物理磁盤(pán)）加以組織、再分配，就會(huì)非常靈活。因?yàn)镺S層上運(yùn)行的都是軟件，完全靠CPU來(lái)執(zhí)行，而不用考慮太多細(xì)節(jié)。實(shí)際中，有很多基于這種思想的產(chǎn)品，這些產(chǎn)品都有一個(gè)通用的名稱，叫做卷管理器（VM），在Windows系統(tǒng)上叫LDM（邏輯磁盤(pán)管理），在Linux系統(tǒng)上叫LVM（邏輯卷管理），下面是它的一些常用名詞：物理卷(PhysicalVolume,PV)：

物理卷可以是一個(gè)磁盤(pán)，也可以是磁盤(pán)中的一個(gè)分區(qū)。它為L(zhǎng)VM提供了存儲(chǔ)介質(zhì)。邏輯卷組(LogicalVolumeGroup,LVG)：

可以把邏輯卷組想象成一個(gè)存儲(chǔ)池，或者是邏輯硬盤(pán)。物理卷與物理卷在硬件上可以是不連續(xù)的，但把多個(gè)物理卷加入邏輯卷組后，就可以把這個(gè)邏輯卷組看成一個(gè)存儲(chǔ)空間連續(xù)的邏輯硬盤(pán)，在這塊硬盤(pán)上，可以創(chuàng)建多個(gè)邏輯卷(LV)。邏輯卷(LogicalVolume,LV)：

可以將卷組劃分成若干個(gè)邏輯卷，相當(dāng)于在邏輯硬盤(pán)上劃分出幾個(gè)邏輯分區(qū)，每個(gè)邏輯分區(qū)上都可以創(chuàng)建具體的文件系統(tǒng)。3.3.5卷管理軟件（LVM）的實(shí)現(xiàn)卷管理軟件就是運(yùn)行在OS操作系統(tǒng)磁盤(pán)控制器驅(qū)動(dòng)程序之上的一層軟件程序，它的作用就是實(shí)現(xiàn)RAID卡無(wú)法實(shí)現(xiàn)的一些功能，比如隨時(shí)擴(kuò)容。磁盤(pán)在經(jīng)過(guò)VM這一層處理之后，應(yīng)該稱為卷比較恰當(dāng)，因?yàn)榇疟P(pán)這個(gè)概念只有對(duì)磁盤(pán)控制器來(lái)說(shuō)才有意義。卷管理軟件看待磁盤(pán)，會(huì)認(rèn)為它是一個(gè)線性存儲(chǔ)的大倉(cāng)庫(kù)，而不管這個(gè)倉(cāng)庫(kù)用的是什么存儲(chǔ)方式，倉(cāng)庫(kù)每個(gè)房間都有一個(gè)地址（LBA邏輯塊地址），VM必須知道這些地址一共有多少。linux下邏輯卷管理器的一個(gè)例子3.3.8文件系統(tǒng)的定義和它的作用在早期的計(jì)算機(jī)系統(tǒng)中，每個(gè)程序都必須自己管理磁盤(pán)，想在磁盤(pán)中放自己的數(shù)據(jù)，程序需要直接和磁盤(pán)控制器打交道，有多少個(gè)程序要利用磁盤(pán)，就有多少個(gè)和磁盤(pán)交互的驅(qū)動(dòng)接口，這樣效率是非常低下和不經(jīng)濟(jì)的。所謂文件系統(tǒng)就是操作系統(tǒng)用于規(guī)范磁盤(pán)上的文件的存儲(chǔ)方法和數(shù)據(jù)結(jié)構(gòu)的一套體系；文件系統(tǒng)由三部分組成：與文件管理有關(guān)軟件、被管理文件以及實(shí)施文件管理所需數(shù)據(jù)結(jié)構(gòu)。文件系統(tǒng)負(fù)責(zé)為用戶建立，存入、讀出、修改、轉(zhuǎn)儲(chǔ)和控制文件，當(dāng)用戶不再使用時(shí)撤銷文件等。文件系統(tǒng)記錄的信息叫做“Metadata”或“元數(shù)據(jù)”，也就是用來(lái)描述其他數(shù)據(jù)是如何組織存放的一種數(shù)據(jù)。如果元數(shù)據(jù)丟失，那么縱然文件是完好的，也無(wú)法使用了。——沒(méi)有文件系統(tǒng)前：如果一個(gè)程序要向磁盤(pán)上存儲(chǔ)一些自己的數(shù)據(jù)，那么這個(gè)程序只能自己調(diào)用磁盤(pán)控制器驅(qū)動(dòng)，對(duì)磁盤(pán)進(jìn)行寫(xiě)數(shù)據(jù)。而寫(xiě)完的數(shù)據(jù)，很有可能被其他程序的數(shù)據(jù)覆蓋掉?！形募到y(tǒng)后：所有程序之間都通過(guò)文件系統(tǒng)接口訪問(wèn)磁盤(pán)，通過(guò)文件系統(tǒng)這個(gè)中介來(lái)存取和修改數(shù)據(jù)，所有被寫(xiě)入的數(shù)據(jù)都稱為一個(gè)文件。3.3.9各種不同的文件系統(tǒng)在計(jì)算機(jī)技術(shù)發(fā)展的過(guò)程中，出現(xiàn)了很多種文件系統(tǒng)，它們有各自的特點(diǎn)和使用場(chǎng)景，下面我們逐一分析：——FAT16：支持最大分區(qū)2GB，簇大小32KB，存儲(chǔ)效率低，浪費(fèi)空間——FAT32：支持最大分區(qū)32GB，磁盤(pán)大小2TB，簇大小4KB，存儲(chǔ)效率高——NTFS：支持最大分區(qū)2TB，它是一個(gè)可恢復(fù)的文件系統(tǒng)，支持對(duì)分區(qū)、文件夾和文件進(jìn)行壓縮，可以為共享資源、文件夾以及文件設(shè)置訪問(wèn)許可權(quán)限——exFAT：由于NTFS不適合U盤(pán)等移動(dòng)介質(zhì)，并且FAT32