磁盤(pán)陣列基礎(chǔ)知識(shí)

1、基本的RAID介紹RAID是英文Redundant Array of Independent Disks（獨(dú)立磁盤(pán)冗余陣列），簡(jiǎn)稱磁盤(pán)陣列。下面將各個(gè)級(jí)別的RAID介紹如下。RAID0條帶化（Stripe）存儲(chǔ)。理論上說(shuō)，有N個(gè)磁盤(pán)組成的RAID0是單個(gè)磁盤(pán)讀寫(xiě)速度的N倍。RAID 0連續(xù)以位或字節(jié)為單位分割數(shù)據(jù)，并行讀/寫(xiě)于多個(gè)磁盤(pán)上，因此具有很高的數(shù)據(jù)傳輸率，但它沒(méi)有數(shù)據(jù)冗余，因此并不能算是真正的RAID結(jié)構(gòu)。RAID1鏡象（Mirror）存儲(chǔ)。它是通過(guò)磁盤(pán)數(shù)據(jù)鏡像實(shí)現(xiàn)數(shù)據(jù)冗余，在成對(duì)的獨(dú)立磁盤(pán)上產(chǎn)生互 為備份的數(shù)據(jù)。當(dāng)原始數(shù)據(jù)繁忙時(shí)，可直接從鏡像拷貝中讀取數(shù)據(jù)，因此RAID 1可以提高讀

2、取性能。RAID 1是磁盤(pán)陣列中單位成本最高的，但提供了很高的數(shù)據(jù)安全性和可用性。當(dāng)一個(gè)磁盤(pán)失效時(shí)，系統(tǒng)可以自動(dòng)切換到鏡像磁盤(pán)上讀寫(xiě)，而不需要重組失效的數(shù)據(jù)。RAID2海明碼（Hamming Code）校驗(yàn)條帶存儲(chǔ)。將數(shù)據(jù)條塊化地分布于不同的硬盤(pán)上，條塊單位為位或字節(jié)，使用稱為海明碼來(lái)提供錯(cuò)誤檢查及恢復(fù)。這種編碼技術(shù)需要多個(gè)磁盤(pán)存放檢查及恢復(fù)信息，使得RAID 2技術(shù)實(shí)施更復(fù)雜，因此在商業(yè)環(huán)境中很少使用。RAID3奇偶校驗(yàn)（XOR）條帶存儲(chǔ)，共享校驗(yàn)盤(pán)，數(shù)據(jù)條帶存儲(chǔ)單位為字節(jié)。它同RAID 2非常類似，都是將數(shù)據(jù)條塊化分布于不同的硬盤(pán)上，區(qū)別在于RAID 3使用簡(jiǎn)單的奇偶校驗(yàn)，并用單塊磁盤(pán)存放

3、奇偶校驗(yàn)信息。如果一塊磁盤(pán)失效，奇偶盤(pán)及其他數(shù)據(jù)盤(pán)可以重新產(chǎn)生數(shù)據(jù)；如果奇偶盤(pán)失效則不影響數(shù)據(jù)使用。RAID 3對(duì)于大量的連續(xù)數(shù)據(jù)可提供很好的傳輸率，但對(duì)于隨機(jī)數(shù)據(jù)來(lái)說(shuō)，奇偶盤(pán)會(huì)成為寫(xiě)操作的瓶頸。RAID4奇偶校驗(yàn)（XOR）條帶存儲(chǔ)，共享校驗(yàn)盤(pán)，數(shù)據(jù)條帶存儲(chǔ)單位為塊。RAID 4同樣也將數(shù)據(jù)條塊化并分布于不同的磁盤(pán)上，但條塊單位為塊或記錄。RAID 4使用一塊磁盤(pán)作為奇偶校驗(yàn)盤(pán)，每次寫(xiě)操作都需要訪問(wèn)奇偶盤(pán)，這時(shí)奇偶校驗(yàn)盤(pán)會(huì)成為寫(xiě)操作的瓶頸，因此RAID 4在商業(yè)環(huán)境中也很少使用。RAID5奇偶校驗(yàn)（XOR）條帶存儲(chǔ)，校驗(yàn)數(shù)據(jù)分布式存儲(chǔ)，數(shù)據(jù)條帶存儲(chǔ)單位為塊。RAID 5不單獨(dú)指定的奇偶盤(pán)，而是

4、在所有磁盤(pán)上交叉地存取數(shù)據(jù)及奇偶校驗(yàn)信息。在RAID 5上，讀/寫(xiě)指針可同時(shí)對(duì)陣列設(shè)備進(jìn)行操作，提供了更高的數(shù)據(jù)流量。RAID 5更適合于小數(shù)據(jù)塊和隨機(jī)讀寫(xiě)的數(shù)據(jù)。RAID 3與RAID 5相比，最主要的區(qū)別在于RAID 3每進(jìn)行一次數(shù)據(jù)傳輸就需涉及到所有的陣列盤(pán)；而對(duì)于RAID 5來(lái)說(shuō)，大部分?jǐn)?shù)據(jù)傳輸只對(duì)一塊磁盤(pán)操作，并可進(jìn)行并行操作。在RAID 5中有“寫(xiě)損失”，即每一次寫(xiě)操作將產(chǎn)生四個(gè)實(shí)際的讀/寫(xiě)操作，其中兩次讀舊的數(shù)據(jù)及奇偶信息，兩次寫(xiě)新的數(shù)據(jù)及奇偶信息。當(dāng)進(jìn)行恢復(fù)時(shí)，比如我們需要需要恢復(fù)下圖中的A0，這里就必須需要B0、C0、D0加0 parity才能計(jì)算并得出A0，進(jìn)行數(shù)據(jù)恢復(fù)。所

5、以當(dāng)有兩塊盤(pán)壞掉的時(shí)候，整個(gè)RAID的數(shù)據(jù)失效。RAID6 奇偶校驗(yàn)（XOR）條帶存儲(chǔ)，兩個(gè)分布式存儲(chǔ)的校驗(yàn)數(shù)據(jù)，數(shù)據(jù)條帶存儲(chǔ)單位為塊。 與RAID 5相比，RAID 6增加了第二個(gè)獨(dú)立的奇偶校驗(yàn)信息塊。兩個(gè)獨(dú)立的奇偶系統(tǒng)使用不同的算法，數(shù)據(jù)的可靠性非常高，即使兩塊磁盤(pán)同時(shí)失效也不會(huì)影響數(shù)據(jù)的使用。但RAID 6需要分配給奇偶校驗(yàn)信息更大的磁盤(pán)空間，相對(duì)于RAID 5有更大的“寫(xiě)損失”，因此“寫(xiě)性能”非常差。較差的性能和復(fù)雜的實(shí)施方式使得RAID 6很少得到實(shí)際應(yīng)用。RAID7這是一種新的RAID標(biāo)準(zhǔn)，其自身帶有智能化實(shí)時(shí)操作系統(tǒng)和用于存儲(chǔ)管理的軟件工具，可完全獨(dú)立于主機(jī)運(yùn)行，不占用主機(jī)CPU

6、資源。RAID 7可以看作是一種存儲(chǔ)計(jì)算機(jī)（Storage Computer），它與其他RAID標(biāo)準(zhǔn)有明顯區(qū)別。RAID 7等級(jí)是至今為止，理論上性能最高的RAID模式，因?yàn)樗鼜慕M建方式上就已經(jīng)和以往的方式有了重大的不同?；境尚问揭?jiàn)圖，以往一個(gè)硬盤(pán)是一個(gè)組成陣列的“柱子”，而在RAID 7中，多個(gè)硬盤(pán)組成一個(gè)“柱子”，它們都有各自的通道，也正因?yàn)槿绱耍憧梢园堰@個(gè)圖分解成一個(gè)個(gè)硬盤(pán)連接在主通道上，只是比以前的等級(jí)更為細(xì)分了。這樣做的好處就是在讀/寫(xiě)某一區(qū)域的數(shù)據(jù)時(shí)，可以迅速定位，而不會(huì)因?yàn)橐酝騿蝹€(gè)硬盤(pán)的限制同一時(shí)間只能訪問(wèn)該數(shù)據(jù)區(qū)的一部分，在RAID 7中，以前的單個(gè)硬盤(pán)相當(dāng)于分割成多個(gè)獨(dú)

7、立的硬盤(pán)，有自己的讀寫(xiě)通道。 工程中常用的RAID方式是RAID10和RAID5。下面分別介紹RAID10和RAID01的區(qū)別；以及RAID10和RAID5的區(qū)別。RAID10和RAID01的比較 RAID10是先做鏡象，然后再做條帶。 RAID01則是先做條帶，然后再做鏡象。比如以6個(gè)盤(pán)為例，RAID10就是先將盤(pán)分成3組鏡象，然后再對(duì)這3個(gè)RAID1做條帶。RAID01則是先利用3塊盤(pán)做RAID0，然后將另外3塊盤(pán)做為RAID0的鏡象。下面以4塊盤(pán)為例來(lái)介紹安全性方面的差別：1、RAID10的情況這種情況中，我們假設(shè)當(dāng)DISK0損壞時(shí)，在剩下的3塊盤(pán)中，只有當(dāng)DISK1一個(gè)盤(pán)發(fā)生故障時(shí)，才

8、會(huì)導(dǎo)致整個(gè)RAID失效，我們可簡(jiǎn)單計(jì)算故障率為1/3。2、RAID01的情況這種情況下，我們?nèi)匀患僭O(shè)DISK0損壞，這時(shí)左邊的條帶將無(wú)法讀取。在剩下的3塊盤(pán)中，只要DISK2，DISK3兩個(gè)盤(pán)中任何一個(gè)損壞，都會(huì)導(dǎo)致整個(gè)RAID失效，我們可簡(jiǎn)單計(jì)算故障率為2/3。因此RAID10比RAID01在安全性方面要強(qiáng)。從數(shù)據(jù)存儲(chǔ)的邏輯位置來(lái)看，在正常的情況下RAID01和RAID10是完全一樣的，而且每一個(gè)讀寫(xiě)操作所產(chǎn)生的IO數(shù)量也是一樣的，所以在讀寫(xiě)性能上兩者沒(méi)什么區(qū)別。而當(dāng)有磁盤(pán)出現(xiàn)故障時(shí)，比如前面假設(shè)的DISK0損壞時(shí)，我們也可以發(fā)現(xiàn)，這兩種情況下，在讀的性能上面也將不同，RAID10的讀性能將

9、優(yōu)于RAID01。RAID10和RAID5的比較為了方便對(duì)比，這里拿同樣多驅(qū)動(dòng)器的磁盤(pán)來(lái)做對(duì)比，RAID5選擇3D+1P的RAID方案，RAID10選擇2D+2D的RAID方案，如圖：1、安全性方面的比較其實(shí)在安全性方面，勿須質(zhì)疑，肯定是RAID10的安全性高于RAID5。我們也可以從簡(jiǎn)單的分析來(lái)得出。當(dāng)盤(pán)1損壞時(shí)，對(duì)于RAID10，只有當(dāng)盤(pán)1對(duì)應(yīng)的鏡象盤(pán)損壞，才導(dǎo)致RAID失效。但是對(duì)于RAID5，剩下的3塊盤(pán)中，任何一塊盤(pán)故障，都將導(dǎo)致RAID失效。在恢復(fù)的時(shí)候，RAID10恢復(fù)的速度也快于RAID5。2、空間利用率的比較 RAID10的利用率是50%，RAID5的利用率是75%。硬盤(pán)數(shù)量

10、越多，RAID5的空間利用率越高。3、讀寫(xiě)性能方面的比較主要分析分析如下三個(gè)過(guò)程：讀，連續(xù)寫(xiě)，離散寫(xiě)。在介紹這三個(gè)過(guò)程之前，先介紹一個(gè)特別重要的概念：cache。cache已經(jīng)是整個(gè)存儲(chǔ)的核心所在，就是中低端存儲(chǔ)，也有很大的cache存在，包括最簡(jiǎn)單的raid卡，一般都包含有幾十，甚至幾百兆的raid cache。 cache的主要作用是什么呢？體現(xiàn)在讀與寫(xiě)兩個(gè)不同的方面，如果作為寫(xiě)，一般存儲(chǔ)陣列只要求寫(xiě)到cache就算完成了寫(xiě)操作，所以，陣列的寫(xiě)是非?？焖俚?，在寫(xiě)cache的數(shù)據(jù)積累到一定程度，陣列才把數(shù)據(jù)刷到磁盤(pán)，可以實(shí)現(xiàn)批量的寫(xiě)入，至于cache數(shù)據(jù)的保護(hù)，一般都依賴于鏡相與電池（或者是

11、UPS）。 cache的讀一樣不可忽視，因?yàn)槿绻x能在cache中命中的話，將減少磁盤(pán)的尋道，因?yàn)榇疟P(pán)從尋道開(kāi)始到找到數(shù)據(jù)，一般都在6ms以上，而這個(gè)時(shí)間，對(duì)于那些密集型io的應(yīng)用可能不是太理想。但是，如果cache能命中，一般響應(yīng)時(shí)間則可以在1ms以內(nèi)。兩者應(yīng)該相差3個(gè)數(shù)量級(jí)（1000倍）。 1）讀操作方面的性能差異RAID10可供讀取有效數(shù)據(jù)的磁盤(pán)個(gè)數(shù)為4，RAID5可供讀取有效數(shù)據(jù)的磁盤(pán)個(gè)數(shù)也為4個(gè)（校驗(yàn)信息分布在所有的盤(pán)上），所以兩者的讀的性能應(yīng)該是基本一致的。2）連續(xù)寫(xiě)方面的性能差異在連續(xù)寫(xiě)操作過(guò)程，如果有寫(xiě)cache存在，并且算法沒(méi)有問(wèn)題的話，RAID5比RAID10甚至?xí)靡恍?/p>

12、，雖然也許并沒(méi)有太大的差別。（這里要假定存儲(chǔ)有一定大小足夠的寫(xiě)cache，而且計(jì)算校驗(yàn)的cpu不會(huì)出現(xiàn)瓶頸）。因?yàn)檫@個(gè)時(shí)候的RAID校驗(yàn)是在cache中完成，如4塊盤(pán)的RAID5，可以先在內(nèi)存中計(jì)算好校驗(yàn)，同時(shí)寫(xiě)入3個(gè)數(shù)據(jù)+1個(gè)校驗(yàn)。而RAID10只能同時(shí)寫(xiě)入2個(gè)數(shù)據(jù)+2個(gè)鏡相。如上圖所示，4塊盤(pán)的RAID5可以在同時(shí)間寫(xiě)入1、2、3到cache，并且在cache計(jì)算好校驗(yàn)之后，這里假定是6，同時(shí)把三個(gè)數(shù)據(jù)寫(xiě)到磁盤(pán)。而4塊盤(pán)的RAID10不管cache是否存在，寫(xiě)的時(shí)候，都是同時(shí)寫(xiě)2個(gè)數(shù)據(jù)與2個(gè)鏡相。 根據(jù)前面對(duì)緩存原理的介紹，寫(xiě)cache是可以緩存寫(xiě)操作的，等到緩存寫(xiě)數(shù)據(jù)積累到一定時(shí)期再寫(xiě)到

13、磁盤(pán)。但是，寫(xiě)到磁盤(pán)陣列的過(guò)程是遲早也要發(fā)生的，所以RAID5與RAID10在連續(xù)寫(xiě)的情況下，從緩存到磁盤(pán)的寫(xiě)操作速度會(huì)有較小的區(qū)別。不過(guò)，如果不是連續(xù)性的強(qiáng)連續(xù)寫(xiě)，只要不達(dá)到磁盤(pán)的寫(xiě)極限，差別并不是太大。3）離散寫(xiě)方面的性能差異 例如oracle 數(shù)據(jù)庫(kù)每次寫(xiě)一個(gè)數(shù)據(jù)塊的數(shù)據(jù)，如8K；由于每次寫(xiě)入的量不是很大，而且寫(xiě)入的次數(shù)非常頻繁，因此聯(lián)機(jī)日志看起來(lái)會(huì)像是連續(xù)寫(xiě)。但是因?yàn)椴槐ＷC能夠添滿RAID5的一個(gè)條帶，比如32K（保證每張盤(pán)都能寫(xiě)入），所以很多時(shí)候更加偏向于離散寫(xiě)入（寫(xiě)入到已存在數(shù)據(jù)的條帶中）。我們從上圖看一下離散寫(xiě)的時(shí)候，RAID5與RAID10工作方式有什么不同。如上圖：我們假定要

14、把一個(gè)數(shù)字2變成數(shù)字4，那么對(duì)于RAID5，實(shí)際發(fā)生了4次io：先讀出2與校驗(yàn)6，可能發(fā)生讀命中然后在cache中計(jì)算新的校驗(yàn)寫(xiě)入新的數(shù)字4與新的校驗(yàn)8。 如上圖我們可以看到：對(duì)于RAID10，同樣的單個(gè)操作，最終RAID10只需要2個(gè)io，而RAID5需要4個(gè)io. 這里我忽略了RAID5在那兩個(gè)讀操作的時(shí)候，可能會(huì)發(fā)生讀命中操作的情況。也就是說(shuō)，如果需要讀取的數(shù)據(jù)已經(jīng)在cache中，可能是不需要4個(gè)io的。這也證明了cache對(duì)RAID5 的重要性，不僅僅是計(jì)算校驗(yàn)需要，而且對(duì)性能的提升尤為重要。 當(dāng)然，并不是說(shuō)cache對(duì)RAID10就不重要了，因?yàn)閷?xiě)緩沖，讀命中等，都是提高速度的關(guān)鍵所

15、在，只不過(guò)RAID10對(duì)cache的依賴性沒(méi)有RAID5那么明顯而已。4）磁盤(pán)的IOPS對(duì)比假定一個(gè)case，業(yè)務(wù)的iops是10000，讀cache命中率是30%，讀iops為60%，寫(xiě)iops為40%，磁盤(pán)個(gè)數(shù)為120，那么分別計(jì)算在raid5與raid10的情況下，每個(gè)磁盤(pán)的iops為多少。raid5:單塊盤(pán)的iops = (10000*(1-0.3)*0.6 + 4 * (10000*0.4)/120 = (4200 + 16000)/120 = 168這里的10000*(1-0.3)*0.6表示是讀的iops，比例是0.6，除掉cache命中，實(shí)際只有4200個(gè)iops。 4 * (10000*0.4) 表示寫(xiě)的iops，因?yàn)槊恳粋€(gè)寫(xiě)，在raid5中，實(shí)際發(fā)生了4個(gè)io，所以寫(xiě)的iops為16000個(gè)為了考慮raid5在寫(xiě)操作的時(shí)候，那2個(gè)讀操作也可能發(fā)生命中，所以更精確的計(jì)算為：?jiǎn)螇K盤(pán)的iops = (10000*(1-0.3)*0.6 + 2 * (10000*0.4)*(1-0.3) + 2 * (10000*0.4)/120 = (4200 + 5600 + 8000)/120 = 148 計(jì)算出來(lái)單個(gè)盤(pán)的iops為148個(gè)，基本達(dá)到磁盤(pán)