RAID5 VS RAID10

1、RAID5VSRAID10（性能比較和原理RAID相關(guān)資料）OracleDba2009-05-0418:11:48閱讀30評論0字號：大中小訂閱存儲是目前IT產(chǎn)業(yè)發(fā)展的一大熱點，而RAID技術(shù)是構(gòu)造高性能、海量存儲的基礎(chǔ)技術(shù)，也是構(gòu)建網(wǎng)絡(luò)存儲的基礎(chǔ)技術(shù)。專家認為，磁盤陣列的性能優(yōu)勢得益于磁盤運行的并行性，提高設(shè)備運行并行度可以提高磁盤的性能和數(shù)據(jù)安全性。20年來，RAID推出了一系列級別，包括RAID0、RAID1、RAID2、RAID3、RAID4、RAID5,以及各種組合如RAID0+1等。其中最廣泛的包括RAID5與RAID10。但是一直以來，關(guān)于RAID5與RAID10的性能優(yōu)劣的爭端

2、還是非常多的，甚至很多人包括很多公司都那拿出了測試數(shù)據(jù)。而這些測試數(shù)據(jù)復(fù)雜難懂相互矛盾，更加讓用戶感到迷惑，不知道如何選擇。在這里，我將就這兩種RAID的內(nèi)部運行原理來分析一下，看看我們在什么情況下應(yīng)當(dāng)適合選哪一種RAID方式。根據(jù)我的經(jīng)驗與分析：象小io的數(shù)據(jù)庫類型操作，如ERP等等應(yīng)用，建議采用RAID10,而大型文件存儲，數(shù)據(jù)倉庫，如醫(yī)療PACS系統(tǒng)、視頻編輯系統(tǒng)則從空間利用的角度，建議采用RAID5。下面請看詳細的性能對比：本文分為上下兩篇，上文側(cè)重分析兩種RAID的內(nèi)部運行原理，下文將根據(jù)不同的影響磁盤性能的因素來分析，RAID方案對磁盤系統(tǒng)的影響，參考“RAID5和RAID10，哪

3、種RAID更適合你（下）”為了方便對比，我這里拿同樣多驅(qū)動器的磁盤來做對比，RAID5選擇3D+1P的RAID方案，RAID10選擇2D+2D的Raid方案，分別如圖：那么，我們分析如下三個過程：讀，連續(xù)寫，隨機寫，但是，在介紹這三個過程之前，我需要介紹另外一個磁盤陣列中的重要概念：cache。磁盤讀寫速度的關(guān)鍵之一：Cachecache技術(shù)最近幾年，在磁盤存儲技術(shù)上，發(fā)展的非常迅速，作為高端存儲，cache已經(jīng)是整個存儲的核心所在，就是中低端存儲，也有很大的cache存在，包括最簡單的RAID卡，一般都包含有幾十，甚至幾百兆的RAIDcache。cache的主要作用是什么呢？作為緩存，cac

4、he的作用具體體現(xiàn)在讀與寫兩個不同的方面：作為寫，一般存儲陣列只要求數(shù)據(jù)寫到cache就算完成了寫操作，當(dāng)寫cache的數(shù)據(jù)積累到一定程度，陣列才把數(shù)據(jù)刷到磁盤，可以實現(xiàn)批量的寫入。所以，陣列的寫是非常快速的。至于cache數(shù)據(jù)的保護，一般都依賴于鏡相與電池（或者是UPS）。cache在讀數(shù)據(jù)方面的作用一樣不可忽視，因為如果所需要讀取的數(shù)據(jù)能在cache中命中的話，將大大減少磁盤尋道所需要的時間。因為磁盤從開始尋道到找到數(shù)據(jù)，一般都在6ms以上，而這個時間，對于那些密集型I/O的應(yīng)用可能不是太理想。但是，如果能在cache保存的數(shù)據(jù)中命中，一般響應(yīng)時間則可以縮短在1ms以內(nèi)。不要迷信存儲廠商的

5、IOPS（每秒的io數(shù)）數(shù)據(jù)，他們可能全部在cache命中的基礎(chǔ)上做到的，但是實際上，你的cache命中率可能只有10%。介紹完cache，我們就可以解釋RAID5與RAID10在不同的模式下，工作效率問題了，那么我們來分別分析讀操作、連續(xù)寫和離散寫三方面的問題。讀操作方面的性能差異如我上文的介紹，磁盤陣列讀操作的關(guān)鍵更多的體現(xiàn)在cache的命中率上。所以，RAID5和RAID10在讀數(shù)據(jù)上面，他們基本是沒有差別的，除非是讀的數(shù)據(jù)能影響cache命中率，導(dǎo)致命中率不一樣。連續(xù)寫方面的性能差異連續(xù)寫的過程，一般表示寫入連續(xù)的大批量的數(shù)據(jù)，如媒體數(shù)據(jù)流，很大的文件等等。連續(xù)寫操作大多數(shù)產(chǎn)生于醫(yī)療P

6、ACS系統(tǒng)、高教圖書館系統(tǒng)、視頻編輯系統(tǒng)等等應(yīng)用環(huán)境下。根據(jù)我本人的經(jīng)驗，在連續(xù)寫操作過程，如果有寫cache存在，并且算法沒有問題的話，RAID5比RAID10甚至?xí)靡恍m然也許并沒有太大的差別。（這里要假定存儲有一定大小足夠的寫cache，而且計算校驗的cpu不會出現(xiàn)瓶頸）。因為這個時候的RAID校驗是在cache中完成，如4塊盤的RAID5，可以先在內(nèi)存中計算好校驗，同時寫入3個數(shù)據(jù)+1個校驗。而RAID10只能同時寫入2個數(shù)據(jù)+2個鏡相。如上圖所示，4塊盤的RAID5可以在同時間寫入1、2、3到cache，并且在cache計算好校驗之后，我這里假定是6（實際的校驗計算并不是這樣的

7、，我這里僅僅是假設(shè)），同時把三個數(shù)據(jù)寫到磁盤。而4塊盤的RAID10不管cache是否存在，寫的時候，都是同時寫2個數(shù)據(jù)與2個鏡相。根據(jù)我前面對緩存原理的介紹，寫cache是可以緩存寫操作的，等到緩存寫數(shù)據(jù)積累到一定時期再寫到磁盤。但是，寫到磁盤陣列的過程是遲早也要發(fā)生的，所以RAID5與RAID10在連續(xù)寫的情況下，從緩存到磁盤的寫操作速度會有較小的區(qū)別。不過，如果不是連續(xù)性的強連續(xù)寫，只要不達到磁盤的寫極限，差別并不是太大。離散寫方面的性能差異這里可能會較難理解，但是，這一部分也是最重要的部分。企業(yè)中的絕大部分數(shù)據(jù)庫應(yīng)用，如ERP系統(tǒng)等等在數(shù)據(jù)寫入的時候其實都是離散寫。例如oracle數(shù)據(jù)

8、庫每次寫一個數(shù)據(jù)塊的數(shù)據(jù)，如8K；由于每次寫入的量不是很大，而且寫入的次數(shù)非常頻繁，因此聯(lián)機日志看起來會像是連續(xù)寫。但是因為不保證能夠添滿RAID5的一個條帶（保證每張盤都能寫入），所以很多時候更加偏向于離散寫入。4呂6白EiAIE)5如IIPRAD02X2D24calie我們從上圖看一下離散寫的時候，RAID5與RAID10工作方式有什么不同。如上圖：我們假定要把一個數(shù)字2變成數(shù)字4,那么對于RAID5,實際發(fā)生了4次io：先讀出2與校驗6，可能發(fā)生讀命中然后在cache中計算新的校驗寫入新的數(shù)字4與新的校驗8如上圖我們可以看到：對于RAID10，同樣的單個操作，最終RAID10只需要2個i

9、o,而RAID5需要4個io。這里我忽略了RAID5在那兩個讀操作的時候，可能會發(fā)生讀命中操作的情況。也就是說，如果需要讀取的數(shù)據(jù)已經(jīng)在cache中，可能是不需要4個io的。這也證明了cache對RAID5的重要性，不僅僅是計算校驗需要，而且對性能的提升尤為重要。我本人曾經(jīng)測試過，在RAID5的陣列中，如果關(guān)閉寫cache，RAID5的性能將差很多倍。當(dāng)然，我并不是說cache對RAID10就不重要了，因為寫緩沖，讀命中等，都是提高速度的關(guān)鍵所在，不過的是，RAID10對cache的依賴性沒有RAID5那么明顯而已。到這里，大家應(yīng)當(dāng)也大致明白了RAID5與RAID10的原理與差別了，一般來說，

10、象小io的數(shù)據(jù)庫類型操作,建議采用RAID10，而大型文件存儲，數(shù)據(jù)倉庫，則從空間利用的角度，可以采用RAID5。在本文下篇，我們將進一步分析影響磁盤性能的不同因素，并分析不同的RAID方案對磁盤系統(tǒng)的影響，清參考“RAID5和RAID1O，哪種RAID更適合你（下）”前一段時間我寫過一篇文章“RAID5和RAID10，哪種RAID適合你”，主要從磁盤系統(tǒng)的內(nèi)部運行細節(jié)分析了RAID5與RAID1O的異同，以及各自適用的范圍。本文將接續(xù)上篇，繼續(xù)從RAID原理來分析存儲系統(tǒng)的瓶頸。我們知道，在存儲系統(tǒng)的采購過程中，廠商往往能夠提供漂亮的性能參數(shù)，但實際運行中，該系統(tǒng)的實際性能表現(xiàn)并不能達到我們

11、所期望的狀態(tài)，那么在運行環(huán)境中存儲系統(tǒng)的實際性能究竟受哪些環(huán)節(jié)和瓶頸的影響呢？之所以要和大家來討論這個問題，是因為在本人的工作中曾遇到一個實際的Case，在這個case中，一個恢復(fù)壓力很大的standby（這里主要是寫，而且是小io的寫），采用了RAID5的方案，發(fā)現(xiàn)性能很差，后來改造成了RAID10，就很好的避免了性能的問題。建議在閱讀本文前，首先閱讀本文上篇“RAID5和RAID10,哪種RAID適合你”，因為性能瓶頸的出現(xiàn)，本身與RAID方式還是有很大關(guān)系，同時本文性能討論的基礎(chǔ)，本身建立在上文的一些結(jié)論之上。陣列的瓶頸主要體現(xiàn)在2個方面，帶寬與IOPS（單位時間傳輸?shù)臄?shù)據(jù)量，和單位時間

12、完成的I/O數(shù)）。影響帶寬的主要因素存儲系統(tǒng)的帶寬主要取決于陣列的構(gòu)架，光纖通道的大?。ㄎ覀兘裉煊懻摰年嚵幸话愣际枪饫w陣列，SCSI這樣的SSA陣列，暫時不在討論范圍之列）以及硬盤的個數(shù)。所謂陣列構(gòu)架影響存儲系統(tǒng)帶寬，指的是存儲系統(tǒng)內(nèi)部架構(gòu)會存在一些內(nèi)部帶寬，類似于PC的系統(tǒng)總線，盡管陣列的構(gòu)架因不同廠商不同型號的產(chǎn)品而各有不同，不過一般情況下，內(nèi)部帶寬都設(shè)計的很充足，不會是瓶頸的所在。光纖通道對帶寬的影響還是比較大的，例如數(shù)據(jù)倉庫環(huán)境中，對數(shù)據(jù)的流量要求很大，而一塊2Gb的光纖卡，所能支撐的最大流量應(yīng)當(dāng)是2GB/8=250Mb/s的實際流量，必須配備4塊光纖卡才能達到1Gb/s的實際流量，所

13、以對于數(shù)據(jù)倉庫的環(huán)境來說，升級到光纖4Gb并非是廠商過于超前的產(chǎn)品更新，在大流量的數(shù)據(jù)環(huán)境下絕對有必要考慮更換4GB的光纖卡。但是對于存儲系統(tǒng)的帶寬來說，硬盤接口的帶寬限制是最重要的。當(dāng)前面的瓶頸不再存在的時候，帶寬就完全取決于硬盤的個數(shù)了，我下面列一下不同規(guī)格的硬盤所能支撐的流量大小，數(shù)據(jù)取自硬盤廠商的標(biāo)準(zhǔn)參數(shù)：硬盤變型FGATA10Krpm16Krpm8IW&如果我們假定一個陣列有120塊15Krpm轉(zhuǎn)速的光纖硬盤，那么硬盤上最大的可以支撐的數(shù)據(jù)流量為120*13=1560Mb/s，當(dāng)前端接口不成為瓶頸的時候，1560Mb/s就是理論上的最大數(shù)據(jù)流量。而如果要實現(xiàn)上述的最大帶寬，如果前端采

14、用2GB的光纖卡，可能需要配置6塊才能夠，而4GB的光纖卡，配置3-4塊就夠了。因此我們可以知道，前端的光纖接口必須與后端磁盤個數(shù)相匹配。但是否考慮到這些因素就足夠了呢，存儲系統(tǒng)的整體性能還受到多方面因素的影響，下面我們將分析存儲系統(tǒng)的另外一個重要的性能指標(biāo)：IOPS。影響IOPS的主要因素我們前面已經(jīng)說過了，廠商所提供的IOPS值是在理想狀態(tài)下測試出來的，對實際的運行性能的參考并不大,所以我們有必要通過以下幾個方面來衡量該系統(tǒng)的實際IOPS的可能表現(xiàn)。決定IOPS的主要因素取決于陣列的算法，cache命中率，以及磁盤個數(shù)。陣列的算法也因為不同廠商不同型號的產(chǎn)品而不同，如我們最近遇到在HDSU

15、SP上面，可能因為Idev(lun)存在隊列或者資源限制，而單個ldev的IOPS就上不去。所以，決定采購某型號的存儲之前，有必要了解這個存儲的一些算法規(guī)則與限制。cache命中率對實際IOPS有決定性的影響，Cache命中率取決于數(shù)據(jù)的分布，cachesize的大小，數(shù)據(jù)訪問的規(guī)則，以及cache的算法，如果完整的討論下來，這里將變得很復(fù)雜，可以有一天來慢慢討論。我們這里把這些內(nèi)部原理都省略掉，只強調(diào)：對于一個存儲陣列來說，讀cache的命中率越高，一般就表示它可以支持更多的IOPS,為什么這么說呢？這個就與我們下面要討論的硬盤IOPS有關(guān)系了。每個物理硬盤能處理的IOPS是有限制的，如趣盤

16、類型ATA菇速規(guī)搭WKrpnn16Krpm10015050同樣，如果一個陣列有120塊15Krpm轉(zhuǎn)速的光纖硬盤，那么，它能支撐的最大IOPS為120*150=18000,這個為硬件限制的理論值，如果超過這個值，硬盤的響應(yīng)可能會變的非常緩慢而不能正常提供業(yè)務(wù)。較高的讀cache命中率，能降低硬盤的IOPS負荷，讓硬盤在較小的壓力下良好工作。不同RAID對IOPS性能的影響在我們的上一篇文章“RAID5和RAID10,哪種RAID適合你(上)”中曾經(jīng)討論過，在RAID5與RAID10的不同機制上，讀數(shù)據(jù)時，IOPS性能其實沒有差別。但是，相同的業(yè)務(wù)，在寫入數(shù)據(jù)時，采用不同的RAID機制最終落在磁

17、盤上的IOPS是有差別的，我們評估的正是磁盤的整體IOPS,如果達到了磁盤的限制，性能肯定是上不去了。那我們假定一個case，業(yè)務(wù)應(yīng)用的IOPS是10000,讀cache命中率是30%，讀IOPS為60%，寫IOPS為40%，磁盤個數(shù)為120,那么分別計算在RAID5與RAID10的情況下，每個磁盤的IOPS為多少。RAID5:單塊盤的IOPS=(10000*(1-0.3)*0.6+4*(10000*0.4)/120=(4200+16000)/120=168這里的10000*(1-0.3)*0.6表示是讀的IOPS，比例是0.6，除掉cache命中，實際只有4200個讀IOPS。而4*(100

18、00*0.4)表示寫的IOPS，因為每一個寫，在RAID5中，實際發(fā)生了4個io,所以寫的IOPS為16000個。為了考慮RAID5在寫操作的時候，那2個讀操作也可能發(fā)生命中，所以更精確的計算應(yīng)該為：單塊盤的IOPS=(10000*(1-0.3)*0.6+2*(10000*0.4)*(1-0.3)+2*(10000*0.4)/120=(4200+5600+8000)/120=148這樣我們計算出來單個盤的IOPS為148個，基本達到磁盤IOPS極限，在這種情況下，磁盤的工作狀態(tài)是非常不理想的。RAID10對IOPS性能的影響單塊盤的IOPS=(10000*(103)*0.6+2*(10000*0.4)/120=(4200+8000)/120=102可以看到，因為RAID10對于一個寫操作，只發(fā)生2次io,所以，同樣的壓力，同樣的磁盤，每個盤的IOPS只有102個，還遠遠低于磁盤的極限IOPS。這里回到我們先前討論的case上來，在我們先前采用RAID5的時候，通