NetApp技術(shù)簡(jiǎn)介

1、第 1章 NetApp 技術(shù)簡(jiǎn)介1.1 NetApp RAID 技術(shù)介紹NetApp 可以提供 WAFL Optimized intelligent RAID 4( 增強(qiáng)型 RAID 4) 、 雙校驗(yàn)盤 RAID DP 、SyncMirror 和組合型 RAID 等多種技術(shù)手段，不僅滿足傳 統(tǒng) RAID 的四種需求目標(biāo) 安全、經(jīng)濟(jì)、效率、擴(kuò)充，另外對(duì)資料安全還提供更 多層不影響資料服務(wù)的線上防護(hù)機(jī)制：硬盤區(qū)塊驗(yàn)證系統(tǒng) (Block-level checksum) ，當(dāng)有一顆硬盤故障時(shí)， RAID 系統(tǒng)可保護(hù)資料不會(huì)流失，但是硬盤無(wú)故障時(shí)，如果某個(gè)硬盤的 區(qū)塊 (Block) 資料有錯(cuò)誤時(shí)， R

2、AID 將無(wú)法偵測(cè)與更正，此時(shí)讀取的的 資料將會(huì)錯(cuò)誤。 WAFL 內(nèi)建硬盤區(qū)塊驗(yàn)證系統(tǒng) (Block-level checksum) 功能，在RAID所寫入資料的Block都會(huì)加寫checksum在每顆硬盤上， 每次讀取資料時(shí)都會(huì)同時(shí)檢查 checksum 值。若檢查不符時(shí)， 就會(huì)利用 RAID 的 Parity 將該 Block 進(jìn)行修復(fù)與更正，如此所讀出的資料就可得 到正確性的保障了。(專利申請(qǐng)中)硬盤扇區(qū)檢查系統(tǒng) (Disk scrubbing) ，每周 WAFL 會(huì)自動(dòng)自我掃描檢查 每顆有資料的硬盤所有區(qū)塊， 檢查的周期與時(shí)間長(zhǎng)度亦可自行調(diào)整， 于 所定的時(shí)間內(nèi)未完成時(shí)， 也會(huì)在下次檢

3、查時(shí)繼續(xù)未完成的部分。 如此可 以提早剔除將會(huì)故障的扇區(qū)， 提供更安全、 穩(wěn)定的硬盤環(huán)境， 更進(jìn)一步 降低風(fēng)險(xiǎn)。文件系統(tǒng)線上檢查系統(tǒng) (Online File System Check) ，一般的文件系統(tǒng) 檢查都必須在離線狀態(tài)下才能進(jìn)行(例如 fsck 和 scandisk )，不僅需 要漫長(zhǎng)的等待時(shí)間， 更造成服務(wù)的中斷， 文件系統(tǒng)容量越大時(shí)， 服務(wù)停 頓的時(shí)間就越長(zhǎng)。 為避免任何可能造成文件系統(tǒng)錯(cuò)誤的因素， 同時(shí)避免 因著檢查而讓服務(wù)中斷， WAFL 具有獨(dú)步全球的線上進(jìn)行文件系統(tǒng)檢查 的能力，進(jìn)行檢查時(shí)仍可正常提供資料服務(wù)， 達(dá)到同時(shí)兼顧安全、 不帶 來(lái)服務(wù)停頓的效果。NetApp Fi

4、ler的RAID組大小可靈活配置。NetApp的RAID 4支持2-14 個(gè)任意個(gè)硬盤， RAID DP 支持 3-28 任意個(gè)硬盤的配置，這些硬盤不是 限制在一個(gè)或幾個(gè)磁盤柜內(nèi)，可以跨磁盤柜配置 RAID 。 NetApp Filer 的熱備盤為全局模式。熱備盤可以在任意位置，并且每個(gè) 熱備盤都可服務(wù)于所有的 RAID 組。當(dāng)檢測(cè)到硬盤故障后， 系統(tǒng)會(huì)自動(dòng) 從熱備盤中選擇一個(gè)最合適的盤來(lái)接管故障硬盤；當(dāng)更換了故障硬盤 后，該新硬盤立即成為新的熱備盤， 而不會(huì)去接管剛才頂替上去的熱備 盤，以減小數(shù)據(jù)重建對(duì)性能的影響。1.2 NetApp 獨(dú)有 RAID DP 技術(shù)傳統(tǒng)的單一奇偶校驗(yàn) RAID

5、技術(shù)，能為單個(gè)故障磁盤驅(qū)動(dòng)器提供保護(hù)。需 要警告的是， 在重建故障磁盤時(shí)必須確保不能發(fā)生其他磁盤故障， 而且不能在讀 操作過(guò)程中出現(xiàn)不可修復(fù)的誤碼。 如果在重建過(guò)程中出現(xiàn)上面任何一種事件， 那 么保留在 RAID 陣列或卷中的部分或所有數(shù)據(jù)就可能會(huì)丟失。 隨著現(xiàn)代更大的磁 盤存儲(chǔ)介質(zhì)的出現(xiàn)， 由于磁盤容量顯著增加， 而誤碼率仍是原來(lái)的水平， 這就使 得出現(xiàn)不可修復(fù)的誤碼的可能性相當(dāng)高。 因此，傳統(tǒng)的單一奇偶校驗(yàn) RAID 保護(hù) 數(shù)據(jù)的方法已經(jīng)超出了其保護(hù)極限。更高一級(jí)的 RAID 數(shù)據(jù)保護(hù)已經(jīng)發(fā)展到 RAID 雙奇偶校驗(yàn)，也稱作 RAID DP ，它可以應(yīng)用于整個(gè)網(wǎng)絡(luò)應(yīng)用數(shù)據(jù)存儲(chǔ)產(chǎn)品 線。從D

6、ATAONTAP? 6.5版開(kāi)始，NetApp推出了雙奇偶校驗(yàn)RAID，叫做RAID D P 。本文給出 RAID DP 的概覽和 RAID DP 如何在各種磁盤故障情況下動(dòng)態(tài)提 高數(shù)據(jù)的容錯(cuò)性。其他所涉及的關(guān)鍵領(lǐng)域包括 RAID DP 的費(fèi)用是（它是免費(fèi)的）、 特殊硬件要求（無(wú)）,以及如何將現(xiàn)存的RAID4卷升級(jí)到RAID DP （非常容易）。 這里將借助對(duì)雙磁盤故障的恢復(fù)情形來(lái)說(shuō)明 RAID DP 如何做到允許卷既能不間 斷地提供數(shù)據(jù)，又能同時(shí)對(duì)兩塊故障磁盤上損失的數(shù)據(jù)進(jìn)行重建。在最基本的層面上， RAID DP 為卷中的每個(gè) RAID 組增加了第二個(gè)奇偶校 驗(yàn)磁盤。 RAID 組是建立卷

7、的基本結(jié)構(gòu)。每一個(gè)傳統(tǒng)的 NetApp RAID4 組都有 一些數(shù)據(jù)磁盤和一個(gè)奇偶校驗(yàn)磁盤， 而一個(gè)卷通常會(huì)包括一個(gè)或多個(gè) RAID4 組。 而 RAID4 卷上的奇偶校驗(yàn)磁盤則通過(guò) RAID4 組上的磁盤對(duì)行奇偶校驗(yàn)進(jìn)行存 儲(chǔ)，額外的 RAID DP 奇偶校驗(yàn)磁盤則通過(guò) RAID DP 組上的磁盤存儲(chǔ)對(duì)角線上 的奇偶校驗(yàn)。 通過(guò) RAID DP 上的這兩個(gè)奇偶校驗(yàn)條， （一個(gè)傳統(tǒng)的水平奇偶校 驗(yàn)和一個(gè)對(duì)角線奇偶校驗(yàn)，即使同一 RAID 組上的兩個(gè)磁盤發(fā)生故障時(shí)也能得 到數(shù)據(jù)保護(hù)。在 RAID DP 中，仍然使用了傳統(tǒng)的 RAID4 水平奇偶校驗(yàn)結(jié)構(gòu)，并且這種 結(jié)構(gòu)已成為 RAID DP 結(jié)構(gòu)

8、的子集 換句話說(shuō)， RAID DP 并沒(méi)有改變 RAID4 在 NetApp 存儲(chǔ)上的工作方式。數(shù)據(jù)通過(guò)每一行的奇偶校驗(yàn)計(jì)算被寫入水平行，并 被視作雙奇偶校驗(yàn)中的行，這個(gè)同樣的過(guò)程仍會(huì)保留到 RAID DP 中。實(shí)際上， 如果是單一磁盤故障，或是從壞數(shù)據(jù)塊中的讀取錯(cuò)誤， 或者出現(xiàn)誤碼，那么 RAID4 的行奇偶校驗(yàn)方法就是進(jìn)行數(shù)據(jù)恢復(fù)的唯一手段，無(wú)需采用RAID DP。在這種情況下， RAID DP 的對(duì)角線奇偶校驗(yàn)組件僅僅是行奇偶校驗(yàn)組件周圍的保護(hù)層。RAID DP 卷的性能可以與 RAID4 相媲美。每種類型的 RAID 的讀操作幾乎 一樣。 RAID DP 的寫操作性能要比 RAID4

9、慢 2%到 3%。造成性能微小差距的 原因是 RAID DP 卷上的第二個(gè)對(duì)角線奇偶校驗(yàn)磁盤會(huì)出現(xiàn)額外的寫操作。 相對(duì) 于RAID4，運(yùn)行RAID DP時(shí)CPU的利用率并無(wú)明顯差別。1.3 Snapshot 技術(shù)介紹SnapShot 是 WAFL 文件系統(tǒng) “任意位置寫入 ”功能帶來(lái)的一項(xiàng)突出優(yōu)勢(shì)。 一 份 SnapShot 是文件系統(tǒng)的在線只讀拷貝。 創(chuàng)建文件系統(tǒng)的一份 SnapShot 僅僅 需要幾秒種的時(shí)間， 并且除非原始文件被刪除或者更改， 數(shù)據(jù)快照并不占用額外 的磁盤空間。這種只有當(dāng)數(shù)據(jù)塊發(fā)生改動(dòng)時(shí)才進(jìn)行數(shù)據(jù)塊復(fù)制的技術(shù)被稱作 “cop-yon- write ，”只有修改活動(dòng)文件系統(tǒng)

10、中的數(shù)據(jù)塊并寫入磁盤中新的位置時(shí)， SnapShot 才會(huì)占用額外的磁盤空間。用戶可以采用 SnapShot 作為數(shù)據(jù)的在線備份，以備將來(lái)進(jìn)行數(shù)據(jù)恢復(fù)時(shí) 使用。用戶也可以方便的把 SnapShot 快照備份到磁帶上。無(wú)需將 Filer 系統(tǒng)下 線，用戶管理員就可以將最近的 SnapShot 快照備份到離線存儲(chǔ)系統(tǒng)中。應(yīng)仙4AftwSnapshotSnEiptbo*AftfrrBlock Updated圖（a ）是簡(jiǎn)化了的文件系統(tǒng)結(jié)構(gòu)，在頂部以樹(shù)狀結(jié)構(gòu)指向其下的數(shù)據(jù)塊圖（b ）顯示了 SnapShot快照復(fù)制了根結(jié)構(gòu)以及數(shù)據(jù)塊指向關(guān)系。圖（c）數(shù)據(jù)塊C發(fā)生了更新，這樣文件系統(tǒng)指向新的數(shù)據(jù)塊 C&

11、#39;,而在此之前創(chuàng)建的SnapShot 仍然指向原來(lái)的數(shù)據(jù)塊C o該圖展示了 SnapShot是如何工作的。WAFL文件系統(tǒng)本身就可以理解成 數(shù)據(jù)塊樹(shù)狀結(jié)構(gòu)，其根部的數(shù)據(jù)結(jié)構(gòu)描述了 inode文件信息。這份inode文件信 息則包含了對(duì)文件系統(tǒng)中所有in ode的描述，它包含諸如空閑塊圖和空閑inode 圖等元數(shù)據(jù)信息。圖a也可以視為整個(gè)文件系統(tǒng)的概貌圖，其上部展現(xiàn)的就是根 數(shù)據(jù)結(jié)構(gòu)。WAFL通過(guò)復(fù)制根數(shù)據(jù)結(jié)構(gòu)創(chuàng)建新的數(shù)據(jù)拷貝 SnapShot。因?yàn)楦鶖?shù) 據(jù)結(jié)構(gòu)只有128B，并且不需要在硬盤上復(fù)制其它數(shù)據(jù)塊，一個(gè)新的SnapShot幾乎不耗費(fèi)額外的磁盤存儲(chǔ)空間，除非用戶修改或者刪除文件系統(tǒng)

12、中的數(shù)據(jù)。Filer可以對(duì)一個(gè)卷組創(chuàng)建最多 255個(gè)Snap Shot快照。Snap Shot快照可 以通過(guò)手動(dòng)或者人為預(yù)先定制策略的方式來(lái)自動(dòng)創(chuàng)建。每一個(gè)SnapSHot快照可以保存的時(shí)間取決于文件系統(tǒng)變動(dòng)的頻度。 在眾多應(yīng)用環(huán)境中，文件系統(tǒng)中的大 部分?jǐn)?shù)據(jù)并不是每天都在變化，比如一個(gè)使用10MB大小Home Directory的用戶，其數(shù)據(jù)通常每天只變動(dòng)100到500KB。當(dāng)文件變動(dòng)緩慢的時(shí)候，SnapShot 可以在線保存數(shù)天甚至數(shù)周，直到它們消耗的磁盤空間過(guò)多以至用戶無(wú)法接受。 而另外一些文件系統(tǒng)中的數(shù)據(jù)則在經(jīng)常不停的變動(dòng)，比如CAD應(yīng)用環(huán)境下，需要經(jīng)常覆蓋寫入許多大尺寸的文件，甚至可

13、能一兩天內(nèi)就會(huì)更新整個(gè)文件系統(tǒng)的 存儲(chǔ)內(nèi)容。在此類環(huán)境下，可能只有保存數(shù)小時(shí)SnapShot的空間。1.4 FlexVol 技術(shù)介紹1.4.1 Flexible Volumes 的概念Flexible Volumes 是一個(gè)劃時(shí)代的新技術(shù)，所有的卷被視為邏輯的數(shù)據(jù)容 器，同時(shí)可以在不破壞底層物理存儲(chǔ)結(jié)構(gòu)的前提下被獨(dú)立的設(shè)置、 調(diào)整大小， 管 理和移動(dòng)。NetApp FlexVol 技術(shù)提供了真正的存儲(chǔ)虛擬化解決方案，能夠縮減開(kāi)銷和 資本費(fèi)用， 減少業(yè)務(wù)中斷并降低風(fēng)險(xiǎn)， 同時(shí)還具有很高的靈活性， 可以快速方便 地適應(yīng)企業(yè)不斷變化的需求。 FlexVol 技術(shù)可以自動(dòng)集中存儲(chǔ)資源，便于您在一 個(gè)大

14、型磁盤池中創(chuàng)建多個(gè)靈活的卷。 有了這一靈活性， 您就可以簡(jiǎn)化操作， 最大 限度地提高利用率和效率，并可以快速、無(wú)縫地進(jìn)行修改。利用 NetApp 存儲(chǔ) 解決方案， 您可以隨時(shí)隨地根據(jù)需要以最低成本增加存儲(chǔ)容量， 并且無(wú)需中斷業(yè) 務(wù)運(yùn)作。如下圖所示，一個(gè) Aggregate 被定義為給卷( Volumes )分配空間的許多 磁盤的池( pool )。從管理者的角度來(lái)看，卷仍保持著對(duì)主要項(xiàng)的數(shù)據(jù)管理。但 由于是對(duì)管理者透明， Flexible Volumes 現(xiàn)在面向的是邏輯項(xiàng)而不是傳統(tǒng)的物理 存儲(chǔ)了。Flexible Volumes 因此不再受限于它們存在的磁盤的限制了。 你可以在一個(gè) 存儲(chǔ)的

15、“池”中定義一個(gè)你需要多大的空間的 FlexVol ，而不是由你創(chuàng)建卷所在的 磁盤個(gè)數(shù)硬性規(guī)定。一個(gè) FlexVol 也可以不需要停機(jī)任意收縮或者擴(kuò)展。同時(shí) Flexible Volumes 可以在 Aggregate 所擁有的所有物理磁盤上實(shí)現(xiàn)條帶化。 對(duì)于 那些對(duì)性能敏感的應(yīng)用來(lái)說(shuō)， Flexible Volumes 比那些由磁盤個(gè)數(shù)限定大小的卷 擁有更好的性能。卷：不是固定在物理的存儲(chǔ)空間上磁盤磁盤物理存儲(chǔ)池1.4.2 FlexVol 的特點(diǎn)性能的提高在Data ONTAP 7G中，RAID組仍由磁盤組成，其中包含一個(gè)校驗(yàn)盤（如 果是RAID-DP?則需要兩塊校驗(yàn)盤）和一定數(shù)量的數(shù)據(jù)盤。

16、以前Data ONTAP將一個(gè)或多個(gè)RAID組組成一個(gè)卷（Volume ）。這種方式現(xiàn)在還可以在 7G中實(shí) 現(xiàn)（在7G中稱之為傳統(tǒng)的“traditional卷）但是從7G以后RAID組將通常組成 一個(gè) aggregates。假設(shè)在數(shù)據(jù)庫(kù)系統(tǒng)中有一個(gè)存放數(shù)據(jù)文件的卷是一個(gè)最繁忙卷，在DataONTAP 7G之前，該卷只能存在于給定的RAID組上。通常，根據(jù)卷的容量需求， RAID組將由少量磁盤組成。結(jié)果就是由于 RAID是由很少的硬盤組成，此卷的 性能將會(huì)受到磁盤數(shù)量的限制。常規(guī)的存儲(chǔ)卷*有限的卷性能八熱點(diǎn)“卷被隔離*共亭多個(gè)磁盤的性能典型情況下得到雙倍的改善（1D個(gè)磁盤的卷蝶共享4DF磁盤的卷

17、）0NetApp在Data ONTAP 7G中，RAID組被整合起來(lái)創(chuàng)建出一個(gè) aggregates。由于 卷仍然是存儲(chǔ)管理的基本單位，它將跨越存在于一個(gè)NetApp filer中組成aggregates的所有磁盤，同時(shí)在這個(gè)大的aggregates上也可以上可以存在多個(gè) 卷。這將使該卷充分利用所有磁盤的并行性能，滿足在系統(tǒng)中某些比較繁忙的 卷對(duì)于性能的需求。FlexVol是靈活的，因?yàn)榈讓拥拇鎯?chǔ)的物理結(jié)構(gòu)不需被預(yù)分 區(qū)。靈活的容量規(guī)劃對(duì)于一個(gè)FlexVol的大小本質(zhì)上是沒(méi)有約束的，同時(shí) flexible volumes可以 動(dòng)態(tài)的調(diào)整大小。管理員可以將 flexible volumes作為一

18、個(gè)強(qiáng)大的工具為不同的 用戶、組和項(xiàng)目分配和提供存儲(chǔ)資源。舉例來(lái)說(shuō)，假設(shè)一個(gè)數(shù)據(jù)庫(kù)比原先預(yù)計(jì)增長(zhǎng)快很多時(shí)，管理員可以在系統(tǒng)運(yùn)行時(shí)隨時(shí)重新配置相關(guān)的flexible volumes 。重新分配存儲(chǔ)資源的過(guò)程不需要任何宕機(jī)過(guò)程，而且它是對(duì)用戶透明的VoJ1 V»I2 VqJ3 VqI4C，預(yù)分配Free. ) O-剩余空間分散沒(méi)有預(yù)分配剩余空間共享精簡(jiǎn)的自動(dòng)配置可以動(dòng)態(tài)擴(kuò)大和縮小NetApp當(dāng)需要額外的物理空間時(shí)，管理員可以通過(guò)添加指定磁盤給aggregate以提高其容量，新的磁盤將成為aggregate的一部分，同時(shí)其容量和I/O帶寬將對(duì) 存在于該aggregate中的所有的flexib

19、le volumes 生效。所有存在于同一個(gè) aggregate上的flexible volumes的總?cè)萘恳部梢猿^(guò) aggregate的實(shí)際物理總?cè)萘?。增加某一個(gè) FlexVol容量時(shí)也不需要改變存在相 同aggregate其它的FlexVol的容量或者aggregate本身的容量。1.4.3 FlexVol的技術(shù)優(yōu)勢(shì)靈活的尺寸：NetApp的靈活卷的最小顆粒度是4KB，可以精確的適合 各種大小的存儲(chǔ)應(yīng)用的需求。其它的系統(tǒng)需要卷或者文件系統(tǒng)的大小要 基于底層物理或者邏輯磁盤的整數(shù)倍而定，顯然會(huì)浪費(fèi)數(shù)百兆甚至數(shù)吉 以至更多的物理容量。靈活地改變尺寸（擴(kuò)展和收縮）：NetApp FlexVol

20、技術(shù)允許WAFL文件 系統(tǒng)在線且安全的進(jìn)行擴(kuò)展和收縮，以使文件系統(tǒng)精確的適合用戶的數(shù) 據(jù)需求。其它的存儲(chǔ)提供商基本能夠提供不停機(jī)的容量擴(kuò)展機(jī)制，但他們卻不提供類似NetApp FlexVol的無(wú)縫和簡(jiǎn)單的容量擴(kuò)展，并且不能 提供在線且安全的文件系統(tǒng)收縮的功能?？臻e空間池：由于 NetApp FlexVol 可以像擴(kuò)展一樣簡(jiǎn)單的實(shí)現(xiàn)容量的 收縮，已分配給 FlexVol 的未使用空間可以非常簡(jiǎn)單且安全的從 FlexVol 移出并重新分配給其它即將被填滿需要更多空間的 FlexVol 。通過(guò) NetApp FlexVol 技術(shù)，未使用或者未分配的空間在 aggregate 容器層 被視為一個(gè)池( poo