集中式元數(shù)據(jù)模型和無元數(shù)據(jù)模型對比

1、集中式元數(shù)據(jù)模型和無元數(shù)據(jù)模型對比隨著非結(jié)構(gòu)化數(shù)據(jù)的爆炸，分布式文件系統(tǒng)進(jìn)入了發(fā)展的黃金時期，從高性能計 算到數(shù)據(jù)中心，從數(shù)據(jù)共享到互聯(lián)網(wǎng)應(yīng)用，已經(jīng)滲透到數(shù)據(jù)應(yīng)用的各方各面。對于大 多數(shù)分布式文件系統(tǒng)而言，通常將元數(shù)據(jù)與數(shù)據(jù)兩者獨立開來，即控制流與數(shù)據(jù)流進(jìn) 行分離，從而獲得更高的系統(tǒng)擴(kuò)展性和I/O并發(fā)性。因而，元數(shù)據(jù)管理模型顯得至關(guān) 重要，直接影響到系統(tǒng)的擴(kuò)展性、性能、可靠性和穩(wěn)定性等。存儲系統(tǒng)要具有很高的 Scale-Out特性，最大的挑戰(zhàn)之一就是記錄數(shù)據(jù)邏輯與物理位置的映像關(guān)系即數(shù)據(jù)元數(shù) 據(jù)，還包括諸如屬性和訪問權(quán)限等信息。元數(shù)據(jù)問題是個非常大的挑戰(zhàn)?？傮w來說， 分布式文件系統(tǒng)的元數(shù)據(jù)管理

2、方式大致可以分為三種模型，即集中式元數(shù)據(jù)服務(wù)模 型、分布式元數(shù)據(jù)服務(wù)模型和無元數(shù)據(jù)服務(wù)模型。本文將集中式元數(shù)據(jù)服務(wù)模型和無 元數(shù)據(jù)服務(wù)模型進(jìn)行詳細(xì)比較。集中式元數(shù)據(jù)服務(wù)模型分布式文件系統(tǒng)中，數(shù)據(jù)和I/O訪問負(fù)載被分散到多個物理獨立的存儲和計算節(jié) 點，從而實現(xiàn)系統(tǒng)的高擴(kuò)展性和高性能。通常一個文件會分成多個塊存儲在不同的節(jié) 點中。我們面臨的一個關(guān)鍵問題就是如何確保對數(shù)據(jù)進(jìn)行正確定位和訪問，元數(shù)據(jù)服 務(wù)正是用來解決這個問題的。元數(shù)據(jù)服務(wù)記錄數(shù)據(jù)邏輯名字與物理信息的映射關(guān)系， 包含文件訪問控制所需要的所有元數(shù)據(jù)，對文件進(jìn)行訪問時，先向元數(shù)據(jù)服務(wù)請求查 詢對應(yīng)的元數(shù)據(jù)，然后通過獲得的元數(shù)據(jù)進(jìn)行后續(xù)的文件

3、讀寫等I/O操作。目前大多數(shù)商用分布式文件系統(tǒng)都采用了集中式的元數(shù)據(jù)服務(wù)模型，如 cStor,Lustre, GFS,HDFS，華為OceanStor等。集中式元數(shù)據(jù)服務(wù)模型，通常提供一個 中央元數(shù)據(jù)服務(wù)器負(fù)責(zé)元數(shù)據(jù)的存儲和客戶端查詢請求，它提供統(tǒng)一的文件系統(tǒng)命名 空間，并處理名字解析和數(shù)據(jù)定位等訪問控制功能。傳統(tǒng)的NAS/SAN系統(tǒng)中，I/O數(shù)據(jù) 流需要經(jīng)過服務(wù)器，而分布式文件系統(tǒng)中，I/O數(shù)據(jù)流不需要經(jīng)過元數(shù)據(jù)服務(wù)器，由客 戶端與存儲節(jié)點直接交互。這個架構(gòu)上的變革，使得控制流與數(shù)據(jù)流分離開來，元數(shù) 據(jù)服務(wù)器和存儲服務(wù)器各司其職，系統(tǒng)擴(kuò)展性和性能上獲得了極大的提升。顯而易 見，集中式元數(shù)據(jù)服

4、務(wù)模型的最大優(yōu)點就是設(shè)計實現(xiàn)簡單，對外提供網(wǎng)絡(luò)訪問接口即 可，如 POSIX、NFS、CIFS、HTTP REST 或 SOAP 等。集中式元數(shù)據(jù)服務(wù)模型最關(guān)鍵的問題是元數(shù)據(jù)單點故障和海量小文件應(yīng)用中元數(shù) 據(jù)容量問題。目前，單點故障(SPOF，Single Point of Failure)問題主要是采用HA機(jī)制來解 決，根據(jù)可用性要求的高低，鏡像一個或多個元數(shù)據(jù)服務(wù)器(邏輯的或物理的均可)， 構(gòu)成一個元數(shù)據(jù)服務(wù)HA集群。集群中一臺作為主元數(shù)據(jù)服務(wù)器，接受和處理來自客戶 端的請求，并與其他服務(wù)器保持同步。當(dāng)主元數(shù)據(jù)服務(wù)器發(fā)生問題時，自動選擇一臺 可用服務(wù)器作為新的主服務(wù)器，這一過程對上層應(yīng)用是

5、透明的，不會產(chǎn)生業(yè)務(wù)中斷。 HA機(jī)制能夠解決SPOF問題，目前cStor采用主備元數(shù)據(jù)服務(wù)器雙機(jī)熱備解決了這一 問題，已經(jīng)不存在元數(shù)據(jù)單點故障問題。每個文件都對應(yīng)有一條元數(shù)據(jù)來記錄邏輯名字和物理信息的映射關(guān)系，集中式元 數(shù)據(jù)服務(wù)模型中，通常會將元數(shù)據(jù)保存在內(nèi)存中來提高元數(shù)據(jù)的訪問效率，然而服務(wù) 器的內(nèi)存數(shù)量有限，所以當(dāng)應(yīng)用場景為海量小文件時，元數(shù)據(jù)服務(wù)器內(nèi)存會成為一個 瓶頸。實際上這個問題沒有想象的那么嚴(yán)重，單條元數(shù)據(jù)記錄一般為幾百個字節(jié)，64G 內(nèi)存的元數(shù)據(jù)服務(wù)器可以支持1億個以上文件。目前業(yè)界已經(jīng)有服務(wù)器可以支持1TB 內(nèi)存，可以支持10億個以上文件。cStor通過固態(tài)硬盤用作虛擬內(nèi)存的方

6、式來解決 這一問題，目前單個集群可以支持100億以上文件。cStor系統(tǒng)還支持異地多系統(tǒng)的 虛擬化，最大容量可擴(kuò)展到100萬EB量級，幾乎是無限空間。無元數(shù)據(jù)服務(wù)模型目前，基于無元數(shù)據(jù)服務(wù)模型的分布式文件系統(tǒng)可謂鳳毛麟角，在開源社區(qū)比較 流行的GlusterFS是其中最為典型的代表，無元數(shù)據(jù)服務(wù)模型在商用系統(tǒng)中并無應(yīng) 用。對于分布式系統(tǒng)而言，元數(shù)據(jù)處理是決定系統(tǒng)擴(kuò)展性、性能以及穩(wěn)定性的關(guān)鍵。 GlusterFS另辟蹊徑，徹底摒棄了元數(shù)據(jù)服務(wù)，使用彈性哈希算法代替?zhèn)鹘y(tǒng)分布式文件 系統(tǒng)中的集中或分布式元數(shù)據(jù)服務(wù)。這根本性解決了元數(shù)據(jù)這一難題，從而獲得了接 近線性的高擴(kuò)展性，同時也提高了系統(tǒng)性能和可

7、靠性。GlusterFS使用算法進(jìn)行數(shù)據(jù)定 位，集群中的任何服務(wù)器和客戶端只需根據(jù)路徑和文件名就可以對數(shù)據(jù)進(jìn)行定位和讀 寫訪問。換句話說，GlusterFS不需要將元數(shù)據(jù)與數(shù)據(jù)進(jìn)行分離，因為文件定位可獨立 并行化進(jìn)行。GlusterFS獨特地采用無元數(shù)據(jù)服務(wù)的設(shè)計，取而代之使用算法來定位文 件，元數(shù)據(jù)和數(shù)據(jù)沒有分離而是一起存儲。集群中的所有存儲系統(tǒng)服務(wù)器都可以智能 地對文件數(shù)據(jù)分片進(jìn)行定位，僅僅根據(jù)文件名和路徑并運用算法即可，而不需要查詢 索引或者其他服務(wù)器。GlusterFS中數(shù)據(jù)訪問流程如下：1、計算hash值，輸入?yún)?shù)為文件路徑和文件名；2、根據(jù)hash值在集群中選擇子卷（存儲服務(wù)器），

8、進(jìn)行文件定位；3、對所選擇的子卷進(jìn)行數(shù)據(jù)訪問。無元數(shù)據(jù)服務(wù)器模型設(shè)計的好處是沒有單點故障，可提高系統(tǒng)擴(kuò)展性。對于海量 小文件應(yīng)用，這種設(shè)計能夠有效解決元數(shù)據(jù)的難點問題。它的負(fù)面影響是，數(shù)據(jù)一致 問題更加復(fù)雜，文件目錄遍歷操作效率低下，缺乏全局監(jiān)控管理功能。同時也導(dǎo)致客 戶端承擔(dān)了更多的職能，比如文件定位、名字空間緩存、邏輯卷視圖維護(hù)等等，這些 都增加了客戶端的負(fù)載，占用相當(dāng)?shù)腃PU和內(nèi)存。GlusterFS目前對存儲節(jié)點刪除支持有限，還無法做到完全無人干預(yù)的程度。如果 直接刪除節(jié)點，那么所在存儲服務(wù)器上的文件將無法瀏覽和訪問，創(chuàng)建文件目錄也會 失敗。當(dāng)前人工解決方法有兩個，一是將節(jié)點上的數(shù)據(jù)重

9、新復(fù)制到GlusterFS中，二 是使用新的節(jié)點來替換刪除節(jié)點并保持原有數(shù)據(jù)。GlusterFS目前的代碼實現(xiàn)不夠好，系統(tǒng)不夠穩(wěn)定，BUGS數(shù)量相對還比較多。從 其官方網(wǎng)站的部署情況來看，測試用戶非常多，但是真正在生產(chǎn)環(huán)境中的應(yīng)用較少， 存儲部署容量幾TB 一幾十TB的占很大比率，數(shù)百TB-PB級案例非常少。這也可以從 另一個方面說明，GlusterFS目前還不夠穩(wěn)定，需要更長的時間來檢驗。GlusterFS比較明顯的缺點如下:1）有副本的模式下，寫的性能會下降為單副本的N倍（N=副本因子），因為它是完全 的同步寫N份數(shù)據(jù)的。2）在壓力比較大的時候，ls會非常之慢，難以忍受。原因是它在客戶端沒有文件信息 的緩存，每次都要去遍歷brick，如果brick有幾百個，其速度之慢可以想象，所以其 宣稱的線性擴(kuò)展性要大打折扣了。當(dāng)然如果知道文件名，直接訪問另當(dāng)別論。華創(chuàng)ZeCloud為了解決這個問題，采用了索引服務(wù)器的概念。無元數(shù)據(jù)服務(wù)模型是為 了解決單點故障而設(shè)計的，