海量分布式存儲的概念與技術(shù)

海量分布式存儲的概念與技術(shù) 主講：XXX PPT：XXXPage

2目錄海量分布式存儲的概念01存儲模式選擇02網(wǎng)絡存儲技術(shù)直連式存儲技術(shù)對象存儲技術(shù)數(shù)據(jù)庫策略03Page

3一、概念如今的互聯(lián)網(wǎng)正處于一個信息爆炸的時代。面對信息爆炸的互聯(lián)網(wǎng)，對信息的存儲和處理也就產(chǎn)生了海量的數(shù)據(jù)。Page

4概念海量數(shù)據(jù)是指數(shù)據(jù)量極大，往往是Terabyte(10^12bytes)、Petabyte(10^15bytes)甚至Exabyte(10^18bytes)級的數(shù)據(jù)集合。存儲這些海量信息不但要求存儲設備有很大的儲存容量，且還需要大規(guī)模數(shù)據(jù)庫來存儲和處理這些數(shù)據(jù)，在滿足通用關(guān)系數(shù)據(jù)庫技術(shù)要求的同時，更需要對海量存儲的模式、數(shù)據(jù)庫策略及應用體系架構(gòu)有更高的設計考慮。Page

5二、存儲模式的選擇存儲系統(tǒng)的存儲模式影響著整個海量數(shù)據(jù)存儲系統(tǒng)的性能，為了提供高性能的海量數(shù)據(jù)存儲系統(tǒng)，應該考慮選擇良好的海量存儲模式對于海量數(shù)據(jù)而言，實現(xiàn)單一設備上的存儲顯然是不適宜的，甚至是不可能的。分布式是解決這種問題的一個很好的解決方案。存儲分類〔根據(jù)效勞器類型〕Page

62.1直連式存儲〔DAS〕其存儲設備通過電纜〔通常是SCSI接口電纜〕或者光纖直接連到效勞器，I/O請求直接發(fā)送到存儲設備，它依賴于效勞器，本身不帶有任何存儲操作系統(tǒng)。典型DAS結(jié)構(gòu)Page

72.1直連式存儲〔DAS〕主要問題和缺乏： 直連式存儲依賴效勞器主機操作系統(tǒng)進行數(shù)據(jù)的IO讀寫和存儲維護管理，數(shù)據(jù)備份和恢復要求占用效勞器主機資源〔包括CPU、系統(tǒng)IO等〕，數(shù)據(jù)備份通常占用效勞器主機資源20-30%，因此許多企業(yè)用戶的日常數(shù)據(jù)備份常常在深夜或業(yè)務系統(tǒng)不繁忙時進行，以免影響正常業(yè)務系統(tǒng)的運行。 直連式存儲的數(shù)據(jù)量越大，備份和恢復的時間就越長，對效勞器硬件的依賴性和影響就越大。 無論直連式存儲還是效勞器主機的擴展，從一臺效勞器擴展為多臺效勞器組成的群集，或存儲陣列容量的擴展，都會造成業(yè)務系統(tǒng)的停機，從而給企業(yè)帶來經(jīng)濟損失Page

82.1直連式存儲〔DAS〕由于DAC本身弊端與網(wǎng)絡技術(shù)的崛起，直連式存儲(DAS)已顯得非常力不從心，存儲模式從以效勞器為中心轉(zhuǎn)向以數(shù)據(jù)為中心的網(wǎng)絡存儲模式，網(wǎng)絡存儲也成為目前典型存儲技術(shù)Page

92.2網(wǎng)絡存儲方式存儲區(qū)域網(wǎng)絡(SAN)網(wǎng)絡附加存儲(NAS)單擊此處添加文字單擊此處添加文字單擊此處添加文字單擊此處添加文字網(wǎng)絡存儲方式Page

102.2.1網(wǎng)絡附加存儲(NAS)或稱網(wǎng)絡接入存儲，采用網(wǎng)絡技術(shù)，通過網(wǎng)絡交換機連接存儲系統(tǒng)和效勞器主機，建立專用于數(shù)據(jù)存儲的存儲私網(wǎng)。它擁有自己的文件系統(tǒng)，通過NFS或CIFS這兩種網(wǎng)絡文件系統(tǒng)對外提供文件訪問效勞。NAS將存儲設備通過標準的網(wǎng)絡拓撲結(jié)構(gòu)連接到現(xiàn)有的網(wǎng)絡上來提供數(shù)據(jù)和文件效勞。Page

112.2.1網(wǎng)絡附加存儲(NAS)優(yōu)缺點：NAS管理簡單、擴容方便，統(tǒng)一的文件系統(tǒng)使數(shù)據(jù)共享變得非常簡單，所以其最大的優(yōu)點是跨平臺性很好，但NAS效勞器在網(wǎng)絡存儲中處于數(shù)據(jù)通路上，當效勞請求激增時存在I/O瓶頸，性能是NAS的最大問題Page

12它是存儲設備與效勞器經(jīng)由高速網(wǎng)絡設備連接而形成的存儲專用網(wǎng)絡。SAN一般基于光纖通道FC(FibreChannel)或iSCSI(internetSCSI)構(gòu)建，它是塊級的存儲2.2.2存儲區(qū)域網(wǎng)絡(SAN)Page

132.2.2存儲區(qū)域網(wǎng)絡(SAN)優(yōu)缺點：SAN的優(yōu)點是高容量、高可靠性、低延遲缺點是SAN沒有一個統(tǒng)一的存儲系統(tǒng)接口，對存儲設備的共享訪問存在數(shù)據(jù)的完整性與平安性問題，設備的跨平臺性較差Page

142.3對象存儲技術(shù)對象存儲〔Object-BasedStorage,OBS)綜合了NAS和SAN的優(yōu)點，同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢，提供了具有高性能、高可靠性、跨平臺以及平安的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。Page

152.3對象存儲技術(shù)對象(Object) 包含了文件數(shù)據(jù)以及相關(guān)的屬性信息，可以進行自我管理OSD〔Object-basedStorageDevice) 一個智能設備，OSD為存儲對象數(shù)據(jù)的設備，它是一個智能設備，包括處理器、RAM內(nèi)存、網(wǎng)絡接口、存儲介質(zhì)等以及運行在其中的控制軟件MDS元數(shù)據(jù)效勞器(MetadataServer) 系統(tǒng)提供元數(shù)據(jù)、Cache一致性等效勞網(wǎng)絡連接文件系統(tǒng) 文件系統(tǒng)運行在客戶端上，將應用程序的文件系統(tǒng)請求傳輸?shù)組DS和OSD上

對象存儲系統(tǒng)組成Page

162.3對象存儲技術(shù)

傳統(tǒng)塊存儲與對象存儲對象存儲結(jié)構(gòu)Page

172.3對象存儲技術(shù)對象存儲模式用于海量數(shù)據(jù)存儲的優(yōu)勢：高性能數(shù)據(jù)存儲：訪問節(jié)點有獨立的數(shù)據(jù)通路和元數(shù)據(jù)訪問通路，可以對多個OSD進行并行訪問跨平臺數(shù)據(jù)共享：由于在對象存儲系統(tǒng)上部署基于對象的分布式文件系統(tǒng)比較容易，所有能夠?qū)崿F(xiàn)不同平臺下的設備和數(shù)據(jù)的共享。可伸縮性：對象存儲模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨立的智能設備，可以通過增加OSD數(shù)量，使存儲系統(tǒng)的聚合I/O帶寬、存儲容量和處理能力得到提高，這種平衡擴展模式使得存儲系統(tǒng)能夠具有良好的可伸縮性。Page

182.3對象存儲技術(shù)對象存儲模式用于海量數(shù)據(jù)存儲的優(yōu)勢：可伸縮性：對象存儲模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨立的智能設備，可以通過增加OSD數(shù)量，使存儲系統(tǒng)的聚合I/O帶寬、存儲容量和處理能力得到提高，這種平衡擴展模式使得存儲系統(tǒng)能夠具有良好的可伸縮性。智能的存儲設備：OSD中集成了局部的存儲管理功能方便平安的數(shù)據(jù)訪問：I/O通道的建立及數(shù)據(jù)的讀寫需要經(jīng)過授權(quán)許可才能進行，從而保證了數(shù)據(jù)訪問的平安性；另一方面，任何Client都可以通過對象存儲系統(tǒng)提供的標準文件接口訪問OSD上的數(shù)據(jù)，統(tǒng)一的命名空間使Client訪問數(shù)據(jù)的一致性得到了保證。Page

192.3對象存儲技術(shù)與傳統(tǒng)存儲方式比照Page

20三、數(shù)據(jù)庫策略數(shù)據(jù)庫管理系統(tǒng)(DBMS)是海量數(shù)據(jù)存儲檢索系統(tǒng)的核心部件，所有對數(shù)據(jù)的控制都要通過DBMS來實現(xiàn)基于海量數(shù)據(jù)環(huán)境，針對海量數(shù)據(jù)的有效存儲方法為了實現(xiàn)高性能的