云環(huán)境下的存儲(chǔ)服務(wù)類(lèi)型和存儲(chǔ)技術(shù)

一、存儲(chǔ)服務(wù)的類(lèi)型存儲(chǔ)服務(wù)的類(lèi)型根據(jù)數(shù)據(jù)類(lèi)型的不同，一般分為塊存儲(chǔ)、文件存儲(chǔ)和對(duì)象存儲(chǔ)三類(lèi)。塊存儲(chǔ)基于傳統(tǒng)的磁盤(pán)陣列實(shí)現(xiàn)，將存儲(chǔ)區(qū)域劃分成固定大小的塊，以卷的方式掛載到主機(jī)操作系統(tǒng)后，操作系統(tǒng)可將其格式化成文件系統(tǒng)，或以裸數(shù)據(jù)的方式作為數(shù)據(jù)庫(kù)的存儲(chǔ)。塊存儲(chǔ)方式不存在數(shù)據(jù)打包和解包過(guò)程，因此應(yīng)用系統(tǒng)跟存儲(chǔ)系統(tǒng)耦合程度緊密，數(shù)據(jù)訪(fǎng)問(wèn)延遲低、性能高。文件存儲(chǔ)指的是存儲(chǔ)介質(zhì)上存儲(chǔ)的是目錄-子目錄-文件這種形式的數(shù)據(jù)結(jié)構(gòu)。這種數(shù)據(jù)結(jié)構(gòu)是我們自然人所能容易識(shí)別的數(shù)據(jù)，絕大部分由作為自然人的程序員所編寫(xiě)的各種軟件程序也使用這種方式來(lái)訪(fǎng)問(wèn)文件。因此文件存儲(chǔ)的特點(diǎn)是一方面可讀性高，另一方面訪(fǎng)問(wèn)數(shù)據(jù)需要先遍歷多層文件目錄。對(duì)象存儲(chǔ)采用基于鍵值訪(fǎng)問(wèn)機(jī)制的扁平化存儲(chǔ)架構(gòu)設(shè)計(jì)，它沒(méi)有多層樹(shù)級(jí)文件目錄。在對(duì)象存儲(chǔ)系統(tǒng)中，對(duì)象是數(shù)據(jù)存儲(chǔ)的基本單元，所有對(duì)象都有一個(gè)對(duì)象標(biāo)識(shí)，通過(guò)對(duì)象標(biāo)識(shí)OSD命令訪(fǎng)問(wèn)該對(duì)象，使用簡(jiǎn)單，小IO性能好。二、云環(huán)境下的存儲(chǔ)技術(shù)隨著電子商務(wù)、云原生、微服務(wù)、分布式應(yīng)用、DevOps等現(xiàn)代應(yīng)用架構(gòu)的流行，用戶(hù)開(kāi)始將越來(lái)越多的傳統(tǒng)應(yīng)用進(jìn)行改造和重構(gòu)，遷移到云環(huán)境。那么在云環(huán)境下有哪些存儲(chǔ)技術(shù)可供選擇使用呢？下面針對(duì)云環(huán)境提供的塊存儲(chǔ)、文件存儲(chǔ)和對(duì)象存儲(chǔ)三類(lèi)存儲(chǔ)服務(wù)，簡(jiǎn)單講講對(duì)應(yīng)的存儲(chǔ)技術(shù)。1.塊存儲(chǔ)云環(huán)境的塊存儲(chǔ)技術(shù)主要包括使用集中式塊存儲(chǔ)和分布式塊存儲(chǔ)兩種技術(shù)路線(xiàn)。1）集中式塊存儲(chǔ)作為目前最流行的IaaS框架，OpenStack架構(gòu)中有一個(gè)獨(dú)立的組件叫Cinder。Cinder是OpenStack中提供存儲(chǔ)服務(wù)的API框架，用來(lái)為后端不同的存儲(chǔ)結(jié)構(gòu)提供統(tǒng)一的接口。不同的塊設(shè)備服務(wù)廠(chǎng)商在Cinder中實(shí)現(xiàn)其驅(qū)動(dòng)支持。后端的存儲(chǔ)可以是DAS、NAS、SAN、對(duì)象存儲(chǔ)或者分布式文件系統(tǒng)。由于在云計(jì)算領(lǐng)域OpenStack受歡迎度非常高，因此眾多存儲(chǔ)廠(chǎng)商如NetAPP、IBM、DellEMC、華為和眾多開(kāi)源塊存儲(chǔ)系統(tǒng)均提供了對(duì)Cinder的支持，這也為在云平臺(tái)基礎(chǔ)架構(gòu)層使用集中式SAN存儲(chǔ)提供了技術(shù)基礎(chǔ)。當(dāng)用戶(hù)規(guī)劃在云平臺(tái)下使用集中式塊存儲(chǔ)時(shí)，需要首先考慮兩個(gè)方面。第一，自己使用的云平臺(tái)是不是基于OpenStack開(kāi)發(fā)的，如果不是，那可能沒(méi)有SAN的接口。國(guó)內(nèi)的主流云平臺(tái)產(chǎn)品大都是基于OpenStack開(kāi)發(fā)的，但也存在少量的自研云平臺(tái)。第二，基于OpenStack的云平臺(tái)通過(guò)使用Cinder來(lái)對(duì)接FC-SAN集中式存儲(chǔ)，Cinder只提供框架，需要通過(guò)調(diào)用FC-SAN設(shè)備廠(chǎng)商提供的Driver來(lái)使用和管理。這方面需要云平臺(tái)廠(chǎng)商配合。目前國(guó)內(nèi)大部分基于OpenStack開(kāi)發(fā)的云平臺(tái)產(chǎn)品中已經(jīng)集成主流存儲(chǔ)廠(chǎng)家的FC驅(qū)動(dòng)，可以讓Cinder與存儲(chǔ)底層對(duì)接，得到更高和更穩(wěn)定的性能表現(xiàn)。2）分布式塊存儲(chǔ)分布式塊存儲(chǔ)是分布式存儲(chǔ)架構(gòu)下的一個(gè)存儲(chǔ)接口。目前主流分布式存儲(chǔ)技術(shù)主要分HCI超融合基礎(chǔ)架構(gòu)和SDS軟件定義分布式存儲(chǔ)。主流SDS分布式存儲(chǔ)又分為Ceph系和非Ceph系。在大規(guī)模云環(huán)境下，SDS軟件定義分布式存儲(chǔ)適配度更高。2.文件存儲(chǔ)文件存儲(chǔ)技術(shù)按照底層硬件架構(gòu)可以分為集中式NAS存儲(chǔ)和分布式文件系統(tǒng)。集中式NAS存儲(chǔ)生態(tài)完善，在各大企業(yè)數(shù)據(jù)中心文件共享服務(wù)中占據(jù)很大比例。集中式NAS存儲(chǔ)設(shè)備由機(jī)頭和擴(kuò)展柜組成，集成度高，運(yùn)維相對(duì)簡(jiǎn)單。分布式文件系統(tǒng)與集中式NAS相比，區(qū)別在于提供了并行化和橫向擴(kuò)展的能力。分布式文件系統(tǒng)按照架構(gòu)有無(wú)中心分為兩類(lèi)，一種是有中心架構(gòu)的分布式文件系統(tǒng)架構(gòu)，包括GFS、HDFS等。另外一種是完全無(wú)中心的分布式存儲(chǔ)架構(gòu)，包括CephFS、GlusterFS等。其中CephFS和GlusterFS支持POSFIX接口。GFS和HDFS的默認(rèn)最小存儲(chǔ)單元為64M、128M甚至更高，是適合大文件尤其是GB級(jí)別的大文件存儲(chǔ)場(chǎng)景的分布式存儲(chǔ)系統(tǒng)。GlusterFS是采用無(wú)中心對(duì)稱(chēng)式架構(gòu)，沒(méi)有專(zhuān)用的元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)存在于文件的屬性和擴(kuò)展屬性中。數(shù)據(jù)分片分布，也更適合大文件存儲(chǔ)。CephFS是分布式存儲(chǔ)系統(tǒng)Ceph面向文件存儲(chǔ)的接口，CephFS構(gòu)建在RADOS（Ceph的核心技術(shù)-分布式對(duì)象存儲(chǔ)）之上,繼承RADOS的容錯(cuò)性和擴(kuò)展性，支持冗余副本和數(shù)據(jù)高可靠性。3.對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)采用基于鍵值訪(fǎng)問(wèn)機(jī)制的扁平化存儲(chǔ)架構(gòu)設(shè)計(jì)，它沒(méi)有多層樹(shù)級(jí)文件目錄，天生具有分布式的架構(gòu)優(yōu)點(diǎn)，擴(kuò)展方便。對(duì)象存儲(chǔ)使用簡(jiǎn)單，客戶(hù)端調(diào)用API就能進(jìn)行數(shù)據(jù)存儲(chǔ)和讀取，其接口就是簡(jiǎn)單的GET、PUT、DEL等。對(duì)象存儲(chǔ)提供了基于對(duì)象的訪(fǎng)問(wèn)接口，有效地合并了NAS和SAN的存儲(chǔ)結(jié)構(gòu)優(yōu)勢(shì)。三、云環(huán)境下的各類(lèi)存儲(chǔ)技術(shù)的適用場(chǎng)景1.塊存儲(chǔ)分布式塊存儲(chǔ)的優(yōu)勢(shì)在于擴(kuò)展性，所以適用于云環(huán)境下大規(guī)模的虛擬機(jī)、容器場(chǎng)景。另外，MySQL、MongoDB等輕量級(jí)數(shù)據(jù)庫(kù)場(chǎng)景也可以選擇使用分布式塊存儲(chǔ)。對(duì)于IO密集型數(shù)據(jù)庫(kù)應(yīng)用來(lái)講，當(dāng)前最好的存儲(chǔ)模式仍是采用高性能低延遲的集中式高端存儲(chǔ)陣列。另外，針對(duì)云規(guī)模相對(duì)不大，但業(yè)務(wù)重要性較高的業(yè)務(wù)場(chǎng)景，可以選擇使用基于OpenStack的云平臺(tái)通過(guò)Cinder接口來(lái)對(duì)接集中式存儲(chǔ)，為該類(lèi)重要應(yīng)用獲得更高和更穩(wěn)定的存儲(chǔ)性能。2.文件存儲(chǔ)集中式NAS支持POSFIX接口，與現(xiàn)有應(yīng)用集成簡(jiǎn)單，適合小規(guī)模應(yīng)用環(huán)境的快速部署。GFS適合存儲(chǔ)大文件，尤其是GB級(jí)別的大文件存儲(chǔ)的場(chǎng)景。HDFS適合單次寫(xiě)多次讀的大文件流式讀取的場(chǎng)景。GlusterFS基于無(wú)中心化架構(gòu)，沒(méi)有元數(shù)據(jù)服務(wù)器，具有高擴(kuò)展性、高可用性、高性能，能夠處理千數(shù)量級(jí)的客戶(hù)端，可配置性較強(qiáng)。CephFS也支持POSFIX接口，它使用Ceph存儲(chǔ)集群來(lái)存儲(chǔ)數(shù)據(jù)，因此能夠解決NAS產(chǎn)品scale-out橫向擴(kuò)展不足的缺點(diǎn)，與使用Ceph存儲(chǔ)的云環(huán)境最適配。GlusterFS和CephFS可以作為在大規(guī)模云環(huán)境下代替NAS的通用分布式文件系統(tǒng)存儲(chǔ)技術(shù)，也是現(xiàn)在分布式NAS的發(fā)展方向。3.對(duì)象存儲(chǔ)對(duì)象存儲(chǔ)接近無(wú)限擴(kuò)展能力使其可以真正意義上實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的海量存儲(chǔ)。其扁平化的存入和讀取數(shù)據(jù)對(duì)象方式，使其使用方式簡(jiǎn)單，應(yīng)用經(jīng)過(guò)標(biāo)