分布式存儲(chǔ)在云環(huán)境下的應(yīng)用和部署解讀

分布式存儲(chǔ)在云環(huán)境下的應(yīng)用和部署解讀

【導(dǎo)讀】本文從分布式存儲(chǔ)架構(gòu)特點(diǎn)引入云環(huán)境下提供分布式存儲(chǔ)的使用場(chǎng)景，以及銀行業(yè)中適合承載的業(yè)務(wù)類(lèi)型。并對(duì)分布式存儲(chǔ)在云環(huán)境下的基本部署進(jìn)行描述。希望能夠加深大家對(duì)云環(huán)境中分布式存儲(chǔ)應(yīng)用管理的理解，以充分利用分布式存儲(chǔ)實(shí)現(xiàn)塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)的方式和特點(diǎn)，補(bǔ)充集中式企業(yè)存儲(chǔ)的短板，針對(duì)PB級(jí)別海量非結(jié)構(gòu)化數(shù)據(jù)等典型場(chǎng)景，體現(xiàn)存調(diào)優(yōu)勢(shì)。隨著互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模越來(lái)越大，并發(fā)請(qǐng)求越來(lái)越高，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)在性能、價(jià)格、可擴(kuò)展性方面已經(jīng)不能很好地滿(mǎn)足需求。谷歌、亞馬遜等互聯(lián)公司率先在后臺(tái)基礎(chǔ)設(shè)施中引入超大規(guī)模分布式存儲(chǔ)系統(tǒng)，用來(lái)解決海量數(shù)據(jù)的存儲(chǔ)問(wèn)題。與傳統(tǒng)的集中式存儲(chǔ)技術(shù)不同，分布式存儲(chǔ)沒(méi)有將數(shù)據(jù)存儲(chǔ)在某個(gè)特定節(jié)點(diǎn)上，而是通過(guò)網(wǎng)絡(luò)將各個(gè)節(jié)點(diǎn)分散的存儲(chǔ)資源匯聚成一個(gè)虛擬的存儲(chǔ)備，將數(shù)據(jù)分散在各處。相較于集中存儲(chǔ)，分布式存儲(chǔ)成本低，擴(kuò)展性好，弱化了關(guān)系數(shù)據(jù)模型，可以得到高并發(fā)和高性能。1分布式存儲(chǔ)概念及特點(diǎn)分布式存儲(chǔ)系統(tǒng)，是將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)，存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點(diǎn)，不能滿(mǎn)足大規(guī)模存儲(chǔ)應(yīng)用的需要。隨著各行業(yè)數(shù)字化轉(zhuǎn)型的加速，越來(lái)越多的數(shù)據(jù)被生產(chǎn)出來(lái)，分布式存儲(chǔ)成為我們應(yīng)對(duì)海量數(shù)據(jù)挑戰(zhàn)的重要助力。從20世紀(jì)80年代開(kāi)始，歷經(jīng)幾十年的演進(jìn)，分布式存儲(chǔ)已經(jīng)走過(guò)了四個(gè)階段：第一階段是1980年代的網(wǎng)絡(luò)文件系統(tǒng)，通過(guò)少量服務(wù)器實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的簡(jiǎn)單文件共享；第二階段是1990年代的共享SAN文件系統(tǒng)，已經(jīng)能夠外接SAN設(shè)備實(shí)現(xiàn)更大的文件系統(tǒng)；第三階段是2000年代的Share-Nothing存儲(chǔ)，開(kāi)始利用通用服務(wù)器構(gòu)建起高擴(kuò)展的存儲(chǔ)系統(tǒng)；第四階段是2010年代逐步產(chǎn)生的企業(yè)級(jí)云存儲(chǔ)，這類(lèi)存儲(chǔ)開(kāi)始具備豐富的企業(yè)特性，存儲(chǔ)性能、效率和數(shù)據(jù)保護(hù)能力有了顯著的增強(qiáng)，開(kāi)始在各行各業(yè)中廣泛應(yīng)用。此外，不同類(lèi)型的數(shù)據(jù)需要用不同的分布式存儲(chǔ)系統(tǒng)去處理。圖片、視頻等非結(jié)構(gòu)化數(shù)據(jù)，由于個(gè)體相互之間沒(méi)有關(guān)聯(lián)，體積大，采用二級(jí)制，通常使用分布式文件系統(tǒng)進(jìn)行存儲(chǔ)；自描述的數(shù)據(jù)結(jié)構(gòu)和內(nèi)容混在一起的半結(jié)構(gòu)化數(shù)據(jù)，比較簡(jiǎn)單的可以用分布式鍵值系統(tǒng)存儲(chǔ)，較為復(fù)雜的一般采用分布式表格系統(tǒng)來(lái)存儲(chǔ)區(qū)；結(jié)構(gòu)化數(shù)據(jù)由分布式數(shù)據(jù)庫(kù)存儲(chǔ)。2云計(jì)算的概念及特點(diǎn)云計(jì)算是網(wǎng)格計(jì)算、分布式計(jì)算(DistributedComputing)、并行計(jì)算(ParallelComputing)、效用計(jì)算(UtilityComputing)、網(wǎng)絡(luò)存儲(chǔ)、虛擬化(Virtualization)、負(fù)載均衡(LoadBalance)等傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。廣義云計(jì)算指服務(wù)的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需要、易擴(kuò)展的方式獲得服務(wù)。這種服務(wù)可以是IT軟件和互聯(lián)網(wǎng)相關(guān)服務(wù)，也可以是其他服務(wù)。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式，指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源?？傮w來(lái)說(shuō)云計(jì)算具有以下幾個(gè)特點(diǎn)：1)超大規(guī)模：“云”具有相當(dāng)?shù)囊?guī)模，企業(yè)私有云一般擁有數(shù)百上千臺(tái)服務(wù)器并且能夠橫向平滑擴(kuò)展，“云”賦予了用戶(hù)前所未有的計(jì)算能力；2)虛擬化：云計(jì)算支持用戶(hù)在任意位置、使用各種終端獲取應(yīng)用服務(wù)。所請(qǐng)求的資源來(lái)自“云”，而不是固定的有形的實(shí)體。應(yīng)用在“云”中某處運(yùn)行，但實(shí)際上用戶(hù)無(wú)需了解、也不用擔(dān)心應(yīng)用運(yùn)行的具體位置；3)高可靠性：“云”使用了數(shù)據(jù)多副本容錯(cuò)、計(jì)算節(jié)點(diǎn)同構(gòu)可互換等措施來(lái)保障服務(wù)的高可靠性；4)通用性：云計(jì)算不針對(duì)特定的應(yīng)用，在“云”的支撐下可以構(gòu)造出千變?nèi)f化的應(yīng)用，同一個(gè)“云”可以同時(shí)支撐不同的應(yīng)用運(yùn)行；5)高可擴(kuò)展性：“云”的規(guī)?？梢詣?dòng)態(tài)伸縮，滿(mǎn)足應(yīng)用和用戶(hù)規(guī)模增長(zhǎng)的需要；6)按需服務(wù)：“云”是一個(gè)龐大的資源池，你按需購(gòu)買(mǎi)；7)廉價(jià)性：由于“云”的自動(dòng)化集中式管理使大量企業(yè)無(wú)需負(fù)擔(dān)日益高昂的數(shù)據(jù)中心管理成本，“云”的通用性使資源的利用率較之傳統(tǒng)系統(tǒng)大幅提升，因此用戶(hù)可以充分享受“云”的低成本優(yōu)勢(shì)。3分布式存儲(chǔ)在云環(huán)境下的應(yīng)用場(chǎng)景3.1分布式存儲(chǔ)系統(tǒng)架構(gòu)云和AI時(shí)代，數(shù)據(jù)迎來(lái)海量增長(zhǎng)。高速5G通信、高清8K視頻、自動(dòng)駕駛和大數(shù)據(jù)分析等越來(lái)越多的新興應(yīng)用正逐步推高對(duì)數(shù)據(jù)存儲(chǔ)的需求。企業(yè)不斷擴(kuò)展業(yè)務(wù)邊界，整合云場(chǎng)景存儲(chǔ)資源，以更低TCO（TotalCostofOwnership)、更靈活的彈性部署應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)快速增長(zhǎng)。在這樣的背景下，分布式存儲(chǔ)架構(gòu)成為了首選。各存儲(chǔ)廠(chǎng)家紛紛推出自己的分布式存儲(chǔ)產(chǎn)品，通過(guò)存儲(chǔ)系統(tǒng)軟件將每個(gè)硬件節(jié)點(diǎn)的本地存儲(chǔ)資源組織起來(lái)，按需為上層應(yīng)用提供文件存儲(chǔ)、對(duì)象存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)和塊存儲(chǔ)服務(wù)。實(shí)現(xiàn)海量數(shù)據(jù)儲(chǔ)存更經(jīng)濟(jì)、多樣性數(shù)據(jù)使用更高效、在線(xiàn)業(yè)務(wù)承載更可靠。其系統(tǒng)架構(gòu)如圖1。目前大多分布式存儲(chǔ)產(chǎn)品都會(huì)提供基于三層的分布式存儲(chǔ)架構(gòu)，會(huì)融合分布式文件、對(duì)象、大數(shù)據(jù)和塊多個(gè)服務(wù)形態(tài)，支持文件、對(duì)象、大數(shù)據(jù)服務(wù)部署在一個(gè)集群，并統(tǒng)一管理，整體功能架構(gòu)由存儲(chǔ)接口層、存儲(chǔ)服務(wù)層、存儲(chǔ)引擎層和存儲(chǔ)管理組成，如圖2所示，此外還會(huì)提供一些殺毒、異構(gòu)開(kāi)源存儲(chǔ)管理的特色功能。分布式存儲(chǔ)系統(tǒng)具有海量數(shù)據(jù)儲(chǔ)存更經(jīng)濟(jì)、多樣性數(shù)據(jù)使用更高效、在線(xiàn)業(yè)務(wù)承載更可靠等優(yōu)勢(shì)，已被廣泛應(yīng)用于如下場(chǎng)景：1)HPC（HighPerformanceComputing)場(chǎng)景：在氣象、基因、石油等HPC高性能計(jì)算場(chǎng)景，應(yīng)用對(duì)分布式存儲(chǔ)的性能要求高。文件服務(wù)提供的DPC可減少跨網(wǎng)絡(luò)傳輸延遲，并提供標(biāo)準(zhǔn)接口給應(yīng)用，在不修改應(yīng)用的情況下提供比標(biāo)準(zhǔn)協(xié)議更高的性能。2)內(nèi)容存儲(chǔ)、備份歸檔場(chǎng)景：高性能、高可靠的企業(yè)級(jí)對(duì)象存儲(chǔ)資源池可滿(mǎn)足互聯(lián)網(wǎng)數(shù)據(jù)、在線(xiàn)音頻/視頻、企業(yè)網(wǎng)盤(pán)等實(shí)時(shí)在線(xiàn)業(yè)務(wù)吞吐量大、熱點(diǎn)數(shù)據(jù)頻繁訪(fǎng)問(wèn)的業(yè)務(wù)需求，以及長(zhǎng)期保存、在線(xiàn)訪(fǎng)問(wèn)需求。例如應(yīng)用于金融電子票據(jù)影像、雙錄（錄音/錄像)，醫(yī)療影像、政企電子文檔和車(chē)聯(lián)網(wǎng)場(chǎng)景存儲(chǔ)、備份或歸檔。3)大數(shù)據(jù)分析場(chǎng)景：大數(shù)據(jù)計(jì)算存儲(chǔ)分離解決方案可整合傳統(tǒng)數(shù)據(jù)孤島，構(gòu)建統(tǒng)一的企業(yè)大數(shù)據(jù)資源池，結(jié)合大比例EC、存儲(chǔ)和計(jì)算分離按需部署和擴(kuò)容等企業(yè)級(jí)能力，實(shí)現(xiàn)大數(shù)據(jù)業(yè)務(wù)效率提升及TCO降低。例如應(yīng)用于金融大數(shù)據(jù)分析、運(yùn)營(yíng)商日志留存大數(shù)據(jù)和政務(wù)大數(shù)據(jù)等。4)云/虛擬化場(chǎng)景：為云和虛擬化提供按需獲取、彈性擴(kuò)展的海量存儲(chǔ)資源池，基于通用服務(wù)器大幅提升存儲(chǔ)資源的部署、擴(kuò)展和運(yùn)維效率。例如應(yīng)用于金融互聯(lián)網(wǎng)渠道接入云、開(kāi)發(fā)測(cè)試云，運(yùn)營(yíng)商BOM域業(yè)務(wù)云化、B2B云資源池、政務(wù)云等。5)關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)場(chǎng)景：通過(guò)分布式Active-Active雙活、穩(wěn)定低時(shí)延等企業(yè)級(jí)能力，保障OLAP或OLTP類(lèi)關(guān)鍵業(yè)務(wù)數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)高效穩(wěn)定運(yùn)行。3.2云環(huán)境下分布式存儲(chǔ)的應(yīng)用場(chǎng)景用戶(hù)訪(fǎng)問(wèn)層是基于云存儲(chǔ)開(kāi)發(fā)的應(yīng)用程序的入口，授權(quán)用戶(hù)可以通過(guò)標(biāo)準(zhǔn)的公共應(yīng)用接口登錄云存儲(chǔ)系統(tǒng)，享受云存儲(chǔ)服務(wù)。云存儲(chǔ)產(chǎn)品服務(wù)商不同，云存儲(chǔ)提供的訪(fǎng)問(wèn)類(lèi)型和訪(fǎng)問(wèn)手段也不同。數(shù)據(jù)服務(wù)層是利用云存儲(chǔ)資源進(jìn)行應(yīng)用開(kāi)發(fā)的關(guān)鍵部分，云存儲(chǔ)平臺(tái)通過(guò)數(shù)據(jù)服務(wù)層為用戶(hù)提供統(tǒng)一的協(xié)議和編程接口，進(jìn)行應(yīng)用程序的開(kāi)發(fā)。應(yīng)用接口層是云存儲(chǔ)最靈活多變的部分。不同的云存儲(chǔ)運(yùn)營(yíng)機(jī)構(gòu)可以根據(jù)實(shí)際業(yè)務(wù)類(lèi)型開(kāi)發(fā)不同的應(yīng)用服務(wù)接口，提供不同的應(yīng)用服務(wù)。數(shù)據(jù)管理層是云存儲(chǔ)最為核心的部分，也是最復(fù)雜的部分。數(shù)據(jù)管理層采用集群技術(shù)、分布式存儲(chǔ)技術(shù)，實(shí)現(xiàn)多存儲(chǔ)設(shè)備之間的協(xié)同工作，對(duì)外提供高可用性、可擴(kuò)展性的服務(wù)，同時(shí)還負(fù)責(zé)數(shù)據(jù)加密、備份、容災(zāi)以及必要的計(jì)費(fèi)等任務(wù)。數(shù)據(jù)存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分，由不同類(lèi)型的存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備組成。數(shù)據(jù)存儲(chǔ)層實(shí)現(xiàn)海量數(shù)據(jù)的統(tǒng)一管理、存儲(chǔ)設(shè)備管理、狀態(tài)監(jiān)控等。存儲(chǔ)層位于云存儲(chǔ)的最下層，它是云存儲(chǔ)中最基礎(chǔ)的部分。存儲(chǔ)設(shè)備的選擇多種多樣各種存儲(chǔ)設(shè)備都可以用來(lái)構(gòu)建這一層。云存儲(chǔ)中的存儲(chǔ)設(shè)備通常數(shù)量眾多且分布在多個(gè)不同位置，彼此之間通過(guò)互聯(lián)網(wǎng)或者光纖通道等把各種網(wǎng)絡(luò)連接在一起。分布在存儲(chǔ)設(shè)備之上的是一個(gè)統(tǒng)一的存儲(chǔ)硬件設(shè)備管理系統(tǒng)，通過(guò)這一層可以實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化管理、多鏈路冗余管理，以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)。在行內(nèi)分布式存儲(chǔ)主要以分布式SAN為虛擬化資源池提供服務(wù)，以分布式文件為媒體/視頻監(jiān)控/HPC提供服務(wù)、以分布式對(duì)象為備份歸檔提供服務(wù)，以分布式數(shù)據(jù)庫(kù)為大數(shù)據(jù)服務(wù)。3.2.1為云平臺(tái)底座提供基礎(chǔ)存儲(chǔ)資源云環(huán)境下，分布式存儲(chǔ)系統(tǒng)能夠?qū)崿F(xiàn)計(jì)算資源和存儲(chǔ)資源的單獨(dú)橫向擴(kuò)展，計(jì)算資源不足時(shí)直接擴(kuò)容計(jì)算節(jié)點(diǎn)，存儲(chǔ)空間不足時(shí)只需擴(kuò)容存儲(chǔ)節(jié)點(diǎn)，極大地節(jié)省硬件資源降低成本。對(duì)于云平臺(tái)中部署的輕量級(jí)企業(yè)關(guān)鍵應(yīng)用程序，可選用中等性能的磁盤(pán)類(lèi)型，滿(mǎn)足性能要求不高但是要求具有豐富的企業(yè)級(jí)特性場(chǎng)景，例如普通數(shù)據(jù)庫(kù)、應(yīng)用VM、中間件VM等數(shù)據(jù)存儲(chǔ)需求。通過(guò)云硬盤(pán)的形式掛載給虛擬機(jī)或裸金屬服務(wù)器使用，滿(mǎn)足企業(yè)用戶(hù)應(yīng)用數(shù)據(jù)的存儲(chǔ)需求。分布式存儲(chǔ)在云平臺(tái)提供基礎(chǔ)存儲(chǔ)服務(wù)，通過(guò)彈性云硬盤(pán)的形式提供給應(yīng)用虛擬機(jī)和裸金屬使用，在應(yīng)用對(duì)性能要求不高的情況下，通常在初期用于渠道類(lèi)應(yīng)用、各類(lèi)外圍應(yīng)用、灰度發(fā)布應(yīng)用、容器技術(shù)應(yīng)用、桌面以及開(kāi)發(fā)測(cè)試環(huán)境，采用分布式存儲(chǔ)做云平臺(tái)底座存儲(chǔ)設(shè)備，提供彈性擴(kuò)展、存算分離、存儲(chǔ)類(lèi)型可選、EC糾刪可靠和高并發(fā)等便捷場(chǎng)景服務(wù)的作為結(jié)合點(diǎn)。為了應(yīng)對(duì)互聯(lián)網(wǎng)金融帶來(lái)的業(yè)務(wù)浪涌，除核心賬務(wù)系統(tǒng)采用集中式高端全閃存儲(chǔ)外，外圍業(yè)務(wù)以及海量非結(jié)構(gòu)化數(shù)據(jù)業(yè)務(wù)場(chǎng)景已經(jīng)全面向分布式存儲(chǔ)過(guò)渡。憑借分布式存儲(chǔ)的彈性資源分配能力，金融行業(yè)的新業(yè)務(wù)開(kāi)發(fā)和部署效率相比傳統(tǒng)存儲(chǔ)都有所提升和加速，突發(fā)資源獲取周期從過(guò)去的天級(jí)縮短到小時(shí)級(jí)，資源池化后，存儲(chǔ)效率得到顯著提升，運(yùn)維費(fèi)用也不斷降低，整體TCO實(shí)現(xiàn)有效壓降。銀行的七大類(lèi)業(yè)務(wù)系統(tǒng)（賬務(wù)處理類(lèi)、業(yè)務(wù)處理類(lèi)、渠道服務(wù)類(lèi)、服務(wù)支撐類(lèi)、外聯(lián)三方類(lèi)、數(shù)據(jù)服務(wù)類(lèi)、辦公管理類(lèi)），在與金融云平臺(tái)和分布式存儲(chǔ)架構(gòu)功能特點(diǎn)的結(jié)合中，我們對(duì)各類(lèi)系統(tǒng)的資源需求變動(dòng)、業(yè)務(wù)迭代速度、數(shù)據(jù)一致性要求、并發(fā)要求進(jìn)行分析，得出云平臺(tái)中適用的業(yè)務(wù)系統(tǒng)類(lèi)型，如表1所示，進(jìn)而為選擇和配置云平臺(tái)中各區(qū)域分布式存儲(chǔ)提供依據(jù)。3.2.2為云平臺(tái)提供分布式數(shù)據(jù)庫(kù)存儲(chǔ)資源在云計(jì)算平臺(tái)中，傳統(tǒng)數(shù)據(jù)庫(kù)以O(shè)racle、DB2或者M(jìn)ySql的關(guān)系型數(shù)據(jù)庫(kù)為主，但是當(dāng)單表數(shù)據(jù)量爆炸或者單個(gè)數(shù)據(jù)庫(kù)無(wú)法承受高強(qiáng)度I/O時(shí)，集中式數(shù)據(jù)庫(kù)是無(wú)法解決性能和數(shù)據(jù)處理瓶頸問(wèn)題的，難以應(yīng)對(duì)應(yīng)用層的高并發(fā)數(shù)據(jù)訪(fǎng)問(wèn)。業(yè)務(wù)核心數(shù)據(jù)庫(kù)使用場(chǎng)景需要支持應(yīng)用高峰期的密集訪(fǎng)問(wèn)，要求磁盤(pán)具有持續(xù)穩(wěn)定的高性能和低時(shí)延，通過(guò)選用超高性能的磁盤(pán)類(lèi)型，可以實(shí)現(xiàn)超強(qiáng)性能與超高可靠性的集合，滿(mǎn)足關(guān)系型數(shù)據(jù)庫(kù)等數(shù)據(jù)密集型場(chǎng)景下低時(shí)延、高I/O性能密度的嚴(yán)苛性能要求。在基于MySQL的分布式數(shù)據(jù)庫(kù)中，分表支持動(dòng)態(tài)漂移，隨著表的熱度和大小進(jìn)行動(dòng)態(tài)的擴(kuò)容和伸縮，保證資源分配最優(yōu)化；而分布式存儲(chǔ)節(jié)點(diǎn)可以無(wú)限水平擴(kuò)展，從而提供可動(dòng)態(tài)無(wú)限擴(kuò)展的存儲(chǔ)容量；性能隨節(jié)點(diǎn)擴(kuò)展而線(xiàn)性增長(zhǎng)，滿(mǎn)足云計(jì)算平臺(tái)對(duì)容量和性能的需求，具備云服務(wù)所有的彈性、敏捷、按需和輕運(yùn)維特性。因此，采用分布式存儲(chǔ)優(yōu)化后用于數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ)，提高性能的同時(shí)確保了數(shù)據(jù)的安全性。在金融及其他領(lǐng)域，基于分布式存儲(chǔ)加速多域融合，實(shí)現(xiàn)降本增效。通過(guò)對(duì)非關(guān)鍵業(yè)務(wù)進(jìn)行云化部署，并使用分布式存儲(chǔ)構(gòu)建統(tǒng)一的云資源池，實(shí)現(xiàn)多域融合。云資源池替換傳統(tǒng)存儲(chǔ)的煙囪化建設(shè)，大幅提升了存儲(chǔ)資源的利用率，業(yè)務(wù)上線(xiàn)時(shí)間也大幅降低，為金融行業(yè)降本節(jié)支提供了很大助力。4分布式存儲(chǔ)在云環(huán)境下的部署國(guó)內(nèi)分布式存儲(chǔ)相對(duì)于集中式存儲(chǔ)而言是一種分布式技術(shù)，是在規(guī)格維度上按照擴(kuò)展性進(jìn)行分類(lèi)的，國(guó)際上則是按照架構(gòu)將存儲(chǔ)分為企業(yè)級(jí)存儲(chǔ)和軟件定義存儲(chǔ)，不論企業(yè)選擇存儲(chǔ)產(chǎn)品的資本與管理支出模式，也不論存儲(chǔ)廠(chǎng)商是否能夠真正做到分布式存儲(chǔ)的軟、硬件解耦，本文暫定已經(jīng)完成了對(duì)比集中式存儲(chǔ)的全面而細(xì)致的選型評(píng)估過(guò)程，結(jié)合企業(yè)自身情況對(duì)分布式存儲(chǔ)能夠物善其用的前提下進(jìn)行下面的實(shí)施與部署，對(duì)冷熱數(shù)據(jù)分層、數(shù)據(jù)湖建設(shè)需求以及高可用性要求能夠充分考慮，如果多個(gè)AZ在百TB級(jí)別以上，建議進(jìn)行較為合理的規(guī)劃。在云基礎(chǔ)架構(gòu)中，分布式存儲(chǔ)有兩種部署形態(tài)，融合部署和分離部署，融合部署多用于云平臺(tái)管理區(qū)域服務(wù)的使用，分布式存儲(chǔ)多用于用戶(hù)業(yè)務(wù)使用。根據(jù)交換機(jī)組網(wǎng)形態(tài)分多種組網(wǎng)形態(tài)和部署方案，如存儲(chǔ)節(jié)點(diǎn)前后端共享網(wǎng)絡(luò)和前后端獨(dú)立網(wǎng)絡(luò)部署方案，以前后端獨(dú)立部署為例，按照前后端網(wǎng)口的類(lèi)型又可分為10GE、25GE、100GE、IB網(wǎng)絡(luò)四種類(lèi)型（10GE前端+10GE后端、25GE前端+25GE后端等)，本文以10GE前端+10GE后端獨(dú)立組網(wǎng)為例，闡述云平臺(tái)內(nèi)分布式存儲(chǔ)系統(tǒng)的部署方式。4.1組網(wǎng)規(guī)劃規(guī)劃云平臺(tái)各網(wǎng)絡(luò)平面時(shí)，對(duì)分布式存儲(chǔ)業(yè)務(wù)網(wǎng)絡(luò)平面、存儲(chǔ)網(wǎng)絡(luò)平面和管理網(wǎng)絡(luò)平面進(jìn)行合理規(guī)劃，如圖4和圖5所示，針對(duì)各個(gè)網(wǎng)絡(luò)平面進(jìn)行規(guī)劃設(shè)計(jì)。同時(shí)，針對(duì)物理硬件設(shè)備進(jìn)行角色梳理和機(jī)柜位置合理規(guī)劃，管理節(jié)點(diǎn)（管理分布式事務(wù)進(jìn)程的服務(wù)器，負(fù)責(zé)塊存儲(chǔ)服務(wù)的告警、監(jiān)控、日志、配置等操作維護(hù)功能)、存儲(chǔ)節(jié)點(diǎn)（提供存儲(chǔ)資源的服務(wù)器)、計(jì)算節(jié)點(diǎn)（運(yùn)行應(yīng)用系統(tǒng)的服務(wù)器)，根據(jù)不通功能角色規(guī)劃不同網(wǎng)絡(luò)平面地址。1)業(yè)務(wù)網(wǎng)絡(luò)（iSCSI網(wǎng)絡(luò))：用于計(jì)算節(jié)點(diǎn)和VBS之間通過(guò)iSCSI協(xié)議進(jìn)行通信。2)BMC/管理網(wǎng)絡(luò)：BMC網(wǎng)絡(luò)，用于接入節(jié)點(diǎn)Mgmt接口，提供遠(yuǎn)程硬件設(shè)備帶外管理功能。3)存儲(chǔ)網(wǎng)絡(luò)：用于VBS和OSD間或者OSD和OSD間數(shù)據(jù)通信。4)容災(zāi)復(fù)制網(wǎng)絡(luò)：用于主端存儲(chǔ)系統(tǒng)和從端存儲(chǔ)系統(tǒng)間網(wǎng)絡(luò)的數(shù)據(jù)傳輸。4.2節(jié)點(diǎn)網(wǎng)口規(guī)劃根據(jù)組網(wǎng)規(guī)劃，分別對(duì)計(jì)算節(jié)點(diǎn)、存儲(chǔ)節(jié)點(diǎn)的網(wǎng)口進(jìn)行規(guī)劃，保持同一類(lèi)型的節(jié)點(diǎn)網(wǎng)口位置和功能一致，方便實(shí)施和后續(xù)運(yùn)維。計(jì)算節(jié)點(diǎn)按實(shí)際需要進(jìn)行環(huán)境規(guī)劃各計(jì)算節(jié)點(diǎn)接口的用途和上行鏈路。對(duì)存儲(chǔ)節(jié)點(diǎn)的規(guī)劃，可根據(jù)服務(wù)器物理接口，如圖6所示：規(guī)劃各存儲(chǔ)節(jié)點(diǎn)接口的用途和上行鏈路，以表2為例建立計(jì)算和存儲(chǔ)節(jié)點(diǎn)的節(jié)點(diǎn)總網(wǎng)絡(luò)規(guī)劃。4.3硬件安裝和軟件部署根據(jù)規(guī)劃的接口和連線(xiàn)規(guī)則，進(jìn)行物理設(shè)備的加電、連線(xiàn)、網(wǎng)絡(luò)配置和測(cè)試，物理硬件初始化完成后進(jìn)行分布式軟件系統(tǒng)的安裝部署，期間硬件安裝的如圖7所示。根據(jù)分布式存儲(chǔ)軟件的安裝指南，進(jìn)行分布式存儲(chǔ)系統(tǒng)的安裝，以華為OceanStorPacific分布式存儲(chǔ)在華為云環(huán)境下的部署為例，主要安裝流程如圖8所示，主要流程如下。

1）分布式存儲(chǔ)系統(tǒng)安裝前準(zhǔn)備檢查交換機(jī)是否已經(jīng)根據(jù)網(wǎng)絡(luò)規(guī)劃配置完成，并準(zhǔn)備相關(guān)的軟件包、安裝工具和安裝指導(dǎo)文檔。2）準(zhǔn)備管理虛擬機(jī)在對(duì)接云平臺(tái)時(shí)，通過(guò)Web-UI方式在云平臺(tái)虛擬化底座中安裝管理節(jié)點(diǎn)虛擬機(jī)，以便后續(xù)為管理節(jié)點(diǎn)安裝管理軟件。3)配置Fusionstorage-Block角色通過(guò)云平臺(tái)底座虛擬化系統(tǒng)的安裝部署界面，為計(jì)算節(jié)點(diǎn)配置Fusionstorage-Block角色，并保證網(wǎng)絡(luò)通信正常。4)配置各節(jié)點(diǎn)BMC管理面IP并檢查存儲(chǔ)節(jié)點(diǎn)各檢查項(xiàng)指標(biāo)配置各節(jié)點(diǎn)BMC管理面IP，通過(guò)該遠(yuǎn)程管理系統(tǒng)可以對(duì)硬件進(jìn)行高可靠的監(jiān)測(cè)和管理。同時(shí)，安裝前對(duì)存儲(chǔ)節(jié)點(diǎn)服務(wù)器的固件版本、操作系統(tǒng)版本、操作系統(tǒng)是否安全加固、系統(tǒng)盤(pán)緩存策略、JBOD功能、SMMU功能、設(shè)備固件驅(qū)動(dòng)版本以及查硬盤(pán)背板的兼容性。5)配置節(jié)點(diǎn)管理網(wǎng)絡(luò)按照網(wǎng)絡(luò)規(guī)劃，對(duì)存儲(chǔ)節(jié)點(diǎn)進(jìn)行管理節(jié)點(diǎn)網(wǎng)口IP配置。6）安裝分布式存儲(chǔ)軟件按照安裝流程，進(jìn)行分布式存儲(chǔ)軟件部署（安裝管理節(jié)點(diǎn)、增加存儲(chǔ)節(jié)點(diǎn)、配置存儲(chǔ)網(wǎng)絡(luò)、安裝存儲(chǔ)節(jié)點(diǎn)、創(chuàng)建控制集群)。根據(jù)技術(shù)能力和實(shí)際場(chǎng)景可部署GFS、Ceph等開(kāi)源分布式存儲(chǔ)軟件，以Hadoop集群為例，由云平臺(tái)進(jìn)行統(tǒng)一納管，則在基礎(chǔ)配置之后（配置jdk環(huán)境、配置集群環(huán)境變量、關(guān)閉防火墻、修改主機(jī)名、master和slave的IP地址、配置SSH免密登錄），進(jìn)入HDFS集群配置（安裝master和slave的hadoop文件、配置core-site文件調(diào)優(yōu)、集群環(huán)境變量、并啟動(dòng)集群和web管理），完成與云平臺(tái)