招行北京分行FusionStorage分布式存儲(chǔ)技術(shù)建議書

招行北京分行FusionStorage 分布式存儲(chǔ)技術(shù)建議書文檔版本 01發(fā)布日期 2014-9-15華為技術(shù)有限公司版權(quán)所有 ? 華為技術(shù)有限公司 2014。保留一切權(quán)利。非經(jīng)本公司書面許可， 任何單位和個(gè)人不得擅自摘抄、 復(fù)制本文檔內(nèi)容的部分或全部， 并不得以任何形式傳播。商標(biāo)聲明和其他華為商標(biāo)均為華為技術(shù)有限公司的商標(biāo)。本文檔提及的其他所有商標(biāo)或注冊(cè)商標(biāo)，由各自的所有人擁有。注意您購(gòu)買的產(chǎn)品、服務(wù)或特性等應(yīng)受華為公司商業(yè)合同和條款的約束，本文檔中描述的全部或部分產(chǎn)品、服務(wù)或特性可能不在您的購(gòu)買或使用范圍之內(nèi)。除非合同另有約定，華為公司對(duì)本文檔內(nèi)容不做任何明示或默示的聲明或保證。由于產(chǎn)品版本升級(jí)或其他原因， 本文檔內(nèi)容會(huì)不定期進(jìn)行更新。 除非另有約定， 本文檔僅作為使用指導(dǎo)，本文檔中的所有陳述、信息和建議不構(gòu)成任何明示或暗示的擔(dān)保。ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密華為技術(shù)有限公司地址： 深圳市龍崗區(qū)坂田華為總部辦公樓 郵編：518129網(wǎng)址： 客戶服務(wù)郵 support@箱：客戶服務(wù)電 4008302118話：TableofContents目錄TableofContents目錄....................................................................................................31項(xiàng)目概述.....................................................................................................................41.1項(xiàng)目背景.....................................................................................................................41.2項(xiàng)目需求.....................................................................................................................52項(xiàng)目技術(shù)方案..............................................................................................................52.1方案整體架構(gòu)..............................................................................................................52.1.1軟硬件部署圖...................................................................................................52.1.2硬件平臺(tái)...........................................................................................................82.1.3FusionStorage分布式存儲(chǔ)系統(tǒng)概述................................................................82.1.4FusionStorage分布式存儲(chǔ)系統(tǒng)詳細(xì)描述......................................................分布式機(jī)頭.............................................................................................分布式緩存.............................................................................................集群元數(shù)據(jù)管理.....................................................................................多數(shù)據(jù)副本.............................................................................................數(shù)據(jù)一致性.............................................................................................快速數(shù)據(jù)重建.........................................................................................掉電保護(hù).................................................................................................132017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第3頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密2.1.5云管理平臺(tái).....................................................................................................基于角色訪問(wèn)控制.................................................................................物理資源管理.........................................................................................物理設(shè)備接入?yún)f(xié)議.................................................................................虛擬化資源管理.....................................................................................資源集群管理.........................................................................................虛擬負(fù)載均衡管理.................................................................................自動(dòng)化運(yùn)維.............................................................................................監(jiān)控管理.................................................................................................計(jì)量管理.................................................................................................0安全管理.........................................................................................242.2系統(tǒng)部署方案............................................................................................................262.2.1總體組網(wǎng)方案.................................................................................................262.2.2與客戶網(wǎng)絡(luò)對(duì)接.............................................................................................272.2.3一體機(jī)2層模式連接用戶網(wǎng)絡(luò).......................................................................282.3系統(tǒng)可靠性分析........................................................................................................292.3.1數(shù)據(jù)持久度分析.............................................................................................292.3.2可靠性場(chǎng)景分析.............................................................................................292.4系統(tǒng)關(guān)鍵數(shù)據(jù)備份.....................................................................................................303系統(tǒng)軟硬件配置清單及說(shuō)明......................................................................................31項(xiàng)目概述1.1項(xiàng)目背景招行北京分行準(zhǔn)備采用虛擬化與云計(jì)算技術(shù)來(lái)構(gòu)建 IT系統(tǒng)，提升IT系統(tǒng)的資源利用率，但是傳統(tǒng)SAN在企業(yè)基礎(chǔ)設(shè)施池化、云化中面臨的主要問(wèn)題：存儲(chǔ)資源彈性問(wèn)題： 多業(yè)務(wù)負(fù)載、資源的動(dòng)態(tài)需求變化存儲(chǔ)擴(kuò)展的問(wèn)題： 共享、擴(kuò)展面臨了諸多的瓶頸和問(wèn)題（機(jī)頭、前后端網(wǎng)絡(luò)、2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第4頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密CPU/Cache與HDD不同步問(wèn)題）形態(tài)和實(shí)施的成本、復(fù)雜性問(wèn)題：獨(dú)立的存儲(chǔ)網(wǎng)絡(luò)，建設(shè)成本高、實(shí)施復(fù)雜（初始實(shí)施、擴(kuò)減容等）容錯(cuò)和可靠性問(wèn)題：大規(guī)模集群中容忍的故障域問(wèn)題（跨機(jī)柜、跨room），硬盤重建的時(shí)間問(wèn)題針對(duì)上述問(wèn)題，建議使用FusionStorage分布式存儲(chǔ)產(chǎn)品解決上述問(wèn)題，為滿足業(yè)務(wù)平臺(tái)日益增長(zhǎng)的存儲(chǔ)需求，為業(yè)務(wù)平臺(tái)提供高安全性、高可靠性、高可用性和開(kāi)放性的存儲(chǔ)服務(wù)。分布式存儲(chǔ)系統(tǒng)基于分布式處理技術(shù)、虛擬化技術(shù)和集群技術(shù)實(shí)現(xiàn)，做為云計(jì)算資源池存儲(chǔ)資源池的一部分，為計(jì)算資源池提供高速、可靠、安全的塊存儲(chǔ)服務(wù)，同時(shí)兼顧文件和對(duì)象存儲(chǔ)服務(wù)。工程計(jì)劃利用建設(shè)的分布式存儲(chǔ)（采用 X86服務(wù)器介質(zhì)）代替原虛擬化計(jì)算平臺(tái)使用的集中式 FCSAN存儲(chǔ)系統(tǒng)，系統(tǒng)建設(shè)裸存儲(chǔ)容量 2048T，并通過(guò)規(guī)范接口納入集團(tuán)云管理平臺(tái)統(tǒng)一管理。1.2項(xiàng)目需求起配3臺(tái)RH2288H，用于開(kāi)發(fā)測(cè)試環(huán)境。項(xiàng)目技術(shù)方案2.1方案整體架構(gòu)2.1.1 軟硬件部署圖Figure圖1RH2288H+FusionStorage 軟硬件部署圖2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第5頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密FusionCube虛擬化一體機(jī)管理節(jié)點(diǎn)部署如下。1)FusionManager：負(fù)責(zé)云平臺(tái)資源管理、彈性調(diào)度以及操作維護(hù)等綜合管理功能，是云平臺(tái)管理的核心，提供基于 web的統(tǒng)一維護(hù)界面；整個(gè)系統(tǒng)的業(yè)務(wù)通過(guò)云管理FusionManager呈現(xiàn)，諸如用戶管理、集群管理、業(yè)務(wù)模板管理、虛擬機(jī)管理、統(tǒng)一硬件管理、告警、監(jiān)控等功能均由 FusionManager對(duì)外提供。2)FusionCompute：負(fù)責(zé)云平臺(tái)計(jì)算資源虛擬化和資源分配，包括 VRM和CNA兩部2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第6頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密分。VRM:VirtualResourceManagement虛擬資源管理軟件，負(fù)責(zé)虛擬資源的管理，可管理多個(gè)邏輯集群；將物理資源 (計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等 )轉(zhuǎn)換成可動(dòng)態(tài)調(diào)整的虛擬資源，供虛擬機(jī)使用；CNA：計(jì)算節(jié)點(diǎn)代理，在每個(gè)需要虛擬化的服務(wù)器上物理部署，提供虛擬化功能；3)FusionStorage：分布式云存儲(chǔ)，包括 FusionStorageManager和FusionStorageAgent兩部分。FusionStorageManager：存儲(chǔ)管理軟件， FusionCube使用分布式云存儲(chǔ)技術(shù)，通過(guò)合理有序組織服務(wù)器的本地硬盤，提供高性能高可靠的塊存儲(chǔ)業(yè)務(wù)。FusionStorageAgent:存儲(chǔ)節(jié)點(diǎn)代理，在每個(gè)需要虛擬化的服務(wù)器上物理部署，用于訪問(wèn)FusionStorage分布式存儲(chǔ)池資源的代理；管理節(jié)點(diǎn)FusionManager(FM)、VRM(FusionCompute)部署在虛擬機(jī)上，需要占用 2臺(tái)物理服務(wù)器做主備。其中 FusionManager、UHM合部在同一臺(tái)虛機(jī)中， VRM部署一臺(tái)虛機(jī)中，都是主備部署。管理服務(wù)器命名為 MCNA節(jié)點(diǎn)，其余為提供計(jì)算資源的服務(wù)器命名為 CNA。管理節(jié)點(diǎn)使用兩塊本地硬盤做 RAID1做管理節(jié)點(diǎn)虛機(jī)的存儲(chǔ)。 其他本地硬盤在 FusionStorage軟件組織下，提供分布式存儲(chǔ)池，用于業(yè)務(wù)虛擬機(jī)。管理節(jié)點(diǎn)主備占用兩臺(tái)服務(wù)器，管理服2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第7頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密務(wù)器剩下的計(jì)算資源可以給業(yè)務(wù)虛機(jī)使用。一套FusionCube系統(tǒng)中至少需部署3個(gè)存儲(chǔ)節(jié)點(diǎn)，除2-3塊系統(tǒng)使用外，所有服務(wù)器的本地硬盤都可組成分布式存儲(chǔ)池，非管理節(jié)點(diǎn)刀片可用于部署應(yīng)用虛擬機(jī)，應(yīng)用虛擬機(jī)使用FusionStorage分布式存儲(chǔ)池資源。管理、計(jì)算和存儲(chǔ)服務(wù)器可以混合部署，減少服務(wù)器的數(shù)量。2.1.2 硬件平臺(tái)硬件平臺(tái)由通用 X86服務(wù)器組成，服務(wù)器要求內(nèi)存最小為 64GB,每臺(tái)服務(wù)器可配置 1塊及以上的PCIE-SSD卡、SSD固態(tài)硬盤或者NvDimm條。每服務(wù)器的硬盤數(shù)量 >=4。本次項(xiàng)目采用 FusionCube大容量存儲(chǔ)服務(wù)器，該服務(wù)器可以配置 1～2張高性能的PCIE-SSD卡做讀寫緩存，同時(shí)每臺(tái)服務(wù)器可以配置 12塊大容量SATA盤為分布式存儲(chǔ)提供服務(wù)。2.1.3 FusionStorage 分布式存儲(chǔ)系統(tǒng)概述傳統(tǒng)的SAN存儲(chǔ)目前正被業(yè)界廣泛使用，但 SAN有其固有缺點(diǎn)：成本高：必須獨(dú)立的機(jī)頭IOPS受限：熱點(diǎn)數(shù)據(jù)存在瓶頸，導(dǎo)致 IOPS低下重建時(shí)間長(zhǎng)：重建期間引入數(shù)據(jù)丟失風(fēng)險(xiǎn)容量有限：受集中式機(jī)頭性能限制，總?cè)萘渴芟薰芾韽?fù)雜：需要單獨(dú)的管理系統(tǒng)FusionStorage分布式存儲(chǔ)系統(tǒng)可有效解決 SAN存儲(chǔ)帶來(lái)的這些問(wèn)題。 它采用新一代分布式存儲(chǔ)架構(gòu)和大規(guī)模并行的分布式網(wǎng)格存儲(chǔ)技術(shù)，使用了“橫向擴(kuò)展 ”的存儲(chǔ)架構(gòu)，利用分布式多節(jié)點(diǎn)網(wǎng)格并行分擔(dān)存儲(chǔ)負(fù)荷， 并通過(guò)細(xì)粒度數(shù)據(jù)分布算法保證數(shù)據(jù)的恒定均衡分布， 它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。簡(jiǎn)單地說(shuō)， FusionStorage總體思想是通過(guò)在服務(wù)器上部署該軟件，可以將所有服務(wù)器的本機(jī)磁盤組織成一個(gè)虛擬存儲(chǔ)資源池，卷被切片分割打散到整個(gè)資源池所有硬盤中，達(dá)到細(xì)粒度，高并發(fā)存取數(shù)據(jù)的目的。2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第8頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密Figure圖1FusionStorage 分布式存儲(chǔ)原理FusionStorage分布式存儲(chǔ)具有如下優(yōu)點(diǎn)：高IOPS,低時(shí)延：應(yīng)用大容量 Cache技術(shù)，提升 IOPS；卷被切片分割打散到整個(gè)資源池所有硬盤中， 條帶化寬度增加，單卷可獲得的性能大幅提升；訪問(wèn)均衡，無(wú)熱點(diǎn) ,資源池中各節(jié)點(diǎn)的利用率相同；無(wú)需預(yù)先設(shè)置固定 RAID組，大資源池適應(yīng)應(yīng)用負(fù)載的動(dòng)態(tài)變化；應(yīng)用程序通過(guò) Cache直達(dá)存儲(chǔ)，時(shí)延更低；無(wú)級(jí)擴(kuò)容、超大容量：分布式系統(tǒng)，無(wú)管理機(jī)頭瓶頸，容量幾乎不受限制；無(wú)級(jí)擴(kuò)容：分布式機(jī)頭 (每server服務(wù)器相當(dāng)于一個(gè)機(jī)頭 )，無(wú)性能瓶頸，可無(wú)級(jí)擴(kuò)容非煙囪式擴(kuò)展：存儲(chǔ)與計(jì)算同步平滑擴(kuò)展。即插即用式擴(kuò)容：擴(kuò)容后系統(tǒng)自動(dòng)調(diào)整負(fù)載平衡，真正實(shí)現(xiàn)無(wú)級(jí)平滑擴(kuò)容。管理簡(jiǎn)單：結(jié)構(gòu)簡(jiǎn)單帶來(lái)管理簡(jiǎn)單；免于低層配置管理： FusionStorage與FusionCube集成，僅需要做應(yīng)用層面的管理，免去大量2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第9頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密低層配置管理事務(wù)。零性能管理的成本：自動(dòng)負(fù)載均衡，無(wú)熱點(diǎn)，故障自愈，無(wú)需進(jìn)行人工性能優(yōu)化。數(shù)據(jù)重建快：并行重建速快；數(shù)據(jù)分布可以跨服務(wù)器或跨機(jī)柜，不會(huì)因某個(gè)服務(wù)器、機(jī)柜故障導(dǎo)致數(shù)據(jù)不可訪問(wèn)。數(shù)據(jù)分片在資源池內(nèi)打散， 硬盤故障后，可在全資源池范圍內(nèi)自動(dòng)并行重建， 僅重建實(shí)際數(shù)據(jù)，無(wú)需熱備盤； 重建1TB數(shù)據(jù)時(shí)間 <30分鐘。2.1.4 FusionStorage 分布式存儲(chǔ)系統(tǒng)詳細(xì)描述FusionStorage通過(guò)分布式架構(gòu)把分散的、低速的 SATA/SAS機(jī)械硬盤組織成一個(gè)高效的虛擬化SAN存儲(chǔ)池設(shè)備，提供比 SAN設(shè)備更高的IO能力，把性能發(fā)揮到極致。FusionStorage系統(tǒng)軟件架構(gòu)FusionStorage分布式存儲(chǔ)系統(tǒng)包含三個(gè)子系統(tǒng)：無(wú)狀態(tài)機(jī)頭無(wú)狀態(tài)機(jī)頭對(duì)外提供本地SCSI接口或者ISCSI服務(wù)接口，可以部署在存儲(chǔ)節(jié)點(diǎn)，也可以靈活部署在計(jì)算節(jié)點(diǎn)。系統(tǒng)啟動(dòng)時(shí)，無(wú)狀態(tài)機(jī)頭會(huì)從元數(shù)據(jù)集群獲取最新的數(shù)據(jù)分布視圖。 在IO過(guò)程中，無(wú)狀態(tài)機(jī)頭會(huì)將數(shù)據(jù)均衡的分發(fā)到各個(gè)存儲(chǔ)節(jié)點(diǎn)。2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第10頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密存儲(chǔ)集群在IO過(guò)程中，存儲(chǔ)集群接收到無(wú)狀態(tài)機(jī)頭分發(fā)的IO請(qǐng)求，會(huì)根據(jù)副本策略，將IO分發(fā)到其他服務(wù)器或者機(jī)柜上的存儲(chǔ)節(jié)點(diǎn)。同時(shí)存儲(chǔ)節(jié)點(diǎn)會(huì)將每臺(tái)服務(wù)器上的緩存設(shè)備劃分成讀寫緩沖去， IO直接寫到cache中就項(xiàng)主節(jié)點(diǎn)返回。當(dāng)緩沖區(qū)達(dá)到一定的水位后， 存儲(chǔ)節(jié)點(diǎn)會(huì)自動(dòng)將緩沖區(qū)的數(shù)據(jù)刷到主存設(shè)備 （機(jī)械硬盤/SSD）上。分布式機(jī)頭FusionStorage采用無(wú)狀態(tài)的分布式軟件機(jī)頭，機(jī)頭部署在各個(gè)服務(wù)器上，無(wú)集中式機(jī)頭的性能瓶頸。單個(gè)服務(wù)器上軟件機(jī)頭只占用較少的 CPU資源，提供比集中式機(jī)頭更高的 IOPS分布式緩存FusionStorage實(shí)現(xiàn)了計(jì)算和存儲(chǔ)的融合，緩存和帶寬都均勻分布到各個(gè)服務(wù)器節(jié)點(diǎn)上。FusionStorage支持將服務(wù)器 SSD卡用作讀、寫緩存，對(duì)于數(shù)據(jù)的寫操作，系統(tǒng)數(shù)據(jù)首先寫到SSD的寫緩存中，所有副本（三個(gè)副本）寫緩存成功后， IO立即返回。同時(shí) IO也會(huì)數(shù)據(jù)緩存均勻分布到各個(gè)節(jié)點(diǎn)上，所有服務(wù)器的緩存總?cè)萘窟h(yuǎn)大于采用外置獨(dú)立存儲(chǔ)的方案。即使采用大容量低成本的 SATA硬盤，F(xiàn)usionStorage仍然可以發(fā)揮很高的 IO性能，整體性能提升1~3倍，同時(shí)提供更大的有效容量。FusionStorage支持PCIeSSD用作數(shù)據(jù)緩存，除具備通常的寫緩存外， 增加熱點(diǎn)數(shù)據(jù)統(tǒng)計(jì)和緩存功能，加上其大容量的優(yōu)勢(shì)，進(jìn)一步提升了系統(tǒng)性能。集群元數(shù)據(jù)管理FusionStorage分布式存儲(chǔ)軟件的元數(shù)據(jù)服務(wù)采用集群管理方式，不會(huì)出現(xiàn)單點(diǎn)故障，一個(gè)節(jié)點(diǎn)或者一塊硬盤故障自動(dòng)從集群內(nèi)隔離出來(lái)， 不影響整個(gè)系統(tǒng)業(yè)務(wù)的使用。 本次項(xiàng)目建議采用3臺(tái)獨(dú)立服務(wù)器做元數(shù)據(jù)。多數(shù)據(jù)副本FusionStorage存儲(chǔ)系統(tǒng)中沒(méi)有使用傳統(tǒng)的 RAID模式來(lái)保證數(shù)據(jù)的可靠性，而是采用了多副本備份機(jī)制，即同一份數(shù)據(jù)可以復(fù)制保存多個(gè)副本。在數(shù)據(jù)存儲(chǔ)前，對(duì)數(shù)據(jù)進(jìn)行分片，分片2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第11頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密后的數(shù)據(jù)按照一定的規(guī)則保存集群節(jié)點(diǎn)上。如下圖所示，對(duì)于服務(wù)器Server1的磁盤Disk1上的數(shù)據(jù)塊P1，它的數(shù)據(jù)備份為服務(wù)器Server2的磁盤Disk2上P1’，P1和P1’構(gòu)成了同一個(gè)數(shù)據(jù)塊的兩個(gè)副本。FusionStorage多數(shù)據(jù)副本數(shù)據(jù)一致性數(shù)據(jù)一致性的要求是：當(dāng)應(yīng)用程序成功寫入一份數(shù)據(jù)時(shí)，后端的幾個(gè)數(shù)據(jù)副本必然是一致的，當(dāng)應(yīng)用程序再次讀時(shí)，無(wú)論在哪個(gè)副本上讀取，都是之前寫入的數(shù)據(jù)。保證多個(gè)數(shù)據(jù)副本之間的數(shù)據(jù)一致性是FusionStorage的重要特點(diǎn)，F(xiàn)usionStorage采用強(qiáng)一致性復(fù)制技術(shù)確保各個(gè)數(shù)據(jù)副本的一致性。FusionStorage還支持ReadRepair機(jī)制。ReadRepair機(jī)制是指在讀數(shù)據(jù)失敗時(shí)，會(huì)判斷錯(cuò)誤類型，如果是磁盤扇區(qū)讀取錯(cuò)誤，可以通過(guò)從其他副本讀取數(shù)據(jù)，然后重新寫入該副本的方法進(jìn)行恢復(fù)，從而保證數(shù)據(jù)副本總數(shù)不減少?？焖贁?shù)據(jù)重建FusionStorage內(nèi)部具備強(qiáng)大的數(shù)據(jù)保護(hù)機(jī)制。數(shù)據(jù)存儲(chǔ)時(shí)被分片打散到多個(gè)節(jié)點(diǎn)上，這些分片數(shù)據(jù)支持分布在不同的存儲(chǔ)節(jié)點(diǎn)、 不同的機(jī)柜之間， 同時(shí)數(shù)據(jù)存儲(chǔ)時(shí)采用多副本技術(shù)， 數(shù)據(jù)會(huì)自動(dòng)保存多份，每一個(gè)分片的不同副本也被分散保存到不同的存儲(chǔ)節(jié)點(diǎn)上。在硬件發(fā)生故障導(dǎo)致數(shù)據(jù)不一致時(shí)，F(xiàn)usionStorage通過(guò)內(nèi)部的自檢機(jī)制，通過(guò)比較不同節(jié)點(diǎn)上的副本分片，自動(dòng)發(fā)現(xiàn)數(shù)據(jù)故障。發(fā)現(xiàn)故障后啟動(dòng)數(shù)據(jù)修復(fù)機(jī)制，在后臺(tái)修復(fù)數(shù)據(jù)。由于數(shù)據(jù)被分散到多個(gè)不同的存儲(chǔ)節(jié)點(diǎn)上保存，數(shù)據(jù)修復(fù)時(shí)，在不同的節(jié)點(diǎn)上同時(shí)啟動(dòng)修復(fù)，每個(gè)節(jié)點(diǎn)上只需修復(fù)一小部分?jǐn)?shù)據(jù)，多個(gè)節(jié)點(diǎn)并行工作，有效避免單個(gè)節(jié)點(diǎn)修復(fù)大量數(shù)據(jù)所產(chǎn)生的性能瓶2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第12頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密頸，對(duì)上層業(yè)務(wù)的影響做到最小化。數(shù)據(jù)故障自動(dòng)恢復(fù)流程如下圖所示。FusionStorage 數(shù)據(jù)重建流程FusionStorage支持并行、快速故障處理和重建：數(shù)據(jù)分片在資源池內(nèi)打散，硬盤故障后，可在資源池范圍內(nèi)自動(dòng)并行重建。數(shù)據(jù)分布上支持跨服務(wù)器或者跨機(jī)柜，不會(huì)因某個(gè)服務(wù)器或者機(jī)柜故障導(dǎo)致的數(shù)據(jù)不可訪問(wèn)。擴(kuò)容時(shí)可以自動(dòng)進(jìn)行負(fù)載均衡，應(yīng)用無(wú)需調(diào)整即可獲得更大的容量和性能。掉電保護(hù)系統(tǒng)運(yùn)行過(guò)程中可能會(huì)出現(xiàn)服務(wù)器突然下電的情況， FusionStorage使用保電介質(zhì)來(lái)保存元數(shù)據(jù)和緩存數(shù)據(jù)，以防掉電而丟失。FusionStorage支持的保電介質(zhì)包括 NVDIMM 內(nèi)存條、PCIeSSD卡、SSD固態(tài)硬盤。程序運(yùn)行過(guò)程中器會(huì)把元數(shù)據(jù)和緩存數(shù)據(jù)寫入保電介質(zhì)中， 上電后恢復(fù)保電介質(zhì)中的元數(shù)據(jù)和緩存數(shù)據(jù)。2.1.5 云管理平臺(tái)華為云管理平臺(tái)聚焦于數(shù)據(jù)中心虛擬化資源管理、自動(dòng)化運(yùn)維發(fā)放、并對(duì)企業(yè) IT管理提供開(kāi)放的管理接口。 華為云管理系統(tǒng)將整個(gè)數(shù)據(jù)中心云化， 并對(duì)系統(tǒng)中用戶可見(jiàn)的資源抽取出來(lái)納入統(tǒng)一的資源池管理， 為用戶提供一體化的資源管理， 自動(dòng)資源發(fā)放。為用戶提供了方便的獲取資源的途徑。 用戶可以通過(guò)在服務(wù)目錄自動(dòng)化的獲取資源并在資源上部署用戶需要的應(yīng)用。華為云管理平臺(tái)系統(tǒng)架構(gòu)如下圖：2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第13頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密Figure圖1華為云管理平臺(tái)系統(tǒng)架構(gòu)參考方框內(nèi)是FusionManager云管理平臺(tái)的功能模塊。 “虛擬化管理”可以采用華為的虛擬化管理軟件 FusionCompute，也可以采用其他廠家的，如 VMware的VCenter+Vsphere等。云管理軟件從軟件層面拉通統(tǒng)一各資源管理。 FusionManager云管理平臺(tái)負(fù)責(zé)全系統(tǒng)硬件和軟件資源的操作維護(hù)管理，用戶業(yè)務(wù)的自動(dòng)化運(yùn)維。主要功能包括：基于角色訪問(wèn)控制基本角色的訪問(wèn)控制是指為管理員在不同域和組織上分配不同的角色， 從而實(shí)現(xiàn)對(duì)管理員的權(quán)限控制。管理員可以通過(guò)用戶、 角色和組織的管理， 使不同用戶在不同的組織的操作相互獨(dú)立，實(shí)現(xiàn)數(shù)據(jù)隔離。用戶管理第三方認(rèn)證配置FusionManager系統(tǒng)中，管理員可以配置第三方認(rèn)證 AD服務(wù)器，配置服務(wù)器之后，即可將 AD服務(wù)器的用戶加入系統(tǒng)中。加入系統(tǒng)的AD服務(wù)器用戶可以作為 FusionManager系統(tǒng)的管理員。當(dāng)?shù)谌秸J(rèn)證用戶登錄 FusionManager時(shí)，在AD服務(wù)器上完成密碼驗(yàn)證。2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第14頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密密碼管理管理員可以通過(guò)配置密碼最小長(zhǎng)度、是否包含特殊字符、是否包含用戶名、密碼修改的重復(fù)次數(shù)等，靈活設(shè)置密碼策略，以保證密碼的安全性。角色管理角色定義的好處管理員可以通過(guò)角色定義不同的權(quán)限組合，方便對(duì)不同用戶授予不同的權(quán)限。默認(rèn)角色FusionManager系統(tǒng)提供了六種默認(rèn)角色。默認(rèn)角色包括系統(tǒng)超級(jí)管理員、系統(tǒng)操作員、系統(tǒng)查看員、資源管理員、業(yè)務(wù)管理員和組織管理員。角色類型--

業(yè)務(wù)管理員類業(yè)務(wù)管理員類的角色只能擁有應(yīng)用模板管理、組織資源、應(yīng)用管理等權(quán)限。業(yè)務(wù)管理員只能查看和管理所在組織中的資源和用戶。FusionManager為業(yè)務(wù)管理員提供了獨(dú)立的 Portal，供業(yè)務(wù)管理員管理組織資源。系統(tǒng)管理員類系統(tǒng)管理員類的角色可以擁有系統(tǒng)管理、資源管理、故障管理類的權(quán)限。系統(tǒng)管理員可以查看和管理系統(tǒng)資源和用戶。FusionManager為系統(tǒng)管理員提供了獨(dú)立的Portal，供系統(tǒng)管理員管理系統(tǒng)資源。組織管理資源的組織管理組織與虛擬資源關(guān)聯(lián)，管理員可以將 vDC劃分給具體的組織。用戶的組織管理2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第15頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密組織與用戶關(guān)聯(lián)，當(dāng)管理員將vDC劃分給組織后，組織內(nèi)部的管理員可以根據(jù)角色對(duì)vDC進(jìn)行管理。組織是針對(duì)業(yè)務(wù)管理員定義的。業(yè)務(wù)管理員和組織的對(duì)應(yīng)關(guān)系是多對(duì)一。每個(gè)組織中的業(yè)務(wù)管理員只能查看和管理己所在組織中的資源。單點(diǎn)登錄當(dāng)管理員登錄FusionManager系統(tǒng)后，如果需要登錄FusionCompute，管理員不需要再次輸入用戶和密碼，可以直接訪問(wèn)FusionCompute的管理界面。物理資源管理FusionManager系統(tǒng)支持機(jī)框、服務(wù)器、存儲(chǔ)設(shè)備和交換機(jī)等物理設(shè)備的管理。 在FusionSphere解決方案中，物理設(shè)備需手工方式導(dǎo)入 FusionManager系統(tǒng)。物理設(shè)備接入?yún)f(xié)議FusionManager系統(tǒng)可以接入服務(wù)器、存儲(chǔ)和交換機(jī)設(shè)備。服務(wù)器管理查看服務(wù)器信息FusionManager提供查看服務(wù)器的名稱、管理 IP地址、BIOS、CPU主頻個(gè)數(shù)、內(nèi)存大小、硬盤容量、網(wǎng)卡個(gè)數(shù)和網(wǎng)口個(gè)數(shù)等信息。服務(wù)器操作管理在FusionManager系統(tǒng)中，可以對(duì)服務(wù)器進(jìn)行上電、安全下電、強(qiáng)制下電、安全重啟、進(jìn)入維護(hù)模式和退出維護(hù)模式等操作。服務(wù)器監(jiān)控管理在FusionManager系統(tǒng)中，可以監(jiān)控服務(wù)器的如下指標(biāo)： CPU占用率、內(nèi)存占用率、網(wǎng)絡(luò)流出、網(wǎng)絡(luò)流入、磁盤I/O寫入、磁盤I/O讀出和服務(wù)器狀態(tài)等。同時(shí)，您還可以按周、月、年及自定義時(shí)段查詢性能監(jiān)控結(jié)果，您也可以導(dǎo)出查詢結(jié)果。網(wǎng)絡(luò)設(shè)備管理查看交換機(jī)信息FusionManager提供查看交換機(jī)的名稱、管理 IP地址、型號(hào)、類型和狀態(tài)等信息。查看交換機(jī)端口連接狀態(tài)2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第16頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密在FusionManager系統(tǒng)中，可以查看交換機(jī)每個(gè)端口的編號(hào)、狀態(tài)、發(fā)送速率、接收速率、發(fā)送丟包率、接收丟包率、發(fā)送錯(cuò)誤率和接收錯(cuò)誤率等信息。網(wǎng)絡(luò)配置管理在FusionManager系統(tǒng)中，您可以對(duì)系統(tǒng)網(wǎng)絡(luò)進(jìn)行配置和管理，包括外部網(wǎng)絡(luò)、組織網(wǎng)絡(luò)和服務(wù)器BMCIP池等。存儲(chǔ)系統(tǒng)管理查看存儲(chǔ)系統(tǒng)的配置信息FusionManager提供查看存儲(chǔ)系統(tǒng)的名稱、狀態(tài)和磁盤數(shù)量等信息。存儲(chǔ)設(shè)備的監(jiān)控管理在FusionManager系統(tǒng)中，您可以查詢存儲(chǔ)系統(tǒng)的總?cè)萘亢涂捎萌萘康取Ｌ摂M化資源管理虛擬化資源管理是指在 FusionManager系統(tǒng)中，管理員可以統(tǒng)一管理不同系統(tǒng)提供的虛擬資源，包括虛擬機(jī)資源、虛擬網(wǎng)絡(luò)資源和虛擬存儲(chǔ)資源等。虛擬機(jī)生命周期管理創(chuàng)建虛擬機(jī)FusionManager系統(tǒng)中，管理員可以通過(guò)以下方式創(chuàng)建虛擬機(jī)：創(chuàng)建應(yīng)用。使用虛擬機(jī)模板創(chuàng)建虛擬機(jī)。自定義方式創(chuàng)建虛擬機(jī)?？寺》绞絼?chuàng)建虛擬機(jī)。銷毀虛擬機(jī)管理員可以通過(guò)刪除應(yīng)用來(lái)銷毀虛擬機(jī)，將不再使用的虛擬機(jī)銷毀，以釋放系統(tǒng)資源。虛擬機(jī)操作管理管理員可以通過(guò)對(duì)一個(gè)或多個(gè)虛擬機(jī)，執(zhí)行啟動(dòng)/喚醒、安全重啟、強(qiáng)制重啟、休眠、安全關(guān)閉和強(qiáng)制關(guān)閉等操作。遷移虛擬機(jī)2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第17頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密管理員可以將虛擬機(jī)從一臺(tái)主機(jī)上遷移到另一臺(tái)主機(jī)上。修復(fù)虛擬機(jī)虛擬機(jī)操作系統(tǒng)異常后，管理員可以對(duì)虛擬機(jī)進(jìn)行修復(fù)。修復(fù)虛擬機(jī)不會(huì)影響用戶數(shù)據(jù)，確保用戶信息不丟失。創(chuàng)建虛擬機(jī)快照虛擬機(jī)快照可保留虛擬機(jī)某一個(gè)時(shí)刻的狀態(tài)，當(dāng)虛擬機(jī)出現(xiàn)故障時(shí)，管理員可以使用快照將虛擬機(jī)恢復(fù)到創(chuàng)建快照的時(shí)刻點(diǎn)。虛擬機(jī)資源調(diào)整管理員可以根據(jù)業(yè)務(wù)負(fù)載調(diào)整資源的使用情況。虛擬機(jī)資源調(diào)整包括：調(diào)整虛擬機(jī)的QoS配置了虛擬機(jī)CPUQoS后，當(dāng)虛擬機(jī)啟動(dòng)時(shí)，系統(tǒng)會(huì)根據(jù)當(dāng)前資源使用情況為虛擬機(jī)的VCPU綁定物理CPU，直到虛擬機(jī)關(guān)機(jī)。--

調(diào)整虛擬機(jī) CPU數(shù)目管理員可以根據(jù)需要，增加或者減少虛擬機(jī)的CPU核數(shù)，以便滿足虛擬機(jī)上業(yè)務(wù)負(fù)載發(fā)生變化時(shí)，對(duì)計(jì)算資源的不同需求。調(diào)整內(nèi)存大小管理員可以根據(jù)需要增加或者減少虛擬機(jī)的內(nèi)存容量，以便滿足虛擬機(jī)上業(yè)務(wù)負(fù)載發(fā)生變化時(shí)對(duì)內(nèi)存的需求。----

增加或修改虛擬磁盤管理員通過(guò)增加虛擬磁盤或修改磁盤容量，滿足業(yè)務(wù)對(duì)虛擬機(jī)磁盤容量變化的需求，實(shí)現(xiàn)存儲(chǔ)資源的靈活使用。刪除虛擬磁盤管理員通過(guò)刪除虛擬磁盤，釋放不使用的磁盤空間，滿足業(yè)務(wù)對(duì)虛擬機(jī)磁盤容量變化的需求，實(shí)現(xiàn)存儲(chǔ)資源的靈活使用。增加或修改網(wǎng)卡管理員通過(guò)增加虛擬網(wǎng)卡或修改網(wǎng)卡屬性，調(diào)整虛擬機(jī)的網(wǎng)絡(luò)屬性，實(shí)現(xiàn)網(wǎng)絡(luò)資源的靈活使用。刪除網(wǎng)卡管理員通過(guò)刪除虛擬網(wǎng)卡，釋放不使用的網(wǎng)卡，實(shí)現(xiàn)網(wǎng)絡(luò)資源的靈活使用。2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第18頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密--

增加USB控制器管理員可以為 VMware虛擬化環(huán)境中的虛擬機(jī)添加 USB控制器，添加 USB控制器后，虛擬機(jī)就可以綁定 USB設(shè)備。刪除USB控制器管理員可以為 VMware虛擬化環(huán)境中的虛擬機(jī)刪除 USB控制器，以釋放虛擬機(jī)所占用的USB控制器資源。- 綁定或解綁定 USB設(shè)備管理員將虛擬機(jī)與主機(jī)上的 USB設(shè)備進(jìn)行綁定，使得虛擬機(jī)能夠訪問(wèn) USB設(shè)備，滿足用戶需求。也可以解綁定，及時(shí)釋放虛擬機(jī)占用的 USB設(shè)備資源。- 調(diào)整虛擬機(jī)磁盤的 IO上限管理員可設(shè)置虛擬機(jī)每個(gè)磁盤的 IO上限，以避免某個(gè)虛擬機(jī)的磁盤 IO過(guò)大，影響其他虛擬機(jī)的性能。虛擬機(jī)性能監(jiān)控在FusionManager系統(tǒng)中，管理員可以獲取虛擬機(jī) CPU占用率、內(nèi)存占用率、網(wǎng)絡(luò)流速和磁盤 I/O等信息，還可以按周、月、年及自定義時(shí)段查詢性能監(jiān)控結(jié)果。虛擬存儲(chǔ)管理FusionManager系統(tǒng)可以管理分布式存儲(chǔ)系統(tǒng)上的存儲(chǔ)資源，以數(shù)據(jù)存儲(chǔ)為單位分配給資源集群使用。資源集群管理資源集群由計(jì)算資源、存儲(chǔ)資源和網(wǎng)絡(luò)資源組成。資源集群是對(duì)計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等物理資源的分組，資源集群之間是相對(duì)隔離的。一個(gè)虛擬化環(huán)境中可以有多個(gè)資源集群。資源集群管理包括創(chuàng)建資源集群、刪除資源集群、擴(kuò)容資源集群、減容資源集群、查詢資源集群、資源集群性能監(jiān)控和資源集群的調(diào)度策略等。在 FusionSphere解決方案中，在虛擬化環(huán)境（例如FusionCompute或VMware的vSphere）上實(shí)現(xiàn)了創(chuàng)建資源集群、刪除資源集群、擴(kuò)容資源集群、減容資源集群功能。在FusionManager實(shí)現(xiàn)查詢資源集群、資源集群性能監(jiān)控和資源集群的調(diào)度策略等功能。查看資源集群2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第19頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密管理員可以在FusionManager上查看資源集群的基本信息，例如資源集群名稱、資源集群所屬域、資源集群所屬虛擬化環(huán)境、資源集群所屬資源分區(qū)、資源集群中的虛擬機(jī)、資源集群中主機(jī)資源和存儲(chǔ)資源等信息。資源集群性能監(jiān)控管理員可以在 FusionManager上按周、月、年和自定義時(shí)間段查詢資源集群性能監(jiān)控。監(jiān)控指標(biāo)包含平均 CPU占用率、平均內(nèi)存占用率、平均網(wǎng)絡(luò)流速、 TOPCPU占用主機(jī)等信息。設(shè)置資源調(diào)度策略管理員可以在 FusionManager上設(shè)置、查看和處理資源調(diào)度策略。資源調(diào)度是指通過(guò)檢查資源集群內(nèi)各個(gè)主機(jī)的負(fù)載情況，當(dāng)系統(tǒng)發(fā)現(xiàn)部分主機(jī)負(fù)載較重，會(huì)自動(dòng)在不同的主機(jī)之間遷移虛擬機(jī)（自動(dòng)）或者給出虛擬機(jī)遷移建議（手動(dòng)），以達(dá)到同一資源集群內(nèi)的不同主機(jī)間的負(fù)載均衡。虛擬負(fù)載均衡管理FusionManager可以為用戶虛擬機(jī)或主機(jī)提供負(fù)載均衡服務(wù)。 用戶通過(guò)申請(qǐng)負(fù)載均衡服務(wù)器，將虛擬機(jī)或主機(jī)關(guān)聯(lián)到負(fù)載均衡器。負(fù)載均衡器根據(jù)用戶設(shè)定的負(fù)載均衡策略，將業(yè)務(wù)請(qǐng)求均勻分發(fā)到與之關(guān)聯(lián)的虛擬機(jī)或主機(jī)上，保證業(yè)務(wù)的穩(wěn)定性和可靠性。負(fù)載均衡器管理管理員可以查詢、創(chuàng)建、刪除負(fù)載均衡器。監(jiān)聽(tīng)器管理管理員可以在已經(jīng)創(chuàng)建的負(fù)載均衡器上，增加新的監(jiān)聽(tīng)器。每個(gè)負(fù)載均衡器中可以創(chuàng)建多個(gè)監(jiān)聽(tīng)器，對(duì)外提供服務(wù)。綁定虛擬機(jī)或主機(jī)管理員可以在FusionManager中，將虛擬機(jī)或主機(jī)綁定到負(fù)載均衡器上，以實(shí)現(xiàn)綁定虛擬機(jī)或主機(jī)的負(fù)載均衡。負(fù)載均衡策略可以選擇輪詢模式或者最小連接模式。自動(dòng)化運(yùn)維管理員還可以針對(duì)不同應(yīng)用設(shè)置不同的伸縮策略， 系統(tǒng)自動(dòng)根據(jù)伸縮策略和應(yīng)用的負(fù)載進(jìn)行2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第20頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密資源彈性伸縮調(diào)度。應(yīng)用自動(dòng)伸縮管理員可以通過(guò)對(duì)不同的應(yīng)用設(shè)置不同的資源使用策略， 以達(dá)到應(yīng)用自動(dòng)伸縮的目的。 設(shè)置了自動(dòng)伸縮策略后， 系統(tǒng)會(huì)自動(dòng)根據(jù)資源策略和應(yīng)用的資源占用率對(duì)應(yīng)用進(jìn)行動(dòng)態(tài)伸縮 （例如，增加或減少該應(yīng)用的虛擬機(jī)），使應(yīng)用達(dá)到最佳資源占有狀態(tài)。自動(dòng)伸縮策略包含組內(nèi)自動(dòng)伸縮策略、組間自動(dòng)伸縮策略和計(jì)劃任務(wù)。組內(nèi)自動(dòng)伸縮策略組內(nèi)自動(dòng)伸縮策略是針對(duì)一個(gè)應(yīng)用而言的。當(dāng)某個(gè)應(yīng)用的 CPU、內(nèi)存資源的占用率較高，或者磁盤寫入 /讀取速度、網(wǎng)絡(luò)流入 /流出速度較高時(shí)，系統(tǒng)可以自動(dòng)為該應(yīng)用添加虛擬機(jī)，并自動(dòng)安裝虛擬機(jī)的應(yīng)用軟件，以降低應(yīng)用的整體資源負(fù)載，使應(yīng)用能夠健康的運(yùn)行。同時(shí)，當(dāng)應(yīng)用的資源占用率很低時(shí)，系統(tǒng)可以自動(dòng)減少該應(yīng)用所使用的虛擬機(jī)，釋放相應(yīng)的資源，以達(dá)到應(yīng)用間資源的有效復(fù)用和節(jié)能減排的目的。組間自動(dòng)伸縮策略組間自動(dòng)伸縮策略是針對(duì)應(yīng)用組而言的。指當(dāng)系統(tǒng) CPU或內(nèi)存資源不足的情況下，系統(tǒng)自動(dòng)根據(jù)組間設(shè)置的資源復(fù)用策略，在資源緊張的情況下，自動(dòng)釋放優(yōu)先級(jí)低的資源，以供優(yōu)先級(jí)高的應(yīng)用使用。計(jì)劃任務(wù)計(jì)劃任務(wù)是針對(duì)應(yīng)用組而言的。時(shí)間計(jì)劃策略允許用戶對(duì)于不同的應(yīng)用實(shí)現(xiàn)資源的分時(shí)復(fù)用。用戶可以設(shè)置計(jì)劃策略，使得不同的應(yīng)用分時(shí)段的使用系統(tǒng)資源。例如，白天讓辦公用戶的虛擬機(jī)使用系統(tǒng)資源，晚上分配資源給公共虛擬機(jī)。開(kāi)放API和SDKFusionManager提供了支持多語(yǔ)言的 SDK包和靈活的API接口，供用戶進(jìn)行二次開(kāi)發(fā)。開(kāi)放SDKFusionManager 提供多語(yǔ)言 SDK包，供客戶進(jìn)行二次開(kāi)發(fā)，支持 JAVA和Python兩種開(kāi)發(fā)語(yǔ)言。2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第21頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密FusionManager 同時(shí)提供了 SDK接口文檔、二次開(kāi)發(fā)指南和開(kāi)發(fā)樣例，為客戶順利進(jìn)行二次開(kāi)發(fā)提供指導(dǎo)。開(kāi)發(fā)APIFusionManager系統(tǒng)提供開(kāi)放 API，上層網(wǎng)管通過(guò)開(kāi)放 API從FusionManager中獲取資源信息，方便上層網(wǎng)管管理員對(duì)系統(tǒng)進(jìn)行管理和維護(hù)。接口安全保護(hù)上層網(wǎng)管通過(guò) http和https協(xié)議與開(kāi)放API互通。開(kāi)放API和上層網(wǎng)管對(duì)接使用用戶名和密碼進(jìn)行認(rèn)證。為了保證密碼傳輸安全性， FusionManager系統(tǒng)對(duì)密碼采用了 RSA2048非對(duì)稱加密。運(yùn)維數(shù)據(jù)獲取通過(guò)開(kāi)放API接口，上層網(wǎng)管管理員可方便獲取 FusionManager 系統(tǒng)的運(yùn)維管理數(shù)據(jù)。例如，實(shí)時(shí)和歷史告警數(shù)據(jù)、資源的實(shí)時(shí)和歷史監(jiān)控?cái)?shù)據(jù)等。通過(guò)開(kāi)放API接口，上層網(wǎng)管管理員可方便獲取 FusionManager 系統(tǒng)的資源信息。例如，集群資源、服務(wù)器資源、交換機(jī)資源和虛擬機(jī)資源等。資源的操作維護(hù)通過(guò)開(kāi)放API接口，上層網(wǎng)管管理員可對(duì)FusionManager系統(tǒng)資源進(jìn)行維護(hù)操作。例如，對(duì)虛擬機(jī)進(jìn)行啟動(dòng)、停止、重啟等操作；對(duì)服務(wù)器進(jìn)行上電、下電、重啟等操作。監(jiān)控管理FusionManager提供拓?fù)涔芾怼⑿阅鼙O(jiān)控、告警管理、任務(wù)中心管理和操作日志管理等監(jiān)控管理功能。管理員可以通過(guò)監(jiān)控信息，了解整個(gè)系統(tǒng)的軟件和硬件的運(yùn)行情況，及時(shí)進(jìn)行故障處理。拓?fù)涔芾砉芾韱T通過(guò)拓?fù)湟晥D可以查看物理硬件資源視圖和虛擬機(jī)資源視圖，通過(guò)拓?fù)湟晥D可以了解計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)以及虛擬資源的邏輯關(guān)系。監(jiān)控管理2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第22頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密狀態(tài)監(jiān)控管理員可以查看計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源和虛擬資源的當(dāng)前狀態(tài)，通過(guò)儀盤表的視圖方式了解系統(tǒng)的軟硬件資源，還可以導(dǎo)出歷史監(jiān)控?cái)?shù)據(jù)。容量監(jiān)控管理員可以查看計(jì)算資源、存儲(chǔ)資源、網(wǎng)絡(luò)資源和虛擬資源等的系統(tǒng)資源容量情況，以便維護(hù)人員和管理員可以提前發(fā)現(xiàn)擴(kuò)減容需求，避免資源浪費(fèi)和過(guò)載的發(fā)生。告警管理告警管理是指集中監(jiān)控所有軟硬件告警， 包括計(jì)算設(shè)備告警、存儲(chǔ)設(shè)備告警和虛擬資源告警。所有軟硬件告警統(tǒng)一以列表的方式呈現(xiàn)給管理員。告警分為以下幾個(gè)級(jí)別：緊急：此類故障會(huì)影響系統(tǒng)提供的服務(wù)，需立即采取處理措施。重要：此類故障會(huì)影響系統(tǒng)的服務(wù)質(zhì)量，需要采取緊急處理措施。次要：此類故障不影響服務(wù)質(zhì)量，但為了避免造成更嚴(yán)重的故障，需要在適當(dāng)時(shí)間進(jìn)行處理或進(jìn)一步觀察。提示：此類故障提示可能有潛在的錯(cuò)誤會(huì)影響系統(tǒng)的服務(wù)質(zhì)量，需根據(jù)不同錯(cuò)誤類型進(jìn)行處理。為了提高管理員告警處理的效率，您可以進(jìn)行如下告警功能設(shè)置：設(shè)置告警轉(zhuǎn)郵件：可以設(shè)置將相應(yīng)級(jí)別的告警自動(dòng)轉(zhuǎn)到管理員郵箱，方便管理員及時(shí)獲取和處理告警。設(shè)置告警閾值：可以設(shè)置CPU占用率、內(nèi)存占用率、磁盤I/O、網(wǎng)絡(luò)流量等告警閾值，在系統(tǒng)資源達(dá)到閾值時(shí)，產(chǎn)生告警。操作日志管理管理員可以在 FusionManager查詢和導(dǎo)出用戶操作日志。計(jì)量管理FusionManager支持自動(dòng)將計(jì)量數(shù)據(jù)記錄到文件， 并通過(guò)FTP和話單服務(wù)器對(duì)接， 將計(jì)量數(shù)據(jù)上傳到話單服務(wù)器。2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第23頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密計(jì)次話單在用戶進(jìn)行虛擬機(jī)、塊存儲(chǔ)、備份和各類網(wǎng)絡(luò)資源的申請(qǐng)、修改、釋放、凍結(jié)和解凍等操作時(shí)，F(xiàn)usionManager記錄相關(guān)信息到話單文件，并發(fā)送話單文件給話單服務(wù)器。審計(jì)話單審計(jì)話單是對(duì)計(jì)量話單的補(bǔ)充，在計(jì)次信息遺漏時(shí)，為計(jì)費(fèi)提供依據(jù)。其中，虛擬機(jī)的審計(jì)話單記錄周期可配置，其他資源的審計(jì)話單記錄周期是 5分鐘。負(fù)載均衡流量話單FusionManager定時(shí)（每隔一小時(shí)）記錄每個(gè)負(fù)載均衡器的流量信息到文件，并發(fā)送給話單服務(wù)器。彈性IP流量話單FusionManager實(shí)時(shí)收集網(wǎng)絡(luò)的彈性 IP流量信息，記錄到文件，并發(fā)送給話單服務(wù)器。0安全管理FusionManager提供了全方位的安全體系。包括日志安全管理、賬戶和密碼安全管理、權(quán)限管理、WEB安全管理、數(shù)據(jù)安全管理、操作系統(tǒng)安全管理和防畸形報(bào)文攻擊安全管理等。日志安全管理管理員通過(guò)查看日志了解系統(tǒng)的運(yùn)行情況和操作記錄，從而進(jìn)行用戶行為審計(jì)和問(wèn)題定位。操作日志記錄了用戶對(duì)系統(tǒng)所做的操作以及操作的結(jié)果，例如登錄、退出系統(tǒng)和創(chuàng)建虛擬機(jī)等。記錄操作日志，可以快速定位系統(tǒng)是否遭受惡意的操作和攻擊。賬戶和密碼管理FusionManager提供常見(jiàn)賬戶的密碼修改功能，管理員可以定期修改密碼，保證系統(tǒng)的密碼安全性。權(quán)限管理FusionManager為管理員提供了功能強(qiáng)大的權(quán)限管理功能，使用戶在不同的組織和域下進(jìn)行獨(dú)立的操作，實(shí)現(xiàn)用戶數(shù)據(jù)隔離。從而保證了系統(tǒng)內(nèi)部資源的安全性。詳情請(qǐng)參考5.1基于2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第24頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密角色訪問(wèn)控制 。WEB安全管理防范Web應(yīng)用的基本攻擊，如防止 SQL注入，防止跨站腳本攻擊。登錄頁(yè)面支持圖片驗(yàn)證碼。在Web系統(tǒng)的登錄頁(yè)面，系統(tǒng)隨機(jī)生成驗(yàn)證碼；只有當(dāng)用戶名、密碼和隨機(jī)驗(yàn)證碼全部驗(yàn)證通過(guò)時(shí)，用戶才能登錄。用戶第一次登錄時(shí)沒(méi)有驗(yàn)證碼輸入界面， 只有密碼輸入錯(cuò)誤時(shí)才會(huì)彈出驗(yàn)證碼輸入界面。長(zhǎng)時(shí)間不使用 Web管理系統(tǒng)，系統(tǒng)會(huì)自動(dòng)鎖定該管理系統(tǒng)。數(shù)據(jù)安全管理數(shù)據(jù)庫(kù)必須進(jìn)行基礎(chǔ)的安全的配置， 保證數(shù)據(jù)庫(kù)運(yùn)行安全， PostgreSQL數(shù)據(jù)庫(kù)的主要安全配置如下：記錄數(shù)據(jù)庫(kù)的操作日志。禁止數(shù)據(jù)庫(kù)帳戶遠(yuǎn)程訪問(wèn)數(shù)據(jù)庫(kù)，只能本地訪問(wèn)數(shù)據(jù)庫(kù)?？赏ㄟ^(guò)系統(tǒng)數(shù)據(jù)備份，備份文件和數(shù)據(jù)庫(kù)的數(shù)據(jù)，可供管理員在系統(tǒng)故障時(shí)恢復(fù)系統(tǒng)。操作系統(tǒng)安全管理FusionManager系統(tǒng)使用SUSELinux操作系統(tǒng)，為了保證系統(tǒng)安全性。已經(jīng)對(duì) SUSELinux操作系統(tǒng)進(jìn)行基礎(chǔ)的安全配置，基礎(chǔ)安全配置的主要內(nèi)容如下：關(guān)閉不必要的服務(wù)，如屏蔽 Telnet服務(wù)和FTP服務(wù)。加固SSH的服務(wù)。控制文件和目錄的訪問(wèn)權(quán)限。記錄操作日志。防畸形報(bào)文安全FusionManager系統(tǒng)與終端用戶有交互、與非信任網(wǎng)絡(luò)互聯(lián)、容易受攻擊的等協(xié)議，在測(cè)試過(guò)程中進(jìn)行了畸形報(bào)文攻擊測(cè)試，使用 Codenomicon 、xDefend進(jìn)行畸泛洪類、畸形報(bào)文攻2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第25頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密擊測(cè)試。從而保證了系統(tǒng)交互的安全性。2.2系統(tǒng)部署方案2.2.1 總體組網(wǎng)方案管理員Internet Intranet防火墻業(yè)務(wù)網(wǎng)絡(luò)VRRP管理網(wǎng)絡(luò)客戶數(shù)通網(wǎng)絡(luò)核心交換機(jī)業(yè)務(wù)/管理混合一體機(jī)網(wǎng)絡(luò)FusionCube一體機(jī)部署在客戶的數(shù)據(jù)中心機(jī)房中；采用 4*10GE上行到客戶核心交換機(jī)。網(wǎng)絡(luò)通信平面劃分為業(yè)務(wù)網(wǎng)、管理網(wǎng)。兩個(gè)網(wǎng)絡(luò)之間通過(guò) VLAN是隔離的，保證最終用戶不能破壞基礎(chǔ)平臺(tái)。采用RH2288H機(jī)架服務(wù)器。一體機(jī)融合計(jì)算和存儲(chǔ)資源，提供虛擬化資源。每臺(tái)服務(wù)器配置1個(gè)2*10GE端口的普通網(wǎng)卡。每個(gè)機(jī)柜配置 1對(duì)S6724交換機(jī)+1個(gè)S5728（BMC接入），2017-9-13 華為機(jī)密，未經(jīng)許可不得擴(kuò)散 第26頁(yè),共31頁(yè)ConfidentialityLevel招行北京分行 FusionStorage 分布式存儲(chǔ)系統(tǒng)技術(shù)建議書 機(jī)密每個(gè)機(jī)柜支持 12臺(tái)RH2288H(單柜6kW)；機(jī)柜間匯聚交換機(jī)可以是客戶提供，也可以由華為提供。如果是華為提供可選擇 1對(duì)S6724作為匯聚交換機(jī)（支持 9柜）或者1對(duì)S6748（支持20柜）。一體機(jī)采用服務(wù)器上的本地存儲(chǔ)。 本地存儲(chǔ)通過(guò) SAS口直接連接到服務(wù)器上。 本地存儲(chǔ)通過(guò)FusionStorage分布式存儲(chǔ)軟件系統(tǒng)虛擬化成一個(gè)大資源池給用戶使用。一體機(jī)內(nèi)部網(wǎng)絡(luò)按照二層網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)， 和客戶網(wǎng)絡(luò)連接可以選擇采用二層模式， 二層模式是，子網(wǎng)的網(wǎng)關(guān)配置客戶網(wǎng)絡(luò)， 僅將一體機(jī)交換機(jī)作為接入交換機(jī)。 主要應(yīng)用于要求管理與業(yè)務(wù)隔離，用戶可配置不同子網(wǎng)安全隔離。2.2.2與客戶網(wǎng)絡(luò)對(duì)接服務(wù)器側(cè)邏輯上分為三個(gè)平面：業(yè)務(wù)平面、存儲(chǔ)平面和管理平面，且三個(gè)平面之間是隔離的，保證最終用戶不能破壞基礎(chǔ)平臺(tái)。存儲(chǔ)平面：服務(wù)器上存儲(chǔ)間通過(guò)存儲(chǔ)網(wǎng)絡(luò)二層直接互通。存儲(chǔ)設(shè)備為虛擬機(jī)提供存儲(chǔ)資源，但不直接與虛擬機(jī)通信，而通過(guò)虛擬化平臺(tái)轉(zhuǎn)化。業(yè)務(wù)平面：為用戶提供業(yè)務(wù)通道，為虛擬機(jī)虛擬網(wǎng)卡的通信平面，對(duì)外提供業(yè)務(wù)應(yīng)用。可針對(duì)不同虛擬機(jī)細(xì)分VLAN進(jìn)行訪問(wèn)隔離。管理平面：負(fù)責(zé)整個(gè)云計(jì)算系統(tǒng)的管理、業(yè)務(wù)部署、系統(tǒng)加載等流量的通信。BMC平面主要負(fù)責(zé)服務(wù)器的管理，BMC平面和管理平面隔離。服務(wù)器采用2個(gè)10GE網(wǎng)口進(jìn)行組網(wǎng)，業(yè)務(wù)、管理、存儲(chǔ)平面通過(guò)兩網(wǎng)卡聚合確保鏈路冗余。外置2個(gè)10GE交換機(jī)進(jìn)行接入和匯聚，用于接入機(jī)柜內(nèi)所有機(jī)架服務(wù)器，以及柜間級(jí)聯(lián)。在交換機(jī)上劃分VLAN，將管理、業(yè)務(wù)、存儲(chǔ)三個(gè)平面邏輯隔離，機(jī)柜內(nèi)交換機(jī)再上行匯聚到客戶網(wǎng)絡(luò)中。一體機(jī)默認(rèn)VLAN劃分：BMC平面為VLAN4030，管理平面為VLAN4040，存儲(chǔ)平面為VLAN4050，業(yè)務(wù)平面為VLAN2-4000；其中管理平面的子網(wǎng)網(wǎng)段及VLAN劃分可根據(jù)