金融企業(yè)分布式存儲(chǔ)方案設(shè)計(jì)

1、 金融企業(yè)分布式存儲(chǔ)方案設(shè)計(jì) 目 錄 TOC o 1-3 h z u HYPERLINK l _Toc66546898 金融企業(yè)分布式存儲(chǔ)方案設(shè)計(jì) PAGEREF _Toc66546898 h 1 HYPERLINK l _Toc66546899 1、項(xiàng)目概述 PAGEREF _Toc66546899 h 3 HYPERLINK l _Toc66546900 1.1 項(xiàng)目背景 PAGEREF _Toc66546900 h 3 HYPERLINK l _Toc66546901 1.2 項(xiàng)目需求 PAGEREF _Toc66546901 h 3 HYPERLINK l _Toc66546902 2

2、、架構(gòu)設(shè)計(jì) PAGEREF _Toc66546902 h 5 HYPERLINK l _Toc66546903 2.1 硬件平臺(tái) PAGEREF _Toc66546903 h 5 HYPERLINK l _Toc66546904 2.2 總體架構(gòu)設(shè)計(jì) PAGEREF _Toc66546904 h 6 HYPERLINK l _Toc66546905 2.3 兩種部署方式 PAGEREF _Toc66546905 h 7 HYPERLINK l _Toc66546906 3、網(wǎng)絡(luò)設(shè)計(jì)方案 PAGEREF _Toc66546906 h 9 HYPERLINK l _Toc66546907 3.1

3、在機(jī)架式服務(wù)器上使用組網(wǎng)方案 PAGEREF _Toc66546907 h 9 HYPERLINK l _Toc66546908 3.2 在刀片服務(wù)器上使用組網(wǎng)方案 PAGEREF _Toc66546908 h 10 HYPERLINK l _Toc66546909 4、部分業(yè)界主流分布式存儲(chǔ)產(chǎn)品介紹 PAGEREF _Toc66546909 h 12 HYPERLINK l _Toc66546910 4.1 免費(fèi)開(kāi)源版本Ceph PAGEREF _Toc66546910 h 13 HYPERLINK l _Toc66546911 4.2 國(guó)內(nèi)商業(yè)版本FusionStorage & Ocean

4、Stor DJ PAGEREF _Toc66546911 h 14 HYPERLINK l _Toc66546912 4.3 產(chǎn)學(xué)研版本碧海分布式存儲(chǔ)系統(tǒng)（BOSS） PAGEREF _Toc66546912 h 16本文分析了金融行業(yè)機(jī)構(gòu)對(duì)于核心存儲(chǔ)的需求、采用分布式存儲(chǔ)方案的架構(gòu)設(shè)計(jì)、網(wǎng)絡(luò)設(shè)計(jì)，并介紹了部分業(yè)界主流分布式存儲(chǔ)產(chǎn)品。1、項(xiàng)目概述1.1 項(xiàng)目背景目前我司所處的金融行業(yè)也正處于技術(shù)更新?lián)Q代變革的時(shí)代，傳統(tǒng)依托于大小機(jī)的各種系統(tǒng)逐漸過(guò)渡到云端，X86架構(gòu)逐漸成為趨勢(shì)與主流，以各大銀行為代表的金融行業(yè)開(kāi)始逐漸采用虛擬化與云計(jì)算技術(shù)來(lái)構(gòu)建IT系統(tǒng)，提升IT系統(tǒng)的資源利用率。計(jì)算、存儲(chǔ)與

5、網(wǎng)絡(luò)之間的協(xié)調(diào)聯(lián)動(dòng)，構(gòu)建了一個(gè)完整的云平臺(tái)生態(tài)環(huán)境；傳統(tǒng)的集中式存儲(chǔ)由于穩(wěn)定可靠，一度成為金融機(jī)構(gòu)在建設(shè)IT系統(tǒng)時(shí)候的首要選擇。然而，在新時(shí)代，新技術(shù)以及新需求的背景下，傳統(tǒng)SAN在企業(yè)基礎(chǔ)設(shè)施池化、云化中面臨了很多問(wèn)題：存儲(chǔ)資源彈性問(wèn)題：多業(yè)務(wù)負(fù)載、資源的動(dòng)態(tài)需求變化存儲(chǔ)擴(kuò)展的問(wèn)題：共享、擴(kuò)展面臨了諸多的瓶頸和問(wèn)題（機(jī)頭、前后端網(wǎng)絡(luò)、CPU/Cache與HDD不同步問(wèn)題）形態(tài)和實(shí)施的成本、復(fù)雜性問(wèn)題：獨(dú)立的存儲(chǔ)網(wǎng)絡(luò)，建設(shè)成本高、實(shí)施復(fù)雜（初始實(shí)施、擴(kuò)減容等）容錯(cuò)和可靠性問(wèn)題：大規(guī)模集群中容忍的故障域問(wèn)題（跨機(jī)柜、跨機(jī)房），硬盤(pán)重建時(shí)間長(zhǎng)問(wèn)題針對(duì)上述問(wèn)題，近些年來(lái)新興的基于X86平臺(tái)的分布式存

6、儲(chǔ)系統(tǒng)滿(mǎn)足了業(yè)務(wù)平臺(tái)日益增長(zhǎng)的存儲(chǔ)需求，為業(yè)務(wù)平臺(tái)提供高安全性、高可靠性、高可用性和開(kāi)放性的存儲(chǔ)服務(wù)。基于X86平臺(tái)的分布式存儲(chǔ)系統(tǒng)基于分布式處理技術(shù)、虛擬化技術(shù)和集群技術(shù)實(shí)現(xiàn)，作為云計(jì)算資源池存儲(chǔ)資源池的一部分，為計(jì)算資源池提供高速、可靠、安全的塊存儲(chǔ)服務(wù)。1.2 項(xiàng)目需求在大數(shù)據(jù)時(shí)代背景下，金融行業(yè)各個(gè)企業(yè)逐漸地將這些理念融合到自身業(yè)務(wù)發(fā)展之中，并加以創(chuàng)新，期望通過(guò)借助大數(shù)據(jù)的能力，更加深入了解客戶(hù)，控制風(fēng)險(xiǎn)。金融行業(yè)機(jī)構(gòu)繼續(xù)推進(jìn)互聯(lián)網(wǎng)金融戰(zhàn)略，探索互聯(lián)網(wǎng)金融為銀行卡數(shù)據(jù)挖掘、遠(yuǎn)程開(kāi)戶(hù)、虛擬卡發(fā)行等業(yè)務(wù)帶來(lái)的新機(jī)遇，并結(jié)合市場(chǎng)需求和新興技術(shù)推出網(wǎng)購(gòu)一鍵支付、互聯(lián)網(wǎng)跨行智能收付平臺(tái)、云POS

7、等新興支付服務(wù)和產(chǎn)品。一直以來(lái)金融行業(yè)機(jī)構(gòu)對(duì)于數(shù)據(jù)中心的核心存儲(chǔ)的基本要求卻一直很明確：1、高性能移動(dòng)支付業(yè)務(wù)正走在高速發(fā)展的道路上，在過(guò)去幾年乃至未來(lái)幾年必定會(huì)是產(chǎn)業(yè)各方競(jìng)爭(zhēng)的焦點(diǎn)。從2015年初一直到2016年帶二季度，據(jù)統(tǒng)計(jì)全國(guó)第三方支付市場(chǎng)規(guī)模一直保持著季度間20%以上的增長(zhǎng)速度。在具體業(yè)務(wù)場(chǎng)景中，每秒的交易筆數(shù)也在穩(wěn)步增長(zhǎng)，尤其是在某些特定的節(jié)假日或者品牌促銷(xiāo)日中，會(huì)迎來(lái)交易業(yè)務(wù)的高峰。從企業(yè)角度衡量，后端交易系統(tǒng)為了保證業(yè)務(wù)的穩(wěn)定運(yùn)行，勢(shì)必需要對(duì)存儲(chǔ)系統(tǒng)提出高性能、高帶寬的嚴(yán)格要求。面對(duì)超大規(guī)模的數(shù)據(jù)請(qǐng)求和節(jié)點(diǎn)數(shù)，存儲(chǔ)系統(tǒng)應(yīng)該有能力進(jìn)行高效的均衡負(fù)載，充分發(fā)揮空閑節(jié)點(diǎn)的資源保障存儲(chǔ)

8、服務(wù)質(zhì)量，提高系統(tǒng)的運(yùn)行效能；并根據(jù)存儲(chǔ)設(shè)備的性能為業(yè)務(wù)選擇合適的存儲(chǔ)資源，對(duì)業(yè)務(wù)進(jìn)行依據(jù)服務(wù)等級(jí)協(xié)議（SLA）進(jìn)行多層次自動(dòng)負(fù)載均衡和調(diào)度。2、高可靠性對(duì)于金融行業(yè)機(jī)構(gòu)來(lái)說(shuō)，數(shù)據(jù)安全永遠(yuǎn)排在所有需求的首位。金融行業(yè)數(shù)據(jù)中心的存儲(chǔ)系統(tǒng)首先應(yīng)該具備的就是高可靠性。存儲(chǔ)系統(tǒng)自身因該具有一定的容災(zāi)備份的能力，包括多副本存儲(chǔ)、增量備份、實(shí)時(shí)快照、數(shù)據(jù)復(fù)制、數(shù)據(jù)遷移以及無(wú)條件的數(shù)據(jù)恢復(fù)能力。甚至于隨著數(shù)據(jù)增長(zhǎng)，存儲(chǔ)規(guī)模擴(kuò)大到一定程度的時(shí)候，很難在一個(gè)數(shù)據(jù)中心內(nèi)進(jìn)行資源管理，存儲(chǔ)系統(tǒng)應(yīng)該能夠提供跨數(shù)據(jù)中心的數(shù)據(jù)存儲(chǔ)服務(wù)，并支持跨域訪(fǎng)問(wèn)、異地容災(zāi)備份、異地雙活等能力。新的存儲(chǔ)系統(tǒng)的高可靠性同時(shí)也應(yīng)該體現(xiàn)在能

9、夠提供租戶(hù)和業(yè)務(wù)的隔離，以及億用戶(hù)外單位、以業(yè)務(wù)為單位、以存儲(chǔ)硬件為單位的數(shù)據(jù)隔離策略上，通過(guò)豐富的管理策略，進(jìn)一步保證數(shù)據(jù)安全，為數(shù)據(jù)中心的長(zhǎng)久無(wú)錯(cuò)運(yùn)行保駕護(hù)航。3、擴(kuò)容方便面對(duì)互聯(lián)網(wǎng)金融和普惠金融的發(fā)展，現(xiàn)有的數(shù)據(jù)中心無(wú)法像以前一樣預(yù)估資源的消耗，因而，沒(méi)有辦法保證一次性采購(gòu)足夠的存儲(chǔ)，從另一個(gè)角度來(lái)說(shuō)，預(yù)估采購(gòu)會(huì)造成資源的階段性冗余和浪費(fèi)。在存儲(chǔ)設(shè)備的使用過(guò)程中，任何企業(yè)不可避免的會(huì)遇到調(diào)整存儲(chǔ)資源池的需求。要求存儲(chǔ)資源池根據(jù)業(yè)務(wù)的需求增加或者減少存儲(chǔ)設(shè)備并且會(huì)要求在調(diào)整的過(guò)程中，盡量減少對(duì)業(yè)務(wù)的影響，即業(yè)務(wù)不能被中斷。因而一個(gè)支持平滑擴(kuò)容，無(wú)需中斷業(yè)務(wù)即可無(wú)縫擴(kuò)展的存儲(chǔ)架構(gòu)是現(xiàn)有背景下

10、所急需的?；赬86的分布式存儲(chǔ)系統(tǒng)能夠針對(duì)業(yè)務(wù)進(jìn)行專(zhuān)業(yè)化的策略管理的新型存儲(chǔ)系統(tǒng)，例如根據(jù)業(yè)務(wù)的變化彈性配額、根據(jù)業(yè)務(wù)量的變化彈性存儲(chǔ)性能擴(kuò)展等；提供對(duì)租戶(hù)和業(yè)務(wù)的隔離以及以用戶(hù)為單位、以業(yè)務(wù)為單位、以存儲(chǔ)容器為單位的數(shù)據(jù)隔離。4、存儲(chǔ)系統(tǒng)的通用性強(qiáng)系統(tǒng)要支持自動(dòng)對(duì)硬件資源的部署、優(yōu)化和管理，將各類(lèi)存儲(chǔ)資源進(jìn)行靈活的配置，實(shí)現(xiàn)應(yīng)用按需求（容量、性能、QoS、SLA等）進(jìn)行分配。同時(shí)可以對(duì)外提供豐富的標(biāo)準(zhǔn)接口，如文件系統(tǒng)接口（NFS、CIFS）、塊接口（iSCIS、FC）或者對(duì)象接口（S3、SWIFT）；對(duì)內(nèi)能夠提供標(biāo)準(zhǔn)的管理接口進(jìn)行配置，通過(guò)策略服務(wù)滿(mǎn)足應(yīng)用和客戶(hù)所需的存儲(chǔ)資源，無(wú)需人工干預(yù)

11、。由于之前存儲(chǔ)系統(tǒng)緊耦合的原因，造成了現(xiàn)有數(shù)據(jù)中內(nèi)部常常出現(xiàn)多廠家不同型號(hào)的存儲(chǔ)設(shè)備共存的現(xiàn)象，這些存儲(chǔ)設(shè)備之間往往沒(méi)有通用的接口，并且存在技術(shù)壁壘，維保服務(wù)需要獨(dú)立采購(gòu)?；赬86架構(gòu)的分布式存儲(chǔ)系統(tǒng)使得用戶(hù)在通用硬件設(shè)備和上層軟件服務(wù)的選擇上更自主、范圍更廣。同時(shí)新存儲(chǔ)系統(tǒng)應(yīng)該支持自動(dòng)化簡(jiǎn)化異構(gòu)存儲(chǔ)設(shè)備快速接入和統(tǒng)一管理，對(duì)數(shù)據(jù)中心內(nèi)部的存儲(chǔ)資源實(shí)施一致的策略。將傳統(tǒng)的不同廠家、不同型號(hào)的存儲(chǔ)產(chǎn)品利用起來(lái)，節(jié)約資源。5、存儲(chǔ)系統(tǒng)應(yīng)該方便部署、易于管理傳統(tǒng)存儲(chǔ)系統(tǒng)在建設(shè)過(guò)程中在，需要配置交換機(jī)、劃分LUN、配置主機(jī)組、映射、識(shí)別、多路徑聚合等多步操作，十分麻煩；新的存儲(chǔ)系統(tǒng)應(yīng)該將簡(jiǎn)化運(yùn)維的理

12、念貫徹實(shí)施，具有簡(jiǎn)化部署的功能，并且在日常管理和錯(cuò)誤處理方面能夠?qū)崿F(xiàn)自動(dòng)化，例如當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，系統(tǒng)能夠自動(dòng)將數(shù)據(jù)復(fù)制到健康節(jié)點(diǎn)，重新進(jìn)行負(fù)載均衡，整個(gè)過(guò)程無(wú)需人工參與。存儲(chǔ)系統(tǒng)應(yīng)該為管理人員提供全面的存儲(chǔ)可視化，深入洞悉存儲(chǔ)與應(yīng)用的關(guān)系，為存儲(chǔ)可能出現(xiàn)的問(wèn)題和趨勢(shì)以及對(duì)存儲(chǔ)資源的優(yōu)化與使用進(jìn)行報(bào)告和預(yù)警。智能化的采集和分析，使得存儲(chǔ)資源被更加高效地利用。例如對(duì)存儲(chǔ)IOPS、存儲(chǔ)吞吐量以及存儲(chǔ)容量的使用進(jìn)行動(dòng)態(tài)的監(jiān)測(cè)和預(yù)測(cè)，方便管理人員對(duì)存儲(chǔ)現(xiàn)有情況進(jìn)行了解和及時(shí)對(duì)未來(lái)存儲(chǔ)的擴(kuò)容進(jìn)行規(guī)劃。2、架構(gòu)設(shè)計(jì)2016年底，我司計(jì)劃在創(chuàng)新研究環(huán)境中引入分布式存儲(chǔ)技術(shù)，并為OpenStack私有云平

13、臺(tái)提供服務(wù)，計(jì)算存儲(chǔ)耦合聯(lián)動(dòng)，實(shí)現(xiàn)整體架構(gòu)上的分布式。 一期項(xiàng)目規(guī)模為6個(gè)節(jié)點(diǎn)，采用3副本，共提供80T的存儲(chǔ)空間，主要業(yè)務(wù)租戶(hù)為創(chuàng)新研究所需的虛擬機(jī)。2.1 硬件平臺(tái)2.1.1 存儲(chǔ)服務(wù)器選型本次項(xiàng)目服務(wù)器的詳細(xì)配置如下：2.2 總體架構(gòu)設(shè)計(jì)分布式云存儲(chǔ)系統(tǒng)的核心是統(tǒng)一管理存儲(chǔ)資源，面向云平臺(tái)，提供多樣化的數(shù)據(jù)服務(wù)。分布式云存儲(chǔ)系統(tǒng)將應(yīng)用與底層存儲(chǔ)解耦，不依賴(lài)于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定。在未來(lái)數(shù)據(jù)中心全面轉(zhuǎn)型，整體上云的過(guò)程中，實(shí)現(xiàn)存儲(chǔ)與計(jì)算、網(wǎng)絡(luò)資源的聯(lián)動(dòng)，順應(yīng)數(shù)據(jù)價(jià)值鏈向服務(wù)轉(zhuǎn)移。圖 2-1 分布式云存儲(chǔ)系統(tǒng)架構(gòu)示意圖分布式云存儲(chǔ)系統(tǒng)主要由基于分布式架構(gòu)的分布式存儲(chǔ)系統(tǒng)和輕量化異構(gòu)存儲(chǔ)統(tǒng)

14、一管理組件構(gòu)成?；诜植际郊軜?gòu)的分布式存儲(chǔ)運(yùn)行在標(biāo)準(zhǔn)的X86服務(wù)器之上，利用虛擬化技術(shù)，將集群中的存儲(chǔ)資源虛擬化為存儲(chǔ)池，并向上提供塊設(shè)備、文件和對(duì)象存儲(chǔ)服務(wù)。同時(shí)，分布式存儲(chǔ)具有高性能，能夠輕松應(yīng)對(duì)各類(lèi)高負(fù)載管理的要求，其中包括業(yè)務(wù)關(guān)鍵型應(yīng)用與核心業(yè)務(wù)系統(tǒng)；多副本及強(qiáng)一致性技術(shù)的應(yīng)用提供高可用特性；極強(qiáng)的橫向擴(kuò)展能力則為業(yè)務(wù)擴(kuò)張帶來(lái)的管理維護(hù)提供了極大的靈活性和便利。輕量化異構(gòu)存儲(chǔ)統(tǒng)一管理組件實(shí)現(xiàn)了分布式存儲(chǔ)和集中式存儲(chǔ)的統(tǒng)一自動(dòng)化管理，分布式分布式存儲(chǔ)通過(guò)面向存儲(chǔ)統(tǒng)一管理組件開(kāi)放存儲(chǔ)系統(tǒng)的控制接口，實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的監(jiān)控與運(yùn)維。通過(guò)開(kāi)放的接口，異構(gòu)存儲(chǔ)統(tǒng)一管理組件可以實(shí)現(xiàn)分布式存儲(chǔ)系統(tǒng)的資源劃

15、分與服務(wù)編排，并對(duì)集中式存儲(chǔ)設(shè)備劃分基于不同QoS策略的虛擬卷服務(wù)于云平臺(tái)，實(shí)現(xiàn)與計(jì)算、網(wǎng)絡(luò)的聯(lián)動(dòng)。2.3 兩種部署方式在實(shí)際部署中，依據(jù)計(jì)算資源與存儲(chǔ)資源是否集中，分布式存儲(chǔ)可以采用兩種部署方式，分別為超融合部署方式與分離式部署方式。超融合方式與分離式方式最大的區(qū)別就是超融合在分離式的基礎(chǔ)上，還包含了計(jì)算，并通過(guò)內(nèi)部網(wǎng)絡(luò)實(shí)現(xiàn)了計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)的融合。若使用超融合的部署方式，則虛擬機(jī)和分布式存儲(chǔ)系統(tǒng)均運(yùn)行在相同的物理機(jī)上。典型情況如下圖所示。若使用分離部署的方式，則運(yùn)行虛擬機(jī)的服務(wù)器和存儲(chǔ)系統(tǒng)服務(wù)端位于不同的物理機(jī)。典型情況如下圖所示。經(jīng)過(guò)對(duì)比，顯而易見(jiàn)，由于同時(shí)占有計(jì)算和存儲(chǔ)資源以及網(wǎng)絡(luò)帶寬

16、，超融合部署方式在順序讀取與隨機(jī)讀取的場(chǎng)景下，性能上明顯有顯著的衰減。在超融合部署方式的理念下。計(jì)算和存儲(chǔ)會(huì)爭(zhēng)搶CPU/內(nèi)存/網(wǎng)絡(luò)等物理資源，而且計(jì)算和存儲(chǔ)又相互依賴(lài)，一旦一方資源需求驟升就是導(dǎo)致另一方資源枯竭，進(jìn)而影響性能并在整個(gè)基礎(chǔ)架構(gòu)中產(chǎn)生漣漪效應(yīng)。其次超融合部署方式在集群規(guī)模較大后，網(wǎng)絡(luò)、硬盤(pán)、服務(wù)器發(fā)生故障的概率都會(huì)增大，數(shù)據(jù)重刪、壓縮、加密糾刪碼等功能都用軟件實(shí)現(xiàn)，故障的自修復(fù)和數(shù)據(jù)功能實(shí)現(xiàn)都會(huì)消耗一定的系統(tǒng)資源，導(dǎo)致性能下降和抖動(dòng)。具體兩種部署方案在高可靠、性能、易擴(kuò)展性、彈性以及易管理等方面的對(duì)比如下：結(jié)合業(yè)務(wù)需求與特點(diǎn)，兩種部署方式針對(duì)的應(yīng)用場(chǎng)景如下：3、網(wǎng)絡(luò)設(shè)計(jì)方案3.1

17、在機(jī)架式服務(wù)器上使用組網(wǎng)方案3.1.1 單柜10GE組網(wǎng)說(shuō)明：1、服務(wù)器上默認(rèn)配置一塊2x10GE的網(wǎng)卡，分別與兩臺(tái)10GE交換機(jī)連接，兩個(gè)網(wǎng)口做bond，缺省為負(fù)載分擔(dān)規(guī)模2、服務(wù)器的BMC 網(wǎng)口與一臺(tái)GE交換機(jī)連接，GE交換機(jī)上行兩個(gè)GE線(xiàn)纜分別與兩個(gè)10GE交換機(jī)連接3、10GE交換機(jī)下行承擔(dān)內(nèi)部管理、存儲(chǔ)、業(yè)務(wù)平面，10GE上行對(duì)接客戶(hù)網(wǎng)絡(luò)，默認(rèn)提供4x10GE，兩臺(tái)10GE交換機(jī)堆疊3.1.2 單柜Infinite Band存儲(chǔ)組網(wǎng)說(shuō)明：1、服務(wù)器上默認(rèn)配置一塊2x10GE的網(wǎng)卡，分別與兩臺(tái)10GE交換機(jī)連接，兩個(gè)網(wǎng)口做bond，缺省為源目的IP和Port負(fù)荷分擔(dān)模式，對(duì)應(yīng)的交換機(jī)端

18、口配置eth-trunk2、服務(wù)器的BMC 網(wǎng)口與一臺(tái)GE交換機(jī)連接，GE交換機(jī)上行兩個(gè)GE線(xiàn)纜分別與兩個(gè)10GE交換機(jī)連接，對(duì)應(yīng)端口做eth-trunk3、10GE交換機(jī)下行承擔(dān)內(nèi)部管理、業(yè)務(wù)平面網(wǎng)絡(luò)連接，10GE上行對(duì)接客戶(hù)網(wǎng)絡(luò)，默認(rèn)提供4x10GE，兩臺(tái)10GE交換機(jī)堆疊4、每臺(tái)服務(wù)器上的兩個(gè)Infinite Band網(wǎng)口分別與兩臺(tái)Infinite Band交換機(jī)連接，兩臺(tái)Infinite Band交換機(jī)之間6根線(xiàn)互連，Infinite Band網(wǎng)口承擔(dān)存儲(chǔ)平面的通信6、后續(xù)擴(kuò)容需要增加10GE匯聚交換機(jī)和Infinite Band主干交換機(jī)3.2 在刀片服務(wù)器上使用組網(wǎng)方案3.2.1

19、虛擬化10GE 刀片服務(wù)器組網(wǎng)說(shuō)明：1、每個(gè)刀片配置1個(gè)2x10GE端口的iNIC網(wǎng)卡或普通10GE網(wǎng)卡；2、每個(gè)機(jī)框使用XCUB交換板，通過(guò)基本框自級(jí)聯(lián)方式，不使用外置交換機(jī)。框間使用4x10GE互聯(lián)。3、框內(nèi)兩塊交換板通過(guò)40G接口堆疊；3.2.2 虛擬化IB+SSD組網(wǎng)說(shuō)明：1、中心框匯聚，10GE和IB交換板，無(wú)外置交換機(jī)，最大規(guī)模7框2、每擴(kuò)展框兩塊10GE交換板與中心框2+2（40GE）互連，內(nèi)部管理與業(yè)務(wù)3、每擴(kuò)展框兩塊IB交換板與匯聚框3+3互連，其中直連2根交叉1根IB線(xiàn)，內(nèi)部存儲(chǔ)4、中心框上行2+2（40GE），外部業(yè)務(wù)5、刀片采用計(jì)算存儲(chǔ)融合方式，每刀片主要配置：1塊2x

20、10GE，1塊2x56Gb，2塊SSD主存6、每擴(kuò)展框存儲(chǔ)單面帶寬2x56Gb=112Gbps4、部分業(yè)界主流分布式存儲(chǔ)產(chǎn)品介紹分布式存儲(chǔ)使用標(biāo)準(zhǔn)化硬件并通過(guò)分布式軟件實(shí)現(xiàn)存儲(chǔ)資源的虛擬化。相比于傳統(tǒng)的集中式、基于專(zhuān)用硬件的存儲(chǔ)系統(tǒng)，分布式存儲(chǔ)具有更好的橫向可擴(kuò)展能力，更高的性能，易于管理并且成本更低。分布式存儲(chǔ)是云計(jì)算技術(shù)發(fā)展的重要趨勢(shì)，是未來(lái)數(shù)據(jù)中心的發(fā)展方向。目前，業(yè)界對(duì)不同分布式存儲(chǔ)產(chǎn)品的可擴(kuò)展能力、性能與可靠性，以及硬件優(yōu)化配置方案等，還缺乏實(shí)踐經(jīng)驗(yàn)和深入認(rèn)識(shí)。為面向金融行業(yè)的云計(jì)算數(shù)據(jù)中心建設(shè)方案提供前沿性指導(dǎo)，中國(guó)銀聯(lián)電子支付研究院組織業(yè)界力量，編制了分布式存儲(chǔ)存儲(chǔ)測(cè)試規(guī)范，并依

21、據(jù)測(cè)試規(guī)范對(duì)目前主流的分布式存儲(chǔ)產(chǎn)品進(jìn)行測(cè)試評(píng)估。4.1 免費(fèi)開(kāi)源版本CephCeph是一個(gè)致力于構(gòu)建下一代存儲(chǔ)的項(xiàng)目，在2008年開(kāi)始建立開(kāi)源社區(qū)并接納外部的開(kāi)發(fā)者加入項(xiàng)目，2012年Ceph進(jìn)入OpenStack Cinder項(xiàng)目成為重要的存儲(chǔ)驅(qū)動(dòng)，之后開(kāi)始在OpenStack用戶(hù)間逐漸試用。從2014年開(kāi)始Ceph開(kāi)始吸引越來(lái)越多來(lái)自不同廠商的開(kāi)發(fā)者加入，包括Yahoo，SUSE和Intel等。迄今為止，Ceph已經(jīng)成為全球最廣泛的開(kāi)源分布式存儲(chǔ)項(xiàng)目，擁有一個(gè)得到眾多IT廠商支持的協(xié)同開(kāi)發(fā)模式。目前Ceph支持OpenStack、CloudStack、OpenNebula、Hadoop等

22、。Ceph是統(tǒng)一分布式存儲(chǔ)系統(tǒng)，具有優(yōu)異的性能、可靠性、可擴(kuò)展性。Ceph的架構(gòu)如圖4-1所示，底層是RADOS（可靠、自動(dòng)、分布式對(duì)象存儲(chǔ)），可以通過(guò)LIBRADOS直接訪(fǎng)問(wèn)到RADOS的對(duì)象存儲(chǔ)系統(tǒng)。RBD（塊設(shè)備接口）、RADOS Gateway（對(duì)象存儲(chǔ)接口、Ceph File System（POSIX接口）都是基于RADOS的。圖 4-1 Ceph存儲(chǔ)架構(gòu)圖Ceph的核心是RADOS，它是分布式對(duì)象存儲(chǔ)系統(tǒng)，由自修復(fù)、自管理、智能的存儲(chǔ)節(jié)點(diǎn)組成。RADOS作為數(shù)據(jù)持久層，是RADOSGW、RBD、CEPH FS的基礎(chǔ)。分布式對(duì)象存儲(chǔ)的基本問(wèn)題是如何分布數(shù)據(jù)到上千個(gè)存儲(chǔ)節(jié)點(diǎn)上，RADO

23、S的核心是CRUSH（一個(gè)可擴(kuò)展的偽隨機(jī)數(shù)據(jù)分布算法）。CRUSH能夠有效映射數(shù)據(jù)對(duì)象到存儲(chǔ)節(jié)點(diǎn)上，而且能夠處理系統(tǒng)的擴(kuò)展和硬件失效，最小化由于存儲(chǔ)節(jié)點(diǎn)的添加和移除而導(dǎo)致的數(shù)據(jù)遷移。CRUSH算法達(dá)到了效率和擴(kuò)展性這兩個(gè)矛盾的目標(biāo)。4.2 國(guó)內(nèi)商業(yè)版本FusionStorage & OceanStor DJ4.2.1 FusionStorageFusion Storage是一個(gè)華為公司發(fā)布的分布式存儲(chǔ)軟件，在通用的x86服務(wù)器上部署該軟件把所有服務(wù)器的本地硬盤(pán)組織成一個(gè)虛擬存儲(chǔ)資源池，提供塊存儲(chǔ)功能。FusionStorage采用了分布式集群控制技術(shù)和分布式Hash數(shù)據(jù)路由技術(shù)，提供分布式存儲(chǔ)

24、功能特性。如圖4-2所示，F(xiàn)usionStorage在存儲(chǔ)接口層通過(guò)SCSI驅(qū)動(dòng)接口向操作系統(tǒng)數(shù)據(jù)庫(kù)提供卷設(shè)備；在存儲(chǔ)服務(wù)層提供各種存儲(chǔ)高級(jí)特性，如快照、鏈接克隆、精簡(jiǎn)配置、分布式cache、容災(zāi)備份等；在存儲(chǔ)引擎層，F(xiàn)uisonStorage存儲(chǔ)提供包括管理狀態(tài)控制、分布式數(shù)據(jù)路由、強(qiáng)一致性復(fù)制技術(shù)、集群故障自愈與并行數(shù)據(jù)重建子系統(tǒng)等功能；同時(shí)，F(xiàn)usionStorage軟件的安裝部署、自動(dòng)化配置、在線(xiàn)升級(jí)、告警、監(jiān)控和日志等OM功能都可以在存儲(chǔ)管理層提供，并向用戶(hù)提供Portal界面圖 4-2 FusionStorage功能架構(gòu)圖FusionStorage可以運(yùn)行在華為自產(chǎn)的服務(wù)器上，也可

25、以運(yùn)行在第三方服務(wù)器上，支持設(shè)備利舊，盤(pán)活現(xiàn)有資產(chǎn)保護(hù)已有的投資4.2.2 OceanStor DJOceanStor DJ定義為業(yè)務(wù)驅(qū)動(dòng)的存儲(chǔ)控制軟件，統(tǒng)一管理存儲(chǔ)資源，提供業(yè)務(wù)驅(qū)動(dòng)、自動(dòng)化的數(shù)據(jù)服務(wù)。其核心是基于Openstack存儲(chǔ)相關(guān)組件的增強(qiáng)，實(shí)現(xiàn)存儲(chǔ)即服務(wù)、數(shù)據(jù)保護(hù)即服務(wù)、數(shù)據(jù)庫(kù)即服務(wù)、大數(shù)據(jù)即服務(wù)等。OceanStor DJ將應(yīng)用與底層存儲(chǔ)解耦，能夠使客戶(hù)不依賴(lài)于傳統(tǒng)設(shè)備和應(yīng)用廠商的綁定地位。在云化場(chǎng)景下，將存儲(chǔ)和數(shù)據(jù)保護(hù)等能力以XaaS的方式提供，順應(yīng)存儲(chǔ)價(jià)值鏈向軟件和服務(wù)轉(zhuǎn)移。圖4-3展示了OceanStor DJ的功能架構(gòu)圖。圖 4-3 OceanStor DJ功能架構(gòu)圖O

26、ceanStor DJ向上提供數(shù)據(jù)應(yīng)用服務(wù)化：通過(guò)將存儲(chǔ)功能軟件化、應(yīng)用化，訪(fǎng)問(wèn)協(xié)議解耦，支持文件、塊、對(duì)象等類(lèi)型存儲(chǔ)資源分配服務(wù)；作為開(kāi)放平臺(tái)，集成華為和第三方數(shù)據(jù)保護(hù)、容災(zāi)軟件，提供XaaS等服務(wù)能力。在中間層實(shí)現(xiàn)業(yè)務(wù)部署自動(dòng)化服務(wù)：通過(guò)基于策略的資源調(diào)度和任務(wù)編排，實(shí)現(xiàn)存儲(chǔ)資源按需發(fā)放和自動(dòng)化部署；支持自服務(wù)，提高資源分配效率，降低OPEX。而向下則提供存儲(chǔ)資源虛擬化服務(wù)：從控制面通過(guò)對(duì)企業(yè)級(jí)存儲(chǔ)的管理、資源虛擬化，實(shí)現(xiàn)統(tǒng)一管理，提升資源利用率；支持標(biāo)準(zhǔn)硬件，實(shí)現(xiàn)快速?gòu)椥詳U(kuò)展，承接新型業(yè)務(wù)和負(fù)載。華為OceanStor DJ在控制面上將存儲(chǔ)的功能特性從物理陣列中抽象出來(lái)，把具備相同或近似能力的多個(gè)物理存儲(chǔ)池在邏輯上組成虛擬存儲(chǔ)池。用戶(hù)在請(qǐng)求存儲(chǔ)資源的時(shí)候，可基于虛擬存儲(chǔ)池的SLA能力去考慮，無(wú)需關(guān)心后端由哪臺(tái)陣列為其應(yīng)用提供存儲(chǔ)資源。DJ部署在管理網(wǎng)絡(luò)，不會(huì)部署在數(shù)據(jù)網(wǎng)絡(luò)里；數(shù)據(jù)的傳輸不通過(guò)OceanStor DJ，但可以定義數(shù)據(jù)路徑如何聯(lián)通 。DJ的存儲(chǔ)服務(wù)保留了陣列的高級(jí)特性，如鏡像、克隆、快照、多站點(diǎn)高可用性等，這區(qū)別于傳統(tǒng)的存儲(chǔ)虛擬化技術(shù)，不會(huì)因?yàn)閷⒑蠖舜鎯?chǔ)視為標(biāo)準(zhǔn)塊存儲(chǔ)設(shè)備而抹殺這些特性?？傮w來(lái)說(shuō)，OceanStor DJ具備以下特征：1、支持異構(gòu)存儲(chǔ)資源的虛擬化管理