OpenStack金融云解決方案

OpenStack金融云平臺

技術方案

浪潮（北京）電子信息產業(yè)有限公司

2017年10月

1概述

1.1項目背景

1.2建設原則

云平臺的建設原則是采用業(yè)內主流開源云計算解決方案，云平臺建設建議

遵循以下原則：

1）兼顧定制化功能和整體標準接口，優(yōu)先考慮整體的標準化；

2）兼顧產品的可靠性和性能，優(yōu)先支持可靠性

3）融合分布式技術和集中式技術，優(yōu)先考慮分布式技術

4）堅持自主可控技術積累，優(yōu)先考慮“成熟的”開源技術

13業(yè)務現狀

2云平臺建設

InCloudOpenStack云平臺以穩(wěn)定版本的OpenStack為核心，基于它提供的

計算資源管理、存儲管理、網絡管理、鏡像管理、認證管理、計量管理和其他

模塊進行優(yōu)化，結合分布式存儲，兼容異構的虛擬化層、存儲和網絡設備，構

建一個面向未來的、易于橫向擴展的、高可用的、不被廠商鎖定的彈性計算存

儲云資源池。

InCloudOpenStack云平臺是以社區(qū)Openstack為基礎，做了大量的優(yōu)化,

使之能適應企業(yè)云的需求，幫助企業(yè)云實現落地。

InCloudOpenStack

倏Tf建門戶］（開故API-］

［自然典:(嬉T?][]座?J

!KB!【掖寰管。:[故][?MRlj[HWCT](X證授權j

【應用商店】［安全加國］侵麗g］（資等許保）：

InCloudOpenStackCore

(Nova)Neutron)(CinderJ《核心互平口)[G匕rxe][Keystone](swift)

軟件定義計典軟件定義存儲軟件定義網絡軟件定義安全

InCloudStorage/

ICS/vSphere/KVMACI/NSX/OVS

CephSSR-v/vLB

|X86服務器安全a得1

存儲路由器/交換機

InCloudOpenStack云平臺整體上主要由以下幾個部分組成:

1）上層云方案

InCloudOpenStack做為企業(yè)級云平臺，可以為上層提供各種云應用

方案，例如：整合了測試自動化系統(tǒng)的研發(fā)測試云；開放的，可定制的

金融私有云；與公有云充接的混合云；支持多租戶的行業(yè)云，以及支持

中小客戶的超融一體機系統(tǒng)。

2）OpenstackPlus核心平臺。包括：

Openstack核心基礎：包含計算（虛擬化）管理模塊、存儲管理模塊、

網路管理模塊、鏡像管理模塊和認證等模塊。

企業(yè)級框架增強：為了實現企業(yè)的可靠性，性能，生命周期管理等

功能，以及自動化運維組件，包括資源監(jiān)控，日志，成本計量，業(yè)務流

程引擎，根據需求進行資源申請和審批的業(yè)務流程。這些是Openstack核心

的有效補充和增強，實現在企業(yè)的落地。

3）底層架構

底層架構提供與標準及商業(yè)的基礎架構的匹配和集成。在計算，存儲，網

絡，和安全方面，提供與多種現有系統(tǒng)的集成，結合插件（Plug-in）和驅動

（Driver）,將異構的硬件整合到云平臺中。

InCloudOpenStack的目標是，打造適合企業(yè)級使用的智能計算/存儲融合架

構云平臺，簡化數據中心管理，降低數據中心成本支出。為實現這一目標，這

一產品在設計之初就遵循以下幾大原則：

令通用原則：產品專注在軟件層面的實現，對底層服務器和網絡設備無特殊要

求。可以運行在通用的X86服務器上，無廠商鎖定和限制?？梢赃\行在通用

的萬兆交換機網絡中，對硬件交換設備無特殊要求，通過軟件控制整體網絡

行為。

今無中心原則：系統(tǒng)任何節(jié)點失效都不影響整體使用，主要體現在任何節(jié)點都

可以成為（或接管）控制器節(jié)點，任何節(jié)點都可以成為“存儲+計算”融合節(jié)點。

?群氓智能：整體平臺體現高度的智能調度和運維自動化，包括任何節(jié)點出現

問題，虛擬機都可以自動修復錯誤，保證虛擬機運行；新增節(jié)點自動安裝,

加入即成為資源池的一部分，接受系統(tǒng)調度支持自動資源調度，根據策略實

優(yōu)化負載，實現整體資源使用均衡。

令業(yè)務可用性：內置整體云平臺管理界面，無需額外采購，即可擁有用戶界面，

實現開機即可用。

2.1整體架構

通過如下的邏輯架構設計，實現平臺的統(tǒng)一管理和運維;

若質??”“日，?機1M

O^McteckMS?it***

ua?e?mrti?ttW

openstack■■■■日￡??

wwRO

KManftMOWM<M(MMI)I|MKM(M)

OTHBBMHM-1MHMI

典IIE，式計■/3a云

?牛式s?

7

外層用戶：根據應用/基礎架構資源的層次，整個云平臺所面向用戶有四類，相

應的權限限定如下:

■云平臺系統(tǒng)外部用戶：從因特網訪問云平臺系統(tǒng)，但無法訪問內部系統(tǒng)。

根據這一訪問特點，云平臺將通過前端設備NAT映射來限定可以被外網訪

問的系統(tǒng)，同時結合防火墻設置以及VLAN分配，做好對外防護和對內隔

離的設置

■云平臺系統(tǒng)內部用戶：從內網訪問云平臺系統(tǒng)或者辦公系統(tǒng)，云平臺將通

過VLAN隔離以及設備（服務器和存儲資源）的物理隔離等方式，限制外

網和內網之間的安全劃分，同時結合內網資源（子網/VLAN/IP/安全組）的

管理，做好應用之間的隔離

■云平臺系統(tǒng)應用層管理員（云租戶）：負責支持系統(tǒng)應用層的運維，負責應

用層的監(jiān)控、升級和問題解決。具有系統(tǒng)相對應的操作系統(tǒng)、存儲、網絡

和數據庫等基礎架構資源的訪問和管理權限。云平臺將通過租戶管理模

塊，從邏輯上進行組織劃分以及可使用資源的限定，進行租戶隔離

■云平臺管理員：云平臺整體管理員，負責云平臺的租戶管理、資源分配、

狀態(tài)監(jiān)控和系統(tǒng)運維等工作

上層交互界面：

■租戶使用界面：云計算租戶往往為各個應用系統(tǒng)的管理員，通過租戶界

面，租戶可以訪問自己的操作系統(tǒng)和存儲資源，請求新資源，同時進行一

些基本的管理操作

■云平臺管理員界面：云平臺整體管理員通過這一界面實現對整個云平臺的

資源分配、監(jiān)控和管理。管理員也可以通過命令行進行一些更高級的管理

操作

■API接口：云平臺同時提供整體云平臺的APL可以基于此二次開發(fā)，可以

和其他系統(tǒng)進行集成

中層核心框架：

■基礎模塊：用戶記錄各個模塊數據的結構化數據庫、用戶保存監(jiān)控數據的

非結構化數據庫和用戶各模塊之間通信的消息模塊

■核心云計算框架：包含認證模塊、計算（虛擬化）管理模塊、存儲管理模

塊、網路管理模塊、鏡像管理模塊和自動化運維模塊，通過這些核心組

件，構建軟件定義數據中心的基本框架

■業(yè)務流程引擎：根據云平臺云的需求進行資源申請和審批的業(yè)務流程

■資源監(jiān)控：監(jiān)控整個云平臺資源使用情況

■異構兼容：結合插件（Plug-in）和驅動（Driver）,將異構的硬件整合到云

平臺中

底層架構：

■計算節(jié)點虛擬化：通過在每個節(jié)點上部署虛擬化軟件，實現計算資源的虛

擬化，提供虛擬機資源

■分布式存儲：通過分布式存儲為云平臺提供各種存儲資源

2.2系統(tǒng)建設

2.2.1資源池化

2.2.1.1計算虛擬化

計算資源的池化主要通過“虛擬化技術”，將服務器硬件資源“池化”成多

臺虛擬機，能夠更高效的利用計算資源池。我們提供的解決方案默認使用最具安

全性和高性能的KVM管理程序作為虛擬化平臺。KVM是一種可信賴的虛擬化環(huán)境,

特別在云計算平臺這樣多租戶環(huán)境的實現上具有優(yōu)勢。

通過虛擬化技術將一臺物理計算機虛擬為多臺邏輯計算機，在一臺物理計算機

上同時運行多個邏輯計算機，每個邏輯計算機可運行不同的操作系統(tǒng)，并且應

用程序都可以在相互獨立的空間內運行而互不影響，從而顯著提高計算機的工

作效率。虛擬化使用軟件的方法重新定義劃分計算資源，可以實現計算資源的

動態(tài)分配、靈活調度、跨域共享、自動批量部署，提高計算資源利用率，服務

于靈活多變的應用需求。

2.2.1.2存儲虛擬化

存儲資源池能夠兼容使用集中式存儲和分布式存儲兩種存儲方式。能夠根據

不同的業(yè)務對存儲的不同需求，便捷的分配不同類型的存儲，能夠支持不同的存

儲類型。

分布式存儲系統(tǒng)不僅為虛擬主機提供塊存儲也為對象存儲提供存儲能力，同

時分布式存儲系統(tǒng)提供數據的三個實時副本，保證用戶數據的安全。

目前較為熱門的開源存儲解決方案分布式存儲軟件，所有數據皆為對象機制，

在上層提供了相對完整的對象存儲、塊存儲、文件系統(tǒng)°分布式存儲軟件基于

底層的CRUSH算法，能夠自動進行數據的備份、清洗工作。為用戶解決了很大

一部分的問題。另一方面，因為分布式存儲軟件的存儲機制，所以其理論上能

夠進行無限擴容，完全解決了傳統(tǒng)存儲的瓶頸。因為分布式存儲軟件優(yōu)秀的特

性，OpenStack現在已經能夠在多個組件中直接進行分布式存儲軟件的集成，

像認證服務這樣的OpenStack核心認證組件目前已經接受分布式存儲軟件對象

網關的注冊。

2.2.13網絡虛擬化

通過軟件定義網絡技術，既可以實現虛擬機層面?zhèn)鹘y(tǒng)的Flat扁平網絡架構

（傳統(tǒng)模式），也可以模擬類似AWS公有云的VPC技術（租戶模式），為每個租戶

單獨組建一個獨立的網絡環(huán)境。

從底層硬件分離網絡并友網絡基礎架構應用虛擬化，把分散的物理網絡設備

虛擬成統(tǒng)一的邏輯網絡資源池。通過軟件定義網絡技術，重現整個網絡連接環(huán)境,

包括每個虛擬網絡中的L2-L7網絡服務，能夠為L2-L7服務提供無單點故障

的邏輯體系結構，并跟隨虛擬機移動；通過軟件定義網絡技術，云操作系統(tǒng)可以

按需使用虛擬網絡，按需配置網絡邏輯拓撲，通過創(chuàng)建虛擬交換機、虛擬路由器

來進行靈活組網，也可以使租戶內部的網絡直接與物理網絡進行互通，并通過彈

性IP打通租戶網絡與外部網絡之間的南北向流量。

2.2.2計算資源管理

計算節(jié)點管理

Nova是OpenStack云平臺中的計算組織控制器，支持OpenSlack云平臺

中實例（VMInstances）生命周期的所有活動.負責管理計算資源、網絡、認

證、所需可擴展性的平臺，Nova自身并沒有提供任何虛擬化能力，它通過調用

libvirt的API和下層Hypervisors實現交互。

控制者索

訪問服務進程

訪問虛擬機

訪問API法何曾理命令

NovaAPINova-novncproxvNova-Client

Nova-xvpnvncproxv

Nova-spicehtml5proxy

Nova-console

Nova-consoteauth

協同管理進程

王機儂同

Nova-SchedulerNova-Conduct

資源管理服務

存湖RS網物畸

'Nova-Volume?Nova-Network?

I何達，未來逐漸減Cinder替埃）!|回送，逐漸被Neutron—)

Nova通過webservicesAPI來對外提供服務，Horizon或者其他系統(tǒng)可以

通過調用Nova-API實現和計算服務的交互，它存在多個各司其職的服務（即

守護進程）。Nova主要的功能包括：

■服務器（虛擬化層）管理

■規(guī)格（云主機類型）管理

■鏡像管理

■操作

>Reboot重啟

>Rebuild重建

>Resize修改規(guī)格

>Pause暫停

>Suspend掛起

>Start啟動

AStop關閉

>Boot創(chuàng)建

■租戶管理

■額度管理

■網頁訪問主機的VNCProxy管理

■使用率統(tǒng)計管理

Nova組件的部署方式如下:

nova.scheduler

novaconductor

nova-console

novaconsoleauth

novanonvncproxy

云平臺通過配置調度策略，通過過濾器（Filters）和權重器（Weighing）

來實現對主機資源的分配:

云平臺在每個計算節(jié)點上運行NovaComputer守護進程，調用Hypervisor

的driver管理VM。云平臺通過配置不同的driver,實現對多虛擬化層的管理:

Todayonfy1hypery/tsor“peper

NovaComputecloudinstanceLibvut/t<VMismost

commondepk^nent

MatntamedMaintainedby|

IbyCitnxVhMare

Bare

XCPHyperVLPAR

MetalI05rt

囿KVM

MaintainedExpeoffttmmeernHialiI

byMcrosofl|攻Uuspointnil

Nabvear

throughirbvirt

可以基于集群、或者每個計算節(jié)點，可以設置各自不同的超分比（CPU、

內存、磁盤），配置如下圖:

|^u-aVlocaHoiUrotio^270

Idisk-allocatioruratio-1.0

[max.1nstances-per.host-50

|max_io_ops_per_host-10

|rarrL.allocxxtioruratio-1.0

IrarL.weight_jnultiplier-5.0

freserve4.host_disk_jnb-2048

tpeserved_host_mefnory-mb,2048

支持計算節(jié)點水平擴展及一鍵自動化:

云平臺支持大規(guī)模計算機集群系統(tǒng)節(jié)點的自動化快速統(tǒng)一部署，提供圖形

化用戶界面完成部署，可支持包括控制節(jié)點，計算節(jié)點、存儲結點、網絡節(jié)點

的自動化及高可用部署。支持計算節(jié)點水平熱擴展，不影響正在運行的業(yè)務。

平臺支持大規(guī)模部署，單Region可支持200臺以上服務器自動化部署。

Pxebootofopenstack

Bootonlocalhard

InstallOpenStackCompute

InstallOpenStackController

Inta]10penSt.ukM.v.tcr

InstallRunOpenStackController

Press(Tab]toeditoptions

222.2裸機資源管理

裸機與虛擬機管理有很多相似的地方，Nova組件提供的虛擬機管理方案:

關機開機，安裝部署，刪除添加，Ironic裸機管理組件與Nova組件功能類似，

但主要是解決物理機的添加、刪除、電源管理和安裝部署，將物理機也作為資

源管理起來。Ironic提供插件的機制讓廠商開發(fā)自定的driver。Ironic組件的設

計如下：

通過OpenStackIronic對裸機進行管理，可以對物理機進行遠程安裝操作系

統(tǒng)、遠程對物理機進行操作、通過IPMI的console調用，可以直接登陸物理機

進行操作。云平臺通過標準的Ironic接口集成到整個云平臺進行統(tǒng)一管理。

組件名稱組件功能

Ironic-apiRestfulAPI處理應用請求并通過RPC轉發(fā)到

ironic-conductor

Tronic-conductor裸機的增刪改查，通過TPMT或者SSH進行電源管

理；裸機的準備部署銷毀

Ironic-python-agent運行在內存中的python服務，通過遠程登錄和硬

件控制提供ironic-conductor服務

2.2.23虛擬資源管理功能

云平臺支持以下對虛擬資源的管理功能：

1）支持虛擬機的啟動、關機、重啟、重命名

2）支持掛載/卸載硬盤

3）支持創(chuàng)建快照

4）支持加載防火墻

5）支持綁定/解綁IP

6）修改內網IP和指定IP

7）支持制作為私有鏡像、刪除等功能

8）支持為指定計算節(jié)點設置超分比

9）支持虛擬機的CPU、內存和硬盤的添加和修改

10）支持虛擬機CPU、內存熱添加

11）支持動態(tài)資源調度、虛擬機容錯。

12）支持資源自動調度策略。包括根據服務器剩余資源權重自動負載均衡，

根據虛擬機配置類型進行自動調度（包括虛擬機綁定和互斥等策略），

根據用戶進行調度（包括租戶獨占、租戶共享等策略）

13）支持用戶可定義的虛擬機自動伸縮策略。包括縱向伸縮策略和橫向伸縮

策略；縱向伸縮策略可以根據虛擬機的負載情況，自動調節(jié)虛擬機配

置，包括CPU、內存、磁盤、網絡等，以滿足負載變化要求；橫向伸

縮策略可根據虛擬機集群的負載情況，自動調節(jié)虛擬機集群節(jié)點數量,

進行集群在線伸縮，以滿足集群負載變化要求

14）支持主流的網站、應用集群和分布式數據集群水平伸縮要求

15）支持主流的軟硬件負載均衡方案

16）支持管理員指定節(jié)點創(chuàng)建虛擬機。

17）支持指定CPU核數、內存大小

18）支持管理員密碼

19）支持通過密鑰對登錄虛擬機

20）虛擬機支持多網卡，可以在線添加和刪除網卡

21）支持虛擬機的網卡和磁盤的QoS。

22）支持的虛擬機Web控制臺訪問，且無需安裝瀏覽器插件。

23）支持虛擬機的批量操作，包括創(chuàng)建、啟動、關機、重啟、刪除

24）支持模版管理，基于預置的鏡像創(chuàng)建虛擬機。

25）支持用戶將虛擬機制作為私有鏡像。

26）支持與Docker等容器技術整合

27）支持通過云平臺申請、創(chuàng)建、管理和刪除容器服務。

2.2.3存儲資源管理

云平臺將通過Cinder整合云平臺后端的存儲資源。Cinder由Cinder-

Client^Cidner-API>Cidner-Scheduler、Cinder-Volume>Cidner-Backup五大模

塊組成。其架構圖如下：

cindercbent

Storage

通過Cinder可以適配多種的存儲需求，支持用戶選擇不同類型以及性能的

存儲，以滿足不同級別的業(yè)務需求，具體如下所示類型：

1)FC-SAN

2)NAS存儲

3)DAS存儲

4)分布式存儲

5)對象存儲

Cinder支持異構存儲的統(tǒng)一管理，整合不同類型的存儲資源，節(jié)約存儲成本。

支持使用商業(yè)存儲作為共享存儲連接至每個計算節(jié)點，支持虛擬機熱遷移，服

務不中斷。支持商業(yè)存儲的多路徑聚合功能，在計算節(jié)點上使用mulli?palh實

現存儲多路徑連接，從而實現虛擬機的數據鏈路高可用。

2.2.3.1集中式存儲

云操作系統(tǒng)通過專屬網絡方式連接存儲設備和應用服務器，這個網絡專用于

主機和存儲設備之間的數據訪問。云操作系統(tǒng)通過標準的監(jiān)控管理接口協議，調

用各廠商的存儲設備管理端，實現對多廠商的異構的集中式SAN存儲的統(tǒng)一管

理。

StorageStorage

SAN存儲架構

2.23.2分布式存儲（Ceph）

Ceph提供了一種統(tǒng)一的、軟件定義的分布式存儲系統(tǒng)解決方案，其具有優(yōu)

異的性能、可靠性、可擴展性并且沒有單點故障。Ceph的底層是RADOS（可

靠、自動、分布式對象存儲），可以通過LIBRADOS直接訪問到RADOS的對

象存儲系統(tǒng)。RBD（塊設備接口）、RADOSGateway（對象存儲接口）、CephFile

System（POSIX接口）都是基于RADOS的，下面的圖簡要說明了ceph的基本架

構。

圖Ceph架構圖

Ceph集群包含多個組件，不同的組件保持相互獨立并且提供不同的功能。

這些組件包括RADOS、OSD,MON,RADOSgateway以及MDS。

RADOS(ReliableAutonomicDistributedObjectStore)是整個Ceph集群的

基石。在C叩h集群中，所有類型的數據都以object對象的形式進行存儲，

RADOS通過數據復制、故障檢測、數據恢復、數據遷移保證數據均衡地分布

在整個集群中，同時也保證了數據的一致性和可靠性。

OSD是Ceph集群中唯一的負責將用戶數據寫入磁盤以及讀取的組件。當

上層應用將數據寫入Ceph集群中，最終是由OSD將這些數據寫入磁盤；當上

層應用從Ceph集群讀取數據時，同樣是由OSD從磁盤讀取數據。通常而言，

一個OSD就對應一個物理磁盤，也就是說，有多少個物理磁盤，就有多少個

OSDo

Mon通過一組maps來維護整個集群的健康狀態(tài)，這組maps包含了

OSD、MON、PG以及CRUSH的信息。集群中所有的組件都耍向Mon匯報并

且分享它們的狀態(tài)信息。需要說明的是，Mons并不會存儲應用的任何數據。

RADOSgateway(RGW)提供了RESTful形式的API接口，它兼容

AmazonS3以及OpenStack對象存儲Swift。同時，RGW支持多租戶，并且可

以使用OpenStack的Keystone作為其認證系統(tǒng)。

MDS(CephMetadataSender)主要用來存儲CephFS的元數據，也就是說

只有使用CephFS的時候才需要部署MDSo

RBD(RADOSblockdevice)是指Ceph集群提供的塊存儲。Ceph塊存儲

具備了很多商業(yè)存儲的特性，比如精簡配置和快照功能。用戶可以掛載Ceph

塊存儲，并通過格式化、創(chuàng)建文件系統(tǒng)來進行使用。

CephFS(CephFileSystem)是Ceph集群提供的兼容POSIX的分布式文件

系統(tǒng)，它依賴于C叩hMDS存儲文件系統(tǒng)的元數據。

上面我們對Ceph集群的組件極其功能做了簡要的描述，其整體的組件功

能架構如下圖所示。

CLIENTS

Illi

RBDRADOSGWCEPHFS

LIBRADOS

..JMDS

OSDOSDOSDOSD

OSDJJOSD?OSDJJOSD

OSD?OSD?OSDBOSD

圖Ceph組件功能架構圖

.1Ceph用戶接口架構介紹

C叩h作為一種統(tǒng)一的分布式存儲系統(tǒng)，它同時向用戶提供了塊存儲、對

象存儲和文件系統(tǒng)接口，下面我們對此分別進行介紹。

塊存儲是企業(yè)環(huán)境中使月最為廣泛的數據存儲方式，Ceph的RBD提供了

類似的功能。RBD給物理機以及虛擬機提供一種非常好塊存儲解決方案。Ceph

RBD驅動已經在Linux內核（2.6.39及以上）中進行了集成，同時

QEMU/KVM也可以對它進行無縫直接地訪問。Linux主機通過librados可以掛

載Ceph塊設備，Rados則將Ceph塊設備對象分布到整個集群中。一旦Linux

掛載了Ceph塊設備，就可以將其當作普通的磁盤來使用，比如創(chuàng)建文件系統(tǒng)

然后掛載。在虛擬化領域中，Ceph塊設備也得到了廣泛的應用。虛擬機可以使

用Ceph塊設備存儲其鏡像和數據文件。主流的虛擬化技術，比如QEMU、

KVM和XEN等都可以使用Ceph作為它們的存儲后端。Ceph塊存儲接口架構

如下圖所示。

OPENSTACK

KEYSTONESWIFTCINDERNOVA

HYPER

VKOR

IfRADOSGW

▼IUBRADOS

MM

RADOSCLUSTER

圖Ceph塊存儲接口架構示意圖

Ceph對象存儲網關也稱為(RADOSgateway),其作用就是將用戶的

HTTP請求轉換為RADOS請求，提供一種RESTful的對象存儲，同時它也兼

容亞馬遜的S3和OpenSlack的Swift。下面的圖說明了利用CephRADOS

gateway和librados提供對象存儲的架構。

RESTful

HTTP/S

ACCMS

圖Ceph對象存儲接口架構示意圖

CephFS在RADOS之上提供了一個POSIX兼容的文件系統(tǒng)，它使用MDS

管理文件系統(tǒng)相關的元數據。C叩hFS集成了RADOS的特性，它可以提供動態(tài)

的數據平衡能力。此外，libcephfs在多客戶端實現中扮演了重要角色，它被

Linux內核驅動原生的支持，因此客戶端可以直接使用mount命令掛在CephFS

文件系統(tǒng)。同時，CephFS也可以和SAMBA、CIFS、NFS進行集成或者作為

Hadoop的存儲后端，其架構如下圖所示。

圖Ceph文件系統(tǒng)接口示意圖

Ceph與OpenStack的集成架構

OpenStack是開源的laaS平臺，可以用來構建公有云或者私有云，而存儲

是構建云平臺的基石，因此存儲的選型對整個云平臺的建設至關重要

OpenStack得益于其良好的架構，存儲廠商只要提供其存儲的驅動，就可以

與OpenSlack進行集成。OpenStack不僅支持傳統(tǒng)的IPSAN、FCSAN,同樣也

支持Ceph等分布式存儲系統(tǒng)，但就目前而言，Ceph是與OpenStack集成度最

好的存儲系統(tǒng)，它不僅可以作為Cinder的存儲后端，還可以作為Nova、

GlanceSwift的存儲后端。各種存儲系統(tǒng)和OpenStack集成的架構如下圖所

不。

圖存儲系統(tǒng)與OpcnStack集成的架構示意圖

在虛擬化環(huán)境中，最主要的存儲形式是塊存儲，這也是OpenStackCinder

提供的功能。虛擬機掛載塊存儲設備作為系統(tǒng)盤或者數據盤使用，塊設備的掛

載主要是通過Qemu來完成的，具體實現上又分為兩種方式。第一種，這也是

最為普遍的方式，就是將存儲的系統(tǒng)的塊設通過IPSAN或者FCSAN的方式

掛載到物理主機，然后再將其掛載給虛擬機使用。第二種，這也是CephRBD

使用的方式，就是Qemu可以通過其支持網絡協議將塊設備直接映射到虛擬機

中，這樣在物理機上是看不到這個塊設備的。虛擬機使用塊設備的架構如下圖

所示。

圖虛擬及使用塊設備的架構示意圖

Ceph的主要特點

■高擴展性：使用普通x86服務器，支持1070000臺服務器，支持TB到

PB級的擴展。

■高可靠性：沒有單點故障，多數據副本，自動管理，自動修復。

■高性能：數據分布均衡，并行化度高。對于objeclsstorage和block

storageo

通過使用分布式存儲Ceph作為Cinder的后端存儲，可以滿足云計算對存

儲系統(tǒng)的要求，而且Ceph目前已經和OpenStack的Nova,Cinder,Glance,

Swift等組件做了深度集成，可以做到統(tǒng)一存儲。

1）全局統(tǒng)一存儲

2）支持卷克隆、快照和精簡單配置（ThinProvisioning）

3）采用完全分布式架構

a）不需要元數據服務器和存儲網關

b）避免單點故障和性能瓶頸

4）多副木數據存放，高數據可靠性

a）在3副本的情況下，可以達到9個9

5）自動實現文件切片分發(fā)

a）聚合帶寬

b）不同節(jié)點之間實現I/O負載均衡

6）支持在線橫向擴展

7）自動處理磁盤故隙，快速數據恢復

2.2.33對象存儲（Swift）

對象存儲解決方案以國際上最成熟的開源對象存儲軟件OpenStackSwift為

核心，基于x86標準服務器，構建支持HTTP對象存儲接口的軟件定義存儲系

統(tǒng)。實現具有極高可靠性和可用性的，可支持“多活”的對象存儲系統(tǒng)。

2.2.3.3.1對象存儲系統(tǒng)軟件架構

Swift采用完全對稱、面向資源的分布式系統(tǒng)架構設計，所有組件都可擴展,

避免因單點失效而擴散并影響整個系統(tǒng)運轉；通信方式采用非阻塞式I/O模式,

提高了系統(tǒng)吞吐和響應能力°Swift底層磁盤可以通過RAID的直通模式進行構

建，Swift軟件架構如下圖所示：

SwiftAPI

SW設主要服務組件有：

?代理服務(ProxyServer)

對外提供對象服務API,會根據環(huán)的信息來查找服務地址并轉發(fā)用戶請求至

相應的賬戶、容器或者對象服務；由于采用無狀態(tài)的REST請求協議，可以進

行橫向擴展來均衡負載。

?認證服務(AuthenticationServer)

驗證訪問用戶的身份信息，并獲得一個對象訪問令牌(Token),在一定的

時間內會一直有效；瞼證訪問令牌的有效性并緩存下來直至過期時間.

?緩存服務(CacheServer)

緩存的內容包括對象服務令牌，賬戶和容器的存在信息，但不會緩存對象本

身的數據；緩存服務可采用Memcached集群，Swift會使用一致性散列算法來

分配緩存地址。

?賬戶服務(AccountServer)

提供賬戶元數據和統(tǒng)計信息，并維護所含容器列表的服務，每個賬戶的信息

被存儲在一個SQLite數據庫中。

?容器服務(ContainerServer)

提供容器元數據和統(tǒng)計信息，并維護所含對象列表的服務，每個容器的信息

也存儲在一個SQLite數據庫中。

?對象服務(ObjectServer)

提供對象元數據和內容服務，每個對象的內容會以文件的形式存儲在文件系

統(tǒng)中，元數據會作為文件屬性來存儲，建議采用支持擴展屬性的XFS文件系統(tǒng)。

?復制服務(Replicator)

會檢測本地分區(qū)副本利遠程副本是否一致，具體是通過對比散列文件和高級

水印來完成，發(fā)現不一致時會采用推式(Push)更新遠程副本，例如對象復制服

務會使用遠程文件拷貝工具rsync來同步；另外一個任務是確保被標記刪除的

對象從文件系統(tǒng)中移除。

?更新服務(Updater)

當對象由于高負載的原因而無法立即更新時，任務將會被序列化到在本地文

件系統(tǒng)中進行排隊，以便服務恢復后進行異步更新；例如成功創(chuàng)建對象后容器服

務器沒有及時更新對象列表，這個時候容器的更新操作就會進入排隊中，更新服

務會在系統(tǒng)恢復正常后掃描隊列并進行相應的更新處理。

?審計服務(Auditor)

檢查對象，容器和賬戶的完整性，如果發(fā)現比特級的錯誤，文件將被隔離，

并復制其他的副本以覆蓋本地損壞的副本；其他類型的錯誤會被記錄到日志中。

其中，將代理服務、認證服務和緩存服務在一起統(tǒng)稱為“接入服務”，將賬戶服

務、容器服務、對象服務、復制服務、更新服務和審計服務在一起統(tǒng)稱為“存儲

服務”。

2?2?3.3.2一致性散列(ConsistentHashing)

面對海量級別的對象，需要存放在成千上萬臺服務器和硬盤設備上，首先要

解決尋址問題，即如何將對象分布到這些設備地址上。Swift是基于一致性散列

技術，通過計算可將對象均勻分布到虛擬空間的虛擬節(jié)點上，在增加或刪除節(jié)點

時可大大減少需移動的數據量；虛擬空間大小通常采用2的n次幕，便于進行

高效的移位操作；然后通過獨特的數據結構Ring(環(huán))再將虛擬節(jié)點映射到實

際的物理存儲設備上，完成尋址過程。

虛點

如上圖中所示，以逆時針方向遞增的散列空間有4個字節(jié)長共32位，整

數范圍是將散列結果右移m位，可產生2盼m個虛擬節(jié)點，例如m=29

時可產生8個虛擬節(jié)點。在實際部署的時候需要經過仔細計算得到合適的虛擬

節(jié)點數，以達到存儲空間和工作負載之間的平衡。

Swift根據一致性哈希原理設計了環(huán)，環(huán)是為了將虛擬節(jié)點(分區(qū))映射到一

組物理存儲設備上，并提供一定的冗余度而設計的，其數據結構由以下信息組成:

存儲設備列表、設備信息包括唯一標識號(id)、區(qū)域號(zone)、權重(weight)、

IP地址(ip)、端口(port)、設備名稱(device)>元數據(meta)o

分區(qū)到設備映射關系(replica2part2dev_id數組)

計算分區(qū)號的位移(part_shift整數，即圖1中的m)

以查找一個對象的計算過程為例：

分區(qū)到設備映射

使用對象的層次結構account/container/object作為鍵，使用MD5散列

算法得到一個散列值，對該散列值的前4個字節(jié)進行右移操作得到分區(qū)索引

號，移動位數由上面的part.shift設置指定；按照分區(qū)索引號在分區(qū)到設備映

射表(replica2part2dev_id)里查找該對象所在分區(qū)的對應的所有設備編號，

這些設備會被盡量選擇部署在不同區(qū)域(Zone)內，區(qū)域只是個抽象概念，它

可以是某臺機器，某個機架，甚至某個建筑內的機群，以提供最高級別的冗余

性，建議至少部署5個區(qū)域：權重參數是個相對值，可以來根據磁盤的大小來

調節(jié)，權重越大表示可分配的空間越多，可部署更多的分區(qū),Swift為賬戶，

容器和對象分別定義了的環(huán)，查找賬戶和容器的是同樣的過程。

2.233.3數據模型

Swift采用層次數據模型,共設三層邏輯結構:Account/Container/Object(即

賬戶/容器/對象)，每層節(jié)點數均沒有限制，可以任意擴展。這里的賬戶和個人

賬戶不是一個概念，可理解為租戶，用來做頂層的隔離機制，可以被多個個人賬

戶所共同使用；容器代表封裝一組對象,類似文件夾或目錄;葉子節(jié)點代表對象，

由元數據和內容兩部分組成，如下圖所示：

ROOT

2.2.33.4對象存儲API

Swift通過ProxyServer向外提供基于HTTP的REST服務接口，對賬

戶、容器和對象進行CRUD等操作。在訪問Swift服務之前，需要先通過認

證服務獲取訪問令牌，然后在發(fā)送的請求中加入頭部信息X-Auth-Tokeno

Swift支持的所有操作可以總結為下表:

資源URLGETPUTPOSTDELETEHEAD

類型

賬戶/account/獲取容器---獲取賬戶

列表元數據

容器/account/contai獲取對象創(chuàng)建容器更新容器刪除容器獲取容器

ner列表元數據元數據

對象/account/contai獲取對象創(chuàng)建、更更新對象刪除對象獲取對象

ner/object內容和元新或拷貝元數據元數據

數據對象

應用開發(fā)除了可采用Swift項目本身的API以外，還可以使用Python和

Java庫。

2.23.4存儲管理功能

存儲管理模塊針對用戶提供虛擬云硬盤服務，包括以下功能

1）支持虛擬存儲服務，

2）創(chuàng)建云存儲

3）刪除云存儲

4）云主機掛載

5）卸載云存儲

6）查詢云存儲

7）云存儲擴容

8）支持創(chuàng)建云主機

9）云硬盤快照

10）快照刪除

11）通過云主機快照啟動云主機

12）通過云硬盤啟動云主機

13）云硬盤快照創(chuàng)建云硬盤

14）支持快照管理，可以為虛擬機掛載的硬盤做快照并恢復，支持系統(tǒng)

和數據盤。

2.2.4網絡資源管理

云操作系統(tǒng)的基礎架構主要包含計算（服務器）、網絡以及存儲。對于網

絡，從云操作系統(tǒng)整個網絡架構上來說，可以分為三個層面：跨數據中心網

絡、數據中心網絡以及云接入網絡。

由于云計算技術的逐步發(fā)展，使得傳統(tǒng)的數據中心網絡已經不能滿足新一

代數據中心網絡高速、扁平、虛擬化的要求。

首先，目前傳統(tǒng)的數據中心由于多種技術和業(yè)務之間的孤立性，使得數據

中心網絡結構復雜，存在相龍獨立的四張網，包括管理網絡、數據網絡、存儲

網絡和外部網絡，和多個對外I/O接口。數據中心的前端訪問接口通常采用以

太網進行互聯而成，構成高速的數據網絡；數據中心后端的存儲則多采用分布

式存儲，SAN等接口.

其次，由于云計算技術的使用，使得虛擬數據中心中業(yè)務的集中度、服務

的客戶數量遠超過傳統(tǒng)的數據中心，因此需要對網絡的高帶寬、低擁塞提出更

高的要求。一方面，傳統(tǒng)數據中心中大量使用的二層網絡產生的擁塞和丟包，

需要三層以上協議來保證重傳，效率低；另一方面，二層以太網網絡采用生成

樹協議來保持數據包在互聯的交換機回路中傳遞，也會產生大量冗余。

因此在使用云計算后，數據中心的網絡需要解決數據中心內部的數據同步

傳送的大流量、備份大流量、虛擬機遷移大流量問題。同時，還需要采用統(tǒng)一

的交換網絡減少布線、維護工作量和擴容成本。引入虛擬化技術之后，在不改

變傳統(tǒng)數據中心網絡設計的物理拓撲和布線方式的前提下，可以實現網絡各層

的橫向整合，形成一個統(tǒng)一的交換架構，其總體架構圖如下所示：

網絡虛擬化總體架構

1.原理：

SDN全稱:Software-definednetworking。其含義為使用軟件定義網絡，可以

通過程序來操控開放的接口或者更底層的函數從而實現動態(tài)的改變和管理網

絡。

2.與傳統(tǒng)網絡相比帶來的優(yōu)點:

SDN對比傳統(tǒng)網絡擁有非常靈活的特性，對于如今的大型生產環(huán)境如數據中心

等等都可能需要動態(tài)的調整網絡架構等操作.而傳統(tǒng)的網絡對這些操作是非常

復雜的。

3.涉及到的相關技術：

SDN通常與OpenFlow相關聯，OpenFlow是一個用于網絡層元件的遠程通信，其

內涵蓋了大量路由協議的通信協議。

NBKaf

Mrafocf>rtornMnnp

網絡虛擬化具備以下三方面功能：

1）核心層虛擬化

核心層網絡虛擬化，主要指的是數據中心核心網絡設備的虛擬化。它要求

核心層網絡具備超大規(guī)模的數據交換能力，以及足夠的萬兆接入能力；提供虛

擬機箱技術，簡化設備管理，提高資源利用率，提高交換系統(tǒng)的靈活性和擴展

性，為資源的靈活調度和動態(tài)伸縮提供支撐。核心層架構使用先進的Spine-

Leaf平面架構，提供可動態(tài)調整的帶寬超分比。設備支持的MLAG技術可以實

現跨交換機的端口捆綁，這樣在下級交換機上連屬于不同機箱的交換機時，可

以把分別連向不同機箱的萬兆鏈路用IEEE802.3ad兼容的技術實現以太網鏈路

捆綁，提高冗余能力和鏈路互連帶寬，簡化網絡維護。

2)接入層虛擬化

接入層虛擬化，可以實現數據中心接入層的分級設計.根據數據中心的走

線要求，接入層交換機要求能夠支持各種靈活的部署方式和新的以太網技術。

目前無損以太網技術標準發(fā)展很快，稱為數據中心以太網DCE或融合增強以太

網CEE,包括擁塞通知(IEEE802.IQau)、增強傳輸選擇ETS(IEEE802.IQaz)和

優(yōu)先級流量控制PFC(IEEE802.IQbb)、鏈路發(fā)現協議LLDP(IEEE802.1AB)<>

3)虛擬機網絡交換

虛擬機網絡交互包括物理網卡虛擬化和虛擬網絡交換機，在服務器內部虛

擬出相應的路由器、交換機和VM網卡功能，其設計如圖所示：

虛擬機網絡交換設計圖

虛擬路由器提供一個獨立的三層堆棧，負責靜態(tài)路由、動態(tài)路由、NAT等

三層網絡功能；虛擬交換機在主機內部提供了多個VM網卡的互聯以及為不同的

VM網卡流量設定不同的本地YLAN標簽功能，然后通過Overlay技術將從屬不

同VNI下的流量進行隔離發(fā)送，使得主機內部如同存在一臺支持隔離的三層交

換機，可以方便的將不同的VM網卡連接到不同的虛擬網絡。VM網卡是在一個

物理網卡上虛擬出多個邏輯獨立的網卡，使得每個網卡具有獨立的MAC地址、

IP地址，同時還可以在虛擬網卡之間實現一定的流量調度策略。因此，虛擬機

網絡交互支持以下功能：

1.虛擬機的雙向訪問控制和流量監(jiān)控，包括流量控制、流量統(tǒng)計、多隊列

等；

2.虛擬網絡的分布式路由，以及動態(tài)路由學習等;

3.虛擬機的網絡屬性應包括：VxLAN/VLANsQoS、ACL、帶寬等；

4.虛擬機的網絡屬性可以跟隨虛擬機的遷移而動態(tài)遷移，不需要人工的干預

或靜態(tài)配置，從而在虛擬機擴展和遷移過程中，保障業(yè)務的持續(xù)性；

5.虛擬機遷移時，與虛擬機相關的資源配置，如存儲、網絡配置隨之遷移;

同時保證遷移過程業(yè)務不中斷。

網絡虛擬化的管理功能通過擴展Neutron組件的方式實現，具備以下功

能：

1.虛擬路由器管理

2.虛擬網絡管理

3.虛擬子網管理

4.虛擬網絡端口管理

5.高級網絡服務管理，包括安全組、防火墻、VPN、負載均衡等。

網絡虛擬化管理平臺

網絡資源管理包含四個功能模塊:

1.網絡

網絡目的是在多租戶環(huán)境下提供給每個租戶獨立的網絡環(huán)境。另外，提供

API來實現這種目標?！熬W絡”是一個可以被用戶創(chuàng)建的對象，如果要和物

理環(huán)境下的概念映射的話，這個對象相當于一個巨大的交換機，可以擁有無限

多個動態(tài)可創(chuàng)建和銷毀的虛擬端口。

2.端口

在物理網絡環(huán)境中，端口是用于連接設備進入網絡的地方。網絡虛擬化組

件中的端口起著類似的功能，它是路由器和虛擬機掛接網絡的著附點。

3.路由器

和物理環(huán)境下的路由器類似，網絡虛擬化組件中的路由器也是一個路由選

擇和轉發(fā)部件。只不過在網絡虛擬化組件中，它是可以創(chuàng)建卻銷毀的軟件。

4.子網

子網是由一組IP地址組成的地址池。不同子網間的通信需要路由器的支

持，網絡虛擬化組件和物理網絡下是一致的。

2.2.4.1網絡管理模塊

整合云操作系統(tǒng)后端的存儲資源，架構如下:

網絡設計-拓撲設計

vs”

?????匕

—

通過組合開源SDN和部分商業(yè)軟件方式，實現經濟性和穩(wěn)定性的平衡，如

圖所示:

組網方式實現方案

調度方式OpenStack網絡控制Neutron調度OpenStack開源VNF

控制平面OpenStackNeutron

二層交換OVSL2分布式交換機

三層路由OVSL3/DVR

四層負載均衡無

防火墻OpenStackFWaaS或商業(yè)方案

IPSecVPNOpenStackVPNaaS

七層負載均衡OpenStackLBaaS或商業(yè)方案

七層應用防護無

2.2A2SDN控制器

SDN控制器是軟件定義網絡(SDN)中的應用程序，負責流量控制以確保智能

網絡。SDN控制器是基于如OpenFlow等協議的，允許服務器告訴交換機向哪里

發(fā)送數據包。

SDN控制器是作為網絡的一種操作系統(tǒng)(OS)o控制器不控制網絡硬件而是

作為軟件運行，這樣有利于網絡自動化管理“基于軟件的網絡控制使得集成業(yè)務

申請和網絡更容易。SDN控制器通過云管理平臺動態(tài)感知虛機遷移，實現虛機遷

移的網絡策略動態(tài)跟隨，實現網絡與計算、存儲的高效融合,

SDN控制器支持的功能如下：

1.支持通過應用VXLAN技術，來隔離應用層不同租戶間網絡流量；網絡虛擬

化建立基于VXLAN的L2邏輯交換機及L3的邏輯路由器的功能；

2.支持隧道機制，在控制平面采用改進的二層協議，支持服務發(fā)現、隧道管

理、地址通告和映射等功能，控制平面采用基于SDN控制器的集中控制模

式，通過集中的控制器集群實現VXLAN的控制平面，使網絡部署維護更簡

單，運行更穩(wěn)定；

3.兼容標準Overlay網絡的同時融合傳統(tǒng)網絡，支持跨三層的虛擬機遷移,

基于三層物理網絡實現大二層虛擬網絡、廣播風暴抑制、虛擬機動態(tài)感知

等。

2.2.43負載均衡控制

負載均衡控制應用交付設備集合出入站智能DNS解析、輪詢、加權輪詢、

靜態(tài)就近性、動態(tài)就近性等算法，解決多鏈路網絡環(huán)境中流量分擔的問題，充分

提高多鏈路的帶寬利用率，節(jié)約對通信鏈路的投資；并且通過分配最佳的通信線

路，提高訪問體驗。在某條鏈路中斷的情況下仍然可以提供訪問鏈接能力。

云操作系統(tǒng)默認以HAProxy為負載均衡的driver,同時也支持A10

network>netsealer、radware等作為driver。

虛擬防火墻控制

虛擬化防火墻設備擁有與傳統(tǒng)防火墻設備相同的操作系統(tǒng)，具有豐富的網絡

安全防護功能，對網絡威脅進行防御，能夠滿足多租戶環(huán)境中的網絡安全需求。

具備精細化應用管控，可提供多維的應用風險分析和篩選，以及靈活的安全

控制，包括策略阻止、會話限制、應用引流和智能流量管理等。同時，還具備入

侵防御、AV病毒過濾、攻擊防護、鏈路與服務器負載均衡、NAT等功能。

2.2.4.S虛擬交換機控制

虛擬交換機系統(tǒng)(VirtualSystem)提供網絡設備虛擬化的技術架構，實現設

備“一虛多”的虛擬化能力，即在物理設備上劃分出多個邏輯或虛擬設備系統(tǒng)。

每個虛擬系統(tǒng)VS就是設備上的“虛擬機”，可以如同一臺單獨設備一樣獨立配

置、管理、維護，獨立運行，承載網絡業(yè)務并與其他VS相互隔離。

虛擬路由控制

虛擬路由支持硬件路由器具有的所有功能，可供公開審查及檢查代碼中潛在

的錯誤及漏洞。

224.7支持多租戶業(yè)務網絡場景

支持2層到7層的虛擬化需求，支持以下多種高級業(yè)務場景。

IntranetSharedNetwork

(VLAN200.Virtual)

TenantA

1.路由的高可用：OpenStack原生的三層路由穩(wěn)定性以及高可用上的缺陷是阻

礙其在大規(guī)模生產環(huán)境中使用的最大問題。通過和商業(yè)VNF(Virtual

NetworkFunction)組件結合，可以組建具備“雙活”高可用的路由。

2.防火墻應用防護(WAF)

3.防火墻的高可用：可以組建具備“雙活”高可用的防火墻

4.動態(tài)內網負載均衡

5.租戶環(huán)境的一鍵生成和活體克隆，用