OpenStack存儲管理功能介紹

1、OpenStack存儲管理功能介紹技術(shù)創(chuàng)新，變革未來OpenStack提供多種類型的存儲服務(wù)，用戶可以根據(jù)業(yè)務(wù)需求，自由選擇存儲服務(wù)。本章節(jié)重點介紹OpenStack中的塊存儲服務(wù)Cinder，簡單介紹對象存儲服務(wù)Swift。本章節(jié)分為兩個部分：理論和實驗理論部分主要講解Cinder作用、架構(gòu)、工作原理和流程，Swift作用和架構(gòu)。實驗部分重點鍛煉學(xué)員Cinder日常運(yùn)維操作，幫助學(xué)員理論聯(lián)系實際，真正掌握Cinder 。學(xué)完本課程后，您將能夠：描述OpenStack不同存儲類型描述Cinder作用描述Cinder架構(gòu)描述Cinder工作流程描述Swift作用描述Swift架構(gòu)具備Cinder

2、日常運(yùn)維能力OpenStack存儲概述塊存儲Cinder對象存儲SwiftOpenStack有哪些存儲類型？OpenStack中的存儲可以分為兩類：目前OpenStack支持三種類型的持久性存儲：塊存儲、對象存儲和文件系統(tǒng)存儲。Ephemeral Storage，臨時存儲如果只部署了Nova服務(wù)，則默認(rèn)分配給虛擬機(jī)的磁盤是臨時的，當(dāng)虛擬機(jī)終止后，存儲空間也會被釋放。默認(rèn)情況下，臨時存儲以文件形式放置在計算節(jié)點的本地磁盤上。Persistent Storage，持久性存儲持久化存儲設(shè)備的生命周期獨立于任何其他系統(tǒng)設(shè)備或資源，存儲的數(shù)據(jù)一直可用，無論虛擬機(jī)是否運(yùn)行。當(dāng)虛擬機(jī)終止后，持久性存儲上的數(shù)

3、據(jù)仍然可用。OpenStack持久化存儲簡介Manila文件存儲操作對象是文件和文件夾，在存儲系統(tǒng)上增加了文件系統(tǒng)，再通過NFS或CIFS協(xié)議進(jìn)行訪問。Swift對象存儲操作對象是對象(object)，一個對象名稱就是一個域名地址，可以直接通過REST API的方式訪問對象。因Manila目前使用較少，本章節(jié)只重點介紹Cinder和Swift。Cinder塊存儲操作對象是磁盤，直接掛載到主機(jī)，一般用于主機(jī)的直接存儲空間和數(shù)據(jù)庫應(yīng)用，DAS和SAN都可以提供塊存儲。OpenStack存儲類型對比用途訪問方式訪問客戶端管理服務(wù)數(shù)據(jù)生命周期存儲設(shè)備容量典型使用案例臨時存儲運(yùn)行操作系統(tǒng)和提供啟動空間通

4、過文件系統(tǒng)訪問虛擬機(jī)Nova虛擬機(jī)終止管理員配置的Flavor指定容量虛擬機(jī)中第一塊磁盤10GB，第二塊磁盤20GB塊存儲為虛擬機(jī)添加額外的持久化存儲塊設(shè)備被分區(qū)、格式化后掛載訪問（例如 /dev/vdc）虛擬機(jī)Cinder被用戶刪除用戶創(chuàng)建時指定1 TB磁盤對象存儲存儲海量數(shù)據(jù)，包括虛擬機(jī)映像REST API任何客戶端Swift被用戶刪除可用物理存儲空間和數(shù)據(jù)副本數(shù)量10s TB級數(shù)據(jù)集存儲共享文件系統(tǒng)存儲為虛擬機(jī)添加額外的持久化存儲共享文件系統(tǒng)存儲被分區(qū)、格式化后掛載訪問（例如 /dev/vdc）虛擬機(jī)Manila被用戶刪除用戶創(chuàng)建時指定擴(kuò)容時指定用戶配額指定管理員指定容量NFS討論：如何

5、選擇不同OpenStack存儲？請討論或思考如下場景中，如何選擇合適的OpenStack存儲？場景一測試OpenStack虛擬機(jī)發(fā)放功能，測試完即刪除虛擬機(jī)場景二OpenStack生產(chǎn)環(huán)境中的虛擬機(jī)，需保證虛擬機(jī)數(shù)據(jù)長期保存場景三存放OpenStack中的Glance鏡像文件OpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Cinder組件詳細(xì)講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftOpenStack塊存儲服務(wù)是什么？CINDER塊存儲服務(wù)首次出現(xiàn)在OpenStack的“Folsom” 版本中。簡介Cinder提供塊

6、存儲服務(wù)，為虛擬機(jī)實例提供持久化存儲。Cinder調(diào)用不同存儲接口驅(qū)動，將存儲設(shè)備轉(zhuǎn)化成塊存儲池，用戶無需了解存儲實際部署的位置或設(shè)備類型。依賴的OpenStack服務(wù)KeystoneCinder在OpenStack中的位置和作用source: OpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Cinder組件詳細(xì)講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftCinder架構(gòu)cinder-apicinder-schedulercinder-volumecinder-backupDBcinder clientRESTMess

7、age Queue Message Queue Message Queue Cinder架構(gòu)說明cinder-apicinder-schedulercinder-volumecinder-volumecinder-volumeSAN StorageLogical volumeSAN volume-driverLVMvolume-driverCephvolume-driverCeph Storage存儲模塊對外的服務(wù)接口，接收并轉(zhuǎn)發(fā)外部請求到不同的cinder組件進(jìn)行處理調(diào)度選擇合適的主機(jī)進(jìn)行創(chuàng)卷等操作執(zhí)行卷、快照相關(guān)的業(yè)務(wù)，通過調(diào)用不同的driver管理不同的存儲后端DBCinder架構(gòu)部署：

8、以SAN存儲為例Cinder-api，Cinder-Scheduler，Cinder-Volume可以選擇部署到一個節(jié)點上，也可以分別部署。API采用AA模式，Haproxy作為LB，分發(fā)請求到多個Cinder API。Scheduer也采用AA模式，有rabbitmq以負(fù)載均衡模式向3個節(jié)點分發(fā)任務(wù)，并同時從rabbitqmq收取Cinder volume上報的能力信息，調(diào)度時，scheduler通過在DB中預(yù)留資源從而保證數(shù)據(jù)一致性。Cinder Volume也采用AA模式，同時上報同一個backend容量和能力信息，并同時接受請求進(jìn)行處理。RabbitMQ，支持主備或集群。MySQL，支

9、持主備或集群。Cinder-APICinder-SchedulerRabbitMQMySQLCinder-VolumeCinder-APICinder-APICinder-SchedulerCinder-SchedulerCinder-VolumeCinder-VolumeRabbitMQHAproxySANMySQLOpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Cinder組件詳細(xì)講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftCinder組件 - APICinder API對外提供REST API，對操作需求進(jìn)行解析

10、，并調(diào)用處理方法：卷create/delete/list/show快照create/delete/list/show卷attach/detach (Nova調(diào)用)其他:Volume types QuotasBackupsCinder組件 - SchedulerCinder scheduler負(fù)責(zé)收集后端上報的容量、能力信息，根據(jù)設(shè)定的算法完成卷到指定cinder-volume的調(diào)度。Cinder scheduler通過過濾和稱權(quán)，篩選出合適的后端：1. 列出所有后端2. 根據(jù)后端的能力進(jìn)行篩選3. 根據(jù)權(quán)重給后端排序4. 返回最合適的后端Cinder組件 - VolumeCinder volu

11、me多節(jié)點部署，使用不同的配置文件、接入不同的后端設(shè)備，由各存儲廠商插入Driver代碼與設(shè)備交互，完成設(shè)備容量和能力信息收集、卷操作等。Cinder PluginsSoftware BasedFile system basedDFSNFSBlock basedHardware BasedFibre ChanneliSCSINFSGlusterFS，RBD(Ceph)通過NFS支持NAS存儲通過LVM支持本地存儲通過添加不同廠商的Drivers支持不同類型和型號的商業(yè)存儲設(shè)備，例如華為存儲、IBM存儲、EMC存儲等OpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Ci

12、nder組件詳細(xì)講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftCinder-APICinder-ScheduleCinder-Volume創(chuàng)建卷讀取調(diào)度算法，過濾并選擇最優(yōu)的HOST定期上報后端狀態(tài)創(chuàng)建卷類型Cinder Driver/Backend定期查詢陣列信息將請求發(fā)送到對應(yīng)的后端請求陣列后端創(chuàng)建指定的卷Cinder創(chuàng)建卷流程請求Scheduler創(chuàng)建卷Cinder-volume: 會定期收集底層后端的容量等信息，并通知Scheduler更新內(nèi)存中的Backend信息。Create volumeScheduler節(jié)點API節(jié)點Cinder創(chuàng)建

13、卷流程 - Cinder APICinder API檢查參數(shù)合法性(用戶輸入，權(quán)限，資源是否存在等)。準(zhǔn)備創(chuàng)建的參數(shù)字典，預(yù)留和提交配額。在數(shù)據(jù)庫中創(chuàng)建對應(yīng)的數(shù)據(jù)記錄。通過消息隊列將請求和參數(shù)發(fā)送到SchedulerVolumeControllerCinder-Volume(API)callCinder-Schedule（Manager）callRPCCinder-Schedule(rpcapi)Create volumeVolume節(jié)點Scheduler節(jié)點Cinder-Schedule（Manager）Cinder-Volume(Manager)Cinder-Volume(rpcapi)c

14、allRPCCinder創(chuàng)建卷流程 - Cinder SchedulerCinder Scheduler服務(wù)提取接收到的請求參數(shù)通過配置的filter和輸入?yún)?shù)對后端進(jìn)行過濾Availability_zone_filterCapacity_filterCapabilities_filterAffinity_filter(SameBackendFilter/DifferentBackendFilter)Weigher計算后端進(jìn)行權(quán)重CapacityWeigher/AllocatedCapacityWeigherChanceWeigherGoodnessWeigher.選取最優(yōu)的Backend并通

15、過消息隊列將請求發(fā)送到指定的后端Create volumeVolume節(jié)點Cinder-Volume（Manager）backendVolume DrivercallxxxCinder創(chuàng)建卷流程 - Cinder VolumeCinder Volume服務(wù)提取接收到的請求參數(shù)調(diào)用對應(yīng)的Driver在后端創(chuàng)建實際的卷使用Driver返回的模型更新數(shù)據(jù)庫中的記錄Create volumeCinder掛載卷流程掛卷流程： 掛卷是通過Nova和Cinder的配合最終將遠(yuǎn)端的卷連接到虛擬機(jī)所在的Host節(jié)點上，并最終通過虛擬機(jī)管理程序映射到內(nèi)部的虛擬機(jī)中。Storage ControllerNovaVM

16、/dev/vdaKVMiSCSIinitiatorCinderiSCSItarget支持多種協(xié)議(例如 FC, NFS)Persistent volume controlPersistent volume dataOpenStack存儲概述塊存儲CinderCinder簡介Cinder架構(gòu)Cinder組件詳細(xì)講解Cinder典型工作流程OpenStack動手實驗： Cinder操作對象存儲SwiftCinder主要操作Volume: 塊設(shè)備卷，提供創(chuàng)建，刪除，擴(kuò)容，掛載/卸載等功能。Snapshot: 針對于塊設(shè)備卷的快照創(chuàng)建，刪除, 回滾等功能。Backup: 提供對塊設(shè)備卷的備份，恢復(fù)能力

17、。Cinder主要操作主要三個資源:功能分類功能 功能分類功能 卷操作create快照操作snapshot-createdeletesnapshot-deleteshowsnapshot-listrenamesnapshot-renameupload-to-imagesnapshot-reset-stateextendsnapshot-showforce-deletesnapshot-metadatalistsnapshot-metadata-showmigratesnapshot-metadata-update-all reset-state備份操作backup-createrate-lim

18、itsbackup-deleteretypebackup-listset-bootablebackup-restoremanagebackup-showunmanagebackup-export metadatabackup-export 動手實驗：Cinder操作命令help卷類型管理卷QoS管理卷管理OpenStack存儲概述塊存儲Cinder對象存儲SwiftSwift簡介Swift架構(gòu)對象存儲服務(wù)是什么？SWIFT對象存儲服務(wù)首次出現(xiàn)在OpenStack的“Austin” 版本中。簡介Swift提供高度可用、分布式、最終一致的對象存儲服務(wù)。Swift可以高效、安全且廉價地存儲大量數(shù)據(jù)。

19、Swift非常適合存儲需要彈性擴(kuò)展的非結(jié)構(gòu)化數(shù)據(jù)。依賴的OpenStack服務(wù)為其他OpenStack服務(wù)提供對象存儲服務(wù)。Swift在OpenStack中的位置source: Swift在OpenStack中的作用Swift并不是文件系統(tǒng)或者實時的數(shù)據(jù)存儲系統(tǒng)，它稱為對象存儲，用于永久類型的靜態(tài)數(shù)據(jù)的長期存儲，這些數(shù)據(jù)可以檢索、調(diào)整，必要時進(jìn)行更新。最適合存儲的數(shù)據(jù)類型的例子是虛擬機(jī)鏡像、圖片存儲、郵件存儲和存檔備份。因為沒有中心單元或主控結(jié)點，Swift提供了更強(qiáng)的擴(kuò)展性、冗余和持久性。VMNovaCinderSwiftGlanceProvides imagesProvisionsProv

20、ides volumes forBackups volumes inStores images inSwift特點Swift特點極高的數(shù)據(jù)持久性完全對稱的系統(tǒng)架構(gòu)可擴(kuò)展性強(qiáng)無單點故障Swift應(yīng)用場景鏡像存儲后端在OpenStack中與鏡像服務(wù)Glance結(jié)合，為其存儲鏡像文件。靜態(tài)數(shù)據(jù)存儲由于Swift的擴(kuò)展能力，適合存儲日志文件和數(shù)據(jù)備份倉庫。OpenStack存儲概述塊存儲Cinder對象存儲SwiftSwift簡介Swift架構(gòu)對象存儲服務(wù)的架構(gòu) 完全對稱、面向資源的分布式系統(tǒng)架構(gòu)設(shè)計API(Swift Proxy)-Account-Container-Object-Account-C

21、ontainer-Object-Account-Container-Object-Account-Container-Object-Account-Container-Object-Account-Container-ObjectStorage networkReplication networkSwift組件Proxy Server對外提供對象服務(wù) API，由于采用無狀態(tài)的 REST 請求協(xié)議，可以進(jìn)行橫向擴(kuò)展來均衡負(fù)載。Account Server提供賬戶元數(shù)據(jù)和統(tǒng)計信息，并維護(hù)所含容器列表的服務(wù)，每個賬戶的信息被存儲在一個 SQLite 數(shù)據(jù)庫中。Container Server提供容器元數(shù)據(jù)和統(tǒng)計信息，并維護(hù)所含對象列表的服務(wù)，每個容器的信息也存儲在一個 SQLite 數(shù)據(jù)庫中。Swift組件Object Server提供對象元數(shù)據(jù)和內(nèi)容服務(wù)，每個對象的內(nèi)容會以文件的形式存儲在文件系統(tǒng)中，元數(shù)據(jù)會作為文件屬性來存儲，建議采用支持?jǐn)U展屬性的 XFS 文件系統(tǒng)。Replicator檢測本地分區(qū)副本和遠(yuǎn)程副本是否一致，發(fā)現(xiàn)不一致時會采用推式（Push）更新遠(yuǎn)程副本，并且確保被標(biāo)記刪除的對象