FusionSphere虛擬化套件SSD直通技術(shù)白皮書(shū)

1、 DOCPROPERTY DocumentName SSD直通技術(shù)白皮書(shū)華為專有和保密信息 版權(quán)所有 華為技術(shù)有限公司文檔版本 DOCPROPERTY DocumentVersion V1.0 ( DOCPROPERTY ReleaseDate 2019-03-15) DOCPROPERTY Product Project Name 華為FusionSphere虛擬化套件 DOCPROPERTY DocumentName SSD直通技術(shù)白皮書(shū)目 錄 TOC o 1-3 h z u HYPERLINK l _Toc2959867 1NVMe SSD直通 PAGEREF _Toc2959867 h

2、 1 HYPERLINK l _Toc2959868 1.1概述 PAGEREF _Toc2959868 h 1 HYPERLINK l _Toc2959869 1.2原理 PAGEREF _Toc2959869 h 1 HYPERLINK l _Toc2959870 1.2.1 PCI直通 PAGEREF _Toc2959870 h 1 HYPERLINK l _Toc2959871 1.2.2 NVMe SSD PAGEREF _Toc2959871 h 3 HYPERLINK l _Toc2959872 2華為方案 PAGEREF _Toc2959872 h 4 HYPERLINK l

3、_Toc2959873 2.1方案簡(jiǎn)介 PAGEREF _Toc2959873 h 4 HYPERLINK l _Toc2959874 2.2方案特點(diǎn) PAGEREF _Toc2959874 h 4 HYPERLINK l _Toc2959875 2.3方案約束 PAGEREF _Toc2959875 h 4 HYPERLINK l _Toc2959876 3NVMe SSD直通應(yīng)用場(chǎng)景 PAGEREF _Toc2959876 h 5 HYPERLINK l _Toc2959877 4縮略語(yǔ)表 PAGEREF _Toc2959877 h 6NVMe SSD直通概述存儲(chǔ)虛擬化讓IT管理員可以通過(guò)

4、一種便利的方式管理數(shù)據(jù)中心的存儲(chǔ)設(shè)備，簡(jiǎn)化管理。通過(guò)精簡(jiǎn)卷提高了資源利用率，但虛擬化技術(shù)增加了虛擬機(jī)IO訪問(wèn)路徑長(zhǎng)度、主機(jī)上用戶態(tài)與內(nèi)核態(tài)切換次數(shù)，同一設(shè)備上的資源競(jìng)爭(zhēng)，導(dǎo)致IO性能有所損失。設(shè)備直通技術(shù)為虛擬機(jī)提供了一種機(jī)制來(lái)直接訪問(wèn)物理設(shè)備，以減小虛擬化帶來(lái)的開(kāi)銷，使虛擬機(jī)有接近物理設(shè)備的性能。隨著計(jì)算機(jī)能力的不斷增強(qiáng)，存儲(chǔ)技術(shù)也在不斷的發(fā)生變化，SSD的出現(xiàn)，擺脫了傳統(tǒng)HDD的磁頭、盤片及電機(jī)等機(jī)械部件，不會(huì)出現(xiàn)任何機(jī)械故障，相對(duì)于HDD而言，SSD在性能、可靠性、能耗方面都有著絕對(duì)的優(yōu)勢(shì)，基于NVME協(xié)議標(biāo)準(zhǔn)的SSD相比使用SATA接口與AHCI標(biāo)準(zhǔn)的SSD大幅的降低了延遲、提升了IO

5、PS，使得SSD的隨機(jī)性能得到了極大的提升。虛擬化環(huán)境下在對(duì)IO性能有極致需求的場(chǎng)景下面臨著極大的挑戰(zhàn)，基于普通存儲(chǔ)設(shè)備提供的存儲(chǔ)虛擬化能力根本無(wú)法滿足訴求，NVMe SSD直通可以完美的解決這一問(wèn)題，直通技術(shù)解決了虛擬化帶來(lái)的開(kāi)銷，NVMe SSD提供最強(qiáng)的硬件能力。原理PCI直通SSD直通是將SSD設(shè)備作為PCI設(shè)備通過(guò)PCI直通技術(shù)完成，當(dāng)前有兩種直通設(shè)備實(shí)現(xiàn)方式：kvm pci-assign和VFIO。在虛擬機(jī)看來(lái)，直通設(shè)備是物理上連接在PCI或者PCI-E總線上的，虛擬機(jī)對(duì)該設(shè)備的I/O交互操作和實(shí)際的物理設(shè)備操作完全一樣。PCI-ASSIGN使用pci-assign方式時(shí)，通過(guò)硬件

6、虛擬化技術(shù)將宿主機(jī)中的物理 PCI 設(shè)備直接分配給虛擬機(jī)，虛擬機(jī)以獨(dú)占方式訪問(wèn)宿主機(jī)的 PCI/PCI-E 設(shè)備，這種方式存在一些缺陷, KVM 是hypervisor并不是設(shè)備驅(qū)動(dòng)，資源訪問(wèn)方式與安全啟動(dòng)并不兼容，僅支持PCI設(shè)備、X86平臺(tái)、KVM虛擬化引擎。 pci-assign直通圖VFIO & IOMMUVFIO是一種新的設(shè)備直通技術(shù)，很好的解決了pci-assign存在的問(wèn)題，VFIO是一套用戶態(tài)驅(qū)動(dòng)框架，可以安全的把設(shè)備I/O、中斷、DMA等暴露到用戶空間，在用戶空間完成設(shè)備驅(qū)動(dòng)的框架。用戶空間直接訪問(wèn)設(shè)備，虛擬機(jī)設(shè)備分配可以獲得更高的IO性能。VFIO實(shí)現(xiàn)用戶空間設(shè)備驅(qū)動(dòng)時(shí)通過(guò)

7、IOMMU可以將DMA以安全可控的方式暴露到用戶空間，IOMMU的引入對(duì)設(shè)備進(jìn)行了限制，設(shè)備I/O地址需要經(jīng)過(guò)IOMMU重映射為內(nèi)存物理地址，惡意的或存在錯(cuò)誤的設(shè)備不能讀寫沒(méi)有被明確映射過(guò)的內(nèi)存，運(yùn)行在cpu上的操作系統(tǒng)以互斥的方式管理MMU與IOMMU，物理設(shè)備不能繞行或污染可配置的內(nèi)存管理表項(xiàng)。 VFIO內(nèi)核組件圖vfio interface: vfio通過(guò)設(shè)備文件向用戶空間提供統(tǒng)一訪問(wèn)接口。vfio_iommu_driver:為vfio提供了IOMMU重映射驅(qū)動(dòng)，即向用戶空間暴露DMA操作。vfio-pci：vfio支持pci設(shè)備pass-through,vfio-pci作為pci dr

8、iver掛載到pci總線,提供將pci設(shè)備io、interrupt暴露到用戶空間實(shí)現(xiàn)。NVMe SSD傳統(tǒng)機(jī)械硬盤和固態(tài)硬盤均屬于非易失存儲(chǔ)器。傳統(tǒng)的機(jī)械硬盤采用的是磁介質(zhì)，通過(guò)磁記錄的原理來(lái)實(shí)現(xiàn)數(shù)據(jù)的存儲(chǔ)。SSD則摒棄傳統(tǒng)磁介質(zhì)，采用電子存儲(chǔ)介質(zhì)進(jìn)行數(shù)據(jù)存儲(chǔ)和讀取的一種技術(shù)。常見(jiàn)的SSD都是基于閃存的，可移動(dòng)且數(shù)據(jù)保護(hù)不受電源控制；目前主流的SSD還是SATA、SAS接口和PCIe接口。SATA接口與SAS接口的固態(tài)盤數(shù)據(jù)速率多在百兆級(jí)別，離SSD的最大性能還很遠(yuǎn)。PCIe接口的固態(tài)盤為了更好的發(fā)揮閃存的性能也各自有不同的軟件接口，性能在2GB/s左右。為了最大化SSD的性能，同時(shí)為統(tǒng)一基于

9、原生PCIe接口的固態(tài)盤的軟件接口標(biāo)準(zhǔn)的情況下誕生了NVMe。NVMe是一個(gè)可擴(kuò)展的主控器芯片接口標(biāo)準(zhǔn)，主要為企業(yè)、數(shù)據(jù)中心以及客戶端系統(tǒng)中應(yīng)用PCIe接口的SSD設(shè)備設(shè)計(jì)，它的目標(biāo)是最大限度的釋放閃存的潛能。NVMe為基于PCIe的SSD帶來(lái)了較低的時(shí)延，較高的IOPS和較低能耗的優(yōu)勢(shì)。NVMe有以下一些關(guān)鍵屬性：在命令提交或完成的路徑上不需要讀取相關(guān)寄存器；支持最多可達(dá)64K 的I/O 隊(duì)列，每個(gè)隊(duì)列支持64K的未處理命令；每個(gè)隊(duì)列的的優(yōu)先級(jí)擁有明確的仲裁機(jī)制；高效且流線型的指令集；支持MSI/MSI-X中斷和中斷聚合；支持多個(gè)命名空間；有效支持IO虛擬化架構(gòu)，如SR-IOV；支持多路徑I

10、O和命名空間共享華為方案方案簡(jiǎn)介華為虛擬化套件為滿足用戶極致IO性能的應(yīng)用場(chǎng)景，使用VFIO的方式提供了NVMe SSD直通的能力，實(shí)現(xiàn)原理請(qǐng)參考1.2章節(jié)。虛擬機(jī)關(guān)機(jī)時(shí)可以綁定、解綁定SSD設(shè)備，為保護(hù)用戶數(shù)據(jù)安全解綁時(shí)支持格式化SSD設(shè)備。平臺(tái)使用統(tǒng)一的框架管理所有PCI直通設(shè)備，平臺(tái)支持的設(shè)備通過(guò)白名單的方式配置。方案特點(diǎn)集中管理所有PCI直通設(shè)備，用戶可以用統(tǒng)一的方式管理GPU、SSD、網(wǎng)卡等設(shè)備，簡(jiǎn)化了用戶操作。使用VFIO直通方式，充分利用和繼承了開(kāi)源社區(qū)先進(jìn)的方案及經(jīng)驗(yàn)且對(duì)可靠性、安全做了增強(qiáng)。方案約束SSD直通存在以下約束：需提前在主機(jī)的BIOS中開(kāi)啟CPU的VT-d和VT-x

11、支持。不同廠家服務(wù)器開(kāi)啟方式會(huì)有區(qū)別，請(qǐng)參考具體服務(wù)器的幫助文檔SSD直通虛擬機(jī)不支持熱遷移、休眠、喚醒功能SSD直通虛擬機(jī)不支持創(chuàng)建和恢復(fù)內(nèi)存快照SSD直通設(shè)備需要在虛擬機(jī)關(guān)閉狀態(tài)下綁定及解綁定，不支持熱插拔一個(gè)SSD設(shè)備僅允許綁定給一個(gè)虛擬機(jī)虛擬機(jī)GuestOS中需要安裝SSD的磁盤驅(qū)動(dòng)，以使SSD在虛擬機(jī)內(nèi)部正常工作不允許在綁定/解綁定SSD設(shè)備過(guò)程中啟動(dòng)虛擬機(jī)需要進(jìn)行SSD直通的虛擬機(jī)的內(nèi)存必須全部預(yù)留需要進(jìn)行SSD格式化時(shí)主機(jī)必須安裝對(duì)應(yīng)的驅(qū)動(dòng)。需要進(jìn)行SSD直通的虛擬機(jī)需要與SSD設(shè)備所在的主機(jī)綁定NVMe SSD直通應(yīng)用場(chǎng)景NVMe SSD直通適用于所有對(duì)IO有極致要求的場(chǎng)景，比如視頻、CDN、科學(xué)計(jì)算等?？s略語(yǔ)表縮略語(yǔ)清單英文縮寫英文全名SSDSolid State DrivesVFIOVirtual Function I/ONVMeNon-Volatile Memory ExpressBIOSBasic Input Output SystemSR-IOVSingle-Root I/O VirtualizationCDNContent Delivery NetworkIOPSInput/Output