數(shù)據(jù)中心新技術(shù)介紹

數(shù)據(jù)中心新技術(shù)介紹數(shù)據(jù)中心拓展部：王宏偉2010年8月關(guān)于Server-to-networkedge的故事未來幾年，數(shù)據(jù)中心的新技術(shù)都將發(fā)生在Server-to-networkedge；FCOE、CNA、CEE、EVB，都是Server-to-networkedge的故事；數(shù)據(jù)中心以太網(wǎng)絡(luò)三個技術(shù)方向：融合、IO虛擬化、40G/100GFWLBIPSNetStreamFWLBIPSNetStreamServer-to-netwokredge虛擬化：

服務(wù)器虛擬化EVB融合架構(gòu)：CEEFCoE概述——虛擬化的定義虛擬化是資源的邏輯表示，它不受物理限制的約束——

引自IBM《虛擬化與云計算》“虛擬化”的定義包含了三層含義：虛擬化的對象是各種各樣的資源；經(jīng)過虛擬化后的邏輯資源對用戶隱藏了不必要的細節(jié)；用戶可以在虛擬環(huán)境中實現(xiàn)其真實環(huán)境的部分或全部功能;“虛擬化”的兩種形式：N:1虛擬化1:N虛擬化概述——包羅萬象的虛擬化虛擬化服務(wù)器虛擬化存儲虛擬化桌面虛擬化軟件虛擬化網(wǎng)絡(luò)虛擬化服務(wù)器虛擬化：使用虛擬化軟件在一臺物理服務(wù)器上運行多個操作系統(tǒng)；網(wǎng)絡(luò)虛擬化：將網(wǎng)絡(luò)的硬件和軟件進行整合，想用戶提供虛擬網(wǎng)絡(luò)連接的技術(shù)，VLAN/VPN/VRF/IRF/VDC等，后面將詳細討論；存儲虛擬化：為物理存儲設(shè)備提供一個抽象邏輯視圖，用戶通過這個統(tǒng)一的邏輯接口來訪問被整合的存儲資源，RAID/NAS/SAN。軟件虛擬化：應(yīng)用虛擬化、高級語言虛擬化（JAVA/JRE）；桌面虛擬化：將個人桌面環(huán)境保存在遠端服務(wù)器上，終端與桌面解除耦合；虛擬化：

服務(wù)器虛擬化EVB融合架構(gòu)：CEEFCoE服務(wù)器虛擬化的基本概念虛擬化前:每臺主機一個操作系統(tǒng)；軟件硬件緊密地結(jié)合

；在同一主機上運行多個應(yīng)用程序通常會遭遇沖突；系統(tǒng)的資源利用率低；硬件成本高昂而且不夠靈活；虛擬化后:解除了操作系統(tǒng)和服務(wù)器硬件的互相依賴；每個虛擬機（邏輯服務(wù)器）被封裝成一個大文件，可拷貝/克隆；個系統(tǒng)間邏輯隔離，故障隔離；虛擬機獨立于硬件,可在其他服務(wù)器上運行；借助虛擬化軟件在一臺物理服務(wù)器上運行多個操作系統(tǒng)；服務(wù)器虛擬化的兩個術(shù)語在虛擬化中有兩個常用的術(shù)語：VirtualMachine、virtualmachine

monitorVirtualMachine（VM）是指運行在Hypervisor之上，擁有CPU、IO、內(nèi)存等虛擬硬件資源并可支撐操作系統(tǒng)運行的一個完整的系統(tǒng)平臺。virtualmachinemonitor（VMM）或叫做Hypervisor，是支持虛擬機運行的軟件平臺，負責虛擬機（VM）的托管和管理，它直接運行在服務(wù)器硬件上，因此其實現(xiàn)直接受底層體系機構(gòu)的約束。VMM，有兩種典型的實現(xiàn)：主機實現(xiàn)方案（hosted），也叫做主機虛擬化，實現(xiàn)：VMwareServer(GSX)、VMwareWorkstation、VMwareFusionMicrosoftVirtualPC、MicrosoftVirtualServer裸金屬實現(xiàn)方案（bare-metal）,也叫做裸金屬虛擬化，實現(xiàn)：VMwareESXServerCitrixXenServerMicrosoftHyper-V當前市場上的主流產(chǎn)品服務(wù)器虛擬化的典型實現(xiàn)VMM作為一個應(yīng)用程序運行在通用操作系統(tǒng)之上，操作系統(tǒng)管理資源。多個虛擬機的OS間相互獨立，一個虛擬機宕機不影響其他虛擬機。操作系統(tǒng)支持的硬件，虛擬機就能支持。性能低。VMM負責硬件資源的管理。VM應(yīng)用層、VM內(nèi)核、Hypervisor處于不同的CPU特權(quán)等級多個虛擬機的OS間相互獨立，一個虛擬機宕機不影響其他虛擬機。處理性能高，接近非虛擬化運行模式；VMM（虛擬化軟件）ApplicationApplicationOSOS一個虛擬機一個虛擬機主機虛擬化的結(jié)構(gòu)ApplicationApplicationVMM（虛擬化軟件）OSOS一個虛擬機一個虛擬機裸金屬虛擬化的結(jié)構(gòu)CPU演進：單核→雙核→四核→八核→

…雙核四核四核八核每核運行1.5個虛擬機（該比例是Intel提出的虛擬機SLA限制條件，即運行于滿負載機器之上的所有作業(yè)的完成時間不應(yīng)超過其在空載機器上單個VM中運行所需時間的1.4倍）；裝備1個8核CPU的服務(wù)器可運行12個虛擬機動態(tài)遷移運行中的VM可實現(xiàn)動態(tài)遷移到不同物理及的虛擬平臺上分區(qū)在單一物理服務(wù)器上同時運行

多個虛擬機隔離在同一服務(wù)器上的虛擬機之間

相互隔離封裝整個虛擬機都保存在文件中，而且可以通過移動和復制這些文件的方式來移動和復制該虛擬機服務(wù)器虛擬化的關(guān)鍵特性虛擬層虛擬交換機CPU虛擬化內(nèi)存虛擬化存儲資源虛擬化傳統(tǒng)數(shù)據(jù)中心視圖虛擬架構(gòu)視圖OperatingSystemExchangeOperatingSystem虛擬化層OperatingSystemVPNOperatingSystem虛擬化層OperatingSystemFile/PrintOperatingSystem虛擬化層OperatingSystemCRMOperatingSystem虛擬化層服務(wù)器虛擬化的對傳統(tǒng)IT架構(gòu)的改變虛擬化層虛擬交換機CPU虛擬化內(nèi)存虛擬化存儲資源虛擬化服務(wù)器虛擬化的對傳統(tǒng)IT架構(gòu)的改變服務(wù)器虛擬化的關(guān)鍵特性——動態(tài)遷移服務(wù)器硬件VMM服務(wù)器硬件VMMVMotion遷移虛擬機SAN、iSCSI或NAS動態(tài)遷移可在X86架構(gòu)的VMWAREESX上實現(xiàn)，也可以在IBMP6小型機上實現(xiàn)；在不中斷服務(wù)的情況下，將VM遷移到其他的物理服務(wù)器上；可用在災(zāi)備、資源調(diào)整、服務(wù)器維護等場合；實現(xiàn)遷移的服務(wù)器必須在一個二層網(wǎng)絡(luò)內(nèi)，VM的GW在相同設(shè)備上；Intel?Core?

MicroarchitectureEnhancedIntel?Core?MicroarchitectureNextGeneration

IntelMicroarchitectureXeon7500Xeon5400Xeon3300FutureFutureFutureXeon5300Xeon7300Xeon320065nm45nmHigh-K2006-20072007-20082008-2010DualCore5100DualCore7200DualCore3000Intel?VTFlexMigrationIncreasedVMMobilitywithVMwareFail-Over防故障LoadBalance負載分擔

DisasterRecovery容災(zāi)ServerMaintenance服務(wù)器維護VMVMIntelCPU對虛擬機VMotion特性的支持借助intelVTFlexmirgration和vmwareESX的VMotion，先前在各代服務(wù)器間實時遷移虛擬機的障礙已得到解決。IBMP6/P7CPU支持“分區(qū)實時遷移”IBMSystemp系統(tǒng)的動態(tài)分區(qū)遷移技術(shù)，允許將正在運行的生產(chǎn)應(yīng)用程序從一個物理服務(wù)器移動到另一個物理服務(wù)器動態(tài)分區(qū)遷移有助于實現(xiàn)連續(xù)的可用性目標：通過動態(tài)地將應(yīng)用程序從一個服務(wù)器移動到另一個服務(wù)器，減少計劃停機時間。通過允許您將工作負載從負載較重的服務(wù)器移動到具有空閑容量的服務(wù)器，可以應(yīng)對不斷變化的工作負載和業(yè)務(wù)需求。通過允許您簡單地整合工作負載，并關(guān)閉不使用的服務(wù)器，減少能量的消耗。IBMP6/P7CPU都支持“分區(qū)實時遷移”，類似與VMWARE的VMotion。“分區(qū)實時遷移”需要服務(wù)器部署在同一個二層網(wǎng)絡(luò)中。虛擬化：

服務(wù)器虛擬化

EVB融合架構(gòu)：CEEFCoE物理網(wǎng)卡虛擬交換機VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬交換機虛擬化Server虛擬機1虛擬機2虛擬機3虛擬機4虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡核心層匯聚層接入層接入層服務(wù)器虛擬化帶來網(wǎng)絡(luò)接入層的變化傳統(tǒng)的VSwitch的問題1——管理邊界問題物理網(wǎng)卡虛擬交換機VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬服務(wù)器邊界物理服務(wù)器邊界二層網(wǎng)絡(luò)邊界這部分由服務(wù)器管理員負責運維。這部分由網(wǎng)絡(luò)管理員負責運維。這部分由誰負責運維？物理服務(wù)器中的邏輯網(wǎng)絡(luò)由誰管？相似的情況：刀片服務(wù)器中的交換機模塊由誰管？Server-to-networkedge是當前數(shù)據(jù)中心技術(shù)發(fā)展的熱點，融合、IO/虛擬化是熱點的兩個主題；其實，EVB/FCOE/CEE，都是在討論邊界上的技術(shù)問題；傳統(tǒng)的VSwitch的問題2——VM流量監(jiān)管問題物理網(wǎng)卡VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡從虛擬機到物理服務(wù)器之外的流量可以通過交換機鏡像、網(wǎng)流分析設(shè)備進行監(jiān)控；虛擬機之間的流量無法進行監(jiān)控；也有將虛擬交換機軟件進行改進，以實現(xiàn)流量監(jiān)控或鏡像的方式，但這種方式需要消耗過多的CPU資源。可監(jiān)控的服務(wù)器流量不可監(jiān)控的服務(wù)器流量物理網(wǎng)卡VSwitch虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡傳統(tǒng)的VSwitch的問題3——服務(wù)器訪問控制數(shù)據(jù)中心服務(wù)器之間采用了矩陣式的訪問控制策略。不同的虛擬機之間需要通過ACL實現(xiàn)訪問控制；傳統(tǒng)的VSwitch實現(xiàn)ACL需要消耗CPU資源，對服務(wù)器性能有影響；安全策略與VM的遷移緊綁定問題需解決；EVB實現(xiàn)虛擬機的邊緣接入控制VirtualEthernetBridge(VEB)VirtualEthernetPortAggregation(VEPA)也稱BasicVEPAMultichannelRemoteReplicationMAC+VIDtosteerframesMAC+VIDtosteerframesusestagforremoteportsusestagtoreplicatepackets仿真802.1橋功能已有實現(xiàn)(vSwitch,SR-IOVbridge)與現(xiàn)有網(wǎng)絡(luò)可配合運行無需修改當前報文格式有限的可視性(不易管理)有限的網(wǎng)絡(luò)功能本地轉(zhuǎn)發(fā)性能較強Legacy,pervasive修改802.1橋功能與現(xiàn)有大部分交換可配合運行Hairpin方式不修改現(xiàn)有報文格式

FullbridgevisibilityAccesstobridgefeaturesConstrainedperformanceLeveragesVEBresources利用ProviderBridge802.1Qbc功能類似遠端業(yè)務(wù)接口

RemoteServiceInterface使用現(xiàn)有報文格式(S-tags).創(chuàng)建橋虛擬端口定義受控SComponent組件

AccesstobridgefeaturesAdjacentbridgemulticastreplication(性能有限)擴展Multichannel可外部級聯(lián)定義新的tagformatDefinesnewnamespaceHP/3COM802.1Qbg的解決方案MAC/PHY虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3VEPA以太網(wǎng)交換機VirtualEtherPortAggragation方案：現(xiàn)在的交換機只要稍做驅(qū)動修改就可支持這種模式；原來的VSwitch變成了VEPA，但還是CPU處理，性能有一定限制；在物理網(wǎng)絡(luò)上實現(xiàn)了流控和安全控制；物理服務(wù)器邊界也是網(wǎng)管邊界；實現(xiàn)流量監(jiān)控、安全控制物理服務(wù)器邊界虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3以太網(wǎng)交換機實現(xiàn)流量監(jiān)控、安全控制物理服務(wù)器邊界虛擬網(wǎng)卡VM3VSwitchVEPA多通道標簽處理模塊MAC/PHY多通道標簽處理模塊Mutil-Channel方案：可同時支持軟/硬VSwitch、VEPA，需要升級網(wǎng)卡和接入層交換機支持Q-IN-Q；在物理網(wǎng)絡(luò)上實現(xiàn)了流控和安全控制物理服務(wù)器邊界也是網(wǎng)管邊界；物理網(wǎng)卡物理網(wǎng)卡CISCO的802.1Qbh解決方案虛擬化之后的服務(wù)器虛擬網(wǎng)卡虛擬網(wǎng)卡虛擬網(wǎng)卡VMMVM1VM2VM3以太網(wǎng)交換機實現(xiàn)流量監(jiān)控、安全控制虛擬網(wǎng)卡VM3VSwitchVEPAM標簽處理模塊（標簽復制）MAC/PHYM標簽處理模塊M標簽處理模塊（標簽復制）非虛擬化的服務(wù)器MAC/PHY物理網(wǎng)卡物理網(wǎng)卡操作系統(tǒng)非虛擬化的服務(wù)器MAC/PHY物理網(wǎng)卡端口擴展FEX為解決多通道技術(shù)多播轉(zhuǎn)發(fā)的復雜性，提出了端口擴展技術(shù)；端口擴展技術(shù)實現(xiàn)了M部件，專用于對多播報文進行轉(zhuǎn)發(fā)；M部件增加對多播tag的添加和刪除；操作系統(tǒng)兩個標準草案的比較802.1Qbg：目標是定義EVB的基本功能；VEPA及其multi-channel是由HP、3COM、IBM、Broadcom、Qlogic、emulex等公司支持發(fā)起確定的IEEE標準，將2011年初成為正式標準；協(xié)議定義了虛擬機VMM以及交換機對來自VM的報文的處理方式，將VM的流量牽引到交換機上做轉(zhuǎn)發(fā)、監(jiān)管、安全控制，然后在送回到VM。該協(xié)議明確了服務(wù)器管理邊界、網(wǎng)絡(luò)管理邊界。802.1Qbh：目標是定義端口擴展；CISCO主導的802.1Qbh，預計在2012年成為正式標準；該協(xié)議定義了新的以太網(wǎng)報文格式（增加了M-TAG），一組M-tag代表一組端口，用于遠端的部件進行報文的復制（多播）。這兩個標準不沖突，Qbg實現(xiàn)VM之間交換的基本功能，可以借助Qbh提高多播的處理性能；Qbh可以單獨實現(xiàn)，但對硬件有特殊要求；虛擬化：

服務(wù)器虛擬化EVB融合架構(gòu)：CEEFCoE傳統(tǒng)數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)的挑戰(zhàn)HPCLANSAN傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)的問題：分離的多套網(wǎng)絡(luò)服務(wù)器多IO接口多套機房布線以太網(wǎng)高性能計算網(wǎng)存儲網(wǎng)發(fā)展趨勢—IO整合操作系統(tǒng)I/OI/OI/OI/OI/OI/OLANTCP/UDP/IPSANiSCSCI-TCPSCSCI-FCHPCRDMAiWARP以太網(wǎng)以太網(wǎng)FC以太網(wǎng)InfinibandLAN應(yīng)用存儲應(yīng)用HPC應(yīng)用操作系統(tǒng)LANTCP/UDP/IPSANiSCSCI-TCPSCSCI-FCHPCRDMAiWARP增強以太網(wǎng)LAN應(yīng)用存儲應(yīng)用HPC應(yīng)用增強以太網(wǎng)FCHBANICFCHBANIC…FC流量FC流量Enet流量Enet流量CNAFC流量和Enet流量CNAFC流量和Enet流量CAN：Converged

Network

Adapter

IO整合帶來的收益——簡化管理、節(jié)能、降成本LANSANASANBLANSANASANBEthernetFCCEE&FCOE多套網(wǎng)絡(luò)獨立運行，多個故障域（以太網(wǎng)、FC網(wǎng)等），多個管理團隊（以太網(wǎng)管人員、FC網(wǎng)管人員）；各網(wǎng)絡(luò)利用率都不充分；每個服務(wù)器超過5個IO接口卡（兩個數(shù)據(jù)以太網(wǎng)卡、一個管理以太網(wǎng)卡、兩個HBA卡）服務(wù)器部署時間長，需配多個IO卡減少了服務(wù)器的IO接口，簡少服務(wù)器接入層設(shè)備（網(wǎng)絡(luò)、存儲），簡化服務(wù)器接入層布線；降低數(shù)據(jù)中心用電，綠色節(jié)能，降低數(shù)據(jù)中心建設(shè)成本；采用統(tǒng)一的網(wǎng)絡(luò)管理界面；即融合了存儲網(wǎng)絡(luò)，又未改變傳統(tǒng)FC存儲網(wǎng)絡(luò)的部署方式；>10Gbps.8-10Gbps.ExistingFibreChannelEthernet1,2,4Gb16Gb8GbNAS,iSCSIFCoCEE1Gb傳統(tǒng)交換10Gb統(tǒng)一交換40Gb統(tǒng)一交換統(tǒng)一交換的基礎(chǔ)——高性能以太網(wǎng)在FCSAN（FC-BASE2），服務(wù)器和交換機之間、交換機與交換機之間采用4G或8G。10G以太網(wǎng)提供了LAN/SAN融合的基礎(chǔ)；FC采用基于Buffer-to-BufferCredit的流控機制，保證FC網(wǎng)絡(luò)傳輸無丟包；通過FCOE技術(shù)，可實現(xiàn)FC在以太網(wǎng)上的承載傳輸；融合增強以太網(wǎng)技術(shù)（CEE），提供了不丟包的以太網(wǎng)傳輸以及二層多路徑轉(zhuǎn)發(fā)，保證FC傳輸不丟包以及FC傳輸?shù)男剩惶摂M化：

服務(wù)器虛擬化EVB融合架構(gòu)：CEEFCoEIEEE的數(shù)據(jù)中心橋接（DCB）和IETF的TRILL統(tǒng)稱為融合增強型以太網(wǎng)(CEE)。特性或標準好處Priority-basedFlowControl(PFC)IEEE802.1Qbb使得多種流量類型共享以太鏈路，不同流量類型不互相影響EnhancedTransmissionSelection(ETS)IEEE802.1Qaz將流量按服務(wù)類型分組，提供不同流量的最小帶寬保證同時提高鏈路利用率CongestionNotification(QCN)IEEE802.1Qau實現(xiàn)2層網(wǎng)絡(luò)端到端的擁塞管理DataCenterBridgingExchangeProtocol(DCBX)提供增強以太網(wǎng)能力的自動協(xié)商L2MultiPathing(L2MP)IETFTRILL消除2層拓撲中的生成樹，通過ECMP來充分利用鏈路帶寬融合增強以太網(wǎng)技術(shù)（CEE）Priority-basedFlowControl(PFC)