一種虛擬化的服務(wù)器集群模型研究

1、一種虛擬化的效勞器集群模型研究論文導(dǎo)讀:：隨著經(jīng)濟(jì)與電子商務(wù)的高速開展，企業(yè)與用戶的業(yè)務(wù)交互次數(shù)呈現(xiàn)出幾何級(jí)數(shù)增長的趨勢，然而企業(yè)效勞器的利用率卻只有1530。本論文闡述了在Linux平臺(tái)上運(yùn)用虛擬化技術(shù)將企業(yè)現(xiàn)有的效勞器虛擬成多臺(tái)效勞器，同時(shí)運(yùn)用負(fù)載均衡調(diào)度算法對(duì)虛擬的多臺(tái)Linux客戶機(jī)進(jìn)行集群的方案模型，以到達(dá)強(qiáng)化企業(yè)業(yè)務(wù)的持續(xù)性，加固數(shù)據(jù)的完整性和平安性、降低IT部門在整個(gè)企業(yè)范圍內(nèi)的本錢的目的。論文關(guān)鍵詞：虛擬化，效勞器集群，負(fù)載平衡，Linux平臺(tái)1引言隨著計(jì)算機(jī)技術(shù)和Internet效勞的開展，企業(yè)與用戶之間的業(yè)務(wù)數(shù)據(jù)交互已經(jīng)根本轉(zhuǎn)移到互聯(lián)網(wǎng)平臺(tái)之上。經(jīng)濟(jì)與電子商務(wù)的快速開展使得

2、用戶與企業(yè)通過網(wǎng)絡(luò)進(jìn)行業(yè)務(wù)交互的次數(shù)呈現(xiàn)出幾何級(jí)數(shù)增長的趨勢，這對(duì)企業(yè)效勞器的高可用性和高擴(kuò)展性提出了很高的要求。因?yàn)槿魏涡谄髦袛喽紩?huì)對(duì)企業(yè)造成不可估量的損失，如何在不增加企業(yè)IT本錢的前提下，保證企業(yè)業(yè)務(wù)的持續(xù)性，成為企業(yè)IT部門必須考慮的問題。顯然傳統(tǒng)的單效勞器已經(jīng)不能滿足需求，而購置多臺(tái)效勞器又會(huì)大大增加企業(yè)的IT本錢。由于IBM、微軟、EMC等大公司的鼎力支持，虛擬化技術(shù)得到飛速開展，使得這個(gè)問題迎刃而解。應(yīng)用這種技術(shù)不但強(qiáng)化業(yè)務(wù)的持續(xù)性,加固數(shù)據(jù)的平安性,同時(shí)幫助企業(yè)降低信息化的總本錢。2模型中使用的技術(shù)與算法2.1虛擬化技術(shù)虛擬化意指資源的打包和別離，允許企業(yè)在單一接口上管理不同

3、的資源，降低管理的復(fù)雜度及本錢。這種技術(shù)實(shí)現(xiàn)了在同一實(shí)體系統(tǒng)上運(yùn)行多個(gè)操作系統(tǒng)，并允許系統(tǒng)資源在各個(gè)操作系統(tǒng)間按需求來進(jìn)行資源分配。虛擬化技術(shù)的提出是因?yàn)槿藗儼l(fā)現(xiàn)在生產(chǎn)環(huán)境中，效勞器的實(shí)際負(fù)載率很低，企業(yè)效勞器僅用到1530的系統(tǒng)處理能力，絕大局部的效勞器負(fù)載都低于40，使得IT投資回報(bào)率偏低。在這種情況下，可以利用虛擬化技術(shù)，在一個(gè)物理效勞器設(shè)備之上建立假設(shè)干虛擬效勞器系統(tǒng)，使之能夠動(dòng)態(tài)的分配資源，最終提高效勞器的實(shí)際負(fù)載率，從而可以降低IT投資本錢。虛擬化結(jié)構(gòu)如圖l所示。ManyServersOne Server圖1：虛擬化結(jié)構(gòu)示意圖實(shí)現(xiàn)Linux虛擬化的方法有多種,它們都可以通過不同層次

4、的抽象來實(shí)現(xiàn)相同的功能，常用的四種虛擬化方法【1】:硬件仿真、完全虛擬化、準(zhǔn)虛擬化以及操作系統(tǒng)層虛擬化。2.2 IP負(fù)載均衡技術(shù)在負(fù)載平衡調(diào)度器的實(shí)現(xiàn)技術(shù)中，IP負(fù)載均衡技術(shù)起到至關(guān)重要的作用。在已有的IP負(fù)載均衡技術(shù)中有通過網(wǎng)絡(luò)地址轉(zhuǎn)換將一組效勞器構(gòu)成一個(gè)高性能的、高可用的虛擬效勞器負(fù)載平衡，我們稱之為VS/NATVirtual Server via Network Address Translation技術(shù)，大多數(shù)商品化的IP負(fù)載均衡調(diào)度器產(chǎn)品都是使用此方法。在分析VS/NAT的缺點(diǎn)和網(wǎng)絡(luò)效勞的非對(duì)稱性的根底上，我們提出通過IP隧道實(shí)現(xiàn)虛擬效勞器的方法VS/TUNVirtual Serve

5、r via IP Tunneling，和通過直接路由實(shí)現(xiàn)虛擬效勞器的方法VS/DRVirtual Server via Direct Routing，它們可以極大地提高系統(tǒng)的伸縮性。以上三種IP負(fù)載均衡技術(shù)的優(yōu)缺點(diǎn)歸納在表1中：表1：負(fù)載均衡技術(shù)的優(yōu)缺點(diǎn) VS/NAT VS/TUN VS/DR Server any Tunneling Non-arp device server network private LAN/WAN LAN server number low (1020) High (100) High (100) server gateway load balancer own r

6、outer Own router 以上三種方法分別所能支持最大效勞器數(shù)目是依照以下條件下進(jìn)行估計(jì)的，1假設(shè)調(diào)度器使用100M網(wǎng)卡，2 調(diào)度器的硬件配置與后端效勞器的硬件配置相同，而且是對(duì)一般Web效勞。如使用更高的硬件配置如千兆網(wǎng)卡和更快的處理器作為調(diào)度器，調(diào)度器所能調(diào)度的效勞器數(shù)量會(huì)相應(yīng)增加。2.3調(diào)度算法負(fù)載平衡調(diào)度是以連接為粒度的。按照HTTP 協(xié)議，從WEB效勞器上獲取每個(gè)對(duì)象都需要建立一個(gè)TCP 連接，而且同一用戶的不同請(qǐng)求會(huì)被調(diào)度到不同的效勞器上。因而這種細(xì)粒度的調(diào)度完全防止了用戶訪問的突發(fā)性引起的負(fù)載不平衡。下面介紹三種已實(shí)現(xiàn)的調(diào)度算法【2】：(1)最小連接調(diào)度，它需要記錄各個(gè)效

7、勞器已建立TCP連接的數(shù)目，把新的連接請(qǐng)求發(fā)送到當(dāng)前連接數(shù)最小的效勞器。當(dāng)各個(gè)效勞器有相同的處理性能時(shí)，最小連接調(diào)度能把負(fù)載變化大的請(qǐng)求平滑分布到各個(gè)效勞器上，所有處理時(shí)間比擬長的請(qǐng)求不可能被發(fā)送到同一臺(tái)效勞器上。(2)加權(quán)最小連接調(diào)度，當(dāng)各個(gè)效勞器的處理能力不同時(shí)，最小連接調(diào)度算法并不理想，因?yàn)門CP 連接處理請(qǐng)求后會(huì)進(jìn)入TIME_WAIT狀態(tài)，加權(quán)最小連接調(diào)度是最小連接調(diào)度的超集，各個(gè)效勞器用相應(yīng)的權(quán)值表示其處理性能。假設(shè)每臺(tái)效勞器的權(quán)值為：TCP連接數(shù)目：依次選：為最小者的效勞器作為調(diào)度對(duì)象。(3)持續(xù)的客戶端連接調(diào)度算法，所有直到超過限時(shí)。Pcc是為HTTP和COOKIE 效勞設(shè)置的。

8、在這種調(diào)度規(guī)那么下，第一次連接后，所有以后假設(shè)企業(yè)開始有兩臺(tái)效勞器，一臺(tái)正在使用，另一臺(tái)只做定期備份，以備發(fā)生故障時(shí)接入，以保證公司業(yè)務(wù)的持續(xù)性。按照這種方法運(yùn)行，在更換效勞器時(shí)，可能對(duì)企業(yè)造成重大損失因?yàn)樵诟鼡Q時(shí)，效勞器是間斷的。同時(shí)，如果一臺(tái)效勞器只裝一個(gè)操作系統(tǒng)，它的最大利用率不超過40%。利用虛擬化技術(shù)，可將一臺(tái)效勞器變成多臺(tái)虛擬效勞器。根據(jù)這個(gè)思想，我們將企業(yè)的一臺(tái)效勞器虛擬成WEB效勞器和數(shù)據(jù)庫服器兩臺(tái)效勞器，并分別為每臺(tái)虛擬效勞器虛擬三臺(tái)客戶機(jī)，同時(shí)使用磁盤陣列技術(shù)【3】來保證數(shù)據(jù)的完整性。其虛擬體系結(jié)構(gòu)如圖2所示下載中心。圖2：模型中的虛擬體系結(jié)構(gòu)4.1底層宿主機(jī)的硬件要求與O

9、S的選擇底層主機(jī)上要運(yùn)行多個(gè)虛擬的操作系統(tǒng)，系統(tǒng)負(fù)荷重。因此需要從CPU、內(nèi)存及I/O三個(gè)方面配置底層平臺(tái)【4】。操作系統(tǒng)作為宿主機(jī)的支撐平臺(tái)，需要從系統(tǒng)的穩(wěn)定性、運(yùn)行效益以及客戶機(jī)操作系統(tǒng)幾方面綜合考慮。由于Linux平臺(tái)在內(nèi)存分配、系統(tǒng)資源占用，進(jìn)程調(diào)度、遠(yuǎn)程管理等方面比Windows更加高效與靈活，并且在易用性與管理性方面具有優(yōu)勢。故該模型采用Red hat Enterprise Linux5作為宿主機(jī)的系統(tǒng)平臺(tái)【5】【6】 。如果虛擬機(jī)與宿主機(jī)為異種操作系統(tǒng)時(shí)，不同文件格式的轉(zhuǎn)化帶來較大的系統(tǒng)開銷，降低了虛擬機(jī)的I/O性能。所以模型中的虛擬機(jī)同樣采用Linux操作系統(tǒng)。4.2構(gòu)建模型中

10、的虛擬網(wǎng)絡(luò)結(jié)構(gòu)模型中將一臺(tái)宿主機(jī)虛擬成六臺(tái)Linux映像客戶機(jī)【7】，同時(shí)為每臺(tái)客戶機(jī)虛擬一個(gè)或多個(gè)網(wǎng)卡，客戶機(jī)操作系統(tǒng)與外界交流的數(shù)據(jù)都是通過底層的宿主機(jī)的網(wǎng)卡進(jìn)行中轉(zhuǎn)的。每臺(tái)虛擬機(jī)擁有一個(gè)或者幾個(gè)不同網(wǎng)段的IP地址,因此它們可以構(gòu)建假設(shè)干個(gè)客戶機(jī)局域網(wǎng)負(fù)載平衡，每個(gè)客戶機(jī)局域網(wǎng)關(guān)聯(lián)一個(gè)虛擬網(wǎng)段，在此虛擬網(wǎng)段上可以定義假設(shè)干網(wǎng)絡(luò)接口卡NIC，類似于網(wǎng)絡(luò)接口，用來關(guān)聯(lián)每個(gè)客戶機(jī)局域網(wǎng)上的主機(jī)。同時(shí)針對(duì)不同的硬件接口設(shè)備有不同的虛擬設(shè)備相對(duì)應(yīng)，如圖3所示。圖3：虛擬網(wǎng)絡(luò)結(jié)構(gòu)4.3模型實(shí)驗(yàn)的分析下面針對(duì)模型中所提出的四種虛擬化方法、三種IP負(fù)載均衡技術(shù)和三種調(diào)度算法的實(shí)驗(yàn)結(jié)果進(jìn)行分析介紹。最后給出

11、本效勞器模型所取得效能與傳統(tǒng)效勞器模型的效能進(jìn)行量化的分析和比擬。對(duì)于四種虛擬化技術(shù)我們主要從CPU使用的角度進(jìn)行量化比擬。使用效勞器壓力測試工具LoadRunner模擬大量用戶同時(shí)訪問效勞器，記錄底層宿主機(jī)的CPU使用率，如圖4所示。由于硬件仿真是在宿主系統(tǒng)上創(chuàng)立一個(gè)硬件虛擬機(jī)來仿真所想要的硬件，每條指令都必須在底層硬件上進(jìn)行仿真,因此對(duì)CPU的占用率很高，且隨著用戶訪問的次數(shù)的激增，整個(gè)效勞器可能會(huì)崩潰。再看完全虛擬化，該方法使用虛擬軟件，在虛擬效勞器和底層硬件之間建立一個(gè)抽象層，當(dāng)然利用抽象層進(jìn)行代碼轉(zhuǎn)換會(huì)帶來一定的系統(tǒng)開銷，但是隨著CPU輔助虛擬化硬件技術(shù)的出現(xiàn)，完全虛擬化由軟件層模擬

12、的功能已逐步轉(zhuǎn)向硬件化，虛擬化效率不斷在提高，因此大幅降低了CPU的占用率。準(zhǔn)虛擬化，通過使用虛擬化應(yīng)用接口來定制客戶機(jī)操作系統(tǒng)內(nèi)核，以替代不可虛擬的某些特權(quán)指令，因此當(dāng)大量用戶涉及到某些特權(quán)指令時(shí)，CPU的占用率會(huì)迅速上升。操作系統(tǒng)層虛擬化，沒有獨(dú)立的虛擬層，主機(jī)操作系統(tǒng)本身負(fù)責(zé)在多個(gè)虛擬效勞器之間分配硬件資源，大量用戶訪問時(shí)，僅主機(jī)的分配動(dòng)作就會(huì)占用大量資源。圖4：CPU占用率比擬經(jīng)過對(duì)實(shí)驗(yàn)結(jié)果的分析，該效勞器模型如果采用完全虛擬化技術(shù)，可以大大降低CPU的使用率，效勞器具有較高的性能。IP負(fù)載均衡技術(shù)的選擇對(duì)于負(fù)載均衡器的效率非常重要?，F(xiàn)假設(shè)有三臺(tái)效勞器，集群在一個(gè)負(fù)載均衡器上，有三個(gè)客

13、戶端，在每個(gè)客戶端上都安裝LoadRunner壓力測試程序，同時(shí)啟動(dòng)IIS效勞器，三臺(tái)效勞器通過cisco cantalyst 2900 x1交換機(jī)和和主節(jié)點(diǎn)效勞器LoadBalancer相連，三臺(tái)客戶機(jī)通過3com 3300交換機(jī)和主節(jié)點(diǎn)效勞器相連。在此效勞器集群體系中為每個(gè)集群節(jié)點(diǎn)配置網(wǎng)絡(luò)負(fù)載平衡效勞，并分別采用三種IP技術(shù)進(jìn)行仿真實(shí)驗(yàn),其拓?fù)浣Y(jié)構(gòu)如圖5所示。圖5：集群系統(tǒng)架構(gòu)(1) 性能測試指數(shù)-吞吐量=負(fù)載程序數(shù)/總耗時(shí)時(shí)間=負(fù)載程序數(shù)/(負(fù)載程序數(shù)*平均查詢時(shí)間*0.8+負(fù)載程序數(shù)*平均寫入時(shí)間*0.2)-平均執(zhí)行時(shí)間=平均查詢時(shí)間*0.8+平均寫入實(shí)際*0.2其中：平均執(zhí)行時(shí)間這一

14、項(xiàng)指標(biāo)是性能測試指標(biāo)的綜合反映。(2)測試結(jié)果分析,如下表所示：表2：平均執(zhí)行時(shí)間性能比照表 B C A N 2N 5N 10N VS/NAT 7.3 11.2 14.3 17.8 VS/TUN 6.8 10.1 12.9 15.8 VS/DR 6.6 10.9 13.7 16.9 (注：A代表IP技術(shù)，代表平均執(zhí)行時(shí)間單位：ms，：代表同時(shí)訪問的用戶數(shù),N代表100人,)經(jīng)過分析，三臺(tái)效勞器組成的集群系統(tǒng)，如果大量客戶并發(fā)訪問，采用IP隧道技術(shù)VS/TUN實(shí)現(xiàn)虛擬效勞器，可以在某種程度上提高系統(tǒng)的整體運(yùn)行效率。相同負(fù)載下的集群系統(tǒng)的應(yīng)用程序的平均執(zhí)行時(shí)間將會(huì)減少，從而提高集群系統(tǒng)的吞吐量。調(diào)

15、度算法的選擇同樣對(duì)負(fù)載均衡器的效率非常重要。建立與圖5相同拓?fù)浣Y(jié)構(gòu)的模型，分別采用最小連接調(diào)度算法、加權(quán)最小連接調(diào)度算法和持續(xù)的客戶端連接調(diào)度算法進(jìn)行試驗(yàn)。下面以數(shù)據(jù)庫集群來測試三種調(diào)度算法負(fù)載平衡，模型部署如下，選擇ORACLE11g數(shù)據(jù)庫，將其分別安裝在圖5的三個(gè)效勞器上，在Load Balancer上安裝oracle自己的數(shù)據(jù)庫集群軟件clusterware，實(shí)現(xiàn)真正的應(yīng)用程序集群即RAC:REAL APPLICATION CLUSTER。當(dāng)數(shù)據(jù)庫的并發(fā)訪問數(shù)較小時(shí)，三種算法的性能差不多；當(dāng)訪問量逐漸增多時(shí)，又分為兩種情形，一種是分布式，在這種情形下，持續(xù)的客戶端連接調(diào)度算法呈現(xiàn)出自己的

16、優(yōu)勢，它會(huì)快速的將請(qǐng)求發(fā)送到最近區(qū)域的分布式效勞器上，并且可以自定義超時(shí)時(shí)間。第二種情形是非分布式，在訪問并發(fā)量激增的過程中，加權(quán)最小連接調(diào)度算法較最小連接調(diào)度算法的優(yōu)勢逐漸顯現(xiàn)出來，因?yàn)門CP鏈接到達(dá)一定數(shù)量時(shí)，最小連接調(diào)度算法會(huì)使效勞器進(jìn)入等待狀態(tài)，而加權(quán)最小連接調(diào)度是最小連接調(diào)度的超集，它可以使用加權(quán)算法找到最小鏈接的效勞器，最大限度的降低訪問的等待時(shí)間。綜上三種實(shí)驗(yàn)所述，本效勞器模型比傳統(tǒng)效勞器模型在效能上有很大的優(yōu)勢。具體表現(xiàn)在：它可以使企業(yè)效勞器的利用率從傳統(tǒng)的1530提高到80%以上；高強(qiáng)度的企業(yè)業(yè)務(wù)的持續(xù)性；高可靠的數(shù)據(jù)完整性和平安性，以及低廉的設(shè)備本錢和維護(hù)本錢等。5 結(jié)束語在Linux平臺(tái)之上，利用虛擬化技術(shù)結(jié)合負(fù)載均衡調(diào)度算法，可提高