服務(wù)器負(fù)載均衡技術(shù)

1、HUAWEI USG6000V系列NFV防火墻技術(shù)白皮書之-服務(wù)器負(fù)載均衡技術(shù)白皮書華為技術(shù)有限公司Huawei Technologies Co., Ltd.服務(wù)器負(fù)載均衡技術(shù)白皮書公開目 錄1背景和概述22全局服務(wù)器負(fù)載均衡（GSLB）33本地服務(wù)器負(fù)載均衡（LSLB）43.1使用目的MAC地址轉(zhuǎn)換的服務(wù)器負(fù)載均衡（DR）43.2使用網(wǎng)絡(luò)地址轉(zhuǎn)換實現(xiàn)的服務(wù)器負(fù)載均衡（L4 SLB）53.3使用輕量代理和網(wǎng)絡(luò)地址轉(zhuǎn)換的服務(wù)器負(fù)載均衡（L4 lwProxy SLB）73.4使用全量Socket 代理的服務(wù)器負(fù)載均衡（L7 Socket Proxy SLB）93.4.1socket代理加業(yè)務(wù)會話關(guān)

2、聯(lián)保持93.4.2根據(jù)URL類型不同的分擔(dān)，靜態(tài)資源訪問和動態(tài)計算訪問分開多種服務(wù)器103.4.3SSL卸載103.4.4鏈路優(yōu)化：壓縮、協(xié)議優(yōu)化、本地cache、多路復(fù)用113.5業(yè)務(wù)保持技術(shù)134華為USG防火墻支持的SLB功能列表14Copyright ©2016 華為技術(shù)有限公司 版權(quán)所有，侵權(quán)必究iCopyright ©2016 華為技術(shù)有限公司 版權(quán)所有，侵權(quán)必究151 背景和概述隨著互聯(lián)網(wǎng)的快速發(fā)展，用戶訪問量的快速增長，使得單一的服務(wù)器性能已經(jīng)無法滿足大量用戶的訪問，企業(yè)開始通過部署多臺服務(wù)器來解決性能的問題，由此就產(chǎn)生了服務(wù)器負(fù)載均衡的相關(guān)技術(shù)方案。在實際

3、的服務(wù)器負(fù)載均衡應(yīng)用中，由于需要均衡的業(yè)務(wù)種類以及實際服務(wù)器部署場景的不同（比如是否跨地域、跨ISP數(shù)據(jù)中心等），存在多種負(fù)載均衡的技術(shù)。如下典型的組網(wǎng)方式如圖所示： 服務(wù)提供方為了支撐大批量的用戶訪問，以及跨不同地域、不同接入ISP的用戶都能夠獲得高質(zhì)量的業(yè)務(wù)訪問體驗，其已經(jīng)在不同地域、不同ISP數(shù)據(jù)中心搭建了服務(wù)器，這樣就帶來一個需求，也就是客戶的訪問能夠就近、優(yōu)先選擇同一個ISP數(shù)據(jù)中心的服務(wù)器，從而獲得高質(zhì)量的業(yè)務(wù)訪問體驗。同時，基于單臺服務(wù)器能夠提供的業(yè)務(wù)訪問并發(fā)是有限的，那么就自然想到使用多臺服務(wù)器來形成一個“集群”，對外展現(xiàn)出一個業(yè)務(wù)訪問服務(wù)器，以滿足大量用戶訪問、而且可以根據(jù)業(yè)

4、務(wù)訪問量的上升可以動態(tài)的進(jìn)行業(yè)務(wù)能力擴(kuò)容的需要。歸納一下，我們將前一種定義為全局服務(wù)器負(fù)載均衡（GSLB: Global Server Load Balance），而把后面一種定義為本地服務(wù)器負(fù)載均衡（LSLB: Local Server Load balance）,在實際使用中，這兩種技術(shù)既可以結(jié)合起來使用，也可以單獨只使用某一種技術(shù)。2 全局服務(wù)器負(fù)載均衡（GSLB）全局服務(wù)器負(fù)載均衡一般通過干預(yù)DNS域名的查詢的返回值，來決定客戶訪問服務(wù)器的優(yōu)選路徑。服務(wù)器提供方會申請DNS域名，比如，并將該域名的IP解析委托在服務(wù)提供方自己來解析，這里就是GSLB設(shè)備來替代的功能。如圖所示：1、 在客

5、戶接入網(wǎng)側(cè)，客戶需要訪問諸如時，會向本地DNS服務(wù)器發(fā)起域名查詢2、 本地DNS服務(wù)器在本地查詢是否有的IP記錄，因為該域名為委托到GSLB來解析，所以其將發(fā)起向GSLB的域名查詢3、 GSLB收到查詢請求后，會根據(jù)一定的判據(jù)（比如查詢的來源方、距離哪個IDC路徑更優(yōu)等），將選定的最優(yōu)站點的IP地址返回給客戶接入側(cè)的域名服務(wù)器4、 客戶接入網(wǎng)側(cè)的域名服務(wù)器將該結(jié)果返回給客戶機(jī)側(cè)5、 客戶方獲得域名對應(yīng)的經(jīng)過優(yōu)選過的IP地址，向該IP發(fā)起業(yè)務(wù)訪問此種方式的優(yōu)點是在一個全局的域名委托查詢點即可以完成負(fù)載均衡，但也有明顯的缺點，一旦某個服務(wù)器出現(xiàn)故障，1、GSLB并不能及時感知到故障，將其IP地址排

6、除在返回的IP地址列表外，這樣就會造成仍舊會有客戶不斷去訪問已經(jīng)故障的服務(wù)器，造成業(yè)務(wù)中斷；2、客戶側(cè)以及本地ISP的DNS服務(wù)器均存在緩存，在緩存有效期內(nèi)不會再向GSLB去發(fā)起查詢，所以即使服務(wù)器故障被GSLB及時感知，也無法避免客戶端仍舊訪問已經(jīng)故障的服務(wù)器。為了解決上述問題，并且也由于存在單臺服務(wù)器無法滿足高性能并發(fā)的需要，引入了多臺服務(wù)器做“集群”，實現(xiàn)對外一個業(yè)務(wù)訪問的LSLB相關(guān)技術(shù)。3 本地服務(wù)器負(fù)載均衡（LSLB）當(dāng)部署一個服務(wù)器“集群”來提供一個業(yè)務(wù)訪問服務(wù)器功能時，最為關(guān)鍵的節(jié)點就是業(yè)務(wù)分發(fā)節(jié)點，這個就是本地服務(wù)器負(fù)載均衡設(shè)備的功能和核心價值所在。這里主要的價值點在于：大并

7、發(fā)高性能、故障探測和自愈、性能可以動態(tài)擴(kuò)展、其他增值特性（比如本地緩存加速、SSL卸載等）；主要的技術(shù)點包括：負(fù)載均衡算法、業(yè)務(wù)保持算法、業(yè)務(wù)可用性探測技術(shù)、業(yè)務(wù)流量分擔(dān)技術(shù)、緩存技術(shù)、加密卸載技術(shù)等。3.1 使用目的MAC地址轉(zhuǎn)換的服務(wù)器負(fù)載均衡（DR）相對于網(wǎng)絡(luò)地址轉(zhuǎn)換方式的服務(wù)器負(fù)載均衡方式，DR方式服務(wù)器負(fù)載均衡中只有客戶端的請求報文通過SLB設(shè)備，服務(wù)器的響應(yīng)報文不經(jīng)過SLB設(shè)備，從而減少了SLB設(shè)備的負(fù)載，有效的避免了SLB設(shè)備成為網(wǎng)絡(luò)瓶頸。DR方式下，SLB設(shè)備分發(fā)服務(wù)請求時，不改變目的IP地址，而將報文的目的MAC替換為真實服務(wù)器的MAC后直接把報文轉(zhuǎn)發(fā)給真實服務(wù)器。DR方式服

8、務(wù)器負(fù)載均衡的典型組網(wǎng)如圖所示。負(fù)載均衡設(shè)備將客戶端的業(yè)務(wù)訪問通過修改目的MAC地址的方式將其分擔(dān)到內(nèi)部的服務(wù)器上，但是服務(wù)器的回應(yīng)請求不再返回給負(fù)載均衡設(shè)備，而是繞過負(fù)載均衡設(shè)備，直接返回給客戶端，因此負(fù)載均衡設(shè)備只負(fù)責(zé)接受并轉(zhuǎn)發(fā)請求，其網(wǎng)絡(luò)負(fù)擔(dān)就減少了很多，并且給客戶端提供了更快的響應(yīng)時間。這種部署模式，因為只是更改了客戶端請求報文的目的MAC地址，因此必然會要求負(fù)載均衡設(shè)備到內(nèi)部服務(wù)器二層可達(dá)，即必須處在同一個VLAN內(nèi)；同時，虛擬的MAC地址必須能夠響應(yīng)來自客戶端側(cè)網(wǎng)絡(luò)的二層ARP請求等；并且，內(nèi)部服務(wù)器“集群”內(nèi)成員的IP地址是同一個，為避免報IP地址沖突，相同的IP地址所在的服務(wù)器

9、，必須對ARP采取靜默模式，即不響應(yīng)ARP請求，也不發(fā)送ARP請求和免費ARP通告。3.2 使用網(wǎng)絡(luò)地址轉(zhuǎn)換實現(xiàn)的服務(wù)器負(fù)載均衡（L4 SLB）使用網(wǎng)絡(luò)地址轉(zhuǎn)換方式實現(xiàn)的服務(wù)器負(fù)載均衡，工作在第四層，其主要概念是將一個虛擬IP地址映射到內(nèi)部多個服務(wù)器的IP地址上，客戶的訪問均是首先到達(dá)虛擬IP地址，然后由負(fù)載均衡設(shè)備將其訪問的目的IP地址替換為內(nèi)部服務(wù)器的實際IP地址，多條業(yè)務(wù)的訪問可以根據(jù)一定的分擔(dān)算法到達(dá)不同的內(nèi)部服務(wù)器上，從而達(dá)到負(fù)載均衡的目的。如圖，服務(wù)器“集群”對外提供一個虛擬IP地址供業(yè)務(wù)訪問，SLB設(shè)備將業(yè)務(wù)對虛擬IP地址的訪問根據(jù)均衡算法分擔(dān)到內(nèi)部的實際服務(wù)器上。此種工作模式下

10、，負(fù)載均衡策略的優(yōu)劣及其實現(xiàn)的難易程度有兩個關(guān)鍵因素：一、負(fù)載均衡算法，二、服務(wù)器業(yè)務(wù)可用性探測技術(shù)?？紤]到服務(wù)請求的不同類型、服務(wù)器的不同處理能力以及隨機(jī)選擇造成的負(fù)載分配不均勻等問題，為了更加合理的把負(fù)載分配給內(nèi)部的多個服務(wù)器，就需要應(yīng)用相應(yīng)的能夠正確反映各個服務(wù)器處理能力及網(wǎng)絡(luò)狀態(tài)的負(fù)載均衡算法，業(yè)界常用的負(fù)載均衡算法包括：² 輪詢均衡（Round Robin）算法：即每一次來自網(wǎng)絡(luò)的請求輪流分配給內(nèi)部服務(wù)器，從1至N然后重新開始。此種均衡算法適合于服務(wù)器組中的所有服務(wù)器都有相同的軟硬件配置并且平均服務(wù)請求相對均衡的情況。² 權(quán)重輪循均衡（Weighted Round

11、 Robin）算法：根據(jù)服務(wù)器的不同處理能力，給每個服務(wù)器分配不同的權(quán)值，使其能夠接受相應(yīng)權(quán)值數(shù)的服務(wù)請求。例如：服務(wù)器A的權(quán)值被設(shè)計成1，B的權(quán)值是3，C的權(quán)值是6，則服務(wù)器A、B、C將分別接受到10%、30、60的服務(wù)請求。此種均衡算法能確保高性能的服務(wù)器得到更多的使用率，避免低性能的服務(wù)器負(fù)載過重。 ² 隨機(jī)均衡（Random）算法：把來自網(wǎng)絡(luò)的請求隨機(jī)分配給內(nèi)部中的多個服務(wù)器。 ² 權(quán)重隨機(jī)均衡（Weighted Random）算法：此種均衡算法類似于權(quán)重輪循算法，不過在處理請求分擔(dān)時是個隨機(jī)選擇的過程。² 最小響應(yīng)速度均衡（Response Time）算

12、法：負(fù)載均衡設(shè)備對內(nèi)部各服務(wù)器發(fā)出一個探測請求（例如Ping），然后根據(jù)內(nèi)部中各服務(wù)器對探測請求的最快響應(yīng)時間來決定哪一臺服務(wù)器來響應(yīng)客戶端的服務(wù)請求。此種均衡算法能較好的反映服務(wù)器的當(dāng)前運行狀態(tài)，但這最快響應(yīng)時間僅僅指的是負(fù)載均衡設(shè)備與服務(wù)器間的最快響應(yīng)時間，而不是客戶端與服務(wù)器間的最快響應(yīng)時間。² 最少連接數(shù)均衡（Least Connection）算法：客戶端的每一次請求服務(wù)在服務(wù)器停留的時間可能會有較大的差異，隨著工作時間加長，如果采用簡單的輪循或隨機(jī)均衡算法，每一臺服務(wù)器上的連接進(jìn)程可能會產(chǎn)生極大的不同，并沒有達(dá)到真正的負(fù)載均衡。最少連接數(shù)均衡算法對內(nèi)部中需負(fù)載的每一臺服務(wù)器

13、都有一個存活連接數(shù)量的計數(shù)，當(dāng)有新的服務(wù)連接請求時，將把當(dāng)前請求分配給連接數(shù)最少的服務(wù)器，使均衡更加符合實際情況，負(fù)載更加均衡。此種均衡算法適合長時處理的請求服務(wù)，如FTP Server。為了避免服務(wù)器故障而引起的客戶訪問失敗，負(fù)載均衡設(shè)備需要探測服務(wù)器是否故障從而避免將客戶訪問繼續(xù)分配到已經(jīng)故障的服務(wù)器上，這就是服務(wù)器業(yè)務(wù)可用性探測技術(shù)，業(yè)界常用的探測技術(shù)包括：² icmp探測：也就是ping探測，即通過ping的方式檢測服務(wù)器及網(wǎng)絡(luò)系統(tǒng)狀況，此種方式簡單快速，但只能大致檢測出網(wǎng)絡(luò)及服務(wù)器上的操作系統(tǒng)是否正常，對服務(wù)器上的應(yīng)用服務(wù)檢測就無能為力了。² tcp探測：通過檢測

14、服務(wù)器上某個TCP端口（如Telnet的23口，HTTP的80口等）是否開放來判斷服務(wù)是否正常。² http探測：通過向HTTP服務(wù)器發(fā)出一個對某個頁面文件的訪問請求，根據(jù)是否能獲得該頁面文件來判斷服務(wù)器是否出現(xiàn)故障。3.3 使用輕量代理和網(wǎng)絡(luò)地址轉(zhuǎn)換的服務(wù)器負(fù)載均衡（L4 lwProxy SLB）純粹的網(wǎng)絡(luò)地址轉(zhuǎn)換型的SLB，由于不解析應(yīng)用層的內(nèi)容，因此無法根據(jù)應(yīng)用層信息做業(yè)務(wù)會話關(guān)聯(lián)保持。注：業(yè)務(wù)會話關(guān)聯(lián)保持，是指將屬于同一個應(yīng)用層會話的多個連接定向到同一真實服務(wù)器，從而保證同一業(yè)務(wù)由同一個服務(wù)器處理（或鏈路轉(zhuǎn)發(fā)），這樣可以避免同一應(yīng)用層會話訪問多臺服務(wù)器時，多臺服務(wù)器需要做相關(guān)

15、業(yè)務(wù)數(shù)據(jù)的熱同步（比如在一臺真實服務(wù)器上認(rèn)證，再訪問另一臺真實服務(wù)器時，就必須將認(rèn)證信息同步過來，以避免用戶的再次認(rèn)證）。使用輕量代理和網(wǎng)絡(luò)地址轉(zhuǎn)換的服務(wù)器負(fù)載均衡，1、是SLB需要對客戶端發(fā)起的TCP做三次握手代理；2、對TCP傳輸?shù)牡谝粋€報文做關(guān)聯(lián)保持功能；3、對后續(xù)報文做網(wǎng)絡(luò)地址轉(zhuǎn)換。下面以一個例子來舉例說明基于http cookie或URL負(fù)載分擔(dān)的業(yè)務(wù)會話關(guān)聯(lián)保持下的輕量代理和網(wǎng)絡(luò)地址轉(zhuǎn)換SLB的實現(xiàn)：如圖所示：1、 客戶端發(fā)起tcp三次握手，SLB設(shè)備對其代理，建立TCP全連接2、 客戶端發(fā)起tcp payload，也就是http get/post報文，如果之前客戶端已經(jīng)和服務(wù)器建

16、立過連接，那么會在該報文中攜帶cookie等信息，SLB設(shè)備對該信息做分析，以保持該客戶端仍舊訪問同一臺真實服務(wù)器3、 SLB設(shè)備做NAT地址轉(zhuǎn)換，將目的地址替換為真實服務(wù)器地址，并發(fā)起向該真實服務(wù)器的tcp三次握手4、 SLB設(shè)備將tcp payload報文（包括第一個http get/post報文）做完tcp sequence、offset、checksum調(diào)整后，直接發(fā)往真實服務(wù)器注：為什么說是輕量代理？因為相對于socket代理，此處僅做了tcp三次握手代理，而后續(xù)報文僅對tcp sequence、offset、checksum做了調(diào)整，而無需進(jìn)入tcp/ip協(xié)議棧處理，所以是輕量代理

17、。此種方案的優(yōu)點在于有一定的應(yīng)用層的業(yè)務(wù)會話保持能力，而且因為是輕量代理，性能會比較高；但也有一定的限制，如必須是tcp三次握手之后的第一個報文即能帶有做會話保持的判據(jù)信息（如http cookie），如果不是第一個報文，則這種方案無法應(yīng)用。3.4 使用全量Socket 代理的服務(wù)器負(fù)載均衡（L7 Socket Proxy SLB）為解決單純L4網(wǎng)絡(luò)地址轉(zhuǎn)換方式或者輕量代理方式下無法針對某些應(yīng)用做業(yè)務(wù)會話保持的問題，那么就引入了全量socket代理的服務(wù)器負(fù)載均衡方式。在全量socket代理的框架下，一些更精細(xì)化的業(yè)務(wù)訪問優(yōu)化就有了實現(xiàn)的基礎(chǔ)，比如根據(jù)url類型做訪問路徑的優(yōu)化、ssl的代理加

18、速、報文壓縮、協(xié)議優(yōu)化、cache緩存、多路復(fù)用等，下面就這些內(nèi)容做進(jìn)一步的說明。3.4.1 socket代理加業(yè)務(wù)會話關(guān)聯(lián)保持如圖所示，客戶端與SLB之間建立tcp會話后，客戶端將payload全部發(fā)往SLB設(shè)備，SLB設(shè)備根據(jù)應(yīng)用層信息解析，根據(jù)應(yīng)用層業(yè)務(wù)會話保持算法，選擇正確的目的服務(wù)器，SLB設(shè)備向真實目的服務(wù)器發(fā)起并建立tcp會話，將來自客戶端的payload信息轉(zhuǎn)發(fā)給真實的目的服務(wù)器（根據(jù)需要，也可以針對payload內(nèi)容做一定修改），完成業(yè)務(wù)訪問。此種場景下，兩側(cè)是獨立的socket連接，因此payload可以理解為是兩側(cè)完全獨立的，這種優(yōu)點就在于可以靈活地根據(jù)應(yīng)用層協(xié)議的不同而

19、分別開發(fā)不同的應(yīng)用層業(yè)務(wù)保持算法，并可在此基礎(chǔ)上擴(kuò)展出應(yīng)用優(yōu)化、加速的各種方案。但這種方案的性能是不如直接的網(wǎng)絡(luò)地址轉(zhuǎn)換方案或者輕量代理的方式的。3.4.2 根據(jù)URL類型不同的分擔(dān)，靜態(tài)資源訪問和動態(tài)計算訪問分開多種服務(wù)器我們知道，對于大型的Web服務(wù)器來講，其承載的內(nèi)容既包括靜態(tài)頁面（如html，圖片等），也包括動態(tài)頁面（如各種asp、CGI腳本），一般來講，靜態(tài)和動態(tài)資源的處理對于服務(wù)器來講，其處理的有效性能是不一樣的，處理動態(tài)資源的響應(yīng)時間大大超過處理靜態(tài)資源的響應(yīng)時間。有了socket的全代理，再根據(jù)不同url類型來部署單獨的服務(wù)器資源，將不同資源的訪問動態(tài)分配到不同的服務(wù)器資源，讓

20、更多的服務(wù)器資源來響應(yīng)較為復(fù)雜的動態(tài)資源訪問請求，可以大大改善客戶訪問的體驗。3.4.3 SSL卸載隨著越來越多的網(wǎng)站考慮到傳輸?shù)陌踩?，使用加密的https來替代傳統(tǒng)非加密的http的訪問，正在成為一種趨勢，而https加密會消耗大量的服務(wù)器處理性能；而作網(wǎng)關(guān)類設(shè)備來講，在硬件設(shè)計之初就考慮了加解密的高性能，其可以使用硬件協(xié)處理的能力提升加解密的性能。因此使用硬件SLB設(shè)備來卸載服務(wù)器的https加解密處理，是保證https業(yè)務(wù)訪問的高性能的一種可行方案。SSL代理，也叫SSL反向代理，其基本的方案流程如下：服務(wù)器部署時，需要預(yù)先將服務(wù)器證書導(dǎo)入到SLB設(shè)備中，客戶端與SLB設(shè)備進(jìn)行SSL協(xié)

21、商并建立SSL Socket，SLB設(shè)備再與真實服務(wù)器建立非加密的Socket連接，客戶端發(fā)往服務(wù)器的payload信息首先在SLB設(shè)備進(jìn)行SSL解密，SLB將解密后的payload發(fā)往后端的真實服務(wù)器，以卸載真實服務(wù)器需要處理SSL協(xié)商、加解密的處理，達(dá)到業(yè)務(wù)訪問的高性能。3.4.4 鏈路優(yōu)化：壓縮、協(xié)議優(yōu)化、本地cache、多路復(fù)用在全Socket代理的SLB服務(wù)器負(fù)載均衡部署方式下，可以針對客戶端與服務(wù)器之間的傳輸鏈路做相關(guān)的鏈路優(yōu)化，以提升業(yè)務(wù)訪問性能和減少帶寬的占用，以下對此類優(yōu)化做一些簡單的描述：² 壓縮：可以將服務(wù)器傳輸給客戶端的頁面內(nèi)容等做壓縮，以減少客戶端到服務(wù)器之

22、間的帶寬消耗；² 協(xié)議優(yōu)化：SLB設(shè)備通過TCP優(yōu)化技術(shù)，如改進(jìn)TCP的擁塞控制算法，來優(yōu)化客戶端到SLB設(shè)備的TCP傳輸鏈路，達(dá)到減少帶寬，提高傳輸效率的效果；² 本地Cache：SLB設(shè)備提供本地緩存的能力，將客戶端頻繁訪問的（特別是靜態(tài)頁面、大文件等）資源緩存在本地，就近提供給客戶端，可以大大減少服務(wù)器的處理壓力；² 多路復(fù)用：SLB設(shè)備可以將客戶端對多個資源的持續(xù)訪問合并成一條到服務(wù)器的訪問，可以降低服務(wù)器對于并發(fā)響應(yīng)的要去，提升業(yè)務(wù)訪問整體體驗。3.5 業(yè)務(wù)保持技術(shù)在大多數(shù)電子商務(wù)的應(yīng)用系統(tǒng)或者需要進(jìn)行用戶身份認(rèn)證的在線系統(tǒng)中，一個客戶與服務(wù)器經(jīng)常經(jīng)過好幾次的交互過程才能完成一筆交易或者是一個請求的完成。由于這幾次交互過程是密切相關(guān)的，服務(wù)器在進(jìn)行這些交互過程的某一個交互步驟時，往往需要了解上一次交互過程的處理結(jié)果，或者上幾步的交互過程結(jié)果，服務(wù)器進(jìn)行下一步操作時需要這就要求所有這些相關(guān)的交互過程都由一臺服務(wù)器完成，而不能被負(fù)載均衡器分散到不同的服務(wù)器上。而這一系列的相關(guān)的交互過程可能是由客戶到服務(wù)器的一個連接的多次會話完成，也可能是在客戶與服務(wù)器之間的多個不同連接里的多次會話完成。不同連接的多次會話，最典型的例子就是基于http的訪問，一個客戶完成一筆交易可能需多次點擊，而一個新的點擊產(chǎn)生的請求，可