初始LVS負(fù)載均衡集群搭建

1、初始LVS 負(fù)載均衡集群搭建1.內(nèi)容概述：1. LVS 集群的體系結(jié)構(gòu)和特點(diǎn)2. 基本LVS集群的安裝和配置3. 介紹了命令行 ipvsadm 和 ldirectord 配置LVS集群4. 介紹了使用RedHat工具 piranha 圖形化配置LVS集群2.簡(jiǎn)介：LVS是Linux Virtual Server的簡(jiǎn)稱(chēng)，也就是linux虛擬服務(wù)器。 3.實(shí)現(xiàn)目標(biāo)：通過(guò)LVS提供的負(fù)載均衡技術(shù)和linux系統(tǒng)實(shí)現(xiàn)一個(gè)高性能、高可用的服務(wù)器集群，它具有良好的可靠性、可擴(kuò)展性和可操作性，成本低廉的特性 4.LVS體系結(jié)構(gòu)：包含：1. 最前端 負(fù)載均衡層2. 中間 服務(wù)器群組3. 最

2、底層 共享存儲(chǔ)層 5.LVS集群的特點(diǎn) 5.1 IP負(fù)載均衡與負(fù)載調(diào)度算法：LVS的IP負(fù)載均衡技術(shù)：是通過(guò)IPVS模塊來(lái)實(shí)現(xiàn)的，IPVS是LVS集群系統(tǒng)的核心軟件。它的主要作用是：安裝在 Director Server （前端服務(wù)器）上，同時(shí)Director Server上虛擬出一個(gè)IP 地址（VIP），用戶(hù)必須通過(guò)這個(gè)虛擬的VIP地址訪(fǎng)問(wèn)服務(wù)。-訪(fǎng)問(wèn)請(qǐng)求首先經(jīng)過(guò)VIP到達(dá)負(fù)載均衡調(diào)度器，然后由負(fù)載均衡調(diào)度器根據(jù)設(shè)定好的算法 從 Real Server 列表中選取一個(gè)服務(wù)節(jié)點(diǎn)響應(yīng)用戶(hù)請(qǐng)求。 5.2IPVS實(shí)現(xiàn)負(fù)載均衡的機(jī)制：· NAT 網(wǎng)絡(luò)地址轉(zhuǎn)換模式

3、· TUN 使用IP隧道技術(shù) IP隧道模式· DR 使用直接路由技術(shù) 直接路由模式優(yōu)缺點(diǎn)：NAT 優(yōu)點(diǎn)：配置及管理簡(jiǎn)單。Director Server 和 Real Server 群組可以不再一個(gè)網(wǎng)段缺點(diǎn)：要求 Director Server 必須要有兩塊網(wǎng)卡Director Server很容易成為整個(gè)集群的性能瓶頸（所有都數(shù)據(jù)經(jīng)過(guò)這里） DR 優(yōu)點(diǎn)：性能最好缺點(diǎn)：要求Director Server和所有的Real Server 必須在同一個(gè)網(wǎng)段中，不能實(shí)現(xiàn)集群的跨網(wǎng)段應(yīng)用 TUN 優(yōu)點(diǎn)： 性能介于 NAT 和 DR 模式之

4、間Director Server 與 Real Server 可以再不同的網(wǎng)段內(nèi)，即集群中的Real Server 可以再不同的城市缺點(diǎn)： 需要的Real Server 服務(wù)器的內(nèi)核中，必須編譯支持IP Tunnel這個(gè)選項(xiàng) 5.3負(fù)載調(diào)度算法（此處只列出了常用的4種，共有8種）靜態(tài)：· 輪叫調(diào)度（Round Robin）· 加權(quán)輪叫調(diào)度（Weighted Round Robin）動(dòng)態(tài)：· 最少鏈接調(diào)度（Least Connections）· 加權(quán)最少鏈接調(diào)度（Weighted Least Connections）http:/zh.linuxv

5、 5.4使用環(huán)境 Director Server 支持的系統(tǒng)： Linux 和 FreeBSD支持大多數(shù)的TCP和UDP協(xié)議Real Server 可以運(yùn)行在任何支持TCP/IP的操作系統(tǒng)上6. 基本的 LVS集群的實(shí)現(xiàn)6.1集群環(huán)境規(guī)劃 SElinux and iptables is disable操作系統(tǒng)使用RHEL 6.3x86_64服務(wù)器名IP地址網(wǎng)關(guān)虛擬設(shè)備名虛擬IPDirector Server00eth0:035Real Server192.168.1.

6、210lo:035Real Server20lo:035集群架構(gòu)規(guī)劃圖：（DR模式）6.1根據(jù)實(shí)驗(yàn)規(guī)劃設(shè)置固定IP,實(shí)驗(yàn)中為方便起見(jiàn)，規(guī)定A 00B 10C 20本實(shí)驗(yàn)時(shí)LVS集群的基本實(shí)現(xiàn)：方法一、ipvsadm 命令行模式方法二、piranha 圖形化模式 須知：本實(shí)驗(yàn) 不涉及共享存儲(chǔ)不涉及Director Server 的雙機(jī)熱備6.2（ABC）設(shè)置yum 源extras-163name=163-extr

7、asbaseurl=enabled=1gpgcheck=0 update-163name=163-updatebaseurl=enabled=1gpgcheck=0 os-163name=163-osbaseurl=enabled=1gpgcheck=0 fasttrack-163name=163-fasttrackbaseurl=enabled=1gpgcheck=0 plus-163name=163-plusbaseurl=enabled=1gpgcheck=0方法一、命令行管理模式 6.5(A)Directory Server 上安裝IP

8、VS管理軟件 本例中使用rpm方式安裝：rootlocalhost # yum install -y ipvsadm 6.6ipvsadm 的使用方法： -A 用于虛擬服務(wù)器增加虛擬IP即VIP-E 用于虛擬服務(wù)器編輯VIP記錄-D 用于虛擬服務(wù)器刪除VIP記錄-C 清除虛擬服務(wù)器所有的VIP記錄-R 恢復(fù)虛擬服務(wù)器規(guī)則-S 保存虛擬服務(wù)器規(guī)則 -a 用于虛擬服務(wù)器增加新的Real Server-e 用于虛擬服務(wù)器編輯某條Real Server記錄-d 用于虛擬服務(wù)器刪除某條Real Server記錄 -L| -l 顯示出虛擬服務(wù)器的列表-Z

9、虛擬服務(wù)器計(jì)數(shù)器清零 -set tcp udp 設(shè)置連接超時(shí)值 -t 說(shuō)明虛擬服務(wù)器提供tcp服務(wù)，選項(xiàng)后面跟如下格式：vip：port 或 Real-Server-ip：port -u 說(shuō)明虛擬服務(wù)器提供udp服務(wù)，選項(xiàng)后面跟如下格式：vip：port 或 Real-Server-ip：port -f 說(shuō)明是經(jīng)過(guò)iptables標(biāo)記過(guò)的服務(wù)類(lèi)型 -s 該選項(xiàng)后面跟LVS使用的調(diào)度算法，有如下選項(xiàng)：rr | wrr | lc | wlc | lblc | lblcr | dh | sh默認(rèn)的調(diào)度算法是： wlc -p 在某個(gè)Real

10、Server上持續(xù)的服務(wù)時(shí)間。在設(shè)定的時(shí)間內(nèi)，來(lái)自同一個(gè)用戶(hù)的多個(gè)請(qǐng)求，將會(huì)轉(zhuǎn)發(fā)給同一個(gè)Real Server （利用緩存）默認(rèn)時(shí)間是：300s 例： -p 600 -r 指定Real Server的ip地址，此選項(xiàng)后面跟的格式：Real-Server-ip：port -g 指定LVS的工作模式為直接路由模式 （此模式為L(zhǎng)VS的默認(rèn)工作模式）-i 指定LVS的工作模式為隧道模式-m 指定LVS的工作模式為NAT模式 -w 指定Real Server的權(quán)值 -c 顯示LVS目前的連接信息 -L -timeout 顯示服務(wù)連接超時(shí)值-daemon

11、顯示同步守護(hù)進(jìn)程狀態(tài)-stats 顯示統(tǒng)計(jì)信息-rate 顯示速率信息-sort 對(duì)虛擬服務(wù)器和真是服務(wù)器排序輸出 舉例如下：添加虛擬IP：ipvsadm -A -t 00:80 -s rr -p 600 ipvsadm -A -t 50:21 -s wlc 添加Real Server：ipvsadm -a -t 00:80 -r 10:80 -gipvsadm -a -t 00:80 -r 20:80 -g 用法總結(jié)：首先

12、添加VIP 指定策略其次針對(duì)指定的VIP 添加 Real Server 并指定工作模式(g)  7.開(kāi)始配置LVS集群（使用ipvsadm命令行工具）下面通過(guò)搭建www服務(wù)的負(fù)載均衡實(shí)例，講述DR模式的LVS集群配置 7.1 (A)Director Server 的配置 7.1.1 (A)在Director Server上綁定一個(gè)VIP，用于對(duì)外提供服務(wù)。rootlocalhost # /sbin/ifconfig eth0:0 35 broadcast 35 netmask 55 u

13、p特別注意：廣播地址 與 ip地址 相同子網(wǎng)掩碼 55 7.1.2（A）在Director Server上為eth0:0指定路由rootlocalhost # /sbin/route add -host 35 dev eth0:0開(kāi)啟內(nèi)核IP轉(zhuǎn)發(fā)rootlocalhost # echo "1" >> /proc/sys/net/ipv4/ip_forward在DR模式下，開(kāi)啟ip轉(zhuǎn)發(fā)不是必須的，在NAT模式下開(kāi)啟ip轉(zhuǎn)發(fā)是必須的。 注意：7.1.1 和 7.1.2 對(duì)于網(wǎng)卡的操作都是一次性的，重

14、啟不能生效。解決： /sbin/ifconfig eth0:0 35 broadcast 35 netmask 55 up /sbin/route add -host 35 dev eth0:0 echo "1" >> /proc/sys/net/ipv4/ip_forward將三條命令寫(xiě)入 rc.local # cat <<EOF>> /etc/rc.d/rc.local7.2（A）使用ipvsadm配置LVSroo

15、tlocalhost # ipvsadm -C #清除原有記錄rootlocalhost # ipvsadm -A -t 35:80 -s rr -p 500rootlocalhost # ipvsadm -a -t 35:80 -r 10:80 -grootlocalhost # ipvsadm -a -t 35:80 -r 20:80 -grootlocalhost # service ipvsadm saverootlocalhost # service ipvsadm star

16、t 注意：實(shí)際生產(chǎn)中是不直接使用ipvsadm 直接配置LVS集群的8.使用ldirectord配置LVS 8. 1(A)在Director Server上綁定一個(gè)VIP，用于對(duì)外提供服務(wù)。rootlocalhost # ifconfig eth0:0 35 broadcast 35 netmask 55 up特別注意：廣播地址 與 ip地址 相同子網(wǎng)掩碼 55 8.2（A）在Director Server上為eth0:0指定路由rootlocalhost # rout

17、e add -host 35 dev eth0:0開(kāi)啟內(nèi)核IP轉(zhuǎn)發(fā)rootlocalhost # echo "1" >> /proc/sys/net/ipv4/ip_forward在DR模式下，開(kāi)啟ip轉(zhuǎn)發(fā)不是必須的，在NAT模式下開(kāi)啟ip轉(zhuǎn)發(fā)是必須的。 8.3安裝ldirectord#yum install -y heartbeat-ldirectord用以L(fǎng)VS監(jiān)控real server 節(jié)點(diǎn)的運(yùn)行狀態(tài)，當(dāng)real server失效是，把它從虛擬服務(wù)器列表中刪除，恢復(fù)是重新加入到列表。同時(shí)，它還能調(diào)用ipvsadm 自動(dòng)創(chuàng)建L

18、VS路由表。需要說(shuō)明的是：ldirectord 和 Piranha 都具有監(jiān)控 real server的功能。如果要通過(guò)ldirectord監(jiān)控節(jié)點(diǎn)狀態(tài)，只需要啟動(dòng) ldirectord服務(wù)，整個(gè)集群就可以運(yùn)行起來(lái)。如果要通過(guò)Piranha工具配置LVS，就無(wú)需使用ldirectord。 -依賴(lài)性沒(méi)能解決，沒(méi)有成功安裝。- 查找安裝的示例配置文件#rpm -qd heartbeat-ldirectord復(fù)制示例文件做配置文件#cp /usr/share/doc/heartbeat-ldirectord-<tab>/ldirectord.cf /etc/ha.d服

19、務(wù)啟動(dòng)腳本service ldirectord start|stop 編輯配置文件#vim /etc/ha.d/ldirectord.cf#全局配置選項(xiàng)checktimeout=20 #判定real server出錯(cuò)的時(shí)間間隔checkinterval=10 #判定ldirectord在兩次檢查之間的間隔fallback=:80 #當(dāng)所有的real server都不工作時(shí)，web服務(wù)重定向autoreload=yes #自動(dòng)重載配置文件。logfile="/var/log/ldirectord.log" #指定日志文件路徑quiescent=no

20、 #"no" 表示：如果一個(gè)節(jié)點(diǎn)在checktimeout設(shè)置的時(shí)間周期內(nèi)沒(méi)有相應(yīng)，ldirectord會(huì)從LVS的路由表中之間移除real server，此時(shí)中斷現(xiàn)有的客戶(hù)端連接，并是LVS丟掉所有的連接跟蹤記錄和持續(xù)連接記錄；"yes" 表示當(dāng)某個(gè)real server失效時(shí)，ldirectord 將失效節(jié)點(diǎn)的權(quán)值設(shè)置為0，新的連接將不能到達(dá)，但是并不從LVS路由表中清除此節(jié)點(diǎn)，同時(shí)，連接跟蹤記錄和程序連接模版仍然保留在Director上 -注意：以上為ldrectord.cf文件的全局配置。它們可以應(yīng)用大下面多個(gè)虛擬主機(jī)上，下面是每個(gè)虛擬

21、主機(jī)的配置。 #sample for 按 http virtual servicevirtual=35:80 #設(shè)置VIP和端口號(hào)，注意：virtual行后面的行必須縮進(jìn)4個(gè)空格或以一個(gè)tab字符進(jìn)行標(biāo)記。real=10:80 gate #指定real server服務(wù)器地址和端口，同時(shí)設(shè)定LVS的工作模式 gate： DR | ipip： TUNL | masq ： NATreal=20:80 gatefallback=:80 gateservice=http #指定做負(fù)載均衡的服務(wù)request=

22、"index.html" #ldirectord將根據(jù)real server 地址，結(jié)合該選項(xiàng)給出的請(qǐng)求路徑，發(fā)送訪(fǎng)問(wèn)請(qǐng)求，檢查real server上的服務(wù)是否正常運(yùn)行，確保這里給出的頁(yè)面是可以訪(fǎng)問(wèn)的，否則ldirectord會(huì)誤認(rèn)為此節(jié)點(diǎn)已經(jīng)失效，發(fā)生錯(cuò)誤監(jiān)控現(xiàn)象。receive="Test Page" #指定請(qǐng)求和應(yīng)答字符串scheduler=rr #指定調(diào)度算法，這里是rr 輪詢(xún) 算法protocol=tcp #指定協(xié)議類(lèi)型，包含 tcp 和 udpcheckport=80 #指定監(jiān)控的端口號(hào)checktype=negotiate #指定ldir

23、ectord的檢查類(lèi)型virtualhost= #虛擬服務(wù)器的名稱(chēng)9.real server 的配置9.1禁止real server 相應(yīng)ARP請(qǐng)求，只允許LVS 相應(yīng)rootzzh /# vim /etc/sysctl.conf 編輯內(nèi)核運(yùn)行參數(shù)，添加下面字段net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2rootzzh /# sysctl -p使上面的修改立即生效

24、0; 9.2配置VIP地址rootlocalhost # ifconfig lo:0 35 broadcast 35 netmask 55 uprootlocalhost # route add -host 35 dev lo:0 需要在所有的real server 執(zhí)行相同的命令，可以寫(xiě)成腳本在所有的real server上執(zhí)行，并 放到 /etc/rc.d/rc.local 中使該腳本開(kāi)機(jī)執(zhí)行  10.在Director Server 啟動(dòng) Keepalive

25、d 服務(wù)service ldirectord start方法二、圖形化管理模式11.安裝圖形化管理配置工具#yum install cman* ipvsadm modcluster piranha配置文件說(shuō)明/etc/sysconfig/ha/lvs.cf由web界面生成的配置寫(xiě)入這個(gè)文件中/etc/init.d/piranha-gui start啟動(dòng)piranha服務(wù)的WEB配置界面/etc/init.d/pulse啟動(dòng)piranha服務(wù)讀取的就是/etc/sysconfig/ha/lvs.cf文件/etc/sysconfig/ha/conf/httpd.conf這個(gè)文件是他的配置文件可以改

26、用什么端口來(lái)管理11.1使用RedHat提供的工具piranha來(lái)配置LVSPiranha 是renhat提供的基于web的LVS的配置軟件。也可以單獨(dú)用作cluster功能。例如：可以通過(guò) Piranha激活 Director Server的后背主機(jī)，也就是配置Director Server的雙機(jī)熱備功能。 rootlocalhost yum.repos.d# rpm -qc piranha/etc/sysconfig/ha/lvs.cf 所有的配置都被注釋掉了/etc/sysconfig/ha/conf/httpd.conf/etc/sysconfig/ha/conf/httpd

27、.conf 對(duì)LVS管理界面的訪(fǎng)問(wèn)控制 11.2 Director Server上prianha的設(shè)置 11.2.1開(kāi)啟web頁(yè)面管理服務(wù)rootlocalhost Desktop# /etc/init.d/piranha-gui start 11.2.2查看3636端口rootlocalhost Desktop# netstat -tunalp | grep :3636 11.2.3設(shè)置管理用戶(hù)piranha的密碼rootlocalhost Desktop# piranha-passwdNew Password:Verify:Adding passwo

28、rd for user piranha tcp 0 0 :3636 :* LISTEN 2978/httpd 11.2.4登錄 00:3636  12.web頁(yè)面配置部分-由于本實(shí)驗(yàn)只涉及到一臺(tái)Director Server調(diào)度服務(wù)器，未做雙機(jī)熱備，所以不用理會(huì)下面兩個(gè)選項(xiàng)： 12.1GLOBAL SETTINGS 是用來(lái)設(shè)置 Director Server 的全局配置:包含： primary server public ip : LVS 服務(wù)器的ipprimary server public ip : LVS 如果啟用雙

29、機(jī)熱備，心跳地址超時(shí)設(shè)置：Use network type ：使用的工作模式 .默認(rèn)是 : DR模式  是用來(lái)設(shè)置 Director Server的雙機(jī)熱備從服務(wù)器 12.2設(shè)置 VIRTUAL SERVERS 添加編輯VIRTUAL SERVER選項(xiàng)說(shuō)明：Load monitoring tool :用于監(jiān)視各個(gè)real server上的負(fù)載狀態(tài)rup ： 要求real server 啟動(dòng) rstatd 服務(wù)rup ： 要求real server 啟動(dòng) rwhod 服務(wù) Service timeout： 表示real server 失效后，從l

30、vs路由表中移除所要經(jīng)過(guò)的時(shí)間，SRe-entry Time ： 表示某個(gè)real server被移除后，重新加入路由表必須經(jīng)過(guò)的時(shí)間 Quiesce server ：“yes” 表示當(dāng)有新的節(jié)點(diǎn)加入集群時(shí)，最少鏈接數(shù)會(huì)被清零，此時(shí)lvs會(huì)發(fā)送大量的請(qǐng)求到這個(gè)新的服務(wù)節(jié)點(diǎn)，造成新節(jié)點(diǎn)的服務(wù)阻塞。建議是 "no"  Scheduling : 使用的調(diào)度算法 默認(rèn)是：wlc 加權(quán)最小鏈接為了實(shí)驗(yàn)便于查看結(jié)果，此處使用了 rr 輪詢(xún)算法 12.3激活VIRTUAL SERVER 基于該 VIRTUAL SERVER(192.168

31、.1.135),添加REAL SERVER 并設(shè)置（"EDIT"）  12.4添加并設(shè)置REAL SERVER添加編輯 REAL SERVER再次添加REAL SERVER設(shè)置 REAL SERVER 2  12.5激活添加的REAL SERVER  12.6啟動(dòng)pulse服務(wù)注意：上面的虛擬服務(wù)器激活了才可啟動(dòng)rootlocalhost Desktop# service pulse startStarting pulse: OK rootlocalhost Desktop#chkconfig pulse on13

32、.從 Piranha 上配置-由于本實(shí)驗(yàn)中 VIRTUAL SERVER 沒(méi)有做雙機(jī)熱備，也就不用設(shè)置從 Piranha 14.REAL SERVER 配置在選擇連接類(lèi)型有NAT、DR(路由直連）、Tunneling三種，選擇不同類(lèi)型真實(shí)服務(wù)器也要對(duì)應(yīng)不同的設(shè)置 上面我們選擇了DR類(lèi)型，只要把每臺(tái)真實(shí)服務(wù)器按著之前做路由直連時(shí)（ipvsadm），設(shè)置多臺(tái)真實(shí)服務(wù)器就可以了 10.1禁止real server 相應(yīng)ARP請(qǐng)求，只允許LVS 相應(yīng)rootzzh /# vim /etc/sysctl.conf 編輯內(nèi)核運(yùn)行參數(shù)，添加下面字段net.ipv4.c

33、onf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2rootzzh /# sysctl -p使上面的修改立即生效  10.2配置VIP地址rootlocalhost # ifconfig lo:0 35 broadcast 35 netmask 55 uprootlocalhost # route add -host 1

34、35 dev lo:0需要在所有的real server 執(zhí)行相同的命令，可以寫(xiě)成腳本在所有的real server上執(zhí)行，并 放到 /etc/rc.d/rc.local 中使該腳本開(kāi)機(jī)執(zhí)行 15.測(cè)試REAL SERVER1 上 rootlocalhost # cd /var/www/html/rootlocalhost html# lsrootlocalhost html# echo "real server 1" >> index.htmlrootlocalhost html# service httpd start

35、Starting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using localhost.localdomain for ServerName OK rootlocalhost html# chkconfig httpd on REAL SERVER2 上rootlocalhost # cd /var/www/html/rootlocalhost html# lsrootlocalhost html# echo "real server 2" >> index.htmlrootlocalhost html# service httpd startStarting httpd: httpd: Could not reliably determine the server's fully qualified domain name, using localhost.localdomain for ServerName OK rootlocalhost html# chkconfig httpd on    -實(shí)驗(yàn)成功