高性能Web服務(wù)器Nginx及相關(guān)新技術(shù)的應(yīng)用實(shí)踐課件

高性能Web服務(wù)器Nginx

及相關(guān)新技術(shù)的應(yīng)用實(shí)踐北京金山軟件逍遙網(wǎng)張宴2009.10什么是Nginx？Nginx(“enginex”)是俄羅斯人IgorSysoev(塞索耶夫)編寫的一款高性能的HTTP和反向代理服務(wù)器。Nginx已經(jīng)在俄羅斯最大的門戶網(wǎng)站──RamblerMedia（）上運(yùn)行了4年時(shí)間，同時(shí)俄羅斯超過20%的虛擬主機(jī)平臺(tái)采用Nginx作為反向代理服務(wù)器。在國(guó)內(nèi)，已經(jīng)有新浪博客、新浪播客、搜狐通行證、網(wǎng)易新聞、網(wǎng)易博客、金山逍遙網(wǎng)、金山愛詞霸、校內(nèi)網(wǎng)、YUPOO相冊(cè)、豆瓣、迅雷看看等多家網(wǎng)站、頻道使用Nginx服務(wù)器。Nginx的優(yōu)點(diǎn)②5、支持Rewrite重寫規(guī)則：能夠根據(jù)域名、URL的不同，將HTTP請(qǐng)求分到不同的后端服務(wù)器群組。6、內(nèi)置的健康檢查功能：如果NginxProxy后端的某臺(tái)Web服務(wù)器宕機(jī)了，不會(huì)影響前端訪問。7、節(jié)省帶寬：支持GZIP壓縮，可以添加瀏覽器本地緩存的Header頭。8、穩(wěn)定性高：用于反向代理，宕機(jī)的概率微乎其微。單臺(tái)Nginx支撐了高達(dá)2.8萬的活動(dòng)并發(fā)連接數(shù)2009-09-03

14:30，金山游戲《劍俠情緣網(wǎng)絡(luò)版3》臨時(shí)維護(hù)1小時(shí)，大量玩家上官網(wǎng)，論壇、評(píng)論、客服等動(dòng)態(tài)應(yīng)用Nginx服務(wù)器集群，每臺(tái)服務(wù)器的Nginx活動(dòng)連接數(shù)達(dá)到2.8萬，這是本人遇到的Nginx生產(chǎn)環(huán)境最高并發(fā)值。Nginx的主要應(yīng)用類別1、使用Nginx結(jié)合FastCGI運(yùn)行PHP、JSP、Perl等程序2、使用Nginx作反向代理、負(fù)載均衡、規(guī)則過濾3、使用Nginx運(yùn)行靜態(tài)HTML頁、圖片4、Nginx與其他新技術(shù)的結(jié)合應(yīng)用金山逍遙網(wǎng)

Nginx七層負(fù)載均衡的應(yīng)用Nginx承擔(dān)每個(gè)機(jī)房Web負(fù)載均衡服務(wù)簡(jiǎn)單的Nginx負(fù)載均衡配置①……upstreambbs_server_pool{server5:80weight=1max_fails=2fail_timeout=30s;server6:80weight=1max_fails=2fail_timeout=30s;server7:80weight=1max_fails=2fail_timeout=30s;server8:80weight=1max_fails=2fail_timeout=30s;}……在nginx.conf配置文件中，用upstream指令定義一組反向代理/負(fù)載均衡后端服務(wù)器池。簡(jiǎn)單的Nginx負(fù)載均衡配置③proxy_pass;用于指定反向代理的服務(wù)器池。

proxy_set_headerHost$host;當(dāng)后端Web服務(wù)器上也配置有多個(gè)虛擬主機(jī)時(shí)，需要用該Header來區(qū)分反向代理哪個(gè)主機(jī)名。proxy_set_headerX-Forwarded-For$remote_addr;如果后端Web服務(wù)器上的程序需要獲取用戶IP，請(qǐng)從該Header頭獲取。Nginx負(fù)載均衡的雙機(jī)熱備通常情況下的負(fù)載均衡HA高可用優(yōu)點(diǎn)：實(shí)現(xiàn)了雙機(jī)熱備、故障自動(dòng)轉(zhuǎn)移。缺點(diǎn)：備機(jī)服務(wù)器處于閑置狀態(tài)，浪費(fèi)了硬件資源。服務(wù)器①綁定IP別名/sbin/ifconfigeth0:ha1broadcast55netmaskup/sbin/routeadd-hostdeveth0:ha1/sbin/arping-Ieth0-c3-s在服務(wù)器①的外網(wǎng)網(wǎng)卡eth0上，綁定了一個(gè)虛擬IP，綁定完成后發(fā)送arping包給網(wǎng)關(guān)。服務(wù)器②綁定IP別名/sbin/ifconfigeth0:ha2broadcast55netmaskup/sbin/routeadd-hostdeveth0:ha2/sbin/arping-Ieth0-c3-s在服務(wù)器②的外網(wǎng)網(wǎng)卡eth0上，綁定了一個(gè)虛擬IP，綁定完成后發(fā)送arping包給網(wǎng)關(guān)。服務(wù)器①去除IP別名/sbin/ifconfigeth0:ha1broadcast55netmaskdown通過兩臺(tái)服務(wù)器之間的互相檢測(cè)機(jī)制，當(dāng)服務(wù)器①上的檢測(cè)程序發(fā)現(xiàn)自身的Nginx無法訪問時(shí)，停止綁定虛擬IP服務(wù)器②接管原服務(wù)器①的虛擬IP/sbin/ifconfigeth0:ha1broadcast55netmaskup/sbin/routeadd-hostdeveth0:ha1/sbin/arping-Ieth0-c3-s給網(wǎng)關(guān)發(fā)送Arping包，保證了網(wǎng)關(guān)上IP、MAC地址對(duì)應(yīng)關(guān)系能夠馬上更改，能夠做到強(qiáng)行接管虛擬IP。Nginx負(fù)載均衡URL分發(fā)硬件、軟件七層負(fù)載均衡對(duì)比：NetScaler與Nginx根據(jù)不同的URL轉(zhuǎn)發(fā)到不同服務(wù)器server{listen80;server_name;location~^/admincp.php{proxy_pass;proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;}location/{proxy_pass;proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;}}大量文件的多服務(wù)器自動(dòng)同步使用Linux2.6內(nèi)核的inotify監(jiān)控Linux文件系統(tǒng)事件。修改可監(jiān)控的最大目錄數(shù)量echo50000000>/proc/sys/fs/inotify/max_user_watches金山逍遙網(wǎng)開發(fā)的sersync文件自動(dòng)同步程序，適合大量文件的自動(dòng)同步，并可以在文件同步完成后，自動(dòng)調(diào)用CDN緩存刷新接口，刷新發(fā)生修改、刪除的文件的訪問URL。用于：金山游戲官網(wǎng)的CMS發(fā)布系統(tǒng)。Nginx的Web緩存服務(wù)Nginx的緩存功能Nginx從0.7.48版本開始，支持了類似Squid的緩存功能；緩存把URL及相關(guān)組合當(dāng)作Key，用md5編碼哈希后保存；Nginx的Web緩存服務(wù)只能為指定URL或狀態(tài)碼設(shè)置過期時(shí)間，不支持類似Squid的PURGE指令，手動(dòng)清除指定緩存頁面；采用MMAP實(shí)現(xiàn)，設(shè)置的緩存區(qū)大小不能超過物理內(nèi)存+SWAP的值。反向代理中的Nginx.conf緩存配置①……#設(shè)置Web緩存區(qū)名稱為cache_one，緩存空間大小為2000MB，1天清理一次緩存，單個(gè)文件超過5m不緩存。proxy_cache_path/data0/proxy_cache_pathlevels=1:2keys_zone=cache_one:2000minactive=1dmax_size=5m;#注：proxy_temp_path和proxy_cache_path指定的路徑必須在同一分區(qū)proxy_temp_path/data0/proxy_temp_path;upstreammy_server_pool{server:80weight=1max_fails=2fail_timeout=30s;server:80weight=1max_fails=2fail_timeout=30s;}……反向代理中的Nginx.conf緩存配置②server{listen80;server_name;location/{proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;proxy_pass;}location~.*\.(gif|jpg|jpeg|png|bmp|swf|js|css)${#對(duì)圖片、JS、CSS進(jìn)行緩存，使用Web緩存區(qū)cache_oneproxy_cachecache_one;

反向代理中的Nginx.conf緩存配置③

#對(duì)不同HTTP狀態(tài)碼緩存設(shè)置不同的緩存時(shí)間

proxy_cache_valid20010m;proxy_cache_valid3043m;proxy_cache_valid3013021h;proxy_cache_validany1m;

#設(shè)置Web緩存的Key值，Nginx根據(jù)Key值md5哈希存儲(chǔ)緩存，這里根據(jù)“域名、URI、客戶端請(qǐng)求Header頭中的If-Modified-Since信息”組合成Key。

proxy_cache_key$host$request_uri$http_if_modified_since;

#反向代理，訪問后端內(nèi)容源服務(wù)器

proxy_set_headerHost$host;proxy_set_headerX-Forwarded-For$remote_addr;proxy_pass;}access_logoff;}Nginx緩存功能的優(yōu)點(diǎn)對(duì)于修改實(shí)時(shí)性要求不高的圖片、Flash、CSS樣式文件、JavaScript文件，可以在Nginx反向代理(負(fù)載均衡)服務(wù)器上設(shè)置緩存，不用每次請(qǐng)求都轉(zhuǎn)發(fā)到后端Web服務(wù)器，加快了響應(yīng)速度。減少了Nginx與后端Web服務(wù)器的連接數(shù)，提高了Nginx處理性能。Nginx的Rewrite重寫規(guī)則NginxRewrite規(guī)則相關(guān)指令NginxRewrite規(guī)則相關(guān)指令有if、rewrite、set、return、break等，其中rewrite是最關(guān)鍵的指令。一個(gè)簡(jiǎn)單的NginxRewrite規(guī)則語法如下：rewrite^/b/(.*)\.html/play.php?video=$1break;如果加上if語句，示例如下：if(!-f$request_){rewrite^/img/(.*)$/site/$host/images/$1last;}Nginx與Apache的Rewrite規(guī)則實(shí)例對(duì)比①簡(jiǎn)單的Nginx和Apache重寫規(guī)則區(qū)別不大，基本上能夠完全兼容。例如：ApacheRewrite規(guī)則：RewriteRule^/(mianshi|xianjing)/$/zl/index.php?name=$1[L]RewriteRule^/ceshi/$/zl/ceshi.php[L]RewriteRule^/(mianshi)_([a-zA-Z]+)/$/zl/index.php?name=$1_$2[L]RewriteRule^/pingce([0-9]*)/$/zl/pingce.php?id=$1[L]NginxRewrite規(guī)則：rewrite^/(mianshi|xianjing)/$/zl/index.php?name=$1last;rewrite^/ceshi/$/zl/ceshi.phplast;rewrite^/(mianshi)_([a-zA-Z]+)/$/zl/index.php?name=$1_$2last;rewrite^/pingce([0-9]*)/$/zl/pingce.php?id=$1last;由以上示例可以看出，Apache的Rewrite規(guī)則改為Nginx的Rewrite規(guī)則，其實(shí)很簡(jiǎn)單：Apache的RewriteRule指令換成Nginx的rewrite指令，Apache的[L]標(biāo)記換成Nginx的last標(biāo)記，中間的內(nèi)容不變。Nginx與Apache的Rewrite規(guī)則實(shí)例對(duì)比②如果Apache的Rewrite規(guī)則改為Nginx的Rewrite規(guī)則后，使用nginx-t命令檢查發(fā)現(xiàn)nginx.conf配置文件有語法錯(cuò)誤，那么可以嘗試給條件加上引號(hào)。例如一下的NginxRewrite規(guī)則會(huì)報(bào)語法錯(cuò)誤：rewrite^/([0-9]{5}).html$/x.jsp?id=$1last;加上引號(hào)就正確了：rewrite"^/([0-9]{5}).html$"/x.jsp?id=$1last;Nginx與Apache的Rewrite規(guī)則實(shí)例對(duì)比③Apache與Nginx的Rewrite規(guī)則在URL跳轉(zhuǎn)時(shí)有細(xì)微的區(qū)別：ApacheRewrite規(guī)則：RewriteRule^/html/tagindex/([a-zA-Z]+)/.*$/$1/[R=301,L]NginxRewrite規(guī)則：rewrite^/html/tagindex/([a-zA-Z]+)/.*$http://$host/$1/permanent;以上示例中，我們注意到，NginxRewrite規(guī)則的置換串中增加了“http://$host”，這是在Nginx中要求的。Nginx與Apache的Rewrite規(guī)則實(shí)例對(duì)比④另外，Apache與Nginx的Rewrite規(guī)則在變量名稱方面也有區(qū)別，例如：ApacheRewrite規(guī)則：RewriteRule^/user/login/$/user/login.php?login=1&forward=http://%{HTTP_HOST}[L]NginxRewrite規(guī)則：rewrite^/user/login/$/user/login.php?login=1&forward=http://$hostlast;Nginx與Apache的Rewrite規(guī)則實(shí)例對(duì)比⑤Apache與NginxRewrite規(guī)則的一些功能相同或類似的指令、標(biāo)記對(duì)應(yīng)關(guān)系：Apache的RewriteCond指令對(duì)應(yīng)Nginx的if指令；Apache的RewriteRule指令對(duì)應(yīng)Nginx的rewrite指令；Apache的[R]標(biāo)記對(duì)應(yīng)Nginx的redirect標(biāo)記；Apache的[P]標(biāo)記對(duì)應(yīng)Nginx的last標(biāo)記；Apache的[R,L]標(biāo)記對(duì)應(yīng)Nginx的redirect標(biāo)記；Apache的[P,L]標(biāo)記對(duì)應(yīng)Nginx的last標(biāo)記；Apache的[PT,L]標(biāo)記對(duì)應(yīng)Nginx的last標(biāo)記；Nginx與Apache的多條件Rewrite示例①允許指定的域名訪問本站，其他域名一律跳轉(zhuǎn)到ApacheRewrite規(guī)則：RewriteCond%{HTTP_HOST}^(.*?)\.domain\.com$RewriteCond%{HTTP_HOST}!^qita\.domain\.com$RewriteCond%{DOCUMENT_ROOT}/market/%1/index.htm-fRewriteRule^/wu/$/market/%1/index.htm[L]Nginx的if指令不支持嵌套，也不支持AND、OR等多條件匹配，相比于Apache的RewriteCond，顯得麻煩一些，但是，我們可以通過下一頁的Nginx配置寫法來實(shí)現(xiàn)這個(gè)示例：Nginx與Apache的多條件Rewrite示例②NginxRewrite規(guī)則：if($host~*^(.*?)\.domain\.com$){ set$var_wupin_city$1; set$var_wupin'1';}if($host~*^qita\.domain\.com$){ set$var_wupin'0';}if(!-f$document_root/market/$var_wupin_city/index.htm){ set$var_wupin'0';}if($var_wupin~'1'){ rewrite^/wu/$/market/$var_wupin_city/index.htmlast;}Nginx與金山逍遙TCSQL的配合一般數(shù)據(jù)庫(kù)的緩存類型一般數(shù)據(jù)庫(kù)緩存分為四種：1、Key/Value單個(gè)對(duì)象緩存，如Memcached2、列表緩存，就像論壇里帖子的列表3、記錄條數(shù)的緩存，比如一個(gè)論壇板塊里有多少個(gè)帖子，這樣才方便實(shí)現(xiàn)分頁。4、復(fù)雜一點(diǎn)的group，sum，count查詢，比如一個(gè)論壇里按點(diǎn)擊數(shù)排名的最HOT的帖子列表。第一種比較好實(shí)現(xiàn)，后面三種比較麻煩。什么是TCSQL實(shí)時(shí)列表緩存數(shù)據(jù)庫(kù)？TCSQL是金山逍遙網(wǎng)技術(shù)支持部平臺(tái)組以TokyoCabinetDBM為底層存儲(chǔ)與索引，結(jié)合類似Memcached的Key-Value內(nèi)存對(duì)象緩存，借鑒SQL語句的SELECT、INSERT、UPDATE、DELETE思想與功能開發(fā)的實(shí)時(shí)列表緩存數(shù)據(jù)庫(kù)，可實(shí)現(xiàn)對(duì)列表頁數(shù)據(jù)、記錄條數(shù)的實(shí)時(shí)緩存。TCSQL采用HTTPGET/POST協(xié)議＋JSON數(shù)據(jù)交換格式在客戶端、服務(wù)器端之間進(jìn)行數(shù)據(jù)交互。利用我們編寫的MySQLUDF擴(kuò)展+觸發(fā)器，我們可以在MySQL的某張表發(fā)生插入、更新、刪除操作時(shí)，自動(dòng)將數(shù)據(jù)同步到TCSQL數(shù)據(jù)