LTM設(shè)備的運行維護應(yīng)急處理技術(shù)支持流程

1、2 F5 Networks, Inc.運維常用命令介紹列舉運維過程中的常用命令，方便速查。詳見附件。3 F5 Networks, Inc.F5設(shè)備日常檢查 日常監(jiān)控：對設(shè)備performance數(shù)據(jù)，syslog告警，主備狀態(tài)，網(wǎng)絡(luò)狀態(tài)等設(shè)置監(jiān)控 事件處理：對特殊事件及時告警并及時正確收集數(shù)據(jù) 定期巡檢：（模板見附件）使用ihealth工具進行設(shè)備巡檢（v10） 檢查設(shè)備基本配置是否符合總行有關(guān)要求。 檢查負載均衡設(shè)備CPU、內(nèi)存等性能參數(shù)是否正常。 檢查負載均衡設(shè)備硬盤空間、連接數(shù)等性能參數(shù)是否正常 檢查負載均衡設(shè)備系統(tǒng)運行及日志是否正常。 檢查設(shè)備上是否有異常事件和告警信息。 檢查ihea

2、lth工具是否有風(fēng)險報告，并及時更正。 對主備設(shè)備的非同步配置進行對比 （bigip_base.conf等）4 F5 Networks, Inc.系統(tǒng)安裝方法及流程系統(tǒng)初始安裝的流程，詳見附件。5 F5 Networks, Inc.軟件版本升級方法及流程軟件版本升級的流程，詳見附件。6 F5 Networks, Inc.排錯方法硬件問題 硬件問題硬盤：查看/var/log/daemon, kern日志，smartctl 測試，EUDPSU: 查看LCD報警，/var/log/ltm，EUD等內(nèi)存：可能導(dǎo)致設(shè)備突然重啟或無法啟動，查看console日志等其他：日志，EUD等7 F5 Networ

3、ks, Inc.常見故障現(xiàn)象-硬件故障告警/現(xiàn)象原因處理建議設(shè)備產(chǎn)生如下日志，并無法啟動：WARNING: CPU encountered 255 single-bit SDRAM ECC errors (corrected)WARNING: CPU encountered 255 single-bit SDRAM ECC errors (corrected)WARNING: CPU encountered 255 single-bit SDRAM ECC errors (corrected)內(nèi)存問題聯(lián)系技術(shù)支持RMADamon 日志中：Mar 20 06:43:00 local/blu-f8

4、9-abch-3a crit smartd4550: Device: /dev/sda, 3 Currently unreadable (pending) sectorsMar 20 07:13:00 local/blu-f89-abch-3a crit smartd4550: Device: /dev/sda, 3 Currently unreadable (pending) sectorsMar 20 07:43:00 local/blu-f89-abch-3a crit smartd4550: Device: /dev/sda, 3 Currently unreadable (pendi

5、ng) sectorsKern 日志中發(fā)現(xiàn)：Oct 5 10:05:21 local/NF39SL01-F3 err kernel: ata1.00: status: DRDY ERR Oct 5 10:05:21 local/NF39SL01-F3 err kernel: ata1.00: error: IDNF Oct 5 10:05:21 local/NF39SL01-F3 warning kernel: Oct 5 10:05:21 local/NF39SL01-F3 warning kernel: end_request: I/O error, dev sda, sector 160

6、014091 Oct 5 10:05:21 local/NF39SL01-F3 err kernel: Buffer I/O error on device dm-17, logical block 25160 Oct 5 10:05:21 local/NF39SL01-F3 warning kernel: lost page write due to I/O error on dm-17 可能為硬盤壞道，也可能為 ID 405839 引起誤報警聯(lián)系技術(shù)支持確認設(shè)備產(chǎn)生如下日志， Oct 1 00:24:01 NF68SL08-B5 system_check18039: 010d0006:0:

7、 Chassis power supply 101 is not supplying power (status: 0): make sure it is plugged in.一般為電源故障聯(lián)系技術(shù)支持確認并RMA 設(shè)備console無輸出分析方法： 觀察前面板燈是否亮起，如果無燈，更換電源等部件。如亮起，檢查Console線，如確認Console線無問題，但設(shè)備仍無輸出聯(lián)系技術(shù)支持RMA8 F5 Networks, Inc.排錯方法軟件、告警、網(wǎng)絡(luò)等問題 軟件，告警，網(wǎng)絡(luò)等問題重啟,切換，進程重啟等，可以查看進程狀態(tài)（bigstart status) ，日志/var/log/ltm及tmm

8、等。 發(fā)生performance 問題，及時抓取top等performance等信息也很關(guān)鍵網(wǎng)絡(luò)，業(yè)務(wù)問題一定要抓取Tcpdump。 9 F5 Networks, Inc.常見告警-軟件故障告警/現(xiàn)象版本 結(jié)論及處理建議管理界面顯示:error pageno content page to display,/var/log/httpd日志顯示Oct 10, 2012 4:02:12 AM mon.ChannelSocket init INFO: JK2: ajp13 listening on localhost/:8009 Oct 10, 2012 4:02:12 AM or

9、g.apache.jk.server.JkMain start INFO: Jk running ID=0 time=0/32 config=/usr/local/tomcat4/conf/perties 2012-10-10 13:47:44,691 ERROR Thread-21 controller.TilesInterceptor:getDefinitionUrl - Failed during a Tiles definition look-up 2012-10-10 13:47:50,690 ERROR Thread-20v9Java及httpd問題。 重啟tomca

10、t4及httpd進程可以解決。 Syslog事件：1 NF39SL02-F2 mcpd3960: 01070408:5: Deleting abandoned subscriber connection for reflector_Subscriber 12-10-17 4:02:04 12-10-17 v10.2.4 log rotation時的安全日志,可安全忽略Jan 13 00:40:01 tmm tmm1220: 011f0007:3: http_process_state_parse_header - Invalid action EV_BODY_COMPLE

11、TE during ST_HTTP_PARSE_HEADERS Jan 13 00:40:01 tmm tmm1220: 011f0008:3: http_process_state_parse_header - Invalid state transition to ST_HTTP_ABORTED系統(tǒng)收到不規(guī)范的（non-RFC）Request 或者異常POST會出現(xiàn)這個err message但是這個不會影響其他正常的業(yè)務(wù)數(shù)據(jù)流。如果長期出現(xiàn)建議抓包分析ltm日志 Inet port exhaustion on 1 to 5:9000 all此類告

12、警說明 snat 地址1的端口已經(jīng)用完，這時會引起新的鏈接被丟棄，無法正常鏈接，此時需要添加snat pool增加snat 地址及總的端口數(shù)。LTM 日志011e0002:4: sweeper_update: aggressive mode activated. all此類告警說明 日志發(fā)生時大量的內(nèi)存被耗盡，導(dǎo)致memory使用超過閥值導(dǎo)致生成此日志，一般可能為突然大量的鏈接（ddos）造成，RAM cache大量使用，或者內(nèi)存泄露，如日志長時不消失，此時應(yīng)該引起注意，查看相應(yīng)的performance并采取相應(yīng)應(yīng)對措施。/var/log/ltm出現(xiàn)如下日志：tmm tm

13、m1609: 011e0001:4: Limiting closed port RST response from 299 to 250 packets/sec 或tmm tmm1609: 011e0001:4: Limiting icmp unreach response from 299 to 250 packets/secall此類告警說明 日志發(fā)生時，LTM因收到無法match連接表的tcp或icmp連接而發(fā)送的RST已經(jīng)超過了閾值，這一般可能為網(wǎng)絡(luò)異常，如ddos等，需要引起注意。一般這個閥值為250 10 F5 Networks, Inc.一般故障現(xiàn)場需要收集的信息(1)抓抓包文包

14、文件：件：使用tcpdump在F5上抓包，如果有可能在backend server/client machine同時抓包或同時在瀏覽器運行httpwatch，抓包命令如下： #tcpdump nni 0.0:nnn s0 w /var/tmp/xxxx.cap host or host or host or host *由于F5采用的是full-proxy模式，抓客戶IP和VIP只能抓到客戶端的traffic，不能抓到server端的，請進行抓包時多加考慮，添加合適的IP地址v9.3.1不支持F5自帶的：nnn，在v9.3.1上可以去掉，只寫0.0 （表示所有進出traffic）*可以針對vl

15、an或者interface抓包，針對mgmt抓包，一般情況下mgmt是eth0，可以在F5上通過ifconfig查看*可以添加端口號或協(xié)議名抓取特定的數(shù)據(jù)包*可以加-c 抓取一定數(shù)量的包， 針對業(yè)務(wù)流量大的情況下 *如果抓包文件是關(guān)于ssl流量的，請用ssldump命令在F5上解開tcpdump，解成明文，然后將解密的明文和tcpdump一起提交給support，便于查看： 11 F5 Networks, Inc.一般故障現(xiàn)場需要收集的信息(2) 抓抓取取qkview： qkview盡量在故障的時候抓取，重啟之后抓取的qkview十分干凈，幾乎看不出來任何信息。命令如下：# qkview, t

16、hen take out $HOSTNAME.tech.out from /var/tmp/抓抓取取log日志日志，這個一定要抓取，qkview中的log不全。命令如下：# tar zcvf /var/tmp/$HOSTNAME-logs.tar.gz /var/log/*, then take out $HOSTNAME-logs.tar.gz from /var/tmp/抓取抓取 RRD data tarball：# tar zcvf /var/tmp/$HOSTNAME-rrd.tar.gz /var/rrd/*, then take out $HOSTNAME-rdd.tar.gz f

17、rom /var/tmp/抓取抓取SCCP log tarball：# ssh sccp tar czvf - /var/log/ /var/tmp/$HOSTNAME-sccp-logs.tar.gz, then take out $HOSTNAME-sccp-logs.tar.gz from /var/tmp/12 F5 Networks, Inc.一般故障現(xiàn)場需要收集的信息(3)抓抓取故障截圖取故障截圖，在客戶端是什么表現(xiàn)？網(wǎng)頁打不開？服務(wù)能否登錄？客戶收到了什么樣的報錯信息？ 開case的時候，盡量說明出問題的VS或者給出對應(yīng)的IP地址，以方便support查詢，節(jié)省時間。 如果懷疑硬

18、件問題，盡快安排時間做EUD。運行EUD的時候請拔下所有的網(wǎng)線，連好console，留存console output，和EUD report一起提交給support以節(jié)省時間。 13 F5 Networks, Inc.有效收集信息-對收集信息進行檢查信息類型信息類型檢查方法檢查方法TCPdump是否包括客戶端和服務(wù)器端兩方向的包信息（SNAT很容易影響數(shù)據(jù)包收集）是否能反映出問題出現(xiàn)的現(xiàn)象，需要在提交時指出問題stream 序列號SSLdump 是否包含已解密的應(yīng)用數(shù)據(jù)Core dump 必須使用md5sum在機器上檢查，并且在提交前在PC上進行檢查Qkview , log生成時間是否正確，是

19、否可以正確解壓縮，盡量提供V10的ihealth鏈接Debug是否為問題出現(xiàn)時收集，并指出問題出現(xiàn)時間點和收集方法Policy是否為問題VS所使用UCS是否可以正確解壓縮其他按NSE提供方法檢查，并提供準確詳細的測試步驟14 F5 Networks, Inc.一鍵故障采集工具實現(xiàn)功能： 一鍵收集所有開CASE需要的資料，包括var/log日志，tcpdump，qkview，UCS，打包上傳到指定服務(wù)器目的： 快速收集故障現(xiàn)場資料，減少和support之間的來回資料收集請求，可用于自動排障腳本中的前置腳本實現(xiàn)語言： SHdate_tag=date +%Y%m%d%H%M/usr/sbin/tcp

20、dump -ni 0.0 -s 0 -nnn -c 3000 -w /var/tmp/$HOSTNAME-$date_tag-tcpdump.captar zcvf /var/tmp/$HOSTNAME-$date_tag-logs.tgz /var/log/* /var/core/*tmsh save sys ucs /var/tmp/$HOSTNAME-$date_tag-ucsqkview -f /var/tmp/$HOSTNAME-$date_tag-qkview.tgzcd /var/tmptar zcvf /var/tmp/CASE-$HOSTNAME-$date_tag.tgz

21、$HOSTNAME-$date_tag-tcpdump.cap $HOSTNAME-$date_tag-logs.tgz $HOSTNAME-$date_tag-ucs.ucs $HOSTNAME-$date_tag-qkview.tgzecho echo =Notice=echo please send the file /var/tmp/CASE-$HOSTNAME-$date_tag.tgz to F5 support16 F5 Networks, Inc.場景一：某臺服務(wù)器對外服務(wù)不可用具體現(xiàn)象：具體現(xiàn)象：應(yīng)用部門反應(yīng)某業(yè)務(wù)對外服務(wù)不穩(wěn)定，部分客戶端請求無法回復(fù)，查看相關(guān)服務(wù)器后發(fā)現(xiàn)有

22、一臺或者幾臺服務(wù)器的應(yīng)用程序發(fā)生故障，但不完全影響該業(yè)務(wù)對外服務(wù)。啟動依據(jù)：啟動依據(jù)：由應(yīng)用部門通知。影響范圍：影響范圍：影響當(dāng)前F5分配到該（幾）臺服務(wù)器上的業(yè)務(wù)。處處理方案：理方案： 1.應(yīng)用部門通知網(wǎng)絡(luò)部在F5上隔離該服務(wù)器。2.登陸相關(guān)F5，將相關(guān)節(jié)點服務(wù)器隔離。3、待該服務(wù)器應(yīng)用程序恢復(fù)正常后，由應(yīng)用部門通知網(wǎng)絡(luò)部門重啟啟用該節(jié)點。登陸相關(guān)F5，將相關(guān)節(jié)點服務(wù)器恢復(fù)。驗證方案：驗證方案： 應(yīng)用部門登陸恢復(fù)服務(wù)器，檢查應(yīng)用狀態(tài)是否正常，是否有連接分配。17 F5 Networks, Inc.場景二：兩臺F5設(shè)備均為ACTIVE狀態(tài)具體現(xiàn)象：具體現(xiàn)象：兩臺F5設(shè)備均為ACTIVE狀態(tài)影影

23、響范圍：響范圍：不對業(yè)務(wù)造成影響，但存在隱患。處處理方案：理方案： 1 確認兩臺active狀態(tài)的F5設(shè)備中，哪一臺是當(dāng)前在用的，通過以下兩種方式進行確認，正常情況下，因為冗余連接失效，當(dāng)前在用的F5設(shè)備應(yīng)該是原先備用的那一臺。1） 使用https登錄到兩臺F5設(shè)備的shared ip，查看是哪一臺設(shè)備；2） 在核心交換機上查看arp表中，以cisco交換機命令為例，show ip arp “shared ip”，確認對應(yīng)的是哪一臺F5設(shè)備的MAC地址。2. 檢查心跳線連接，排除由于心跳線松動造成冗余連接失敗的情況。3. 心跳線連接恢復(fù)正常后，對當(dāng)前處在備用狀態(tài)的F5設(shè)備進行重啟操作（應(yīng)該是原

24、先主用的那臺F5設(shè)備）。這時網(wǎng)絡(luò)中會恢復(fù)為只有一臺主用F5設(shè)備的情況（重啟備機不會影響業(yè)務(wù)）。驗驗證方案：證方案：以V9|V10版本下命令為例，登陸F5設(shè)備通過命令: b failover show，確認F5主備關(guān)系是否恢復(fù)正常。18 F5 Networks, Inc.場景三：主用F5設(shè)備發(fā)生故障具體現(xiàn)象：具體現(xiàn)象：主用F5上所有業(yè)務(wù)受到影響。影影響范圍：響范圍：該套F5上所有業(yè)務(wù)。處處理方案：理方案： 1SSH方式登陸F5設(shè)備，以V9|V10版本下命令為例，通過命令：b failover standby行進行主備切換,檢測是否切換成功。2、如果失敗,則通過下電方式關(guān)閉主用故障F5。3、SSH

25、方式登陸備機，以V9|V10版本下命令為例，通過命令：b failover show判斷備機狀態(tài)是否已經(jīng)變?yōu)閍ctive。驗證方案：驗證方案： 1、登陸F5設(shè)備，以V9|V10版本下命令為例，通過命令:b failover show，確認F5主備切換是否成功。2、應(yīng)用部門通過登陸方式作技術(shù)驗證。19 F5 Networks, Inc.場景四：兩臺F5設(shè)備同時出現(xiàn)故障具體現(xiàn)象：具體現(xiàn)象：兩臺F5設(shè)備同時不可用，該套F5上所有業(yè)務(wù)受到影響。影影響范圍：響范圍：該套F5上所有業(yè)務(wù)。處處理方案：理方案： 1、 強制切換，關(guān)閉原先主用的F5設(shè)備，檢測是否切換成功。2、 如果仍然故障，則關(guān)閉原先備用的F5

26、設(shè)備，下電重啟原先主用設(shè)備后，檢測系統(tǒng)狀態(tài)。3、 仍不能恢復(fù)正常的話，采用冷備設(shè)備作為應(yīng)急。驗證方案：驗證方案： 1、通過SSH方式登陸F5設(shè)備，以V9|V10版本下命令為例，通過命令:b failover show，確認F5主備切換是否成功。2、應(yīng)用部門通過登陸方式作技術(shù)驗證。20 F5 Networks, Inc.場景五：客戶端異常行為導(dǎo)致F5性能容量耗盡具體現(xiàn)象：具體現(xiàn)象：主用F5設(shè)備出現(xiàn)CPU或內(nèi)存利用率持續(xù)超警戒閥值（警戒閥值的具體值可根據(jù)該套F5所承載的應(yīng)用數(shù)量及性能狀況等因素來設(shè)定）。網(wǎng)絡(luò)部監(jiān)控到F5產(chǎn)生如下告警：Inet port exhaustion on X.X.X.X t

27、o A.B.C.D:X (proto 6)。安全部監(jiān)控到分行某個客戶端X.X.X.X向此套F5設(shè)備上的某個訪問地址A.B.C.D大量發(fā)異常數(shù)據(jù)包。影影響范圍：響范圍：該套F5上所有業(yè)務(wù)。處處理方案：理方案： 1、通過SSH方式登錄F5設(shè)備，以V9|V10版本下命令為例，通過命令:b conn client X.X.X.X,確認分行客戶端X.X.X.X是否與此套F5設(shè)備上的某個訪問地址A.B.C.D大量建立連接。2. 登錄相應(yīng)與F5互聯(lián)的交換機 ，將客戶端X.X.X.X進行隔離3. 以V9|V10版本下命令為例，通過命令行:top或網(wǎng)管proviso系統(tǒng)確認此臺F5設(shè)備性能容量是否恢復(fù)正常（CP

28、U及內(nèi)存利用率均處于30%以下）。 驗證方案：驗證方案： 1、SSH方式登陸F5設(shè)備，通過命令行:top或網(wǎng)管proviso系統(tǒng)確認此臺F5設(shè)備性能容量是否恢復(fù)正常（CPU及內(nèi)存利用率均處于30%以下）。21 F5 Networks, Inc.場景六：F5F5并發(fā)連接數(shù)超閥值并發(fā)連接數(shù)超閥值具體現(xiàn)象：具體現(xiàn)象：網(wǎng)絡(luò)部監(jiān)控發(fā)現(xiàn)F5并發(fā)連接數(shù)超閥值，且持續(xù)時間較長。影響范圍：影響范圍：該套F5上業(yè)務(wù)均受到不同程度影響。處處理方案：理方案： 1、HTTPS方式登陸F5，以V9|V10版本下操作為例，依次點擊“Virtual Server”-“Statistics”，確認當(dāng)前訪問量最高的3個應(yīng)用；2、

29、臨時規(guī)避方法為在F5上限制這3個應(yīng)用的并發(fā)連接數(shù)，由于會影響到正常訪問，需征求相關(guān)部室意見；3、登陸相關(guān)F5，以V9|V10版本下操作為例，點擊進入相應(yīng)Virtual Server,臨時將 connection limit設(shè)置為XXX（一般為服務(wù)器臺數(shù)*100），待F5并發(fā)連接數(shù)恢復(fù)正常后，再商開發(fā)中心、應(yīng)用部門逐步調(diào)大connection limit限制；4、網(wǎng)絡(luò)盡快確定方案，利用備機，完成F5擴容，徹底解決F5并發(fā)連接數(shù)高對設(shè)備造成沖擊，屆時再取消connection limit限制。驗證方案：驗證方案： SSH方式登陸F5設(shè)備，以V9|V10版本下命令為例，通過命令:b conn | w

30、c -l，確認F5 并發(fā)連接數(shù)下降至閥值以下，且設(shè)備運行正常。22 F5 Networks, Inc.場場景景七七：某臺某臺F5 CPUF5 CPU利用率超閥值利用率超閥值具體現(xiàn)象：具體現(xiàn)象：網(wǎng)絡(luò)監(jiān)控發(fā)現(xiàn)F5 CPU利用率超閥值，且持續(xù)時間較長，業(yè)務(wù)人員反映部分業(yè)務(wù)訪問緩慢。影影響范圍：響范圍：該套F5上業(yè)務(wù)均受到不同程度的影響。處處理方案：理方案： 1、正常情況下F5 的CPU利用率達100%后，F(xiàn)5會自動主備切換。2、若未自動主備切換，則改為手動主備切換（以V9|V10版本下命令為例，使用命令:b failover standby），再次確認由備用轉(zhuǎn)為主用狀態(tài)的F5 CPU利用率是否超閥值

31、，若CPU利用率轉(zhuǎn)為正常，則問題規(guī)避解決，后續(xù)再排查已轉(zhuǎn)為備用狀態(tài)的問題F5設(shè)備；若主備切換后問題還是不能得以解決，則參照場景四排查問題。驗證方案：驗證方案： 以V9|V10版本下命令為例，SSH方式登陸F5設(shè)備通過命令:top，確認F5 CPU利用率下降至閥值以下，且設(shè)備運行正常。24 F5 Networks, Inc.新case的提交步驟一 確認機器SN 確認機器服務(wù)類型 確認case聯(lián)系人，電話及郵件，聯(lián)系人建議為現(xiàn)場服務(wù)商工程師步驟二 獲取問題背景（如配置更改，網(wǎng)絡(luò)環(huán)境變化等） 確認問題具體現(xiàn)象，問題嚴重性步驟三 獲取產(chǎn)品信息（激活模塊），版本 收集相應(yīng)日志等步驟四 通過F5 supp

32、ort 提交case25 F5 Networks, Inc.提交case的三種途徑及如何加快響應(yīng)使用已經(jīng)開通的web support 賬號在線 開case，等待工程師響應(yīng)如果緊急開完case后聯(lián)系TAM并發(fā)送case號電話技術(shù)支持直接開case對于Sev1/2的case可以直接要求轉(zhuǎn)至產(chǎn)品NSE處理Sev3以下case將回電響應(yīng)郵件 開case 響應(yīng)方式同websupport.Web 電話郵件開case時一定要準備好前面一頁所提到的所有信息，如果之前開過case，可以提供之前的case號，以便客服更快的找到你的聯(lián)系信息技術(shù)支持中心電話：010-5923412326 F5 Networks, I

33、nc.開通websupport Registering for access to the WebSupport portalTo register for access to the WebSupport portal, perform the following procedure:Log in to https:/.Below the Other Sites You May Apply For heading, in the WebSupport section, click the click here link.Complete the registration page.You will be notified by email