IBM P服務(wù)器故障檢測(cè)

1、IBM中國(guó)維護(hù)與技術(shù)服務(wù) p系列、系統(tǒng)p預(yù)防性維護(hù)說(shuō)明國(guó)際商業(yè)機(jī)器（中國(guó)）有限公司文檔編號(hào)：當(dāng)前版本號(hào)：3.1最初發(fā)布日期2001年12月13日最新修訂日期：2011年9月2日一、硬件維護(hù)部分：檢査機(jī)房環(huán)境：（請(qǐng)參照IBM機(jī)房條件及各機(jī)型的具體要求）溫度：室內(nèi)溫度建議保持在222C濕度：相對(duì)濕度應(yīng)保持在505%電源：根據(jù)不同機(jī)型使用的電源有：200240V交流單相；380415V交流三相；-48V5%直流，實(shí)測(cè)電壓不應(yīng)超出允許的范圍。零線與火線不能反接，通常是面對(duì)插座的左邊為零線，右邊為火線。機(jī)器必須有良好的接地保護(hù)，地線的接地電阻要求小于1歐姆。因接地電阻測(cè)量需要專業(yè)儀器，因此以客戶提供的測(cè)

2、量數(shù)值為準(zhǔn)，工程師只要確保機(jī)柜電源線的地線、機(jī)殼（接上電源線后）到建筑物接地端的電阻小于1歐姆就可以了。新版巡檢報(bào)告中添加了記錄事項(xiàng)為是否雙電源此處指的是雙動(dòng)力源供電，比如電力供給來(lái)自不同的發(fā)電廠，而不是指設(shè)備是不是有冗余電源），此外，需要記錄如果是雙動(dòng)力源是否部署在了各自獨(dú)立的PDU或者UPS上。潔凈度：機(jī)房應(yīng)保持清潔且有良好的管理與維護(hù)。如機(jī)房太臟應(yīng)提醒客戶注意。設(shè)備散熱：設(shè)備進(jìn)風(fēng)口溫度是否夠低并有足夠的氣流。機(jī)房?jī)?nèi)設(shè)備的擺放是否符合冷熱通道原則（絕對(duì)不能讓設(shè)備排出的熱空氣排向其它設(shè)備的進(jìn)風(fēng)口）。隨機(jī)工具：對(duì)于59X/FHA這類高端機(jī)型，隨機(jī)會(huì)附帶一些R&V時(shí)需要用到的平臺(tái)，滑軌等工具，巡

3、檢時(shí)應(yīng)確認(rèn)隨機(jī)工具的當(dāng)前存儲(chǔ)狀態(tài)，以備不時(shí)之需。檢査系統(tǒng)硬件情況：先從外觀上檢查硬件情況，檢查設(shè)備故障燈是否有亮。各種設(shè)備上都有故障指示燈，通常為橙色并有標(biāo)記。高端服務(wù)器，如p670/p690/p59x/FHA,應(yīng)檢查UEPO開(kāi)關(guān)上的系統(tǒng)故障指示燈是否亮。同時(shí)檢查BPC、BPD、BPR、DCA、MDA等電源子系統(tǒng)的Power-on、Power-in、Power-out、EnableGreenLED等是否長(zhǎng)亮。還要檢查部件故障燈，如I/Odrawer、PCI卡，硬盤(pán)等。檢查是否有人改裝過(guò)IBM設(shè)備（如拆掉面板、開(kāi)口、拆掉過(guò)濾網(wǎng)、改變網(wǎng)絡(luò)連接等）。這些改裝可能會(huì)影響設(shè)備的穩(wěn)定運(yùn)行，甚至帶來(lái)嚴(yán)重后果

4、。對(duì)于高端Power5/Power6服務(wù)器，還應(yīng)檢查其正面Lightstrip和背面Lightstrip。有安裝的部件（如CPUbook）所對(duì)應(yīng)的綠色LED應(yīng)長(zhǎng)亮。任何故障指示燈（橙色）都應(yīng)不亮。同時(shí)注意主機(jī)的OperatorPanel，高端Power5/Power6或其它由HMC管理的機(jī)器應(yīng)檢查HMC圖形界面的虛擬OperatorPanel。設(shè)備發(fā)生故障時(shí)通常伴有出錯(cuò)代碼，必須把所有故障代碼記錄下來(lái)。除此以外還應(yīng)注意有否其他異常情況（如硬盤(pán)、風(fēng)扇異常的聲音、電纜破損、系統(tǒng)出風(fēng)是否順暢、氣流是否因?yàn)楫愇镎趽醵绊懮嵝Ч龋?.檢査硬件錯(cuò)誤報(bào)告errorlog：無(wú)HMC管理的系統(tǒng)可登錄到AI

5、X,使用“errpt-dH”命令檢查硬件錯(cuò)誤報(bào)告。如有，則應(yīng)使用“errpt-ajerr_id|more”命令檢查詳細(xì)的日志。為了準(zhǔn)確判斷故障，可對(duì)硬件設(shè)備運(yùn)行故障診斷程序，如運(yùn)行“diag-edhdiskl”。診斷程序可對(duì)故障記錄中的SENSEDATA進(jìn)行分析并給出SRN、SRC、FRU等。注：如果故障記錄太多，應(yīng)將故障報(bào)告取回作進(jìn)一步分析?？捎妹睿骸皊nap-r;snap-gc”用“mail”命令查看有否發(fā)給root用戶的錯(cuò)誤報(bào)告。用“alog-otboot”命令和“alog-otconsole”命令檢查系統(tǒng)的啟動(dòng)記錄和主控臺(tái)的出錯(cuò)信息。對(duì)于Power5以前的主機(jī)，如果客戶允許停機(jī)，則應(yīng)

6、shutdown主機(jī)，進(jìn)入服務(wù)處理器(ServiceProcessor)菜單檢查故障記錄。對(duì)于Power5、Power6、Power7主機(jī)，無(wú)須shutdown分區(qū)就可以進(jìn)入ASMI菜單進(jìn)行檢查。有HMC管理的系統(tǒng)，可進(jìn)入ServiceFocalPoint進(jìn)行檢查。HMCV6步驟如下:在ServiceFocalPoint目錄下點(diǎn)擊ManageEvents打開(kāi)ManageServiceableEvents窗口。三3HK595HMCl.locHoimd三ServerandPartition,|FrameManagemSen/erMaragemJUilizalonDatal編gemPlans3匚Li

7、censednterna匚口HMCManagement三E2ServiceAppicitbns%,Seraice：FocalFoir魁ServiceAjgem祠RemoteSupport;iSysteriManagerSec.務(wù)InfarrnatianCenter1E2SwcnManagement壬JIo:ahost.IccaldomainPrublemnumberManageEervrceafcireEvents-SelectServiceabfeEvents匚戸反Usetlriswindawtapeselectiancriteriafartheiceiviizeableeventsyouw

8、ishtoviewormrngQOnlyeventsthatmeetallthecriteriathatyouspecifywillbedisplayedE/ent匚rtericServiceableeventstatus:ErrorcrrtenaReponingMTMS：FailingMTMS:Referencecode:Numtrerofdavstoview:Field-R.plac&ablUnt(FRU)criteriaLocationcode:Partnumber*0Kcance：Help7單擊OK，進(jìn)入ServiceableEventsOverview窗口，里面記載了最近的錯(cuò)誤日志。

9、單擊一條記錄，再選擇Selected菜單，選擇ViewDetails，察看錯(cuò)誤詳細(xì)信息。面的錯(cuò)誤信息應(yīng)詳細(xì)記錄并保存，不可疏忽。在錯(cuò)誤被排除之后應(yīng)該清除錯(cuò)誤信息。選擇Selected菜單，選擇CloseEvent，關(guān)閉錯(cuò)誤詳細(xì)信息。HMCV7步驟如下：登錄后直接點(diǎn)擊屏幕左下角的扳手圖標(biāo)，接下來(lái)的步驟就跟HMCV6樣了。5-tatusrOperrServiceableEvents確認(rèn)硬件問(wèn)題解決后應(yīng)關(guān)閉SystemAttentionLight。無(wú)HMC管理的主機(jī)：進(jìn)入AIXdiag菜單，選擇TaskSelection-選擇IdentifyandAttentionIndicators-選擇SetS

10、ystemAttentionIndicatortoNormal。有HMC管理的主機(jī)在圖形界面下deactivate相關(guān)主機(jī)的AttentionLED.檢查機(jī)器清潔度檢查機(jī)器的清潔程度，如面板上會(huì)不會(huì)有很多灰塵。如果機(jī)器比較臟，或金屬部件有腐蝕的跡象，則需要提醒客戶注意改善機(jī)房環(huán)境。有需要的話可以請(qǐng)IPR進(jìn)行專業(yè)檢測(cè)。某些機(jī)型有空氣過(guò)濾網(wǎng)，如7040/9119,長(zhǎng)期使用可能需要更換，否則過(guò)濾網(wǎng)堵塞會(huì)影響散熱效果。請(qǐng)根據(jù)實(shí)際情況決定是否更換。9119的過(guò)濾網(wǎng)安裝在機(jī)柜前門(mén)，要確保3塊過(guò)濾網(wǎng)都安裝到位，并且機(jī)柜正面上下沒(méi)有開(kāi)口，所有冷卻氣流都應(yīng)該經(jīng)過(guò)濾網(wǎng)進(jìn)入。風(fēng)扇轉(zhuǎn)動(dòng)情況：從機(jī)器相應(yīng)的散熱口檢查冷卻

11、氣流的狀態(tài)，特別需要注意是否風(fēng)量小或者無(wú)冷卻風(fēng)。如有異常，應(yīng)收集IQYY并開(kāi)出對(duì)應(yīng)PMH。邏輯卷/硬盤(pán)檢查用“l(fā)svg-ollsvg-ilIgrepstale”檢查是否有stale狀態(tài)的邏輯卷。如有stale狀態(tài)邏輯卷應(yīng)立即進(jìn)行同步修復(fù)。是否有deconfig硬件資源：Power5以前的主機(jī)用“bindprocessor-q”命令檢查是否有CPU被disable。用“l(fā)sattr-Elsys0”命令檢查CPUGUARD是否設(shè)置正確。AIX5.2以前的版本CPUGUARD默認(rèn)是disable的。通常系統(tǒng)/分區(qū)CPU數(shù)目33的就應(yīng)該enableCPUGUARD（如果操作系統(tǒng)為AIX5.2或以上則C

12、PU2時(shí)就應(yīng)該enableCPUGUARD）。內(nèi)存用命令lsattr-Elmem0查看。有分區(qū)的機(jī)器有一定內(nèi)存overhead，具體計(jì)算參考pSeriesPlanningforPartitioned-SystemOperationsSA38-0626-00Power5、Power6、Power7主機(jī)登入ASMmenu-SystemConfiguration-HardwareDeconfiguration-ProcessorDeconfiguration和MemoryDeconfiguration檢查是否有被deconfigured的CPU或內(nèi)存。同時(shí)檢查有無(wú)其他部件被deconfigured并

13、做相應(yīng)記錄。DUMP信息（詳細(xì)請(qǐng)參考AIX操作系統(tǒng)DUMP設(shè)置及收集指南）：系統(tǒng)DUMP設(shè)備應(yīng)該有足夠大的空間，可用“sysdumpdev-e”命令估計(jì)系統(tǒng)DUMP的大小以檢驗(yàn)DUMP設(shè)備是否足夠大。對(duì)于內(nèi)存較大的機(jī)器，建議建立專用的DUMP設(shè)備（如果系統(tǒng)內(nèi)存大于4GB，則AIX5L會(huì)自動(dòng)建立專用的DUMP設(shè)備：/dev/lg_dumplv）。檢查DUMP的拷貝目錄（文件系統(tǒng)）是否有足夠的空間（如果使用非內(nèi)存交換區(qū)作為PrimaryDUMP設(shè)備，則無(wú)此要求）。如果要改變DUMP的拷貝目錄（文件系統(tǒng)）則必須保證其建立在ROOTVG上。為確保系統(tǒng)掛機(jī)時(shí)可以做強(qiáng)制DUMP，請(qǐng)把“alwaysallo

14、wdump”設(shè)成“TURE”，可在線修改。DUMP壓縮功能除了可以節(jié)省空間外，還可以大大縮短AIX做DUMP的時(shí)間，建議打開(kāi)（默認(rèn)是關(guān)閉），命令為sysdumpdev-C,可在線修改。網(wǎng)絡(luò)通信：檢查網(wǎng)卡狀態(tài)、IP地址是否正常。通常不建議使用自適應(yīng)速率（千兆以太網(wǎng)除外），網(wǎng)卡的設(shè)置應(yīng)與交換機(jī)端口的設(shè)置匹配。用“ping”命令檢查網(wǎng)卡通信是否正常，如是否丟包，速度是否正常等。用“netstat-rn”檢查路由表是否正常。檢查/etc/hosts文件或DNS設(shè)置是否正常。SSA/SCSI/SASRAID狀態(tài)（IBM存儲(chǔ)服務(wù)器請(qǐng)參考存儲(chǔ)設(shè)備檢査指南）：磁盤(pán)陣列通常采用RAID1/RAID5/RAID1

15、0等數(shù)據(jù)保護(hù)方式。不建議客戶使用RAID0的方式，在RAIDO方式下數(shù)據(jù)沒(méi)有任何保護(hù)。檢查磁盤(pán)陣列中的RAID盤(pán)是否有壞盤(pán)，是否有degrade的狀況。檢查磁盤(pán)陣列的cache是否打開(kāi)。熱備盤(pán)(hotspare)盤(pán)可以提高磁盤(pán)陣列的可靠性，強(qiáng)烈建議設(shè)置熱備盤(pán)。以內(nèi)置SASRAID為例步驟如下：檢查DiskArray狀態(tài)：#diag-TaskSelection-RAIDArrayManager-IBMSASDiskArrayManager-ListIBMSASDiskArrayConfiguration檢查SAS通道狀態(tài)：#diag-TaskSelection-RAIDArrayManager-

16、IBMSASDiskArrayManager-DiagnosticsandRecoveryOptions-ShowSASControllerPhysicalResources檢查cache電池狀態(tài)：#diag-TaskSelection-RAIDArrayManager-IBMSASDiskArrayManager-DiagnosticsandRecoveryOptions-ControllerRechargeableBatteryMaintenance-DisplayControllerRechargeableBatteryInformationLIC版本信息查看并且記錄系統(tǒng)當(dāng)前的微碼版本以

17、及HMC的版本信息（若是高端機(jī)器，還需查看并記錄BPA的微碼版本）RIO連接狀況在HMC上查看RIOTopology狀態(tài)，注意檢查環(huán)路狀態(tài)及速率。磁帶機(jī)是否需要清洗：磁帶機(jī)/磁帶庫(kù)是重要的數(shù)據(jù)備份設(shè)備，應(yīng)定期清洗。不同的磁帶機(jī)/磁帶庫(kù)有不同的清洗間隔，請(qǐng)查閱相關(guān)手冊(cè)。某些磁帶機(jī)可用/usr/lpp/diagnostics/bin/utape-cdrmt0-n命令查看磁帶機(jī)使用時(shí)數(shù)。Systemreadinesscheck檢査（power5及以后機(jī)型）Power5及以后機(jī)型需要做systemreadinesscheck并記錄結(jié)果。強(qiáng)制ECA信息根據(jù)不同階段發(fā)布的ECA列表，檢查對(duì)應(yīng)機(jī)器是否存在需

18、要進(jìn)行的強(qiáng)制ECA，應(yīng)記錄對(duì)應(yīng)的ECA號(hào)碼及完成狀態(tài)。ServiceAgent是否設(shè)置：我們建議給所有的保修期/MA客戶都安裝ServiceAgent，并激活其自動(dòng)報(bào)修功能。ServiceAgent安裝后應(yīng)保持可以與IBMSDR服務(wù)器連接的狀態(tài)。除callhome外，客戶還可以設(shè)置emailnotification,SNMP監(jiān)控或者SystemDirector監(jiān)控。17.下列數(shù)據(jù)是否已經(jīng)收集:AIXsnap文件ASMIerrlog文件RIOTopology文件硬件dump文件其他日志文件（iqyy等）硬件檢査完成后必須填寫(xiě)RS/6000及p系列系統(tǒng)預(yù)防性維護(hù)服務(wù)報(bào)告單（硬件部分），對(duì)于檢査中發(fā)

19、現(xiàn)的問(wèn)題必須及時(shí)解決。二、軟件維護(hù)部分（僅適用于有軟件維護(hù)協(xié)議的客戶）：軟件錯(cuò)誤報(bào)告：用“errpt-dS”命令檢查系統(tǒng)的軟件出錯(cuò)報(bào)告。如果故障記錄太多，應(yīng)將故障報(bào)告取回，作進(jìn)一步分析。用“mail”命令查看有否發(fā)給root用戶的錯(cuò)誤報(bào)告。用“alog-otboot”命令和“alog-otconsole”命令檢查系統(tǒng)的啟動(dòng)紀(jì)錄和主控臺(tái)的出錯(cuò)信息。檢查HACMP、TSM等軟件的LOG看有否不正常的地方。檢査文件系統(tǒng)查看有沒(méi)有“滿”的文件系統(tǒng)。文件系統(tǒng)滿可導(dǎo)致系統(tǒng)不能正常工作，尤其是AIX的基本文件系統(tǒng)。如/（根文件系統(tǒng)）滿則會(huì)導(dǎo)致用戶不能登錄。關(guān)鍵文件系統(tǒng)的使用率不應(yīng)該超過(guò)80%（/usr除外）

20、，且剩余空間最好大于200MB。如果有“滿”的文件系統(tǒng)則應(yīng)刪除不用的文件以釋放空間，或擴(kuò)展文件系統(tǒng)。如果系統(tǒng)有關(guān)于文件系統(tǒng)錯(cuò)誤的報(bào)告則應(yīng)用“fsck”命令對(duì)文件系統(tǒng)進(jìn)行檢查修復(fù)。JFSLOG的大小與文件系統(tǒng)的比例應(yīng)為：1個(gè)PP的LOG管理512個(gè)PP的文件系統(tǒng)。如果JFSLOG不夠大則應(yīng)擴(kuò)大，但JFSLOG不應(yīng)超過(guò)256MB。如果太多的文件系統(tǒng)使用同一個(gè)LOG則會(huì)影響性能，應(yīng)考慮不同的文件系統(tǒng)使用不通的JFSLOG。檢査邏輯卷：用“l(fā)svg-ollsvg-il|grepstale”檢查是否有stale狀態(tài)的邏輯卷。如有stale狀態(tài)邏輯卷應(yīng)立即進(jìn)行同步修復(fù)。內(nèi)存交換區(qū)（pagingspace）

21、：AIX4.3.3以后對(duì)內(nèi)存交換區(qū)的使用機(jī)制與舊版本已經(jīng)不一樣。內(nèi)存交換區(qū)的大小與物理內(nèi)存的大小并沒(méi)有一定的比例關(guān)系或計(jì)算的公式。客戶應(yīng)進(jìn)行壓力測(cè)試以確定內(nèi)存交換區(qū)的大小，若內(nèi)存交換區(qū)使用率超過(guò)70%，則需要擴(kuò)大。某些數(shù)據(jù)庫(kù)廠家或應(yīng)用開(kāi)發(fā)商可能對(duì)內(nèi)存交換區(qū)有特殊要求，請(qǐng)咨詢相關(guān)廠商或開(kāi)發(fā)商。增加內(nèi)存交換區(qū)并不會(huì)提高性能，內(nèi)存交換區(qū)使用偏高通常是因?yàn)槲锢韮?nèi)存不足造成的，所以升級(jí)物理內(nèi)存才是解決之道。交換區(qū)不應(yīng)設(shè)置在rootvg以外的卷組。從性能上考慮，每個(gè)硬盤(pán)上應(yīng)該只有一個(gè)內(nèi)存交換區(qū)，并且所有內(nèi)存交換區(qū)的大小應(yīng)該一致。如果rootvg是采用鏡像保護(hù)的，則內(nèi)存交換區(qū)也必須鏡像。如果rootvg有固

22、態(tài)硬盤(pán)則建議把內(nèi)存交換區(qū)放在固態(tài)硬盤(pán)上以提高性能。bootimage是否修改過(guò)而沒(méi)有重啟：bootimage修改過(guò)應(yīng)該重啟AIX，比如安裝了新的補(bǔ)丁或者運(yùn)行了bosboot命令等。有些案例，客戶做了某些修改而沒(méi)有重啟AIX，等幾個(gè)月之后重啟AIX的時(shí)候才發(fā)現(xiàn)無(wú)法啟動(dòng)。這時(shí)候已經(jīng)想不起來(lái)做過(guò)什么修改了，造成PD很困難。運(yùn)行命令：uptime和ls-1/etc/bosboot.sum,uptime應(yīng)該小于/etc/bosboot.sum文件日期到當(dāng)前的時(shí)間，否則就代表bootimage修改過(guò)后沒(méi)有重啟。系統(tǒng)性能：用vmstat、topas等命令進(jìn)行簡(jiǎn)單的性能分析，檢查是否有性能瓶頸。數(shù)據(jù)備份：數(shù)據(jù)

23、備份是客戶的責(zé)任，數(shù)據(jù)備份包括操作系統(tǒng)備份和用戶數(shù)據(jù)備份。操作系統(tǒng)備份是指ROOTVG的備份。系統(tǒng)備份要及時(shí)，它應(yīng)能恢復(fù)操作系統(tǒng)崩潰前的正常工作狀態(tài)。因此每當(dāng)系統(tǒng)改變?cè)O(shè)置，安裝PTF，調(diào)整應(yīng)用程序等的前后都應(yīng)做好系統(tǒng)備份。系統(tǒng)備份建議至少每季度做一次，手頭至少保留兩份系統(tǒng)備份帶。用戶數(shù)據(jù)備份包括數(shù)據(jù)庫(kù)備份、應(yīng)用程序代碼備份、用戶文件系統(tǒng)備份、TSM數(shù)據(jù)庫(kù)備份等。用戶數(shù)據(jù)備份建議每天做一次。檢查用戶數(shù)據(jù)備份是否能滿足硬盤(pán)數(shù)據(jù)丟失后的恢復(fù)要求。檢查用戶備份介質(zhì)是否標(biāo)簽明確、保存妥善。通信：用“ping”命令檢查通信是否正常。用“netstat-rn”檢查路由表是否正常。檢查/etc/hosts文件

24、或DNS設(shè)置是否正常。數(shù)據(jù)是否已作保護(hù)為保證系統(tǒng)高可用性，建ROOTVG采用鏡像保護(hù)方式。用“l(fā)svg-lrootvg”檢查是否ROOTVG上所有的邏輯卷已鏡像。用“l(fā)slv-1lvname”命令檢查邏輯卷的兩份拷貝是否在不同的物理硬盤(pán)上。用戶數(shù)據(jù)也應(yīng)采取適當(dāng)?shù)谋Ｗo(hù)方式，如RAID1/5/10、邏輯卷鏡像和邏輯卷0+1等。如果客戶采用邏輯卷鏡像或邏輯卷0+1的方式，則應(yīng)檢查其新建的邏輯卷是否設(shè)置正確。系統(tǒng)DUMP設(shè)置（詳細(xì)請(qǐng)參考AIX操作系統(tǒng)DUMP設(shè)置及收集指南）：系統(tǒng)DUMP設(shè)備應(yīng)該有足夠大的空間，可用“sysdumpdev-e”命令估計(jì)系統(tǒng)DUMP的大小以檢驗(yàn)DUMP設(shè)備是否足夠大。對(duì)于內(nèi)存較大的機(jī)器，建議建立專用的DUMP設(shè)備（如果系統(tǒng)內(nèi)存大于4GB,則AIX5L會(huì)自動(dòng)建立專用的DUMP設(shè)備：/dev/lg_dumplv）。檢查DUMP的拷貝目錄（文件系統(tǒng)）是否有足夠的空間（如果使用非內(nèi)存交換區(qū)作為PrimaryDUMP設(shè)備，則無(wú)此要求）。如果要改變DUMP的拷貝目錄（文件系統(tǒng)）則必須保證其建立在ROOTVG上。為確保系統(tǒng)掛機(jī)時(shí)可以做強(qiáng)制DUMP，請(qǐng)把“a