AIX操作系統(tǒng)運行維護手冊Ver10

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

AIX操作系統(tǒng)工作手冊

文件編號

版本0.1

作成日2013年10月24日

修訂日

發(fā)布日

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

修改履歷

序號版本修改日期章節(jié)號修改記錄修改人批準人

10.12013/10/23創(chuàng)建修游

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

目錄

1引言5

1.1編寫目的5

1.2適用范圍5

1.3預(yù)期讀者5

1.4文檔說明5

2操作系統(tǒng)健康性檢查5

2.1系統(tǒng)日志6

2.1.1系統(tǒng)硬件錯誤日志檢查6

2.1.2系統(tǒng)所有錯誤日志檢查7

2.1.3系統(tǒng)錯誤日志Core_dump檢查8

2.1.4系統(tǒng)錯誤日志DELAYED」NT檢查9

2.1.5系統(tǒng)郵件日志內(nèi)容檢查9

2.1.6系統(tǒng)郵件日志大小檢查11

2.1.7登錄失敗日志文件大小檢查11

2.1.8登錄日志文件人小檢查12

2.1.9su日志文件大小檢查12

2.1.10異常終止的vi日志文件大小檢查13

2.2系統(tǒng)性能14

2.2.1系統(tǒng)CPU使用率檢查14

2.2.2查看占用CPU資源最多的進程17

2.2.3系統(tǒng)內(nèi)存使用率檢查18

2.2.4系統(tǒng)占用內(nèi)存資源最多的進程20

2.2.5系統(tǒng)磁盤繁忙程度檢查22

2.3交換空間23

2.3.1交換空訶使用率檢查23

2.4進程狀態(tài)24

2.4.1僵尸進程檢查24

2.5網(wǎng)絡(luò)狀態(tài)24

2.5.1網(wǎng)卡狀態(tài)檢查24

2.5.2路由狀態(tài)檢查25

2.5.3網(wǎng)絡(luò)傳輸檢查26

2.5.4網(wǎng)絡(luò)連接數(shù)量及狀態(tài)檢查29

2.5.5主機解析檢查31

2.6存儲狀態(tài)32

2.6.1HBA卡狀態(tài)檢查32

2.7文件系統(tǒng)狀態(tài)33

2.7.1文件系統(tǒng)使用率檢查33

2.7.2文件系統(tǒng)掛載檢查33

2.7.3NFS文件系統(tǒng)掛載檢查34

2.7.4dump設(shè)備空間檢查35

2.8邏輯卷狀態(tài)35

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

2.8.1Rootvg的剩余空間檢查35

2.8.2PV狀態(tài)檢查36

2.8.3是否存在stale的pp檢查37

2.9系統(tǒng)安全38

2.9.1系統(tǒng)登錄情況檢查38

2.9.2特權(quán)用戶檢查39

2.9.3Su操作次數(shù)檢查39

2.9.4失敗登錄記錄檢查40

2.10雙機狀態(tài)41

2.10.1雙機心跳狀態(tài)檢查41

2.10.2Hacmp.out日志檢查42

2.10.3Cluster.log日志檢查42

2.10.4雙機節(jié)點狀態(tài)檢查43

2.11其它43

2.11.1操作系統(tǒng)時間檢查43

3操作系統(tǒng)異常快速排查規(guī)范44

3.1系統(tǒng)日志檢查44

3.2CPU使用率檢查45

3.3內(nèi)存使用率檢查45

3.4I/O使用率檢查46

3.5網(wǎng)絡(luò)檢查46

3.6交換區(qū)檢查47

3.7文件系統(tǒng)檢查47

3.8雙機檢查48

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

1引言

1.1編寫目的

為了保證項目組所運維系統(tǒng)的持續(xù)健康運行，降低操作系統(tǒng)的出錯幾率，并

在出現(xiàn)問題時及時且有效的進行排查、處理，故編寫本手冊。

本手冊是以AIX操作系統(tǒng)管理員的技術(shù)為基礎(chǔ)，并結(jié)合四年項目運營的實際

經(jīng)驗進行編寫。有關(guān)AIX操作系統(tǒng)的主要工作包括：操作系統(tǒng)健康性檢查、操作

系統(tǒng)異常快速排查。

本運維手冊按照以上兩個方面的內(nèi)容進行編寫。

1.2適用范圍

IBMAIX5/6操作系統(tǒng)日常運維

1.3預(yù)期讀者

國家外匯管理局項目組運維工程師。

1.4文檔說明

1、粗體表示注意事項、操作命令；

2、所有命名規(guī)范中所用字母，未特殊標注的，均使用小寫;

3、本文所有截圖是為了配合文字說明，圖片內(nèi)容僅供參考。

2操作系統(tǒng)健康性檢查

對于IBMATX操作系統(tǒng)的健康性，主要從以下幾個方面進行檢查:

?系統(tǒng)日志

?系統(tǒng)性能

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

?交換空間

?進程狀態(tài)

?網(wǎng)絡(luò)狀態(tài)

?存儲狀態(tài)

?邏輯卷狀態(tài)

?文件系統(tǒng)狀態(tài)

?系統(tǒng)安全

?雙機狀態(tài)

?其它

2.1系統(tǒng)日志

2.1.1系統(tǒng)硬件錯誤日志檢查

＞檢查點：

操作系統(tǒng)錯誤日志是否含有硬件錯誤

＞檢查方法：

#errpt-dH

＞標準：

檢查結(jié)果如存在硬件錯誤則為系統(tǒng)不健康

檢查結(jié)果如不存在硬件錯誤則為系統(tǒng)健康

重點關(guān)注輸出信息第三列為P的錯誤日志

＞示例：

errpt-dH

IDENTIFIERTIMESTAMPTCRESOURCE_NAMEDESCRIPTION

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115413'1HsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115313THsysplanarOEEHtemporaryerrorforadapter

E142C6D408021153133HsysplanarOEEHtemporaryerrorforadapter

49A832160802115313THhdiskODISKOPERATIONERROR

F39312840802115313IHeiiLOETHERNETNETWORKRECOVERYMODE

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

＞輸出信息說明:

第三列：類型TYPE錯誤的類型或者說嚴重的程度

類型說明簡寫

PEND設(shè)備或功能組件可能丟失P

PERF性能嚴重下降P

PERM硬件設(shè)備或軟件模塊損壞P

TEMP臨時性錯誤，經(jīng)過重試后已經(jīng)恢復(fù)正T

常

INFO一般消息，不是錯誤I

l\K\不能確定錯誤的嚴重性U

2.1.2系統(tǒng)所有錯誤日志檢查

＞檢查點：

操作系統(tǒng)錯誤日志是否含有錯誤

＞檢查方法：

#errpt

＞標準：

檢查結(jié)果如存在錯誤則為系統(tǒng)不健康

檢查結(jié)果如不存在錯誤則為系統(tǒng)健康

重點關(guān)注輸出信息第三列為P第四列為H、S的錯誤日志

＞示例：

#orrpt

IDENTIFIERTIMESTAMPTCRESOURCE_NAMEDESCRIPTION

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115413THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115313THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115313THsysplanarOEEHtemporaryerrorforadapter

49A832160802115313THhdiskODISKOPERATIONERROR

F39312840802115313IHentOETHERNETNETWORKRECOVERYMODE

E142CGD40802115313TElsysplanarOEEI1temporaryerrorforadapter

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

49A832160802115313THhdiskODISKOPERATIONERROR

E142C6D40802115213THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115213THsysplanarOEEHtemporaryerrorforadapter

L142C6D4

0802115213THsysplanarOEEHtemporaryerrorforadapter

E142C6D40802115213THsysplanarOEEHtemporaryerrorforadapter

49A832160802115213THhdiskODISKOPERATIONERROR

E142C6D40802115113THsysplanarOEEHtemporaryerrorforadapter

,6DF45AA0802115113I0RMCdaemonThedaemonicotarted.

E142C6D40802115113THsysplanarOEEHtemporaryerrorforadapter

＞輸出信息說明:

第四列：種類CLASS指錯誤源

類型說明簡寫

HardWarc硬件錯誤H

Software軟件錯誤S

Operation用戶操作錯誤0

UnKnown不能確定的錯誤U

2.1.3系統(tǒng)錯誤日志Coredump檢查

＞檢查點：

操作系統(tǒng)錯誤日志是否含有應(yīng)用程序Core_dump錯誤

＞檢查方法：

#errpt-a|grepCORE_DUMP

A標準：

檢查結(jié)果如存在Coie_duinp錯誤則為系統(tǒng)不健康

檢查結(jié)果如不存在Coredump錯誤則為系統(tǒng)健康

＞示例：

set-ovi

errpt-aIgrepCORE_DUMP

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

＞輸出信息說明：

無

2.1.4系統(tǒng)錯誤日志DELAYEDJNT檢查

＞檢查點：

操作系統(tǒng)錯誤日志是否含有應(yīng)用程序DELAYEDJNT錯誤

＞檢查方法：

#errpt-a|grepDELAYED_INT

＞標準：

檢查結(jié)果如存在DELAYED」NT錯誤則為系統(tǒng)不健康

檢查結(jié)果如不存在DELAYED/NT錯誤則為系統(tǒng)健康

＞示例：

errpt-a|grepDELAYED_INT

＞輸出信息說明：

1.DELAYED」NT錯誤是版本BUG,出現(xiàn)該錯誤需要進行版本補

丁升級

2.1.5系統(tǒng)郵件日志內(nèi)容檢查

＞檢查點：

操作系統(tǒng)郵件日志是否含有異常錯誤信息

＞檢查方法：

#mail

＞標準：

檢查結(jié)果如存在異常錯誤信息則為系統(tǒng)不健康

檢查結(jié)果如不存在異常錯誤信息則為系統(tǒng)健康

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

＞示例:

#mail

Mail[5.2UCB]|AIX5.X]Type?forhelp.

M/var/spool/mail/root":1message1new

>N1rootThuJul2519:2128/1144Hdiagelamessagefromaixl"

?

Message1:

FromrootThuJul2519:21:482013

Date:Thu,25Jul201319:21:47-0500

From:root

To:esaadmin,pconsole,root

Subject:diagelamessagefromaixl

APROBLEMWASDETECTEDONThuJul2519:20:38CDT2013801014

TheServiceRequestNumber(s)/ProbableCause(s)

(causesarelistedindescendingorderofprobability):

B17CE433:SurveillanceErrorPredictiveError,general.Refertothesystem

servicedocumentationformoreinformation.

AdditionalWords:2-030000FO3-8330L5104-C13920FF5-40000000

6-000000007-000017F98-000018589-00000000

Errorloginformation:

Date:ThuJul2519:19:03CDT2013

Sequencenumber:132

Label:SCAN_ERROR_CHRP

Priority:HMaintainenceProcedure:FSPSP33

Priority:MMaintainenceProcedure:FSPSP04

Priority:LFRU:80P6787S/N:YL1226O39202CCIN:293ALocation:

U787F.001.DPM0BYH-P1-C7

mail

iomailforroot

A輸出信息說明：

1.關(guān)鍵的錯誤信息會以mail形式發(fā)送給用戶

2.特別關(guān)注crontab定時執(zhí)行任務(wù)異常時會有mail產(chǎn)生

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

2.1.6系統(tǒng)郵件日志大小檢查

＞檢查點：

操作系統(tǒng)郵件日志大小是否超過閥值

＞檢查方法：

#ls-1/var/spool/mail

＞標準：

檢查結(jié)果如目錄下存在文件大小超過基線閥值則為系統(tǒng)不健康

檢查結(jié)果如目錄下不存在文件大小超過基線閥值則為系統(tǒng)健康

1.crontab中的定時任務(wù)腳本輸出沒有重定向，系統(tǒng)會將這些

輸出信息以mail形式發(fā)給這個用戶，時間長了mail會越來

越大

2.1.7登錄失敗日志文件大小檢查

＞檢查點:

檢查登錄失敗日志文件大小是否超過閥值

＞檢查方法:

#Is-1/etc/security/failedlogin

＞標準:

登錄失敗日志大小超過基線閥值則為系統(tǒng)不健康

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

登錄失敗日志大小未超過基線閥值則為系統(tǒng)健康

＞示例：

Is-1/etc/security/failedlogin

rw-r1rootsystem648Jul1513:09/etc/security/failedlogir

＞輸出信息說明：

1.日志大小建議不超過64M（默認PP大?。?/p>

2.L8登錄日志文件大小檢查

＞檢查點：

檢查登錄日志文件大小是否超過閥值

＞檢查方法：

#Is-1/var/adm/wtmp

＞標準：

登錄日志大小超過基線閥值則為系統(tǒng)不健康

登錄日志大小未超過基線閥值則為系統(tǒng)健康

＞示例：

#Is-1/var/adm/wtmp

-rw-rw-r--1admadm935064Auc0212:28/var/adm/wtmp

#du-m/var/adm/wtmp

0.90/var/adm/wtmp

＞輸出信息說明：

1.日志大小建議不超過64M（默認PP大?。?/p>

2.1.9su日志文件大小檢查

＞檢查點：

檢查SU日志文件大小是否超過閥值

＞檢查方法:

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

#Is-1/var/adm/sulog

＞標準：

SU日志大小超過基線閥值則為系統(tǒng)不健康

SU日志大小未超過基線閥值則為系統(tǒng)健康

＞示例：

Is-1/var/adm/sulog

rw1rootsystem1291Aug0212:52/var/adm/sulog

＞輸出信息說明：

1.su日志大小建議不超過64M（默認PP大?。?/p>

2.L10異常終止的vi日志文件大小檢查

＞檢查點：

檢查異常終止的vi日志文件大小是否超過閥值

＞檢查方法：

#du-sm/var/preserve

＞標準：

異常終止的vi日志大小超過基線閥值則為系統(tǒng)不健康

異常終止的vi日志大小未超過基線閥值則為系統(tǒng)健康

＞示例：

0.16/var/preserve

#Is-1/var/preserve

total0

-rw1rootsystem163840Aug0213:06Exaaa49168

ivi-r

OnFriAug02at13:06saved525linesoffile/tmp/smit.log

#vi-r/tmp/smit.log

*xs./var/preseiue

total0

＞輸出信息說明:

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

1.異常終止的vi日志大小建議不超過64M（默認PP大?。?/p>

2.異常終止的vi操作可通過vi-r顯示查看，同樣通過#vi

-r{filepath/filename）繼續(xù)上次終止的操作

3.執(zhí)行#vi-r{filepath/filename}JB,/var/preserve文件

夾下的文件自動清除

2.2系統(tǒng)性能

2.2.1系統(tǒng)CPU使用率檢查

＞檢查點：

操作系統(tǒng)CPU使用率是否存在高于正?；€的情況

＞檢查方法：

#vmstat230

#sar230

#mpstat230

#topas

＞標準：

檢查結(jié)果如存在CPU空閑率小于30%則為系統(tǒng)不健康

檢查結(jié)果如不存在CPU空閑率小于30%則為系統(tǒng)健康

＞示例：

vmstat230

ystemconfiguration:lcpu=2mem=1536MB

kthrmemorypagefaults

rbavmfrerePipofrsrcyinsycsusdwd

2016305018424800000099122000991

2016305018424800000004420100990

20163049184249000000016320300990

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

2016304918424900000004421800990

2016304918424900000002821200990

20163053184245000000297222800990

2016305318424500000002821500990

3016305318424500000002321500990

2016305218424600000002421700990

2016305218424600000088422900990

2016305218424600000002521600990

2016305218424600000003522000990

2016305218424600000003122600990

2016305218424600000002821800990

2016305218424600000002821500990

2016305218424600000002421800990

2016305218424600000002822400990

2016305218424600000002422100990

2016305218424600000002421600990

2016305218424600000002721100990

kthrmemorypagefaultscpu

￥sar230

AIXaixl160000682ED70008/02/13

Systemconfiguration:lcpu=2mode=Capped

15:47:46%usr%sys%wio%idlephysc

15:47:480001001.00

15:47:50000991.00

15:47:520001001.00

15:47:54000991.00

15:47:560001001.00

15:47:580001001.00

15:48:000001001.00

15:48:020001001.00

15:48:040001001.00

15:48:060001001.00

15:48:08000991.00

15:48:100001001.00

15:48:120001001.00

15:48:140001001.00

15:48:160001001.00

15:48:180001001.00

15:48:200001001.00

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

15:48:220001001.00

#mpstat230

Systemconfiguration:lcpu=2mode=Capped

cpuminmajmpcintcsicsrqmigIpasyscussywaidpc

00001781627600100690001000.53

100018101000-00001000.47

ALL0001961728600100690001001.00

02001821637700100320001000.53

100018101000-00001000.47

ALL2002001738700100320001001.00

00001821627701100260001000.53

10001811110110000001000.47

ALL0002001738802100260001001.00

00001801617600100270001000.53

100018101000-00001000.47

ALL0001981718600100270001001.00

00001801627600100320001000.53

100018101000-00001000.47

ALL0001981728600100320001001.00

TopasMonitorforhost:aixlEVENTS/QUEUESFILE/TTY

FriAug215:51:252013Interval:2Cswitch191Readch0

Syscall56Writech67

CPUUser%Kern%Wait%Idle%Reads0Rawin0

ALL0.00.20.099.8Writes1Ttyout67

Forks0Igets0

NetworkKBPS二-PackO-PackKB-InKB-OutExecs0Namei1

Total0.21.51.00.10.1Runqueue0.0Dirblk0

Waitqueue0.0

DiskBusy%KBPSTPSKB-ReadKB-WritMEMORY

Total0.00.00.00.00.0PAGINGReal,MB1536

Faults0%Comp42

FileSystemKBPSTPSKB-ReadKB-WritSteals0%Noncomp10

Total0.00.00.00.0Pgspln0%Client10

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

PgspOut0

NamePIDCPU%PgSpOwnerPagein0PAGINGSPACE

topas48497620.01.4rootPageOut0Size,MB512

java58327080.037.1pconsoleSios0%Used1

getty41944620.00.6root%Free99

gil9175320.00.1rootNFS(calls/sec)

xmge7209180.00.1rootSerV20WPARActiv0

clcomd24249420.01.7rootCliV20WPARTotal0

rpc.lock44565020.00.2rootSerV30Press:"h^-help

pilegc6553800.00,1rootCliV30"q"-quit

aixmibd39978340.01.0root

netm8519940.00.1root

java17040360.067.6root

cimserve52431120.023.6root

syned15722820.00.6root

A輸出信息說明：

cpu的idle小于30%,即cpu的利用率大于70%認為不正常

222查看占用CPU資源最多的進程

＞檢查點：

操作系統(tǒng)進程的CPU使用率是否存在高于正?；€的情況

＞檢查方法：

#psaux|head-1;psaux|sort-rn+2|head-10

＞標準：

查看CPU使用率前10的進程，

CPU使用率偏離基線值需關(guān)注。

＞示例：

#psaux|head-1;psaux|sort-rn+2|head-10

USERPID%CPU%MEMSZRSSTTYSTATSTIMETIMECOMMAND

root13107626.10.06060-A11:45:25132:09wait

root78645623.60.06060-A11:45:25119:24wait

root17040360.18.06931269328-A11:51:130:25/var/opt/tivoli

root56361460.00.0808844-A11:51:490:00/bin/ksh/peons

root55705680.00.016681692-A11:52:340:00/usr/sbin/rset/

root55052620.00.011721204-A11:49:060:00/usr/sbin/snrepd

中科生財

AIX操作系統(tǒng)工作手朋siriodcifco

root54396640.00.05656-A11:49:010:00rdpgc

root53741200.00.0292308-A11:49:070:00/opt/freeware/c

root52431120.03.02420024224-A11:49:410:01[cimserve]

root51775640.01.071287152-A11:50:550:00/usr/bin/cimlis

＞輸出信息說明:

無

2.2.3系統(tǒng)內(nèi)存使用率檢查

＞檢查點：

操作系統(tǒng)內(nèi)存使用率是否存在高于正?；€的情況

＞檢查方法：

#topas

#svmon-G

#vmstat130

＞標準：

操作系統(tǒng)內(nèi)存使用率超過70%則為系統(tǒng)不健康

操作系統(tǒng)內(nèi)存使用率未超過70%則為系統(tǒng)健康

＞示例：

#svmon-G

1

sizefreepin，上匕匚ua，mmode

memory393216209122184094