redhat操作系統(tǒng)故障分析與解決手冊(cè).doc

redhat操作系統(tǒng)故障分析與解決手冊(cè)更改前版本號(hào)更改后版本號(hào)更改人生效日期備 注11.1薛煜昆2015-3-2修改內(nèi)存故障檢查方法1.11.2張德帥2015-7-3修改CPU故障檢查方法1.21.3張德帥2015-10-4修改磁盤陣列鏈接方法目錄第一章Linux常用命令41.1常規(guī)查詢命令41.1.1 查看修改主機(jī)IP地址命令41.1.2.查看主機(jī)網(wǎng)卡速率和全半雙工設(shè)置51.1.3.查看修改主機(jī)路由表51.1.4.查看主機(jī)序列號(hào)61.1.5.查看操作系統(tǒng)發(fā)行版本和內(nèi)核版本61.1.6.查看主機(jī)網(wǎng)卡&HBA卡61.1.7.查看主機(jī)系統(tǒng)盤和文件系統(tǒng)81.1.8.用戶、組相關(guān)操作91.1.9.修改主機(jī)名91.1.10.網(wǎng)絡(luò)鏈路聚合的設(shè)置9第二章Linux系統(tǒng)檢查102.1主機(jī)硬件檢查102.2 操作系統(tǒng)關(guān)鍵日志檢查112.3 操作系統(tǒng)性能檢查112.3.1 主機(jī)當(dāng)前整體負(fù)載情況112.3.2 CPU使用率132.3.2 內(nèi)存使用率132.3.3 磁盤I/O142.3.4 網(wǎng)卡流量142.3.5 當(dāng)前主機(jī)端口監(jiān)聽情況15第三章Linux參數(shù)調(diào)整165.1 ulimit參數(shù)調(diào)整165.1.1 修改主機(jī)最大進(jìn)程數(shù)，最大文件打開數(shù)165.1.2 限制用戶創(chuàng)建文件大小165.1.3 限制用戶的管道緩沖區(qū)大小165.1.4 限制進(jìn)程最大可用的虛擬內(nèi)存165.2 修改系統(tǒng)內(nèi)核參數(shù)16第四章Linux故障處理176.1主機(jī)網(wǎng)絡(luò)故障處理176.2 主機(jī)宕機(jī)故障186.3 HBA卡光纖鏈路故障18第一章 Linux常用命令1.1常規(guī)查詢命令1.1.1 查看修改主機(jī)IP地址命令查看IP方法一：rootahdx-yqzl#ifconfig 查看IP方法二：rootahdx-yqzl # cat /etc/sysconfig/network-scripts/ifcfg-eth0修改主機(jī)IProotahdx-yqzl #vi /etc/sysconfig/network-scripts/ifcfg-eth0修改IPADDR，NETMASK，GATEWAY的值rootahdx-yqzl #service network restart 重啟network服務(wù)來使IP生效在一塊網(wǎng)卡上生成多個(gè)IProotahdx-yqzl ifconfig eth0:1 8 netmks 24注：用ifconfig新增的IP保存在內(nèi)存中，重啟network或者重啟主機(jī)以后，地址就失效了，如果長期使用建議采用新增網(wǎng)卡配置文件的方法在/etc/sysconfig/network-scripts目錄里面創(chuàng)建一個(gè)名為ifcfg-eth0:1的文件內(nèi)容樣例為： DEVICE=eth0:1IPADDR= BROADCAST=54 NETMASK=ONBOOT=yes保存退出后，重啟network后生效1.1.2.查看主機(jī)網(wǎng)卡速率和全半雙工設(shè)置rootahdx-yqzl # ethtool eth01.1.3.查看修改主機(jī)路由表查看路由表方法一：rootahdx-yqzl # netstat -rn查看路由表方法二：rootahdx-yqzl # route n增加路由：增加某一個(gè)IP的路由route add -host 4 gw dev eth0增加某一段IP路由route add -host netmask gw dev eth0 刪除某一條路由route del host 41.1.4.查看主機(jī)序列號(hào)rootahdx-yqzl # dmidecode -s system-serial-number注：在某些刀片機(jī)安裝的Redhat需要使用下面的命令查看序列號(hào)rootahdx-yqzl #dmidecode -s chassis-serial-number1.1.5.查看操作系統(tǒng)發(fā)行版本和內(nèi)核版本查看操作系統(tǒng)發(fā)行版本方法一：rootahdx-yqzl # head -n 1 /etc/issue查看操作系統(tǒng)發(fā)行版本方法二：注：在一些主機(jī)上安裝oracle時(shí)會(huì)修改/etc/redhat-release中的發(fā)行版本號(hào)，所以有時(shí)候用方法二看到的操作系統(tǒng)發(fā)行版本并不一定是真實(shí)的。查看操作系統(tǒng)內(nèi)核版本：rootahdx-yqzl # uname a1.1.6.查看主機(jī)網(wǎng)卡&HBA卡查看網(wǎng)卡&HBA型號(hào)rootcrmnmdb # lspci tv查看網(wǎng)卡mac地址rootahdx-yqzl # ifconfig -a查看HBA卡WWN號(hào)rootcrmnmdb # cat /sys/class/fc_host/host2/port_name注：/sys/class/fc_host/下的每一個(gè)hostX代表一塊HBA卡查看HBA卡當(dāng)前的鏈接速率rootcrmnmdb host2# cat /sys/class/fc_host/host2/speed1.1.7.查看主機(jī)系統(tǒng)盤和文件系統(tǒng)文件系統(tǒng)使用率rootahdx-yqzl # df h系統(tǒng)所在磁盤rootahdx-yqzl # fdisk l如果是LVM格式可以使用pvdisplay來查看1.1.8.用戶、組相關(guān)操作增加一個(gè)用戶rootahdx-yqzl # useradd bossnmv3注：默認(rèn)情況下增加的用戶的主目錄會(huì)在/home目錄下，如果要修改可以使用如下參數(shù)rootahdx-yqzl # useradd bossnmv3 d /opt/bossnmv3注：默認(rèn)情況下useradd username以后會(huì)自動(dòng)新建一個(gè)與user name名稱一樣的group name，如果要加入到別的組可以使用如下參數(shù)rootahdx-yqzl # useradd bossnmv3 d /opt/bossnmv3 g bossnm注：默認(rèn)情況下新增用戶使用的是bsh，如果想使用其他sh，可以使用如下參數(shù)rootahdx-yqzl # useradd bossnmv3 d /opt/bossnmv3 g bossnm s /bin/ksh注：在vsftp環(huán)境下想新建用戶，但不需要新增的用戶能夠登陸主機(jī)，所以就不需要這個(gè)用戶在主目錄生成它自己的環(huán)境變量，可以使用如下參數(shù)rootahdx-yqzl # useradd bossnmv3 d /opt/bossnmv3 g bossnm M修改某用戶的密碼rootahdx-yqzl #passwd bossnmv31.1.9.修改主機(jī)名方法一：rootahdx-yqzl hostname oratest注：用命令修改主機(jī)名只在重啟network前或重啟主機(jī)前生效，如果需要長期修改建議修改配置文件方法二：rootahdx-yqzl vi /etc/sysconfig/network修改HOSTNAME字段，重啟network生效配置主機(jī)hostsrootahdx-yqzl vi /etc/hosts增加IP hostname1.1.10.網(wǎng)絡(luò)鏈路聚合的設(shè)置1、在/etc/sysconfig/network-scripts/目錄下新建ifcfg-bond0文件并按照如下編輯rootahdx-yqzl vi /etc/sysconfig/network-scripts/ifcfg-bond0DEVICE=bond0 BOOTPROTO=static IPADDR=3 NETMASK= BROADCAST=54 ONBOOT=yes TYPE=Ethernet2、按照如下修改/etc/sysconfig/network-scripts/下的ifcfg-eth0，ifcfg-eth1（本例假設(shè)是將eth0和eth1聚合）rootahdx-yqzl vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=noneHWADDR=D8:D3:85:FC:89:42ONBOOT=yesMASTER=bond0SLAVE=yesTYPE=EthernetUSERCTL=norootahdx-yqzl vi /etc/sysconfig/network-scripts/ifcfg-eth1DEVICE=eth1BOOTPROTO=noneHWADDR=D8:D3:85:FC:89:52ONBOOT=yesMASTER=bond0SLAVE=yesTYPE=EthernetUSERCTL=no3、修改modules.conf文件新增如下內(nèi)容rootahdx-yqzl vi /etc/modules.confalias bond0 bonding options bond0 miimon=100 mode=1說明：miimon是用來進(jìn)行鏈路監(jiān)測(cè)的。 比如:miimon=100，那么系統(tǒng)每100ms監(jiān)測(cè)一次鏈路連接狀態(tài)，如果有一條線路不通就轉(zhuǎn)入另一條線路；mode的值表示工作模式，他共有0，1,2,3四種模式，常用的為0,1兩種。 mode=0表示load balancing (round-robin)為負(fù)載均衡方式，兩塊網(wǎng)卡都工作。 mode=1表示fault-tolerance (active-backup)提供冗余功能，工作方式是主備的工作方式,也就是說默認(rèn)情況下只有一塊網(wǎng)卡工作,另一塊做備份. 4、重啟主機(jī)后生效第二章 Linux系統(tǒng)檢查2.1主機(jī)硬件檢查方法一：到機(jī)房現(xiàn)場(chǎng)查看主機(jī)有沒有告警燈提示方法二：有的主機(jī)配置了管理口IP，可以遠(yuǎn)程通過web登陸查看主機(jī)狀態(tài)方法三：查看系統(tǒng)日志，關(guān)鍵看日志中有沒有IO error等字樣rootahdx-yqzl more /var/log/messages方法四：根據(jù)不同的機(jī)型（IBM，DELL，HP）可以去官網(wǎng)或者找800索要硬件診斷工具，收集相關(guān)信息后發(fā)到800后臺(tái)，定位硬件故障2.2 操作系統(tǒng)關(guān)鍵日志檢查查看系統(tǒng)日志 rootahdx-yqzl more /var/log/messages查看系統(tǒng)最近100條登陸日志rootahdx-yqzl last -100查看用戶mail （如果主機(jī)關(guān)閉sendmail可能沒有mail日志）rootahdx-yqzl mail2.3 操作系統(tǒng)性能檢查2.3.1 主機(jī)當(dāng)前整體負(fù)載情況rootahdx-yqzl top利用top可以獲得以下關(guān)鍵數(shù)據(jù)主機(jī)啟動(dòng)至今的時(shí)間：up 625 days主機(jī)當(dāng)前進(jìn)程數(shù)：Tasks 257CPU使用率：用戶進(jìn)程 us 1.5%，系統(tǒng)進(jìn)程 sy 11.1%，空閑進(jìn)程 id 87.4%內(nèi)存（Mem）使用率：總共內(nèi)存 total 16432976k，已使用 used 1294344k，空閑 free 3489532k，緩沖池 buffers 2101412k交換區(qū)（Swap）：總共交換區(qū) total 16383992k，已使用 used 212k，空閑 free 16383780k，緩存 cached 9753692k在top運(yùn)行后，可以輸入“-A”可以分列顯示2.3.2 CPU使用率rootahdx-yqzl sar -u 1 5 #每一秒一個(gè)輸出，5秒內(nèi)的CPU使用率注：重點(diǎn)關(guān)注%idle CPU空閑2.3.2 內(nèi)存使用率rootahdx-yqzl free m注：剩余內(nèi)存為free+buffers+cached2.3.3 磁盤I/Orootahdx-yqzl # iostat 1 5注：重點(diǎn)關(guān)注%iowait2.3.4 網(wǎng)卡流量rootahdx-yqzl # sar -n DEV 1 3 #每一秒一個(gè)輸出，3秒內(nèi)的網(wǎng)卡流量2.3.5 當(dāng)前主機(jī)端口監(jiān)聽情況rootahdx-yqzl # netstat -an|grep tcp可以加-p參數(shù)得到監(jiān)聽端口對(duì)應(yīng)的進(jìn)程名和PIDrootahdx-yqzl # netstat -anp|grep LISTEN|grep tcp第三章 Linux參數(shù)調(diào)整5.1 ulimit參數(shù)調(diào)整5.1.1 修改主機(jī)最大進(jìn)程數(shù)，最大文件打開數(shù)修改主機(jī)進(jìn)程最大數(shù)，文件打開數(shù)vi /etc/security/limits.conf # 添加如下的行 * soft noproc 11000 * hard noproc 11000 * soft nofile 4100 * hard nofile 4100 說明：* 代表針對(duì)所有用戶 noproc 是代表最大進(jìn)程數(shù) nofile 是代表最大文件打開數(shù)5.1.2 限制用戶創(chuàng)建文件大小#ulimit f 1000 #限制當(dāng)前用戶創(chuàng)建文件大小在1000個(gè)block以內(nèi)說明：在 Linux 系統(tǒng)下一個(gè) block 的默認(rèn)大小是 512 bytes。例子中所能創(chuàng)建的文件size的最大值為 512 x 1000 = 512000 bytes。5.1.3 限制用戶的管道緩沖區(qū)大小#ulimit p 512 #限制管道緩沖區(qū)的大小為 512 Kbytes5.1.4 限制進(jìn)程最大可用的虛擬內(nèi)存#ulimit v 200000 #限制最大可用的虛擬內(nèi)存為 200000 Kbytes5.2 修改系統(tǒng)內(nèi)核參數(shù)修改系統(tǒng)內(nèi)核參數(shù)多數(shù)用于oracle數(shù)據(jù)庫的安裝，修改值參考o(jì)racle安裝手冊(cè)的要求#vi /etc/sysctl.confkernel.shmall=2097152 #系統(tǒng)一次可以使用共享內(nèi)存總量，一般不需修改kernel.shmmax=4294967296 #共享內(nèi)存段最大尺寸，這里設(shè)為4Gkernel.shmmni=4096 #共享內(nèi)存段最大數(shù)量，默認(rèn)即可，不需修改kernel.sem=250 32000 100 128 #信號(hào)量fs.file-max=6815744 #可以打開的文件數(shù)量fs.aio-max-nr = 1048576net.ipv4.ip_local_port_range=9000 65500 net.core.rmem_default=262144 #默認(rèn)接收窗口大小net.core.rmem_max=4194304 #接收窗口最大大小net.core.wmem_default=262144 #默認(rèn)發(fā)送窗口大小net.core.wmem_max=1048586 #發(fā)送窗口最大大小執(zhí)行以下命令使設(shè)置生效：/sbin/sysctl -p第四章 Linux故障處理6.1主機(jī)網(wǎng)絡(luò)故障處理模擬場(chǎng)景一：用戶申告服務(wù)器連不上，ping不通處理過程：1、 先用安全平臺(tái)或者SecureCRT看能否登陸，排除用戶地址限制或者操作不當(dāng)。2、 登陸到與故障估計(jì)相同網(wǎng)段的主機(jī)上去ping故障主機(jī)，判斷是否是網(wǎng)絡(luò)限制。3、 遠(yuǎn)程無法連接的情況下，去現(xiàn)場(chǎng)連顯示器登陸主機(jī)，排除是否是主機(jī)宕機(jī)導(dǎo)致。4、 無宕機(jī)的情況下，在圖形界面打開終端窗口，ping網(wǎng)關(guān)是否ping通。5、 網(wǎng)關(guān)ping不通情況下，重啟network服務(wù)，跟蹤后臺(tái)日志，看網(wǎng)卡啟動(dòng)過程中有沒有報(bào)錯(cuò)信息，排除網(wǎng)卡故障和鏈路故障6、 觀察主機(jī)網(wǎng)線接口指示燈閃爍是否正常，如不閃爍，拔插網(wǎng)線，觀察是否恢復(fù)；如網(wǎng)卡燈不閃爍，換一個(gè)網(wǎng)線接交換機(jī)，排除網(wǎng)線和交換機(jī)端口問題。7、 以上步驟都完成后仍然無法恢復(fù)網(wǎng)絡(luò)，可以聯(lián)系網(wǎng)絡(luò)維護(hù)人員一起協(xié)查。模擬場(chǎng)景二：服務(wù)器無法和指定IP通信處理過程：1、 在服務(wù)器上ping對(duì)端IP，看是否能ping通。2、 利用traceroute IP 命令跟蹤主機(jī)到對(duì)端IP的路由，看在哪一段路由無法到達(dá)。3、 觀察路由最后一跳和指定IP是否一致或同一網(wǎng)段。4、 如果路由不可達(dá)，可以聯(lián)系網(wǎng)絡(luò)管理員協(xié)查模擬場(chǎng)景三：無法訪問服務(wù)器某端口處理過程：1、 在同網(wǎng)段的其他主機(jī)上telnet 故障主機(jī)的IP+端口（telnet IP port），排除端口是否處于監(jiān)聽狀態(tài)。2、 利用netstat an 查看端口是否在正確的網(wǎng)卡上處于LISTEN狀態(tài)3、