運(yùn)維故障排查 修復(fù)大全

運(yùn)維故障排查修復(fù)大全01網(wǎng)絡(luò)故障01

交換機(jī)剛加電時(shí)網(wǎng)絡(luò)無(wú)法通信故障現(xiàn)象：交換機(jī)剛剛開啟的時(shí)候無(wú)法連接至其他網(wǎng)絡(luò)，需要等待一段時(shí)間才可以。另外，需要使用一段時(shí)間之后，訪問(wèn)其他計(jì)算機(jī)的速度才快，如果有一段時(shí)間不使用網(wǎng)絡(luò)，再訪問(wèn)的時(shí)候速度又會(huì)慢下來(lái)。故障分析：由于案例中的交換機(jī)是一臺(tái)可網(wǎng)管交換機(jī)，為了避免網(wǎng)絡(luò)中存在拓?fù)洵h(huán)，從而導(dǎo)致網(wǎng)絡(luò)癱瘓，可網(wǎng)管交換機(jī)在默認(rèn)情況下都啟用生成樹協(xié)議。這樣即使網(wǎng)絡(luò)中存在環(huán)路，也會(huì)只保留一條路徑，而自動(dòng)切斷其他鏈路。所以當(dāng)交換機(jī)在加電啟動(dòng)的時(shí)候，各端口需要依次進(jìn)入監(jiān)聽、學(xué)習(xí)和轉(zhuǎn)發(fā)狀態(tài)，這個(gè)過(guò)程大約需要3~5分鐘時(shí)間。如果需要迅速啟動(dòng)交換機(jī)，可以在直接連接到計(jì)算機(jī)的端口上啟動(dòng)“PortFast”，使得該端口立即并且永久轉(zhuǎn)換至轉(zhuǎn)發(fā)狀態(tài)，這樣設(shè)備可以立即連接到網(wǎng)絡(luò)，避免端口由監(jiān)聽和學(xué)習(xí)狀態(tài)向轉(zhuǎn)發(fā)狀態(tài)過(guò)渡而必須的等待時(shí)間。解決方法：如果需要在交換機(jī)加電之后迅速實(shí)現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)，可以禁用擴(kuò)展樹協(xié)議，或者將端口設(shè)置為PortFast模式。不過(guò)需要注意的是，這兩種方法雖然省略了端口檢測(cè)過(guò)程，但是一旦網(wǎng)絡(luò)設(shè)備之間產(chǎn)生拓?fù)洵h(huán)，將導(dǎo)致網(wǎng)絡(luò)通信癱瘓。02

“COL”指示燈長(zhǎng)亮或不斷閃爍，無(wú)法實(shí)現(xiàn)通信故障現(xiàn)象：局域網(wǎng)中計(jì)算機(jī)通過(guò)集線器訪問(wèn)服務(wù)器，但是某日發(fā)現(xiàn)所有客戶端計(jì)算機(jī)無(wú)法與服務(wù)器進(jìn)行連接，客戶機(jī)之間Ping也時(shí)斷時(shí)續(xù)。檢查集線器發(fā)現(xiàn)“COL”指示燈長(zhǎng)亮或不斷閃爍。故障分析：“COL”指示燈用于指示網(wǎng)絡(luò)中的碰撞和沖突情況?！癈OL”燈不停閃爍，表明沖突發(fā)生；“COL”燈長(zhǎng)亮則表示有大量沖突發(fā)生。導(dǎo)致沖突大量發(fā)生的原因可能是集線器故障，也可能是網(wǎng)卡故障。一般情況下，網(wǎng)卡出現(xiàn)故障的可能性比較小，因此將重點(diǎn)放在對(duì)集線器的排除方面。解決方法：更換集線器，網(wǎng)絡(luò)恢復(fù)正常。03

升級(jí)至千兆網(wǎng)絡(luò)之后，服務(wù)器連接時(shí)斷時(shí)續(xù)故障現(xiàn)象：原先服務(wù)器采用10/100MbIT/s網(wǎng)卡，運(yùn)行一切正常。但是安裝了一款1000MbIT/s網(wǎng)卡，用其連接至中心交換機(jī)的1000Base-T端口之后，服務(wù)器與網(wǎng)絡(luò)的連接時(shí)斷時(shí)續(xù)，連接極不穩(wěn)定，無(wú)法提供正常的網(wǎng)絡(luò)服務(wù)。使用網(wǎng)線測(cè)試儀測(cè)試網(wǎng)絡(luò)，發(fā)現(xiàn)雙絞線鏈路的連通性沒(méi)有問(wèn)題。故障分析：在100Mbit/s時(shí)連接正常，只是在升級(jí)到1000Mbit/s時(shí)才發(fā)生故障，看來(lái)導(dǎo)致這種故障的原因可能是超五類布線問(wèn)題。雖然從理論上說(shuō)超五類系統(tǒng)支持1000Mbit/s的傳輸速率，但是如果雙絞線、配線架、網(wǎng)線和其他網(wǎng)絡(luò)設(shè)備的品質(zhì)不是很好，或者端接工藝有問(wèn)題，就仍然無(wú)法實(shí)現(xiàn)1000Mbit/s帶寬。由于1000Base-T需要使用雙絞線全部的4對(duì)線，每對(duì)線的有效傳輸速率為250Mbit/s，并完成全雙工傳輸，因此1000Base-T對(duì)雙絞線的信號(hào)衰弱減、回波、返回耗損、串音和抗電磁干擾等電氣性能有了更高的要求。如果雙絞線或者其他配件的性能不好，就會(huì)在線對(duì)間產(chǎn)生嚴(yán)重串?dāng)_，從而導(dǎo)致通信失敗。解決方法：考慮到五類布線系統(tǒng)的性能有可能無(wú)法滿足千兆網(wǎng)絡(luò)系統(tǒng)，因此更換為六類布線產(chǎn)品之后故障解決。04

盡管Link燈不停閃動(dòng)，但網(wǎng)速卻奇慢故障現(xiàn)象：服務(wù)器上網(wǎng)速度很慢，開始時(shí)打開網(wǎng)頁(yè)非常緩慢，后來(lái)甚至連網(wǎng)頁(yè)都無(wú)法打開，Ping網(wǎng)站也無(wú)法解析地址。起初以為是DNS設(shè)置或者服務(wù)器故障，但是這些都正常運(yùn)行。嘗試Ping其他計(jì)算機(jī)，發(fā)現(xiàn)丟包率很高。而此時(shí)交換機(jī)的Link指示燈不停閃爍，數(shù)據(jù)的交換非常頻繁，說(shuō)明計(jì)算機(jī)在不停地發(fā)送和接受數(shù)據(jù)包。關(guān)閉交換機(jī)之后再重新打開，故障現(xiàn)象得到緩解，但是一段時(shí)間之后又出現(xiàn)這種故障。故障分析：從故障現(xiàn)象來(lái)看，這是網(wǎng)絡(luò)內(nèi)的廣播風(fēng)暴。廣播風(fēng)暴的產(chǎn)生會(huì)有很多種原因，比如蠕蟲病毒、交換機(jī)端口故障、網(wǎng)卡故障、鏈路冗余而沒(méi)有啟用生成樹協(xié)議、網(wǎng)線線序錯(cuò)誤或者受到干擾等。在網(wǎng)絡(luò)故障發(fā)生的時(shí)候查看交換機(jī)指示燈是一個(gè)很便捷的判斷方法，可以直觀查看網(wǎng)絡(luò)連通性和網(wǎng)絡(luò)流量。解決方法：就目前情況來(lái)看，蠕蟲病毒是造成網(wǎng)絡(luò)癱瘓的最主要原因。及時(shí)為服務(wù)器更新系統(tǒng)補(bǔ)丁，并且安裝網(wǎng)絡(luò)版本的病毒查殺軟件，及時(shí)為服務(wù)器升級(jí)病毒庫(kù)，在服務(wù)器安裝防病毒客戶端程序之后，故障得以解決。05

集線器和路由器無(wú)法共享上網(wǎng)故障現(xiàn)象：多臺(tái)計(jì)算機(jī)采用寬帶路由器和集線器方式，利用集線器擴(kuò)展端口組網(wǎng)共享Internet。連接完成后，直接連接至寬帶路由器LAN口的3臺(tái)機(jī)器能上網(wǎng)，而通過(guò)集線器連接的計(jì)算機(jī)卻無(wú)法上網(wǎng)，路由器與集線器之間無(wú)論采用交叉線或平行線都不行，且集線器上與路由器LAN端口連接的燈不亮。另外，集線器上的計(jì)算機(jī)無(wú)法Ping通路由器，也無(wú)法Ping通其他計(jì)算機(jī)。故障分析：集線器自身故障故障現(xiàn)象是集線器上的計(jì)算機(jī)彼此之間無(wú)法Ping通，更無(wú)法Ping通路由器。該故障所影響的只能是連接至集線器上的所有計(jì)算機(jī)。級(jí)聯(lián)故障例如路由器與集線器之間的級(jí)聯(lián)跳線采用了不正確的線序，或者是跳線連通性故障，或者是采用了不正確的級(jí)聯(lián)端口。故障現(xiàn)象是集線器上的計(jì)算機(jī)之間可以Ping通，但無(wú)法Ping通路由器。不過(guò)，直接連接至路由器LAN端口的計(jì)算機(jī)的Internet接入將不受影響。寬帶路由器故障如果是LAN端口故障，結(jié)果將與級(jí)聯(lián)故障類似：如果是路由故障，結(jié)果將是網(wǎng)絡(luò)內(nèi)的計(jì)算機(jī)都無(wú)法接入Internet，無(wú)論連接至路由器的LAN端口，還是連接至路由器。解決方法：從故障現(xiàn)象上來(lái)看，連接至集線器的計(jì)算機(jī)既無(wú)法Ping通路由器，也無(wú)法Ping通其他計(jì)算機(jī)，初步斷定應(yīng)該是計(jì)算機(jī)至集線器之間的連接故障。此時(shí)可以先更換一根網(wǎng)線試試，如果依然無(wú)法排除故障，則可以更換集線器解決。06

IP地址沖突故障現(xiàn)象：計(jì)算機(jī)經(jīng)常出現(xiàn)提示——“系統(tǒng)檢測(cè)到IP地址xxx.xxx.xxx.xxx和網(wǎng)絡(luò)硬件地址00053B0C12B7發(fā)生地址沖突。此系統(tǒng)的網(wǎng)絡(luò)操作可能會(huì)突然中斷”，然后就掉線一分鐘左右又恢復(fù)網(wǎng)絡(luò)連接。故障分析：這種系統(tǒng)提示是典型的IP地址沖突，也就是該計(jì)算機(jī)采用的IP地址與同一網(wǎng)絡(luò)中另一臺(tái)計(jì)算機(jī)的IP地址完全相同，從而導(dǎo)致通信失敗。與該計(jì)算機(jī)發(fā)生沖突的網(wǎng)卡的Mac地址是“00053B0C12B7”。通常情況下，IP地址沖突是由于網(wǎng)絡(luò)管理員IP地址分配不當(dāng)，或其他用戶私自亂設(shè)置IP地址所造成的。解決方法：由于網(wǎng)卡的Mac地址具有唯一性，因此借助于MAC地址查找到與你發(fā)生沖突的計(jì)算機(jī)，并修改IP地址。使用“IPCONFIG/ALL”命令，即可查看計(jì)算機(jī)的IP地址與MAC地址。最后使用“ARP–SIP地址網(wǎng)卡物理地址”的命令，將此合法IP地址與你的網(wǎng)卡MAC地址進(jìn)行綁定即可。@網(wǎng)絡(luò)工程師俱樂(lè)部02系統(tǒng)故障（此處以Linux系統(tǒng)為主）01

linux系統(tǒng)無(wú)法啟動(dòng)原因1：文件系統(tǒng)配置不當(dāng)，比如/etc/fstab文件等配置錯(cuò)誤或丟失，導(dǎo)致系統(tǒng)錯(cuò)誤無(wú)法啟動(dòng)。一般是人為修改錯(cuò)誤或者文件系統(tǒng)故障。排查方法：系統(tǒng)配置/etc/fstab錯(cuò)誤或丟失而無(wú)法啟動(dòng)，當(dāng)啟動(dòng)的時(shí)候，出現(xiàn)startingsystemlogger后停止了；解決方法：想辦法恢復(fù)/etc/fstab文件，利用linuxrescue修復(fù)模式登錄系統(tǒng)，從而獲取掛載點(diǎn)和分區(qū)信息，重構(gòu)/etc/fstab文件。原因2：非法關(guān)機(jī)，導(dǎo)致root文件系統(tǒng)破壞，也就是linux根分區(qū)破壞，系統(tǒng)無(wú)法正常啟動(dòng)。排查方法：Linux下普遍采用的是ext3文件系統(tǒng)，ext3是一個(gè)具有日志記錄功能的日志文件系統(tǒng)，可以進(jìn)行簡(jiǎn)單的容錯(cuò)和恢復(fù)，但是在一個(gè)高負(fù)荷讀寫的ext3文件系統(tǒng)下，如果突然發(fā)生掉電，就很有可能發(fā)生文件系統(tǒng)內(nèi)部結(jié)構(gòu)不一致，導(dǎo)致文件系統(tǒng)破壞。Linux在啟動(dòng)時(shí)，會(huì)自動(dòng)去分析和檢查系統(tǒng)分區(qū)，如果發(fā)現(xiàn)文件系統(tǒng)有簡(jiǎn)單的錯(cuò)誤，會(huì)自動(dòng)修復(fù)，如果文件系統(tǒng)破壞比較嚴(yán)重，系統(tǒng)無(wú)法完成修復(fù)時(shí)，系統(tǒng)就會(huì)自動(dòng)進(jìn)入單用戶模式下或者出現(xiàn)一個(gè)交互界面，提示用戶介入手動(dòng)修復(fù)，現(xiàn)象類似下面所示：checkingrootfilesystem/dev/sdb5containsafilesystemwitherrors,checkforced/dev/sdb5:Unattachedinode68338812/dev/sdb5:UNEXPECTEDINCONSISTENCY;RUNfsckMANUALLY(i.e.,without-aor-poptions)FAILED/containsafilesystemwitherrorscheckforcedaneroroccurredduringthefilesystemcheck*droppingyoutoashell;thesystemwillrebootwhenyouleavetheshellPressenterformaintenance(ortypeControl-Dtocontinue):giverootpasswordformaintenance從這個(gè)錯(cuò)誤可以看出，系統(tǒng)根分區(qū)文件系統(tǒng)出現(xiàn)了問(wèn)題，系統(tǒng)在啟動(dòng)時(shí)無(wú)法自動(dòng)修復(fù)，然后進(jìn)入到了一個(gè)交互界面，提示用戶進(jìn)行系統(tǒng)修復(fù)。這個(gè)問(wèn)題發(fā)生的機(jī)率很高，引起這個(gè)問(wèn)題的主要原因就是系統(tǒng)突然掉電，引起文件系統(tǒng)結(jié)構(gòu)不一致。一般情況下解決此問(wèn)題的辦法是采用fsck命令，進(jìn)行強(qiáng)制修復(fù)。解決方法：根據(jù)上面的錯(cuò)誤提示，當(dāng)按下“Control-D”組合鍵后系統(tǒng)自動(dòng)重啟，當(dāng)輸入root密碼后進(jìn)入系統(tǒng)修復(fù)模式，在修復(fù)模式下，可以執(zhí)行fsck命令，具體操作過(guò)程如下：[root@localhost/]#umount/dev/sdb5[root@localhost/]#fsck.ext3-y/dev/sdb5e2fsck1.39(29-May-2006)/containsafilesystemwitherrors,checkforced.Pass1:Checkinginodes,blocks,andsizesPass2:CheckingdirectorystructurePass3:CheckingdirectoryconnectivityPass4:CheckingreferencecountsInode6833812refcountis2,shouldbe1.Fix?yesUnattachedinode6833812Connectto/lost+found?yesInode6833812refcountis2,shouldbe1.Fix?yesPass5:CheckinggroupsummaryinformationBlockbitmapdifferences:-(519--529)-9273Fix?yes…………/:*FILESYSTEMWASMODIFIED**/:19/128520files(15.8%non-contiguous),46034/514048blocks需要注意的是，在執(zhí)行fsck的時(shí)候，一定要先卸載要修復(fù)的分區(qū)，然后再執(zhí)行修復(fù)操作！@網(wǎng)絡(luò)工程師俱樂(lè)部原因3：linux內(nèi)核文件丟失或者崩潰，從而無(wú)法啟動(dòng)，也可能是因?yàn)閮?nèi)核升級(jí)錯(cuò)誤或者內(nèi)核存在bug。這種情況一般linux系統(tǒng)啟動(dòng)會(huì)報(bào)錯(cuò)找不到內(nèi)核文件，而內(nèi)核文件存儲(chǔ)在/boot分區(qū)，主要包括內(nèi)核文件和初始化文件：1、vmlinuz:內(nèi)核鏡像文件，包含內(nèi)核代碼和數(shù)據(jù)顯示error:file'/vmlinuz'notfound解決方案:a.使用可啟動(dòng)修復(fù)介質(zhì)啟動(dòng)系統(tǒng),并掛載系統(tǒng)磁盤的/boot分區(qū)；b.從安裝介質(zhì)或系統(tǒng)備份中提取vmlinuz內(nèi)核文件,復(fù)制到/boot分區(qū)；c.更新引導(dǎo)配置(grub.cfg),將menuentry塊中的linux行指向vmlinuz內(nèi)核文件；d.重啟系統(tǒng),在引導(dǎo)菜單選擇更新后的菜單項(xiàng)啟動(dòng)系統(tǒng)。2、initrd/initramfs：初始化RAM磁盤,包含啟動(dòng)時(shí)需要的模塊和驅(qū)動(dòng)顯示error:file'/initrd.img'notfound解決方案:a.參考內(nèi)核文件丟失的解決步驟a，掛載/boot分區(qū)和獲取initrd.img文件；b.將initrd.img文件復(fù)制到/boot分區(qū)；c.更新grub.cfg，找到initrd相關(guān)行,將其指向新文件；d.重啟系統(tǒng),啟動(dòng)更新后的菜單項(xiàng)。原因4：硬件故障，比如主板、電源、硬盤等出現(xiàn)問(wèn)題，導(dǎo)致linux無(wú)法啟動(dòng)。解決方法：一般來(lái)說(shuō)由硬件造成的故障，只需更換硬件設(shè)備即可解決。02

linux系統(tǒng)網(wǎng)絡(luò)故障排查1：檢查網(wǎng)絡(luò)硬件檢查網(wǎng)絡(luò)故障，首先要排除網(wǎng)絡(luò)硬件設(shè)備是否存在問(wèn)題。比如網(wǎng)卡，網(wǎng)線，路由器，交換機(jī)等設(shè)備是否正常。這些是網(wǎng)絡(luò)正常運(yùn)行的基本條件，如果發(fā)現(xiàn)某些設(shè)備出現(xiàn)故障，只需更換硬件即可解決問(wèn)題。排查2：檢查網(wǎng)卡是否正常工作1、檢查網(wǎng)卡是否正常加載可以通過(guò)ifconfig命令判斷網(wǎng)卡是否正常加載。如果通過(guò)ifconfig可以顯示網(wǎng)絡(luò)接口的配置信息，表示系統(tǒng)找到網(wǎng)卡驅(qū)動(dòng)程序，網(wǎng)卡加載正常；解決方法：如果發(fā)現(xiàn)問(wèn)題網(wǎng)卡，我們可以使用ethtool工具查看問(wèn)題網(wǎng)卡的具體狀態(tài)信息（注意：Speed/Linkdeteced等字段）2、檢查網(wǎng)卡IP設(shè)置是否正確接下來(lái)就要檢查網(wǎng)卡的軟件設(shè)定，比如IP是否配置，配置是否正確，確保IP的配置和局域網(wǎng)其它計(jì)算機(jī)配置沒(méi)有沖突。排查3：檢查局域網(wǎng)內(nèi)主機(jī)能否互連檢查網(wǎng)絡(luò)之間的連通是否存在故障，可以先通過(guò)ping命令測(cè)試局域網(wǎng)主機(jī)之間的連通性，然后ping網(wǎng)關(guān)，檢測(cè)主機(jī)到網(wǎng)關(guān)的通信是否正常。排查4：檢查系統(tǒng)路由表信息是否正確檢查系統(tǒng)路由表狀態(tài)是處理網(wǎng)絡(luò)故障的一種很重要的方法。很多時(shí)候都是ip地址沒(méi)有配錯(cuò)，網(wǎng)卡也正常加載但是路由配置不正確，而導(dǎo)致網(wǎng)絡(luò)問(wèn)題的出現(xiàn)。@網(wǎng)絡(luò)工程師俱樂(lè)部因此需要檢查系統(tǒng)的路由表設(shè)置是否正確，如果一個(gè)linux系統(tǒng)有兩塊網(wǎng)卡，同時(shí)兩塊網(wǎng)卡設(shè)置的IP不在一個(gè)網(wǎng)段，要特別注意系統(tǒng)路由表的設(shè)置。例如下面這個(gè)系統(tǒng)的網(wǎng)絡(luò)接口信息：從上面輸出可知，本系統(tǒng)有兩塊網(wǎng)卡，分別配置不同網(wǎng)段的IP地址，假定eth0通過(guò)映射的方式對(duì)外提供ssh連接服務(wù)，而eth1僅供局域網(wǎng)主機(jī)之間共享數(shù)據(jù)使用。現(xiàn)在的問(wèn)題是，外界無(wú)法ssh遠(yuǎn)程登錄到此系統(tǒng)，而網(wǎng)卡加載沒(méi)有問(wèn)題，網(wǎng)卡IP設(shè)置也沒(méi)問(wèn)題，接下來(lái)看看此系統(tǒng)的路由設(shè)置：至此問(wèn)題已經(jīng)基本排查出來(lái)了：從route的輸出可知，linux的缺省路由是，而192.168.200段的IP僅僅供局域網(wǎng)主機(jī)之間共享數(shù)據(jù)使用，沒(méi)有連接出去的訪問(wèn)權(quán)限，因而，外界無(wú)法連接到linux系統(tǒng)。解決方法：刪除192段的缺省路由，然后增加10段的缺省路由即可：[root@webserver~]#routedeletedefault[root@webserver~]#routeadddefaultgw54此時(shí)外界就可以通過(guò)ssh服務(wù)遠(yuǎn)程連接到linux系統(tǒng)了。排查5：檢查DNS解析在Linux系統(tǒng)中，有兩個(gè)文件用來(lái)指定系統(tǒng)到哪里尋找相關(guān)域名解析的庫(kù)。分別是文件/etc/host.conf和/etc/nsswitch.conf。/etc/host.conf文件指定系統(tǒng)如何解析主機(jī)名，Linux通過(guò)域名解析庫(kù)來(lái)獲得主機(jī)名對(duì)應(yīng)的IP地址。下面是RedHatLinux安裝后缺省的/etc/host.conf內(nèi)容：orderhosts,bind其中，order指定主機(jī)名查詢順序，這里表示首先查找/etc/hosts文件對(duì)應(yīng)的解析，如果沒(méi)有找到對(duì)應(yīng)的解析，接著就根據(jù)/etc/resolve.conf指定的域名服務(wù)器進(jìn)行解析。/etc/nsswitch.conf文件是由SUN公司開發(fā)的，用于管理系統(tǒng)中多個(gè)配置文件查詢的順序，由于nsswich.conf提供了更多的資源控制方式，nsswich.conf文件現(xiàn)在已經(jīng)基本取代了hosts.conf，雖然LINUX系統(tǒng)中默認(rèn)這兩個(gè)文檔都存在，但實(shí)際上起作用的是nsswitch.conf文件。nsswitch.conf文件每行的配置都以一個(gè)關(guān)鍵字開頭，后跟冒號(hào)，緊接著是空白，然后是一系列方法的列表。例如這段信息：hosts:filesdns表示系統(tǒng)首先查詢主機(jī)庫(kù)文件，如果沒(méi)有找到對(duì)應(yīng)的解析，接著會(huì)去DNS配置文件指定的DNS服務(wù)器進(jìn)行解析。@網(wǎng)絡(luò)工程師俱樂(lè)部清楚了linux下域名解析的原理和過(guò)程，我們就可以根據(jù)這兩個(gè)文件的設(shè)定，確定解析的順序，從而判斷出域名解析可能出現(xiàn)的問(wèn)題。排查6：檢查相關(guān)服務(wù)是否開啟在一個(gè)應(yīng)用出現(xiàn)故障時(shí)，必須要檢測(cè)服務(wù)本身。比如服務(wù)是否開啟，配置是否正確等。檢查服務(wù)是否正確打開，分為兩步，第一步是查看服務(wù)的端口是否打開：例如，我們不能用root用戶ssh登錄到33這臺(tái)linux服務(wù)器，首先檢查sshd服務(wù)的22端口是否打開：[root@localhostinit.d]#telnet3322SSH-2.0-OpenSSH_4.3這個(gè)輸出表示33的22端口對(duì)外開放，或者可以說(shuō)sshd服務(wù)是處于打開狀態(tài)。如果沒(méi)有任何輸出，可能是服務(wù)沒(méi)有啟動(dòng)，或者服務(wù)端口被屏蔽。也可以在服務(wù)器上通過(guò)netstat命令檢查22端口是否打開：可以看到，22端口在服務(wù)器上是打開的，同時(shí)，服務(wù)器上打開的還有3306、80端口。接著進(jìn)行第二步的檢查，既然服務(wù)已經(jīng)打開，可能是sshd服務(wù)配置的問(wèn)題，檢查sshd服務(wù)配置文件/etc/ssh/sshd_config是否正確，發(fā)現(xiàn)有下面一行信息：PermitRootLoginno由此可知是ssh服務(wù)端配置文件限制了root用戶不能登錄系統(tǒng)，如果需要root登錄系統(tǒng)，只需更改為如下即可：PermitRootLoginyes到這里為止，我們通過(guò)對(duì)端口和服務(wù)配置文件的層層檢查，最終找到了問(wèn)題的根源。需要說(shuō)明的是，這里的重點(diǎn)不是講述如何讓root登錄linux系統(tǒng)，而是要通過(guò)這個(gè)例子學(xué)會(huì)處理類似問(wèn)題的思路和方法。排查7：檢查訪問(wèn)權(quán)限是否打開1、檢查系統(tǒng)防火墻iptables的狀態(tài)當(dāng)某些服務(wù)不能訪問(wèn)時(shí)，一定要檢查是否被linux本機(jī)防火墻iptables屏蔽了，可以通過(guò)iptables-L指令查看iptables的配置策略。例如我們不能訪問(wèn)某臺(tái)linux服務(wù)器提供的www服務(wù)，通過(guò)檢查，系統(tǒng)網(wǎng)絡(luò)、域名解析都正常，并且服務(wù)也正常啟動(dòng)，然后檢查了服務(wù)器的iptables策略配置，信息如下：從上面的輸出可知，這個(gè)linux服務(wù)器僅僅設(shè)置了預(yù)設(shè)策略，而致命的是將INPUT鏈和OUTPUT鏈都設(shè)置為DROP，也就是所有外部數(shù)據(jù)不能進(jìn)入服務(wù)器，服務(wù)器數(shù)據(jù)也不能出去，這樣的設(shè)置相當(dāng)于沒(méi)有網(wǎng)絡(luò)。為了能訪問(wèn)這臺(tái)服務(wù)器提供的www服務(wù)，增加兩條策略即可：這樣一來(lái)，internet上的其他人就能訪問(wèn)我們的www服務(wù)了。2、檢查SELinux是否打開SELinux是個(gè)系統(tǒng)級(jí)的安全防護(hù)工具，可以最大限度的保障Linux系統(tǒng)的安全。但是selinux有時(shí)也會(huì)給linux下軟件的運(yùn)行帶來(lái)一些問(wèn)題，這些問(wèn)題大部分是對(duì)selinux不了解造成的。為了迅速定位問(wèn)題，最簡(jiǎn)單的方法是先關(guān)閉selinux，然后測(cè)試軟件運(yùn)行是否正常，這不是個(gè)好方法，但是對(duì)于判斷問(wèn)題往往是很有用的。@網(wǎng)絡(luò)工程師俱樂(lè)部selinux是個(gè)很好的安全訪問(wèn)控制軟件，可是如果你還不能熟練運(yùn)用selinux訪問(wèn)控制策略的話，還是建議將它暫時(shí)關(guān)閉，等到對(duì)linux有了更深入的認(rèn)識(shí)后，再開啟selinux不失為一個(gè)明智的策略。03

MBR扇區(qū)故障故障現(xiàn)象：1、找不到引導(dǎo)程序，啟動(dòng)中斷2、無(wú)法加載操作系統(tǒng)，開機(jī)后黑屏故障原因：1、病毒、木馬等造成的破壞2、錯(cuò)誤的分區(qū)操作，磁盤讀寫錯(cuò)誤操作解決方法：1、備份MBR扇區(qū)數(shù)據(jù)a.在關(guān)機(jī)狀態(tài)下添加一塊新硬盤:虛擬機(jī)-->硬盤-->添加-->選擇硬盤-->下一步b.啟動(dòng)主機(jī)進(jìn)入Linux系統(tǒng)，并對(duì)新硬盤進(jìn)行分區(qū)查看硬盤分區(qū)情況:fdisk-l-->對(duì)新硬盤進(jìn)行分區(qū):fdisk/dev/sdbc.建立新硬盤的文件系統(tǒng)(即格式化文件系統(tǒng))查看sdb磁盤的列表信息-->對(duì)磁盤進(jìn)行格式化d.掛載硬盤創(chuàng)建掛載點(diǎn)-->掛載分區(qū)e.備份MBR扇區(qū)數(shù)據(jù)2、模擬MBR扇區(qū)被破壞的故障重啟計(jì)算機(jī)，當(dāng)出現(xiàn)“Operatingsystemnotfound”的提示信息，表示無(wú)法找到可用的操作系統(tǒng)，此時(shí)硬盤已經(jīng)損壞，如果沒(méi)有光盤引導(dǎo)，則系統(tǒng)一直處于如下狀態(tài)，因此無(wú)法啟動(dòng)主機(jī)。@網(wǎng)絡(luò)工程師俱樂(lè)部3、進(jìn)入急救模式來(lái)修復(fù)MBR扇區(qū)故障a.先關(guān)閉計(jì)算機(jī)-->虛擬機(jī)-->電源-->打開電源時(shí)進(jìn)入固件(F)-->選擇Boot-->將光盤放在第一位b.選擇進(jìn)入急救模式[Rescueinstalledsystem]c.[choosealanguage]選擇English-->確認(rèn)d.[Keyboardtype]選擇us-->確認(rèn)e.[UnsupportedHardwareDetected]選擇OKf.[SatupNetworking]選擇Nog.[Rescue]選擇Skiph.選擇ShellStartshell-->選擇Oki.查看/dev/sdb硬盤和/dev/sda硬盤，能看到sdb1分區(qū)，看不到sda設(shè)備，因?yàn)閟da設(shè)備的MBR被破壞j.將之前拷貝的文件重新寫回來(lái)4、重啟計(jì)算機(jī)，發(fā)現(xiàn)可以正常啟動(dòng)計(jì)算機(jī)，說(shuō)明修復(fù)了MBR扇區(qū)故障。04

GRUB引導(dǎo)故障故障現(xiàn)象：系統(tǒng)引導(dǎo)停滯，顯示“grub>”提示符故障原因：有時(shí)Linux啟動(dòng)后會(huì)直接進(jìn)入GRUB命令行界面(只有“grub>”提示符)，此時(shí)很多用戶就選擇了重新安裝GRUB甚至重新安裝系統(tǒng)。其實(shí)一般而言此故障的原因最常見的有兩個(gè)：一是GRUB配置文件中選項(xiàng)設(shè)置錯(cuò)誤；二是GRUB配置文件丟失。若是第一種情況，則一般顯示error:youneedtoloadthekernelfirst:引導(dǎo)配置錯(cuò)誤,內(nèi)核文件沒(méi)有被正確加載,提示先加載內(nèi)核。解決方案:a.啟動(dòng)系統(tǒng)修復(fù)介質(zhì)，備份/boot分區(qū)文件；b.檢查/boot/grub2/grub.cfg文件，找到menuentry塊中l(wèi)inux和initrd行，確保它們正確指向vmlinuz和initrd.img文件；c.重啟系統(tǒng)，進(jìn)入BIOS將引導(dǎo)選項(xiàng)設(shè)置為啟動(dòng)磁盤，保存后重啟；d.啟動(dòng)grescuegrub>提示符，運(yùn)行:setprefix=(root)′/boot/grub2′configfile(prefix)/grub.cfgboot命令以修復(fù)并重新加載grub配置，然后啟動(dòng)系統(tǒng)。若是第二種情況，GRUBrescue>:當(dāng)GRUB引導(dǎo)加載程序文件丟失或磁盤無(wú)法訪問(wèn)時(shí),會(huì)結(jié)束在rescue提示符。解決方案:a.啟動(dòng)系統(tǒng)安裝或修復(fù)介質(zhì)，備份數(shù)據(jù)并檢查文件系統(tǒng)。使用fsck修復(fù)或使用娛樂(lè)用光盤工具修復(fù)磁盤問(wèn)題；@網(wǎng)絡(luò)工程師俱樂(lè)部b.引導(dǎo)進(jìn)入安裝系統(tǒng)，運(yùn)行g(shù)rub2-install/dev/sda將GRUB重新安裝至系統(tǒng)磁盤MBR；c.修改BIOS啟動(dòng)選項(xiàng)為從系統(tǒng)磁盤啟動(dòng)。重啟系統(tǒng)，現(xiàn)GRUB菜單應(yīng)可正常顯示，啟動(dòng)系統(tǒng)；d.如果仍無(wú)法啟動(dòng)，可能需要重新安裝系統(tǒng)或更換硬件。05

忘記linuxroot密碼很多人經(jīng)常會(huì)忘記Linux系統(tǒng)的root密碼，而著急選擇重新安裝系統(tǒng)，這里為大家整理了兩個(gè)更加直接的解決方法：1、進(jìn)入急救模式重設(shè)root用戶密碼進(jìn)入急救模式，加載系統(tǒng)鏡像，切換到系統(tǒng)根環(huán)境進(jìn)行重置root密碼：a.打開電源時(shí)進(jìn)入固件，將開機(jī)啟動(dòng)項(xiàng)boot中的CD-ROM調(diào)到第一項(xiàng)；b.進(jìn)入急救模式：sh-4.2#chroot/mnt/sysimage#重設(shè)root用戶密碼bash-4.2#passwdrootbash-4.2#exit//退出鏡像回到系統(tǒng)sh-4.2#reboot//重啟系統(tǒng)（注意重啟后要進(jìn)入固件將Hard-drive調(diào)至第一項(xiàng)）c.重啟進(jìn)入登入界面后輸入剛才設(shè)置的密碼即可；2、進(jìn)入單用戶模式進(jìn)行修改root密碼：以Redhatlinux為基準(zhǔn)，操作步驟如下：a.重啟系統(tǒng)，待linux系統(tǒng)啟動(dòng)到grub引導(dǎo)菜單時(shí)，找到當(dāng)前系統(tǒng)引導(dǎo)選項(xiàng)（可以按方向鍵展開隱藏的菜單，單處理器只有一個(gè)引導(dǎo)項(xiàng)，多處理器有3個(gè)或3個(gè)以上引導(dǎo)項(xiàng)，一般默認(rèn)選項(xiàng)就是系統(tǒng)當(dāng)前引導(dǎo)選項(xiàng)）;b.通過(guò)方向鍵將光標(biāo)放到當(dāng)前系統(tǒng)引導(dǎo)項(xiàng)上，然后按鍵盤字母“e”，進(jìn)入編輯狀態(tài)。c.然后通過(guò)上下鍵，選中帶有kernel指令的一行，繼續(xù)按鍵盤字母“e”，編輯該行，在行末尾加個(gè)空格，然后添加single，類似與這樣：kernel/vmlinuz-2.6.18-8.el5roroot=LABEL=/rhgbquietsingled.修改完成，按回車鍵，返回到剛才的界面。e.最后按鍵盤“b”，系統(tǒng)開始引導(dǎo)。這樣系統(tǒng)就啟動(dòng)到了單用戶模式下，這里的單用戶和windows下的安全模式類似，在單用戶模式下，只是啟動(dòng)最基本的系統(tǒng)，網(wǎng)絡(luò)以及應(yīng)用服務(wù)均不啟動(dòng)。@網(wǎng)絡(luò)工程師俱樂(lè)部單用戶模式啟動(dòng)完畢，系統(tǒng)會(huì)自動(dòng)進(jìn)入到命令行狀態(tài)下，類似與“sh-3.1#”，然后直接執(zhí)行passwd，回車，系統(tǒng)會(huì)提示輸入新的root密碼兩次，最后會(huì)看到修改密碼成功的提示，這樣就完成了root密碼的修改。如果需要正常啟動(dòng)系統(tǒng)，現(xiàn)在只需輸入“init3”，就進(jìn)入了多用戶模式。用root用戶重新登錄系統(tǒng)，看看設(shè)置的新密碼是否生效。06

Read-onlyfilesystem錯(cuò)誤解決故障現(xiàn)象：涉及到修改/保存條目等需要寫磁盤操作的命令都無(wú)法使用（如tar、cp、mv、rm、chmod、chown、wget下載等指令），總是提示Read-onlyfilesystem，也就是說(shuō)系統(tǒng)是只讀的，什么也寫不了。故障原因：1.文件系統(tǒng)損壞；2.磁盤問(wèn)題，磁盤又壞道；3.fstab文件配置錯(cuò)誤，如分區(qū)格式錯(cuò)誤錯(cuò)誤(將ntfs寫成了fat)、配置指令拼寫錯(cuò)誤等。排查網(wǎng)站程序，看報(bào)錯(cuò)信息和服務(wù)日志錯(cuò)誤，以及系統(tǒng)日志，來(lái)定位問(wèn)題所在。解決方法：①如果能夠確認(rèn)數(shù)據(jù)和系統(tǒng)的文件沒(méi)有被損壞，修復(fù)fstab文件配置后只要重新R/W加載或reboot就能夠恢復(fù)正常。以讀寫方式重新掛載文件系統(tǒng)mount-orw,remount/system②如果是文件系統(tǒng)有問(wèn)題，那就需要在umount狀態(tài)下執(zhí)行fsck命令來(lái)檢查文件系統(tǒng)并修復(fù)文件系統(tǒng)中的錯(cuò)誤。nohupfsck-y/dev/VolGroup00/LogVol00>/dev/shm/fscklog&#檢查好后重啟reboot③如果是磁盤硬件損壞，最好的方法就是直接換一個(gè)新硬盤。如果覺(jué)得舊硬盤扔了可惜，還可以將它低格之后，再重新安裝系統(tǒng)，系統(tǒng)重新安裝后，磁盤會(huì)重新分區(qū)。@網(wǎng)絡(luò)工程師俱樂(lè)部④如果僅僅是想將數(shù)據(jù)備份出來(lái)而且機(jī)器又在身邊的話，你可以用live-cd從光盤啟動(dòng)系統(tǒng)，然后直接備份。當(dāng)然此時(shí)你也可以修改硬盤中的配置文件，如/etc/fstab。03硬件故障01

設(shè)備本身的散熱故障無(wú)論是服務(wù)器、交換機(jī)、還是路由器，運(yùn)行時(shí)間長(zhǎng)了，都會(huì)出現(xiàn)散熱問(wèn)題，會(huì)不會(huì)報(bào)故障（或者說(shuō)多長(zhǎng)時(shí)間后報(bào)故障）、給網(wǎng)絡(luò)效率造成多大的影響，一定程度上取決于機(jī)房的環(huán)境。其中灰塵就是散熱問(wèn)題的最大來(lái)源，好在這類故障處理起來(lái)很容易，收到告警信息后，更換散熱器能解決90%的問(wèn)題。除此之外，不能排除有一部分設(shè)備，是主板上的針腳不再給散熱風(fēng)扇供電的原因，這就需要想辦法給風(fēng)扇供電。02

電源模塊故障電源完全損壞，不再供電的時(shí)候，如果沒(méi)有冗余配置，這時(shí)候設(shè)備肯定已經(jīng)被動(dòng)關(guān)機(jī)了，直接替換新的電源即可，但有的時(shí)候，電源的故障并不是那么明顯。案例：某服務(wù)器頻繁死機(jī)，每次重啟后，能正常運(yùn)轉(zhuǎn)一天兩天，一時(shí)找不出原因，有次正好在機(jī)房維護(hù)，聽到該服務(wù)器有蜂鳴聲，此時(shí)服務(wù)器還沒(méi)有死機(jī)，查詢?nèi)罩緹o(wú)異常便重啟，進(jìn)入BIOS查看，發(fā)現(xiàn)電源有高壓報(bào)警——12V輸出，達(dá)到了16V！因?yàn)橛腥哂嚯娫?，直接把故障電源拔下?lái)，服務(wù)器就恢復(fù)了正常。0