Linux系統(tǒng)日常運(yùn)維技術(shù)實(shí)踐總結(jié)分析

1、 Linux 系統(tǒng)日常運(yùn)維技術(shù)實(shí)踐總結(jié)分析 以下內(nèi)容基本上可以涵蓋RedHat和CentOS層面90%的日常運(yùn)維工作，并總結(jié)了系統(tǒng)運(yùn)維中網(wǎng)絡(luò)方面的規(guī)劃、操作及故障處理等知識(shí)。來(lái)自社區(qū)交流，多位會(huì)員分享，董志衛(wèi)整理。一、Linux 系統(tǒng)日常運(yùn)維九大技能1、安裝部署方式：U盤(pán)，光盤(pán)和網(wǎng)絡(luò)安裝其中網(wǎng)絡(luò)安裝已經(jīng)成為了目前批量部署的首選方式：主要工具有Cobbler和PXE+kickstart可以參考如下鏈接內(nèi)容：/mchina/p/centos-pxe-kickstart-auto-install-os.html2、初始化配置禁用服務(wù)禁用SeLinux配置YUM源配置可以配置為光盤(pán)，內(nèi)部YUM源或EP

2、EL等常用軟件安裝安裝xwindows配置ntpCrontab 添加如上記錄，指定內(nèi)部ntp服務(wù)器SSH 登錄設(shè)置修改ssh 禁用DNS 選項(xiàng):添加允許指定用戶登錄：上傳掃描工具網(wǎng)絡(luò)上有該腳本，下載自行使用修改歷史記錄格式3、安全加固本次安全加固內(nèi)容主要參考的是Redhat和Centos系列版本系統(tǒng)：參考鏈接/CentosSecurity/CentosSafe/2015/0315/4881.html注釋掉系統(tǒng)不需要的用戶和用戶組注意：不建議直接刪除，當(dāng)你需要某個(gè)用戶時(shí)，自己重新添加會(huì)很麻煩。關(guān)閉系統(tǒng)不需要的服務(wù)給下面的文件加上不可更改屬性，從而防止非授權(quán)用戶獲得權(quán)限限制不同文件的權(quán)限禁止使用C

3、trl+Alt+Del快捷鍵重啟服務(wù)器使用yum update更新系統(tǒng)時(shí)不升級(jí)內(nèi)核，只更新軟件包注意：由于系統(tǒng)與硬件的兼容性問(wèn)題，有可能升級(jí)內(nèi)核后導(dǎo)致服務(wù)器不能正常啟動(dòng)，這是非?？膳碌模瑳](méi)有特別的需要，建議不要隨意升級(jí)內(nèi)核。關(guān)閉Centos自動(dòng)更新關(guān)閉多余的虛擬控制臺(tái)我們知道從控制臺(tái)切換到 X 窗口，一般采用 Alt-F7 ，為什么呢？因?yàn)橄到y(tǒng)默認(rèn)定義了 6 個(gè)虛擬控制臺(tái)，所以 X 就成了第7個(gè)。實(shí)際上，很多人一般不會(huì)需要這么多虛擬控制臺(tái)的，修改/etc/inittab ，注釋掉那些你不需要的。修改history命令記錄隱藏服務(wù)器系統(tǒng)信息在缺省情況下，當(dāng)你登陸到linux系統(tǒng)，它會(huì)告訴你該li

4、nux發(fā)行版的名稱(chēng)、版本、內(nèi)核版本、服務(wù)器的名稱(chēng)。為了不讓這些默認(rèn)的信息泄露出來(lái)，我們要進(jìn)行下面的操作，讓它只顯示一個(gè)login:提示符。刪除/etc/issue和/etc/這兩個(gè)文件，或者把這2個(gè)文件改名，效果是一樣的。優(yōu)化Linux內(nèi)核參數(shù)系統(tǒng)優(yōu)化服務(wù)器禁止ping檢查口令策略設(shè)置是否符合復(fù)雜度要求檢查登錄提示-是否設(shè)置登錄成功后警告Banner修改文件/etc/motd的內(nèi)容，如沒(méi)有該文件，則創(chuàng)建它。檢查是否設(shè)置登錄超時(shí)執(zhí)行備份：修改/etc/csh.cshrc文件，添加如下行：改變這項(xiàng)設(shè)置后，重新登錄才能有效5、多路徑設(shè)置隨著X86 環(huán)境的普及化，Linux 的市場(chǎng)占有率也越來(lái)越高，為

5、了方便后續(xù)的設(shè)備管理我們和Linux 自帶多路徑軟件的成熟化，我們?cè)谌粘５脑O(shè)備多路徑軟件選擇方面經(jīng)常會(huì)首先考慮使用DM 軟件，本次多路徑設(shè)置主要是結(jié)合REDHAT和CENTOS自帶軟件DM- Multipath參考：Linux 操作系統(tǒng)層面Multipath 配置使用技巧及注意事項(xiàng)（點(diǎn)擊標(biāo)題可讀）6、系統(tǒng)異常性能指標(biāo)獲取CPU占用最高的10個(gè)進(jìn)程內(nèi)存占用最高的10個(gè)進(jìn)程虛擬內(nèi)存使用最多的前10個(gè)進(jìn)程查看系統(tǒng)負(fù)載統(tǒng)計(jì)當(dāng)前連接數(shù)當(dāng)前連接數(shù)最多的10個(gè)進(jìn)程6、LVM日常使用LVM在日常運(yùn)維工作當(dāng)中占據(jù)著很大的比重，在此我列舉LVM常見(jiàn)的日常操作及步驟。1. 添加一個(gè)磁盤(pán)到OS，格式化文件系統(tǒng)使用，參

6、考如下：掃描磁盤(pán)這個(gè)其中每個(gè)步驟就不在做詳細(xì)解釋?zhuān)信d趣的可以獨(dú)自搜索2.文件系統(tǒng)的擴(kuò)容和縮?。ǜ募到y(tǒng)縮小要相當(dāng)?shù)纳髦兀┰诰€擴(kuò)容文件系統(tǒng)：縮小文件系統(tǒng)：3. 在線刪除一個(gè)共享磁盤(pán)LUN例如：刪除一個(gè)不用的lun刪除環(huán)節(jié)：7、Linux 運(yùn)維命令掌握Linux 下面日常運(yùn)維使用的命令有太多了，可以根據(jù)個(gè)人的情況進(jìn)行適當(dāng)?shù)挠洃?。系統(tǒng)負(fù)載：top ，nmon，dstat 等網(wǎng)絡(luò)：ss，netstat，route，diag，ping，ip，lsof 等io：dd，iostat，fio，nmon，dstat，pvs，lvs，vgs 等內(nèi)存：free，dstat等進(jìn)程：ps，lsof 等配置：lscp

7、u，lspci，dmidecode,lsscsi，udev 等設(shè)備識(shí)別：echo - ,rescan-scsi-bus.sh 等診斷：strace,ltrace等比如還有find如何結(jié)合x(chóng)args，tree的使用，lsblk 等等，還有很多很多，需要長(zhǎng)期的積累，當(dāng)然主要使用還是配置查看，LVM設(shè)置，網(wǎng)絡(luò)還有很多成熟的開(kāi)源和商業(yè)產(chǎn)品進(jìn)行管理，在此不一一列舉，感覺(jué)可自行百度和google。目前主流的python，ruby這些語(yǔ)言工具可以根據(jù)自身情況選擇一個(gè)掌握。8、診斷工具在日常的運(yùn)維過(guò)程當(dāng)中，不免要進(jìn)行所謂的性能或者故障方面問(wèn)題的診斷，工具和手段包羅萬(wàn)象，在此列舉一些日常使用的工具用于參考。這里

8、附上一幅Linux 開(kāi)機(jī)流程圖，這樣很多人就可以更加清楚的了解了Linux在啟動(dòng)的整個(gè)流程，便于此類(lèi)問(wèn)題的解決。9、網(wǎng)絡(luò)必殺技Netcat，SSH 幾種隧道轉(zhuǎn)發(fā)模式 ，lsof，dstat ，ethtool，iptraf，iperf，diag，route 和多個(gè)網(wǎng)卡路由及雙網(wǎng)卡綁定技術(shù)值得了解，這些都是os層面運(yùn)維網(wǎng)絡(luò)方面經(jīng)常會(huì)使用到的幾個(gè)方面在日常較為常用的操作就是進(jìn)行雙網(wǎng)卡的綁定，下面分享一個(gè)綁定的具體流程：1、cp /etc/sysconfig/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-eth0.bakcp /etc/sysconfi

9、g/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-bond02、vi /etc/sysconfig/network/ifcfg-eth0，注釋所有（除以下兩行內(nèi)容），并將值修改如下：BOOTPROTO=noneSTARTMODE=off3、cp /etc/sysconfig/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-eth14、vi /etc/sysconfig/network/ifcfg-bond0，增加或更新如下內(nèi)容，其他內(nèi)容可注釋?zhuān)赫f(shuō)明：以上配置mode=0為負(fù)載均衡模式，如果需要配置

10、成主備模式，BONDING_MODULE_OPTS配置如下：BONDING_MODULE_OPTS=mode=1 miimon=100 use_carrier=0 primary=eth05、rcnetwork restart，重啟網(wǎng)絡(luò)服務(wù)生效，并進(jìn)行測(cè)試。6、cat /proc/net/bonding/bond0 可以查看bonding的狀態(tài)。二、Linux 系統(tǒng)運(yùn)維的網(wǎng)絡(luò)知識(shí)總結(jié)1、系統(tǒng)運(yùn)維中網(wǎng)絡(luò)方面的規(guī)劃與思考在很多公司，崗位職責(zé)都是很明確的，專(zhuān)職轉(zhuǎn)崗，每人或者每組負(fù)責(zé)一塊業(yè)務(wù)。系統(tǒng)運(yùn)維崗基本上在IT架構(gòu)上相對(duì)偏后一些，該崗位和網(wǎng)絡(luò)管理崗基本上是平行的。因?yàn)榻裉煸蹅冋f(shuō)的是系統(tǒng)運(yùn)維方面網(wǎng)絡(luò)

11、方面的事情，或多或少都會(huì)和網(wǎng)絡(luò)崗打交道，那么談一點(diǎn)網(wǎng)絡(luò)崗的內(nèi)容就顯得很有必要。系統(tǒng)運(yùn)維建立在網(wǎng)絡(luò)的基礎(chǔ)之上，如果沒(méi)有一個(gè)相對(duì)合理的網(wǎng)絡(luò)架構(gòu)，恐怕系統(tǒng)運(yùn)維做起來(lái)也不是那么的順手。一個(gè)公司基本上都會(huì)把網(wǎng)絡(luò)和服務(wù)器獨(dú)立開(kāi)來(lái)，劃分不同的區(qū)域擺放設(shè)備，很多時(shí)候都是物理隔離。服務(wù)器接入交換機(jī)大多是經(jīng)過(guò)配線架連接起來(lái)和有的服務(wù)器機(jī)柜頭柜安裝網(wǎng)絡(luò)交換機(jī)，是相對(duì)比較常見(jiàn)的兩種方式。走線從側(cè)面可以反映一個(gè)企業(yè)對(duì)IT的重視程度和投入，很多企業(yè)是做不到如圖這么漂亮的效果的。這一切一切還要立足于預(yù)算，現(xiàn)在基本上沒(méi)有預(yù)算啥事也干不了。大多數(shù)IT機(jī)房當(dāng)初建立的時(shí)候，從設(shè)備混亂擺放到區(qū)域明確劃分存放，又從區(qū)域功能明確到后來(lái)的

12、后來(lái)的功能區(qū)域模糊，都反映了一個(gè)問(wèn)題：計(jì)劃趕不上變化。十年前還相當(dāng)前衛(wèi)的規(guī)劃，到現(xiàn)在已經(jīng)跟不上時(shí)代，這并不是誰(shuí)的錯(cuò)，還是要求我們?nèi)ミm應(yīng)去改變，業(yè)務(wù)引領(lǐng)變革，基礎(chǔ)架構(gòu)也需要做相應(yīng)調(diào)整，所謂唯一不變的就是變。我心中企業(yè)目前現(xiàn)階段相對(duì)比較理想的架構(gòu)這樣的，如圖所示：這樣一個(gè)傳統(tǒng)企業(yè)典型的網(wǎng)絡(luò)結(jié)構(gòu)，保證每個(gè)核心節(jié)點(diǎn)都是雙鏈路，鏈路異常自動(dòng)切換，各種切換在這種典型的網(wǎng)絡(luò)結(jié)構(gòu)上都或多或少的簡(jiǎn)單或復(fù)雜，不盡相同。網(wǎng)絡(luò)方面關(guān)注幾個(gè)點(diǎn)：穩(wěn)定，安全，自動(dòng)化。業(yè)務(wù)系統(tǒng)組件也盡量避免單點(diǎn)問(wèn)題。這樣后端業(yè)務(wù)系統(tǒng)在連接網(wǎng)絡(luò)層面穩(wěn)定性就有了保障，在主機(jī)系統(tǒng)層面，盡量避免單獨(dú)問(wèn)題，消除性能瓶頸，異常能夠自動(dòng)告警自動(dòng)修復(fù)得相對(duì)

13、比較完美，當(dāng)然這一切還要立足于預(yù)算。2、系統(tǒng)運(yùn)維中網(wǎng)絡(luò)方面操作梳理在系統(tǒng)運(yùn)維中，經(jīng)常涉及的網(wǎng)絡(luò)方面的操作，一般由以下幾個(gè)方面組成。1.設(shè)備上線，物理連線設(shè)置很多運(yùn)維人員要從事從剛開(kāi)始立項(xiàng)到項(xiàng)目上線再到后期運(yùn)維的一條龍服務(wù)，每個(gè)環(huán)節(jié)都要自己親自動(dòng)手，這是好事也是壞事，好的是自己的環(huán)境一般會(huì)非常的熟悉，不好的是事必躬親，不出活，業(yè)績(jī)不明顯。插個(gè)線都要自己來(lái)，你恐怕也沒(méi)太多精力干其他的，這就是個(gè)矛盾體，自己把握就好。2.網(wǎng)絡(luò)邏輯配置調(diào)整這一塊內(nèi)容就涉及到了具體的操作，你可以手工一步一步操作，也可以借助高大上的工具批量完成，這個(gè)要看企業(yè)的IT建設(shè)的能力。一個(gè)掩碼一個(gè)點(diǎn)錯(cuò)誤都會(huì)導(dǎo)致網(wǎng)絡(luò)連接異常。如果自己

14、有開(kāi)發(fā)能力也可以使用腳本或語(yǔ)言寫(xiě)成成型的東西，平時(shí)多多積累，使用的時(shí)候就會(huì)方便很多。具體內(nèi)容涉及：1） 配置ip，別名，設(shè)置個(gè)端口監(jiān)聽(tīng)，綁定個(gè)網(wǎng)卡，設(shè)置個(gè)路由2） 劃分個(gè)vlan，配置個(gè)trunk3） 測(cè)試個(gè)端口，配置個(gè)監(jiān)控具體的操作過(guò)程在此不做過(guò)多的介紹，比如做個(gè)網(wǎng)卡綁定啊，測(cè)試個(gè)端口啊，這些操作網(wǎng)上有大批的文檔可以查閱，本節(jié)內(nèi)容就是描述在日常的Linux系統(tǒng)運(yùn)維方面所涉及網(wǎng)絡(luò)方面的操作，有一個(gè)整體的印象。3.性能分析與優(yōu)化該部分內(nèi)容相對(duì)不太容易操作，不是隨隨便都可以依葫蘆畫(huà)瓢就能完成，性能穩(wěn)定分析和定位相對(duì)困難一些，很多場(chǎng)景都需要結(jié)合多個(gè)方面進(jìn)行統(tǒng)一分析。這個(gè)需要一些工作經(jīng)驗(yàn)的結(jié)論和沉淀，

15、選擇合適的工具，多方面配合往往會(huì)有比較好的效果。工欲善其事，必先利其器：熟練掌握該圖上面的各種工具，基本上可以解決性能分析99%的工作，那剩下的1%的不是bug就是天災(zāi)。這里其實(shí)在說(shuō)笑了，但這也說(shuō)明一個(gè)好的工具有多么的重要。剩余就是要仔細(xì)認(rèn)真，再好的工具，不會(huì)用也不行，態(tài)度是第一位的。3、系統(tǒng)運(yùn)維過(guò)程中需要掌握的利器在上文中分享了一個(gè)圖，該圖涵蓋的面比較廣，本節(jié)內(nèi)容主要針對(duì)網(wǎng)絡(luò)方面進(jìn)行一些梳理，分享一下在工作當(dāng)中經(jīng)常使用的利器。首先我們來(lái)分享一張目前Linux 系統(tǒng)性能查看調(diào)優(yōu)工具圖：這張圖片基本上涵蓋了Linux系統(tǒng)各個(gè)方面的性能工具，可以說(shuō)相當(dāng)?shù)娜?，下面我們看一下有關(guān)網(wǎng)絡(luò)方面我們常用的命

16、令或工具有哪些，這樣有助于大家方便查看和使用。以上工具基本上在日常工作當(dāng)中經(jīng)常會(huì)使用到，每個(gè)工具都有其側(cè)重點(diǎn)，這里列舉的只是大量工具中的一小部分，因?yàn)槊總€(gè)人使用習(xí)慣不一樣，各有側(cè)重，選擇適合自己就好，以上工具僅供參考。本文內(nèi)容意在梳理分享，不在具體的工具使用方面做更加深入的講解，因?yàn)槊恳粋€(gè)工具如果詳細(xì)講起來(lái)都會(huì)涉及大量篇幅，也不可能面面俱到，有興趣的可以在社區(qū)或搜索引擎搜索之。推薦小工具：Dig，ethtool，iperf，iftop，dstat，mtr比如在你想知道兩個(gè)主機(jī)之間的帶寬是否能夠到達(dá)相應(yīng)的帶寬，請(qǐng)使用iperf。想動(dòng)態(tài)的查看目的地是否可到以及延遲等信息，請(qǐng)使用mtr。4、故障的診

17、斷與分析故障診斷處理方面不是一兩句話就可以說(shuō)清楚的，很大程度上在于平時(shí)經(jīng)驗(yàn)的積累，很多故障都是相互關(guān)聯(lián)的，如何順藤摸瓜，找到問(wèn)題的最終原因，有一些方法可以借鑒。這里不具體描述解決那個(gè)問(wèn)題用了什么方法，只是聊聊解決問(wèn)題有哪些經(jīng)驗(yàn)和技巧。分享一點(diǎn)小小的經(jīng)驗(yàn)：a)平時(shí)要多問(wèn)幾個(gè)為什么b)故障是否可以重現(xiàn)，找到第一個(gè)場(chǎng)景，關(guān)注整體結(jié)合細(xì)節(jié)c)多方面相互參考，同事之間相互配合d)可以多做幾個(gè)假設(shè)，直到推翻自己的想法e)自己的工具箱要有幾個(gè)使用順手的TOOLS，包括自己開(kāi)發(fā)的以上只是一些解決問(wèn)題的方法，具體問(wèn)題還要具體分析。下面我們結(jié)合一個(gè)真實(shí)的案例來(lái)描述一下：在出現(xiàn)網(wǎng)絡(luò)故障時(shí)，。我們?nèi)绾蜗朕k法快速的排除

18、問(wèn)題。場(chǎng)景描述：某日下午，公司里內(nèi)部的業(yè)務(wù)系統(tǒng)突然出現(xiàn)反應(yīng)比較慢的問(wèn)題，多個(gè)業(yè)務(wù)管理員過(guò)來(lái)描述問(wèn)題現(xiàn)象。近期一段時(shí)間內(nèi)曾出現(xiàn)過(guò)類(lèi)似的問(wèn)題，該類(lèi)問(wèn)題的原因是由于業(yè)務(wù)區(qū)的防火墻老舊，處理能力不足，導(dǎo)致CPU在短時(shí)間內(nèi)使用率激增，超過(guò)了境界閾值很多，導(dǎo)致此類(lèi)現(xiàn)象的發(fā)生。解決思路：1）初步定位又是類(lèi)似問(wèn)題的出現(xiàn)，肯定不是個(gè)別業(yè)務(wù)系統(tǒng)的問(wèn)題，一看就是有共性的，問(wèn)題應(yīng)該是出現(xiàn)在網(wǎng)絡(luò)設(shè)備上才對(duì)，這樣才會(huì)造成大面積的問(wèn)題，可是該防火墻一周前已經(jīng)升級(jí)換代了，不應(yīng)該有此類(lèi)問(wèn)題了。查看業(yè)務(wù)區(qū)域拓?fù)?，因?yàn)橥負(fù)湟呀?jīng)在心中，直接搞起。2） 逐步排查首先登錄新的防火墻，查看CPU使用率，一切正常，看來(lái)問(wèn)題不在此。然后登錄業(yè)

19、務(wù)系統(tǒng)去交換機(jī)查看負(fù)載，一看果然是高，高達(dá)99%，我勒個(gè)去，配合網(wǎng)絡(luò)管理員查看問(wèn)題原因，查看各種性能信息，初步?jīng)]有太合理的線索，不能精準(zhǔn)定位問(wèn)題。收集各種信息準(zhǔn)備發(fā)給廠商支持。3) 協(xié)助排查多方回憶近期有無(wú)做過(guò)其他操作。網(wǎng)絡(luò)方面：一周前升級(jí)換代該區(qū)域防護(hù)墻主機(jī)方面：昨天接入6太新設(shè)備，并做端口綁定bond4）再次排查由于該區(qū)域Windows主機(jī)設(shè)備均已經(jīng)安裝殺毒軟件，病毒的可能性不大，Linux 病毒可能性就更小了，先初步忽略。由于昨天上線6個(gè)主機(jī)設(shè)備，著重觀察網(wǎng)絡(luò)設(shè)備所連接端口，通過(guò)交換機(jī)和監(jiān)控性能視圖分析該端口今天出現(xiàn)流量過(guò)大的問(wèn)題，端口飽和。由于影響業(yè)務(wù)面比較廣，需要快速定位問(wèn)題或者暫時(shí)消除影響。初步意見(jiàn)，交換機(jī)上線shutdown 這6臺(tái)機(jī)器所連端口。持續(xù)觀察了一段時(shí)間，交換機(jī)CPU 負(fù)載下來(lái)了，其他業(yè)務(wù)逐漸恢復(fù)?？紤]到已經(jīng)下班，暫時(shí)觀察一下，明天看情況再做調(diào)整。并結(jié)合一下廠商意見(jiàn)。5）第二日上班后，6臺(tái)機(jī)器業(yè)務(wù)恢復(fù)，交換機(jī)CPU負(fù)載又上來(lái)了，但是其他業(yè)務(wù)沒(méi)有影響，什么情況？再次進(jìn)行梳理，找問(wèn)題線索。6） 進(jìn)一步排查網(wǎng)絡(luò)管理員打開(kāi)debug 查看信息，經(jīng)過(guò)一段時(shí)間的分析梳理發(fā)現(xiàn)有12個(gè)mac 地址頻繁的在兩臺(tái)交換機(jī)來(lái)回出現(xiàn)，核對(duì)mac 后