接入網(wǎng)管巡檢方法介紹

公共研發(fā)部測試運維部2017-7-11UNM2000接入網(wǎng)管巡檢方法介紹烽火通信科技股份有限公司目錄1、windows環(huán)境unm2000運行巡檢（1）服務(wù)器cpu、內(nèi)存占用檢查（2）服務(wù)器磁盤占用空間檢查（3）網(wǎng)管數(shù)據(jù)庫檢查（4）網(wǎng)管配置數(shù)據(jù)安全檢查目錄1、windows環(huán)境unm2000運行巡檢（5）網(wǎng)管后臺服務(wù)運行檢查（6）網(wǎng)管tl1接口功能檢查（7）網(wǎng)管corba接口功能檢查（8）網(wǎng)管服務(wù)器系統(tǒng)日志檢查目錄2、linux環(huán)境UNM2000運行巡檢（1）服務(wù)器內(nèi)存占用檢查（2）服務(wù)器磁盤占用空間檢查（3）網(wǎng)管數(shù)據(jù)庫檢查（4）網(wǎng)管配置數(shù)據(jù)安全檢查目錄2、linux環(huán)境UNM2000運行巡檢（5）網(wǎng)管后臺服務(wù)運行檢查（6）網(wǎng)管tl1接口功能檢查3、UNM2000網(wǎng)管熱備環(huán)境巡檢windows環(huán)境unm2000運行巡檢（1）服務(wù)器cpu、內(nèi)存占用檢查巡檢方法：Windows環(huán)境下通過任務(wù)管理器查看網(wǎng)管服務(wù)器上服務(wù)占用cpu和內(nèi)存情況。巡檢內(nèi)容：1、檢查服務(wù)器上cpu占用率和內(nèi)存占用率是否持續(xù)占用超過80%，如果超過需要預(yù)警，并分析為硬件配置過低導(dǎo)致還是存在可疑進(jìn)程導(dǎo)致；2、檢查是否存在可疑進(jìn)程持續(xù)占用cpu超過20%，可能存在病毒感染風(fēng)險；3、檢查網(wǎng)管服務(wù)占用內(nèi)存是否超過1G，如果超過，需要預(yù)警，并導(dǎo)出dump文件分析內(nèi)存增長過快原因；windows環(huán)境unm2000運行巡檢（2）服務(wù)器磁盤占用空間檢查巡檢方法：Windows環(huán)境下打開計算機直接查看磁盤空間占用情況。巡檢內(nèi)容：1、檢查網(wǎng)管服務(wù)器各個磁盤空間占用情況是否超過80%，如果超過，需及時清理磁盤空間；2、檢查UNM2000服務(wù)安裝所在磁盤占用情況是否超過90%，剩余可用空間確保不少于10G，如果剩余可用磁盤空間太小，需要對unm2000\server\log和unm2000\server\log\nbinterface目錄下日志文件進(jìn)行清理，建議保留最近3個月日志即可；windows環(huán)境unm2000運行巡檢（3）網(wǎng)管數(shù)據(jù)庫檢查巡檢方法：Windows環(huán)境下通過人物管理器檢查mysql服務(wù)內(nèi)存占用情況，檢查d:MySQL\my.ini配置文件是否已包含表損壞自動修復(fù)參數(shù)，檢查mysql所在磁盤存儲空間是否充足。巡檢內(nèi)容：1、檢查數(shù)據(jù)庫服務(wù)占用內(nèi)存情況是否正常，windows環(huán)境一般情況不超過1.5G；2、檢查數(shù)據(jù)庫配置文件my.ini是否已開啟表損壞自動恢復(fù)配置參數(shù)myisam-recover-options=BACKUP,FORCE；3、查看數(shù)據(jù)庫文件存放的磁盤空間是否充足，剩余可用空間不少于30%；windows環(huán)境unm2000運行巡檢（4）網(wǎng)管配置數(shù)據(jù)安全檢查巡檢方法：登錄nmtool管理界面查看網(wǎng)管配置定時導(dǎo)出設(shè)置是否正確，到對應(yīng)ftp路徑檢查網(wǎng)管配置是否每天都正常生成。巡檢內(nèi)容：1、檢查nmtool工具是否已經(jīng)配置每天定時導(dǎo)出網(wǎng)管配置，網(wǎng)管配置是否存儲到其他主機上，避免網(wǎng)管服務(wù)器硬件損壞導(dǎo)致網(wǎng)管配置丟失無法及時恢復(fù)現(xiàn)網(wǎng)環(huán)境；2、到網(wǎng)管配置存儲的ftp路徑檢查網(wǎng)管配置文件是否每天都正常生成；windows環(huán)境unm2000運行巡檢（5）網(wǎng)管后臺服務(wù)運行檢查巡檢方法：使用icegrid工具檢查網(wǎng)管服務(wù)是否存在異常停止的現(xiàn)象，使用任務(wù)管理器檢查網(wǎng)管服務(wù)內(nèi)存占用是否超過1G，到D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄檢查是否存在dump文件。巡檢內(nèi)容：1、檢查網(wǎng)管服務(wù)是否正常啟動狀態(tài)，檢查網(wǎng)管服務(wù)內(nèi)存占用是否超過1G，如果超過1G，導(dǎo)出對應(yīng)dump反饋給總部研發(fā)；2、檢查D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄是否存在dump文件生成，如果有，反饋給總部分析服務(wù)異常掛死原因；windows環(huán)境unm2000運行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢方法：使用icegrid工具檢查服務(wù)運行狀態(tài)，通過任務(wù)管理器查看服務(wù)內(nèi)存增長情況，進(jìn)入D:\unm2000\platform\thirdparty\win32_vc9_x86\bin目錄檢查是否有生成dump文件，通過網(wǎng)管界面tl1日志查詢統(tǒng)計tl1指令失敗原因和耗時時間。windows環(huán)境unm2000運行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢內(nèi)容：1、檢查tl1相關(guān)服務(wù)是否正常運行，是否存在異常終止的dump文件生成，是否存在內(nèi)存泄漏，內(nèi)存超過1G需分析確認(rèn)內(nèi)存增長原因；2、檢查tl1日志，確認(rèn)是否存在大批量工單執(zhí)行失敗的記錄，且失敗原因是否在合理范圍之內(nèi)；3、檢查tl1日志，確認(rèn)業(yè)務(wù)開通相關(guān)的指令是否存在大量耗時時間超過15秒的記錄，確認(rèn)lst查詢類指令是否存在大量耗時時間超過30秒的記錄。windows環(huán)境unm2000運行巡檢（7）網(wǎng)管corba接口功能檢查巡檢方法：使用任務(wù)管理器檢查corba服務(wù)和tao服務(wù)內(nèi)存占用情況，檢查是否有服務(wù)異常終止時的dump文件生成，使用corba客戶端自測告警上報是否正常，自測掛載ONU最多的網(wǎng)元資源采集耗時是否在3分鐘以內(nèi)。巡檢內(nèi)容：1、檢查corba服務(wù)和tao服務(wù)占用內(nèi)存是否超過1G；2、檢查現(xiàn)網(wǎng)環(huán)境是否存在corba異常終止的dump文件，結(jié)合網(wǎng)管系統(tǒng)日志中的起停記錄排除人為起停生成的dump文件；3、使用corba客戶端登陸，自測getEms()、getAllEMSAndMEActiveAlarms()、getAllManagedElements()、getAllPTPs()、getAllEquipment()、GetAllFDFrs()這部分常用接口是否正常，耗時是否在3分鐘以內(nèi)；4、使用客戶端登陸到Corba接口，檢查告警是否正常上報；windows環(huán)境unm2000運行巡檢（8）網(wǎng)管服務(wù)器系統(tǒng)日志檢查巡檢方法：檢查服務(wù)器事件查看器中的應(yīng)用程序日志和系統(tǒng)日志，檢查dump文件，檢查是否安裝賽門鐵克殺毒軟件。巡檢內(nèi)容：1、服務(wù)器系統(tǒng)事件查看器中檢查服務(wù)器應(yīng)用程序中是否有錯誤日志，確認(rèn)tao隊列是否被占滿，是否存在網(wǎng)管服務(wù)被病毒攻擊導(dǎo)致異常終止；2、檢查網(wǎng)管的系統(tǒng)日志，確認(rèn)是否存在網(wǎng)管服務(wù)異常重啟的記錄，如果存在，找到對應(yīng)的dump文件取回來。3、檢查網(wǎng)管配套殺毒軟件symantecendpointprotection是否運行正常。linux環(huán)境unm2000運行巡檢（1）服務(wù)器內(nèi)存占用檢查巡檢方法：使用top命令檢查當(dāng)前服務(wù)器上服務(wù)內(nèi)存占用情況。Res表示服務(wù)占用的物理內(nèi)存，執(zhí)行top之后，shift+m可根據(jù)內(nèi)存占用大小由高到低排序，mem中的free值+swap中的free值+swap中的cached值表示服務(wù)器可用內(nèi)存linux環(huán)境unm2000運行巡檢（1）服務(wù)器內(nèi)存占用檢查巡檢內(nèi)容：1、檢查服務(wù)器上剩余可用內(nèi)存是否耗盡；2、檢查服務(wù)器上網(wǎng)管服務(wù)占用內(nèi)存是否超過3G，檢查服務(wù)器上mysql服務(wù)占用內(nèi)存是否在12G范圍以內(nèi)，如果超過，使用gcore指令導(dǎo)出對應(yīng)core文件反饋總部分析；linux環(huán)境unm2000運行巡檢（2）服務(wù)器磁盤占用空間檢查巡檢方法：使用df–k查看服務(wù)器磁盤總的占用大小，使用du–h|grepG查看哪些目錄占用磁盤空間太大，通常情況日志文件和抓包文件占用空間較大?？筛鶕?jù)每天的磁盤空間增長大小計算出需要多長時間清理一次，清理日志時，建議保留最近3個月的日志文件，清理抓包文件時，建議保留最近一周的抓包文件，根據(jù)實際磁盤空間總大小和每天增長大小決定保留時間。linux環(huán)境unm2000運行巡檢（2）服務(wù)器磁盤占用空間檢查linux環(huán)境unm2000運行巡檢（2）服務(wù)器磁盤占用空間檢查rm*2017-01*表示刪除文件命中帶2017-01的文件，即刪除2017年1月份日志，其他月份依此類推。linux環(huán)境unm2000運行巡檢（2）服務(wù)器磁盤占用空間檢查巡檢內(nèi)容：1、檢查服務(wù)器各分區(qū)磁盤空間占用率是否超過80%，UNM2000安裝所在分區(qū)和mysql數(shù)據(jù)庫存儲文件所在分區(qū)剩余可用空間不少于20G；如果磁盤空間使用達(dá)到預(yù)警值，需清理磁盤空間。linux環(huán)境unm2000運行巡檢（3）網(wǎng)管數(shù)據(jù)庫檢查巡檢方法：1、使用ps命令找到mysql服務(wù)進(jìn)程，使用top命令查看mysql服務(wù)內(nèi)存占用情況，超過12G需要預(yù)警；2、使用vi命令查看f是否已開啟表損壞自動恢復(fù)配置參數(shù)myisam-recover-options=BACKUP,FORCElinux環(huán)境unm2000運行巡檢（3）網(wǎng)管數(shù)據(jù)庫檢查巡檢方法：1、使用top命令查看mysql服務(wù)內(nèi)存占用情況，超過12G需要預(yù)警；2、使用vi命令查看f是否已開啟表損壞自動恢復(fù)配置參數(shù)myisam-recover-options=BACKUP,FORCEVi編輯器，ctrl+F，往下翻頁。linux環(huán)境unm2000運行巡檢（3）網(wǎng)管數(shù)據(jù)庫檢查巡檢內(nèi)容：1、檢查數(shù)據(jù)庫服務(wù)占用內(nèi)存情況是否正常，linux環(huán)境根據(jù)f配置可使用到12G，超過12G需要預(yù)警;2、檢查數(shù)據(jù)庫配置文件f是否已開啟表損壞自動恢復(fù)配置參數(shù)myisam-recover-options=BACKUP,FORCElinux環(huán)境unm2000運行巡檢（4）網(wǎng)管配置數(shù)據(jù)安全檢查巡檢方法：登錄nmtool管理界面查看網(wǎng)管配置定時導(dǎo)出設(shè)置是否正確，到對應(yīng)ftp路徑檢查網(wǎng)管配置是否每天都正常生成。巡檢內(nèi)容：1、檢查nmtool工具是否已經(jīng)配置每天定時導(dǎo)出網(wǎng)管配置，網(wǎng)管配置是否存儲到其他主機上，避免網(wǎng)管服務(wù)器硬件損壞導(dǎo)致網(wǎng)管配置丟失無法及時恢復(fù)現(xiàn)網(wǎng)環(huán)境；2、到網(wǎng)管配置存儲的ftp路徑檢查網(wǎng)管配置文件是否每天都正常生成；linux環(huán)境unm2000運行巡檢（5）網(wǎng)管后臺服務(wù)運行檢查巡檢方法：到/tmp/corefile目錄檢查是否存在core文件。巡檢內(nèi)容：1、檢查/tmp/corefile目錄是否存在core文件生成，如果有，反饋給總部分析服務(wù)異常掛死原因；linux環(huán)境unm2000運行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢方法：使用icegrid工具檢查服務(wù)運行狀態(tài)，通過任務(wù)管理器查看服務(wù)內(nèi)存增長情況，進(jìn)入/tmp/corefile目錄檢查是否有生成core文件，通過網(wǎng)管界面tl1日志查詢統(tǒng)計tl1指令失敗原因和耗時時間。linux環(huán)境unm2000運行巡檢（6）網(wǎng)管tl1接口功能檢查巡檢內(nèi)容：1、檢查tl1相關(guān)服務(wù)是否正常運行，是否存在異常終止的core文件生成，是否存在內(nèi)存泄漏，內(nèi)存超過3G需分析確認(rèn)內(nèi)存增長原因；2、檢查tl1日志，確認(rèn)是否存在大批量工單執(zhí)行失敗的記錄，且失敗原因是否在合理范圍之內(nèi)；3、檢查tl1日志，確認(rèn)業(yè)務(wù)開通相關(guān)的指令是否存在大量耗時時間超過15秒的記錄，確認(rèn)lst查詢類指令是否存在大量耗時時間超過30秒的記錄。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。Windows和linux環(huán)境集群巡檢方法相同，都通過登錄vcs客戶端查看集群服務(wù)運行狀態(tài)，linux環(huán)境下安裝vcs客戶端之后，使用hagui訪問vcs。Windows環(huán)境下打開veritasclustermanager訪問vcs，用戶名密碼默認(rèn)為admin/passwordUNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。查看各個服務(wù)的critical開關(guān)是否勾選，勾選后才能自動切換。UNM2000網(wǎng)管熱備環(huán)境巡檢巡檢方法：登錄vcs客戶端檢查集群運行是否正常。巡檢內(nèi)