投訴預(yù)處理系統(tǒng)應(yīng)急預(yù)案

投訴預(yù)處理系統(tǒng)應(yīng)急預(yù)案投訴預(yù)處理系統(tǒng)應(yīng)急預(yù)案00/23中國移動(dòng)通信集團(tuán)遼寧信息技術(shù)中心集客投訴預(yù)處理系統(tǒng)應(yīng)急預(yù)案網(wǎng)管支撐室202305投訴預(yù)處理系統(tǒng)應(yīng)急預(yù)案投訴預(yù)處理系統(tǒng)應(yīng)急預(yù)案10/23修訂記錄1.02.0

2023-2-92023-5-16

修改內(nèi)容 修訂人名目\l“_TOC_250020“目的 3\l“_TOC_250019“應(yīng)急預(yù)案啟動(dòng)條件 3\l“_TOC_250018“應(yīng)急預(yù)案執(zhí)行原則 3\l“_TOC_250017“應(yīng)急預(yù)案執(zhí)行留意事項(xiàng) 3\l“_TOC_250016“應(yīng)急環(huán)境介紹 4\l“_TOC_250015“應(yīng)急預(yù)案處理流程 5\l“_TOC_250014“應(yīng)急預(yù)案內(nèi)容及過程 6\l“_TOC_250013“系統(tǒng)安全類大事 6\l“_TOC_250012“信息篡改大事 6\l“_TOC_250011“拒絕效勞大事 8\l“_TOC_250010“網(wǎng)管系統(tǒng)劫持大事 9\l“_TOC_250009“惡意代碼大事 11\l“_TOC_250008“垃圾郵件大事 12\l“_TOC_250007“系統(tǒng)故障類大事 13\l“_TOC_250006“數(shù)據(jù)庫故障場景 13\l“_TOC_250005“網(wǎng)絡(luò)故障場景 16\l“_TOC_250004“應(yīng)用訪問特別故障 17\l“_TOC_250003“數(shù)據(jù)源故障場景 18\l“_TOC_250002“效勞器故障場景 20\l“_TOC_250001“相關(guān)人員聯(lián)系表 21\l“_TOC_250000“本應(yīng)急預(yù)案知曉范圍 22目的投訴預(yù)處理系統(tǒng)應(yīng)急處理流程及突發(fā)安全大事的處理力量。應(yīng)急預(yù)案啟動(dòng)條件應(yīng)急預(yù)案執(zhí)行原則下，實(shí)施本應(yīng)急預(yù)案。以最低限度業(yè)務(wù)影響為前提、做到以下幾點(diǎn)：先搶通、再搶修。以業(yè)務(wù)恢復(fù)為第一要?jiǎng)?wù)。重點(diǎn)保障業(yè)務(wù)正常下發(fā)。應(yīng)急預(yù)案執(zhí)行留意事項(xiàng)急預(yù)案時(shí)應(yīng)留意以下幾點(diǎn)：處理大事前：大事上報(bào)相關(guān)部門領(lǐng)導(dǎo)。不能隨便刪除數(shù)據(jù)或日志，避開盲目操作。處理大事后：總結(jié)突發(fā)大事，匯報(bào)相關(guān)問題。應(yīng)急環(huán)境介紹(Santiago)應(yīng)用系統(tǒng)名：集客投訴預(yù)處理系統(tǒng)。(Santiago)2.相關(guān)效勞器信息：效勞器名稱效勞器地址操作系統(tǒng)效勞器功能jkts-app-oss4HatEnterpriseLinuxServerrelease6.0(Santiago)應(yīng)用效勞器jkts-cj-oss5RedHatEnterpriseLinuxServerrelease6.0(Santiago)應(yīng)用效勞器-負(fù)載均衡jkts-apptest-oss6RedHatEnterpriseLinuxServerrelease6.0(Santiago)采集器jkts-cjtest-oss7RedHatEnterpriseLinuxServerrelease6.0(Santiago)MQjkts-test1-oss2RedHatEnterpriseLinuxServerrelease6.0(Santiago)應(yīng)用效勞器-測試jkts-test2-oss3RedHatEnterpriseLinuxServerrelease6.0采集器-測試(Santiago)jkts-test3-oss4RedHatEnterpriseLinuxServerrelease6.0MQ數(shù)據(jù)庫：集中數(shù)據(jù)庫hn_x86oss3_1523_P1效勞器防火墻策略為開放指定協(xié)議端口。拓?fù)鋱D：應(yīng)急預(yù)案處理流程常規(guī)處理流程：應(yīng)急演練流程11.上報(bào)部門領(lǐng)應(yīng)急演練流程11.上報(bào)部門領(lǐng)導(dǎo)，應(yīng)急完畢8.登錄效勞器主機(jī)，替換配置文件9.檢查系統(tǒng)使用是否正常應(yīng)急啟動(dòng)大事上報(bào)大事處理大事總結(jié)安全服3.通過分析系統(tǒng)日志及查看系統(tǒng)7.登錄效勞器主機(jī)，修改賬號(hào)口務(wù)名目文件確認(rèn)為令，刪除特別賬人信息篡改攻擊號(hào)員安全2.系統(tǒng)無法4.通過核實(shí)情6.組織運(yùn)維人10.匯總各部門人管使用疑似攻況，報(bào)告至部門員、安全效勞人員意見，形成演理擊告知領(lǐng)導(dǎo)員進(jìn)展應(yīng)急練總結(jié)員部門5.下達(dá)應(yīng)急指領(lǐng)示，啟動(dòng)應(yīng)急導(dǎo)運(yùn)維管1.覺察系統(tǒng)無法使用，理告知安全管人理員員大事演練流程圖3.通過分析日志確認(rèn)為受到攻擊致使應(yīng)用進(jìn)程內(nèi)存溢出，導(dǎo)致進(jìn)程效勞掛死4.通過核實(shí)情6.組織運(yùn)維人9.匯總各部門人況，報(bào)告至部門員、安全效勞人員意見，形成演領(lǐng)導(dǎo)員進(jìn)展應(yīng)急練總結(jié)員部門領(lǐng)導(dǎo)5.下達(dá)應(yīng)急指示，啟動(dòng)應(yīng)急運(yùn)維1.覺察系統(tǒng)翻開管理提示404錯(cuò)誤，無法使用，告知7.重啟應(yīng)用相關(guān)程序8.檢查系統(tǒng)使用是否正常人安全治理員員應(yīng)急演練流程應(yīng)急啟動(dòng)應(yīng)急演練流程應(yīng)急啟動(dòng)大事上報(bào)大事處理大事總結(jié)安全效勞人員安全治理2.系統(tǒng)無法使用，日志存在內(nèi)存溢出10.上報(bào)部門領(lǐng)導(dǎo)，應(yīng)急完畢是否具備投訴綠色通道：不具備。是否具備批量投訴保障措施：不具備。VIP應(yīng)急預(yù)案內(nèi)容及過程系統(tǒng)安全類大事信息篡改大事大事背景和不良影響。響應(yīng)。安全大事的覺察現(xiàn)象：系統(tǒng)監(jiān)控人員在監(jiān)控過程中，覺察某個(gè)域名解析非法篡改。域名為：04.211.54:8088/CAS-server/login，正常解析為，當(dāng)前解析不是該地址。大事緊急處理重要文件恢復(fù)：將效勞器上最一次保存的配置文件進(jìn)展恢復(fù)。e2e-gum.zip#unzipe2e-gum.zip./ISS_HOME/WebUIServer/webapps/重啟應(yīng)用系統(tǒng)相關(guān)效勞/home/lnjk/ISS_HOME/bin/startUIServer.sh在必要狀況下，進(jìn)展操作系統(tǒng)和網(wǎng)管系統(tǒng)應(yīng)用軟件和程序的重安裝。安全大事分析分析訪問日志：#more/var/log/messages、secure、lastlogIP#more/etc/passwd#passwd logonuser查找是否存在可疑文件和后門程序；psnetstat權(quán)限和是否對(duì)被攻擊效勞器留有后門程序。鏟除措施通過配置防火墻策略，嚴(yán)格限制惡意地址的訪問懇求。恢復(fù)措施軟件，并恢復(fù)配置文件，對(duì)系統(tǒng)進(jìn)展加固；進(jìn)展業(yè)務(wù)測試，確定系統(tǒng)完全恢復(fù)；系統(tǒng)上線運(yùn)行。拒絕效勞大事大事背景慢甚至不響應(yīng)。該大事目的主要是對(duì)來自于互聯(lián)網(wǎng)針對(duì)域名解析發(fā)起的大量非法連接。安全大事的覺察同時(shí)系統(tǒng)監(jiān)控人員在監(jiān)控過程中，也覺察了大量半連接。攻擊源的定位系統(tǒng)狀態(tài)不正常，覺察有很多外網(wǎng)特別端口TCP連接；通過網(wǎng)絡(luò)分析大量連接的源地址，局部來源為假地址，局部為真地址。通過網(wǎng)絡(luò)設(shè)備日志等，根本確定攻擊的來源。安全防護(hù)措施加以下配置setaddress“Untrust““DeniedIP-N“x.x.x.x55setgroupaddress“Untrust““DeniedIP“add“DeniedIP-N“#ps-ef#kill-HUP進(jìn)程號(hào)#pkgadd-d補(bǔ)丁號(hào)鏟除措施通過虛擬化防護(hù)系統(tǒng)，對(duì)攻擊源進(jìn)展阻斷處理。網(wǎng)管系統(tǒng)劫持大事大事背景和安全威逼。理的流程。安全大事的覺察系統(tǒng)效勞器有被未知用戶掌握的記錄。大事緊急處理e2e-gum.zip#unzipe2e-gum.zip./ISS_HOME/WebUIServer/webapps/分析訪問日志#more/var/log/messages中添加以下配置setaddress“Untrust““DeniedIP-N“x.x.x.x55setgroupaddress“Untrust““DeniedIP“add“DeniedIP-N“#more/etc/passwd#passwd logonuser在必要狀況下，進(jìn)展操作系統(tǒng)和網(wǎng)管系統(tǒng)應(yīng)用軟件和程序的重安裝。安全大事分析對(duì)問題主機(jī)進(jìn)展進(jìn)程、日志、端口、效勞等分析，確認(rèn)問題。鏟除措施增加防火墻配置，限制惡意地址的訪問懇求。進(jìn)展系統(tǒng)安全加固?；謴?fù)措施重安裝操作系統(tǒng)和網(wǎng)管系統(tǒng)應(yīng)用軟件和程序；進(jìn)展系統(tǒng)安全加固；測試業(yè)務(wù)正常；系統(tǒng)上線運(yùn)行。惡意代碼大事大事背景主機(jī)系統(tǒng)感染病毒的可能性也越來越大。目的擊處理的流程。安全大事的覺察現(xiàn)象：維護(hù)人員在檢測過程中覺察UDPUDP大事緊急處理e2e-gum.zip#unzipe2e-gum.zip./ISS_HOME/WebUIServer/webapps/#more/etc/passwd#passwd logonuser在必要狀況下，進(jìn)展操作系統(tǒng)和網(wǎng)管系統(tǒng)應(yīng)用軟件和程序的重安裝。安全大事分析在問題主機(jī)上，確定惡意代碼特征：進(jìn)程、端口等，通常以 netstat–naple查看進(jìn)程和端口的綁定狀況，分析出特別的端口或者進(jìn)程Ps–ef會(huì)列出系統(tǒng)正在運(yùn)行的全部進(jìn)程N(yùn)etstat–anLsof–iArp–aarpMAC使用top命令查看cpu、內(nèi)存利用率高的進(jìn)程。鏟除措施去除惡意代碼，一般先停頓惡意進(jìn)程，同時(shí)將其相關(guān)文件刪除。安裝補(bǔ)丁或通過安全配置，修復(fù)漏洞?；謴?fù)措施重安裝操作系統(tǒng)，并恢復(fù)數(shù)據(jù)庫系統(tǒng)；對(duì)系統(tǒng)進(jìn)展安全加固。測試應(yīng)用系統(tǒng)，系統(tǒng)上線運(yùn)行。垃圾郵件大事大事背景發(fā)送的特征。見內(nèi)容包括賺錢信息、商業(yè)信等。的流程。安全大事的覺察現(xiàn)象：維護(hù)人員在檢測過程中覺察有郵件進(jìn)程啟動(dòng)。大事緊急處理關(guān)閉郵件效勞進(jìn)程#ps-ef|grepsendmail#kill進(jìn)程號(hào)安全大事分析確定垃圾郵件的關(guān)鍵字特征。鏟除措施停頓郵件進(jìn)程?；謴?fù)措施假設(shè)攻擊者放置了惡意程序，建議對(duì)主機(jī)重安裝操作系統(tǒng)對(duì)系統(tǒng)進(jìn)展安全加固。測試應(yīng)用系統(tǒng)，系統(tǒng)上線運(yùn)行。系統(tǒng)故障類大事數(shù)據(jù)庫故障場景大事背景突發(fā)數(shù)據(jù)庫無法連接或數(shù)據(jù)入庫提示對(duì)表空間”XXXX” 從而影響系統(tǒng)數(shù)據(jù)無法記錄，無法提取數(shù)據(jù)等現(xiàn)象。目的：該大事目的主要是對(duì)來自于數(shù)據(jù)庫突發(fā)故障大事進(jìn)展響應(yīng)。安全大事的覺察現(xiàn)象大事緊急處理登錄效勞器6，檢查數(shù)據(jù)是否獵取到本地，查看路徑/home/lnjk/zhzyyldat檢 查 數(shù) 據(jù) 入 庫 日 志 ，/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log覺察日志中存在“ORA-01950:對(duì)表空間”tnmsdbjk1_data”無權(quán)限”錯(cuò)誤；數(shù)據(jù)庫連接串：hn_x86oss3_1523_P1=(DESCRIPTION_LIST=(LOAD_BALANCE=no)(FAILOVER=on)(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=1)(PORT=1523))(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss31)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=2)(PORT=1523))(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss32)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=3)(PORT=1523))(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss33)))(DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=4)(PORT=1523))(CONNECT_DATA=(SERVICE_NAME=x86oss3)(INSTANCE_NAME=x86oss34))))用戶名：TNMSDBJK1安全大事分析狀況，如正常查看數(shù)據(jù)入庫日志；否則，通過數(shù)據(jù)冗余機(jī)制，人為誤刪除數(shù)據(jù)操作影響，緊急進(jìn)展人工操作恢復(fù)數(shù)據(jù)；登錄效勞器6，客戶表:nohup./DataImportUtil.sh-sY-vgumUserUnit>/dev/null& gumuserC_NE_GROUPCUSTOMER_TRIAL_20230927.txt業(yè)務(wù)表:nohup./DataImportUtil.sh-sY-vgumServiceBaseUnit>/dev/null& GUMSERVICEBASEC_NE_GROUPSERVICE_TRIAL_20230927.txt互聯(lián)網(wǎng)專線:nohup ./DataImportUtil.sh -s Y -vgumInternetServiceUnit >/dev/null C_NE_INTERNET_LINE_TRIAL_20230927.txt

GUMINTERNETSERVICE傳 輸 專 線 :nohup ./DataImportUtil.sh -s Y -vgumLeaseServiceUnit>/dev/null& C_NE_TRANS_LINE_TRIAL_20230927.txtAPN專線:nohup./DataImportUtil.sh-sY-vgumGprsServiceUnit>/dev/null& GUMGPRSSERVICEC_NE_GPRS_LINE_TRIAL_20230927.txt語音專線:nohup./DataImportUtil.sh-sY-vgumVoiceServiceUnit>/dev/null& GUMVOICESERVICEC_NE_SPEECH_LINE_TRIAL_20230927.txt短彩信專線:nohup./DataImportUtil.sh-sY-vgumSmsMmsServiceUnit>/dev/null& GUMSMSMMSSERVICE需留意文件生成時(shí)間，查看數(shù)據(jù)執(zhí)行狀況/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log；分析數(shù)據(jù)入庫日志/home/lnjk/ISS_HOME/dataimport/logs/dataimport.log，是否存在報(bào)錯(cuò)ORA-01950:對(duì)表空間”tnmsdbjk1_data”TNMSDBJK1該用戶RESOURCE角色，增加TNMSDBJK1該用戶表空間“tnmsdbjk1_data”中的配額。鏟除措施集中數(shù)據(jù)庫定期核查各系統(tǒng)數(shù)據(jù)庫用戶及表空間權(quán)限?；謴?fù)措施操作；假設(shè)數(shù)據(jù)未獵取，緊急人工操作恢復(fù)數(shù)據(jù)，后續(xù)查找具體緣由；數(shù)據(jù)入庫日志正常，庫表數(shù)據(jù)已入庫。網(wǎng)絡(luò)故障場景大事背景等狀況，影響系統(tǒng)使用。目的：該大事主要是對(duì)來自于數(shù)據(jù)庫無法連接的狀況。安全大事的覺察現(xiàn)象：有用戶反映在使用系統(tǒng)統(tǒng)計(jì)報(bào)表時(shí)，無法統(tǒng)計(jì)查詢出全部報(bào)表數(shù)據(jù)。大事緊急處理驗(yàn)證系統(tǒng)本地使用狀況，是否消滅無法查詢現(xiàn)象；2. 登錄服務(wù)器 4，查看運(yùn)維報(bào)表/home/lnjk/ISS_HOME/logs/件；無 報(bào) 錯(cuò) ， 重 啟 服 務(wù) 器 上表數(shù)據(jù)查詢狀況。perties，包括數(shù)據(jù)庫連接串，用戶名，密碼。pingi.ping1/52/53/54，查看是否網(wǎng)絡(luò)可通，如不通，查看路由信息traceroute1/52/53/54，記錄路由信息，緊急聯(lián)系網(wǎng)絡(luò)治理員，進(jìn)展處理；ii. ping1/52/53/54，查看是否網(wǎng)絡(luò)可通，網(wǎng)絡(luò)可通，查看數(shù)據(jù)1523，如不通，緊急聯(lián)系網(wǎng)絡(luò)治理員，進(jìn)展處理。安全大事分析是否為數(shù)據(jù)庫配置文件錯(cuò)誤影響；是否為效勞程序掛死，影響數(shù)據(jù)查詢；是否網(wǎng)絡(luò)不行達(dá)影響數(shù)據(jù)查詢。鏟除措施定期檢查數(shù)據(jù)庫連接狀況。應(yīng)用訪問特別故障大事背景404統(tǒng)無法使用。該大事主要是針對(duì)應(yīng)用效勞器應(yīng)用程序突發(fā)掛死現(xiàn)象導(dǎo)致的故障場景。安全大事的覺察客服人員在使用中突然覺察翻開頁面提示404統(tǒng)頁面。大事緊急處理驗(yàn)證系統(tǒng)本地使用狀況，是否消滅頁面報(bào)錯(cuò)現(xiàn)象；登錄效勞器4，查看使用進(jìn)程是否存在 ps-ef|grepDWebUIServer；3.查看是否因客服網(wǎng)絡(luò)32、網(wǎng)投網(wǎng)絡(luò)20〕問是否存在報(bào)錯(cuò)，無報(bào)錯(cuò)；查看頁面翻開狀況；在必要狀況下，恢復(fù)應(yīng)用程序備份版本。安全大事分析是否因網(wǎng)絡(luò)故障導(dǎo)致；是否因效勞程序存在隱蔽BUG。鏟除措施定期在未使用系統(tǒng)時(shí)間段，人工重啟相關(guān)效勞；定制腳本，在未使用系統(tǒng)時(shí)間段進(jìn)展效勞重啟；測試環(huán)境重復(fù)測應(yīng)用程序版本，是否存在致命BUG?；謴?fù)措施需依據(jù)定位狀況，逐步處理。臨時(shí)重啟應(yīng)用程序。數(shù)據(jù)源故障場景大事背景據(jù)等狀況，主要集中在各個(gè)廠商系統(tǒng)數(shù)據(jù)的維護(hù)方面，影響系統(tǒng)的使用。目的：該大事目的主要是通過功能使用覺察接口返回很多據(jù)的狀況。安全大事的覺察對(duì)應(yīng)的工單編號(hào)，導(dǎo)致無法獵取投