南基公眾服務(wù)云科來測試分析報告

中國移動南方基地公眾服務(wù)云

科來網(wǎng)絡(luò)回溯分析系統(tǒng)

測試分析報告硬件設(shè)備：科來千兆硬件探針支持長時間的實時與歷史分析（實時/日/周/月）；持續(xù)的原始的數(shù)據(jù)包記錄，可用于數(shù)據(jù)包深度挖掘分析，此次用到的是8TB的型號，另有2TB/4TB/16TB/32TB等型號；支持網(wǎng)絡(luò)與應(yīng)用響應(yīng)時延分析；保存所有分析統(tǒng)計信息于內(nèi)置的數(shù)據(jù)庫，以產(chǎn)生報表報告超高顆粒度：支持1分鐘/1秒/100毫秒/1毫秒精度；軟件系統(tǒng)：科來控制臺軟件一體化流量智能分析軟件，支持對多臺監(jiān)控探針監(jiān)控數(shù)據(jù)來源進行統(tǒng)一的管理與分析。支持的操作系統(tǒng)為：Windows各類版本/Linux/Solaris提供以Web瀏覽的實時監(jiān)控界面/歷史分析及報表界面軟件功能一體化測試系統(tǒng)組成部署示意圖_當(dāng)前部署網(wǎng)絡(luò)及業(yè)務(wù)系統(tǒng)性能分析網(wǎng)絡(luò)可視化管理：關(guān)鍵網(wǎng)絡(luò)參數(shù)監(jiān)測、應(yīng)用流量梳理、透視用戶業(yè)務(wù)用量應(yīng)用性能監(jiān)測：監(jiān)測應(yīng)用交互各環(huán)節(jié)的響應(yīng)時間、掌握影響用戶感受的關(guān)鍵因素網(wǎng)絡(luò)&應(yīng)用Troubleshooting網(wǎng)絡(luò)&應(yīng)用閥值預(yù)警

區(qū)分故障層次（網(wǎng)絡(luò)問題/應(yīng)用系統(tǒng)問題）,定位故障點、分析故障根源確保網(wǎng)絡(luò)安全可靠

發(fā)現(xiàn)和預(yù)警網(wǎng)絡(luò)異常行為用戶網(wǎng)絡(luò)行為分析安全事件回溯與取證需求分析匯報主題網(wǎng)絡(luò)流量負(fù)載分析異?，F(xiàn)象深入分析公眾服務(wù)云內(nèi)網(wǎng)網(wǎng)絡(luò)時延分析網(wǎng)絡(luò)流量梳理業(yè)務(wù)流量與性能監(jiān)控智能預(yù)警主動發(fā)現(xiàn)問題1.網(wǎng)絡(luò)流量負(fù)載分析提供實時監(jiān)控報表高清晰度的流量負(fù)載分析問題快速關(guān)聯(lián)分析網(wǎng)絡(luò)流量實時可視化監(jiān)控：實時監(jiān)控通過對數(shù)據(jù)包進行7層的深度檢查，我們可以掌握網(wǎng)絡(luò)實時監(jiān)控狀態(tài)：流量負(fù)載及趨勢變化：流量大小、數(shù)據(jù)包速率及TCP連接等健康指標(biāo)；TOP網(wǎng)段監(jiān)控：掌握是哪些用戶、分公司和部門使用公眾云資源的狀況；TOP應(yīng)用監(jiān)控：掌握哪些業(yè)務(wù)系統(tǒng)使用頻率高、是否存在非業(yè)務(wù)流量；TOP主機：掌握哪些用戶流量最大，及時發(fā)現(xiàn)異?？蛻舳?；實時預(yù)警：及時掌握網(wǎng)絡(luò)突發(fā)、攻擊、網(wǎng)絡(luò)及應(yīng)用時延下降、應(yīng)用訪問失敗等異常狀況：這些統(tǒng)計數(shù)據(jù)及通信數(shù)據(jù)包也會被記錄在回溯分析系統(tǒng)中，這樣對于過去發(fā)生的異常事件，我們也可以通過回溯挖掘分析，對于預(yù)警和異常狀況我們可以進一步進行深入分析。通過科來系統(tǒng)的回溯分析界面可以對公眾服務(wù)云關(guān)鍵節(jié)點的負(fù)載情況作生日分析，包括了流量視圖，監(jiān)測分析面板，以及各類統(tǒng)計參數(shù)；系統(tǒng)良好的可讀性和關(guān)聯(lián)分析能力是科來系統(tǒng)的主要特點；①可以選擇任意時間③可以選擇關(guān)鍵分參數(shù)分析②各種監(jiān)測報表面板通過對網(wǎng)絡(luò)關(guān)鍵參數(shù)，TCP同步包數(shù)和同步確認(rèn)包數(shù)的對比分析，可以快速了解鏈路的效率以及其中是否存在攻擊或異常；1）TCP同步包數(shù)與同步確認(rèn)包數(shù)差距較大時，預(yù)示可能存在掃描、病毒或者攻擊等異常行為；也可能預(yù)示存在丟包與重傳現(xiàn)象，預(yù)示網(wǎng)絡(luò)性能的異常，需要進一步分析2）在后續(xù)章節(jié)中將會對該現(xiàn)象做進一步排查；關(guān)鍵節(jié)點負(fù)載分析MX906節(jié)點一天的平均流量持續(xù)在100Mbps左右；網(wǎng)絡(luò)中會出現(xiàn)無規(guī)律性的流量突發(fā)和小包流量突發(fā)；流量突發(fā)峰值超過850Mbps，導(dǎo)致全天流量超過1TB字節(jié)；小包突發(fā)峰值包率將近200，000pps，數(shù)值偏高，有可能影響設(shè)備性能；MX906節(jié)點超過850Mbps，導(dǎo)致全天流量超過1TB字節(jié)流量負(fù)載監(jiān)控：MX906節(jié)點大部時間的SYN連接請求數(shù)在1000pps左右；時常會出現(xiàn)大流量的SYN請求風(fēng)暴，峰值高達(dá)200，000pps，可以判斷網(wǎng)絡(luò)中的小包風(fēng)暴是由此引起；網(wǎng)絡(luò)中一天的SYN請求數(shù)超過9億次，而SYN確認(rèn)數(shù)只有不到7千萬次，網(wǎng)絡(luò)中存在TCP端口掃描或者DDOS攻擊，導(dǎo)致了大量的SYN風(fēng)暴，極可能影響到網(wǎng)絡(luò)的性能；本文檔后續(xù)章節(jié)將對SYN風(fēng)暴的的源頭進行追蹤，定位源頭。MX906節(jié)點網(wǎng)絡(luò)連接數(shù)監(jiān)控：N5K節(jié)點N5K節(jié)點一天的平均流量持續(xù)在30Mbps左右；較少出現(xiàn)流量突發(fā)，峰值流量57.11Mbps；全體流量約290GB字節(jié)；N5K節(jié)點的流量峰值不高，但該節(jié)點用量持續(xù)維持在某一水平亦有可能存在異常狀況，本文檔后續(xù)章節(jié)將體現(xiàn)實用科來對用量如何進行詳細(xì)分析。流量負(fù)載分析：過去10天，每天凌晨都會有這樣的突發(fā)流量存在；該流量行為特征類似流量備份，建議管理員通過IP地址源頭定位該凌晨流量是否為正常的備份流量。N5K節(jié)點SYN連接請求2-3Kbps左右，無異常突發(fā)；但同步請求包數(shù)持續(xù)大于同步確認(rèn)包數(shù)，一天達(dá)到2億次：1.4億次，說明網(wǎng)絡(luò)中明顯存在持續(xù)的TCP端口掃描或者業(yè)務(wù)連接異常的狀況。我們將在下一章節(jié)中，對TCP端口掃描的的源頭進行追蹤，定位源頭。N5K節(jié)點網(wǎng)絡(luò)連接數(shù)監(jiān)控：2.異常現(xiàn)象深入分析MX960節(jié)點網(wǎng)絡(luò)異常狀況分析N5K節(jié)點網(wǎng)絡(luò)異常狀況分析管理網(wǎng)異常分析MX960節(jié)點_現(xiàn)象1異常持續(xù)的用量分析在測試期間，從6月20日開始，MX960出口流量出現(xiàn)了較大的激增；激增后的用量持續(xù)存在，平均流量為500Mbps，峰值接近1Gbps，未見明顯的業(yè)務(wù)時段流量變化曲線；出口絕大部分流量（>99%）是未知的UDP應(yīng)用，如上圖所示，這些流量是0與3產(chǎn)生的，產(chǎn)生的流量超過460Mbps，56Kpps：這些流量在做什么？我們對其進行了解碼分析：從監(jiān)控數(shù)據(jù)庫中可以看到：所有數(shù)據(jù)均是0發(fā)起的；幾乎絕大部分的數(shù)據(jù)包都是一樣的，他們的IP標(biāo)識均不相同，說明這不是重傳的數(shù)據(jù)，是0主動產(chǎn)生的，沒有收到對端的回應(yīng)；數(shù)據(jù)包的內(nèi)容都是沒有意義的填充數(shù)據(jù)，都是16進制代碼58，即英文大寫字母“X”；很明顯，該主機在進行網(wǎng)絡(luò)填充攻擊；（填充攻擊指的是以故意在數(shù)據(jù)包內(nèi)容部分填充一些無用的數(shù)據(jù)來消耗網(wǎng)絡(luò)帶寬和系統(tǒng)資源的一種網(wǎng)絡(luò)攻擊）這些數(shù)據(jù)發(fā)送間隔極短，小于0.1毫秒；建議：這些填充攻擊的流量絕大部分是單向的數(shù)據(jù)，說明有可能是路由器進行流控時將數(shù)據(jù)包丟棄了；從好的方面著想，說明我們路由器的限速功能有效；但從另一方面考慮，這些流量是經(jīng)過了接入、匯聚、核心交換機以及防火墻、路由器等一系列公眾服務(wù)云的網(wǎng)元設(shè)備，每個設(shè)備均要7x24小時不間斷地處理500Mbps、50Kpps的無用數(shù)據(jù)（根據(jù)我們經(jīng)驗，很多千兆設(shè)備處理這樣的流量性能消耗會很大）；從主動運維和優(yōu)化的角度考慮，我們建議讓相應(yīng)的系統(tǒng)管理員對應(yīng)用端進行優(yōu)化處理，或者在該主機連接的接入層交換機上就對這些流量進行處理；MX960節(jié)點_現(xiàn)象1優(yōu)化效果說明我們提交報告后，管理員與運維工程師均非常負(fù)責(zé)，對此進行了處理：“于7月1日時通知客戶處理，客戶發(fā)現(xiàn)異常流量后關(guān)機”；后續(xù)該異常用量未有重現(xiàn)，應(yīng)該是處理完畢了；通過對這些異常數(shù)據(jù)的處理，期望能呈現(xiàn)科來提供的深入挖掘分析功能：可有效減少了訪問公眾服務(wù)云的無效流量，減輕了相關(guān)設(shè)備的負(fù)載，協(xié)助管理者主動優(yōu)化了這些環(huán)節(jié)的性能表現(xiàn)，更好地保障用戶體驗公眾服務(wù)云網(wǎng)絡(luò)的體驗感受；MX960節(jié)點_現(xiàn)象1突發(fā)用量分析突發(fā)峰值回溯：7月上旬，鏈路中持續(xù)出現(xiàn)超過800Mbps的流量突發(fā)，回溯到這些時間段我們發(fā)現(xiàn)，每次突發(fā)持續(xù)了幾分鐘：突發(fā)源頭追蹤：通過挖掘分析我們發(fā)現(xiàn)，該時段有兩個主機的流量遠(yuǎn)遠(yuǎn)大于其他主機：09：產(chǎn)生250GB字節(jié)流量，占當(dāng)時總流量的67%。9：產(chǎn)生88GB字節(jié)流量，占當(dāng)時總流量的23%。這兩臺主機產(chǎn)生的流量超過總流量的90%，需要進一步分析是否存在異常。MX960節(jié)點_現(xiàn)象209流量分析突發(fā)時段分析：該主機峰值流量超過600Mbps，是造成MX960節(jié)點流量突發(fā)的最主要因素：流量成分：主機09總流量250G，其中包括MSRDP流量（遠(yuǎn)程桌面）50GB字節(jié)、HTTP流量17GB字節(jié)，還有80G的非標(biāo)準(zhǔn)IP流量。MX960節(jié)點_現(xiàn)象2MSRDP流量分析：該主機持續(xù)通過遠(yuǎn)程桌面端口訪問超過45000個境外（美國、俄羅斯、波蘭和意大利……），3個小時期間內(nèi)與這些主機交互的數(shù)據(jù)將近50GB字節(jié)流量，09極可能在這些境外主機安裝了病毒木馬，進行遠(yuǎn)程控制：MX960節(jié)點_現(xiàn)象2HTTP流量分析：該主機主要針對境內(nèi)外的三個主機發(fā)起大量的HTTPSYN連接請求；通過進行一步解碼分析，我們發(fā)現(xiàn)這些連接頻率非常高，20微秒左右變產(chǎn)生一個新的SYN連接請求，序列號依次增加，說明不是物理環(huán)路后者重傳包，這是很明顯的SYNFlood攻擊。MX960節(jié)點_現(xiàn)象2非標(biāo)準(zhǔn)的IP流量：主機09還產(chǎn)生了超過80G的非標(biāo)準(zhǔn)IP流量這些非標(biāo)準(zhǔn)的IP流量為大量重復(fù)的相同數(shù)據(jù)包，這些數(shù)據(jù)包采用相同的UDP填充字節(jié)，但I(xiàn)P標(biāo)志均未見重復(fù)，表明這些數(shù)據(jù)包不是重傳包；MX960節(jié)點_現(xiàn)象2通過以上流量特征，可以判斷主機09在進行網(wǎng)絡(luò)填充攻擊：結(jié)論：主機09產(chǎn)生的異常網(wǎng)絡(luò)流量較大，采用多種類型的攻擊手段，針對的目標(biāo)涵括了境內(nèi)外，由此經(jīng)常產(chǎn)生大量的流量突發(fā)，較大量的會話連接數(shù)，影響路由經(jīng)過網(wǎng)絡(luò)設(shè)備的性能，建議及時進行優(yōu)化處理或策略限制：MX960節(jié)點_現(xiàn)象2該主機的其它異常行為還包括上述攻擊手段，影響公眾服務(wù)云網(wǎng)絡(luò)運行的效率；數(shù)據(jù)庫惡意連接網(wǎng)站掃描：高危DNS地址解析：MX960節(jié)點_現(xiàn)象29流量分析突發(fā)時段分析：主機9出現(xiàn)了多次的流量突發(fā)，每次流量突發(fā)持續(xù)在200Mbps，往外網(wǎng)主機5發(fā)送了超過83GB字節(jié)的非標(biāo)準(zhǔn)IP流量：MX960節(jié)點_現(xiàn)象2MX960節(jié)點_現(xiàn)象2流量成分分析：主機9往5大量的大包，這些數(shù)據(jù)包的IP標(biāo)志都不一致說明不是重傳數(shù)據(jù)包，但都采用了相同的填充字節(jié)，存在填充攻擊行為：同時還發(fā)現(xiàn)該主機續(xù)不斷地解析“3322.org”、“jifr”等危險域名；MX960節(jié)點網(wǎng)絡(luò)異常狀況分析該主機在過去十天經(jīng)常出現(xiàn)這種大流量爆發(fā)，除了填充攻擊，還有端口掃描等其他異常行為，對路由經(jīng)過的設(shè)備性能會造成較大的開銷，也是內(nèi)部的安全隱患，建議及早進行處理。N5K節(jié)點網(wǎng)絡(luò)異常狀況分析N5K節(jié)點網(wǎng)絡(luò)異常狀況分析異常持續(xù)的用量分析在N5K監(jiān)測點上，可以看到流量水平與傳統(tǒng)的業(yè)務(wù)用量曲線不同，呈持續(xù)狀：通過關(guān)聯(lián)分析，發(fā)現(xiàn)這些流量絕大部分是“北京訊程天下信息技術(shù)有限公司”網(wǎng)段的主機產(chǎn)生的，均是HTTP協(xié)議的用量；如果沒有深入分析的手段，一般情況下看到業(yè)務(wù)主機產(chǎn)生WEB的流量，會認(rèn)為這是“正常的”，但事實確是如此嗎？上述IP會話試圖中有兩個異常的現(xiàn)象，其一是：IP會話46和50間的流量較大，且持續(xù)生成；其二是：主機21與192.169網(wǎng)段的多臺主機同時產(chǎn)生HTTP交互的數(shù)據(jù)；產(chǎn)生這些HTTP的流量，共有346個IP會話，如下圖所示：N5K節(jié)點網(wǎng)絡(luò)異常狀況分析在我們選取分析45秒的時間段內(nèi)，46和50間產(chǎn)生的TCP會話數(shù)量竟達(dá)到了22193個；現(xiàn)象1：N5K節(jié)點網(wǎng)絡(luò)異常狀況分析我們對這些會話過程進行分析，如下圖所示：50作為客戶端，與46建立TCP連接請求后，每次都會向服務(wù)端發(fā)起GET/a.php（或/b.php）的請求，服務(wù)端立即返回一個ACK，說明服務(wù)端已經(jīng)收到該請求；在服務(wù)端返回處理結(jié)果前，它還發(fā)送了“HOST:”的內(nèi)容，服務(wù)端也做了回應(yīng)；需要注意的是，服務(wù)端返回“200OK”的處理實驗，接近10秒，也就是說服務(wù)端應(yīng)用測的延遲已經(jīng)達(dá)到較高的水平；后續(xù)的一些請求中，我們還發(fā)現(xiàn)服務(wù)端直接返回“503serviceTemporarilyUnavailabe”的錯誤，可能是服務(wù)端應(yīng)用側(cè)已經(jīng)處理不過來了；50每次請求的內(nèi)容相同，持續(xù)出現(xiàn)大量的會話連接，這樣的數(shù)據(jù)，已經(jīng)實現(xiàn)了“拒絕服務(wù)攻擊”的效果，值得關(guān)注；N5K節(jié)點網(wǎng)絡(luò)異常狀況分析同時，我們進行關(guān)聯(lián)分析的時候，在MX960上未見該異常連接的數(shù)據(jù)；這有可能是內(nèi)網(wǎng)發(fā)起的，對內(nèi)部服務(wù)器的異常連接或攻擊，建議針對雙方IP進行跟進分析。21與內(nèi)網(wǎng)多臺主機產(chǎn)生交互的HTTP數(shù)據(jù)，每個IP會話的流量大約在30-50Kbps左右；N5K節(jié)點網(wǎng)絡(luò)異常狀況分析現(xiàn)象2：作進一步分析，發(fā)現(xiàn)21是服務(wù)端，192.169網(wǎng)段的多臺主機向服務(wù)端80端口發(fā)起了大量的連接，分析期間，每個客戶端均存在一千多個TCP會話，如上圖的22：又如下圖的20：還有下圖的26：這些192.169網(wǎng)段的主機，行為表現(xiàn)一致，對服務(wù)端21產(chǎn)生大量的HTTP連接，有些連接過程中，服務(wù)端RTT的延遲接近9秒；對這些異常連接的內(nèi)容作進一步排查，發(fā)現(xiàn)這些客戶端向21請求內(nèi)容都是GET/a.php或/b.php，在傳輸過程中也都發(fā)現(xiàn)包含“HOST:shouxin.”：N5K節(jié)點網(wǎng)絡(luò)異常狀況分析在傳輸過程，需要9秒才成功建立了網(wǎng)絡(luò)連接，建立連接后，應(yīng)用段回復(fù)了“503”錯誤，可能是因為服務(wù)端應(yīng)用測遇到瓶頸了；N5K節(jié)點網(wǎng)絡(luò)異常狀況分析經(jīng)查實，21是客戶虛擬機46的NAT地址，50是公眾地址池中的地址，所有沒綁定公網(wǎng)IP的虛擬機，通過這個地址訪問INTERNET資源；我們在N5K監(jiān)測點看到的這兩個異?，F(xiàn)象，實際上是192.169.130.x網(wǎng)段的多臺主機發(fā)送了大量“Get/a.php或Get/b.php”請求，經(jīng)過公網(wǎng)出去再回來，去到46；這兩個異?，F(xiàn)象造成的影響有：1）大增加了經(jīng)由路徑上的所有網(wǎng)元設(shè)備處理的會話數(shù)，增加了相關(guān)網(wǎng)元設(shè)備的負(fù)載；2）導(dǎo)致46應(yīng)用延遲很高，甚至拒絕服務(wù)；從數(shù)據(jù)解碼中可以看到，異常的連接可能與有關(guān)，是移動mm托管應(yīng)用，而用戶“北京訊程天下信息技術(shù)有限公司”的主營業(yè)務(wù)是為醫(yī)療行業(yè)用戶提供基于移動終端的信息化應(yīng)用服務(wù)；很有可能是程序問題導(dǎo)致了異常的產(chǎn)生；使用科來回溯系統(tǒng)分析該問題，意義有：1）如果該用戶反饋、或投訴實用公眾服務(wù)云平臺有問題時，我們有手段分析，有數(shù)據(jù)依據(jù)告訴其問題的原因；2）有手段支持我們可視化管理，以及“主動運維”：管理網(wǎng)異常分析異常SNMP流量分析MYSQL流量分析SNMP流量管理網(wǎng)流量呈周期性用量突發(fā)，周期突發(fā)的流量均是MYSQL流量，此外，還有較多的SNMP用量：查看這些SNMP的主機用量，一共有23臺主機產(chǎn)生了流量，15秒時間段內(nèi)，有22臺主機的流量小于10KB，另外有一臺主機的用量超過20MB：6和0間的SNMP數(shù)據(jù)交互超過12Mbps、15Kpps，大于一般SNMP數(shù)據(jù)交互產(chǎn)生的流量；異常SNMP流量分析SNMP流量正常的SNMP交互數(shù)據(jù)不會僅有request和response信息，還會包含具體的數(shù)據(jù)內(nèi)容：交互數(shù)據(jù)重復(fù)并且一直生成，很有可能是應(yīng)用異常，建議排查，減少管理網(wǎng)的負(fù)荷，優(yōu)化管理網(wǎng)的網(wǎng)絡(luò)環(huán)境。通過數(shù)據(jù)解碼可以看到二者間一直在進行request和response：SNMP流量MYSQL流量分析12分鐘顆粒度試圖：6分鐘顆粒度試圖：15秒顆粒度試圖：科來系統(tǒng)的歷史數(shù)據(jù)的分析報表，最小的顆粒度為1秒；在較細(xì)顆粒度的試圖中，我們可以看到管理網(wǎng)中，周期性地產(chǎn)生相同流量的數(shù)據(jù)，峰值超過150Mbps，100KPPS，這些數(shù)據(jù)中MYSQL的流量超過65%，平均包長只有206B；MYSQL流量這些MYSQL的流量，是IP地址為0和9的兩臺主機與0間交互數(shù)據(jù)產(chǎn)生的；這些MYSQL的流量產(chǎn)生周期較短，每次流量大小相同，對網(wǎng)絡(luò)產(chǎn)生了一定的負(fù)擔(dān)，建議檢查應(yīng)用配置，看看是否連接的異常，或者是否能夠優(yōu)化同步或配分的配置；MYSQL流量公眾服務(wù)云內(nèi)網(wǎng)網(wǎng)絡(luò)時延分析內(nèi)網(wǎng)時延分析與監(jiān)測定位問題時，如何區(qū)分“內(nèi)網(wǎng)延遲”、“外網(wǎng)延遲”以及“服務(wù)端延遲”“政企分公司集團彩漫平臺”的WEB服務(wù)器在MX960地址：39在N5K地址：8可以根據(jù)這個規(guī)則識別屬于“政企分公司集團彩漫平臺web”的流量，進一步對該業(yè)務(wù)經(jīng)過這兩個節(jié)點的流量和時延信息進行監(jiān)控：公眾服務(wù)云內(nèi)網(wǎng)網(wǎng)絡(luò)時延分析“政企分公司集團彩漫平臺web”業(yè)務(wù)在MX960節(jié)點的流量與網(wǎng)絡(luò)時延：“政企分公司集團彩漫平臺web”業(yè)務(wù)在N5K節(jié)點的流量與網(wǎng)絡(luò)時延：“三次握手平均服務(wù)器RTT”即可認(rèn)為是數(shù)據(jù)包從鏡像節(jié)點往返一次服務(wù)器的網(wǎng)絡(luò)時延；因此我們可以計算“政企分公司集團彩漫平臺web”經(jīng)過MX960節(jié)點與N5K節(jié)點的網(wǎng)絡(luò)時延：MX960與N5K的時延=“MX960節(jié)點服務(wù)器RTT1”-“N5K節(jié)點服務(wù)器RTT2”客戶端MX960節(jié)點服務(wù)器RTT1N5K節(jié)點服務(wù)器RTT2MX960與N5K的時延60.5毫秒0.2毫秒0.3毫秒040.5毫秒0.3毫秒0.2毫秒223.202.47.1410.5毫秒0.2毫秒0.3毫秒公眾服務(wù)云內(nèi)網(wǎng)網(wǎng)絡(luò)時延分析公眾服務(wù)云內(nèi)網(wǎng)網(wǎng)絡(luò)時延分析也可以直接對比服務(wù)器在兩個節(jié)點的服務(wù)器端RTT，可以更快捷的得出結(jié)果：公眾服務(wù)云內(nèi)網(wǎng)網(wǎng)絡(luò)時延分析對于未經(jīng)過定義的數(shù)據(jù)，通過科來系統(tǒng)的實時數(shù)據(jù)進行對比，也可以快速測量公眾服務(wù)云內(nèi)網(wǎng)的網(wǎng)絡(luò)延遲，為常態(tài)監(jiān)控、故障定位等提供便捷技術(shù)手段：例如在N5K監(jiān)測節(jié)點上選取任意業(yè)務(wù)進行分析：我們選取N5K節(jié)點上的HTTP進行分析，發(fā)現(xiàn)在選取的期間內(nèi)網(wǎng)地址2通過TCP55758、56318、55725訪問了北京移動7的HTTP應(yīng)用，客戶端RTT為0.3毫秒，服務(wù)端的延遲為三十多毫秒；公眾服務(wù)云內(nèi)網(wǎng)網(wǎng)絡(luò)時延分析即使源地址經(jīng)過了防火墻的NAT，從2變成了9，在科來系統(tǒng)上仍可以通過目的地址，或者源端口信息快速找到相同的會話進行對比分析；在MX960同樣能看到這三個會話過程：從對比的結(jié)果可以得到兩個有用的信息：1）公眾服務(wù)內(nèi)部網(wǎng)絡(luò)延遲很穩(wěn)定，并且維持在較低水平（0.2ms）；2）南基公眾服務(wù)云和北京移動間的廣域網(wǎng)傳輸延遲較低，僅有30多毫秒；這兩個參數(shù)，對于常態(tài)監(jiān)測衡量公眾服務(wù)云的運行情況，以及突發(fā)性的故障分析，都能提供直接的數(shù)據(jù)支持依據(jù)。網(wǎng)絡(luò)流量梳理關(guān)鍵業(yè)務(wù)流量梳理關(guān)鍵用戶流量梳理關(guān)鍵業(yè)務(wù)流量梳理網(wǎng)絡(luò)流量梳理對于網(wǎng)絡(luò)中關(guān)鍵的業(yè)務(wù)流量，可以通過“源目標(biāo)IP+服務(wù)端口號”對其進行識別，從而對其流量和性能進行監(jiān)控；還可以進一步通過子目錄區(qū)分該業(yè)務(wù)的不同操作，實現(xiàn)更加精細(xì)化的監(jiān)控。通過“服務(wù)器IP=0”+“TCP80端口”可識別“ecloud”業(yè)務(wù)；進一步通過不同子目錄識別該業(yè)務(wù)不同的操作：“/servicesupportnew”識別訪問“服務(wù)支持”的內(nèi)容。“/helpcentrenew”識別訪問“幫助中心”的內(nèi)容。定義完成后，便可對“ecloud”業(yè)務(wù)進行流量和性能的監(jiān)控：對“幫助中心”和“服務(wù)支持”的訪問性能進行監(jiān)控：對交易內(nèi)容進行挖掘：關(guān)鍵用戶流量梳理網(wǎng)絡(luò)流量梳理對不同來源的用戶源，可以通過IP地址段進行區(qū)分：進一步進行流量排名和數(shù)據(jù)的挖掘：掌握每個每個用戶的流量趨勢變化：業(yè)務(wù)流量與性能監(jiān)控業(yè)務(wù)訪問量分析客戶端流量分析客戶端網(wǎng)絡(luò)質(zhì)量分析最慢語句追蹤業(yè)務(wù)流量與性能監(jiān)控業(yè)務(wù)性能監(jiān)控原理：將TCP會話數(shù)據(jù)流重組，便可通過時延、丟包、重傳等參數(shù)判斷服務(wù)器與網(wǎng)絡(luò)的性能。例如：通過三次握手，可以判斷客戶端網(wǎng)絡(luò)時延與服務(wù)器端網(wǎng)絡(luò)時延；對與客戶端的每一次請求，我們都可以計算服務(wù)器花了多長時間查詢、多長時間響應(yīng)以及請求內(nèi)容是否成功和交易失敗的代碼：接下里將以和“eCloud”業(yè)務(wù)為例，進行性能分析。業(yè)務(wù)流量與性能監(jiān)控業(yè)務(wù)訪問量分析流量負(fù)載：“eCloud”業(yè)務(wù)一天24小時均存在訪問流量，流量峰值在2Mbps以內(nèi)，一天總共產(chǎn)生了2.45GB字節(jié)流量：TCP連接數(shù)統(tǒng)計：”eCloud”業(yè)務(wù)峰值連接數(shù)不超過100個，服務(wù)器的響應(yīng)成功率高達(dá)100%：會話統(tǒng)計：峰值會話數(shù)在1000個左右，“新建會話數(shù)”與“關(guān)閉會話數(shù)”基本一直，并異常的TCP長鏈接：業(yè)務(wù)流量與性能監(jiān)控客戶端流量分析訪問“eCloud”業(yè)務(wù)的客戶端中，“32”明顯異常于其他客戶端，該客戶端一天產(chǎn)生了1.70GB字節(jié)的流量，其中下載流量1.61GB字節(jié)，占“eCloud”業(yè)務(wù)總流量的68.8%，遠(yuǎn)遠(yuǎn)大于其他客戶端。主機“32”一天24小時均持續(xù)產(chǎn)生流量，基本都是訪問“eCloud”系統(tǒng)的流量，一天能產(chǎn)生308個TCP連接：通過URL訪問日志可以看到，該客戶端在持續(xù)的下載圖片；建議查看該客戶端的這種行為是否合理，是否存在應(yīng)用異常，或者數(shù)據(jù)竊密等行為。業(yè)務(wù)流量與性能監(jiān)控客戶端網(wǎng)絡(luò)質(zhì)量分析通過三次握手時間可以判斷鏡像點分別到客戶端和服務(wù)器的網(wǎng)路質(zhì)量，“eCloud”業(yè)務(wù)的總體網(wǎng)絡(luò)時延為25.6毫秒，其中客戶端網(wǎng)絡(luò)時延為25.2毫秒，服務(wù)器端的時延為0.4毫秒：客戶端網(wǎng)絡(luò)時延分析：部分省外和境外客戶端的網(wǎng)絡(luò)時延較大：服務(wù)器端網(wǎng)絡(luò)時延分析：服務(wù)器端的網(wǎng)絡(luò)時延基本在0.4毫秒以內(nèi)，說明MX960節(jié)點至服務(wù)器間的網(wǎng)絡(luò)設(shè)備和線路性能極好：業(yè)務(wù)流量與性能監(jiān)控最慢語句追蹤響應(yīng)時間監(jiān)控：“eCloud”業(yè)務(wù)的服務(wù)器平均時延為52.3毫秒，從平均時延來說對用戶的體驗影響很小，但經(jīng)常出現(xiàn)大時延突發(fā)，其中一天最大服務(wù)器突發(fā)時延高達(dá)52秒鐘，這明顯會影響到用戶的體驗；時延大語句追蹤：7月18號早上上班時段有一次較大的服務(wù)器時延，通過排序定位到是客戶端“31”產(chǎn)生的，該客戶端的網(wǎng)絡(luò)時延只有6.6毫秒，而最大的服務(wù)器響應(yīng)時延高達(dá)35秒鐘：將客戶端該時段訪問“eCloud”業(yè)務(wù)的TCP流進行重組分析，可以發(fā)現(xiàn)該客戶端在請求“GET/checkout/order/managerHTTP/1.1”語句是，服務(wù)器消耗了超過35秒鐘才響應(yīng)完成，并傳輸了24.502KB字節(jié)數(shù)據(jù)：請求內(nèi)容：響應(yīng)內(nèi)容：業(yè)務(wù)流量與性能監(jiān)控業(yè)務(wù)流量與性能監(jiān)控由于該時段的網(wǎng)絡(luò)時延和訪問量都不大，我們需要進一步關(guān)注是否服務(wù)器處理該語句都要消耗較大的時延，可以通過定義該操作的url來進行監(jiān)控：智能預(yù)警主動發(fā)現(xiàn)問題異常主機發(fā)現(xiàn)高危DNS域名觸發(fā)應(yīng)用特征發(fā)現(xiàn)失敗請求服務(wù)器與網(wǎng)絡(luò)時延預(yù)警其他預(yù)警設(shè)置智能預(yù)警主動發(fā)現(xiàn)問題通過之前的分析我們發(fā)現(xiàn)公眾云網(wǎng)絡(luò)經(jīng)常出現(xiàn)異常的TCP鏈接，我們可以通過以下兩個流量特征（三個預(yù)警條件）結(jié)合，主動的對這些異常主機進行預(yù)警：1）特征一：“每秒發(fā)送TCP同步包數(shù)”>20，而“每秒接收TCP同步確認(rèn)包數(shù)”<102)“平均包長”<120定義完告警后，我們發(fā)現(xiàn)實時觸發(fā)高預(yù)警的主機持續(xù)存在，比如當(dāng)前時段連續(xù)出發(fā)該預(yù)警的主機為“0”，我們可以對該主機進行“回溯分析”，進一步驗證該主機是否存在異常狀況：客戶端網(wǎng)絡(luò)質(zhì)量分析智能預(yù)警主動發(fā)現(xiàn)問題異常行為分析：通過回溯挖掘我們發(fā)現(xiàn)該主機一直在持續(xù)的產(chǎn)生FTP數(shù)據(jù)，并且已經(jīng)連接上很多境外主機的FTP端口：智能預(yù)警主動發(fā)現(xiàn)問題FTP帳號暴力破解：通過TCP會話流的數(shù)據(jù)重組，我們發(fā)現(xiàn)該主機在不斷的更滑帳號和密碼嘗試登錄這些境外主機的FTP，是很典型的暴力破解行為：智能預(yù)警主動發(fā)現(xiàn)問題高危DNS域名觸發(fā)通過高危病毒木馬域名的監(jiān)控，能夠發(fā)現(xiàn)一些處于潛伏期的木馬“肉機”：其中1就24小時不間斷的在進行高危域名的解析，明顯存在木馬進程，建議盡快處理，防止影響公眾服務(wù)云的網(wǎng)絡(luò)或者其它主機；應(yīng)用特征發(fā)現(xiàn)失敗請求智能預(yù)警主動發(fā)現(xiàn)問題可以通過服務(wù)器返回的代碼，對交易失敗的請求進行預(yù)計，比如HTTP404、HTTP503等各種錯誤：告警出發(fā)：智能預(yù)警主動發(fā)現(xiàn)問題交易失敗語句定位：通過HTTP的訪問日志，我們發(fā)現(xiàn)所有的404失敗的語句都來源與web服務(wù)器71以下的語句：“GET/ec/boss/BOSSCommandReceiverServletHTTP/1.1”23一天24小時均在訪問該web服務(wù)器，重復(fù)訪問相同的語句，可能存在異常狀況：智能預(yù)警主動發(fā)現(xiàn)問題服務(wù)器與網(wǎng)絡(luò)時延預(yù)警我們可以根據(jù)三次握手響應(yīng)時延、丟包問題去發(fā)現(xiàn)網(wǎng)絡(luò)問題；如“客戶端網(wǎng)絡(luò)時延異常”預(yù)警：“三次握手平均時延超過100毫秒”同事“三次握手平均客戶端時延超過100毫秒”；發(fā)出該預(yù)警的客戶端，肯定是網(wǎng)絡(luò)質(zhì)量除了問題服務(wù)器“響應(yīng)質(zhì)量下降”預(yù)警：通過這段時間的監(jiān)控我們了解到“POP3收信登錄”的交易數(shù)量基本不超過3000pps、平均響應(yīng)時延不超過200ms，那么如果“TCP交易數(shù)量”超過10000pps、“平均響應(yīng)時延”超過1000毫秒，則說明由于業(yè)務(wù)量上升，服務(wù)器的質(zhì)量嚴(yán)重下降：隨著我們對業(yè)務(wù)系統(tǒng)的深入了解，我們可以設(shè)置更多這樣有針對性的預(yù)警，及時發(fā)現(xiàn)業(yè)務(wù)體驗的變化，快速的定制應(yīng)對的策略。客戶端網(wǎng)絡(luò)質(zhì)量分析通過數(shù)據(jù)解碼可以看到二者間一直在進行request和response：其他預(yù)警設(shè)置未梳理流量突發(fā)預(yù)警主機掃描預(yù)警TCP異常通信預(yù)警CIFS蠕蟲攻擊告警DOS攻擊預(yù)警郵件安全預(yù)警可疑域名檢查未梳理流量突發(fā)預(yù)警在測試的過程中，我們已經(jīng)梳理出90%的以上的生產(chǎn)業(yè)務(wù)流量，如果某天出現(xiàn)“未知TCP流量”突發(fā)，很可能就是網(wǎng)絡(luò)異常：主機掃描預(yù)警設(shè)置目的：發(fā)現(xiàn)針對網(wǎng)段特定服務(wù)端口的主機掃描行為，這種行為會短時間內(nèi)向某網(wǎng)段所有IP的特定TCP端口發(fā)起連接請求，一般每秒會超過100個SYN包，但不會持續(xù)很長時間。設(shè)置方法：這是一個高級警報設(shè)置，類型為“任意應(yīng)用警報”，觸發(fā)條件為“每秒數(shù)據(jù)包數(shù)>=100”AND“平均包長<72”，觸發(fā)時間為1秒。TCP異常通信預(yù)警設(shè)置目的：及時發(fā)現(xiàn)發(fā)起/受到端口掃描或SYN攻擊的異常IP地址。設(shè)置方法：高級警報設(shè)置，類型為“任意IP警報”，觸發(fā)條件為（“每秒發(fā)送TCP同步包>=50”AND“接收TCP同步確認(rèn)包<15”）OR（“每秒接收TCP同步包>=50”AND“發(fā)送TCP同步確認(rèn)包<15”），觸發(fā)時間為1秒。補充說明：這個警報和“主機掃描”警報配合可以快速定位發(fā)起主機掃描的IP地址，同一時間發(fā)生主機掃描和TCP通信異常警報，基本可以判斷是TCP通信異常的IP地址發(fā)起的主機掃描；一些P2P應(yīng)用有時會觸發(fā)這個警報。CIFS蠕蟲攻擊告警設(shè)置目的：網(wǎng)絡(luò)中存在利用CIFS漏洞傳播的蠕蟲時，利用此警報及時發(fā)現(xiàn)。設(shè)置方法：簡單警報設(shè)置，類型為“單個應(yīng)用警報”，應(yīng)用選則“CIFS”，觸發(fā)條件為“平均包長<128”，觸發(fā)時間為5秒。補充說明：這個警報只適用于監(jiān)控互聯(lián)網(wǎng)出口鏈路的情況，因為互聯(lián)網(wǎng)出口鏈路上一般情況下CIFS應(yīng)用很少；如果是CIFS應(yīng)用流量較大的鏈路，大量文件共享的大包會拉高CIFS應(yīng)用的平均包長，導(dǎo)致警報失效。DDOS攻擊預(yù)警設(shè)置目的：當(dāng)某IP發(fā)起SYNFlood攻擊時報警。設(shè)置方法：高級警報設(shè)置，類型為“任意IP警報”，觸發(fā)條件為“每秒發(fā)送TCP同步包>=300”AND“接收TCP同步確認(rèn)包<15”，觸發(fā)時間為1秒。補充說明：這個警報與“TCP通信異常”警報相比，可以更精確的報警SYNFlood攻擊行為。SYNFlood攻擊預(yù)警:DOS攻擊預(yù)警設(shè)置目的：當(dāng)某IP發(fā)起DoS攻擊時報警。設(shè)置方法：高級警報設(shè)置，類型為“任意IP警報”，觸發(fā)條件為“每秒發(fā)送數(shù)據(jù)包>=3000”AND“每秒接收數(shù)據(jù)包數(shù)<500”，觸發(fā)時間為5秒。補充說明：這個警報的效果和誤報率需要進一步評估。DoS攻擊預(yù)警:郵件安全預(yù)警設(shè)置目的：發(fā)現(xiàn)包含疑似木馬內(nèi)容的郵件。敏感內(nèi)容：<bodyonload="window.location=<framesrc=http://<METAHTTP-EQUIV="Refresh"CONTENT="0;URL=http://檢測范圍：在內(nèi)容中搜索。補充說明：由于沒有相關(guān)木馬樣本，具體效果需要進一步評估。木馬郵件預(yù)警:W32.Imsolk.B@mm病毒預(yù)警:設(shè)置目的：W32.Imsolk.B@mm是利用郵件傳播的蠕蟲病毒，他有特定的郵件主題，可以利用郵件敏感字警報檢測。敏感內(nèi)容：HereyouhaveJustforyou檢測范圍：在標(biāo)題中搜索。補充說明：這個警報是根據(jù)Symantec的相關(guān)技術(shù)文檔設(shè)置的，沒有使用實際樣本測試，具體效果需要進一步評估?？梢捎蛎麢z測設(shè)置目的：該木馬會訪問特定的域名，通過可疑域名檢測報警可以發(fā)現(xiàn)網(wǎng)絡(luò)中Win32.Lolyda木馬。匹配域名：.ruworld.rickstudio.rubanana.cocolands.su補充說明：這些域名是實測Win32.Lolyda樣本所訪問的域名，可靠度較高。Win32.Lolyda木馬:設(shè)置目的：將常見掛馬網(wǎng)站及容易被木馬控制端利用的動態(tài)域名列為可疑域名，以便及時發(fā)現(xiàn)內(nèi)網(wǎng)主機中木馬或訪問掛馬網(wǎng)站的行為。匹配域名：*.3322.org*.2288.org*.6600.org*.7766.org*.8800.org*.8866.org*.9966.org*.isgre.at*.*.*.*.*.*.補充說明：很多動態(tài)域名同時也被P2P應(yīng)用使用，因此這個