APM業(yè)務(wù)保障分析報(bào)告

1、1APM業(yè)務(wù)保障分析報(bào)告部署說明監(jiān)控點(diǎn)選取2范圍：亦莊中心節(jié)點(diǎn)：12345鏡像匯聚設(shè)備1互聯(lián)網(wǎng)接入2外聯(lián)接入3負(fù)載均衡4業(yè)務(wù)虛擬機(jī)5數(shù)據(jù)庫主機(jī)部署說明系統(tǒng)架構(gòu)3TAP數(shù)據(jù)業(yè)務(wù)區(qū)數(shù)據(jù)庫區(qū) SmartProbeBPCNPM核心交換區(qū)廣域網(wǎng)接入?yún)^(qū)安全接入?yún)^(qū)鏡像數(shù)據(jù)分析數(shù)據(jù)控制網(wǎng)絡(luò)線路主干系統(tǒng)說明4第二階段工作目標(biāo)針對丟包問題，根據(jù)各地市局端環(huán)境確定是否需要進(jìn)一步的定位分析；配置終端緩存不足的周報(bào)，以便進(jìn)行主動運(yùn)維分析；通過應(yīng)用開發(fā)組支持，根據(jù)應(yīng)用協(xié)議規(guī)范完成業(yè)務(wù)追蹤的配置，進(jìn)一步分析和定位應(yīng)用組件偶發(fā)高延時的業(yè)務(wù)條目與子模塊。5告警參數(shù)設(shè)置經(jīng)過觀察，主干系統(tǒng)多個業(yè)務(wù)模塊實(shí)際耗時為秒級耗時，因此各個組

2、件的耗時是要大于常規(guī)的應(yīng)用響應(yīng)時間，后續(xù)各個業(yè)務(wù)組件的告警參數(shù)需要通過模擬告警進(jìn)行精細(xì)設(shè)置NPM告警參數(shù)IHS響應(yīng)時間高于300msAPP-VM響應(yīng)時間高于200ms生產(chǎn)庫響應(yīng)時間高于200msBPC告警參數(shù)APP-VM響應(yīng)時間高于500ms生產(chǎn)庫響應(yīng)時間高于200ms6業(yè)務(wù)視圖主干系統(tǒng)業(yè)務(wù)監(jiān)控視圖：接入?yún)^(qū)、設(shè)備區(qū)、應(yīng)用區(qū)、數(shù)據(jù)區(qū)；7第二階段分析說明8分析時間段：網(wǎng)絡(luò)性能分析：2016.5.30-2016.6.7業(yè)務(wù)追蹤分析：2016.6.7 早上8:00-2016.6.8:下午17:00分析目標(biāo)：主干系統(tǒng)網(wǎng)絡(luò)性能分析主干系統(tǒng)應(yīng)用組件高延時的業(yè)務(wù)條目與子模塊分析內(nèi)容：用戶體驗(yàn)：慢2s以上；卡5

3、00ms以上；頓：500ms800ms；業(yè)務(wù)延時：系統(tǒng)交互各組件節(jié)點(diǎn)所耗時間；業(yè)務(wù)追蹤：應(yīng)用系統(tǒng)業(yè)務(wù)條目跟蹤。分析范圍：亦莊數(shù)據(jù)中心主干系統(tǒng)：系統(tǒng)各組件節(jié)點(diǎn)分析結(jié)論與建議外聯(lián)單位方向丟包（第一階段分析）運(yùn)營商鏈路或局端設(shè)備丟包問題，如需進(jìn)一步定位，需要在分局部署的分析系統(tǒng)。從一周的統(tǒng)計(jì)來看終端機(jī)性能不足僅僅是集中在部分終端：主要終端：（北京）10.11.4.58、 10.11.4.57、（天津）10.12.7.67、（石家莊）10.13.72.79、10.13.56.128、10.13.88.21、（總局）10.10.225.145主干系統(tǒng)IHS、應(yīng)用組件多發(fā)數(shù)處理時間過長，非單一應(yīng)用組件性能

4、影響，而是整個集群和業(yè)務(wù)邏輯的性能問題：分析1:應(yīng)用單次業(yè)務(wù)條目處理耗時較長，處理環(huán)節(jié)復(fù)雜，關(guān)聯(lián)較多次的數(shù)據(jù)庫查詢、插入、刪除等操作；分析2:應(yīng)用單次業(yè)務(wù)傳輸數(shù)據(jù)量過大；數(shù)據(jù)庫查詢類、插入類操作處理時間過長數(shù)據(jù)庫語句操作時，高延遲，數(shù)據(jù)庫團(tuán)隊(duì)已確認(rèn)該現(xiàn)象，并提交上級，建議優(yōu)化語句。一次數(shù)據(jù)庫語句操作時，關(guān)聯(lián)多次交換庫語句操作；9分析過程Crossflow10客戶端性能不足分析1112客戶端零窗口統(tǒng)計(jì)北京局主要客戶端：10.11.4.58、 10.11.4.5713客戶端零窗口統(tǒng)計(jì)天津局主要客戶端：10.12.7.6714客戶端零窗口統(tǒng)計(jì)石家莊局主要客戶端：10.13.72.79、10.13.5

5、6.128、10.13.88.2115客戶端零窗口統(tǒng)計(jì)總局主要客戶端：10.10.225.145外聯(lián)單位終端機(jī)性能分析16配置完成客戶端訪問性能日報(bào)，測試期間可以針對總局、北京、天津、石家莊分局進(jìn)行零窗口IP會話統(tǒng)計(jì)：分局零窗口匯總總局IP會話零窗口北京IP會話零窗口天津IP會話零窗口業(yè)務(wù)追蹤性能分析1718問題組件問題組件問題組件問題組件問題組件非單一組件性能問題主干系統(tǒng)應(yīng)用區(qū)問題的節(jié)點(diǎn)主要集中在應(yīng)用（APP-VM ），IHS多為關(guān)聯(lián)影響應(yīng)用（APP-VM）響應(yīng)高延遲分布在多個應(yīng)用組件，非單一、固定應(yīng)用組件應(yīng)用19操作類型響應(yīng)時間統(tǒng)計(jì)在APP-VM應(yīng)用組件上較多的業(yè)務(wù)操作響應(yīng)時間均較長，基本

6、在4-9s，成功率為100%查詢檢索類、報(bào)單審批類、獲取數(shù)據(jù)類操作為主要的高延時操作類型響應(yīng)時間業(yè)務(wù)操作操作類型響應(yīng)時間ToP2020操作類型交易量響應(yīng)時間 ms響應(yīng)率 %描述cancelCount19174.383100每日進(jìn)賬單 作廢票據(jù)詳情findGoodsItemsByGoodsNo38606.52466.67根據(jù)報(bào)檢號與貨物序號獲得檢測項(xiàng)目結(jié)果getCiqUserCode18364.627100recalculateConclusion47856.98575重算機(jī)審queryContByDeclNo17349.561100通過報(bào)檢號查詢對應(yīng)的集裝箱信息getDirectOutPack

7、DeclVo17204.487100查詢直屬局及其下屬分支局信息updateProAndStatus17172.109100施檢結(jié)束調(diào)初始化簽證接口，如果所需證單中只有通關(guān)單，則報(bào)檢單狀態(tài)直接修改為待歸檔findInsResultGoodsVOByDeclNo17077.729100查詢 貨物結(jié)果信息acceptThrough1506418.7658審單受理-報(bào)檢受理-審單通過loadAll35944.087100查詢臺賬信息選取一日的業(yè)務(wù)操作響應(yīng)時間的平均值21操作類型交易量響應(yīng)時間 ms響應(yīng)率 %描述reloadDclData165771.28462.5重取報(bào)檢數(shù)據(jù)buildTestIte

8、mVos225755.29363.64送檢方法調(diào)用構(gòu)造數(shù)據(jù)，包含其他項(xiàng)目getResponses15437.833100獲得查詢結(jié)果和回執(zhí)信息getInvoiceVos65297.55450查詢票據(jù)管理getDeclResult1185107.2690.68獲取結(jié)果登記信息anewCharging2154881.69478.6計(jì)費(fèi)-檢驗(yàn)檢疫計(jì)費(fèi)getInsMonItemParamEntitys14861.322100根據(jù)檢測項(xiàng)目主鍵查詢檢測項(xiàng)目參數(shù)列表submitDisRegResult84678.874100取得管理表主檢的數(shù)據(jù)findRoles44647.173100獲取角色getOldP

9、rintRecord24611.386100取得歷史打印記錄操作類型響應(yīng)時間ToP20（續(xù)）選取一日的業(yè)務(wù)操作響應(yīng)時間的平均值場景1業(yè)務(wù)操作耗時較多，單次業(yè)務(wù)操作關(guān)聯(lián)較多的數(shù)據(jù)庫操作22232016.6.8早上9點(diǎn)37出現(xiàn)告警，NPM快速定位應(yīng)用區(qū)HIS、APP-VM：分析案例HIS、應(yīng)用高延時IHS網(wǎng)絡(luò)分析2424響應(yīng)時間保持在200ms左右告警時間IHS服務(wù)器發(fā)生重傳早上業(yè)務(wù)辦理高峰期主要的業(yè)務(wù)耗時在應(yīng)用響應(yīng)上，平均的網(wǎng)絡(luò)響應(yīng)時間在200ms左右，網(wǎng)絡(luò)時延在10ms左右告警發(fā)生時間，IHS服務(wù)器響應(yīng)時間均值為453.56ms25有較多耗時100s以上的數(shù)據(jù)交互和傳輸：26APP-VM網(wǎng)絡(luò)分

10、析告警時間應(yīng)用沒有零窗口和重傳應(yīng)用響應(yīng)時間在100ms左右，告警時間響應(yīng)時間為253.92ms2627有較多耗時50s以上的數(shù)據(jù)交互和傳輸：業(yè)務(wù)追蹤分析28業(yè)務(wù)性能追蹤快速定位APP-VM 業(yè)務(wù)組件告警發(fā)現(xiàn)（10.91.63.63）和應(yīng)用組件（10.91.63.19、 10.91.63.62）；10.91.63.64和應(yīng)用組件（10.91.63.16、 10.91.63.18、 10.91.63.61）均出現(xiàn)高延遲響應(yīng)的情況初步排查單個服務(wù)器節(jié)點(diǎn)或者服務(wù)通信對性能問題的情況，進(jìn)行業(yè)務(wù)追蹤問題組件問題組件問題組件問題組件問題組件29業(yè)務(wù)量無突發(fā)增長，響應(yīng)時間有增加30多個業(yè)務(wù)操作響應(yīng)時間在分鐘級

11、別，而業(yè)務(wù)成功率為100%業(yè)務(wù)條目追蹤選擇業(yè)務(wù)操作進(jìn)行追蹤分析31isAccept業(yè)務(wù)為業(yè)務(wù)審批的確認(rèn)字段經(jīng)過多段關(guān)聯(lián)的追蹤分析可以看到主要的業(yè)務(wù)耗時在APP-VM 的業(yè)務(wù)操作（APP-VM耗時6191.892ms，數(shù)據(jù)庫操作耗時502.505ms，總耗時6694.387ms）isAccept應(yīng)用操作為主要耗時32單次的isAccept業(yè)務(wù)字段操作涉及了多次數(shù)據(jù)庫（生產(chǎn)庫、交換庫）操作單次數(shù)據(jù)庫操作耗時較少，多為ms級別單次isAccept請求和響應(yīng)報(bào)文較小APP-VM生產(chǎn)庫、交換庫單次業(yè)務(wù)關(guān)聯(lián)多次數(shù)據(jù)庫操作33findnoteinfobybus字段為業(yè)務(wù)號查詢票據(jù)信息，業(yè)務(wù)耗時在APP-VM

12、的響應(yīng)等待（APP-VM耗時4313.219ms，數(shù)據(jù)庫操作耗時793.859ms，總耗時5107.078ms）單次的findnoteinfobybus查詢操作涉及了多次數(shù)據(jù)庫操作，每次數(shù)據(jù)庫操作耗時較少，多為ms級別findnoteinfobybus應(yīng)用操作為主要耗時34單次業(yè)務(wù)關(guān)聯(lián)多次數(shù)據(jù)庫操作單次的findnoteinfobybus業(yè)務(wù)字段操作涉及了多次數(shù)據(jù)庫（生產(chǎn)庫、交換庫）操作單次數(shù)據(jù)庫操作耗時較少，多為ms級別單次findnoteinfobybus請求和響應(yīng)報(bào)文較小APP-VM生產(chǎn)庫、交換庫場景2單次數(shù)據(jù)庫操作耗時較長3536查看自6月7日13點(diǎn)6月8日17點(diǎn)，統(tǒng)計(jì)數(shù)據(jù)庫語句的響應(yīng)

13、時間，可以看到單次數(shù)據(jù)庫語句操作（查詢、插入、刪除）多發(fā)秒級響應(yīng)時間，數(shù)據(jù)分析時間最高達(dá)到5.6s：響應(yīng)時間數(shù)據(jù)庫語句單次數(shù)據(jù)庫操作耗時較長37單次數(shù)據(jù)庫操作主要耗時在生產(chǎn)庫處理（生產(chǎn)庫耗時5699.372ms，交換庫總耗時0.817ms，總耗時5700.189ms）數(shù)據(jù)庫語句為主要耗時38生產(chǎn)庫交換庫單次的生存庫操作涉及了多次交換庫操作，每次交換庫操作耗時較少，多為ms級別單次生存庫操作請求和響應(yīng)報(bào)文內(nèi)容較少單次數(shù)據(jù)操作關(guān)聯(lián)多次數(shù)據(jù)庫操作場景3單次業(yè)務(wù)操作數(shù)據(jù)報(bào)文內(nèi)容較大39acceptThrough完整業(yè)務(wù)關(guān)聯(lián)追蹤40外聯(lián)單位安全設(shè)備:0.465ms、安全設(shè)備負(fù)載均衡:0.339ms負(fù)載均

14、衡IHS:27.420ms、HISApp-VM:7498.720ms41請求報(bào)文響應(yīng)報(bào)文 查看報(bào)檢審批通過（acceptThrough）操作請求，發(fā)現(xiàn)APP組件服務(wù)器端響應(yīng)的報(bào)文非常大。有的請求的報(bào)文甚至達(dá)到了237頁（word 小五號字為單位）。報(bào)文詳情42對應(yīng)時段數(shù)據(jù)庫連接數(shù)不足40生產(chǎn)庫連接較少43數(shù)據(jù)庫業(yè)務(wù)耗時占比較少結(jié)論與建議外聯(lián)單位方向丟包（第一階段分析）運(yùn)營商鏈路或局端設(shè)備丟包問題，如需進(jìn)一步定位，需要在分局部署的分析系統(tǒng)。從一周的統(tǒng)計(jì)來看終端機(jī)性能不足僅僅是集中在部分終端：主要終端：（北京）10.11.4.58、 10.11.4.57、（天津）10.12.7.67、（石家莊）10.13.72.79、10.13.56.128、10.13.88.21、（總局）10.10.225.145主干系統(tǒng)IHS、應(yīng)用組件多發(fā)數(shù)處理時間過長，非單一應(yīng)用組件性能影響，而是整個集群和業(yè)務(wù)邏輯的性能問題：分析1:應(yīng)用單次業(yè)務(wù)條目處理耗時較長，處理環(huán)節(jié)復(fù)雜，關(guān)聯(lián)較多次的數(shù)