上海+提高提醒短信發(fā)送成功率

提高提醒短信發(fā)送成功率提高提醒短信發(fā)送成功率

目錄一、QC小組簡(jiǎn)介 1二、術(shù)語(yǔ)解釋 1三、選題理由 2四、設(shè)定目標(biāo) 3五、目標(biāo)可行性分析 4六、原因分析 8八、制定對(duì)策 25九、實(shí)施對(duì)策 28十、效果檢查 42十一、鞏固措施 47十二、總結(jié)和打算 48一、QC小組簡(jiǎn)介隨著互聯(lián)網(wǎng)電子渠道的發(fā)展，各類服務(wù)提醒的重要性與日俱增，其中提醒短信是否成功下發(fā)成為了客戶關(guān)注的一個(gè)焦點(diǎn)。2015年初，上海移動(dòng)信息系統(tǒng)運(yùn)營(yíng)部要求對(duì)提醒進(jìn)行專項(xiàng)整治，將提醒短信發(fā)送成功率作為評(píng)判提醒短信是否成功下發(fā)和用戶滿意度的重要指標(biāo)。為此，我們暢通無(wú)限QC小組以《提高提醒短信發(fā)送成功率》作為本次QC活動(dòng)的課題。二、術(shù)語(yǔ)解釋提醒短信：指在用戶狀態(tài)即將或已經(jīng)發(fā)生變更時(shí)將此情況告知用戶的短信，主要涉及流量提醒、低額欠費(fèi)提醒、充值成功提醒短信等。CRM系統(tǒng)：客戶關(guān)系管理系統(tǒng)，用于受理各類業(yè)務(wù)查詢和辦理請(qǐng)求，是各渠道業(yè)務(wù)受理的核心系統(tǒng)。BOSS系統(tǒng)：賬務(wù)系統(tǒng)，管理用戶的賬單、信用、資金、積分信息及停復(fù)機(jī)狀態(tài)。短信營(yíng)業(yè)廳：全稱10086上海短信營(yíng)業(yè)廳，簡(jiǎn)稱短廳，通過(guò)短信的交互為用戶提供查詢、辦理業(yè)務(wù)等服務(wù)。大網(wǎng)：將短信由短信營(yíng)業(yè)廳網(wǎng)關(guān)傳輸至用戶手機(jī)終端的傳輸網(wǎng)。提醒短信發(fā)送成功率=成功發(fā)送給用戶的及時(shí)提醒短信數(shù)目×100% 所有觸發(fā)的提醒短信數(shù)目提醒短下發(fā)流程：三、選題理由提醒短信發(fā)送成功率≥98％是信息系統(tǒng)運(yùn)營(yíng)部考核指標(biāo)。2015年1-3月份的提醒短信發(fā)送成功率統(tǒng)計(jì)情況表：目前該指標(biāo)僅為90.51%，因此，我們選擇《提高用戶提醒短信發(fā)送成功率》為本次QC活動(dòng)的課題。四、設(shè)定目標(biāo)根據(jù)單位2015年的考核指標(biāo)要求，我們將目標(biāo)值定為：提醒短信發(fā)送成功率≥98％。五、目標(biāo)可行性分析1、掌握現(xiàn)狀：我們對(duì)2015年1月至3月發(fā)送的上海移動(dòng)用戶提醒短信類型進(jìn)行了劃分，并用親和圖進(jìn)行了整理，見(jiàn)下圖所示。接著，我們對(duì)提醒短信發(fā)送失敗數(shù)量進(jìn)行了調(diào)查，調(diào)查結(jié)果如下： 小組成員運(yùn)用分層法，首先對(duì)各提醒種類的失敗情況進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如下： 2015年1～3月提醒短信發(fā)送失敗情況按提醒種類分類繪制成排列圖，如下圖所示：結(jié)論：由排列圖可見(jiàn)，低額欠費(fèi)類提醒短信發(fā)送失敗占了提醒短信發(fā)送失敗總量的93.51％，是造成用戶提醒短信發(fā)送成功率低的主要癥結(jié)。2、可行性分析：小組成員對(duì)1056萬(wàn)余次低額欠費(fèi)提醒短信發(fā)送失敗情況進(jìn)行分析，發(fā)現(xiàn)1-3月每月CRM系統(tǒng)、BOSS系統(tǒng)、短廳系統(tǒng)維護(hù)和上線工作平均耗時(shí)在5.4小時(shí)，所產(chǎn)生的月均47657次低額欠費(fèi)提醒短信發(fā)送失敗操作是無(wú)法解決的，占提醒短信發(fā)送失敗總數(shù)的1.27%（44707×3/1=1.27%）圖5-3交互、提醒短信成功率對(duì)比圖制圖時(shí)間：2015年4月14日制圖人：孫樂(lè)考慮到實(shí)際解決率很難達(dá)到100%，若是將剩余的98.73%失敗中的主要癥結(jié)低額欠費(fèi)類提醒短信發(fā)送失敗解決九成，那么提醒短信發(fā)送成功率的估算為：提醒短信發(fā)送成功率=月平均成功率+月平均失敗率×低額欠費(fèi)類提醒發(fā)送失敗比例×可解決比例×解決程度=90.51%+9.49%×93.51%×（100%-1.27%）×90%=98.40%同時(shí)，從圖5-3可知，通過(guò)同一系統(tǒng)下發(fā)的交互短信成功率在99.68%，因此，提醒短信發(fā)送成功率達(dá)到98%是完全可行的。六、原因分析2015年4月15日，QC小組成員針對(duì)主要癥結(jié)“低額欠費(fèi)停復(fù)機(jī)短信發(fā)送成功率低”展開(kāi)頭腦風(fēng)暴法，列出如下系統(tǒng)圖：圖6-1要因確認(rèn)系統(tǒng)圖制圖時(shí)間：2015年4月15日制圖人：裴力從系統(tǒng)圖可知，末端因素有10個(gè)，而其中“用戶手機(jī)終端問(wèn)題”和“用戶所在地信號(hào)覆蓋不足”這兩個(gè)要因是我們難以解決的，故不作確認(rèn)。七、要因確認(rèn)小組成員對(duì)剩余的8個(gè)末端因素進(jìn)行了分工確認(rèn)，制定了要因確認(rèn)計(jì)劃表。末端原因一：值班人員缺乏專業(yè)上崗培訓(xùn)確認(rèn)過(guò)程：組員盧迪首先對(duì)告警監(jiān)控團(tuán)隊(duì)人員進(jìn)行了確認(rèn)，發(fā)現(xiàn)所有的成員均具備IT系統(tǒng)監(jiān)控維護(hù)專業(yè)上崗證，同時(shí)組員還統(tǒng)計(jì)1～3月短信相關(guān)告警條數(shù)和處理超時(shí)情況，以及值班人員告警處理及時(shí)率，結(jié)果如下：圖7-1短廳相關(guān)告警處理及時(shí)率圖制圖時(shí)間：2015年4月14日制圖人：盧迪確認(rèn)結(jié)果：通過(guò)表7-1與表7-2可知，值班人員處理告警的及時(shí)率（15分鐘以內(nèi)）均能達(dá)到部門(mén)要求的標(biāo)準(zhǔn)。對(duì)癥結(jié)的影響：盧迪在4月14-15日開(kāi)展實(shí)驗(yàn)，從沒(méi)有專業(yè)上崗證的二線保障處理團(tuán)隊(duì)中隨機(jī)選取了5位同事設(shè)定為甲組，將參加過(guò)公司培訓(xùn)，并且具備專業(yè)上崗證的5位同事設(shè)定為乙組，并安排了14-15日為期兩天的告警處理工作，具體數(shù)據(jù)如下：制圖時(shí)間：2015年4月15日制圖人：盧迪通過(guò)數(shù)據(jù)比對(duì)分析，有無(wú)進(jìn)行相關(guān)業(yè)務(wù)培訓(xùn)情況下，低額提醒短信發(fā)送失敗率無(wú)明顯差別，說(shuō)明相關(guān)告警處理培訓(xùn)對(duì)關(guān)鍵癥結(jié)影響不大。結(jié)論：符合確認(rèn)標(biāo)準(zhǔn)，且末端因素對(duì)癥結(jié)影響程度小。故該因素為非要因。末端原因二：CPU/內(nèi)存負(fù)載超負(fù)荷確認(rèn)過(guò)程：由嚴(yán)偉編寫(xiě)SQL語(yǔ)句獲取以往的短信主機(jī)性能數(shù)據(jù)，并進(jìn)行分析；圖7-2短廳主機(jī)CPU/內(nèi)存使用情況統(tǒng)計(jì)圖制圖時(shí)間：2015年4月14日制圖人：嚴(yán)偉確認(rèn)結(jié)果：短信主機(jī)每月CPU/內(nèi)存負(fù)荷均≤70%。對(duì)癥結(jié)的影響：嚴(yán)偉在4月15-16日開(kāi)利用同等配置的短信容災(zāi)環(huán)境開(kāi)展實(shí)驗(yàn)，編寫(xiě)了負(fù)載腳本將對(duì)應(yīng)的接口機(jī)、中間件環(huán)境cpu和內(nèi)存壓至90%-95%，并導(dǎo)入了14-15日生產(chǎn)環(huán)境中信控、短信生成記錄進(jìn)行比對(duì)試驗(yàn)，具體數(shù)據(jù)如下：制圖時(shí)間：2015年4月15日制圖人：嚴(yán)偉通過(guò)數(shù)據(jù)比對(duì)分析，只要cpu和內(nèi)存未超過(guò)100%導(dǎo)致主機(jī)宕機(jī)的情況下，超負(fù)載和非超負(fù)載運(yùn)行環(huán)境對(duì)低額提醒短信發(fā)送失敗率無(wú)明顯差別，說(shuō)明該要因?qū)﹃P(guān)鍵癥結(jié)影響不大。結(jié)論：符合確認(rèn)標(biāo)準(zhǔn)，且末端因素對(duì)癥結(jié)影響程度小。故該因素為非要因。末端原因三：缺乏失敗重發(fā)機(jī)制確認(rèn)過(guò)程：由孫一凱于4月18日至20日收集大網(wǎng)短信下發(fā)機(jī)制的說(shuō)明文檔，并通過(guò)實(shí)時(shí)信令跟蹤觀察下發(fā)失敗后自動(dòng)重試情況。圖7-3短信接入網(wǎng)關(guān)系統(tǒng)設(shè)計(jì)說(shuō)明書(shū)中關(guān)于重發(fā)機(jī)制的描述制圖時(shí)間：2015年4月19日制圖人：嚴(yán)偉確認(rèn)結(jié)果：大網(wǎng)側(cè)短信下發(fā)在設(shè)計(jì)上具備重發(fā)機(jī)制，在實(shí)際運(yùn)行中也啟用了該機(jī)制，根據(jù)短信報(bào)文和實(shí)際測(cè)試重試機(jī)制運(yùn)作正常有效。對(duì)癥結(jié)的影響：組員孫一凱在4月20晚通過(guò)配置修改將提醒類短信發(fā)送失敗后重發(fā)機(jī)制取消，并于次日開(kāi)展實(shí)驗(yàn)對(duì)提醒短信發(fā)送失敗情況進(jìn)行統(tǒng)計(jì)，具體數(shù)據(jù)如下：通過(guò)數(shù)據(jù)比對(duì)分析，有無(wú)重發(fā)機(jī)制對(duì)關(guān)鍵癥結(jié)影響不大。結(jié)論：符合確認(rèn)標(biāo)準(zhǔn)，且末端因素對(duì)癥結(jié)影響程度小。故該因素為非要因。末端原因四：短信發(fā)送接口速率低確認(rèn)方法：通過(guò)計(jì)算流量，確認(rèn)短信接口發(fā)送送率是否滿足高峰時(shí)業(yè)務(wù)需求。確認(rèn)標(biāo)準(zhǔn)：短廳系統(tǒng)設(shè)計(jì)規(guī)范要求：提醒短信積壓時(shí)長(zhǎng)≤1分鐘確認(rèn)過(guò)程：由邱曉波負(fù)責(zé)統(tǒng)計(jì)4月1日（由于月初出賬，信控會(huì)引發(fā)批量低額和欠費(fèi)短信，引發(fā)此類提醒短信的發(fā)送高峰）全天的提醒短信，發(fā)現(xiàn)從10:26分開(kāi)始一直到13:36分，共3小時(shí)10分鐘存在提醒短信積壓的情況，遠(yuǎn)超出積壓時(shí)長(zhǎng)小于1分鐘的設(shè)計(jì)規(guī)范要求。圖7-54月初業(yè)務(wù)高峰時(shí)段欠費(fèi)提醒短信積壓量制圖時(shí)間：2015年4月23日制圖人：邱曉波確認(rèn)結(jié)果：短信接口發(fā)送速率不滿足高峰時(shí)業(yè)務(wù)需求，有大量短信發(fā)送時(shí)長(zhǎng)超過(guò)規(guī)定時(shí)限。對(duì)癥結(jié)的影響：組員邱曉波在4月23晚對(duì)測(cè)試環(huán)境進(jìn)行上線，嘗試對(duì)低額提醒短信接口配置參數(shù)進(jìn)行調(diào)整，最后進(jìn)行壓測(cè)，具體數(shù)據(jù)如下：通過(guò)數(shù)據(jù)比對(duì)分析，調(diào)整提醒短信接口配置將大幅度降低欠費(fèi)提醒短信發(fā)送失敗率。結(jié)論：不符合確認(rèn)標(biāo)準(zhǔn)，且末端因素對(duì)癥結(jié)影響程較大。故該因素為要因。末端原因五：信控及停機(jī)流程并行確認(rèn)方法：通過(guò)調(diào)查分析，確認(rèn)欠費(fèi)提醒短信的發(fā)送失敗是否由于信控流程與復(fù)機(jī)流程并行導(dǎo)致提醒短信到達(dá)用戶時(shí)，終端狀態(tài)為停機(jī)導(dǎo)致失敗。確認(rèn)標(biāo)準(zhǔn)：根據(jù)開(kāi)通系統(tǒng)設(shè)計(jì)規(guī)范為確保用戶能正常接收欠費(fèi)提醒短信，停機(jī)發(fā)送流程需要在欠費(fèi)提醒短信工單發(fā)送完畢后5分鐘后執(zhí)行。確認(rèn)過(guò)程：由劉甦曉負(fù)責(zé)統(tǒng)計(jì)2015年1～3月欠費(fèi)提醒短信失敗回執(zhí)記錄，共計(jì)10560825條，并通過(guò)短信回執(zhí)分析用戶接收失敗原因。從統(tǒng)計(jì)中可以看出電信業(yè)務(wù)不支持所占比例高達(dá)47.34%。電信業(yè)務(wù)不支持通常指的是用戶處于停機(jī)狀態(tài)而無(wú)法接收到短信。隨后劉甦曉選擇了3月13日（該日沒(méi)有短信及開(kāi)通故障，并且業(yè)務(wù)量全日平穩(wěn)）的部分案例，針對(duì)欠費(fèi)提醒短信發(fā)送及停機(jī)各環(huán)節(jié)時(shí)間進(jìn)行分析，結(jié)果如表7-6所示從抽樣案例上來(lái)看，用戶短信接收到的時(shí)間晚于停機(jī)時(shí)間，即短信發(fā)送到用戶終端的時(shí)刻用戶已經(jīng)被停機(jī)，造成提醒短信發(fā)送失敗。小組成員接著對(duì)現(xiàn)有的欠費(fèi)短信提醒流程及代碼進(jìn)行了梳理，繪制成流程圖如圖所示：圖7-6低額欠費(fèi)短信下發(fā)流程圖制圖時(shí)間：2015年4月22日制圖人：劉甦曉目前系統(tǒng)中欠費(fèi)提醒短信與開(kāi)通系統(tǒng)發(fā)送停機(jī)工單的流程并行處理，如果短信發(fā)生積壓或網(wǎng)絡(luò)上波動(dòng)將會(huì)造成提醒短信到達(dá)用戶終端前已被停機(jī)，造成短信發(fā)送失敗。確認(rèn)結(jié)果：欠費(fèi)停機(jī)流程與信控提醒流程設(shè)計(jì)存在缺陷，欠費(fèi)提醒及復(fù)機(jī)流程并行，無(wú)法保證提醒短信在用戶停機(jī)前送達(dá)。對(duì)癥結(jié)的影響：組員劉甦曉在4月23晚利用沙盒環(huán)境對(duì)現(xiàn)有的欠費(fèi)提醒短信流程模塊進(jìn)行調(diào)整，將現(xiàn)有的短信發(fā)送及開(kāi)通工單模塊進(jìn)行改造，取消并行邏輯，在短信發(fā)送后增加簡(jiǎn)單邏輯，等待2s后進(jìn)行開(kāi)通工單發(fā)送，并模擬了網(wǎng)絡(luò)波動(dòng)場(chǎng)景，最后對(duì)低額欠費(fèi)提醒短信發(fā)送失敗情況進(jìn)行確認(rèn)。具體數(shù)據(jù)如下：從表中可以看出并行流程調(diào)整后，電信業(yè)務(wù)不支持比例下降近50%，對(duì)應(yīng)也降低了低額提醒短信發(fā)送失敗率。結(jié)論：不符合確認(rèn)標(biāo)準(zhǔn)，且末端因素對(duì)癥結(jié)影響程較大。故該因素為要因。末端原因六：進(jìn)程缺少自動(dòng)切換機(jī)制確認(rèn)過(guò)程：由嚴(yán)偉負(fù)責(zé)檢查短信接口機(jī)是否具備自動(dòng)切換機(jī)制，本年度是否實(shí)施過(guò)主備切換，切換時(shí)長(zhǎng)是否符合要求。圖7-7短信接口機(jī)切換演練安排制圖時(shí)間：2015年4月20日制圖人：嚴(yán)偉圖7-8短信接口機(jī)切換效果制圖時(shí)間：2015年4月20日制圖人：嚴(yán)偉確認(rèn)結(jié)果：通過(guò)調(diào)取部門(mén)演練記錄，確認(rèn)每半年都會(huì)實(shí)施一次短信接口機(jī)主備切換演練，且備用接口機(jī)能在5分鐘之內(nèi)成功完整自動(dòng)接管。對(duì)癥結(jié)的影響：組員嚴(yán)偉在4月20晚利用沙盒環(huán)境取消了短信接口機(jī)應(yīng)用層自動(dòng)接管機(jī)制，并通過(guò)切換網(wǎng)卡模擬應(yīng)用接管場(chǎng)景，由于缺乏自動(dòng)接管機(jī)制，整個(gè)故障恢復(fù)時(shí)長(zhǎng)有所增加，因此對(duì)于欠費(fèi)提醒短信發(fā)送失敗量略有影響，但總體失敗比例影響不大。結(jié)論：符合確認(rèn)標(biāo)準(zhǔn)，且末端因素對(duì)癥結(jié)影響程度小。因此判斷為非要因。末端原因七：提醒短信內(nèi)容過(guò)長(zhǎng)確認(rèn)過(guò)程：由于大網(wǎng)接口平臺(tái)接收進(jìn)程對(duì)于超過(guò)20秒的短信會(huì)直接返回超時(shí)失敗，因此需要確認(rèn)短信條數(shù)的多少是否與超時(shí)失敗率有直接聯(lián)系。由裴力對(duì)1～3月份欠費(fèi)提醒短信條數(shù)和超時(shí)失敗情況進(jìn)行統(tǒng)計(jì)確認(rèn)結(jié)果：小組隨機(jī)抽取從1月～3月50000條的日均提醒短信，欠費(fèi)提醒短信生成拼接發(fā)送平均時(shí)長(zhǎng)在15.7秒并且超過(guò)20秒的超時(shí)失敗數(shù)量多達(dá)1080條，超時(shí)失敗占所有提醒短信失敗量的2.16%，超過(guò)了《提醒短信發(fā)送規(guī)范》中關(guān)于超時(shí)比例不高于2%的規(guī)定。圖7-10欠費(fèi)提醒短信耗時(shí)直方圖制圖時(shí)間：2015年4月20日制圖人：裴力從直方圖上可以看出，欠費(fèi)提醒短信發(fā)送時(shí)長(zhǎng)的平均值達(dá)到15.68秒，且分布情況也不符合要求，必需加以改進(jìn)。根據(jù)上海移動(dòng)短信長(zhǎng)度定義，一條短信只能包含70個(gè)漢字，超過(guò)時(shí)該長(zhǎng)短信就會(huì)分解成70個(gè)漢字一條的短信進(jìn)行下發(fā)（舉例240個(gè)漢字即會(huì)拆分成4條短信進(jìn)行下發(fā)）故提醒短信內(nèi)容過(guò)長(zhǎng)就會(huì)造成短信條數(shù)過(guò)多。據(jù)統(tǒng)計(jì)共有11類提醒短信條數(shù)大于技術(shù)規(guī)范中的要求。接著裴力統(tǒng)計(jì)了3月份共31天的短信發(fā)送成功率數(shù)據(jù)作為樣本，利用散布圖象限判斷法對(duì)欠費(fèi)提醒短信發(fā)送失敗率與短信條數(shù)相關(guān)性進(jìn)行了分析，如圖7-8所示，結(jié)果如下：圖7-9提醒短信發(fā)送失敗率與短信條數(shù)散布圖制圖時(shí)間：2015年4月20日制圖人：裴力NI象限+NIII象限=27>NII象限+NIV象限=7低額欠費(fèi)提醒短信發(fā)送失敗率與短信條數(shù)存在正相關(guān)關(guān)系。對(duì)癥結(jié)的影響：組員裴力統(tǒng)計(jì)了4月期間所有低于5條提醒短信發(fā)送失敗率，并與5條以上（包含5條）的失敗率進(jìn)行對(duì)比從表中可以看出長(zhǎng)短信發(fā)送失敗率明顯低于短短信發(fā)送失敗率，對(duì)問(wèn)題的癥結(jié)影響極大。結(jié)論：不符合確認(rèn)標(biāo)準(zhǔn)，且末端因素對(duì)癥結(jié)影響程較大。故該因素為要因。末端原因八：欠費(fèi)提醒短信發(fā)送通道流量不足確認(rèn)過(guò)程：組員趙曉笛對(duì)目前短信系統(tǒng)下發(fā)通道進(jìn)行梳理，發(fā)現(xiàn)目前短信系統(tǒng)邏輯中欠費(fèi)提醒類短信和非交互式短信合用同一個(gè)通道，小組成員隨即抽取一天的短信下發(fā)情況進(jìn)行分析，發(fā)現(xiàn)10點(diǎn)左右，短信營(yíng)業(yè)廳通道都會(huì)產(chǎn)生大量的下發(fā)短信，造成短信積壓下發(fā)緩慢的情況，最長(zhǎng)積壓時(shí)長(zhǎng)達(dá)到了90秒。圖7-114月10日短廳下發(fā)短信時(shí)長(zhǎng)圖制圖時(shí)間：2015年4月20日制圖人：趙曉笛確認(rèn)結(jié)果：欠費(fèi)提醒短信流量在短信營(yíng)業(yè)廳沖擊情況下不足設(shè)計(jì)流量標(biāo)準(zhǔn)，造成下發(fā)延遲和失敗。對(duì)癥結(jié)的影響：為了分析末端因素對(duì)癥結(jié)影響程度，組員趙曉笛向網(wǎng)運(yùn)中心申請(qǐng)了臨時(shí)接口流量，對(duì)于現(xiàn)在的欠費(fèi)提醒短信下發(fā)通道流量進(jìn)行了臨時(shí)提升，并跟蹤了4月25日全天的發(fā)送情況進(jìn)行比對(duì)。從表中可以看出流量的擴(kuò)容很明顯的降低了提醒短信發(fā)送失敗率，對(duì)問(wèn)題的癥結(jié)影響極大。結(jié)論：不符合確認(rèn)標(biāo)準(zhǔn)，且末端因素對(duì)癥結(jié)影響程較大。故該因素為要因。通過(guò)QC小組成員分析及驗(yàn)證，造成提醒短信發(fā)送成功率低的主要原因有4條：短信發(fā)送接口速率低欠費(fèi)提醒及停機(jī)流程并行欠費(fèi)提醒短信內(nèi)容過(guò)長(zhǎng)欠費(fèi)提醒短信發(fā)送通道流量不足八、制定對(duì)策針對(duì)“欠費(fèi)提醒短信發(fā)送通道流量不足”這一問(wèn)題，小組再次召開(kāi)了頭腦風(fēng)暴，收集建議，運(yùn)用親和圖進(jìn)行整理：圖8-1提高欠費(fèi)短信提醒下發(fā)流量方案親和圖通過(guò)整理得到三個(gè)可行的備選方案，分別為：優(yōu)化欠費(fèi)提醒下發(fā)流程、建設(shè)專用欠費(fèi)提醒下發(fā)平臺(tái)、智能終端應(yīng)用策略調(diào)整。小組成員在4月28日至5月13日期間，對(duì)以上三種方案搭建測(cè)試環(huán)境進(jìn)行試驗(yàn)，并從經(jīng)濟(jì)性、實(shí)施難度、周期、后續(xù)工作量等方面進(jìn)行了全面的分析、調(diào)查和試驗(yàn)。方案一：優(yōu)化欠費(fèi)提醒下發(fā)流程小組成員裴力在4月30日-5月4日期間利用現(xiàn)有的測(cè)試主機(jī)和沙盒模擬器搭建了一套小型欠費(fèi)提醒下發(fā)系統(tǒng)開(kāi)展試驗(yàn)并進(jìn)行了方案評(píng)估。方案二：建設(shè)專用欠費(fèi)提醒下發(fā)平臺(tái)該方案需要申請(qǐng)新的資源實(shí)現(xiàn)欠費(fèi)提醒的剝離，主要步驟包含申請(qǐng)專線、專用服務(wù)器搭建、短信通道流量擴(kuò)充和信控指向調(diào)整。小組成員嚴(yán)偉在5月7日-5月9日期間根據(jù)同類批量短信搭建平臺(tái)項(xiàng)目歷史文檔整理并根據(jù)欠費(fèi)提醒下發(fā)現(xiàn)狀對(duì)流程遷移和平臺(tái)搭建的成本、工期進(jìn)行預(yù)估，并進(jìn)行綜合分析。方案三、智能終端應(yīng)用策略調(diào)整該方案主要針對(duì)現(xiàn)有的短信沖擊現(xiàn)象進(jìn)行調(diào)整，嘗試通過(guò)對(duì)第三方平臺(tái)應(yīng)用進(jìn)行自查詢策略離散化、指令分離和限流手段環(huán)節(jié)和消除目前每日沖擊的現(xiàn)象產(chǎn)生，從而保證欠費(fèi)短信提醒下發(fā)流量充分穩(wěn)定。小組成員孫一凱在5月10日-5月12日利用現(xiàn)有的短信開(kāi)發(fā)測(cè)試環(huán)境對(duì)短信模板和接口機(jī)流速程序進(jìn)行了優(yōu)化，并進(jìn)行試驗(yàn)和方案評(píng)估。在對(duì)三項(xiàng)方案分別進(jìn)行試驗(yàn)與評(píng)估后，小組對(duì)評(píng)估結(jié)果進(jìn)行了匯總整理：方案分析：結(jié)合成本、調(diào)整難度、調(diào)整周期、后續(xù)產(chǎn)生工作量四個(gè)評(píng)估因素，小組人員認(rèn)為方案一優(yōu)勢(shì)明顯、成本可接受，方案二，周期長(zhǎng)成本高，方案三外部協(xié)調(diào)工作量大。結(jié)合要因確認(rèn)的結(jié)果，小組制定了相應(yīng)的對(duì)策措施表：九、實(shí)施對(duì)策對(duì)策實(shí)施一：優(yōu)化短信接口下發(fā)參數(shù)實(shí)施步驟：1）確定可能影響發(fā)送參數(shù)的因素小組成員邱曉波組織討論會(huì)針對(duì)短信下發(fā)參數(shù)進(jìn)行討論，確認(rèn)了共有并發(fā)連接數(shù)、輪詢數(shù)據(jù)量、輪詢間隔、進(jìn)程內(nèi)存空間四個(gè)維度。2）確認(rèn)參數(shù)配置范圍，開(kāi)展正交試驗(yàn)根據(jù)以上因素水平選取正交表L9(34)，制定試驗(yàn)方案并加以實(shí)施：3）分析正交試驗(yàn)結(jié)果看試驗(yàn)結(jié)果，第5號(hào)試驗(yàn)的提醒短信延遲最短，平均延遲為28秒/萬(wàn)條，即每秒357條，所以初定優(yōu)水平為A2B2C3D3；計(jì)算級(jí)差R，衡量因素的作用大小，確定主要因素：A>D>B>C；確定較優(yōu)位級(jí)：A：II>III>I，B：II>I>II，C：II>I>III，D：III>II>I；圖9-1主效因圖制圖時(shí)間：2015年5月14日制圖人：邱曉波選擇A2B2C2D3與初定優(yōu)水平A2B2C3D3與進(jìn)行對(duì)比試驗(yàn)，發(fā)現(xiàn)A2B2C2D3的短信下發(fā)速率可以達(dá)到27秒/萬(wàn)條，即每秒370條，高于初定優(yōu)水平的每秒357條。由此得出最佳方案為雙線程并發(fā)、輪詢數(shù)據(jù)量300條，輪詢間隔2秒，進(jìn)程內(nèi)存空間為2048M的參數(shù)組合。4）程序測(cè)試、上線程序代碼于5月19日晚正式上線。實(shí)施效果：實(shí)施后：邱曉波分別統(tǒng)計(jì)了5月13日～19日及5月20日～26日兩個(gè)時(shí)間段的低額欠費(fèi)提醒短信下發(fā)速率情況，實(shí)施后一周的平均發(fā)送速率較上線前提升2.4倍，達(dá)到359條/秒，符合預(yù)期提速2倍的目標(biāo)。結(jié)論：通過(guò)對(duì)低額欠費(fèi)提醒短信下發(fā)接口的參數(shù)進(jìn)行優(yōu)化和調(diào)整，初步解決了接口速率低導(dǎo)致發(fā)送成功率低下的問(wèn)題。實(shí)施有效。對(duì)策實(shí)施二：調(diào)整欠費(fèi)提醒停機(jī)流程實(shí)施步驟：針對(duì)現(xiàn)有流程，確定開(kāi)發(fā)程序模塊根據(jù)要因確認(rèn)結(jié)果確認(rèn)癥結(jié)原因是在欠費(fèi)停機(jī)流程與信控提醒流程設(shè)計(jì)存在缺陷，欠費(fèi)提醒及復(fù)機(jī)流程并行，無(wú)法保證提醒短信在用戶停機(jī)前送達(dá)，用戶可能在未收到短信之前即被停機(jī)。小組成員嚴(yán)偉針對(duì)此癥結(jié)，于5月19日和開(kāi)發(fā)人員溝通并確定要調(diào)整的模塊是信控延遲隊(duì)列模塊和短信通知模塊。圖9-2低額欠費(fèi)短信優(yōu)化前下發(fā)流程圖制圖時(shí)間：2015年4月22日制圖人：劉甦曉調(diào)整邏輯，開(kāi)發(fā)程序代碼嚴(yán)偉5月20日設(shè)計(jì)了優(yōu)化流程圖，在新的流程下，停機(jī)與欠費(fèi)提醒短信環(huán)節(jié)設(shè)置為串行模式，并且設(shè)置了接口機(jī)隊(duì)列判斷和緩沖機(jī)制，并且提交開(kāi)發(fā)工單進(jìn)入程序編碼環(huán)節(jié)。圖9-3低額欠費(fèi)短信下發(fā)優(yōu)化后流程圖制圖時(shí)間：2015年5月20日制圖人：嚴(yán)偉程序測(cè)試、上線實(shí)施效果：實(shí)施后：嚴(yán)偉統(tǒng)計(jì)了5月21日和5月23日的下發(fā)失敗回執(zhí)，電信業(yè)務(wù)不支持的下降比例為59.97%，超過(guò)預(yù)定目標(biāo)50%，在20142條標(biāo)記為電信業(yè)務(wù)不支持的記錄中已經(jīng)不存在由于提前停機(jī)而未收到低額欠費(fèi)短信的案例。下降比例達(dá)到預(yù)期目標(biāo)50%。結(jié)論：通過(guò)對(duì)信控延遲隊(duì)列模塊和短信通知模塊的流程優(yōu)化和調(diào)整，初步解決了由于程序并行而引發(fā)的用戶在未收到提醒短信之前即停機(jī)的現(xiàn)象產(chǎn)生。實(shí)施有效。對(duì)策實(shí)施三：調(diào)整內(nèi)容減少提醒短信條數(shù)實(shí)施步驟：統(tǒng)計(jì)整理短信條數(shù)過(guò)多的欠費(fèi)低額提醒短信模板組員劉甦曉于5月19日統(tǒng)計(jì)列出所有短信條數(shù)大于4條的欠費(fèi)低額提醒短信模板，如表9-5所示。調(diào)整短信文字長(zhǎng)度小組成員對(duì)提醒短信文字內(nèi)容進(jìn)行精簡(jiǎn)，對(duì)一些明顯的營(yíng)銷推廣類文字進(jìn)行清除。合并短信模板，調(diào)整拼接方法小組成員針對(duì)短信中的傳參部分內(nèi)容進(jìn)行優(yōu)化，將原本代碼傳參中冗余的內(nèi)容進(jìn)行合并，將例如套餐類型、賬單子類等參數(shù)進(jìn)行模糊化處理。優(yōu)化前后各提醒短信文字條數(shù)對(duì)比優(yōu)化后，所有低額欠費(fèi)提醒短信模板長(zhǎng)度皆已縮短到3條以內(nèi)，符合預(yù)定目標(biāo)。短信模板上線5月18日調(diào)整后短信模板正式上線。實(shí)施效果：實(shí)施后： 小組成員從6月份的欠費(fèi)低額提醒短信中隨機(jī)抽取了5萬(wàn)條短信發(fā)送時(shí)長(zhǎng)記錄，并制成了直方圖。從圖9-5中數(shù)據(jù)可以看出，平均時(shí)長(zhǎng)x,已由實(shí)施前的15.68秒銳減至了12.4秒，并且數(shù)據(jù)分布情況已有顯著好轉(zhuǎn),超時(shí)引發(fā)失敗比率降至0.001%以下（該部分超時(shí)短信并非由于短信長(zhǎng)度拼接引起超時(shí)，大部分屬于網(wǎng)絡(luò)傳輸波動(dòng)引起），提醒短信條數(shù)下降至4條以上，達(dá)到預(yù)期目標(biāo)，實(shí)施有效。圖9-4欠費(fèi)提醒短信耗時(shí)直方圖制圖時(shí)間：2015年6月28日制圖人：劉甦曉對(duì)策實(shí)施四：優(yōu)化欠費(fèi)提醒下發(fā)流程實(shí)施步驟： 優(yōu)化過(guò)程涉及步驟包括下發(fā)通道拆分、短信綠色通道建設(shè)、自平衡算法設(shè)計(jì)及接口進(jìn)程擴(kuò)容，為了合理安排優(yōu)化工作，小組成員通過(guò)箭條圖對(duì)整個(gè)優(yōu)化工作進(jìn)行了時(shí)間評(píng)估，從箭條圖中可以看出，完成關(guān)鍵工作路線所需最短時(shí)間為20天。圖9-5欠費(fèi)提醒流程優(yōu)化箭條圖制圖時(shí)間：2015年5月18日制圖人：裴力自平衡算法設(shè)計(jì)小組成員裴力于5月8日-5月13日期間仿照充值系統(tǒng)的負(fù)載均衡算法進(jìn)行改寫(xiě)，并結(jié)合目前短信系統(tǒng)實(shí)際的發(fā)送流速和執(zhí)行策略進(jìn)行優(yōu)化，算法程序模塊于5月12日晚上線。下發(fā)通道拆分、增加接口進(jìn)程為了避免欠費(fèi)低額提醒短信與交互式短信互占通道，形成搶占問(wèn)題產(chǎn)生，小組成員聯(lián)合開(kāi)發(fā)人員對(duì)現(xiàn)有的接口機(jī)實(shí)例進(jìn)行擴(kuò)容，將原本1個(gè)通道拆分成2各通道，每個(gè)通道根據(jù)流量擴(kuò)充接口進(jìn)程，其中交互式短信進(jìn)程8個(gè)，欠費(fèi)低額短信下發(fā)進(jìn)程2個(gè)。接口實(shí)例擴(kuò)充和通道下發(fā)由小組成員裴力于5月18日完成部署和上線。圖9-6下發(fā)通道拆分監(jiān)控圖制圖時(shí)間：2015年5月18日制圖人：裴力綠色通道建設(shè)為了應(yīng)對(duì)突發(fā)性大批量的短信沖擊，小組成員特定設(shè)置了欠費(fèi)短信備用流程和短信綠色通道，該備用流程的目的是當(dāng)現(xiàn)有承載的短信通道均超出設(shè)定閥值，且現(xiàn)有的能力無(wú)法滿足下發(fā)需求的情況下，通過(guò)備用流程或綠色通道提升欠費(fèi)短信優(yōu)先級(jí)提高處理效率。綠色通道的腳本由裴力于5月26日編寫(xiě)完畢并同步到短信中間件主機(jī)。短信沖擊預(yù)案設(shè)定為了應(yīng)對(duì)短信沖擊和月初批量信控引發(fā)的欠費(fèi)提醒短信不受影響，小組繪制了PDPC圖，針對(duì)各種沖擊制定了應(yīng)急預(yù)案，一旦出現(xiàn)相關(guān)情況可以按照設(shè)定的步驟進(jìn)行擴(kuò)容和發(fā)送策略調(diào)整。圖9-8短信沖擊預(yù)案設(shè)定制圖時(shí)間：2015年5月28日制表人：裴力實(shí)施效果：實(shí)施后：組員裴力在完成上述優(yōu)化后選用“平均值-極差”控制圖對(duì)欠費(fèi)低額提醒短信下發(fā)流量進(jìn)行校驗(yàn)，隨機(jī)選取了6.2-6.18不同時(shí)段的欠費(fèi)提醒短信流速共25組，每次選擇5個(gè)流速數(shù)據(jù)，共計(jì)125個(gè)數(shù)據(jù)。當(dāng)n=5時(shí)，取A2=0.577，D4=2.115,,由于n=5時(shí)，D3為負(fù)值，R圖LCL取0帶入公式計(jì)算。圖9-9欠費(fèi)提醒短信下發(fā)流速平均值-極差控制圖制圖時(shí)間：2015年6月20日制圖人：裴力優(yōu)化后的欠費(fèi)下發(fā)流速“平均值-極差”控制圖，沒(méi)有出現(xiàn)越界或異常的點(diǎn)子，流速控制在200條/秒以上，小組判斷欠費(fèi)低額短信下發(fā)流速得到有效控制。結(jié)論：通過(guò)欠費(fèi)提醒流程優(yōu)化和調(diào)整，初步解決欠費(fèi)提醒短信發(fā)送通道流量不足的現(xiàn)象產(chǎn)生。實(shí)施有效。十、效果檢查效果一、達(dá)到了提高提醒短信發(fā)送成功率的預(yù)計(jì)目標(biāo)經(jīng)過(guò)QC活動(dòng)，提醒短信發(fā)送成功率提高至在99.18%左右，達(dá)到了小組制定的98.00%目標(biāo)。圖10-1提醒短信發(fā)送成功率活動(dòng)