云計算中心持續(xù)自動化周期性改進(jìn)流程

1、云計算中心持續(xù)自動化周期性改進(jìn)流程目錄 HYPERLINK l _bookmark0 技術(shù)中心運維自動化目標(biāo)3 HYPERLINK l _bookmark1 適用范圍3 HYPERLINK l _bookmark2 自動化運維帶來的意義3 HYPERLINK l _bookmark3 周期審核3 HYPERLINK l _bookmark4 審核內(nèi)容3 HYPERLINK l _bookmark5 自動化的實現(xiàn)流程4 HYPERLINK l _bookmark6 自動化需求匯總&分析4 HYPERLINK l _bookmark7 需求收集4 HYPERLINK l _bookmark8 需求

2、篩選4 HYPERLINK l _bookmark9 需求分析5 HYPERLINK l _bookmark10 案例分析：“自動化生成賬單需求分析”5 HYPERLINK l _bookmark11 需求評估5 HYPERLINK l _bookmark12 評審小組組成5 HYPERLINK l _bookmark13 需求分解6 HYPERLINK l _bookmark14 案例分析：“自動化生成賬單需求分解”6 HYPERLINK l _bookmark15 評估結(jié)果確認(rèn)6 HYPERLINK l _bookmark16 評估報告6 HYPERLINK l _bookmark17 自

3、動化設(shè)計與實現(xiàn)7 HYPERLINK l _bookmark18 設(shè)計合適的模型7 HYPERLINK l _bookmark19 案例：“自動化生成賬單需求分解”7 HYPERLINK l _bookmark20 自動化開發(fā)7 HYPERLINK l _bookmark21 測試-貫穿整個開發(fā)階段7 HYPERLINK l _bookmark22 測試分析報告8 HYPERLINK l _bookmark23 生產(chǎn)發(fā)布8 HYPERLINK l _bookmark24 持續(xù)優(yōu)化9技術(shù)中心運維自動化目標(biāo)適用范圍云計算技術(shù)中心，約定必須周期性對運維工程師的日常操作進(jìn)行篩選整理評估，通過運維自動化

4、來持續(xù)的創(chuàng)新與簡化，最大限度提高效率、降低成本。自動化運維帶來的意義 消除無效率：運維工作的手動工作，通過自動化，將顯著提升效率水平； 減少錯誤：即使最謹(jǐn)慎的人，也會犯錯，尤其是面對著重復(fù)性工作。我們通過運維的自動化來完成重復(fù)性工作，把錯誤率大大降低； 放大工程師價值：我們要通過運維自動化，釋放工程師時間，集中在更復(fù)雜、更有戰(zhàn)略意義的業(yè)務(wù)問題上。同樣數(shù)量的工程師，通過自動化運維，能更多的創(chuàng)造價值； 提高滿意度水平 SLA：自動化運維為內(nèi)部和外部客戶提供高水平支持。無論是通過提供自助服務(wù)選項，還是大幅縮短時間（最多達(dá) 90）來減少聯(lián)系和等待服務(wù)臺的需求，自動化運維讓我們可以更好得擁抱 SLA。

5、降低成本：系統(tǒng)中斷、人為錯誤、重復(fù)工作，會導(dǎo)致不菲的費用和代價，我們通過自動化運維大幅度消除這些成本綜上，技術(shù)中心把運維自動化做為“最佳實踐”的一部分，盡可能多的實施自動化流程。周期審核 三個月一次小范圍審核組成人員：技術(shù)部小組內(nèi)部討論內(nèi)容：對已經(jīng)確認(rèn)影響效率的手動問題做總結(jié)，在小組內(nèi)通過腳本/程序方式自動化 六個月一次大范圍審核組成人員：技術(shù)中心討論內(nèi)容：針對共性問題做發(fā)現(xiàn)，正式發(fā)布已經(jīng)測試穩(wěn)定的自動化程序?qū)徍藘?nèi)容 執(zhí)行異常：審核已完成自動化需求的執(zhí)行情況，是否有異常，改進(jìn)空間 執(zhí)行延遲：審核正在實現(xiàn)自動化需求的進(jìn)度，是否延遲等 執(zhí)行不徹底：審核是否有需求已經(jīng)實現(xiàn)自動化，但仍然手動執(zhí)行自動化

6、的實現(xiàn)流程自動化需求匯總&分析定期收集技術(shù)人員工作報告，匯總階段處理的 jira 工單，不定時舉行頭腦風(fēng)暴，對收集到的信息做橫向和縱向分析需求收集技術(shù)人員工作報告Jira 工單匯總分析頭腦風(fēng)暴需求篩選 篩選方法需求的頻數(shù)單次需求工時時長解決需求過程中的出錯率 結(jié)果匯總結(jié)果由易到難分類排序定義優(yōu)先級需求分析 分析當(dāng)前需求的解決流程 需求價值：有無解決需求的難點，痛點，簡化人員需求是否可以復(fù)用需求人力成本需求時間成本 根據(jù)當(dāng)前解決流程，標(biāo)注整個需求的難點所在 指定需求的介紹人，為評估做準(zhǔn)備案例分析：“自動化生成賬單需求分析”背景介紹：L2C 有為客戶提供關(guān)聯(lián)賬單業(yè)務(wù)?？蛻魰⑺麄兊?AWS 賬戶關(guān)

7、聯(lián)到 L2C 公司賬號下，當(dāng)客戶關(guān)聯(lián)賬號后，AWS 會將被關(guān)聯(lián)賬號的賬單信息統(tǒng)一整合 L2C Payer 賬號下，出具統(tǒng)一賬單。 任務(wù)復(fù)雜性分析混合復(fù)雜性：Link 的賬單 AWS 默認(rèn)會合并到一起，由 Payer 賬戶進(jìn)行單個拆分預(yù)存款：部分客戶為預(yù)存款客戶，每個月需要計算客戶的預(yù)存款余額區(qū)域復(fù)雜性：AWS 的多 region 賬單即使在一個 payer 下也是分離的，需要在不同區(qū)域中單獨核算服務(wù)費單獨計費：L2C 對需要遷移、部署、MSP 的服務(wù)客戶，每個月要在賬單中單獨加入服務(wù)費 人工處理繁瑣分析人工拆分：當(dāng)前的賬單由技術(shù)部根據(jù) AWS 提供的原始 invoice，按照賬號 ID 拆分成

8、不同的賬單子表人工核對：根據(jù) S3 存儲桶中的詳細(xì)的賬單表記錄的信息核對，核對無誤后提交給前端商務(wù)人員；商務(wù)補(bǔ)充：商務(wù)部收到提交過去的賬單子表后，根據(jù)賬號 ID 將北京和寧夏區(qū)域?qū)?yīng)的賬單子表整合到一個賬單中，根據(jù)合同追加我司服務(wù)費用，并需要將月賬單費用總額從預(yù)存款中扣除，計算剩余的余款，將這部分信息追加到賬單中，最終生成 PDF，郵件發(fā)送給客戶發(fā)票開具：并將賬單信息提交給財務(wù)部，進(jìn)入發(fā)票流程；發(fā)票郵寄：財務(wù)部收到賬單后，會根據(jù)銷售人員的需求提供相應(yīng)的發(fā)票信息，郵寄給客戶綜上，隨著客戶越來越多，賬單表格越來越大，整體工作流程會占用大量的人員時間，而且出錯率較高。2.2 需求評估針對收集完的需求

9、，做統(tǒng)一的分析，評估，結(jié)合當(dāng)前公司技術(shù)狀態(tài)，財務(wù)能力等現(xiàn)狀，是否考慮執(zhí)行， 如執(zhí)行確定相關(guān)責(zé)任人，統(tǒng)籌規(guī)劃后續(xù)實施評審小組組成根據(jù)技術(shù)部規(guī)劃，在技術(shù)部季度/半年度例會上由自動化運維組長根據(jù)調(diào)研發(fā)起，組成評審小組。小組成員主要由自動化運維組長、需求工程師、技術(shù)總監(jiān)、其它必要工程師組成需求分解 需求當(dāng)事人介紹當(dāng)前重復(fù)繁瑣工作解決流程 需求介紹人闡述工作的難點，希望自動化哪些部分 技術(shù)可行性驗證：從網(wǎng)上整理相關(guān)需求的解決方法，供參考使用 針對難點，痛點特別說明 針對需求做一期，二期，三期規(guī)劃 評定評估結(jié)果 指定自動化實現(xiàn)負(fù)責(zé)人案例分析：“自動化生成賬單需求分解”對于賬單根據(jù)功能可以分成 技術(shù)部 +

10、商務(wù)部 + 財務(wù)部 三個部分技術(shù)部：難點主要在核對校驗，excel 表格信息記錄的很詳細(xì)，需要先做匯總，統(tǒng)計然后才能和賬單子表做對比，客戶越多，這部分需要重復(fù)的工作量也隨著增加，因為 AWS 資源服務(wù)較多，一旦其中一個單元格計算錯誤，可能需要推倒重來，直到核算一致為止商務(wù)部：難點主要是計算預(yù)存款余額，這部分需要加上不同 Region 單獨資源費和服務(wù)費，需要多人多次核對 針對此事件規(guī)劃如下：一期規(guī)劃：自動化實現(xiàn)技術(shù)部賬單分揀工作；二期規(guī)劃：結(jié)合賬單平臺商務(wù)人員計算自動化。只需要錄入預(yù)存款總額，當(dāng)月服務(wù)費即可生成當(dāng)月客戶賬單評估結(jié)果確認(rèn) 評估是否執(zhí)行 評估執(zhí)行哪一部分 結(jié)果對評估報告進(jìn)行最終簽字

11、確認(rèn)評估報告根據(jù)評估結(jié)果，生成最終的評估報告，由評估團(tuán)隊簽字確認(rèn)評估報告樣例如下：評估報告評估需求自動化生成賬單評估團(tuán)隊高楷鈞李小波程勤勤尹 濤安書生吳訓(xùn)杰蘇子庚評估結(jié)果執(zhí)行 不執(zhí)行評估內(nèi)容李小波介紹當(dāng)前賬單的解決流程李小波介紹當(dāng)前賬單的難點所在重復(fù)過濾不同賬號下的 excel 賬單表格，表格文件比較大，非常浪費時間討論后，一致同意自動化生成每個賬號的月賬單具體負(fù)責(zé)人李小波，安書生2.3 自動化設(shè)計與實現(xiàn)根據(jù)功能，對需求做細(xì)化的拆分。利用前期的調(diào)研結(jié)果分析整理后，結(jié)合已經(jīng)存在的模型、工具和方法論，整合形成一套適合需求的模型，然后基于此模型做論證，修復(fù)到最終生成設(shè)計報告。設(shè)計合適的模型符合云計算

12、的 Devops 設(shè)計標(biāo)準(zhǔn) 分解和模塊化：按照分解的需求做功能最小粒度拆分，力求“模塊化、可復(fù)用” 結(jié)合已有模型設(shè)計需求模型，減少重復(fù)設(shè)計 設(shè)計評估和設(shè)計復(fù)查第一步：分模塊確認(rèn)，每個模塊能否單獨實現(xiàn)第二步：評估整體設(shè)計是否有邏輯漏洞案例：“自動化生成賬單需求分解”技術(shù)實現(xiàn)：通過 python 對 S3 存儲桶中的 excel 賬單表格處理，按需生產(chǎn)格式化賬單拆分自動化開發(fā)約定開發(fā)周期，制定警戒時間（通常在第二次自動化會議 review） 構(gòu)建基礎(chǔ)開發(fā)環(huán)境 開發(fā)人員責(zé)任分配 根據(jù)設(shè)計模型，匹配需求，實現(xiàn)功能測試-貫穿整個開發(fā)階段邊開發(fā)，邊測試，開發(fā)人員在開發(fā)過程中要通過不斷的測試發(fā)現(xiàn)問題，不斷修

13、復(fù)，逐漸完善設(shè)計上的不足，代碼 bug，邏輯漏洞，按照預(yù)定目標(biāo)一步一步完成開發(fā) 測試計劃確定測試對象設(shè)計，編寫測試用例執(zhí)行測試評估測試結(jié)果 單元測試階段性測試分模塊測試 集成測試建議測試方法：自頂向下集成其他方法：自底向上集成，大爆炸集成，三明治集成當(dāng)一次測試完成后，記錄測試過程中發(fā)現(xiàn)的問題，重復(fù)多次測試，將結(jié)果整理到報告中，反饋給負(fù)責(zé)人，判斷是否可投入生產(chǎn)使用測試分析報告根據(jù)持續(xù)測試的結(jié)果，生成“自動化開發(fā)測試報告”自動化開發(fā)測試報告測試階段結(jié)果階段測試階段一基本滿足需求，可以將磁盤的數(shù)據(jù)保存到cloudwatchShell 腳本依賴性高，適配性差階段二1. 滿足需求，可以實現(xiàn)函數(shù)觸發(fā)，參數(shù)獲取階段三80%滿足需求，可以對卷，磁盤做擴(kuò)展磁盤擴(kuò)展成功后，未收到通知郵件集成測試根據(jù)測試用例，一次性測試成功集成度高，整個流程不需要人工介入并發(fā)性差，不能同時對兩個磁盤做熱擴(kuò)容是否發(fā)布發(fā)布 不發(fā)布生產(chǎn)發(fā)布提交：有 Devops 開發(fā)組向自動化評審組提交測試報告； 測試：批準(zhǔn)后分發(fā) L2C 的工程師上線測試環(huán)境進(jìn)行測試； 生產(chǎn)試運行：一個完整周期（根