DevOps平臺與實踐課件

1、打造卓越的IT生產(chǎn)線DevOps平臺與實踐平臺 讓創(chuàng)新無限工程效率平臺總覽企業(yè)DevOps建設(shè)思路DevOps平臺實踐案例分享建立卓越IT生產(chǎn)線 業(yè)務(wù)研發(fā)運維基礎(chǔ)設(shè)施交付需求（產(chǎn)品）配置（變更）支撐保障質(zhì)量安全問題（1）DevOps平臺 - 流程梳理與交付自動的迭代過程DevOps橫向集成：實現(xiàn)敏捷團隊內(nèi)不同角色的緊密協(xié)同DevOps縱向集成：打通研發(fā)工具鏈，建立部署流水線，自動化完成不同環(huán)境的部署，實現(xiàn)應(yīng)用程序的持續(xù)交付縱向集成橫向集成用戶故事缺陷測試用例編譯部署(Test)測試(Test)部署(Prod)用戶 PM QA Dev Ops部署(Stage)配置監(jiān)控反饋架構(gòu)（A）業(yè)務(wù)（B）組織

2、（O）流程（P）開發(fā)、運維、安全、質(zhì)量、精益面向版本火車的價值流交付技術(shù)架構(gòu)應(yīng)用架構(gòu)容器云傳統(tǒng)虛擬化微服務(wù)服務(wù)與工具元數(shù)據(jù)驅(qū)動故事地圖精益看板敏捷可視化協(xié)作學(xué)習(xí)型成熟度原則階段流水線開發(fā)流水線集測流水線交付流水線定義計劃構(gòu)建測試部署可管理可審計可優(yōu)化（2）自動化測試平臺 - 行為驅(qū)動開發(fā)的最佳實踐過程優(yōu)化度量分析自動化測試管理視圖自動化測試技術(shù)視圖性能壓測實驗室測試過程規(guī)范管理測試度量分析測試評審測試環(huán)境管理測試資源管理測試工具管理測試報告管理接口自動化測試功能自動化測試性能自動化測試安全性自動化測試健壯性自動化測試測試需求管理測試用例管理Bug管理移動端自動化測試實驗室監(jiān)督控制技術(shù)支撐以BD

3、D（行為驅(qū)動開發(fā)）方法為主導(dǎo)思想，提供完整測試工具集合，建立拉動式的自動化測試平臺（5）容器云平臺 - 用基礎(chǔ)能力屏蔽基礎(chǔ)設(shè)施的過程Any infrastructurePhysicalVirtual cloudAny app14K apps6K projectsAPIAPIEngineHub（6）微服務(wù)平臺 - 分布與聚合的完整方案體驗聚合架構(gòu)分布應(yīng)用/渠道分布服務(wù)分布數(shù)據(jù)分布感知分布運維體驗聚合客戶體驗聚合開發(fā)體驗聚合交付體驗聚合監(jiān)控數(shù)字化企業(yè)云平臺基礎(chǔ)設(shè)施基礎(chǔ)服務(wù)DevOpsApplication PaaSBPM PaaSIntegration PaaSBigData PaaS計算網(wǎng)絡(luò)存儲

4、容器鏡像倉庫API網(wǎng)關(guān)服務(wù)路由服務(wù)發(fā)現(xiàn)服務(wù)注冊自部署資源適配配額管理環(huán)境管理資源監(jiān)控資源編排日志身份認(rèn)證項目管理軟件產(chǎn)品管理軟件發(fā)布管理軟件環(huán)境管理介質(zhì)包倉庫部署包倉庫版本控制系統(tǒng)持續(xù)集成流程編排通訊使能BPM移動應(yīng)用Web應(yīng)用分布式數(shù)據(jù)處理數(shù)據(jù)展現(xiàn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)作業(yè)調(diào)度事件總線應(yīng)用生命周期管理React風(fēng)格Redis緩存復(fù)雜事件處理對象存儲服務(wù)總線消息中心社交BPM流程梳理移動BPM業(yè)務(wù)活動監(jiān)控服務(wù)容器服務(wù)配置Web容器負(fù)載數(shù)據(jù)應(yīng)用質(zhì)量基線反饋統(tǒng)一監(jiān)控中心知識庫關(guān)系數(shù)據(jù)庫服務(wù)性能監(jiān)控獨立進程應(yīng)用文件元數(shù)據(jù)業(yè)務(wù)中臺業(yè)務(wù)后臺租戶管理客戶管理多維組織模型客戶行為信息業(yè)務(wù)控制數(shù)據(jù)業(yè)務(wù)集成框架身份認(rèn)證

5、設(shè)備數(shù)據(jù)工程效率平臺總覽企業(yè)DevOps建設(shè)思路DevOps平臺實踐案例分享理清 微服務(wù)容器DevOps 的關(guān)系微服務(wù)容器技術(shù)“散”“裸”“工程化”“可用”DevOps誤區(qū)： 一味的強調(diào)敏捷，往往忽略了企業(yè)級交付設(shè)計開發(fā)測試計劃分析發(fā)布設(shè)計開發(fā)測試分析發(fā)布設(shè)計開發(fā)測試分析發(fā)布啟動Sprint1Sprint2.敏捷版本火車項目群產(chǎn)品管理誤區(qū)：做DevOps，是不是就是工具鏈的集成？那DevOps需求是什么？數(shù)據(jù)打通，基于度量引領(lǐng)優(yōu)化新特性是否知道運行在哪些機器上？功能是否知道有多少人花了多少代碼完成的？設(shè)計的架構(gòu)和實際部署的架構(gòu)是有有偏離？代碼庫與介質(zhì)庫、組件與介質(zhì)庫的元信息關(guān)聯(lián)？項目風(fēng)險到底是

6、什么造成的？管理能否前移？面向版本火車的DevOps建設(shè)策劃研發(fā)運營退出產(chǎn)品項目定義設(shè)計構(gòu)建測試部署執(zhí)行立項完工敏捷持續(xù)集成持續(xù)部署持續(xù)交付DevOps，面向項目群（版本火車）1*處理產(chǎn)生事件總結(jié)核心建設(shè)思路DevOps平臺更重要的是提供最佳實踐示例： 版本號的管理與關(guān)聯(lián)產(chǎn)品版本：1.0版本別名：shark代碼版本（POM）snapshot 1.0.0-snapshotrelease 1.0.0修訂號：一般引入第3位，如1.0.1，代表第一次修訂構(gòu)建號：一般引入第4位有體現(xiàn)在jar包名稱上有體現(xiàn)在manifest文件中發(fā)布版本往往與修訂版本一致也有獨立聲明的假設(shè)再引入了微服務(wù)？API版本.示例

7、： 版本號維度的發(fā)布展現(xiàn)2、產(chǎn)品修訂版本3、產(chǎn)品發(fā)布版本4、內(nèi)部組件版本1、產(chǎn)品規(guī)劃版本1.0示例： 代碼庫如何使用與構(gòu)建CBRMcommitbranchreleasemergeTBDGitHubGitCCCCCCCCCCPcherry-pickBCPRBRRRBCCMBCCMmasterdevelopfeaturereleasehotfixBCC多個BRTag與release分支使用方式類似核心建設(shè)思路DevOps平臺，重在讓所有角色在流水線上協(xié)作，共同驅(qū)動過程的精益示例： 不同階段的流水線開發(fā)流水線： 能最快的將代碼變更體現(xiàn)到開發(fā)聯(lián)調(diào)環(huán)境上測試流水線： 多輪迭代，冒煙準(zhǔn)入，確認(rèn)可進入發(fā)布流

8、水線發(fā)布流水線： 多環(huán)境確認(rèn)，推上生產(chǎn)，需要必要的審核構(gòu)建單元測試代碼掃描介質(zhì)上傳開發(fā)環(huán)境部署驗證構(gòu)建單元測試代碼掃描介質(zhì)上傳A環(huán)境部署驗證B環(huán)境部署驗證.部署驗證切換流量申請發(fā)布審批生產(chǎn)發(fā)布示例： 從流水線上看過程關(guān)鍵一： 環(huán)節(jié)必選與可選關(guān)鍵二： 自動與人工配合關(guān)鍵三： 主數(shù)據(jù)，buildNumber關(guān)鍵四： 參與者權(quán)限核心建設(shè)思路DevOps平臺，管理前移，有效指導(dǎo)和約束后續(xù)工作示例： 統(tǒng)一部署設(shè)計，驅(qū)動自動部署示例：配置資源與策略，完成自動部署nginxtomcatmysql192.168.1.2192.168.1.3192.168.1.4192.168.1.5Upsteam: wtGA

9、V: *.warGAV: *.sqlUpdateNewUpdate核心建設(shè)思路對于已有系統(tǒng)， DevOps平臺不僅僅是通過新的工具鏈實現(xiàn)快速交付，更是一種驅(qū)動優(yōu)化的變革示例： 在CI中運用多構(gòu)建策略提交即觸發(fā)編譯時間長怎么辦？架構(gòu)設(shè)計有問題設(shè)置構(gòu)建超時時間超時自動提bug提交即觸發(fā)，我的一個產(chǎn)品，構(gòu)建一次要20多分鐘，怎么辦？提交即觸發(fā)執(zhí)行所有Module發(fā)現(xiàn)架構(gòu)偏差分析子系統(tǒng)依賴設(shè)計執(zhí)行依賴Module自動提bug示例： 從CD結(jié)果中優(yōu)化部署形態(tài)某客戶說，因為回歸測試不充分，每次發(fā)布都特別痛苦，但事實是1. 邏輯問題2. 打包問題3. 多war問題為了配置，上線介質(zhì)都是重新打包的一個Jbos

10、s下，21個war包出錯幾率大大增加啟停時間特別長示例：多維度度量成員團隊部門質(zhì)量代碼問題數(shù)構(gòu)建成功率構(gòu)建成功率嚴(yán)重Bug數(shù)缺陷移除率部署成功率千行Bug率需求覆蓋率周期內(nèi)生產(chǎn)事故數(shù)量問題打回率文檔過審版本上下線周期效率編碼效率構(gòu)建頻率、時長事故恢復(fù)時間Bug修復(fù)時長部署時長周期內(nèi)產(chǎn)品數(shù)用例執(zhí)行時長需求交付時長周期內(nèi)項目數(shù)進度任務(wù)偏差項目偏差項目偏差任務(wù)滯留需求積壓吞吐穩(wěn)定性部署頻率、交付周期變更失敗率、故障恢復(fù)時長核心觀點DevOps平臺，并不是自動化一切，而是在可控中有選擇的自動化項目上線階段 滾動升級策略下的部署轉(zhuǎn)換示例部署轉(zhuǎn)換：部署設(shè)計是邏輯部署架構(gòu)，在實際部署時，需要結(jié)合目標(biāo)環(huán)境類型

11、、部署策略、部署模式等，將其轉(zhuǎn)換為可執(zhí)行的物理部署架構(gòu)（執(zhí)行計劃）。nginxtomcatmysql滾動升級滾動升級步長設(shè)置第一個步長容易有問題第一個步長腳本預(yù)覽第一個步長部署可暫停后續(xù)步長可實時調(diào)整第一步：基本設(shè)置步長失敗中斷值前置版本資源確認(rèn)第二步：計劃生成父子計劃參數(shù)化第三步：計劃執(zhí)行參數(shù)值變更預(yù)check（沙箱化）建設(shè)思路總結(jié)一條IT生產(chǎn)線覆蓋產(chǎn)品、項目領(lǐng)域體現(xiàn)出最佳實踐加強協(xié)作管理前移優(yōu)化架構(gòu)可控范圍的自動化核心價值：大幅提升IT工程效率工程效率平臺總覽企業(yè)DevOps建設(shè)思路DevOps平臺實踐案例分享DevOps平臺 能力矩陣項目團隊沖刺角色權(quán)限任務(wù)Bug構(gòu)建代碼庫分支/tag代

12、碼質(zhì)量流水線任務(wù)編排發(fā)布執(zhí)行配置下發(fā)人工干預(yù)部署部署設(shè)計策略管理腳本版本跟蹤資源度量與優(yōu)化構(gòu)建成功率構(gòu)建時長部署成功率代碼質(zhì)量介質(zhì)庫需求看板總結(jié)組件管理構(gòu)建伸縮漂移備份回滾日志監(jiān)控部署時長瓶頸活動實例運維測試集成服務(wù)預(yù)置缺陷逃逸問題庫環(huán)境看板執(zhí)行跟蹤變量管理各階段工件打通，支撐軟件生命周期配置管理項目管理追蹤（需求、任務(wù)）持續(xù)集成發(fā)布管理運營報表與分析測試管理與自動化項目規(guī)劃與定義端到端的集成與追蹤軟件研發(fā)協(xié)作統(tǒng)一平臺研發(fā)運維一體化應(yīng)用配置資源監(jiān)控數(shù)據(jù)輔助決策研發(fā)流程透明化規(guī)范化開發(fā)人員效率提升提高軟件交付質(zhì)量與效率實施效果快速響應(yīng)業(yè)務(wù)變化、早于客戶發(fā)現(xiàn)問題QCAppniumAnsibleHa

13、rborOpenPLM集成開源與標(biāo)準(zhǔn)系統(tǒng)，保持架構(gòu)開放性溝通環(huán)境&資源源碼編譯介倉PM測試&質(zhì)量監(jiān)控配置Harbor部署AnsibleFabric8中間件服務(wù)OracleAppiumArtifactoryMake針對企業(yè)網(wǎng)管要求，形成高可靠部署架構(gòu)關(guān)鍵設(shè)計： 領(lǐng)域驅(qū)動設(shè)計，組件化疊加關(guān)鍵設(shè)計： 充分考慮設(shè)計產(chǎn)物的可執(zhí)行性Word文檔4+1togaf產(chǎn)品（系統(tǒng)）=開發(fā)運行線上設(shè)計接口組件容器裝配輸入生成、檢查接口設(shè)計應(yīng)用組件部署架構(gòu)關(guān)鍵設(shè)計： 編排式的構(gòu)建定義與可視化執(zhí)行構(gòu)建定義任務(wù)管理選擇模板JavaEEAndroidHtml.在項目中創(chuàng)建構(gòu)建定義增加多個構(gòu)建任務(wù)（步驟）觸發(fā)規(guī)則設(shè)置觸發(fā)規(guī)則，

14、如日構(gòu)建、每次變更；對編譯歷史設(shè)置保留策略；對一些公共變量可設(shè)置為公用參數(shù)；保留策略參數(shù)設(shè)置關(guān)鍵設(shè)計：支持異構(gòu)設(shè)施上的多策略發(fā)布部署設(shè)計部署轉(zhuǎn)換組件運營部署裝配部署系統(tǒng)部署系統(tǒng)部署組件部署組件部署組件部署組件裝配庫提交部署環(huán)境配置庫定義策略資源配置裝配部署計劃生成Jenkins pipeline計劃執(zhí)行審批AnsibleAnsibleFabric物理機OpenstackOpenshift部署組件實例A實例B部署組件實例C實例D啟動停止重啟修復(fù)狀態(tài)檢查組件實例運營承載全新藍綠灰度滾動升級可伸縮關(guān)鍵設(shè)計：流水線過程化的動態(tài)配置前置構(gòu)建環(huán)境流水線發(fā)布過程支持手動觸發(fā)發(fā)布過程支持在特殊分支構(gòu)建觸發(fā)發(fā)布

15、過程支持定時觸發(fā)發(fā)布過程支持自定義事件觸發(fā)編排項目中各環(huán)境的順序支持自動和人工審核每個環(huán)境中可支持多任務(wù)，比如部署，測試，郵件通知等跟蹤流水線過程基于運營數(shù)據(jù)優(yōu)化生產(chǎn)線通過模板化的任務(wù)封裝，后續(xù)擴展出更多發(fā)布動作支持與企業(yè)CMDB打通支持與ITSM打通觸發(fā)發(fā)布動作設(shè)計發(fā)布過程過程持續(xù)優(yōu)化打通企業(yè)各信息系統(tǒng)產(chǎn)品截圖 平臺配置 組織機構(gòu)產(chǎn)品截圖 平臺配置 系統(tǒng)配置產(chǎn)品截圖 平臺配置 業(yè)務(wù)參數(shù)產(chǎn)品截圖 平臺配置 安全審計產(chǎn)品截圖 項目管理產(chǎn)品截圖 組件與代碼庫管理產(chǎn)品截圖 持續(xù)集成產(chǎn)品截圖 發(fā)布流水線產(chǎn)品截圖 報表愿景： 打造可持續(xù)發(fā)展的DevOps平臺易擴展方法攔截器，AOP模式實現(xiàn)配置化，靈活替

16、換實現(xiàn)對外接口可度量度量的法則： 吞吐與穩(wěn)定性三個維度： 效率、質(zhì)量、進度基于數(shù)據(jù)不斷推導(dǎo)出閾值（數(shù)據(jù)）連通性需求到代碼的跟蹤設(shè)計驅(qū)動最終部署架構(gòu)的標(biāo)準(zhǔn)（行業(yè)）標(biāo)準(zhǔn)化流程的相似性沉淀項目模板、應(yīng)用模板的通用性工程效率平臺總覽企業(yè)DevOps建設(shè)思路DevOps平臺實踐案例分享 DevOps典型客戶案例萬達網(wǎng)絡(luò)科技集團一家實業(yè)+互聯(lián)網(wǎng)大型開放型平臺公司，擁有支付、征信、信貸等業(yè)務(wù)資質(zhì)的公司，運用大數(shù)據(jù)、云計算、人工智能、場景應(yīng)用等技術(shù)為實體產(chǎn)業(yè)實現(xiàn)數(shù)字化升級，為消費者提供生活圈的全新消費服務(wù)。IT工程效率提升50%工程效率提升50%6個月時間40多套核心產(chǎn)品周交付建立引領(lǐng)性度量指標(biāo)交付速度工程質(zhì)

17、量運維保障用戶體驗業(yè)務(wù)價值建立質(zhì)量評分機制國家開發(fā)銀行國家開發(fā)銀行信息化總體規(guī)劃（2015版）中明確指出“應(yīng)用靈活友好，架構(gòu)彈性開放”的信息化發(fā)展目標(biāo)，確定了“大平臺，小應(yīng)用”的總體建設(shè)思路，在架構(gòu)領(lǐng)域?qū)崿F(xiàn)彎道超車。USE大平臺的統(tǒng)一規(guī)劃統(tǒng)一軟件交付CDP分布式服務(wù)框架DSFPaaS云平臺USE 2.0 實現(xiàn)分布式服務(wù)架構(gòu)，推動服務(wù)治理，解決中心化問題推動“大平臺，小應(yīng)用”，增加系統(tǒng)彈性和靈活性借鑒Devops理念，實現(xiàn)軟件交付過程自動化、標(biāo)準(zhǔn)化、一體化，提升交付質(zhì)量和效率。應(yīng)用開發(fā)平臺USE1.0+微服務(wù)平臺 提供一體化的應(yīng)用開發(fā)工具和運行環(huán)境到人到接口的細(xì)粒度統(tǒng)計全生命周期的交付跟蹤中國聯(lián)通聯(lián)通在大混改背景下，為解決應(yīng)用孤島問題，實現(xiàn)能力共享，從集團處整體規(guī)劃，建立面向微服務(wù)架構(gòu)的研發(fā)運營一體化平臺，提升項目交付效率，快速響應(yīng)業(yè)務(wù)變化，同時通過容器化能力，改善資源利用率，降低運維成本。DevOps運營一體化平臺能力聯(lián)通新一代： 微服務(wù)平臺容器云平臺I-PaaS平臺開發(fā)平臺DevOps平臺千人千