中小銀行的DevOps實(shí)踐

1、技術(shù)創(chuàng)新 變革未來中小銀行的DevOps實(shí)踐目錄為什么要做運(yùn)維自動(dòng)化1我們做了什么2我們?cè)谧鲆约皩⒁鍪裁?傳統(tǒng)運(yùn)維支撐工作的痛點(diǎn)問題/故障定位的效率應(yīng)用發(fā)布過程中，由于操作過程的復(fù)雜 性和人為原因，容易發(fā)生誤操作，而且難 以及時(shí)發(fā)現(xiàn)。問題出現(xiàn)后重現(xiàn)操作過程困 難，不能快速準(zhǔn)備地定位問題根源，最終 影響業(yè)務(wù)系統(tǒng)的正常運(yùn)行。交付的困境系統(tǒng)環(huán)境復(fù)雜，不同操作系統(tǒng)(如 Unix/Linux/Windows等)，不同主機(jī)服務(wù) 器(如應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、前置 服務(wù)器等)，不同設(shè)備(如交換機(jī)、防火 墻、負(fù)載均衡、IDS、WAF等)應(yīng)用架構(gòu)愈發(fā)復(fù)雜的挑戰(zhàn)系統(tǒng)關(guān)聯(lián)關(guān)系復(fù)雜，業(yè)務(wù)處理環(huán)節(jié)眾多，業(yè) 務(wù)關(guān)聯(lián)性

2、強(qiáng)，并且隨著業(yè)務(wù)的增長(zhǎng)，應(yīng)用架 構(gòu)的變化導(dǎo)致運(yùn)維架構(gòu)的復(fù)雜度急劇上升， 傳統(tǒng)運(yùn)維模式很難支撐現(xiàn)有的運(yùn)維架構(gòu)人為手工操作的風(fēng)險(xiǎn)版本發(fā)布、日常巡檢、故障排查、補(bǔ)丁處 理等手工操作，標(biāo)準(zhǔn)化程度低，操作過程 中應(yīng)用發(fā)布時(shí)間較長(zhǎng)且出現(xiàn)誤操作的風(fēng)險(xiǎn)較大日常運(yùn)維工作自動(dòng)采集各種IT資產(chǎn)的配置信息；對(duì)設(shè)備進(jìn)行批量操作，提高管理效率；IT資產(chǎn)統(tǒng)一管理；運(yùn)維需求Requirements審計(jì)與報(bào)表支持支持多數(shù)據(jù)中心的硬件/軟件/操作的全面報(bào)表；自動(dòng)生成通用的合規(guī)報(bào)表；創(chuàng)建可交互的圖表，提供多層次數(shù)據(jù)，能深入挖掘；可以導(dǎo)出報(bào)表數(shù)據(jù)與其它報(bào)表工具進(jìn)行集成；軟件/補(bǔ)丁自動(dòng)化安裝帳戶集中管理提供集中、統(tǒng)一的用戶認(rèn)證和權(quán)限管

3、理；實(shí)現(xiàn)基于角色、細(xì)粒度、靈活的用戶權(quán)限控制；提供單點(diǎn)登錄功能，避免用戶記憶很多口令；支持多種外部的用戶認(rèn)證方式，包括LDAP、AD等。操作系統(tǒng)、數(shù)據(jù)庫、中間件、應(yīng)用服務(wù)等補(bǔ)丁批量安裝/回滾；工作流方式，支持統(tǒng)一的調(diào)度和協(xié)同工作；實(shí)現(xiàn)IT流程完整的生命周期，流程閉環(huán)管理；提供可視化工具定制流程；日常巡檢規(guī)范性質(zhì)的執(zhí)行情況檢查；系統(tǒng)狀態(tài)檢查及容量管理檢查，如：CPU/內(nèi)存/磁盤/表空間/補(bǔ)丁/網(wǎng)絡(luò)策略/安全設(shè)置等； 支持手動(dòng)、觸發(fā)式或設(shè)定的時(shí)間窗口自動(dòng)周期性執(zhí)行；探針服務(wù)優(yōu)化支持?jǐn)?shù)據(jù)中心大多數(shù)的操作系統(tǒng)；對(duì)目標(biāo)機(jī)器的磁盤和內(nèi)存要求不高；運(yùn)行時(shí)占用資源少，運(yùn)行穩(wěn)定；IT資產(chǎn)管理運(yùn)維自動(dòng)化的優(yōu)勢(shì)自動(dòng)

4、化可視化改變傳統(tǒng)的運(yùn)維模式中手工應(yīng)用發(fā)布的流程，建立運(yùn)維自動(dòng)化操作 平臺(tái)，實(shí)現(xiàn)應(yīng)用發(fā)布和巡檢的自動(dòng)化；降低手工操作的潛在風(fēng)險(xiǎn)，減少人為因素帶來的影響減輕運(yùn)維人員負(fù)擔(dān)，提升工作效率，降低運(yùn)維成本；系統(tǒng)的設(shè)計(jì)滿足操作簡(jiǎn)單，便于理解和良好的用戶體驗(yàn)。減少和屏蔽目 前版本升級(jí)上線過程中，復(fù)雜的命令操作方式，實(shí)現(xiàn)升級(jí)流程配置化。用戶與系統(tǒng)有良好的交互性，每步的運(yùn)行結(jié)果都有實(shí)時(shí)的展現(xiàn)，同時(shí)也 方便事后查詢。運(yùn)維自動(dòng)化的優(yōu)勢(shì)服務(wù)標(biāo)準(zhǔn)化運(yùn)行成本可進(jìn)行計(jì)量，事件處置 或運(yùn)行分析等均有統(tǒng)一流程步驟， 運(yùn)維服務(wù)標(biāo)準(zhǔn)化易管理平臺(tái)化模式運(yùn)作，自動(dòng)化程度高， 操作流程可控，易于管理，運(yùn)維 操作的數(shù)據(jù)全面真實(shí)效率高系統(tǒng)變更

5、、發(fā)布、應(yīng)急處置自動(dòng)化， 降低對(duì)操作人員的需求，提高操作 效率可靠性強(qiáng)通過運(yùn)維系統(tǒng)的封裝后，將日常的 運(yùn)維操作圖形化、標(biāo)準(zhǔn)化，有效避 免人為誤操作風(fēng)險(xiǎn)目錄為什么要做運(yùn)維自動(dòng)化1我們做了什么2我們?cè)谧鲆约皩⒁鍪裁?先說說怎么做DEVOPS不是自動(dòng)化發(fā)布系統(tǒng)，不是上個(gè)工具就萬事大吉要圍繞著企業(yè)開發(fā)的實(shí)際情況，開發(fā)流程甚至組織模式同步變更建立統(tǒng)一的標(biāo)準(zhǔn)、團(tuán)隊(duì)協(xié)作的文化、完善的基礎(chǔ)設(shè)施、組織架構(gòu)的調(diào)整適應(yīng)。系統(tǒng)建設(shè)的基礎(chǔ) - 標(biāo)準(zhǔn)化010203系統(tǒng)基線硬件配置、操作系統(tǒng)版本； 操作系統(tǒng)用戶、環(huán)境變量； 基礎(chǔ)監(jiān)控、探針組件；應(yīng)用服務(wù)源碼管理、分支/版本管理、基線管理；“統(tǒng)一”JDK版本、Tomcat版

6、本；“統(tǒng)一”應(yīng)用路徑、包命名規(guī)范；配置與日志引入配置中心； 強(qiáng)制域名化；日志輸出格式、路徑”統(tǒng)一”；系統(tǒng)建設(shè)的基礎(chǔ) - 準(zhǔn)生產(chǎn)環(huán)境發(fā)布到生產(chǎn)環(huán)境前的預(yù)演系統(tǒng)建設(shè)的基礎(chǔ) - 版本管理策略制度要跟上規(guī)范、流程、管理辦法傳統(tǒng)發(fā)布流程實(shí)現(xiàn)從代碼編譯到應(yīng)用發(fā)布的全程可視化持續(xù)部署固化發(fā)布流程，服務(wù)啟停，應(yīng)用備份，發(fā)布及回滾，風(fēng)險(xiǎn)可見自動(dòng)化發(fā)布 - 發(fā)布流程自動(dòng)化發(fā)布 - 系統(tǒng)架構(gòu)自動(dòng)化發(fā)布 - 功能概述功能功能簡(jiǎn)介發(fā)布實(shí)現(xiàn)應(yīng)用發(fā)布過程的一系列過程編排。主要包括：數(shù)據(jù)字典維 護(hù)(含應(yīng)用、服務(wù)、服務(wù)器等)、發(fā)布模板、發(fā)布請(qǐng)求、作業(yè)、應(yīng) 用war包、腳本、發(fā)布過程、監(jiān)控路徑、發(fā)布日志、應(yīng)用日志等巡檢包括：巡檢

7、模板，巡檢作業(yè)，巡檢目標(biāo)，對(duì)象管理，系統(tǒng)巡檢， 應(yīng)用巡檢，服務(wù)巡檢，日志分析等系統(tǒng)管理包括用戶管理、權(quán)限管理、角色管理、資源管理、操作日志、 系統(tǒng)配置等自動(dòng)化發(fā)布 - 原型設(shè)計(jì)應(yīng)用配置發(fā)布日志應(yīng)用列表管理發(fā)布計(jì)劃發(fā)布計(jì)劃數(shù)據(jù)字典自動(dòng)化發(fā)布 - 發(fā)布邏輯自動(dòng)化發(fā)布自動(dòng)化運(yùn)維 - 裝機(jī) 統(tǒng)一管理不同環(huán)境中的主機(jī)資源 支持按需(不同類型)快速初始化服務(wù)器 虛擬化平臺(tái)的容器管理中心 具備權(quán)限管理、日志管理、操作統(tǒng)計(jì)自動(dòng)化運(yùn)維 - 數(shù)據(jù)庫釘正 SQL自動(dòng)補(bǔ)全 DDL語句標(biāo)準(zhǔn)化審核 SQL語句檢測(cè)、執(zhí)行、回滾 支持工作流 用戶權(quán)限管理感謝： mysql-inception自動(dòng)化運(yùn)維 - 配置中心 統(tǒng)一管理

8、不同環(huán)境中的配置 配置變更可實(shí)時(shí)更新，無須應(yīng)用端重啟 支持對(duì)配置的版本管理 具備權(quán)限管理、發(fā)布審核、操作審計(jì)自動(dòng)化運(yùn)維 - 操作審計(jì) 采用堡壘機(jī)做為運(yùn)維安全審計(jì)系統(tǒng) 操作人員使用自己專用賬戶 采用雙因素校驗(yàn)，免密登錄服務(wù)器，防止 服務(wù)器密碼泄露 接入生產(chǎn)環(huán)境所有設(shè)備 安全團(tuán)隊(duì)定期對(duì)堡壘機(jī)記錄事件進(jìn)行審計(jì)DevOps是一場(chǎng)持久戰(zhàn)DevOps最重要的目標(biāo)是為交付過程賦能，加速研發(fā)DevOps是個(gè)持久戰(zhàn)，特別是面對(duì)存量DevOps需要強(qiáng)力的保障團(tuán)隊(duì)自動(dòng)化發(fā)布系統(tǒng) - 工具鏈目錄為什么要做運(yùn)維自動(dòng)化1我們做了什么2我們?cè)谧鲆约皩⒁鍪裁?我們又遇到痛點(diǎn)了發(fā)布系統(tǒng)功能仍然很弱，并不完善灰度發(fā)布需求強(qiáng)烈，

9、但對(duì)現(xiàn)有系統(tǒng)改造較大為什么要容器化科技賦能軟件架構(gòu)質(zhì)量保障成本優(yōu)勢(shì)支撐業(yè)務(wù)的基礎(chǔ)設(shè)施容器化可做為支撐業(yè)務(wù)系統(tǒng)快速 落地的最佳技術(shù)手段；運(yùn)行于容 器上的應(yīng)用健壯程度遠(yuǎn)高于虛擬 化；容器化的應(yīng)用系統(tǒng)非常輕量， 也將為平臺(tái)快速復(fù)用打下基礎(chǔ)。低風(fēng)險(xiǎn)的快速部署提升質(zhì)量保障 一次構(gòu)建，多次交付，隨著交付物的 標(biāo)準(zhǔn)化，打包至鏡像的應(yīng)用模板不管在開發(fā)、測(cè)試或是生產(chǎn)環(huán)境，都是使 用相同的一套程序代碼和運(yùn)行環(huán)境， 從而有效的降低我行因環(huán)境差異而導(dǎo)致的軟件故障。軟件架構(gòu)的先進(jìn)性我行互聯(lián)網(wǎng)業(yè)務(wù)微服務(wù)化的引入有 其優(yōu)勢(shì)，但其自身特點(diǎn)同步帶來的 服務(wù)拆分，服務(wù)器數(shù)據(jù)增多，拓?fù)?結(jié)構(gòu)復(fù)雜化，這些又都會(huì)使運(yùn)維管 理工作變的更有挑戰(zhàn)。容器云提供 解決這類問題的基礎(chǔ)平臺(tái)。成本優(yōu)勢(shì)容器可以顯著減少啟動(dòng)和管理的虛擬 機(jī)數(shù)量，改變每個(gè)應(yīng)用都需要一個(gè)(至少)虛擬機(jī)的需求，減少大量的存 儲(chǔ)和內(nèi)存資源的浪費(fèi)，進(jìn)而轉(zhuǎn)化為巨 大的成本節(jié)省，保守估計(jì)能夠節(jié)約50%的服務(wù)器成本。容器的優(yōu)勢(shì)效率成本devops穩(wěn)定更高的效率提升開發(fā)、測(cè)試和運(yùn)維效率完善的支持devops微服務(wù)、容器化和CI/CD一體化，產(chǎn)品上 張時(shí)間顯著縮短，