張煒：高質(zhì)效創(chuàng)新組織數(shù)字化時代下科技運營轉(zhuǎn)型探索實踐

馬上消費金融-科技運營部負責人擁有超過16年的技術(shù)運營管理經(jīng)驗，目前擔任馬上消費金融股份有在公司成功實施了多項DevOps實踐，提升軟件交付的速度和質(zhì)量，同時確保了生產(chǎn)環(huán)境的高可用性和穩(wěn)定性，基本形成需求到生產(chǎn)端到端GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站o1數(shù)字化技術(shù)加速融合02創(chuàng)新與風險兼顧的研發(fā)管理體系03高效穩(wěn)定的IT服務(wù)與運營體系04數(shù)字化IT投資管理GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站技術(shù)運營管理變革從傳統(tǒng)工具到新代智能技術(shù)運營管理變革從傳統(tǒng)工具到新代智能工具決策革命 —/決策工具革命?學習能力?推理能力?語言理解?自適應(yīng)性??學習能力?推理能力?語言理解?自適應(yīng)性?體量大?速度快?多樣性?可視化?小型化?去中心化?可擴展?松耦合技術(shù)廣泛應(yīng)用?資源池化?快速彈性?服務(wù)化、標準化?災(zāi)難恢復(fù)、數(shù)據(jù)備份容器化和微服務(wù)架構(gòu)數(shù)據(jù)驅(qū)動的決策容器化和微服務(wù)架構(gòu)數(shù)據(jù)驅(qū)動的決策多云和混合云策略多云和混合云策略DevOpsDevOps實踐的普及正在改變IT運營，通過持續(xù)集成和持續(xù)部署流程，實現(xiàn)更快的軟件交付和更緊密的開發(fā)與運營團隊協(xié)作。容器化技術(shù)（如Docker）和微服務(wù)架構(gòu)正在改變應(yīng)用程序的部署和管理方式，要求IT運營適應(yīng)這些新方法。企業(yè)越來越多地采用多云和混合云策略，這要求IT運營能夠管理多個云平臺和本地業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)業(yè)務(wù)連續(xù)性和災(zāi)難恢復(fù)隨著遠程工作和分布式系統(tǒng)的普及，確保業(yè)務(wù)連續(xù)性和有效的災(zāi)難恢復(fù)計劃變得更加重要。技術(shù)運營通過數(shù)據(jù)驅(qū)動持續(xù)改進隨著大數(shù)據(jù)的深度和廣泛應(yīng)用，企業(yè)正在利用數(shù)據(jù)分析來優(yōu)化運營流程、提高客戶滿意度，并做出更加明智的業(yè)務(wù)決策。技術(shù)運營通過數(shù)據(jù)驅(qū)動持續(xù)改進。在市場快速變化和技術(shù)加速融合過程中，IT運營要確保變革順利進行，同時為企業(yè)帶來持續(xù)的價值增長業(yè)務(wù)發(fā)展對IT快速響應(yīng)與靈活交付的挑戰(zhàn)技術(shù)融合加速對IT穩(wěn)定運營管理的挑戰(zhàn)商業(yè)價值的不確定性對IT科學投資決策的挑戰(zhàn)GOPGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站DevOps目標是讓研發(fā)更快，讓業(yè)務(wù)更穩(wěn)，讓決策更準快快穩(wěn)穩(wěn)準準GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站實現(xiàn)IT運營價值創(chuàng)造需要完成的模式轉(zhuǎn)變架構(gòu)輕量化架構(gòu)輕量化單塊架構(gòu)瀑布式開發(fā)開發(fā)運維分離豎井式物理資源基礎(chǔ)設(shè)施UU松耦合APIs合作伙伴微服務(wù)敏捷交付一體化GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站實現(xiàn)IT運營價值目標需要具備的六項能力GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站集中式集中式權(quán)責明確的高效的科技運營組織模式與運行機制分散式分散式?企業(yè)規(guī)模較小，業(yè)務(wù)單一?快速決策和統(tǒng)一行動?組織結(jié)構(gòu)：金字塔形?需要提高對市場變化的適應(yīng)性和靈活性時?決策分散、快速響應(yīng)市場變化和客戶需求?部門墻、高協(xié)調(diào)溝通成本、資源分散聯(lián)?各業(yè)務(wù)領(lǐng)域快速適應(yīng)新技術(shù)和創(chuàng)新時式性結(jié)合；激發(fā)各技術(shù)條線的創(chuàng)新和市場適應(yīng)性?依賴性高層管理者、市場響應(yīng)慢?需要較高的管理能力和協(xié)調(diào)機制?健康的科技運營系統(tǒng)能夠應(yīng)對環(huán)境變化、應(yīng)對意外，并自我成長??組織模式：集中與分散的平衡運行機制：資源共享與協(xié)同工作?GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站需求管理：承載DevOps開發(fā)模式的PPR/PER/PIR管理22?需求來源歸屬PPR（項目）、PER（項目關(guān)聯(lián)/系統(tǒng)功能完善）、PIR（問題）項目角度11?PPR遵循項目管理方式，有生命周期和?PER/PIR遵循需求管理方式，完成上線GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站三種開發(fā)模式：支持不同場景的需求實現(xiàn)，在高頻發(fā)布場景下保證生產(chǎn)發(fā)布的質(zhì)量需求階段研發(fā)模式關(guān)鍵活動需求階段研發(fā)模式關(guān)鍵活動需求提出需求分析需求評審需求設(shè)計需求提出需求分析需求評審需求設(shè)計需求實現(xiàn)需求驗收》架構(gòu)評審系統(tǒng)設(shè)計編碼實現(xiàn)代碼評審架構(gòu)評審系統(tǒng)設(shè)計編碼實現(xiàn)代碼評審架構(gòu)設(shè)計》聯(lián)調(diào)測試測試活動聯(lián)調(diào)測試測試活動測試準備》平臺工具GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站(1).需求管理：場景驅(qū)動，形成高效流動的“價值漏斗”價值創(chuàng)造以需求的形式承載，需求管理的目標是有效識別并驅(qū)動價值流的快速流轉(zhuǎn)。傳統(tǒng)IT的需求管理多是單向接收業(yè)務(wù)部門訴求，然后按研發(fā)流程進行需求分析、計劃、開發(fā)測試和發(fā)布交付，在IT內(nèi)部資源、時間等諸多因素的不對稱，并且相互?需求交付的效果與用戶預(yù)期偏差大，用戶滿意度低?以場景驅(qū)動，建立價值流漏斗，形成從輸入到輸出的全價值鏈交付。?從需求提出、評估分析、排期開發(fā)、測試驗收、上線交付等各個環(huán)節(jié)進行全覆蓋，對研發(fā)過程、數(shù)據(jù)、資源實現(xiàn)透明化。?業(yè)務(wù)部門可以快速得到反饋，研發(fā)部門能夠理解需求GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站度量的目標是讓效能可量化、可分析、可改進，通過數(shù)據(jù)驅(qū)動的方式更理性的評估和改善效能技術(shù)目標是持續(xù)提升研發(fā)流程的效率、保證規(guī)范的執(zhí)行、提升質(zhì)量和效率，持續(xù)提升是精益的更高追求，尋找提升空間需要思考的問題是：我們的流程是高效的嗎？阻礙在哪里？我們的規(guī)范落地執(zhí)行情況如何？流程控制是否存在漏洞？我們的研發(fā)質(zhì)量和效率如何？短板在哪里？度量指標能夠客觀反映現(xiàn)狀，幫助我們看到現(xiàn)狀與目標之間的差距然而，這只是技術(shù)視野，我們還要了解業(yè)務(wù)方的期望，才能知道我們的視野是否足夠開闊，才能決定改進的方向，不能閉門造車能夠提供更全面的IT產(chǎn)品和更高效的IT服務(wù)能夠更快地響應(yīng)需求及完成交付能夠為業(yè)務(wù)應(yīng)用更穩(wěn)定地提供更高質(zhì)量的交付我們的最高目標始終是為了更好地支撐業(yè)務(wù)，要了解業(yè)務(wù)方最迫切所需，及時調(diào)整技術(shù)改進方向，使技術(shù)目標與業(yè)務(wù)目標保持協(xié)調(diào)GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站完整的價值度量體系，量化產(chǎn)研關(guān)鍵活動，指標驅(qū)動效率和質(zhì)量持續(xù)改進要的錯誤和返工，驅(qū)動內(nèi)部、外部質(zhì)量改GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站GOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站SRE穩(wěn)定性時空：四個維度支撐整個穩(wěn)定性保障作業(yè)俗俗技術(shù)管理和運維活動穩(wěn)定性保障對象技術(shù)管理和運維活動穩(wěn)定性保障對象平臺能力建設(shè)故障和穩(wěn)定性生命周期平臺能力建設(shè)故障和穩(wěn)定性生命周期GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站科技運營研發(fā)團隊A研發(fā)團隊B聯(lián)邦制SRE模式：倡導SRE文化，推行聯(lián)邦制SRE運維模式，促進研發(fā)、運維高效協(xié)作科技運營研發(fā)團隊A研發(fā)團隊B運行機制?各團隊SRE為“邦”，分別開展監(jiān)控巡檢、變ONCALL應(yīng)急（含演練）、問題復(fù)盤跟進等6項核心工作?科技運營團隊統(tǒng)籌共性的體系、流程、工具平臺，建立溝通協(xié)作機制，聯(lián)系各團隊SRE總結(jié)分享和推廣最佳實踐優(yōu)勢SRESRE優(yōu)勢SRESRE?“聯(lián)”的優(yōu)勢：形成統(tǒng)一的規(guī)范、流程、工具?“邦”的優(yōu)勢：各SRE團隊職責邊界清晰，能夠更高效、更便捷地服務(wù)于本團隊的研發(fā)生產(chǎn)GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站 服務(wù)容量和業(yè)務(wù)容量：建立服務(wù)SLO穩(wěn)定性標準效果3：建立服務(wù)穩(wěn)定性可視化度量效果3：建立服務(wù)穩(wěn)定性可視化度量可視化生產(chǎn)所有服務(wù)的的穩(wěn)定性運行情況(錯誤消耗、SLA可視化生產(chǎn)所有服務(wù)的的穩(wěn)定性運行情況(錯誤消耗、SLA建立業(yè)務(wù)、應(yīng)用、組件等的服務(wù)穩(wěn)定性量化標準，基于標準觀測服務(wù)狀態(tài)。優(yōu)化改進：建立服務(wù)治理閉環(huán)處理流程優(yōu)化改進：分層梳理優(yōu)化改進：建立服務(wù)治理閉環(huán)處理流程優(yōu)化改進：分層梳理SLI、SLO、SLA③治理服務(wù)質(zhì)量②管理服務(wù)③治理服務(wù)質(zhì)量②管理服務(wù)SLI/SLO/SLA①分層梳理服務(wù)目錄和服務(wù)級別①分層梳理服務(wù)目錄和服務(wù)級別GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站v1v1v1v1v1v1 負載均衡v2v2v2v2v2v2v2v2v2v2v1v1v1v1v2v2v1v1負載均衡負載均衡負載均衡v1v1v1v1v1v1負載均衡v2v2v2v2v2v2負載均衡發(fā)布管理：靈活多樣的部署流水線，自動觸發(fā)代碼檢查和自動測試，提升發(fā)布速度和質(zhì)量v1v1v1v1v1v1 負載均衡v2v2v2v2v2v2v2v2v2v2v1v1v1v1v2v2v1v1負載均衡負載均衡負載均衡v1v1v1v1v1v1負載均衡v2v2v2v2v2v2負載均衡負載均衡負載均衡v1v1v1v1v1v1v2v2v2v2v2v2v1v1v1負載均衡v1v1v1負載均衡v2v2v2v2v2v2v1v1v1負載均衡v1v1v1負載均衡v2v2v2v2v2v21.藍綠部署，是指不停老版本，部署新版本然后進行測試，確認OK，將流量切到新版本，然后老版本同時也升級到新版本。2.金絲雀部署，也叫灰度發(fā)布，是指在黑與白之間，能夠平滑過渡的一種發(fā)布方式。ABtest就是一種灰度發(fā)布方式，讓一部分用戶繼續(xù)用A，一部分用戶開始用B大范圍，把所有用戶都遷移到B上面來?；叶劝l(fā)布可以保證整體系統(tǒng)的穩(wěn)定，在初始灰度的時候就可以發(fā)現(xiàn)、調(diào)整問題，以保證其影響度，而我們平常所說的金絲雀部署也就是灰度發(fā)布的一GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站CMDB配置管理：明確數(shù)據(jù)owner職責要求，cmdb數(shù)據(jù)消費唯一數(shù)據(jù)源和數(shù)據(jù)生產(chǎn)的閉環(huán)機制提升的準確性數(shù)據(jù)權(quán)威，面向業(yè)務(wù)，支撐業(yè)務(wù)發(fā)展11基于應(yīng)用從上層往下建設(shè)cmdb，下層基礎(chǔ)架構(gòu)設(shè)施往上全覆蓋-其次建設(shè)基礎(chǔ)公共資源，然后從數(shù)據(jù)中心設(shè)施到邏輯資源全覆蓋-基于分層模型、第三范式最小冗余、面向?qū)ο笏枷虢?2消費驅(qū)動數(shù)據(jù)準確性-數(shù)據(jù)校驗規(guī)則：完整性、準確性、關(guān)聯(lián)性不準C不信C不用落地方案準確落地方案準確信任消費GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站提升運維效率 監(jiān)控告警：構(gòu)建以業(yè)務(wù)為導向的監(jiān)控體系，快速明確業(yè)務(wù)影響，縮小故障域位置，提升運維效率在業(yè)務(wù)影響判斷階段：首先利用駕駛艙首層定位受影響的業(yè)務(wù)域，通過結(jié)果指標快速識別問題區(qū)域。通過二層看板進一步縮小故障范圍，具體查看異常業(yè)務(wù)節(jié)點。利用全息監(jiān)控，將業(yè)務(wù)節(jié)點與服務(wù)異常關(guān)聯(lián)起來，涵蓋指標、日志和鏈路，實現(xiàn)故障的全面診斷。最后，通過風險預(yù)警大屏，追溯服務(wù)至對應(yīng)的組件和基礎(chǔ)設(shè)施，進行異常檢測和風險預(yù)警，確保及時響應(yīng)和業(yè)務(wù)穩(wěn)定性。這一流程通過分層診斷，從業(yè)務(wù)域到具體節(jié)點，再到服務(wù)和基礎(chǔ)設(shè)施，構(gòu)建了一個系統(tǒng)化的故障分析和預(yù)警機制，有效提升了故障定位的準確性和業(yè)務(wù)運維的效率。GOGOPS全球運維大會暨XOps技術(shù)創(chuàng)新峰會2024·北京站問題管理：明確整改方案，有效追蹤改進過程和效果問題管理的最終目標是消除引起事件的深層次根源以防止事件再次發(fā)生，包括主動性類活動。被動性問題管理的目標是找到事件根因并糾正；主動性問題管理的目標是通過消滅基礎(chǔ)設(shè)施的薄弱環(huán)節(jié)來問題控制負責找出問題并調(diào)查根因，采取措施將問題轉(zhuǎn)化為已知錯誤1.發(fā)現(xiàn)、記錄問題2.問題歸類3.調(diào)查和分為問題4.臨時修復(fù)錯誤控制管理，控制并成功糾正已知錯誤的過程，通過變更申請實施變更，確保已知錯誤消除，避免事件發(fā)生1.發(fā)現(xiàn)、記錄錯誤2.評價錯誤3.記錄錯誤解決過程4.終止錯誤5.跟蹤、監(jiān)督問題和錯誤的解決過程主動性問題管理在事件發(fā)生前發(fā)現(xiàn)和解決有關(guān)問題和已知錯誤，以盡量減少問題和已知錯誤對業(yè)務(wù)的影響問題報告定期或不定期提供