研發(fā)效能平臺技術(shù)白皮書

2.0.0版螞蟻金服金融科技版權(quán)所有?2019，并保留一切權(quán)利未經(jīng)螞蟻金服金融科技事先書面許可，任何單位、公司或個人不得擅自摘抄、翻譯、復制本文檔內(nèi)容的部分或全部，不得以任何方式或途徑進行傳播和宣傳。商標聲及其他螞蟻金服金融科技服務(wù)相關(guān)的商標均為螞蟻金服所有。免責聲由于產(chǎn)品版本升級、調(diào)整或其他原因，本文檔內(nèi)容有可能變更。螞蟻金服金融科技保留在沒有任何通知或者提示下對本文檔的內(nèi)容進行修改的權(quán)利，并在螞蟻金服金融科技授權(quán)通道中不時發(fā)布更新后的用戶文檔。您應當實時關(guān)注用戶文檔的版本變更并通過螞蟻金服金融科技授權(quán)渠道下載、獲取最新版的用戶文檔。如因文檔使用不當造成的直接或間接損失，本公司不承擔任何責任。目錄TOC\o"1-2"\h\z\u什么是 產(chǎn)品背 發(fā)展現(xiàn) 面臨的問題及關(guān)鍵挑 產(chǎn)品優(yōu) 產(chǎn)品架 系統(tǒng)架 安全架 網(wǎng)絡(luò)架 性能指 功能原 項目協(xié) 代碼服 持續(xù)交 代碼分 智能IDE插 測試服 流程審 環(huán)境管 研發(fā)洞 附錄：基礎(chǔ)術(shù) 什么是什么是第第1頁/共26頁什么是LinkE？源于螞蟻金服互聯(lián)網(wǎng)金融領(lǐng)域研發(fā)背景和工程實踐的深厚沉淀，為行業(yè)數(shù)字化轉(zhuǎn)型客戶提供金融級一站式智能研發(fā)平臺，提供敏捷交付和穩(wěn)妥創(chuàng)新兼顧的研發(fā)交付、風險防控和質(zhì)量保障等能力，賦能金融產(chǎn)品高可用和研發(fā)效能的持續(xù)提升。產(chǎn)品背使命：給工程師提供一套“絲般順滑”的研發(fā)平臺，提升開發(fā)者幸福感，提高企業(yè)創(chuàng)新效率LinkELinkEngine驅(qū)動研發(fā)容器正常運轉(zhuǎn)的工作引擎LinkE=LinkEverything&Everyone，通過對接不同類型平臺和服務(wù)(Everything)，能夠適配不同角色的多樣化研發(fā)場景和需求Everyone發(fā)展現(xiàn)研發(fā)效能平臺kE封裝了持續(xù)交付、智能ID、代碼托管、配置變更、流程中心、項目協(xié)作、測試服務(wù)、洞察分析等眾多性能優(yōu)異的功能模塊，兼具開放可擴展、靈活可配置等屬性，快速適配客戶不同業(yè)務(wù)場景，覆蓋軟件研發(fā)的各個階段。面臨的問題及關(guān)鍵數(shù)字化轉(zhuǎn)型的大背景下，企業(yè)需要打造多方面的核心能力，這些能力客觀上要求企業(yè)升級或者采用新一代的技術(shù)架構(gòu)。其中非常重要的一個環(huán)節(jié)就是基于云端的基礎(chǔ)設(shè)施、分布式架構(gòu)下的持續(xù)交付和DevOps投產(chǎn)時間，快速響應細分客戶需求；如何應對分布式微服務(wù)架構(gòu)帶來的業(yè)務(wù)場景復雜和高并發(fā)挑戰(zhàn)；如何通過技術(shù)手段推動自動化減少研發(fā)過程中的人工投入等等。具體到金融行業(yè)數(shù)字化轉(zhuǎn)型，需要結(jié)合行業(yè)特性，金融互聯(lián)網(wǎng)產(chǎn)品有兩個最核心的關(guān)鍵詞。第一個就是“金融，金融屬性最重要的是保障資金、安全、高可用，核心訴求之一就是“穩(wěn)；另外一個關(guān)鍵詞“互聯(lián)網(wǎng)，最顯著的特征就是快速交付價值，支持業(yè)務(wù)的快速創(chuàng)新，歸結(jié)成另外一個核心訴求“快。如何兼顧快和穩(wěn)？既能夠敏捷快速地交付價值，又可以穩(wěn)妥創(chuàng)新、守住技術(shù)風險底線、持續(xù)滿足監(jiān)管合規(guī)的要求，這是數(shù)字化轉(zhuǎn)型大背景下實現(xiàn)evOpskE源于螞蟻在金融領(lǐng)域的長期積累和實踐，提供金融級、持續(xù)交付和穩(wěn)妥創(chuàng)新兼顧的一站式智能研發(fā)平臺，幫助企業(yè)解決以下研發(fā)痛點：研發(fā)工具集成度自動化程度傳統(tǒng)研發(fā)模式無法支撐業(yè)務(wù)快速創(chuàng)依賴人肉的風險防控和質(zhì)量體產(chǎn)品優(yōu)產(chǎn)品優(yōu)第第3頁/共26頁產(chǎn)品優(yōu)勢相較于業(yè)界其他的研發(fā)效能及DevOps商業(yè)化或開源產(chǎn)品，研發(fā)效能平臺LinkE可為客戶輸?shù)膬r值遠超出產(chǎn)品能力本身，具體體現(xiàn)在以下核心競爭優(yōu)勢源于螞蟻金服研發(fā)領(lǐng)域最佳實踐，研發(fā)效能平臺LinkE還具有以下優(yōu)勢安全穩(wěn)定：kE基于螞蟻金融云架構(gòu)，使用高可用、可動態(tài)擴展的服務(wù)框架體系，構(gòu)建穩(wěn)定的分布式代碼托管服務(wù)，實現(xiàn)多中心、去存儲、可靠的運維監(jiān)控及全面的自動化質(zhì)量保證，保障研發(fā)流程的順暢。智能研發(fā)體系：kE集成多種工具平臺，既能讓用戶感受編寫代碼的極速與代碼運行的穩(wěn)定，又能提供對代碼的實時監(jiān)控和問題智能分析，幫助研發(fā)團隊全方位立體式的進行代碼透析，提前規(guī)避研發(fā)風險。多樣化管理：kE具備靈活彈性的可配置能力，能夠根據(jù)企業(yè)的多種業(yè)務(wù)特征，提供適用于不同企業(yè)訴求的多樣化研發(fā)流程和質(zhì)量管控。核心應用需要穩(wěn)定可靠，上層業(yè)務(wù)需要敏捷上線搶占先機，快速適配多樣化業(yè)務(wù)場景，穩(wěn)妥創(chuàng)新和敏捷交付各取所需。熱拔插組件：可編排引擎，輕松支持插入定制化的持續(xù)集成（ContinuousIntegration，簡稱CI）和持續(xù)交付（ContinuousDelivery，簡稱CD）組件，基于可配置的規(guī)則，適應研一站式服務(wù)：kE提供端到端的工具服務(wù)，覆蓋研發(fā)全生命周期，平臺功能更加全面，極大地簡化應用的部署、發(fā)布流程，輕松實現(xiàn)應用快速上云，讓產(chǎn)品開發(fā)變得更加簡單。產(chǎn)品架產(chǎn)品架第第5頁/共26頁產(chǎn)品架構(gòu)研發(fā)效能平臺基于螞蟻金融級SOFA技術(shù)框架，具有以下特使用方便：基于CloudEngine分布式應用容器，天然集成螞蟻中間件，簡單配置即可使用Msgbroker、RPC、ZDAL等組件功能。上健康檢查：提供了一套可擴展的健康檢查機制，可以幫助確定應用啟動完畢后是否健康，是否可以對外提供服務(wù)。系統(tǒng)架應用架構(gòu)設(shè)計采用模塊化、松耦合設(shè)計原則，系統(tǒng)各個功能采用模塊化集成，實現(xiàn)新的業(yè)務(wù)模塊能夠增加新的業(yè)務(wù)功能，實現(xiàn)系統(tǒng)各功能模塊相互之間的有效集成；采用開放式系統(tǒng)架構(gòu)和統(tǒng)一技術(shù)平臺，開發(fā)和部署方案不依賴于操作系統(tǒng)、中間件和數(shù)據(jù)庫，具備開放性、通用性、標準性和安全性的特點，滿足穩(wěn)定、靈活、可擴展的要求，提升開發(fā)效率和質(zhì)量；具備統(tǒng)一的系統(tǒng)日志管理，可以收集、分類、檢索和分析日志文件和內(nèi)容，便于問題定位運維管理系統(tǒng)具備完備的容錯能力，能夠保持高效、可靠的運行能力，正確監(jiān)控、預警、捕獲、分析和處理各類異常或故障，具備適用的系統(tǒng)服務(wù)啟停機制，具備合理的沖正或重發(fā)機制，保證賬務(wù)數(shù)據(jù)的一致性；提供穩(wěn)定高效的批量數(shù)據(jù)處理機制，支持聯(lián)機交易處理與批量處理的有效分離，保證批量業(yè)務(wù)處理過程中聯(lián)機業(yè)務(wù)的正常執(zhí)行；安全架螞蟻金融科技面向?qū)I(yè)務(wù)安全性、可靠性、監(jiān)管合規(guī)等有嚴格要求的金融行業(yè)，熟知金融行業(yè)安全性要求，產(chǎn)品在設(shè)計之初就極為重視安全性。螞蟻金融科技金融云采用獨立的機房集群，滿足一行三會金融監(jiān)管要求；提供特高等級安全防護，支持兩地三中心災備。其產(chǎn)品與服務(wù)在網(wǎng)絡(luò)控制、訪問控制上管理非常為嚴格。研發(fā)效能平臺LinkE基于螞蟻金融科技金融云PAAS和SOFA技術(shù)框架，在螞蟻金服內(nèi)部長螞蟻金融科技金融云PS層所有產(chǎn)品依賴IM組件提供用戶身份、認證和訪問等方面的安全管理，現(xiàn)服務(wù)與公有云和專有云等多種場景，滿足金融行業(yè)權(quán)限控制和安全風險防控要求。研發(fā)效能平臺kE沿用PS層IM提供的用戶體系，為客戶提供了靈活的權(quán)限控制管理服務(wù)，空間管理員可以在管理控制臺中管理成員、成員組以及服務(wù)賬號，并根據(jù)角色自定義各成員的操作權(quán)限。研發(fā)效能平臺LinkE主要提供三種服務(wù)涉及用戶資源，多租戶場景下均有配套的安全策代碼存儲：成熟邏輯隔離，不同租戶的代碼，存儲在服務(wù)器的不同目錄CI集群：不同租戶的CI執(zhí)行會被分配到不同過的ESC上，并且使用容器執(zhí)行，執(zhí)行完成后及時銷毀。同一臺ECS時只會執(zhí)行一個租戶的CI。構(gòu)建集群：同步租戶的構(gòu)建任務(wù)會被分配到不同的ECS上執(zhí)行，并且使用容器執(zhí)行，執(zhí)行完成后及時銷毀。同一臺ECS時只會執(zhí)行一個租戶的構(gòu)建任務(wù)。網(wǎng)絡(luò)架依托螞蟻金融科技金融云的基礎(chǔ)設(shè)施和金融級PS產(chǎn)品，研發(fā)效能平臺kE全面繼承其安全控制、數(shù)據(jù)備份和恢復、容災等能力，實行高可用、高可靠性、高性能。各組件都采用集群架構(gòu)，提供了彈性伸縮功能，用戶可以根據(jù)自己的實際情況后期去增加或減少實例，保證了系統(tǒng)的可用性同時也具備了高性能，當單一節(jié)點出現(xiàn)故障系統(tǒng)正常使用；由于采用共享存儲的機制，不存在應用故障而丟失數(shù)據(jù)的可能性。性能指性能指第第9頁/共26頁性能指標研發(fā)效能平臺LinkE執(zhí)行CI任務(wù)的性能受用戶提供的CI集群機器規(guī)格和數(shù)量影響研發(fā)效能平臺kE執(zhí)行構(gòu)建任務(wù)的性能受用戶提供的構(gòu)建集群機器規(guī)格和數(shù)量的影響；除此之外，無其他方面的性能限制和瓶頸。功能原功能原第第10頁/共26頁功能原理研發(fā)效能平臺kE封裝了持續(xù)交付、智能ID、代碼托管、配置變更、流程中心、項目協(xié)作、測試服務(wù)、洞察分析等眾多性能優(yōu)異的功能模塊，兼具開放可擴展、靈活可配置等屬性，快速適配客戶不同業(yè)務(wù)場景，覆蓋軟件研發(fā)的各個階段。項目協(xié)項目協(xié)作是一款專為軟件研發(fā)項目團隊打造的簡潔、易用、整合的工作項管理模塊，以項目為切入點，多維度集成管理需求、任務(wù)、缺陷、迭代、看板，提供輕量級支持敏捷開發(fā)等多種項目管理的實踐方法。研發(fā)協(xié)作貫穿軟件研發(fā)全生命周期，如需求管理、項目管理、迭代管理、工作項管理、風險管理、度量分析等環(huán)節(jié)，讓溝通隨時進行，提高項目管理透明度，激發(fā)團隊和組織熱情，建設(shè)更好的跨團隊高效協(xié)作文化。功能特項目管支持項目集、迭代、工作項、風險、里程碑等主要項目管理功能，集中式管理項目架構(gòu)，能完整清晰地追蹤整體進度、阻塞模塊、風險矩陣。項目成員可輕松實現(xiàn)任務(wù)分解、分派和跟蹤，完成工作計劃、執(zhí)行、匯總透視等事項，團隊在項目空間內(nèi)得以高效協(xié)作，項目管理有條不紊盡在掌握。工作項管統(tǒng)一需求、任務(wù)、缺陷的管理模型，按需定制工作項模板和流程，化繁為簡，高效有序工作；支持多維視圖展示（列表視圖、樹狀視圖和看板視圖，簡單友好的看板模式助力研發(fā)團隊更高效的實踐敏捷站會。迭代管高效進行迭代規(guī)劃、鎖定、執(zhí)行、復盤等活動，融合敏捷最佳實踐，可將一個項目規(guī)劃為多個迭代快速交付業(yè)務(wù)價值；更有燃盡圖等管理工具一目了然地呈現(xiàn)研發(fā)進度，讓迭代節(jié)奏更穩(wěn)當有序。代碼服提供基于Gt的代碼托管服務(wù)，對所有軟件資產(chǎn)進行有效的版本控制，支持多樣化的分支管理模式，支持單人或多人協(xié)同的合并評審，以確保代碼變更的高效和質(zhì)量。代碼服務(wù)具備以下特色：安全性：安全的代碼庫，具備代碼庫分級管理、用戶角色分級管理能力以滿足代碼庫訪問控制能力，防止未經(jīng)授權(quán)的訪問和變更。高可用：代碼庫應具備強大的容錯能力和高可靠性，讓代碼庫保持高度可用和可訪問，以避免障對核心的軟件資產(chǎn)帶來災難性的破壞和損失可擴展：隨著代碼庫的不斷增大，具備代碼庫的分布處理能力和可擴展能力。備份恢復：有效的備份，快速恢復能力，確保軟件代碼的安全。功能特代碼托基于Git的分布式代碼托管服務(wù)，提供安全、穩(wěn)定、高效、智能、集成、開放的代碼版本控對軟件開發(fā)過程提供有效的追蹤手段，避免文件的丟失、修改的丟失和相互覆蓋；通過版本控制和歷史版本，可以進行版本比較。合并請求合并請求管理是代碼服務(wù)的一個重要組成部分，核心是一個適合不同企業(yè)不同組織的變更處理過程。合并請求可能是新需求、優(yōu)化改造、缺陷修復等。典型的處理過程包括：提交合并請求對合并請求進行評審以便確定是否接受、合并后的通知機制等多分支策分支開發(fā)主干發(fā)布模式，每個項目基于Master主干拉取項目分支，合到Master主干后再做集成、預發(fā)、生產(chǎn)發(fā)布，分支開發(fā)支持多迭代并行，合并后修改基于主干完成穩(wěn)定可控，且無需頻繁切換分支，同時生產(chǎn)發(fā)布永遠是最新的主干。分支開發(fā)分支發(fā)布模式，每個項目基于Master主干拉取項目分支，分支上做開發(fā)、集成、預發(fā)、發(fā)布之后再合并回Master主干，這種模式靈活、快速。多人代碼代碼評審指通過閱讀代碼來檢查源代碼與編碼標準的符合性以及代碼質(zhì)量的活動。代碼評審可以識別代碼中存在的錯誤，早期發(fā)現(xiàn)缺陷降低問題修復成本，提升代碼質(zhì)量，代碼評審過程也是重新梳理思路的過程，鼓勵協(xié)作，并使代碼變得更有維護性，促進知識共享。平臺提供一套輕量級代碼評審技術(shù)，在MR合并請求過程中，支持單人或多人模式的合并評審，來確保代碼評審的高效和質(zhì)量，并作為流水線組件執(zhí)行。代碼搜提供代碼搜索功能，來幫助開發(fā)人員搜索示例代碼、優(yōu)秀代碼、查詢依賴等，助力開發(fā)人員知識分享和能力提升，更高效構(gòu)建應用代碼。持續(xù)交基于螞蟻金服最佳實踐，通過組件靈活編排，集成代碼掃描、代碼評審、自動化測試、自動編譯部署等核心功能，可視化各組件的運行結(jié)果，提前暴露并解決風險，確保每次代碼提交都擁有可靠的質(zhì)量，能持續(xù)不斷的交付價值?？蓴U展：靈活的插件式架構(gòu)，可輕松擴展流水線，簡化持續(xù)集成的配置，具備多平臺支撐與多言支撐能力，減少對持續(xù)集成的人工干預。同時，提供對研發(fā)、測試、構(gòu)建和部署的數(shù)據(jù)可視化的支持，使持續(xù)交付流動狀態(tài)一目了然?？删幣牛涸诜植际降讓蛹軜?gòu)支持下，組件靈活可編排，可以支持各種規(guī)模的動態(tài)部署與服務(wù)。過檢測容器狀態(tài)，分析整體數(shù)據(jù)和資源狀況，合理分配和支持不同業(yè)務(wù)、不同規(guī)模的產(chǎn)品服務(wù)，實現(xiàn)高效的持續(xù)交付。多樣化：多平臺支撐，支持多種分支策略，支持多種技術(shù)棧，支持多種開發(fā)語言功能特應用元數(shù)據(jù)管支持從PaaS平臺導入應用信息，按架構(gòu)域進行分組管理，提供日常修改和維護應按應用自定義質(zhì)量規(guī)則和目標，研發(fā)迭代中對質(zhì)量不達標的應用進行管控按應用控制“MR/PUSH是否窗口發(fā)布”等屬性開關(guān)，為流程定制提供依據(jù)維護應用負責人、測試負責人、架構(gòu)師等人員信息，支持流程審批人員自動獲取研發(fā)迭支持標準迭代、緊急發(fā)布、及其他自定義迭代研發(fā)模式提供環(huán)境、審批任務(wù)、質(zhì)量、需求、缺陷、發(fā)布配置等迭代信息，迭代過程中可增刪應用和迭代成員；推進階段時可以對質(zhì)量數(shù)據(jù)、審批任務(wù)、及擴展集成的平臺工具等進行卡點管控支持按應用/按迭代/窗口發(fā)布等多種迭代發(fā)布模式流水gitflow的最佳實踐，通MergeRequest方式而不是Push方式向項目分支或主干提交代碼,給代碼門禁、CI檢測一個機會。流水線中執(zhí)行的組件可根據(jù)各應用不同的需求支持自定提供代碼掃描、CodeReview、單元測試、集成測試、自動構(gòu)建、部署等常用功能經(jīng)典ECS部署和云原生鏡像部署雙模支持流水線可按用戶需要進行個性化編排；支持組件的自定義和擴展，客戶自有測試資產(chǎn)或第三方開源工具可封裝為組件，并通過流水線調(diào)度執(zhí)行和反饋結(jié)果。4)流水線組件執(zhí)行結(jié)果實時通知反饋質(zhì)量看基于成熟的質(zhì)量模型，提供質(zhì)量數(shù)據(jù)、掃描問題、通過率、覆蓋率、注釋率、重復度等數(shù)據(jù)；實時更新和提供多視角（應用、迭代、發(fā)布等）的質(zhì)量匯總信息，協(xié)助管控質(zhì)量風險；階段推進時，基于應用的質(zhì)量標準進行卡點檢查。配置管研發(fā)效能平臺LinkE通過研發(fā)容器，統(tǒng)一管理研發(fā)迭代中基礎(chǔ)軟件、中間件配置、CI執(zhí)行參研發(fā)迭代中集中管理不同環(huán)境的SOFA中間件配置（消息、調(diào)度、動態(tài)參數(shù)配置等），并支持基礎(chǔ)軟件和技術(shù)棧升級變更支持在迭代中按應用配置CI執(zhí)行參數(shù)和規(guī)則，可修改基礎(chǔ)環(huán)境、代碼掃描規(guī)則、分組執(zhí)統(tǒng)一構(gòu)支持螞蟻技術(shù)棧SOFA的自動構(gòu)建，支持非螞蟻技術(shù)棧的自定義構(gòu)建，經(jīng)典ECS代碼包構(gòu)建自動部集成螞蟻應用PAAS平臺的部署能力，實現(xiàn)開發(fā)、測試等線下環(huán)境的自動化部署，支持LDC單元化部署、云原生AKS部署、云原生LKS部署、SAS部署等多種模式。一鍵生成線上代碼分支持PMD、fdbugs等工具掃描，具備集成第三方掃描工具的能力，提供迭代的代碼行、接口注釋率、代碼重復度、行/分支/方法/支持白盒測試的全量/變更行覆蓋率、分支覆蓋率、方法覆蓋率、類覆蓋率等統(tǒng)計能智能IDE支持靜態(tài)代碼實時分析、提交預掃等功能，通過與平臺web端的深度集成，支持迭代簽出及關(guān)聯(lián)、一鍵提交代碼合并請求、實時同步平臺Ppele及組件執(zhí)行詳情，并提供IDE端代碼評審的能力。測試服白盒測試框架CTS源于螞蟻金服多年金融級分布式架構(gòu)工程的測試實踐的積累與沉淀，具有可視化編輯和標準流程引擎等新特性，可輔助工程師高效、高質(zhì)量地完成單元測試、接口測試用例