2024年工商銀行分布式技術(shù)及應(yīng)用白皮書

?錄? 錄TOC\o"1-2"\h\z\u第?章概述 2(?)分布式技術(shù)發(fā)展歷程 2(?)分布式技術(shù)產(chǎn)業(yè)發(fā)展現(xiàn)狀 3(三)分布式技術(shù)產(chǎn)業(yè)演進(jìn)趨勢 4第?章分布式體系發(fā)展現(xiàn)狀 5(?)分布式技術(shù)平臺產(chǎn)品總視圖 5(?)分布式各平臺建設(shè)現(xiàn)狀和成果 5(三)分布式體系業(yè)務(wù)場景落地 12第三章分布式體系應(yīng)?案例 13(?)構(gòu)建開放平臺核?銀?系統(tǒng)，實(shí)現(xiàn)?型銀?IT架構(gòu)關(guān)鍵性突破 13(?)全?位滿?及適應(yīng)銀?復(fù)雜場景的需求 14第四章總結(jié)與展望 17第?章概述(?)分布式技術(shù)發(fā)展歷程分布式技術(shù)系統(tǒng)是?種建?在?絡(luò)之上的軟件系統(tǒng)，其特點(diǎn)是多臺計算機(jī)通過?絡(luò)連接，協(xié)同?作以完成特定的任務(wù)。每個節(jié)點(diǎn)?度?治，??感知不到數(shù)據(jù)的分布，感覺像是在使??個統(tǒng)?的系統(tǒng)。分布式技術(shù)體系的發(fā)展?共可分為以下四個階段。1、原始分布式時代（207080年代初）：這個時期的特點(diǎn)是計算能??常有限，科學(xué)家們通過多臺計算機(jī)協(xié)同?作來完成復(fù)雜的任務(wù)，奠定了分布式計算的基礎(chǔ)。這個時期的探索出現(xiàn)了遠(yuǎn)程調(diào)?（RPC）和分布式?件系統(tǒng)的雛形。2、分布式計算的興起（20世紀(jì)90年代）：隨著技術(shù)的進(jìn)步，分布式計算開始興起，特別是分布式渲染和?向服務(wù)的架構(gòu)（SOA）的提出和應(yīng)?，使得分布式系統(tǒng)在處理?規(guī)模計算任務(wù)時更加?效和靈活。3、微服務(wù)架構(gòu)的時代（2005年以后）：微服務(wù)架構(gòu)的崛起進(jìn)?步推動了分布式技術(shù)的發(fā)展，使得系統(tǒng)更加模塊化，易于管理和擴(kuò)展。4、云計算和虛擬化技術(shù)的發(fā)展（21世紀(jì)初?今）：隨著云計算和虛擬化技術(shù)的發(fā)展，分布式系統(tǒng)進(jìn)?步發(fā)展，形成了資源池和彈性調(diào)度的云計算模式和云原?架構(gòu)。第?章概述(?)分布式技術(shù)產(chǎn)業(yè)發(fā)展現(xiàn)狀以微服務(wù)為核?的分布式技術(shù)在產(chǎn)業(yè)界已基本發(fā)展成熟。在分布式技術(shù)架構(gòu)建設(shè)過程中，基于以微服務(wù)為核?的開放式架構(gòu)，不斷拓展周邊?態(tài)，利?微服務(wù)實(shí)現(xiàn)應(yīng)?的分層解耦，通過分布式數(shù)據(jù)庫實(shí)現(xiàn)開放平臺數(shù)據(jù)的彈性布局，利?緩存提升?頻數(shù)據(jù)的處理能?，引?分布式事務(wù)解決跨平臺、跨應(yīng)?的事務(wù)最終?致性問題。隨著微服務(wù)、軟負(fù)載、事務(wù)、消息、批量、緩存、數(shù)據(jù)庫、對象存儲、?件存儲等能?的建設(shè)，分布式系統(tǒng)的?撐場景及運(yùn)?能?持續(xù)提升，并同步形成了與分布式架構(gòu)相匹配的研發(fā)及運(yùn)維?撐能?。根據(jù)對業(yè)界分布式技術(shù)產(chǎn)品的綜合分析，分布式架構(gòu)技術(shù)能?圖譜如圖1所?。Dubbo起步早、是最受歡迎的微服務(wù)框架，SpringCloud也是主流選型之?；分布式事務(wù)多采??研，但模型以TCC、SAGA及可靠消息為主；軟負(fù)載??，HAProxy及Nginx能?各有千秋；Kafka與Redis處于消息和緩存領(lǐng)域的統(tǒng)治地位；原?分布式數(shù)據(jù)庫應(yīng)?較少，基于Mysql+分布式訪問層是數(shù)據(jù)布局選型的主流技術(shù)?案；Springboot憑借簡化研發(fā)成為開發(fā)框架的標(biāo)配；Apollo、ELK、Zipkin等是配置及監(jiān)控的典型選擇；熔斷限流??Hystrix和Sentinel均有嘗試；??等少數(shù)銀?已基于Chaosblade開展混沌?程實(shí)踐。(三)分布式技術(shù)產(chǎn)業(yè)演進(jìn)趨勢微服務(wù)架構(gòu)推動應(yīng)?從傳統(tǒng)單體式向分布式轉(zhuǎn)型，實(shí)現(xiàn)了應(yīng)?系統(tǒng)的解耦，但同時也?臨著需要?持多種語?中間件，客?端版本升級困難等問題。因此產(chǎn)業(yè)界逐步從軟件層?獨(dú)?應(yīng)對微服務(wù)架構(gòu)問題，發(fā)展到軟、硬?體，合?應(yīng)對微服務(wù)架構(gòu)問題。如ServiceMesh（服務(wù)?格）架構(gòu)的理念，通過技術(shù)平臺的基礎(chǔ)設(shè)施化改造，將分布式能?逐步下沉到硬件層，實(shí)現(xiàn)與應(yīng)?解耦，簡化應(yīng)?開發(fā)過程，提供應(yīng)?更?的技術(shù)選型靈活度。如云原?應(yīng)?運(yùn)?時架構(gòu)，通過集成SDK內(nèi)核，統(tǒng)?交互協(xié)議及對外API，實(shí)現(xiàn)能?的抽象，使分布式能?進(jìn)?步下沉?基礎(chǔ)設(shè)施。第?章分布式體系發(fā)展現(xiàn)狀(?)分布式技術(shù)平臺產(chǎn)品總視圖(?)分布式各平臺建設(shè)現(xiàn)狀和成果軟負(fù)載均衡??軟負(fù)載均衡由四層負(fù)載節(jié)點(diǎn)（LVS/DP）和七層負(fù)載節(jié)點(diǎn)（Haproxy/Nginx）、管控平臺?個部分組成，具備?可?、可擴(kuò)展、動態(tài)配置等特性。?了“雙??”萬級TPS處理需求。分布式服務(wù)??分布式服務(wù)采??性能RPC調(diào)?模式，為應(yīng)?提供了?性能、靈萬個服務(wù)，?均調(diào)?量260億次。分布式事務(wù)SAGATCC服務(wù)化改造及主機(jī)下平臺過程中的跨服務(wù)、跨應(yīng)?交易的事務(wù)最終?致性提供保障，平臺?均?撐業(yè)務(wù)調(diào)?量數(shù)億次。分布式消息Kafka建設(shè)，為分布式系統(tǒng)內(nèi)部以及系統(tǒng)間異步解耦、消息通知、流量削峰、數(shù)據(jù)共享等場景提供解決?案，并具備節(jié)點(diǎn)安裝部署、監(jiān)控告警、?平擴(kuò)縮容等完善的?動化運(yùn)維能?。消息平臺服務(wù)于??百余個應(yīng)?，?均消息量千億級，TPS百萬級，具備毫秒級消息傳遞能?。分布式數(shù)據(jù)庫??分布式數(shù)據(jù)庫采?分布式數(shù)據(jù)訪問層+MySQL+?研運(yùn)維管理平臺?。分布式數(shù)據(jù)庫在在同業(yè)率先實(shí)現(xiàn)MySQL數(shù)據(jù)庫?規(guī)模云化服務(wù)，數(shù)據(jù)庫節(jié)點(diǎn)數(shù)量達(dá)到數(shù)千個，應(yīng)?于多個重點(diǎn)業(yè)務(wù)場景，?撐雙??、春節(jié)業(yè)務(wù)?峰萬級TPS。分布式緩存Redis?、易?性四?特性。ee?均交易量達(dá)?億級。??分布式批量平臺完全?研，主要?于集中式批量業(yè)務(wù)分布式轉(zhuǎn)型分布式批量平臺?泛在??開放平臺體系中使?，服務(wù)于數(shù)百多個應(yīng)分布式?件存儲撐我?開放平臺業(yè)務(wù)系統(tǒng)?件共享存儲需求，并打通云上云下應(yīng)?的?件共享，具備?可?、?平擴(kuò)展、集約管理等能?。平臺已落地??應(yīng)?數(shù)?余個，對外提供總計百余TB的共享?件存儲能?。分布式對象存儲??分布式對象存儲平臺，實(shí)現(xiàn)海量??件快速讀寫，為?內(nèi)的業(yè)務(wù)影像類、與業(yè)務(wù)流程密切相關(guān)的?視頻類，業(yè)務(wù)?檔類等?結(jié)構(gòu)化數(shù)據(jù)提供?并發(fā)數(shù)據(jù)訪問能?。平臺已成功?撐數(shù)?余個應(yīng)?系統(tǒng)，滿?融e聯(lián)、融e購等互聯(lián)?應(yīng)?對象密集存儲的需求，?持萬級TPS，數(shù)據(jù)存量已經(jīng)達(dá)到千余TB。(三)分布式體系業(yè)務(wù)場景落地??開放平臺分布式技術(shù)在境內(nèi)系統(tǒng)已實(shí)現(xiàn)?規(guī)模應(yīng)?，基于開放平250個，服務(wù)?均調(diào)?量超260億，峰值?萬級TPS，交易響應(yīng)耗時50毫秒以內(nèi)。第三章分布式體系應(yīng)?案例IT構(gòu)關(guān)鍵性突破（境內(nèi)等為客?及內(nèi)部管理服務(wù)的公共基礎(chǔ)功能，?撐業(yè)務(wù)交易在開放平臺閉環(huán)(?)全?位滿?及適應(yīng)銀?復(fù)雜場景的需求??分布式技術(shù)體系經(jīng)過?規(guī)模的?主研發(fā)及技術(shù)創(chuàng)新，?泛適?于1、為賬務(wù)型應(yīng)?提供?性能、強(qiáng)?致性事務(wù)保障。??依托分布式技術(shù)建設(shè)個?賬?應(yīng)?為客?提供基本結(jié)算服務(wù)。通過Mysql本地SSD磁盤部署+分庫分表，提供單庫5萬QPS的更新性能；通過分布式事務(wù)框架，提供跨應(yīng)?、跨節(jié)點(diǎn)的事務(wù)?致性保障；通過Mysql?主三備+同城?動化切換技術(shù)，確保2分鐘內(nèi)完成同城?損切換。??是國內(nèi)?家采?分布式技術(shù)進(jìn)??規(guī)模賬務(wù)處理的銀?，承載9億個?借記卡數(shù)據(jù)，可?持6萬TPS交易率，交易響應(yīng)時間50毫秒以內(nèi)。2、為?型信息型應(yīng)?提供低成本解決?案。??通過分布式技術(shù)建設(shè)企業(yè)級客?信息，為全?業(yè)務(wù)系統(tǒng)提供客?信息維護(hù)與查詢服務(wù)。通過使??主研發(fā)基于分布式數(shù)據(jù)訪問層技術(shù)的分布式數(shù)據(jù)庫實(shí)現(xiàn)對應(yīng)?透明的智能路由訪問，?撐?容量數(shù)據(jù)分?存儲，實(shí)現(xiàn)整體集群的橫向擴(kuò)展與數(shù)據(jù)再平衡，滿?海量數(shù)據(jù)庫操作的性能要求，?幅降低應(yīng)?研發(fā)成本。為全?180多個總分?應(yīng)?提供?均超2億次維護(hù)與查詢服務(wù)，?持最?交易并發(fā)數(shù)為7600TPS，平均交易耗時?于30ms，?撐應(yīng)?范圍同業(yè)最?，?均訪問數(shù)量同業(yè)最多。3、為互聯(lián)?交互型應(yīng)?提供極致??體驗(yàn)。??依托分布式技術(shù)建設(shè)紀(jì)念幣預(yù)約系統(tǒng)，為全國互聯(lián)???提供紀(jì)念幣預(yù)約服務(wù)。?絡(luò)層采取多種負(fù)載均衡措施，后臺系統(tǒng)采?分布式技術(shù)體系設(shè)計，結(jié)合服務(wù)器云化部署、數(shù)據(jù)庫分庫分表及?可?設(shè)計，提升系統(tǒng)?并發(fā)處理能?。采?CDN緩存、分布式緩存等多種措施，提升系統(tǒng)快速響應(yīng)能?。系統(tǒng)可?撐?萬TPS處理能?，交易響應(yīng)時間百毫秒以內(nèi)，成功完成歷年??紀(jì)念幣發(fā)?任務(wù)，同業(yè)綜合表現(xiàn)尤為突出。4式技術(shù)建設(shè)快捷?付應(yīng)?，對接清算機(jī)構(gòu)為個?客?提供快捷?付結(jié)算服?”全天交易量超2億筆。第四章總結(jié)與展望

第四章總結(jié)與展望??已構(gòu)建完備構(gòu)建分布式技術(shù)架構(gòu)體系并深?使?，伴隨著分布式技術(shù)體系進(jìn)?步成熟，未來將有以下三個??趨勢推動分布式架構(gòu)持續(xù)發(fā)展。1、分布式技術(shù)體系進(jìn)?步下沉?基礎(chǔ)設(shè)施微服務(wù)架構(gòu)推動應(yīng)?從傳統(tǒng)單體式向分布式轉(zhuǎn)型，實(shí)現(xiàn)了應(yīng)?系統(tǒng)的Service服務(wù)?格新將服務(wù)治理能?下沉到基礎(chǔ)設(shè)施，這樣既實(shí)現(xiàn)了服務(wù)治理和業(yè)務(wù)邏輯的解耦，?使服務(wù)?格架構(gòu)減少對業(yè)務(wù)邏輯的侵?性。SDK及交互協(xié)議。因此業(yè)界提出了云原?應(yīng)?運(yùn)?時架SDK云原?應(yīng)?運(yùn)?時是中間件基礎(chǔ)技術(shù)的未來形態(tài)，使分布式能?進(jìn)?步下沉?基礎(chǔ)設(shè)施。2、多地多中?及單元化部署是未來基礎(chǔ)設(shè)施的趨勢第四章總結(jié)與展望第四章總結(jié)與展望?前?型?融機(jī)構(gòu)的數(shù)據(jù)中?多數(shù)均采?兩地三中?的部署架構(gòu)，隨著對?可?要求的不斷提?，多地多中?的部署模式逐漸成為未來的發(fā)展?向?；ヂ?lián)?頭部企業(yè)較多通過多地多中?及單元化部署來實(shí)現(xiàn)更加細(xì)粒度的流量劃撥和系統(tǒng)?可?，使得客?交易相關(guān)流量可在單元