四年磨一劍：螞蟻集團注冊中心SOFARegistry的開發(fā)實踐之路-李旭東

InfoQInfoQ四年磨一劍：螞蟻集團注冊中心SOFARegistry的幵發(fā)實踐之路向旭/李旭東ArchSummit全球架構(gòu)師峰會分享內(nèi)容?螞蟻集團注冊中心的10年?新挑戰(zhàn)：SOFARegistry＞架構(gòu)：超大規(guī)模＞質(zhì)量：高效迭代＞運維：自動化?開源與共贏InfoQInfoQInfoQInfoQ服務發(fā)現(xiàn)的核心能力<服務id>:<addressList>2.感知服務變化1.服務宕機發(fā)布服務數(shù)據(jù)（〈服務id>:<address>）訂閱服務數(shù)據(jù)（〈服務id<服務id>:<addressList>2.感知服務變化1.服務宕機發(fā)布服務數(shù)據(jù)（〈服務id>:<address>）訂閱服務數(shù)據(jù)（〈服務id>）3.不再調(diào)用Publisher-A應用場景：RPC場景的服務尋址動態(tài)感知服務地址的變化RegistfyRegistry遠程調(diào)用（員載均衡）ArchSummit全球架構(gòu)師峰會演進:VI引進淘寶的configserverArchSummit全球架構(gòu)師峰會架構(gòu):單節(jié)點,master/slave備份面臨問題ArchSummit全球架構(gòu)師峰會?容量瓶頸?容災風險

演進:V2橫向擴展ArchSummit全球架構(gòu)師峰會架構(gòu):拆分session/data,水平擴展ArchSummit全球架構(gòu)師峰會session:處理連接data:數(shù)據(jù)分片存儲面師問題?運維成本:serverlist維護

演進:V3/V4LDC支持和容災ClientAutomaticallyremovedeadnodeDSRCluster▲ClientdimensionDatalddimensionDataData架構(gòu):單元化支持ClientAutomaticallyremovedeadnodeDSRCluster▲ClientdimensionDatalddimensionDataData面唄問題?運維成本:serverlist維護-跨集群服務發(fā)現(xiàn)ArchSummit全球架構(gòu)師峰會Clientclient和sessionClientclient和session之間：由sesison主動推送給clientsession在數(shù)據(jù)有變化諸主動將數(shù)宿土間推送給client演進:V5(SOFARegistry)session和data的之間:推拉結(jié)合:(1)推：data左數(shù)據(jù)有變化時主動通知session:⑵拉：session每隔30秒(可配置)主動向data查詢數(shù)據(jù)是否!有變化架構(gòu)：?新增meta(raft):serverlist維護-數(shù)據(jù)分片：一致性hashArchSummit全球架構(gòu)師峰會?數(shù)據(jù)多副本容災

ArchSummit全球架構(gòu)師峰會集群內(nèi)部尋址DataClientClientClientclient和session之間：由sesison主動推送給clientsession在數(shù)據(jù)有變化諸主動將數(shù)宿土間推送給clientsession和data的之間:推拉結(jié)合（1）集群內(nèi)部尋址DataClientClientClientclient和session之間：由sesison主動推送給clientsession在數(shù)據(jù)有變化諸主動將數(shù)宿土間推送給clientsession和data的之間:推拉結(jié)合（1）推：data左數(shù)據(jù)有變化時主動通知session⑵拉：session每隔30秒（可配置）主動向data查詢數(shù)據(jù)是否有變化publishersubcribersubcriber4.data多副本復制（異步）架構(gòu)：?meta去強一致性依賴?數(shù)據(jù)分片：SlotTable?數(shù)據(jù)多副本容災：diffsyncArchSummit全球架構(gòu)師峰會特性對比FeatureConsulZookeeperEtcdEurekaSOFARegistry服務健康檢查定期healthcheck(http/tcp/script/docker)定期心跳保持會話(session)+TTL定期refresh(http)+TTL定期心跳+TTL;支持自定義healthCheck定期連接心跳+斷鏈敏感Kv存儲服務支持支持支持—致性raftZABraft最終一致性最終一致性capcpcapcpapap使用接口(多語言能力)支持http和dns客戶端http/grpc客戶端/http客戶端(java)watch支持全量/支持longpolling支持支持longpolling不支持(client定期fetch)支持(服務端推送)安全acl/httpsaclhttps支持aclspringcloud集成支持支持支持支持支持挑戰(zhàn):數(shù)據(jù)規(guī)模增長（擴展能力）單集群Pub/Sub數(shù)目Pub SubPubSub2019雙111005002020雙112005002021雙11（接口級）3009002021雙11（應用級）701,000InfoQInfoQInfoQInfoQ挑戰(zhàn):集群數(shù)增長（運維成本）ArchSummit全球架構(gòu)師峰會挑戰(zhàn):業(yè)務7*24運維（可用性）業(yè)務運維障精度直詢7d2021-09-20□IS束時間10：57：582021-09-2723：51：58總?直看大促數(shù)據(jù)V&心&1d3d3h12h今天心礦//////////////////////////////////Z///zArchSummit全球架構(gòu)師峰會云原生:naming挑戰(zhàn)應用實例數(shù)快速增長微服務/faas拆分實例支撐更大的規(guī)模更好的推送性快速交付autoscale侵入性低服務治理mesh流量精細化運維和k8s三口合多集群部署常態(tài)?k8s-service集群內(nèi)通用服務發(fā)現(xiàn)ai/bff/小程序應用實例生命周期短更精細的服務路由k8s事實上標準應用多語言支持SOFARegistry6.0SOFARegistry6.0目標:面向效能SOFARegistry6.0SOFARegistry6.0目標:面向效能ArchSummitArchSummitSOFARegistry6.0SOFARegistry6.0目標:面向效能SOFARegistry6.0SOFARegistry6.0目標:面向效能架構(gòu)質(zhì)量效能運維效能?應用級服務發(fā)現(xiàn)?降數(shù)據(jù)規(guī)模?移除raft?節(jié)點無狀態(tài)?slot&&slotTable管控臺n?增己旱米/?SOFARegistryChaos自動化測試?功能回歸?性能測試?疲勞測試?混沌測試'.LJLm/nI_L1_r?宀一，一r■一I ?nightlybuild?灰度環(huán)境以下自動發(fā)布?運維標準化?交付成本低?可觀測SOFARegistry6.0SOFARegistry6.0架構(gòu)原則SOFARegistry6.0SOFARegistry6.0架構(gòu)原則meta—致性?解決強一致的最好方法是不要依賴強一致?腦裂時datameta—致性推送正確的數(shù)據(jù)?最終一致明確可預期，最終：時間延遲,—致：數(shù)據(jù)完整性推送正確的數(shù)據(jù)橫向擴展?數(shù)據(jù)分片存儲，避免單節(jié)點存全部數(shù)據(jù)的約束InfoQInfoQInfoQInfoQmeta

leadersession-1SlotTableVlsession-2session-3SlotTableV2SlotTableV2data-1slot-xleaderslot-x:migrating>acceptslot-xfollowermeta

leadersession-1SlotTableVlsession-2session-3SlotTableV2SlotTableV2data-1slot-xleaderslot-x:migrating>acceptslot-xfollower數(shù)據(jù)最終一致性table不一致時長最長1個心跳的時閱heartbeatbroadcast|SlotTableVl->SlotTableV2slot-x:accep>t^>movedArchSummit全球架構(gòu)師峰會InfoQInfoQSlot調(diào)度無損遷移data灰度ConsoleMetaServerDataServer2DataServerlDataServer3DataServer-2FollowerSlotsLeaderSlotsDataServer-1FollowerSlotsLeaderSlotsDataServer-3FollowerSlotsLeaderSlotsArchSummit全球架構(gòu)師峰會規(guī)模地址列表性能15MilIP數(shù)IK?7.2Ksession:24010Mdata:50client:10w+Iconn.mt2021-09-2822：02：005.97s3.94s)msp999:6.90s0998 6.77s08250K?1.8M包大小999p998nQQ■p7!rchSummit應用級-數(shù)據(jù)模型?月艮務級Publisher實例?元數(shù)據(jù)JSON□■制代僞co?.alipay.te$tAppl.FooService:1.0piDEFAUlTll.M.20e.88:8080^v-4.e&_TIMEOUT-3000&HOSTNAME*te$tappl<85-5S95apiaapp_ndme-te$tappl4_SERIALIZETYPE?Aitls-fdlse&?osn_vcr$ion_non^Smosn-truecoB.alipay.testappl.BarService:1.萸DEFAULTH.M.20e.88;8080?v-4.e&_TIME(Xn-30e0&_HOSTNAME-tesUppl>85-SS95&pl&appname-testappl&SERIALIZETYPE?*4Atlssfalse&flosn_version9verslon_noneSniosn9true,實例級Publisher實例JSON0.勸代理(?addr°： ..3:808。。?rev*:Ntestappl*S94f8e)b380o41396ed63dca395e3S42*f?mv*:-vl.1.0*,"bps"：(*_HOSTHAME":[*testappl*SS>5S9S*]>??osn_version*:(Mvalues*:["version^none"]),?mosn*:("values*:(*true*]),9}M>pplicatlonN:*revision?:Mtestappl>594f803b38ed41396ed63dca39S03542**>*clientverslon?:*vl.l.ew#MbaseParamsM:(*_SERIALIZETYPE?:CvaluesM：C4"]}?rpp_name”:{*values?:("testappl"])?“_TIMEOUT-:{-values":(H30d0.*tls":(?values":("false*]},"services?:(wCGm.alipay.testappl.Foo$ervice:1.0^K)EFAULT9:{"id-:"9-,"corn.alIpay.testappl.BarService:l.e^DEFAULT*:(*ld*:wlw,ArchSummit全球架構(gòu)師峰會應用級-兼容性:平滑/遺留應用雙集群雙訂閱發(fā)布切換兼容無法升級的遺留應用registryv5registryservicepuboldappservicepubservicesubapppubapp/servicesubservicepubapppubservicesubapp/servicesubpub-converter(inline)^ArchSummitregistryv6appsubservicepubservicesubmosnnewoldappmosn應用級-效果:數(shù)據(jù)下降1個數(shù)量級接口級pub應用級pub切挨前1000切換后53接口級sub應用級sub切換前1000切換后10011InfoQInfoQArchSummit全球架構(gòu)師峰會

SOFARegistryChaos:自動化測試masterprometheuscommandshistorycheckresultnode(go)node(go)get/putpub/subfaultinjectionmock-registrysofa-registryArchSummitInfoQ定位有問題的訂閱端/發(fā)布端異常期間各個client的狀態(tài)以及操作歷史基于SOFARegistryChaos:自動化測試masterprometheuscommandshistorycheckresultnode(go)node(go)get/putpub/subfaultinjectionmock-registrysofa-registryArchSummitInfoQ定位有問題的訂閱端/發(fā)布端異常期間各個client的狀態(tài)以及操作歷史基于k8s一鍵部署橫向擴展支持大規(guī)模壓測client編排:pub/sub/disconnect故障編排rounds：commads[unpub,disconnect]round2:commads[pub,unpub,disconnect]roundl:commads[pub,unpub]端到端推送延遲的分步數(shù)據(jù)完整性：推少/推錯故障注入校驗正確性/恢復時間線上小流量部署預警功能觀測Trace數(shù)據(jù)■綬一It檢査SOFARegistryChaos:觀測性數(shù)據(jù)■綬一It檢査pushlatencyinIm30K15s1110sQAddannotation5.rj!0ns15:38 15:40 15:42 15:44 15:4615:48 15:50 15:52 15:54 15:56 15:58 16:00 16:02 16D4 16:0625K20K15K10K'；5Ki0 lL-15:38 15:40 15:42 15:44 15:46 15:4?■sum(registry.chaos^lata.dlffs)15:50 15S2 15:54 15:56 15:58 16:00 16:02 16:04 16:061.250.750500.25送槍■1.005-0515:38 15:40 15:42 15:44 15:46 15:41 15:50 15:52 15:54 15:56 15:58 16:00 16:02 1&M 16:06■regmfy.chaos^server.chaosOnstince**!63§700?Job?chaoe~niMter)?1.015:38 15:40 15:42 15:44 15:46 15:48 15:50 15:52 15:54 15:56 15:58 16:00 16X12 16:04 16:06.sum(ra(e(regi^try.chaos.staNe.data.diffs.countpOeD)WOKBOK60K1/Il11IIII1IHiiiiiilnIS內(nèi)推送敷■■40Mil30MH20MH10Mil0InfoQInfoQArchSummit全球架構(gòu)師峰會

SOFARegistryChaos:失敗case▼datald:com.alipay.xiangxu.chaos.dev12-24-12@XFIRE(GZ77F)2021-09-29T03157100.117062[cocunandEpoch624][nodi2021-09-29T03:57151.333885[coaunandEpoch625][nodcoM.alipay.xiangxu.chaos.devl2-24-12^XPIRJ2021-09-29T03:57:51.843846[cocmandEpoch6252021-09-29T03:57:58.930619[cocrmandEpoch6：coa.alipay.xiangxu.chaos.dev!2-24-12^XFIRE▼datald:com.alipay.xiangxu.chaos.dev12-24-12@XFIRE(GZ77F)2021-09-29T03157100.117062[cocunandEpoch624][nodi2021-09-29T03:57151.333885[coaunandEpoch625][nodcoM.alipay.xiangxu.chaos.devl2-24-12^XPIRJ2021-09-29T03:57:51.843846[cocmandEpoch6252021-09-29T03:57:58.930619[cocrmandEpoch6：coa.alipay.xiangxu.chaos.dev!2-24-12^XFIREseonneet)0]publish5001disconnectpublishnodeldtotaldiffs1r to1L 5-321>-1521當前數(shù)據(jù)不一致詳細k[2021-09-29T03*58：09.547081] Isubcom.alipay.xiangxu.chaos.dev12-24-12@XFIREtime2021-09-29T03：58：09.547081nodeldlocalAddr| ? <1 ?sessionAddrlocalZonedataldco<n.alipay.xiangxu.chaos.dev12-24-12@XFIREfailedZonescopedataCenterexpectedQ...(0)less0…(0)morendEpoch=625&app_name=app-24)...(1)ArchSCnwiitDnOJnQ

DnOJnQ

fo

nInfoQInfoQInfoQInfoQ運維效能:nightlybuild集成測試單元測試ArchSummit全球架構(gòu)師峰會高壓混沌

測試系統(tǒng)指標線下集群部

署發(fā).灰度

部署人工確認r系統(tǒng)指標數(shù)據(jù)檢查變更防御生產(chǎn)發(fā)布運維效能:故障演練ArchSummit全球架構(gòu)師峰會SLO故障定位拓撲國□□環(huán)境:線下,定位時間:2021-10-1508：17：27,定位區(qū)間：SLO故障定位拓撲國□□環(huán)境:線下,定位時間:2021-10-1508：17：27,定位區(qū)間：[2021-10-1505：05：27~2021-10-1508：17：27]三定位反饋1sofaregistry_rt_sr_successratio_monthly_grayCategory:SLODomain：middlewareAlertTime:2021-10-1508:14:14sofaregistrysession-87-4Category:Metric異常置信度:1;數(shù)量:7548;占比:99.95%IdeCategory:SLF異常宜信度：1;異常Metric數(shù)量：1J]category：Metric異常宜信度：1;數(shù)3:7548;占比:99.95%J