數(shù)據(jù)脫敏大數(shù)據(jù)架構(gòu)設(shè)計

1、數(shù)據(jù)脫敏大數(shù)據(jù)架構(gòu)設(shè)計紫金新聞發(fā)布于2019-03-28需求背景系統(tǒng)有數(shù)據(jù)識別、數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量?，F(xiàn)在針對以下幾個需求進行講解1、支持冗余設(shè)計2、支持任務(wù)自動分發(fā)，支持自動負載均衡3、支持隨時擴容節(jié)點而無需關(guān)停原有的系統(tǒng)和業(yè)務(wù)架構(gòu)和模塊架構(gòu)圖謚取韻摳同歲曲務(wù)罌指版進戦數(shù)據(jù)同歩阪勞逗行培興握吿脫敏擴展性架構(gòu)圖五核心模塊及其主要功能調(diào)度平臺使用Nginx方式來調(diào)用數(shù)據(jù)中心，通過注冊中心獲取數(shù)據(jù)中心的服務(wù)列表可以合理的根據(jù)數(shù)據(jù)同步的情況，去調(diào)用服務(wù)；比如數(shù)據(jù)同步可能存在的順序性，執(zhí)行延時；讀取控制臺DB的配置信息，定時執(zhí)行數(shù)據(jù)同步任務(wù)對數(shù)據(jù)同步的

2、調(diào)用，可以按照簡單的輪詢方式，也可以根據(jù)數(shù)據(jù)同步服務(wù)器的性能情況，進行負載均衡數(shù)據(jù)同步負責(zé)執(zhí)行數(shù)據(jù)庫異構(gòu)數(shù)據(jù)同步任務(wù)，可支持增量，全量模式，用DataX框架來實現(xiàn)服務(wù)于調(diào)度平臺的調(diào)用會存儲數(shù)據(jù)同步的執(zhí)行結(jié)果，供控制臺進行展示會上報服務(wù)器的性能指標(biāo)到數(shù)據(jù)同步DB，以供調(diào)度平臺參考控制臺配置管理界面，服務(wù)于用戶進行數(shù)據(jù)同步任務(wù)的配置信息，并存儲到控制臺DB中；數(shù)據(jù)識別負責(zé)針對數(shù)據(jù)庫的數(shù)據(jù)進行數(shù)據(jù)識別任務(wù)數(shù)據(jù)脫敏按照內(nèi)置規(guī)則、自定義配置，負責(zé)脫敏數(shù)據(jù)可提前進行數(shù)據(jù)脫敏，以供數(shù)據(jù)同步轉(zhuǎn)換環(huán)節(jié)調(diào)用三個輔助服務(wù)發(fā)現(xiàn)模塊注冊中心用于服務(wù)發(fā)現(xiàn)和注冊數(shù)據(jù)同步注冊實例并定期報心跳可以用zookeerper來實現(xiàn)調(diào)

3、度平臺通過域名訪問注冊中心獲取數(shù)據(jù)同步的地址列表Nginx和域名系統(tǒng)配合，協(xié)助調(diào)度平臺訪問注冊中心獲取數(shù)據(jù)同步地址列表和域名系統(tǒng)配合，協(xié)助用戶訪問控制臺進行配置管理可用性分析高可用通過Nginx、注冊中心來實現(xiàn)，可以支持動態(tài)擴容。每個主要模塊都是以無狀態(tài)集群方式部署的，各自模塊都可以通過注冊中心來實現(xiàn)服務(wù)注冊，模塊之間的調(diào)用服務(wù)發(fā)現(xiàn)來獲取，并以域名方式實現(xiàn)。考慮到擴展，所以設(shè)想的方案是盡可能的做到每個服務(wù)職責(zé)單一。這樣的拆分，也是考量到每個環(huán)節(jié)的瓶頸都不一樣，目前預(yù)估不是很精確，這樣可以為后續(xù)擴展提供方便性。數(shù)據(jù)脫敏、數(shù)據(jù)識別需要單獨獨立出來，原因：本身的服務(wù)不在數(shù)據(jù)同步中，可能提前預(yù)處理進行

4、。通過集群部署方式，支持冗余設(shè)計。調(diào)度平臺、Nginx集群通過數(shù)據(jù)同步性能情況，實現(xiàn)任務(wù)自動分發(fā)，支持自動負載均衡?？捎眯苑治隹捎眯员砀穹治鰣鼍坝绊懡导壴蚰撑_數(shù)據(jù)同步下歩無影響教據(jù)冋步無狀態(tài)調(diào)痘干甘重連其他的數(shù)據(jù)同步服努所有數(shù)據(jù)同步T統(tǒng)調(diào)度平臺無法執(zhí)行數(shù)據(jù)同步任務(wù)控制臺lh常運行;調(diào)度平臺把數(shù)據(jù)同步任務(wù)放入執(zhí)行欽列，等待執(zhí)行某個Ngirrx下尢影響多Ngiri工部書數(shù)據(jù)完全同步注冊中心、控制臺域名iiiSSLB自動切換到其他存活的NgiriJt控制臺DB宕機調(diào)度中心無影響控制臺無法更新配置調(diào)度平臺開啟配菁緩存后（對配置的讀取不受數(shù)據(jù)庫宕機影響某臺數(shù)據(jù)識別、數(shù)據(jù)脫敏卞無影響數(shù)擔(dān)識剔、數(shù)據(jù)脫敏無狀態(tài)”數(shù)據(jù)同步重連其他的數(shù)據(jù)識別.數(shù)據(jù)脫敏同步服務(wù)全部數(shù)據(jù)識別、數(shù)括脫敏下數(shù)據(jù)同步可執(zhí)行會彫響任務(wù)時長無彩晌結(jié)論數(shù)據(jù)同步、控制臺、調(diào)度平臺、數(shù)據(jù)識別、數(shù)據(jù)脫敏是數(shù)據(jù)脫敏的幾大核心微服務(wù)模塊，相互協(xié)作完成配置中心業(yè)務(wù)功能，Nginx、注冊中心是輔助