Apache Doris助力中科軟打造保險行業(yè)智能風控平臺

ApacheDoris助力中科軟打造保險行業(yè)智能風控平臺劉釗毅中科軟科技資深數(shù)據(jù)架構師01智能風控平臺02數(shù)據(jù)架構演進03實踐場景04總結與展望01智能風控平臺「中科軟簡介」?公司成立時間：1996.5.30?注冊資本：59,360萬?國有控股：中科院軟件研究所、海淀國有資產(chǎn)投資經(jīng)營公司?2006年1月23日在深圳新三板上市?2019年9月9日上交所上市，股票代碼603927?2023年實現(xiàn)營業(yè)收入約65.03億，實現(xiàn)凈利潤6.55億，同比增長2.59%18000+行業(yè)應用專業(yè)化人才?7000+專注壽險、6000+專注財險、5000+專注公共衛(wèi)生醫(yī)療及政府等行業(yè)；?涵蓋眾多行業(yè)的應用軟件產(chǎn)品、開發(fā)服務、系統(tǒng)集成等；?公司擁有18000+人才，技術人員占比89%，82%+本科以上；?研發(fā)能力：與中科院軟件所成立“行業(yè)信息化聯(lián)合實驗室”、“人工智能實驗室”、“區(qū)塊鏈實驗室”；?在保險軟件廠商中綜合競爭力排名第一，并保持連續(xù)十年排名第一；?國家規(guī)劃布局高新技術企業(yè)，國家鼓勵的重點軟件企業(yè)、軟件百強企業(yè)?！钢锌栖浐喗椋袌稣加新省棺?011年起在IT解決方案市場競爭分析中連續(xù)數(shù)年占據(jù)領導者地位數(shù)據(jù)來源：賽迪顧問2024.08約束層評估層記錄事實層環(huán)境層「保險行業(yè)的知識體系框架－風險管理域」約束層評估層記錄事實層環(huán)境層8大風險體系信用風險戰(zhàn)略風險流動性風險保險風險市場風險集中度風險聲譽風險操作風險風險綜合評級SARMRA自評估指標556個標準層貼源層可操作管理文件200+規(guī)則集50000+客戶業(yè)務流程-保單業(yè)務流程-理賠業(yè)務流程-再保業(yè)務流程-收付業(yè)務流程-財務產(chǎn)品標的渠道組織機構營銷風險客戶業(yè)務分類產(chǎn)品標的物組織過程狀態(tài)時間期限地域權限控制收/付費控制e.g.承保實務規(guī)程e.g.核保規(guī)則e.g.網(wǎng)銷系統(tǒng)功能菜單e.g.接受保單數(shù)據(jù)接口動態(tài)產(chǎn)品結構動態(tài)產(chǎn)品結構標的子險信息表保單基本信息表客戶信息表險別代碼表保單保額保費表保險標的項目表動態(tài)產(chǎn)品結構與藍圖動態(tài)產(chǎn)品結構與藍圖數(shù)據(jù)結構的映射管理需求計劃表需求確認表需求驗證表需求變更申請需求計劃表需求確認表需求驗證表需求變更申請需求評審記錄用戶需求說明書詳細需求說明書軟件工具組織協(xié)同知識成果需求訪談記錄「保險欺詐給各國保險行業(yè)造成損失估計」賠付金額10-30%賠付金額賠付金額10-30%賠付金額10-40%賠付金額10-20%汽車保險健康保險案件數(shù)量的10%左右健康保險農(nóng)業(yè)保險案件數(shù)量的10%左右農(nóng)業(yè)保險保險欺詐行為造成的損失是非常驚人的;近年來通過強化組織并不斷提升技術含量危害日益加劇；[新保;續(xù)保;渠道接入][報案;立案;核賠;追償][新保;續(xù)保;渠道接入][報案;立案;核賠;追償][報案;立案;核賠;追償][新保;續(xù)保;渠道接入][報案;立案;核賠;追償][新保;續(xù)保;渠道接入][報案;立案;核賠;追償][報案;立案;核賠;追償]求結案后稽查CFR 01技術架構演進數(shù)據(jù)治理數(shù)據(jù)分析類應用監(jiān)管類及專業(yè)應用數(shù)據(jù)應用統(tǒng)信報送月結償二代準備金、精算實時大屏固定報表KPI系統(tǒng)MIS數(shù)據(jù)治理數(shù)據(jù)分析類應用監(jiān)管類及專業(yè)應用數(shù)據(jù)應用統(tǒng)信報送月結償二代準備金、精算實時大屏固定報表KPI系統(tǒng)MIS清單多維分析移動端智能風控智能風控智能營銷客戶畫像智能營銷客戶畫像智能續(xù)保智能續(xù)保理賠反欺詐理賠反欺詐客戶評級Manager數(shù)據(jù)挖掘工具包SKLearnAutoML元數(shù)據(jù)管理數(shù)據(jù)服務WebServiceWebSocketSandBoxAPIJDBC主數(shù)據(jù)管理數(shù)據(jù)質量管理統(tǒng)一調(diào)度批量采集實時采集工具采集資源管理參數(shù)配置Impala/Presto分布式數(shù)據(jù)庫SQL查詢引擎數(shù)據(jù)模型分布式多維分析引擎SparkManager數(shù)據(jù)挖掘工具包SKLearnAutoML元數(shù)據(jù)管理數(shù)據(jù)服務WebServiceWebSocketSandBoxAPIJDBC主數(shù)據(jù)管理數(shù)據(jù)質量管理統(tǒng)一調(diào)度批量采集實時采集工具采集資源管理參數(shù)配置Impala/Presto分布式數(shù)據(jù)庫SQL查詢引擎數(shù)據(jù)模型分布式多維分析引擎SparkStreaming實時流處理引擎數(shù)據(jù)架構列式數(shù)據(jù)庫圖數(shù)據(jù)庫關聯(lián)性分析MongDB文檔數(shù)據(jù)庫非結構化數(shù)據(jù)倉庫數(shù)據(jù)安全監(jiān)管要求行業(yè)標準資源管理YARN優(yōu)化存儲協(xié)同服務Zookeeper消息隊列日志采集分布式計算SparkKafka云管平臺（計算、內(nèi)存、存儲、網(wǎng)絡資源）[支持AWS、阿里云、華為云等]RDBMS數(shù)據(jù)服務DataService數(shù)據(jù)平臺數(shù)據(jù)存儲數(shù)據(jù)操作數(shù)據(jù)交換數(shù)據(jù)來源數(shù)據(jù)治理數(shù)據(jù)分析類應用監(jiān)管類及專業(yè)應用數(shù)據(jù)應用統(tǒng)信報送月結償二代準備金、精算實時大屏固定報表KPI數(shù)據(jù)治理數(shù)據(jù)分析類應用監(jiān)管類及專業(yè)應用數(shù)據(jù)應用統(tǒng)信報送月結償二代準備金、精算實時大屏固定報表KPI系統(tǒng)資產(chǎn)目錄移動端多維分析MIS清單資產(chǎn)地圖智能風控智能風控智能營銷智能營銷客戶畫像智能續(xù)保智能續(xù)保理賠反欺詐客戶評級數(shù)據(jù)運營數(shù)據(jù)運營Manage大數(shù)據(jù)開發(fā)管理平臺部署開發(fā)調(diào)試調(diào)度監(jiān)控數(shù)據(jù)服務接口管理平臺RestfulAPIJDBC/FTP數(shù)據(jù)訂閱算法服務元數(shù)據(jù)管理外部接入批量采集實時采集工具采集Manage大數(shù)據(jù)開發(fā)管理平臺部署開發(fā)調(diào)試調(diào)度監(jiān)控數(shù)據(jù)服務接口管理平臺RestfulAPIJDBC/FTP數(shù)據(jù)訂閱算法服務元數(shù)據(jù)管理外部接入批量采集實時采集工具采集資源管理參數(shù)配置主數(shù)據(jù)管理Doris分布式AP數(shù)據(jù)庫SQL查詢引擎+數(shù)據(jù)湖[IceBerg/ExtenalTable/Multi-Catalog]數(shù)據(jù)質量管理Prometheus時序數(shù)據(jù)庫數(shù)據(jù)模型圖數(shù)據(jù)庫關聯(lián)性分析實時流處理引擎MongDB文檔數(shù)據(jù)庫非結構化ElasticSearch搜索引擎數(shù)據(jù)倉庫數(shù)據(jù)架構數(shù)據(jù)安全監(jiān)管要求協(xié)同服務資源管理優(yōu)化存儲增量日志獲取消息隊列增量捕獲ZookeeperYARNHDFSDebeziumKafkaFlinkCDC云管平臺（計算、內(nèi)存、存儲、網(wǎng)絡資源）[支持AWS、阿里云、華為云等]行業(yè)標準RDBMS數(shù)據(jù)服務DataService數(shù)據(jù)平臺數(shù)據(jù)存儲數(shù)據(jù)操作數(shù)據(jù)交換數(shù)據(jù)來源「大數(shù)據(jù)技術開發(fā)管理平臺的建立」l調(diào)度流程監(jiān)控l可視化自定義l集群部署管理l調(diào)度流程監(jiān)控l可視化自定義l集群部署管理l組件服務管理l系統(tǒng)運行監(jiān)控l消息隊列監(jiān)控l增量數(shù)據(jù)捕獲l多數(shù)據(jù)源管理l流批一體處理l流式入湖入倉l高性能查詢l強兼容mysqll數(shù)據(jù)API構建lETLjob構建中科軟大數(shù)據(jù)技術開發(fā)管理平臺）實時數(shù)據(jù)獲取快速開發(fā)平臺任務管理平臺TaskManager實時數(shù)據(jù)獲取快速開發(fā)平臺任務管理平臺TaskManager智能調(diào)度平臺Scheduler運維監(jiān)控平臺流批一體處理引擎分布式AP數(shù)據(jù)庫組件托管平臺03實踐場景「技術組件托管能力」「平臺快速開發(fā)能力-數(shù)據(jù)庫」見即所見的SQL調(diào)試界面?！钙脚_快速開發(fā)能力-ETL」4、支持對指定Catalog元數(shù)據(jù)的查詢、SQL5、支持對執(zhí)行模式、集群選擇、默認生成、可用Function查詢等功能。括開始時間、結束時間、是否成功等信息?！钙脚_快速開發(fā)能力-機器學習」1.1.EDA(數(shù)據(jù)探索性分析)2.特征工程2.特征工程3.模型自動化調(diào)優(yōu)3.模型自動化調(diào)優(yōu)「平臺智能調(diào)度能力」「平臺運維監(jiān)控能力」4、平臺集成了各功能組件的性能指標監(jiān)控能4、平臺集成了各功能組件的性能指標監(jiān)控能04總結展望「對服務高可用、數(shù)據(jù)高可靠的保障能力提升」服務高可用服務高可用?默認一個集群，只能有一個Leader，可以有多個Follower和Observer。?Leader和Follower組成一個Paxos選舉組，如果Leader宕機，則剩下的Follower會自動選出新的到IsMaster:true。在此基礎上，可以添加若干Follower和Observer。數(shù)據(jù)高