安邦BI系統(tǒng)數(shù)據(jù)模型全面介紹

1、安邦BI系統(tǒng)數(shù)據(jù)模型介紹主題題維度建模模的基本本概念模型概述述模型介紹紹模型運用用方法與與技巧相關技術術問題如何建立立分析集集市模型型行業(yè)經(jīng)驗驗BI.Insurance DWM工作組和和建模持續(xù)發(fā)展展業(yè)務需求求安邦分析集市模型業(yè)務驅(qū)動動根據(jù)固定定報表和和KPI、持續(xù)率率、承保保理賠、執(zhí)行力力、再保保五個數(shù)數(shù)據(jù)集市市的業(yè)務務需求,結合BI.InsuranceDWM的建模方方法,建立Taiping EDW分析集市市模型分析集市市模型概概念維度建模模一種非規(guī)規(guī)范化的的關系模模型由一組屬屬性構成成的表所所組成表跟表之之間的關關系通過過關鍵字字和外鍵鍵來定義義以良好的的可理解解性和方方便的產(chǎn)產(chǎn)生報表表來

2、進行行數(shù)據(jù)組組織，很很少考慮慮修改的的性能通過SQL或者相關關的工具具實現(xiàn)數(shù)數(shù)據(jù)的查查詢和維維護分析集市市模型概概念事實表（一）每一個事事實表通通常包含含了業(yè)務務需求所所關心的的一系列列的指標標值每一個事事實表的的行包括括具有可加加性的數(shù)數(shù)值型的的指標值值文本事實實通常具具有不可可預見的的內(nèi)容，很難進進行分析析與維表相相連接的的外鍵通常具有有兩個和和兩個以以上的外外鍵外鍵之間間表示維維表之間間多對多多的關系系分析集市市模型概概念事實表（二）事實表的的特征非常的大大包含含幾萬、幾十萬萬甚至幾幾百幾千千條的記記錄內(nèi)容相對對的窄列列數(shù)數(shù)較少經(jīng)常發(fā)生生變化現(xiàn)現(xiàn)實實世界中中新事件件的發(fā)生生事實實表中增增

3、加一條條記錄典型情況況下，僅僅僅是數(shù)數(shù)據(jù)的追追加事實表的的使用各類指標標值的聚聚集計算算分析集市市模型概概念維表（一一）每一張維維表對應應現(xiàn)實世世界中的的一個對對象或者者概念例如如：客戶戶、產(chǎn)品品、保單單、標的的、案件件維表的特特征包含了眾眾多描述述性的屬屬性列如保單維維表里的的銷售渠渠道、保保費區(qū)間間、風險險等級等等通常情況況下，跟跟事實表表相比，行數(shù)相相對較小小通常 10萬條內(nèi)容相對對固定幾乎就是是一類查查找表分析集市市模型概概念維表（二二）維表的應應用基于維屬屬性的過過濾（切切片、切切塊等）基于維屬屬性的各各種聚集集操作報表中各各類標簽簽的主要要來源事實表通通過維表表進行引引用分析集市市

4、模型概概念Facts屬性個數(shù)數(shù)少（窄窄）記錄行數(shù)數(shù)多（大大）數(shù)值型指指標隨著時間間的推移移，數(shù)據(jù)據(jù)增長Dimensions屬性個數(shù)數(shù)多（寬寬）記錄行數(shù)數(shù)少（小?。┟枋鲂詫賹傩造o態(tài)的，很少發(fā)發(fā)生變化化 事實表與與維表的的比較分析主題題域數(shù)據(jù)據(jù)(AnalyticalSubject Areas)通過事實實（Facts）和維度度（Dimensions）模型方方式表達達，為典典型保險險分析應應用提供供分析型型數(shù)據(jù)架架構，為為數(shù)據(jù)集集市提供供統(tǒng)一的的指標和和維度，為數(shù)據(jù)據(jù)應用提提供統(tǒng)一一的數(shù)據(jù)據(jù)信息。分析主題題域數(shù)據(jù)據(jù)，將業(yè)業(yè)務需求求階段定定義的分分析主題題域，按按照維度度建模方方法，格格式化成成符合維維

5、度事事實表的的星型模模型或雪雪花模型型。其中中維度信信息由核核心原子子數(shù)據(jù)按按照定義義的層次次形成相相關的維維度視圖圖，事實實表數(shù)據(jù)據(jù)通過核核心原子子數(shù)據(jù)相相關主題題域數(shù)據(jù)據(jù)經(jīng)過匯匯總計算算得到。核心原原子數(shù)據(jù)據(jù)和分析析數(shù)據(jù)分分別映射射到不同同的數(shù)據(jù)據(jù)集市中中。其中，典典型的分分析主題題域如通通用承保保分析（Universalunderwriting analysis）如下圖圖：分析集市市模型設設計步驟驟需求整理指標標維度矩矩陣設計集市市層模型型設計分析析層模型型維度指標標矩陣維度指標標矩陣是是把需求求轉(zhuǎn)化為為多維模模型的重重要工具具業(yè)務分析析需求舉舉例與上一年年相比，各險種種所占的的份額有有

6、何差異異?每個機構構在各險險種所占占份額是是多少?機構險種時間2006和2007年度各險險種份額額對比20062007Thousands2006年度各機機構在各各險種上上的份額額維度建模模舉例時間機構險種客戶主題題維度建模模的基本本概念模型概述述模型介紹紹模型運用用方法與與技巧相關技術術問題元數(shù)據(jù)模型在整整個系統(tǒng)統(tǒng)架構中中的定位位ETL過程核心收付車險理賠財務面向業(yè)務務應用數(shù)據(jù)集市Cube最終用戶基本上與與業(yè)務數(shù)數(shù)據(jù)同構構保留詳細細交易數(shù)數(shù)據(jù)數(shù)據(jù)倉庫庫面向分析主題輕度匯總數(shù)據(jù)Star Schema 建模中間表財務賬戶活動理賠事件收付費處理資金供應角色實物地理位置協(xié)議產(chǎn)品分析層分析層模模型主題題

7、域分析層模模型每個個主題域域為同類類的業(yè)務務處理，共享相相同的維維度承保理賠賠分析記錄安邦邦保險所所關注的的主要承承保理賠賠業(yè)務指指標。收付費分分析記錄財務務收付中中應收保保費、實實收保費費、應收收率、應應付賠款款、實付付賠款等等收付類類信息。核賠效率率分析記錄理賠賠環(huán)節(jié)中中查勘、定損、核損、繕制過過程的相相關指標標。主題題維度建模模的基本本概念模型概述述模型介紹紹模型運用用方法與與技巧相關技術術問題分析層模模型結構構收付費分分析的星星型結構構分析層模模型介紹紹“承保理理賠分析析事實表表”、“收付費費分析事事實表”、“核核賠效率率分析事事實表”都是經(jīng)經(jīng)輕度匯匯總生成成的表，它們?nèi)慷际鞘鞘聞?/p>

8、型型事實表表中間事實實表都是是經(jīng)過版版本化的的歷史表表，保存存最細粒粒度的數(shù)數(shù)據(jù)中間事實實表主要要用于生生成輕度度匯總表表的過渡渡，除此此之外，通過冗冗余相關關屬性，中間事事實表的的設計也也考慮了了其它無無法從直直接從分分析層計計算的指指標的計計算事務型事事實和快快照型事事實機構險種日期未決變化201010210112008-9-121000201010210112008-9-13-300201010210112008-9-122200201020120312008-9-12100201020220012008-9-121000201020220012008-9-131200201020220

9、012008-9-14-2200事務型快照型快照型事事實表的的指標通通常包含含時點值值，隨著著時間積積累，維維度組合合會越來來越細，此類型型的事實實表通常常用于粒粒度較粗粗的數(shù)據(jù)據(jù)集市或或Cube；而事務務型事實實表的度度量都是是可累加加的，其其對于維維度較多多的輕度度匯總表表是有利利。如果果OLAP server支持在事事務型事事實表上上計算時時點值，建議在在維度較較細的Cube上使用事事務型事事實。機構險種日期期末未決201010210112008-9-121000201010210112008-9-13700201010210112008-9-142900201020120312008-

10、9-12100201020120312008-9-13100201020120312008-9-14100201020220012008-9-121000201020220012008-9-132200201020220012008-9-140中間層歷歷史數(shù)據(jù)據(jù)的版本本化數(shù)據(jù)倉庫庫中的歷歷史數(shù)據(jù)據(jù)決不會會被刪除除或覆蓋蓋，因此此需要加加入數(shù)據(jù)據(jù)版本特特性來區(qū)區(qū)分隨時時間變化化的業(yè)務務信息，使得在在任一給給定時間間點上都都能檢索索到正確確的數(shù)據(jù)據(jù)。數(shù)據(jù)是否否需要版版本化，首先依依賴于實實體是否否有時變變特性，比如“報案信信息”通通常是在在某個時時間點上上發(fā)生，它就沒沒有時變變特性，因此就就不需要

11、要版本化化。在實體中中加入時時間戳屬屬性可以以實現(xiàn)數(shù)數(shù)據(jù)版本本化，這這個時間間戳可以以基于業(yè)業(yè)務涵義義，如對對保單的的某次批批改的生生效日期期；也可可以僅僅僅是技術術上的，比如員員工某項項登記信信息被修修改，則則生成新新的員工工記錄，并指定定該記錄錄的有效效(Valid)期間，ETL處理需要要實現(xiàn)數(shù)數(shù)據(jù)相鄰鄰版本時時間戳的的鏈接。需要為版版本化的的實體找找出一個個錨ID來唯一標標識每個個數(shù)據(jù)實實例，比比如保單單實體的的錨ID可以是保保單號，表明該該實體中中最原子子的粒度度是保單單。時間戳與與數(shù)據(jù)版版本業(yè)務信息息的不同同版本的的時間鏈鏈時間戳(start_date/end_date)員工姓名職位

12、離職時間start_dateend_date張三初級核保人2006-5-212007-12-3張三中級核保人2007-12-39999-12-31李四業(yè)務員2004-3-122006-10-8李四業(yè)務經(jīng)理2006-10-82008-5-9李四業(yè)務經(jīng)理2008-5-92008-5-99999-12-31以上start_date為紅色的的是該數(shù)數(shù)據(jù)實例例被創(chuàng)建建時的版版本，該該值從邏邏輯上看看應該為為數(shù)據(jù)的的業(yè)務創(chuàng)創(chuàng)建日期期，比如如入職日日期，但但為了避避免受到到數(shù)據(jù)質(zhì)質(zhì)量的影影響，我我們通常常把每個個數(shù)據(jù)實實例的第第一個版版本的start_date置為1900-01-01承保中間間表場景景示例保

13、單號批單號保險起期保險金額保費核保日期批改原因start dateend date00012006-3-712000802006-3-4N/A1900-1-12006-5-18000100012006-3-7002006-5-18注銷2006-5-189999-12-3100022006-4-19223001202006-4-7N/A1900-1-12006-5-10000200022006-4-19223001202006-5-10修改2006-5-102006-5-21000200032006-4-19223001382006-5-21加保2006-5-219999-12-31000320

14、07-1-121200008902007-1-8N/A1900-1-19999-12-3100042007-5-2570005002007-4-22N/A1900-1-19999-12-3100052008-3-1440000036002008-3-8N/A1900-1-12008-4-6000500042008-3-1431000030002008-4-6退保2008-4-62008-4-16000500052006-3-1431000030002008-4-16修改2008-4-169999-12-31收付費中中間表場場景示例例單據(jù)號type狀態(tài)應收保費實收保費應付賠款實付賠款應付手續(xù)費實

15、付手續(xù)費start dateend date0001保費應收2000.00 0.00 1900-1-12006-5-180001保費實收2000.00 2000.00 2006-5-189999-12-310002手續(xù)費應付132.00 0.00 1900-1-12006-5-100002手續(xù)費實付132.00 132.00 2006-5-102006-5-110002手續(xù)費沖正132.00 0.00 2006-5-119999-12-310003保費應收10000.00 0.00 1900-1-19999-12-310004賠款應付26700.00 0.00 1900-1-19999-12-

16、310005賠款應付14700.00 0.00 1900-1-12006-4-60005賠款實付14700.00 14700.00 2006-4-69999-12-310006保費應收3500.00 0.00 1900-1-19999-12-31理賠中間間事實表表場景示示例賠案號次數(shù)立案日期估損金額賠付金額結案日期結案狀態(tài)start dateend date000112006-3-730009999-12-31N1900-1-12006-53-7300032002006-5-18Y2006-5-189999-12-31000212006-4-19120009999-1

17、2-31N1900-1-12006-5-10000212006-4-19110009999-12-31N2006-5-102006-5-21000212006-4-1911000100002006-5-21Y2006-5-219999-12-31000312007-1-129009999-12-31N1900-1-19999-12-31000412007-5-2570009999-12-31N2007-5-29999-12-31000512008-312-31N1900-1-12006-4-6000512008-3-1421000200002006-4-6Y2006-

18、4-69999-12-31000522006-4-163003002006-5-26Y1900-1-19999-12-31中間層的的構建算算法請安邦項項目組自自行用Visio畫出算法法流程圖圖，分頁頁貼在此此處分析層模模型未涵涵蓋的特特殊分析析應用需求中有有部分的的指標在在計算上上比較獨獨特，且且與其它它指標沒沒有太多多的共享享價值，因此未未納入分分析層模模型的考考查范疇疇，這些些指標主主要有：核保效率率分析用mid_policy_fact與核保信信息表關關聯(lián)，再再經(jīng)過聚聚合計算算可得到到相應的的分析指指標理財險網(wǎng)網(wǎng)點活動動率該指標為為非累計計指標，不考慮慮安置在在分析層層，可在在構建CUBE

19、時按原始始算法計計算，但但日、月月、季、年的匯匯總值要要分別計計算車貸險指指標該類指標標的數(shù)據(jù)據(jù)源比較較特殊，不考慮慮建立分分析層，可在構構建CUBE時按原始始算法計計算從中間層層到分析析層承保理理賠簽單類只計算保保單，口口徑為：核保日日期在當當期andstart_date=1900-1-1主要指標標有：保保險金額額、保單單保費、保單筆筆數(shù)、累累計儲金金、已驗驗車數(shù)量量、應驗驗車數(shù)量量需要減去去退保和和注銷會計年度度類不考慮版版本，所所有記錄錄一起計計算，口口徑為：核保日日期在當當期保額和保保費只累累計變化化值主要指標標有：保保費收入入、批增增批減保保費（件件數(shù)）、退保（注銷）保費（件數(shù)）等理

20、賠類口徑：結結案日期期在當期期或估損損修改日日期在當當期部分指標標只考慮慮起始兩兩個版本本，即立立案和結結案，比比如立案案估損金金額、結結案天數(shù)數(shù)主要指標標有：已已決筆數(shù)數(shù)、已決決賠款、未決筆筆數(shù)變化化、未決決賠款變變化、立立案估損損金額、估損偏偏差絕對對值、加加權估損損金額、結案天天數(shù)特殊口徑徑類已賺保費費算算法參見見“模型型運用方方法與技技巧”有部分指指標不需需要定義義在分析析層，因因為它們們可以從從以上指指標衍生生，比如如車險續(xù)續(xù)保指標標、理財財險指標標，都可可以從承承保理賠賠分析表表以保險險止期維維度為口口徑聚合合生成。從中間層層到分析析層收付費費收付費指指標的主主要口徑徑基本上上都是

21、以以收付確確認日期期來計算算，在源源系統(tǒng)中中體現(xiàn)為為應收(付)確認日期期和實收收(付)確認日期期需求中要要求按幣幣種分別別展現(xiàn)人人民幣和和非人民民幣的統(tǒng)統(tǒng)計值，由于本本事實表表已經(jīng)包包含保單單維度，因此這這些指標標都可以以根據(jù)保保單維度度中的幣幣種重新新匯總生生成應收保費費變化的的計算規(guī)規(guī)則是：應收一一筆保費費以正數(shù)數(shù)累計，實收一一筆保費費以負數(shù)數(shù)累計，對實收收的沖正正以正數(shù)數(shù)累計滾動12個月財務務保費收收入是應應收保費費收入的的衍生指指標核賠效率率分析核賠效率率分析的的指標基基本都有有共享的的維度，因此為為其建立立一個分分析層主主題是合合適的核賠效率率分析涉涉及的源源表比較較分散，且增量量機

22、制較較為復雜雜，因此此建立中中間表有有一定的的難度，目前的的策略是是參照原原指標算算法分別別計算出出各指標標，并插插入一臨臨時表中中，再對對該表執(zhí)執(zhí)行聚合合操作由于源系系統(tǒng)可能能會更新新核賠數(shù)數(shù)據(jù)的狀狀態(tài)，因因而導致致部分指指標存在在“過期期”現(xiàn)象象，在目目前沒有有歷史數(shù)數(shù)據(jù)支持持的情況況，我們們的解決決辦法是是由業(yè)務務部門確確定一個個過期閥閥值天數(shù)數(shù)N，超超過N天天之前的的指標不不會再過過期，那那么每天天加載核核賠效率率事實表表時，不不僅僅計計算當天天的事實實數(shù)據(jù)，而是把把N天之之前的數(shù)數(shù)據(jù)也都都復算一一遍主題題維度建模模的基本本概念模型概述述模型介紹紹模型運用用方法與與技巧相關技術術問題數(shù)

23、據(jù)版本本的截取取時間點點查詢出2008-4-10各業(yè)務員員的數(shù)據(jù)據(jù)：select*from業(yè)務員表表wherestart_date 2008-4-10保單中間間表連接接員工表表獲取員員工的職職位屬性性：selecta.policy, ,b.職位from mid_policy_facta,業(yè)務員表表bwherea.c_emp_cde= b.c_emp_cdeandb.start_date t_udr_date截取時間間為常量量截取時間間為連接接主表的的相關時時間字段段時間鏈的的生成技技巧假定經(jīng)過過相應的的處理后后得到一一個數(shù)據(jù)據(jù)集T，T可以是一一個臨時時表、視視圖或子子查詢，并包含含一個日日期字

24、段段Start_date(不可有空空值)作為時間間鏈的開開始日期期，但End_date還未生成成，則可可以用以以下SQL生成時間間鏈：Selectanchor_id, ,start_date,lead(start_date,1,to_date(99991231,yyyymmdd)over(partition by anchor_idorderbystart_date)asend_dateFrom T;其中Anchor_id是數(shù)據(jù)集集的錨ID，比如保保單號、單據(jù)號號等歷史表增增量加載載策略在常規(guī)情情況下，該算法法也適合合全量加加載，此此時數(shù)據(jù)據(jù)集是全全量數(shù)據(jù)據(jù)，而目目標表的的初始狀狀況是空空表。

25、由于目標標表中要要求第一一條版本本記錄的的Start_date應該為1900-1-1，這里的的算法要要考慮T01的增量在在目標表表中沒有有前續(xù)版版本記錄錄的情況況已賺保費費的計算算以上有效效時間段段不能采采用保單單版本的的時間鏈鏈，而要要按業(yè)務務上的保保單生效效規(guī)則來來確定時時間范圍圍一般情況況下，保保單的生生效開始始日期就就是保險險起期，但對于于倒簽單單，則按按核保日日期計算算，因此此回避了了在此之之前已匯匯總的漏漏算問題題最好在承承保中間間表中事事先計算算出業(yè)務務有效時時間范圍圍，作為為業(yè)務時時間鏈，不僅避避免在匯匯總指標標時多做做計算，而且有有利于測測試時核核對數(shù)據(jù)據(jù)由于涉及及到除法法，

26、如果果時間維維的粒度度太細，可能導導致過多多的精度度誤差，建議匯匯總表中中該指標標字段保保留更多多的小數(shù)數(shù)位，比比如68位2007.12007.6安邦以前前的算法法累加各版版本保費費變化乘乘以當期期內(nèi)的保保險期限限時間段段在當前前保險期期限內(nèi)的的占比2007.12007.6較準確的的算法累加各版版本當前前保費乘乘以當期期內(nèi)的有有效時間間段在當當前保險險期限內(nèi)內(nèi)的占比比每個線段段表示保保單各版版本用于于計算當當期有效效天數(shù)的的基準時時間段，而被陰陰影覆蓋蓋的部分分作為時時間占比比的分子子承保理賠賠分析應應用場景假假設Ply_prof_idDpt_id統(tǒng)計月份簽單件數(shù)已決件數(shù)未決件數(shù)變化10012

27、0012007.2103100120012007.321-1100120022007.3101100220022007.3112100120012007.4011100120022007.4102100220022007.421-1100220032007.4101100220032007.5100100120022007.5010100220022007.501-1100220032007.6011Ply_prof_id保險起期10012007.210022007.3Ply_prof_dm為簡化起起見，假假定保單單維表只只有一個個維屬性性：保險險起期（月）DM_FACT承保理賠賠分析事事實表

28、經(jīng)經(jīng)過聚合合計算后后生成的的局部視視圖，含含有三個個指標，除統(tǒng)計計月份外外的維度度組合有有四種（不同的的顏色區(qū)區(qū)分）承保理賠賠分析應應用轉(zhuǎn)換成成快照型型事實經(jīng)過與月月維表的的分區(qū)外外連接，以上查查詢填充充了遺漏漏的月份份，并利利用分析析函數(shù)計計算出“期末未未決”這這個時點點值?？煽梢岳糜么瞬樵冊兘ubeDM_FACT應該是經(jīng)經(jīng)聚合后后粒度已已經(jīng)較粗粗的事實實，可以以是表、視圖、物化視視圖或子子查詢可以通過過對月維維表增加加查詢條條件來減減少最終終快照型型事實的的維度組組合，比比如保單單維表中中實際上上是包含含“核保保月份”的，則則可以增增加一個個連接條條件為“v1.mon_id=核保月份

29、份”，但但這種做做法必須須要有數(shù)數(shù)據(jù)質(zhì)量量的保證證會計年度度的報表表或分析析應用可可以在該該查詢結結果的基基礎上直直接以mon_id為時間維維度進行行聚合得得到WITH v1 AS (SELECTmon_idFROM cal_monWHERE mon_id=200706)SELECTply_prof_id,dpt_id,mon_id,簽單件數(shù)數(shù),已決件數(shù)數(shù)，sum(未決件數(shù)數(shù)變化) OVER(PARTITION BY ply_prof_id,dpt_idORDERBYmon_idROWSUNBOUNDEDPRECEDING) as期末未決決件數(shù)FROM(SELECT ply_prof_id,d

30、pt_id,v1.mon_id,簽單件數(shù)數(shù),已決件數(shù)數(shù)，未決決件數(shù)變變化FROM dm_factPARTITION BY (ply_prof_id,dpt_id)RIGHTOUTERJOIN v1ON(v1.mon_id =統(tǒng)計月份份)承保理賠賠分析應應用保單年年度算法法保單年度度分析是是在兩個個時間維維度上的的快照型型事實，兩個時時間維度度分別是是保險起起期和截截止月份份，所有有指標都都是在截截止月份份維度上上的時點點值，計計算該快快照型事事實可參參考下面面的SQL。該算法同同樣可以以增加條條件減少少維度組組合，比比如通常常在保險險責任結結束N年后，保保單年度度分析的的價值已已經(jīng)減退退，因此此可以在在連接條條件中增增加“v1.mon_id=pf.保險止期期+ N”，注意：由由于實際際模型中中保單維維表不止止保險起起期一個個屬性，則以下下查詢在在維度上上還存在在重復值值，直接接使用需需要再進進行聚合合。WITH v1 AS (SELECTmon_idFROM cal_monWHERE mon_id=pf.保險起期期)承保理賠賠分析應應用保單年年度快照照事實保險起期Dpt_id截止月份簽單件數(shù)已決件數(shù)未決件數(shù)2007.220012007.21032007.2