ODS數(shù)據(jù)服務(wù)平臺(tái)介紹課件

ODS數(shù)據(jù)服務(wù)平臺(tái)介紹2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹ODS數(shù)據(jù)服務(wù)平臺(tái)介紹2023/10/6ODS數(shù)據(jù)服務(wù)平臺(tái)介1主要內(nèi)容1、數(shù)據(jù)平臺(tái)的功能2、數(shù)據(jù)平臺(tái)的建設(shè)原則3、數(shù)據(jù)平臺(tái)數(shù)據(jù)平臺(tái)建設(shè)使用技術(shù)4、ODS表命名規(guī)則5、Basedb數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)要點(diǎn)2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹2主要內(nèi)容1、數(shù)據(jù)平臺(tái)的功能2023/10/6ODS數(shù)據(jù)服務(wù)平數(shù)據(jù)平臺(tái)兩大功能1、提供數(shù)據(jù)服務(wù) 增量層（INCR層），存放生產(chǎn)庫(kù)的存量數(shù)據(jù)，以此作為所有外圍系統(tǒng)的數(shù)據(jù)接口，提供數(shù)據(jù)級(jí)服務(wù)。2、提供信息服務(wù) ODS層（BaseDB與CubeDB） BaseDB存放融合的基于操作級(jí)的數(shù)據(jù)，而CubeDB是基于BaseDB的匯總數(shù)據(jù)，以此提供數(shù)據(jù)查詢(xún)與數(shù)據(jù)的統(tǒng)計(jì)。 ODS層只存放與統(tǒng)計(jì)相關(guān)的數(shù)據(jù)。增量層的數(shù)據(jù)范圍＞ODS層的數(shù)據(jù)范圍

2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹3數(shù)據(jù)平臺(tái)兩大功能1、提供數(shù)據(jù)服務(wù)2023/10/6ODS數(shù)據(jù)保監(jiān)會(huì)報(bào)表、總部快報(bào)等CallCenter、省級(jí)數(shù)據(jù)接口DTS調(diào)度抽取DTS調(diào)度抽取Trigger抽取增量及全表抽取CBPS8版年金系統(tǒng)AMIS財(cái)務(wù)系統(tǒng)……鏡像庫(kù)鏡像庫(kù)增量數(shù)據(jù)庫(kù)增量數(shù)據(jù)庫(kù)SQLServer數(shù)據(jù)庫(kù)INFORMIX數(shù)據(jù)庫(kù)省級(jí)ODS數(shù)據(jù)庫(kù)SQLServer數(shù)據(jù)庫(kù)CBPS7版總部匯總層總部ODS數(shù)據(jù)庫(kù)未確定數(shù)據(jù)庫(kù)總分傳輸省級(jí)匯總層DTS調(diào)度抽取SQLServer數(shù)據(jù)庫(kù)2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹4保監(jiān)會(huì)報(bào)表、總部快報(bào)等CallCenter、DTS調(diào)度抽取層次間的數(shù)據(jù)導(dǎo)向1、增量層（INCR）是生產(chǎn)系統(tǒng)的同構(gòu)層，并且是邏輯集中的。有幾類(lèi)業(yè)務(wù)系統(tǒng)就有幾個(gè)增量數(shù)據(jù)庫(kù)。

2、BaseDB對(duì)同構(gòu)層數(shù)據(jù)進(jìn)行了集成和融合，但它還是基于操作型數(shù)據(jù)的3、CubeDB對(duì)數(shù)據(jù)進(jìn)行了抽象和加工，它并不是基于操作型數(shù)據(jù)的。主要是針對(duì)前臺(tái)的報(bào)表應(yīng)用建立統(tǒng)計(jì)模型。不同層之間的數(shù)據(jù)特點(diǎn)決定了它們的應(yīng)用方向。如：1、增量層適合于作為數(shù)據(jù)供應(yīng)池2、BaseDB除了作為CubeDB的數(shù)據(jù)匯總來(lái)源外，還可提供數(shù)據(jù)查詢(xún)使用3、而CubeDB適合于報(bào)表生成和數(shù)據(jù)分析2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹5層次間的數(shù)據(jù)導(dǎo)向1、增量層（INCR）是生產(chǎn)系統(tǒng)的同構(gòu)層，并目前應(yīng)用基于數(shù)據(jù)服務(wù)的應(yīng)用有：CallCenter、電子商務(wù)，以及后期的再保數(shù)據(jù)接口，他們將從增量層獲取數(shù)據(jù)基于信息服務(wù)的應(yīng)用有：中介統(tǒng)計(jì)平臺(tái)、保監(jiān)會(huì)報(bào)表系統(tǒng)以及每日業(yè)務(wù)快報(bào)、廣東省報(bào)表中心等，他們均從ODS層獲取數(shù)據(jù)（即基礎(chǔ)數(shù)據(jù)來(lái)源于BaseDB，經(jīng)過(guò)匯總，產(chǎn)生CubeDB中的事實(shí)表數(shù)據(jù)）.2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹6目前應(yīng)用基于數(shù)據(jù)服務(wù)的應(yīng)用有：CallCenter、電子商數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則1、整個(gè)架構(gòu)基于PC服務(wù)器 當(dāng)前多層次的架構(gòu)適合于多個(gè)PC服務(wù)器的聯(lián)合工作。 如果采用小型機(jī)架構(gòu)，存在下列問(wèn)題：1）數(shù)據(jù)平臺(tái)龐大的數(shù)據(jù)以及復(fù)雜的層次結(jié)構(gòu)，將要求獨(dú)占小型機(jī)資源，這對(duì)于各省的硬件設(shè)備，難以支撐。2）如果把數(shù)據(jù)平臺(tái)的各層都架構(gòu)在小型機(jī)上，那么應(yīng)用上難以達(dá)到平衡，應(yīng)用間效率的互相影響和牽制會(huì)相對(duì)突出。 而采用PC服務(wù)器方式，由于PC服務(wù)器成本低，我們可以通過(guò)多臺(tái)PC服務(wù)器的聯(lián)合工作，獲得有效的性能。 未來(lái)設(shè)備采用：使用64位的PC服務(wù)器＋高速磁盤(pán)存儲(chǔ)設(shè)備，將會(huì)給數(shù)據(jù)平臺(tái)提供堅(jiān)實(shí)的基礎(chǔ)。2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹7數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則1、整個(gè)架構(gòu)基于PC服務(wù)器2023/1數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則2、基于微軟平臺(tái)與微軟技術(shù) 微軟平臺(tái)的集成性和方便快捷是顯而易見(jiàn)的。 數(shù)據(jù)庫(kù)采用SQLSERVER，在SQLSERVER中，集成了如下服務(wù)：數(shù)據(jù)庫(kù)平臺(tái)、報(bào)表工具（ReportingServices）、ETL工具（DTS）、分析平臺(tái)（AnalysisServices）以及復(fù)制工具（ReplicaiotnServices），而且許多BI工具都是很有名的。 應(yīng)用前端基于.NET平臺(tái)，在微軟平臺(tái)上，采用.NET技術(shù)一定優(yōu)越于JAVA。除非我們要在UNIX平臺(tái)上建立應(yīng)用，否則，采用JAVA是舍簡(jiǎn)取繁。

2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹8數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則2、基于微軟平臺(tái)與微軟技術(shù)2023/1數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則3、采用Trigger方式提供軌跡數(shù)據(jù) 由于各個(gè)生產(chǎn)庫(kù)在設(shè)計(jì)階段，都未充分考慮到軌跡數(shù)據(jù)的記錄，所以采用Trigger方式，是目前唯一可行的方案。這樣，才能保證數(shù)據(jù)平臺(tái)的數(shù)據(jù)與生產(chǎn)庫(kù)之間的一一對(duì)應(yīng)。否則，你費(fèi)盡心力，也難以作到雙方的數(shù)據(jù)一致性。

2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹9數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則3、采用Trigger方式提供軌跡數(shù)據(jù)數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則4、增量層作為生產(chǎn)庫(kù)的同構(gòu)層，并作為數(shù)據(jù)供應(yīng)池 增量層與生產(chǎn)庫(kù)是完全的同構(gòu)關(guān)系，有多少種生產(chǎn)庫(kù)，就有多少個(gè)增量庫(kù)，目前數(shù)據(jù)平臺(tái)中設(shè)計(jì)好的增量庫(kù)有：CBPS7版增量庫(kù)（INCRDB）、CBPS8版增量庫(kù)（INCRV8）、AMIS增量庫(kù)（INCRAM）、年金增量庫(kù)（INCRNJ）以及投連萬(wàn)能增量庫(kù)（INCRUL）。 目前增量層中的數(shù)據(jù)已擴(kuò)充成全量數(shù)據(jù)。 這一層是為外圍系統(tǒng)而生的。主要是考慮到對(duì)CALLCENTER與再保系統(tǒng)的深度支持。2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹10數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則4、增量層作為生產(chǎn)庫(kù)的同構(gòu)層，并作為數(shù)數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則5、BaseDB保存集成的、經(jīng)過(guò)融合的、基于操作型的數(shù)據(jù) 如果直接在增量層上架構(gòu)統(tǒng)計(jì)應(yīng)用，會(huì)存在許多的不便，因?yàn)樵隽繉又械臄?shù)據(jù)是非集成的，一項(xiàng)統(tǒng)計(jì)可能要跨越多個(gè)數(shù)據(jù)庫(kù)，同時(shí)，數(shù)據(jù)是非融合的，一項(xiàng)統(tǒng)計(jì)可能要基于不同的數(shù)據(jù)庫(kù)進(jìn)行復(fù)雜的定制。而基于BaseDB，可以在很大程度上避免這些復(fù)雜性。但同時(shí)，BaseDB中的數(shù)據(jù)還是基于操作型的數(shù)據(jù)，并未進(jìn)行太多的抽象，這樣帶來(lái)的優(yōu)點(diǎn)是：1）我們可以有效減少ETL的復(fù)雜性2）提高了ETL的效率。也正因?yàn)锽aseDB是操作型數(shù)據(jù)，所以我們需要CubeDB層對(duì)基于統(tǒng)計(jì)的數(shù)據(jù)進(jìn)行抽象加工。2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹11數(shù)據(jù)平臺(tái)建設(shè)的幾點(diǎn)原則5、BaseDB保存集成的、經(jīng)過(guò)融合的數(shù)據(jù)平臺(tái)建設(shè)使用技術(shù)操作系統(tǒng)

數(shù)據(jù)庫(kù)ETL工具前端應(yīng)用調(diào)度方案

數(shù)據(jù)庫(kù)引擎WindowsServer2000，未來(lái)希望采用WindowsServer2003SQLServer2000，未來(lái)希望采用SQLServer2005DTS，屬于SQLServer2000自帶。JAVA和ASP、ASP.NET

由VB程序開(kāi)發(fā)的管理維護(hù)平臺(tái)實(shí)現(xiàn)對(duì)生產(chǎn)庫(kù)（INFORMIX）的訪問(wèn)使用ODBC引擎，應(yīng)用上采用JDBC或ADO引擎2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹12數(shù)據(jù)平臺(tái)建設(shè)使用技術(shù)操作系統(tǒng)數(shù)據(jù)庫(kù)ETL工具前端應(yīng)用調(diào)度方ODS表命名規(guī)則A類(lèi)表－保單類(lèi)表B類(lèi)表－收付費(fèi)類(lèi)表

C類(lèi)表－客戶(hù)類(lèi)表包括A01長(zhǎng)險(xiǎn)保單表，A04基金險(xiǎn)保單表，A05短險(xiǎn)保單表，A02基本要約表、A03子要約表、A11長(zhǎng)險(xiǎn)被保人表、A12基金險(xiǎn)被保人表、A13短險(xiǎn)被保人等表。主鍵合并包括B01實(shí)收表，B02實(shí)付表，B03應(yīng)收表，B04應(yīng)付表、B05帳戶(hù)表、B06財(cái)務(wù)應(yīng)收備份表、B07財(cái)務(wù)應(yīng)付備份表。主鍵合并包括C01客戶(hù)主表，C02個(gè)人客戶(hù)信息表、C03團(tuán)體客戶(hù)信息表、C04聯(lián)系方式關(guān)聯(lián)表、C05聯(lián)系方式列表。主鍵合并D類(lèi)表－保全類(lèi)表目前暫不抽取E類(lèi)表－理賠類(lèi)表包括：E01理賠申請(qǐng)表、E02賠付理算表、E03索賠被保人表。主鍵合并T類(lèi)表－AMIS類(lèi)表包括T01營(yíng)銷(xiāo)員基本信息表，T02營(yíng)銷(xiāo)員自然狀況表，T03傭金明細(xì)信息表，T11營(yíng)銷(xiāo)員流動(dòng)情況，T29代理人資格證，T50機(jī)構(gòu)定義表等H類(lèi)表匯總層的表命名L類(lèi)表、M類(lèi)表、N類(lèi)表留給省一級(jí)使用2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹13ODS表命名規(guī)則A類(lèi)表－保單類(lèi)表B類(lèi)表－收付費(fèi)類(lèi)表C類(lèi)表－BaseDB中的冗余字段BaseDB中許多表都設(shè)計(jì)了冗余字段，它主要作用是：1、減少表間關(guān)聯(lián)，提高匯總速度。2、降低不同業(yè)務(wù)系統(tǒng)之間的差異性。大部分冗余字段都采用雙向更新方式，以保證冗余字段的值不會(huì)被遺漏。2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹14BaseDB中的冗余字段BaseDB中許多表都設(shè)計(jì)了冗余字段A類(lèi)表的冗余字段許多信息在7版中存在，但8版中把保單信息分布在幾張表中，所以我們?cè)诔槿?版數(shù)據(jù)時(shí)，生成了相關(guān)字段的信息。原則如下：1、一對(duì)一的表，直接更新2、一對(duì)多的表，SUM更新或首條記錄更新2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹15A類(lèi)表的冗余字段許多信息在7版中存在，但8版中把保單信息分布B類(lèi)表的冗余字段B類(lèi)表的冗余字段，大部分是從保單表更新得到。但在8版中，由于生成保單的置后現(xiàn)象（即回執(zhí)問(wèn)題）。所以在未找到保單記錄的情況下，我們通過(guò)投保單信息（A31）與投保要約信息表（A32）來(lái)更新B類(lèi)表的相關(guān)字段。2023/10/8ODS數(shù)據(jù)服務(wù)平臺(tái)介紹16B類(lèi)表的冗余字段B類(lèi)表的冗余字段，大部分是從保單表更新得到。C類(lèi)表的處理當(dāng)生產(chǎn)系統(tǒng)切換到8版后，C類(lèi)表的處理如下：1、存量不再抽取7版Customer中的個(gè)人客戶(hù)，存量不再抽取7版的psn