數(shù)據(jù)平臺系統(tǒng)項(xiàng)目_技術(shù)方案

1、數(shù)據(jù)平臺項(xiàng)目第1章方案總述11.1 前言11.2 項(xiàng)目背景11.3 項(xiàng)目目標(biāo)11.4 項(xiàng)目建設(shè)原則2第2章系統(tǒng)建設(shè)規(guī)劃32.1 項(xiàng)目建設(shè)目標(biāo)的理解32.1.1 項(xiàng)目建設(shè)范圍32.1.2 項(xiàng)目建設(shè)內(nèi)容32.2 分行數(shù)據(jù)平臺的建設(shè)目標(biāo)42.2.1 分行數(shù)據(jù)平臺一期建設(shè)目標(biāo)42.2.2 分行數(shù)據(jù)平臺二期建設(shè)目標(biāo)5第3章整體設(shè)計方案53.1 系統(tǒng)設(shè)計方法論53.1.1 方法論53.1.2 設(shè)計原則63.2 數(shù)據(jù)平臺技術(shù)體系113.2.1 數(shù)據(jù)平臺邏輯架構(gòu)113.2.2 數(shù)據(jù)采集設(shè)計143.3 數(shù)據(jù)平臺數(shù)據(jù)體系193.3.1 數(shù)據(jù)架構(gòu)設(shè)計193.3.2 數(shù)據(jù)模型設(shè)計213.3.3 靈活查詢功能架構(gòu)293

2、.3.4 數(shù)據(jù)備份與恢復(fù)293.4 數(shù)據(jù)平臺應(yīng)用體系313.4.1 統(tǒng)一報表平臺313.4.2 數(shù)據(jù)圖表化展示823.5 數(shù)據(jù)平臺設(shè)計關(guān)鍵點(diǎn)903.5.1 數(shù)據(jù)平臺性能保障903.5.2 時間窗口983.5.3 備份策略993.5.4 數(shù)據(jù)模型的歷史數(shù)據(jù)存儲99355源系統(tǒng)變更影響分析101第4章軟件及推薦硬件設(shè)備配置方案1024.1 系統(tǒng)軟件方案1024.1.1 統(tǒng)一報表平臺103II / 152第1章方案總述1.1 前言我們衷心感謝貨行給予我們這樣一個很好的機(jī)會，可以為貴行的數(shù)據(jù)平臺建設(shè)提供技 術(shù)解決方案和項(xiàng)目實(shí)施方案的建議書，并通過我們的方案建議書為及其應(yīng)用系統(tǒng)的建設(shè)提供 幫助。我們期盼

3、與貴行共同努力，以我們在兄弟分行和其他銀行實(shí)施同類項(xiàng)目的經(jīng)驗(yàn)以及我 們使您的愿景變成現(xiàn)實(shí)的能力，為貴行IT建設(shè)增添一個新的里程碑，也為我們與貨行的真 誠合作啟動一個良好的開端。該項(xiàng)目除了可以用宇信易誠所具有的經(jīng)驗(yàn)和技術(shù)為貴行提供幫助外，我們認(rèn)為這也是 一個與貴行建立長期戰(zhàn)略合作關(guān)系的寶貴機(jī)會。我們?yōu)檫@個目標(biāo)所做出的努力正反映了這一 點(diǎn)，我們愿意建立一個靈活的商務(wù)策略,和服務(wù)質(zhì)量有競爭力的專家團(tuán)隊來滿足貴行的需要。1.2 項(xiàng)目背景隨著貴行業(yè)務(wù)的快速發(fā)展，信息系統(tǒng)不斷增多，業(yè)務(wù)數(shù)據(jù)量的規(guī)模也在急速膨脹。分行 數(shù)據(jù)整合平臺作為貴行的數(shù)據(jù)整合中心，需緊密銜接總行ODS、數(shù)據(jù)倉庠及分行特色系統(tǒng)、 并且需

4、考慮到貴行未來將要建設(shè)的系統(tǒng)的接入問題。根據(jù)貴行業(yè)務(wù)的拓展和條線管理的需 要，各業(yè)務(wù)部門對決策信息依賴程度不斷提高，經(jīng)常會有一些高靈活性、多變性、高及時性 的信息需求。貴行目前需要能夠滿足業(yè)務(wù)需求快速響應(yīng)的統(tǒng)一數(shù)據(jù)平臺，僅依靠傳統(tǒng)的數(shù)據(jù) 加工模式對源數(shù)據(jù)進(jìn)行抽取加工操作，由于業(yè)務(wù)口徑的不一致性、數(shù)據(jù)質(zhì)量低下、以及缺乏 良好的數(shù)據(jù)統(tǒng)計分析手段等問題導(dǎo)致分行范圍的決策分析成為難題，不能充分發(fā)揮業(yè)務(wù)積累 的相關(guān)數(shù)據(jù)的作用數(shù)據(jù)的及時性和準(zhǔn)確性難以保證，給管理和營銷增加了難度。本次數(shù)據(jù)報表平臺項(xiàng)目承擔(dān)了分行主要業(yè)務(wù)數(shù)據(jù)的集中和整合及報表應(yīng)用展示的功 能。通過數(shù)據(jù)平臺的建設(shè)，將為零售、公司、同業(yè)、績效、人

5、力資源、運(yùn)營等業(yè)務(wù)提供統(tǒng)一 準(zhǔn)確的數(shù)據(jù)支持，是貴行業(yè)務(wù)精細(xì)化管理能力的重要基礎(chǔ)類系統(tǒng)。數(shù)據(jù)平臺從中遠(yuǎn)期角度 來看，將成為貴行管理層/經(jīng)營層洞察經(jīng)營全貌、優(yōu)化經(jīng)營管控水平、推進(jìn)戰(zhàn)略決策效能、 支撐綜合運(yùn)營分析的數(shù)據(jù)分析平臺。通過數(shù)據(jù)的集中化、標(biāo)準(zhǔn)化管理，實(shí)現(xiàn)分行數(shù)據(jù)的信息 共享，構(gòu)建實(shí)現(xiàn)企業(yè)數(shù)據(jù)平分及相關(guān)的管理決策分析應(yīng)用。1.3 項(xiàng)目目標(biāo)費(fèi)行數(shù)據(jù)平臺建設(shè)項(xiàng)目是搭建一個對接總行ODS、數(shù)據(jù)倉庠、銜接分行特色業(yè)務(wù)的數(shù) 據(jù)平臺。從底層的數(shù)據(jù)平臺、DW到上層的BI （商業(yè)智能）展現(xiàn)，數(shù)據(jù)平臺在各交易系統(tǒng) 之間、交易系統(tǒng)和報表分析系統(tǒng)之間實(shí)現(xiàn)數(shù)據(jù)交換，通過數(shù)據(jù)的加工、整合實(shí)現(xiàn)報表統(tǒng)計和 分析。建立基礎(chǔ)數(shù)

6、據(jù)模型、ETL平臺、ETL管理調(diào)度平臺、確保數(shù)據(jù)采集完整、保證ETL 數(shù)據(jù)質(zhì)量、形成統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)為：1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分 行統(tǒng)一的數(shù)據(jù)視圖，建設(shè)成為貴行系統(tǒng)應(yīng)用的基礎(chǔ)數(shù)據(jù)平臺。2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺，在實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)平臺的基礎(chǔ)上實(shí)現(xiàn)統(tǒng)一報表平臺，為貨行 業(yè)務(wù)分析和經(jīng)驗(yàn)決策提供全而的支持。L4項(xiàng)目建設(shè)原則本次項(xiàng)目建設(shè)遵循的技術(shù)原則如下：數(shù)據(jù)平分的正確建立和合理利用將直接影響到貴行的未來信息化發(fā)展，貴行數(shù)據(jù)平臺建 設(shè)應(yīng)參考以下架構(gòu)原則，指導(dǎo)和規(guī)范未來的數(shù)據(jù)平臺信息化建設(shè)和管理，在項(xiàng)目方案中應(yīng)該 能夠體現(xiàn)以下原則：1 .數(shù)據(jù)集中原則

7、：將總行ODS、數(shù)據(jù)倉庫數(shù)據(jù)、分行特色數(shù)據(jù)和應(yīng)用統(tǒng)一進(jìn)行管理和運(yùn)維，保證資源的 高度利用以及通過相關(guān)的技術(shù)保證數(shù)據(jù)和應(yīng)用的絕對安全和穩(wěn)定。2 .數(shù)據(jù)標(biāo)準(zhǔn)分行統(tǒng)一原則：依據(jù)總行的數(shù)據(jù)字典，減少數(shù)據(jù)定義的二義性。未來分行特色應(yīng)用系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)是分 行數(shù)據(jù)結(jié)構(gòu)模型的子集。對分行級數(shù)據(jù)實(shí)行單點(diǎn)維護(hù)，確保分行級數(shù)據(jù)的可靠性和一致性。 3.數(shù)據(jù)管理分行統(tǒng)一原則：統(tǒng)一的存儲管理，統(tǒng)一規(guī)劃使用存儲資源，提高存儲資源使用效率。統(tǒng)一的性能管理， 根據(jù)實(shí)際業(yè)務(wù)需求，合理分配資源，確保對數(shù)據(jù)的訪問性能能夠滿足業(yè)務(wù)的需要。統(tǒng)一標(biāo)準(zhǔn) 的安全管理，提高數(shù)據(jù)訪問控制能力，降低關(guān)鍵業(yè)務(wù)數(shù)據(jù)的安全隱患。4 .降低數(shù)據(jù)冗余和數(shù)據(jù)復(fù)

8、制原則：減低分行級數(shù)據(jù)的冗余度，降低數(shù)據(jù)對存儲資源的需求。各業(yè)務(wù)系統(tǒng)根據(jù)自身業(yè)務(wù)處理 實(shí)際需求，確定對屬于其它系統(tǒng)數(shù)據(jù)的同步需求，制訂出相應(yīng)的數(shù)據(jù)復(fù)制同步策略并統(tǒng)一進(jìn)行實(shí)施。第2章系統(tǒng)建設(shè)規(guī)劃2.1項(xiàng)目建設(shè)目標(biāo)的理解數(shù)據(jù)平臺的建設(shè)對于貨行是一個非常重要的系統(tǒng)工程，承擔(dān)著貴行企業(yè)數(shù)據(jù)整合、數(shù) 據(jù)交換以及數(shù)據(jù)服務(wù)的重任，通過數(shù)據(jù)平臺的建設(shè)使得貴行將自身信息資產(chǎn)切實(shí)、有效的管 理起來，形成企業(yè)統(tǒng)一信息視圖，搭建企業(yè)數(shù)據(jù)治理的框架，并為統(tǒng)一報表系統(tǒng)提供有效的 數(shù)據(jù)支撐。2. 1.1項(xiàng)目建設(shè)范圍貴行數(shù)據(jù)平臺本期項(xiàng)目建設(shè)范圍，可以從涉及到的業(yè)務(wù)范闈、涵蓋到的組織范圍以及數(shù) 據(jù)平臺需要接入的源系統(tǒng)范闈三個角

9、度來分析。業(yè)務(wù)范圍本項(xiàng)目的業(yè)務(wù)范圍以費(fèi)行零售、公司業(yè)務(wù)條線為主，計財、績效、運(yùn)營等為輔。2.1.1. 2組織范圍本項(xiàng)目業(yè)務(wù)涵蓋的組織范圍為貴行及轄內(nèi)二級分行、支行。2.1.1. 3數(shù)據(jù)范圍本項(xiàng)目的源系統(tǒng)范圍包括目前貴行的主要業(yè)務(wù)系統(tǒng)，并需要滿足本期數(shù)據(jù)平臺主題應(yīng)用 的數(shù)據(jù)需求。2.1. 2項(xiàng)目建設(shè)內(nèi)容2.1. 2.1基礎(chǔ)數(shù)據(jù)平臺基礎(chǔ)數(shù)據(jù)平臺技術(shù)架構(gòu)搭建從總體上規(guī)劃企業(yè)級的基礎(chǔ)數(shù)據(jù)平臺，平臺將包含歷史數(shù)據(jù)存儲、基礎(chǔ)數(shù)據(jù)平臺、統(tǒng)一 報表平臺、自動調(diào)度監(jiān)控等內(nèi)容組成，數(shù)據(jù)平臺要采用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范；基礎(chǔ)數(shù)據(jù)平臺ETL監(jiān)控、調(diào)度功能，完成從原數(shù)據(jù)倉庫數(shù)據(jù)移植到新數(shù)據(jù)平臺的工作。ETL子

10、系統(tǒng)實(shí)現(xiàn)將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取至數(shù)據(jù)平臺，并進(jìn)行數(shù)據(jù)的清洗、轉(zhuǎn)化、加載 等操作，形成數(shù)據(jù)分析、決策所需的各種匯總數(shù)據(jù)模型、分析模型，最終形成各種報表、查 詢以及KPI指標(biāo)。ETL子系統(tǒng)實(shí)現(xiàn)自動化的數(shù)據(jù)抽取、數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)卸載、自 動化數(shù)據(jù)重新加載、加載錯誤自動處理、臟數(shù)據(jù)識別等功能?；A(chǔ)數(shù)據(jù)平臺數(shù)據(jù)補(bǔ)錄功能提供數(shù)據(jù)補(bǔ)錄平臺功能，包括補(bǔ)錄流程管理、補(bǔ)錄模版管理、單筆補(bǔ)錄、批量補(bǔ)錄 等。通過補(bǔ)錄平臺實(shí)現(xiàn)數(shù)據(jù)平臺無法自動獲取的具備分析價值的數(shù)據(jù)。本期基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)標(biāo)準(zhǔn)涵蓋以下工作內(nèi)容：接口標(biāo)準(zhǔn)：規(guī)范數(shù)據(jù)平分加載數(shù)據(jù)接口、卸出數(shù)據(jù)格式及校驗(yàn)標(biāo)準(zhǔn)公共代碼標(biāo)準(zhǔn)：參考總行ODS與數(shù)據(jù)倉庫標(biāo)準(zhǔn)與分

11、行特色數(shù)據(jù)標(biāo)準(zhǔn)：數(shù)據(jù)質(zhì)量管控數(shù)據(jù)質(zhì)量管控是一個長期的過程，依托于數(shù)據(jù)管控組織機(jī)構(gòu)、流程的建立和完善。數(shù)據(jù) 平分一期進(jìn)行數(shù)據(jù)質(zhì)量管控體系的初步探索，主要完成如下目標(biāo)：（1）、建立初步的數(shù)據(jù)質(zhì)量管理檢查規(guī)則，包括功能性和非功能性規(guī)則。功能性規(guī)則主 要包括：完整性、唯一性、合法性、準(zhǔn)確性等；非功能性主要包括信息的完整性、一致性、 業(yè)務(wù)稽核等：（2）、根據(jù)建立的初步檢查規(guī)則，進(jìn)行數(shù)據(jù)質(zhì)量的監(jiān)測，出具初步的數(shù)據(jù)質(zhì)量檢查報告;（3）、根據(jù)數(shù)據(jù)質(zhì)量檢查報告，提出數(shù)據(jù)質(zhì)量提升的解決方案。2.1. 2. 2分行級指標(biāo)體系借鑒與參考總行統(tǒng)一報表指標(biāo)體系成果，在此基礎(chǔ)上建立滿足分行口徑指標(biāo)體系，擴(kuò)展 分行指標(biāo)；滿足

12、業(yè)務(wù)日常固定報表使用的同時提供多樣化的報表展現(xiàn)界而，包括表格展現(xiàn), 各類圖形展現(xiàn)：要求界面友好，易用性強(qiáng)，并能夠提供具性化應(yīng)用風(fēng)格支持。1. 1. 2. 3統(tǒng)一報表平臺構(gòu)建統(tǒng)一報表平臺，實(shí)現(xiàn)分行業(yè)務(wù)應(yīng)用報表的集中化管理、一體化服務(wù)；具有報表定制、 管理、維護(hù)功能：構(gòu)建分行用戶及權(quán)限管理體系，支撐分行業(yè)務(wù)用戶報表應(yīng)用需求。能夠快 速響應(yīng)各級業(yè)務(wù)應(yīng)用人員的報表需求，滿足報表批量分類存檔的需要。2. 2分行數(shù)據(jù)平臺的建設(shè)目標(biāo)3. 2.1分行數(shù)據(jù)平臺一期建設(shè)目標(biāo)基于對貴行系統(tǒng)現(xiàn)狀的了解，貴行數(shù)據(jù)平臺一期的建設(shè)目標(biāo)是：1、構(gòu)建統(tǒng)一的、層次合理的、靈活的企業(yè)級數(shù)據(jù)模型，整合各業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分 行統(tǒng)一的

13、數(shù)據(jù)視圖，建設(shè)成為賢行數(shù)據(jù)集中管理和應(yīng)用的基礎(chǔ)數(shù)據(jù)平臺。2、建設(shè)統(tǒng)一數(shù)據(jù)應(yīng)用平臺，在實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)平臺的基礎(chǔ)上實(shí)現(xiàn)統(tǒng)一報表平臺，為貴 行業(yè)務(wù)分析和經(jīng)驗(yàn)決策提供全面的支持。3、集成現(xiàn)有對公、零售主要系統(tǒng)業(yè)務(wù)固定報表，支撐業(yè)務(wù)數(shù)據(jù)使用需求。4、指標(biāo)數(shù)據(jù)按照圖表樣式進(jìn)行區(qū)間查詢展示數(shù)據(jù)趨向，波動.5、將分行原指標(biāo)體系按照新指標(biāo)體系進(jìn)行平移：2. 2. 2分行數(shù)據(jù)平臺二期建設(shè)目標(biāo)鑒于一期建設(shè)主要是搭建主體平臺，二期的信息化建設(shè)目標(biāo)是繼續(xù)完善平臺，豐富平 臺應(yīng)用效果，全而覆蓋現(xiàn)有舊綜合平臺，將重要數(shù)據(jù)遷移。具體目標(biāo)如下：二期項(xiàng)目中可以集成計財、運(yùn)營、人力資源等系統(tǒng)報表；支持?jǐn)?shù)據(jù)圖表展示、SQL查詢等個性化

14、查詢需求：將更多的管理應(yīng)用系統(tǒng)的數(shù)據(jù)源遷移至數(shù)據(jù)平臺；建立并推廣一套完整的需求與技術(shù)落地標(biāo)準(zhǔn)與體系?？梢灶A(yù)見，隨著數(shù)據(jù)平臺的不斷成熟，業(yè)務(wù)部門對數(shù)據(jù)平臺的認(rèn)知不斷提高，會有源 源不斷的需求基于數(shù)據(jù)平臺提出，這種變化將使得數(shù)據(jù)平臺由前期技術(shù)部門“推”轉(zhuǎn)變?yōu)闃I(yè) 務(wù)部門的“拉”，讓業(yè)務(wù)需求作為數(shù)據(jù)平臺持續(xù)良好發(fā)展的源動力。第3章整體設(shè)計方案3. 1系統(tǒng)設(shè)計方法論3. 1.1方法論數(shù)據(jù)平臺的項(xiàng)目是一個長期的循序漸進(jìn)的過程，也是一個不斷創(chuàng)新、修復(fù)、完善的過程, 其伴隨著應(yīng)用系統(tǒng)的發(fā)展而發(fā)展。根據(jù)貴行的業(yè)務(wù)特點(diǎn)以及企業(yè)系統(tǒng)建設(shè)的現(xiàn)狀和未來發(fā)展 藍(lán)圖，致力打造一個可擴(kuò)展的、高可用性的、安全的、高效的、跨部門

15、的可以快速處理海量 數(shù)據(jù)的數(shù)據(jù)平臺。在貴行數(shù)據(jù)平臺建設(shè)方面依據(jù)可重用性、安全性、高可用性、可管理性、可擴(kuò)展性、 高性能的設(shè)計原則采取總體規(guī)劃，分層實(shí)現(xiàn)的方式?？v向?qū)用孀陨隙驴?，貴行數(shù)據(jù)平臺 的架構(gòu)由邏輯（應(yīng)用）架構(gòu)、數(shù)據(jù)架構(gòu)、技術(shù)架構(gòu)和物理架構(gòu)四個層次組成，每個層次內(nèi)部 又根據(jù)設(shè)計需要進(jìn)行抽象分層，從而形成立體的貴行數(shù)據(jù)平臺項(xiàng)目架構(gòu)方法。邏輯（應(yīng)用）架構(gòu)是貴行數(shù)據(jù)平臺項(xiàng)目承載的應(yīng)用體系，它描述了貴行數(shù)據(jù)平臺項(xiàng)目 所要實(shí)現(xiàn)的應(yīng)用需求，以及支撐這些應(yīng)用需求所必須的公共模塊，如調(diào)度、監(jiān)控和元數(shù)據(jù) 管理等工具組件。數(shù)據(jù)架構(gòu)承載了支撐應(yīng)用架構(gòu)所必須的業(yè)務(wù)實(shí)體關(guān)系的分布，它通過數(shù)據(jù)模型的方式 進(jìn)行組織，

16、主要分為緩沖數(shù)據(jù)層(ODS)、基礎(chǔ)數(shù)據(jù)層(FDM)、加工匯總層(ADM)和數(shù)據(jù)集市 層(MDM)等四個層次。技術(shù)架構(gòu)是用于支撐貨行數(shù)據(jù)平臺的數(shù)據(jù)分布和流動的技術(shù)框架，用到的技術(shù)有數(shù)據(jù) 庫技術(shù)、數(shù)據(jù)平臺技術(shù)、ETL技術(shù)、多維計算技術(shù)、數(shù)據(jù)展現(xiàn)技術(shù)等。作為最底層的物理架構(gòu)，是對貴行數(shù)據(jù)平臺物理設(shè)備和網(wǎng)絡(luò)的合理規(guī)劃部署，它通過 有效地利用硬件和網(wǎng)絡(luò)，并能夠添加硬件設(shè)備進(jìn)行擴(kuò)展為上層架構(gòu)(技術(shù)架構(gòu)、數(shù)據(jù)架構(gòu)、 邏輯架構(gòu))提供支撐能力。貴行數(shù)據(jù)平臺架構(gòu)方法立體視圖4. 1. 2設(shè)計原則根據(jù)貴行數(shù)據(jù)平臺提出的系統(tǒng)建議的總體原則，總結(jié)我們在多家金融機(jī)構(gòu)建設(shè)數(shù)據(jù)平 分經(jīng)驗(yàn)，貴行數(shù)據(jù)平臺的設(shè)計原則體現(xiàn)如下原則：

17、標(biāo)準(zhǔn)規(guī)范，可擴(kuò)展，開放，前瞻，高性能, 穩(wěn)定，安全，易維護(hù)，實(shí)用，可管理，高可用，可重用。系統(tǒng)設(shè)計原則4.1. 2.1標(biāo)準(zhǔn)規(guī)范建立標(biāo)準(zhǔn)的ETL開發(fā)流程，制定符合貴行數(shù)據(jù)平臺的代碼標(biāo)準(zhǔn)化統(tǒng)一規(guī)范，設(shè)計應(yīng)對 有高效數(shù)據(jù)處理要求及日常低能耗操作的兼容性數(shù)據(jù)模型，建設(shè)符合貴行數(shù)據(jù)平臺遠(yuǎn)景目標(biāo) 利益的技術(shù)管理體系。1. 數(shù)據(jù)模型：制定表名、字段名命名規(guī)范標(biāo)準(zhǔn)。設(shè)計基礎(chǔ)標(biāo)準(zhǔn)模型及基于基礎(chǔ)數(shù)據(jù) 模型之上的未來建設(shè)的應(yīng)用系統(tǒng)的模型標(biāo)準(zhǔn)。建立數(shù)據(jù)質(zhì)量管理機(jī)制，提高貴行數(shù) 據(jù)平臺的數(shù)據(jù)質(zhì)量，也是數(shù)據(jù)平臺邁向標(biāo)準(zhǔn)化規(guī)范化管理的重要環(huán)行。2. ETL處理：將ETL處理程序分類化，整理規(guī)范出各種ETL處理策略。確保ET

18、L開發(fā) 人員所開發(fā)的ETL程序遵循中信總行的規(guī)范。3. ETL管理：建設(shè)ETL管理平臺，將其納入貴行的ETL管理體系，形成有貴行特色的 ETL管理制度。3.1. 2. 2開放性系統(tǒng)建設(shè)遵循開放原則，適應(yīng)未來業(yè)務(wù)和技術(shù)發(fā)展，與現(xiàn)有系統(tǒng)進(jìn)行有序的數(shù)據(jù)交互。7 / 152高性能是指在硬件資源有限的情況下，數(shù)據(jù)平臺應(yīng)盡可能的支持盡量多的數(shù)據(jù)服務(wù)需 求，還能承受用戶峰值時間段壓力，使得數(shù)據(jù)平臺能夠滿足分行范圍內(nèi)的使用者。在本項(xiàng)目 中，高性能的設(shè)計主要體現(xiàn)在以下幾個方面：1 . ETL處理：在進(jìn)行ETL設(shè)計時，需要考慮大數(shù)據(jù)量條件下的處理效率，確保在規(guī)定 的時間窗口內(nèi)完成ETL處理，特別是一些特殊日期的E

19、TL處理，例如結(jié)息日、月底 等。2 .數(shù)據(jù)交換平臺：需要考慮在大數(shù)據(jù)量條件下的文件傳輸效率，主要也是體現(xiàn)在一 些特殊日期條件下的文件傳輸，以及特殊情況下的全量文件傳輸。3 .數(shù)據(jù)庫設(shè)計：對一些海量數(shù)據(jù)表或頻繁訪問的數(shù)據(jù)表，在數(shù)據(jù)庫設(shè)計的時候需要 從數(shù)據(jù)庫設(shè)計的角度考慮性能優(yōu)化機(jī)制。3.1. 2. 5可管理性這里所說的可管理性主要是指系統(tǒng)運(yùn)維的可管理性。比如：在實(shí)際運(yùn)行過程中，系統(tǒng) 能很方便地對系統(tǒng)的運(yùn)行狀態(tài)進(jìn)行監(jiān)控，查看數(shù)據(jù)質(zhì)量情況；出現(xiàn)系統(tǒng)異常時，能及時收到 消息通知，并有一套完善的流程來處理數(shù)據(jù)或系統(tǒng)方面的異常等等。在本項(xiàng)目中，可管理性 的設(shè)計具體表現(xiàn)在以下幾個方而：1 . ETL處理：在

20、ETL的總體設(shè)計時，確保系統(tǒng)可以監(jiān)控全過程的運(yùn)行狀態(tài)，并能對異 常情況及時提醒，保存完整的處理日志信息，并設(shè)計相應(yīng)的錯誤處理流程。另 外，還需要考慮ETL任務(wù)配置的直觀圖形化。2 .數(shù)據(jù)管控：在總體設(shè)計時，應(yīng)充分考慮數(shù)據(jù)的復(fù)雜性，必須能做到多而不亂，能 夠清楚了解系統(tǒng)每一個應(yīng)用的轉(zhuǎn)換邏輯和數(shù)據(jù)含義，在任何環(huán)節(jié)有變動時，能迅 速的反饋?zhàn)儎赢a(chǎn)生的影響。3 .數(shù)據(jù)交換平臺：在總體設(shè)計時，需要充分考慮數(shù)據(jù)交換任務(wù)易于配置，傳輸結(jié)果 易于監(jiān)控。3.1.2. 6高可用性高可用性是指系統(tǒng)在一些特殊情況發(fā)生時，依靠架構(gòu)的有效設(shè)計，仍然能保證正常運(yùn) 行。在本項(xiàng)目中，高可用性的設(shè)計主要體現(xiàn)在以下幾個方而：1 .數(shù)

21、據(jù)模型的可用性：模型的設(shè)計應(yīng)能屏蔽證券業(yè)務(wù)源系統(tǒng)結(jié)構(gòu)的變化對數(shù)據(jù)平分 集成平分和將在其上建設(shè)的分析應(yīng)用系統(tǒng)帶來影響。局部數(shù)據(jù)模型的擴(kuò)展不會對 其它數(shù)據(jù)模型產(chǎn)生大的影響。2 . ETL處理的可用性：應(yīng)充分考慮各源系統(tǒng)的時間窗口可能存在不一致的情況，避 免出現(xiàn)一個系統(tǒng)的數(shù)據(jù)時間窗口沒有滿足條件，影響到其它所有系統(tǒng)的ETL處 理。3 .系統(tǒng)備份：當(dāng)正在運(yùn)行的系統(tǒng)出現(xiàn)異常時，系統(tǒng)應(yīng)具備相應(yīng)的備份恢復(fù)機(jī)制，確 保系統(tǒng)能及時恢復(fù)處理。4 .各個功能模塊設(shè)計時應(yīng)考慮自己的運(yùn)行管理流程。3.1. 2.7安全性在本項(xiàng)目中，安全性主要包括兩個層面的含義：一是防止數(shù)據(jù)服務(wù)體系的數(shù)據(jù)資源被 惡意修改和盜??；二是防止數(shù)

22、據(jù)在傳輸過程中被截留和篡改。在本項(xiàng)目中，安全性的設(shè)計具 體體現(xiàn)在以下方面：1 .對于第一個層面的安全性，主要依賴于各應(yīng)用系統(tǒng)對用戶角色和功能權(quán)限的控 制。因此，在編寫基于數(shù)據(jù)服務(wù)體系的應(yīng)用系統(tǒng)設(shè)計開發(fā)規(guī)范時，應(yīng)明確要求應(yīng) 用系統(tǒng)必須充分考慮安全性的設(shè)計。若貴行建設(shè)有面向管理系統(tǒng)的統(tǒng)一用戶認(rèn)證 平臺(UA),可以考慮通過UA來管理用戶權(quán)限。對于數(shù)據(jù)范圍方面的安全控制要求，在梳理出貴行數(shù)據(jù)平臺應(yīng)用需求與目標(biāo)用戶權(quán) 限關(guān)系之后，通過在程序中對數(shù)據(jù)進(jìn)行過濾，用戶無法涉及其權(quán)限范圍以外的數(shù)據(jù)、 以確保數(shù)據(jù)范圍的安全。數(shù)據(jù)過濾程序可抽象為一個準(zhǔn)確、高效、易管理維護(hù)的過 濾器。2 .對于第二個層而的安全性，

23、主要依賴于文件傳輸過程中的加解密處理。因此，數(shù) 據(jù)交換平臺在進(jìn)行總體設(shè)計的時候需要充分考慮數(shù)據(jù)傳輸過程中的安全性。3 .此外，系統(tǒng)在進(jìn)行網(wǎng)絡(luò)規(guī)劃時，對系統(tǒng)的安全級別也需要進(jìn)行分析，必要時需要 提高網(wǎng)絡(luò)的安全級別，從物理設(shè)計層面提高系統(tǒng)的安全性。3.1.2. 8可重用性可重用性是指盡可能避免賢行數(shù)據(jù)服務(wù)體系建設(shè)的重復(fù)投入，應(yīng)盡可能考慮包括物理 設(shè)備、系統(tǒng)軟件、框架組件、規(guī)范方法以及業(yè)務(wù)應(yīng)用等多個層面上的復(fù)用。在本項(xiàng)目中，可 重用性的設(shè)計具體表現(xiàn)在以下幾個方面：1 . ETL功能組件：在設(shè)計ETL任務(wù)處理流程時，要分析ETL任務(wù)的各個環(huán)節(jié)，盡可能 找出一些公用的ETL組件，進(jìn)行必要的封裝，便于在模

24、塊內(nèi)復(fù)用，進(jìn)而推廣到項(xiàng) 目內(nèi)進(jìn)行復(fù)用。2 .數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型：在設(shè)計數(shù)據(jù)預(yù)處理層的數(shù)據(jù)模型時，應(yīng)充分考慮應(yīng)用 系統(tǒng)的數(shù)據(jù)加工需求，盡可能將一些共性的加工需求在該層實(shí)現(xiàn)：并通過這種機(jī) 制，不斷擴(kuò)充和完善改成的數(shù)據(jù)模型，實(shí)現(xiàn)加工數(shù)據(jù)的復(fù)用。3 .知識庫的復(fù)用：在ETL管理平臺中，應(yīng)充分考慮知識庫的管理和使用流程，以便 運(yùn)維人員和業(yè)務(wù)人員復(fù)用知識庫的經(jīng)驗(yàn)，來解決和處理一些日常的問題。4 .組件復(fù)用：各模塊在開發(fā)的過程中，注意提煉出一些可用共用的公共組件，在模 塊內(nèi)實(shí)現(xiàn)復(fù)用，甚至在模塊間實(shí)現(xiàn)復(fù)用。5 .硬件部署：在進(jìn)行硬件部署的規(guī)劃時，應(yīng)充分對系統(tǒng)的處理規(guī)模進(jìn)行分析。如果 性能允許的話，盡可能集

25、中部署，使用現(xiàn)有設(shè)備，在硬件方面實(shí)現(xiàn)復(fù)用。3.2W據(jù)平臺技術(shù)體系24 / 1523. 2.1數(shù)據(jù)平臺邏輯架構(gòu)貴行數(shù)據(jù)平臺邏輯架構(gòu)圖上圖為宇信易誠對貴行數(shù)據(jù)平臺的邏輯架構(gòu)建議設(shè)計圖。從邏輯架構(gòu)上看，數(shù)據(jù)平臺 主要分為下面幾個部分：3. 2.1. 1數(shù)據(jù)集成區(qū)數(shù)據(jù)集成區(qū)為總行區(qū)域，分行只需要提出對應(yīng)接口需求，由數(shù)據(jù)集成區(qū)下發(fā)至分行， 目前的范闈包含了總行ODS、數(shù)據(jù)倉庫。3. 2. 1.2分行分析型數(shù)據(jù)區(qū)分行分析型數(shù)據(jù)區(qū)包含報表數(shù)據(jù)區(qū)、應(yīng)用服務(wù)區(qū)及訪問層區(qū)：報表數(shù)據(jù)區(qū)將總行數(shù)倉、ODS數(shù)據(jù)經(jīng)分發(fā)平臺下發(fā)至分行數(shù)據(jù)進(jìn)行整合，選用宇信易 誠的YC.LDM作為參考模型，建立數(shù)據(jù)緩沖層、基礎(chǔ)整合層、共性加

26、工層、應(yīng)用集市層。 其中基礎(chǔ)整合層模型是用來統(tǒng)一存儲整合企業(yè)所有源系統(tǒng)的業(yè)務(wù)數(shù)據(jù)：共性加工層數(shù)據(jù)模型 主要是用來存儲一些共性數(shù)據(jù)指標(biāo)，為各應(yīng)用系統(tǒng)提供共同的基礎(chǔ)數(shù)據(jù)預(yù)處理，提高數(shù)據(jù)共 享程度和數(shù)據(jù)使用效率。應(yīng)用服務(wù)區(qū)按照報表類別及指標(biāo)作用劃分為固定報表、即席報表、OLAP、儀表盤等， 滿足業(yè)務(wù)報表需求。訪問層主要對用戶角色、操作權(quán)限進(jìn)行管理：3. 2.1.3管理平臺區(qū)管理平臺區(qū)包括任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量三大模塊。分行需要建設(shè)自身的調(diào)度平 臺。可以采用總行統(tǒng)一調(diào)度平臺ETLPLUS或宇信公司USE調(diào)度產(chǎn)產(chǎn)品，實(shí)現(xiàn)對作業(yè)調(diào)度、 監(jiān)控和配制管理，支持各類ETL JOB的調(diào)度，能夠與主流ETL工具

27、集成，支持對調(diào)度策略、執(zhí)行過程、錯誤日志的實(shí)時監(jiān)控。此外ETL管理平臺支持文件到達(dá)監(jiān)控，ETL集群部署與 集群調(diào)度以及針對各個服務(wù)器資源的運(yùn)行情況監(jiān)控。元數(shù)據(jù)及數(shù)據(jù)質(zhì)量使用總行元數(shù)據(jù)及數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，本期暫不考慮分行自建,3. 2. L 4統(tǒng)一報表展現(xiàn)平臺統(tǒng)一報表展現(xiàn)平臺（報表平臺）是本期基于數(shù)據(jù)平臺之上建立的一個報表系統(tǒng)，實(shí)現(xiàn) 對報表的統(tǒng)一管理以及統(tǒng)一展現(xiàn)服務(wù)，向用戶展現(xiàn)數(shù)據(jù)平臺數(shù)據(jù)整合的成果。報表平臺在功 能上需要具備系統(tǒng)管理、報表管理、報表展現(xiàn)（業(yè)務(wù)報表需求）、BI工具集成，報表目錄與 分類，靈活查詢以及報表統(tǒng)計等功能。通過BI工具開發(fā)的報表能夠被報表展現(xiàn)平臺無縫集 成并且以最方便、最直觀

28、的方式提供給報表的使用者。在本次貴行數(shù)據(jù)平臺建設(shè)中，圖表展 示、SQL靈活查詢均將作為一類特殊的報表系統(tǒng)的應(yīng)用。由統(tǒng)一報表展現(xiàn)平臺完成功能集 成與發(fā)布，向用戶提供統(tǒng)一的訪問入口以及應(yīng)用體驗(yàn)。3. 2.1. 5 ETL設(shè)計關(guān)鍵技術(shù)點(diǎn)說明3. 2.1. 5.1.1 ETL 處理策略原則上因機(jī)構(gòu)撤并造成的新增賬戶仍以新增帳戶處理，賬戶間的關(guān)系通過機(jī)構(gòu)拆并表進(jìn) 行對應(yīng)。如果有臟數(shù)據(jù)，依據(jù)數(shù)據(jù)情況另行處理。賬戶主檔表的處理：新增賬戶直接插入拉鏈表的處理：關(guān)閉老賬戶,以銷戶方式處理：新增賬戶直接插入。3. 2. 1. 5.1. 2 ETL 處理流程源系統(tǒng)數(shù)據(jù)中心位鏈表Close/lnsert產(chǎn)生機(jī)樹拆并對

29、照，機(jī)構(gòu) 拆并對用機(jī)構(gòu)撤并ETL處理流程3. 2. 1. 5. 2質(zhì)量檢核3. 2.1. 5. 2.1 ETL 處理原則質(zhì)量檢核是數(shù)據(jù)準(zhǔn)確性的外部保證，應(yīng)盡量提供檢核處理檢核處理不能對ETL處理有較大性能上的影響檢核處理不能對時間窗口壓力過大4. 2. 1. 5. 2. 2 ETL 處理方法檢核作業(yè)與該表的數(shù)據(jù)處理作業(yè)封裝在同一個作業(yè)組中5. 2. 2數(shù)據(jù)采集設(shè)計在數(shù)據(jù)平臺架構(gòu)中，數(shù)據(jù)采集平臺的設(shè)計主要體現(xiàn)在T+1數(shù)據(jù)采集區(qū)技術(shù)架構(gòu)、數(shù)據(jù) 補(bǔ)錄、數(shù)據(jù)處理平臺三個方而的設(shè)計。數(shù)據(jù)采集模式6. 2. 2.1 T+1數(shù)據(jù)采集T+1數(shù)據(jù)采集的主要功能需要從源系統(tǒng)中采集數(shù)據(jù)到數(shù)據(jù)集成平臺的源系統(tǒng)數(shù)據(jù)文件

30、 落地區(qū)。通用的數(shù)據(jù)采集方法如下：1 .自行開發(fā)通用的數(shù)據(jù)下載平分，將源系統(tǒng)生產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū)。這種模式常 用于核心系統(tǒng)增量數(shù)據(jù)采集。通過該模式基本上能按需要來定制開發(fā)數(shù)據(jù)采集程 序，靈活性大，效率也較高，同時還可以集成增量比對、亂碼校驗(yàn)及修正、壓縮打 包、拆分并發(fā)處理、傳輸處理等功能，是一個務(wù)實(shí)的做法。但該模式也存在一個致 命的問題，那就是如何確定增量數(shù)據(jù)的問題？如果通過數(shù)據(jù)庫日志來獲取，難度很 大，而且也并不一定可行：如果通過數(shù)據(jù)庫結(jié)構(gòu)的某個字段來識別，這完全取決于 源系統(tǒng)最初設(shè)計時是否考慮了增量備份的需求：不幸的是，大多數(shù)情況下，并沒有 考慮。于是，不得不采用先全量下載的方式，然后

31、傳送到數(shù)據(jù)采集區(qū)，再通過數(shù)據(jù) 采集區(qū)來實(shí)現(xiàn)增量對比。在這種模式下，全量數(shù)據(jù)的傳輸無疑又是一個新的問題。 事實(shí)上，這也正是大部分?jǐn)?shù)據(jù)平臺目前而臨的實(shí)際問題。2 .由源系統(tǒng)本身開發(fā)數(shù)據(jù)下載腳本，在本地生成數(shù)據(jù)，然后通過文件傳輸工具發(fā)送到 數(shù)據(jù)采集區(qū)。這種模式常用于核心系統(tǒng)以外的其他源系統(tǒng)數(shù)據(jù)采集，這主要是考慮 其他源系統(tǒng)的數(shù)據(jù)采集量不大，而且各源系統(tǒng)架構(gòu)多樣化，不適宜采用通用的數(shù)據(jù) 下載工具。這種模式是一種主動采集模式。上述兩種數(shù)據(jù)采集模式，均各有特點(diǎn)，鑒于總行下發(fā)數(shù)據(jù)都是采集過的，分行只需要 將特色系統(tǒng)數(shù)據(jù)定時FTP下發(fā)即可。T+1數(shù)據(jù)采集除了考慮上述采集技術(shù)外，還應(yīng)該設(shè)計T+1數(shù)據(jù)采集區(qū)的存儲

32、方式。分 行數(shù)據(jù)平臺僅需按一定的規(guī)則存儲不同來源基礎(chǔ)數(shù)據(jù)。通常的做法是，數(shù)據(jù)采集區(qū)的數(shù)據(jù)以 文件的方式保存，不用加載到數(shù)據(jù)庫。這些數(shù)據(jù)文件的保存周期大約為7天左右，最長不應(yīng) 超過一個數(shù)據(jù)糾錯周期。3. 2. 2. 2數(shù)據(jù)補(bǔ)錄數(shù)據(jù)補(bǔ)錄是為了彌補(bǔ)數(shù)據(jù)源缺失或者業(yè)務(wù)系統(tǒng)建設(shè)不完善的情況而設(shè)置特殊采集模 式。在本方案中數(shù)據(jù)補(bǔ)錄功能采用宇信易誠開發(fā)的產(chǎn)品（YC.RIDP）來實(shí)現(xiàn)。數(shù)據(jù)補(bǔ)錄模塊的提供是針對不同業(yè)務(wù)數(shù)據(jù)庫的通用數(shù)據(jù)錄入工具，包括頁面錄入和模 板錄入以及數(shù)據(jù)入庫的審批流程。支持對錄入數(shù)據(jù)的事件處理（如新增前進(jìn)行有效性數(shù)據(jù)檢 查、新增后進(jìn)行數(shù)據(jù)平衡校驗(yàn)等，使用檢核規(guī)則來實(shí)現(xiàn)）。數(shù)據(jù)補(bǔ)錄工具服務(wù)于

33、各部門、各機(jī)構(gòu)的數(shù)據(jù)錄入人員。該模塊使用到“數(shù)據(jù)集管理” 功能。3. 2. 2. 2. 1檢核規(guī)則管理檢核規(guī)則有兩種類型：存儲過程、正則表達(dá)式，是用于對錄入數(shù)據(jù)進(jìn)行合法性檢核而 定義的規(guī)則。存儲過程類型的檢核規(guī)則必須要有輸入?yún)?shù)和輸出字段，其中輸入?yún)?shù)得到需 要檢核的數(shù)據(jù)的值，輸出參數(shù)返回檢核結(jié)果的標(biāo)志位。管理員建立錄入任務(wù)的時候，可以在檢核規(guī)則設(shè)置界面設(shè)置錄入的數(shù)據(jù)所對應(yīng)的檢核 規(guī)則，可以設(shè)置數(shù)據(jù)入庫前、入庫后、修改前、修改后等各種檢核規(guī)則。檢核規(guī)則管理古由I至找朧監(jiān)修劃U中文名稱費(fèi)作length告值欄位正口樂際英1差記果覽次：1/12S 110 叁很 狗到第1 頁 GO用改檢核規(guī)則管理3.

34、 2. 2. 2. 2錄入任務(wù)管理錄入任務(wù)是對一項(xiàng)錄入工作的總體安排，包括錄入的目標(biāo)表、操作控制信息、使用的 檢核規(guī)則、批量錄入模板的管理和權(quán)限控制等一系列內(nèi)容。1 .目標(biāo)表：錄入的數(shù)據(jù)將被保存到這個表中，目標(biāo)表也是一個數(shù)據(jù)集。2 .操作控制信息：控制錄入任務(wù)是否可以被新增、修改、刪除。3 .檢核規(guī)則：用于對錄入數(shù)據(jù)進(jìn)行檢核，可設(shè)置在入庫前、入庫后、修改前、修改 后、任務(wù)分發(fā)前、任務(wù)分發(fā)后等時間點(diǎn)觸發(fā)檢核過程。4 .批量錄入模板：用于批量導(dǎo)入數(shù)據(jù)。5 .權(quán)限管理：設(shè)置錄入任務(wù)的可見機(jī)構(gòu)，用于控制權(quán)限。錄入任務(wù)建立并且分發(fā)完畢后，管理員可通過“權(quán)限管理”菜單下的“權(quán)限對照設(shè)置” 子菜單，來修改錄

35、入任務(wù)的操作權(quán)限。宇信易誠 yjcrr F8機(jī)構(gòu):字信導(dǎo)說I *ftS：nd9 |比位;東姓甘龍0. |聶很因同：20囪09：33«9 I退出家收錄入任務(wù)管理3. 2. 2. 2. 3數(shù)據(jù)錄入錄入任務(wù)定義好之后，用戶可以在此界而進(jìn)行具體數(shù)據(jù)的錄入°數(shù)據(jù)錄入及入5多：為據(jù)及人選FfExT模板：|話法界下或上傳ID5SVALUESCORELOCATIONNOTES詔定 取用數(shù)據(jù)錄入用戶也可以下載批量錄入模板，按模板樣式填好數(shù)據(jù)之后，可以將批量錄入文件上傳 至服務(wù)器并導(dǎo)入文件中的數(shù)據(jù)。Al & b4-H<3ABc0EFGH1 1 JkLMN0T11 Bi K402做

36、一靈人3IDAPPIDIDSSVALUESCOREL0CAT1O NNOTESc3d567e910ii121314in16二專注粽，O-Wtt. 1-的改、2-1718192021回 囪E3261=V . 1<< > H " HF A. /> J批量錄入模板如果管理員將錄入任務(wù)定義成不需要審批的狀態(tài)，那么錄入員將數(shù)據(jù)寫入臨時數(shù)據(jù)后, 就可以直接將它們提交入庫。3. 2. 2. 2. 4查詢操作用戶可查詢錄入任務(wù)的正式數(shù)據(jù)和臨時數(shù)據(jù)?？蓪︿浫肴蝿?wù)的各個查詢字段輸入條件 來篩選數(shù)據(jù)，數(shù)據(jù)錄入VALUESCORE五：啦受幽鋰，«期射18力®曬表中

37、繳屆正式掰8刀用戶或錄人的目存表中角或好）其M案伴錄入日期0-當(dāng)刑狀態(tài) 等決更 v|m定期洎錄入查詢查詢臨時數(shù)據(jù)時，還可以對“未提交”或者“不通過”的數(shù)據(jù)進(jìn)行審批操作。3. 2. 2. 2. 5錄入任務(wù)審批用于對用戶錄入的臨時表數(shù)據(jù)進(jìn)行審核及入庫操作。用戶錄入的數(shù)據(jù)存放在臨時表中，需要對臨時表數(shù)據(jù)審核之后，才可以正式入庫，數(shù)據(jù)錄入名林以幗承入行05 100000000優(yōu)市日期2008-03-14|新增WID APPID(OSSWALU6SCORELOCATIONNOTES蛟作共陳記設(shè)或次：U1 10 條依杼勒C 1 頁 ET | 一0'1-7 U，一方 宜躍近回 1S5EaU錄入審批3

38、.3數(shù)據(jù)平臺數(shù)據(jù)體系3. 3.1數(shù)據(jù)架構(gòu)設(shè)計數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)上可分為以下層次: 源系統(tǒng)數(shù)據(jù)落區(qū) 緩沖數(shù)據(jù)層(數(shù)據(jù)平臺-ODM) 基礎(chǔ)整合層(FDM) 共性加工層(ADM) 數(shù)據(jù)集市.層(MDM)3. 3.1.1源系統(tǒng)數(shù)據(jù)落地區(qū)貴行數(shù)據(jù)平臺的數(shù)據(jù)來源將囊括總行下發(fā)數(shù)據(jù)、費(fèi)行主要系統(tǒng)模塊，包括公司、零售、 同業(yè)、績效、運(yùn)營、人力資源多個子模塊等。數(shù)據(jù)平臺每日將總行的增量數(shù)據(jù)將首先以文件 形式落地在源系統(tǒng)數(shù)據(jù)洛地區(qū)內(nèi)，每日的數(shù)據(jù)文件以系統(tǒng)+日期的形式存儲在特定的文件目 錄內(nèi)，之后由數(shù)據(jù)平臺的數(shù)據(jù)加載程序完成從文件向數(shù)據(jù)庫貼源區(qū)裝載的過程。源系統(tǒng)數(shù)據(jù) 落地區(qū)的文件需要保留一定的糾錯周期

39、，一般保留周期為1周1個月。3. 3.1. 2緩沖數(shù)據(jù)層（ODM）該層本質(zhì)上是業(yè)務(wù)系統(tǒng)、總行下發(fā)數(shù)據(jù)與數(shù)據(jù)平臺之間的中間緩存層次，有以下特點(diǎn): 對接總行ODS、倉庫下發(fā)的主題及匯總數(shù)據(jù) 基于分行特色業(yè)務(wù)系統(tǒng)的整理和分析，按照業(yè)務(wù)流程進(jìn)行梳理，對關(guān)鍵業(yè)務(wù) 及相關(guān)信息進(jìn)行抽取整合： 可按照需要進(jìn)行必要的裁剪，但不作轉(zhuǎn)換和聚合處理； 不保留歷史信息，每日增量、全量業(yè)務(wù)信息： 緩沖數(shù)據(jù)層的數(shù)據(jù)是經(jīng)過標(biāo)準(zhǔn)化的，在該入庫過程進(jìn)行數(shù)據(jù)轉(zhuǎn)換處理動作。緩沖層的存儲周期一般僅作為緩沖處理，保留周期為1天。3. 3.1. 3基礎(chǔ)整合層（FDM）基礎(chǔ)整合層（FDM）基于緩沖層主題或非主題數(shù)據(jù)，進(jìn)行處理和轉(zhuǎn)化。總行下發(fā)

40、的ODS、 倉庫是經(jīng)過了標(biāo)準(zhǔn)化處理后的，可以直接進(jìn)行主題存儲。針對緩沖層非主題書，按照總行主 題進(jìn)行存放，可以結(jié)合分行特色，抽象符合分行特色的主題域。主題域是對銀行業(yè)務(wù)的抽象。 它著眼于銀行經(jīng)營活動中的要素：團(tuán)體、協(xié)議、事件、產(chǎn)品等以及這些要素間的關(guān)系?；A(chǔ)數(shù)據(jù)層還存儲通過分行平臺應(yīng)用補(bǔ)錄的匯總及明細(xì)數(shù)據(jù)。該區(qū)域存儲需要考慮存儲 規(guī)劃，一般建議至少保留1年以上，通過合理的數(shù)據(jù)庫規(guī)劃可以保留35年。3. 3.1. 4共性加工層（ADM）共性加工層（ADM）。該數(shù)據(jù)層主要存放總行下發(fā)共性明細(xì)、匯總數(shù)據(jù)、以及分行自建 的統(tǒng)計指標(biāo)數(shù)據(jù)。該層數(shù)據(jù)必須要設(shè)計相應(yīng)的數(shù)據(jù)模型。該數(shù)據(jù)層部數(shù)據(jù)是在FDM層的基

41、礎(chǔ)上，經(jīng)過運(yùn)算加工得到的。根據(jù)我們對應(yīng)用需求的理解和提煉，暫規(guī)劃為機(jī)構(gòu)、客戶、產(chǎn) 品、渠道、財務(wù)等匯總模型等幾個關(guān)鍵主題，完成多維匯總模型與指標(biāo)體系的規(guī)劃和建設(shè)。共性加工層的數(shù)據(jù)因?yàn)橐呀?jīng)按照一定粒度進(jìn)行匯總加工，數(shù)據(jù)量能夠得到控制，因此數(shù)據(jù)存儲周期一般可以保留5年以上。建議再存儲充足的情況下一直保留。3. 3.1. 5數(shù)據(jù)集市層（MDM）數(shù)據(jù)集市層保存各管理信息應(yīng)用系統(tǒng)所對應(yīng)的數(shù)據(jù)集巾。數(shù)據(jù)集市建設(shè)面向具體的業(yè) 務(wù)應(yīng)用，數(shù)據(jù)集力的數(shù)據(jù)是在邏輯模型層數(shù)據(jù)的基礎(chǔ)上按需生成，允許一定的數(shù)據(jù)冗余，以 提高管理信息系統(tǒng)的數(shù)據(jù)訪問效率。結(jié)合行內(nèi)使用，可以建立而向零售應(yīng)用、對公應(yīng)用、計 財、運(yùn)營、考核相關(guān)集

42、市數(shù)據(jù)，后續(xù)可以根據(jù)業(yè)務(wù)發(fā)展的需要逐步進(jìn)行擴(kuò)充。數(shù)據(jù)集市的數(shù)據(jù)量較小，建議永久保留。3. 3.1.6各層次數(shù)據(jù)特點(diǎn)對比下表對貼源數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)層、共性匯總層、數(shù)據(jù)集市層次之間數(shù)據(jù)特點(diǎn)和差異作說明:源系統(tǒng)數(shù)據(jù)落地區(qū)貼源數(shù)據(jù)層基礎(chǔ)數(shù)據(jù)層共性匯總層數(shù)據(jù)集市層數(shù)據(jù)用途面向特定業(yè) 務(wù)用途而向特定業(yè)務(wù)用途而向抽象主題的模 型化存儲面向應(yīng)用統(tǒng)計、分析面向信息查詢/多維分析數(shù)據(jù)組織不同業(yè)務(wù)之間分散不同業(yè)務(wù)之間 分散按主題集成的按業(yè)務(wù)集成 的按應(yīng)用集成的數(shù)據(jù)結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)結(jié) 構(gòu)業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)關(guān)系數(shù)據(jù)結(jié)構(gòu)星型數(shù)據(jù)結(jié)構(gòu)星型結(jié)構(gòu)數(shù)據(jù)穩(wěn)定性可變的可變的相對穩(wěn)定的，保留歷 史軌跡不變的不變的數(shù)據(jù) 粒度明細(xì)的明細(xì)的明細(xì)的經(jīng)過一

43、次數(shù)據(jù)集合經(jīng)過一次數(shù)據(jù)集合數(shù)據(jù)能見度反映當(dāng)前業(yè) 務(wù)信息的反映當(dāng)前業(yè)務(wù)信息的歷史的，反映長期的 信息歷史的，反映 長期的信息歷史的，反 映長期的信 息數(shù)據(jù)標(biāo)準(zhǔn)化未標(biāo)準(zhǔn)化的標(biāo)準(zhǔn)化的標(biāo)準(zhǔn)化的標(biāo)準(zhǔn)化的標(biāo)準(zhǔn)化的數(shù)據(jù)時效性高，實(shí)時、T+1高,實(shí)時、T+1 和歷史的低、T+1和歷史數(shù)據(jù)低、T+1和歷 史數(shù)據(jù)低、T+1和歷 史數(shù)據(jù)3. 3. 2數(shù)據(jù)模型設(shè)計3. 3. 2.1基礎(chǔ)整合層主題模型區(qū)按照總行ODS/數(shù)倉主題進(jìn)行存儲，結(jié)合分行特色抽象提取特色主題。數(shù)據(jù)補(bǔ)錄區(qū)提供數(shù)據(jù)的補(bǔ)充和錄入功能，是數(shù)據(jù)完整性、一致性、有效性的有力保證。 提供對錄入數(shù)據(jù)的組織權(quán)限、業(yè)務(wù)權(quán)限和數(shù)據(jù)權(quán)限的全面控制。使用檢核規(guī)則實(shí)現(xiàn)對錄入

44、數(shù)據(jù)的事件處理，可對數(shù)據(jù)新增前、新增后、修改前、修改 后等事件關(guān)聯(lián)檢核規(guī)則，以便對數(shù)據(jù)進(jìn)行有效性數(shù)據(jù)檢查、數(shù)據(jù)平衡校驗(yàn)等操作。3. 3. 2. 2共性加工層3. 3. 2. 2.1共性層模型設(shè)計思路根據(jù)在數(shù)據(jù)集市應(yīng)用的經(jīng)驗(yàn)和對貴行各類業(yè)務(wù)需求的理解，我們可以將此類業(yè)務(wù)需求 分為如下三類：> 基礎(chǔ)數(shù)據(jù)類需求：此類需求主要為明細(xì)業(yè)務(wù)查詢，業(yè)務(wù)部門卸數(shù)需求，外部監(jiān)管、 外部數(shù)據(jù)交換和對賬等，或者其他數(shù)據(jù)深加工等方面的基礎(chǔ)數(shù)據(jù)準(zhǔn)備需求。> 加工指標(biāo)類需求：主要是匯總類的指標(biāo)數(shù)據(jù)。這些指標(biāo)主要是為各業(yè)務(wù)部門的報表 里面的指標(biāo)項(xiàng)，包括上報外部監(jiān)管部門報表等，例如內(nèi)部管理報表“經(jīng)營分析報告” 中

45、的各個指標(biāo)項(xiàng)。> 報表/圖形展現(xiàn)類需求：貼近最終用戶的形成報表/圖的展現(xiàn)需求來進(jìn)行設(shè)計，多數(shù) 情況下都是基于對基礎(chǔ)數(shù)據(jù)、指標(biāo)數(shù)據(jù)的基礎(chǔ)上通過展現(xiàn)工具將數(shù)據(jù)變?yōu)樾畔⒌倪^ 程。圖表1 業(yè)務(wù)需求類型根據(jù)這三類不同應(yīng)用需求特點(diǎn)，和不同數(shù)據(jù)層次數(shù)據(jù)粒度要求，可以對應(yīng)到數(shù)據(jù)平臺模型設(shè) 計對應(yīng)的數(shù)據(jù)層次來：> 基礎(chǔ)數(shù)據(jù)類需求對應(yīng)數(shù)據(jù)平臺中的基礎(chǔ)數(shù)據(jù)層；> 加工指標(biāo)類需求對應(yīng)于數(shù)據(jù)平臺中的共性加工數(shù)據(jù)層數(shù)據(jù)（當(dāng)然，加工指標(biāo)類數(shù)據(jù) 還有為某應(yīng)用系統(tǒng)所獨(dú)有的指標(biāo)數(shù)據(jù)，為了數(shù)據(jù)平臺模型整體架構(gòu)的層次更加鮮明 和清晰，我們把它歸入下一層的數(shù)據(jù)集由模型）；> 而報表/圖形類需求，則更接近于數(shù)據(jù)集

46、市模型：注：在本項(xiàng)目的共性加工層數(shù)據(jù)模型建設(shè)中，將重點(diǎn)從目前需建設(shè)的應(yīng)用系統(tǒng)需求中的提煉 共性需求，建議ADM數(shù)據(jù)層設(shè)計不宜過“厚”，以免統(tǒng)計口徑不一致或粒度不符合業(yè)務(wù)需 求而重復(fù)開發(fā)。3. 3. 2. 2. 2共性加工層模型建設(shè)方法在共性加工數(shù)據(jù)層設(shè)計時，要充分理解其共性（即多應(yīng)用系統(tǒng)共用的數(shù)據(jù)）和加工（數(shù) 據(jù)匯總、加工）的兩個特點(diǎn)，才能在其數(shù)據(jù)模型設(shè)計中做出最好的成果。因此，共性加工層 數(shù)據(jù)模型的建設(shè)也就是回答好以下幾個問題：> 模型存儲什么數(shù)據(jù)？> 數(shù)據(jù)如何獲??？> 數(shù)據(jù)如何存儲？> 模型中數(shù)據(jù)如何組織？> 模型中數(shù)據(jù)如何被使用？> 模型如何滿足多應(yīng)用

47、系統(tǒng)共性數(shù)據(jù)存儲的需求？> 模型如何適應(yīng)指標(biāo)頻繁變化的要求？3. 3. 2. 2. 2.1存儲什么數(shù)據(jù)：存儲具有一定程度匯總的指標(biāo)共性加工數(shù)據(jù)層存放的是經(jīng)過一定程度加工匯總的指標(biāo)數(shù)據(jù)。這些指標(biāo)擁有其獨(dú)有的 業(yè)務(wù)口徑，和相應(yīng)的統(tǒng)計規(guī)則，同時，指標(biāo)也是具有一定粒度的。典型如我們大家都了解的“儲蓄余額”指標(biāo)，其業(yè)務(wù)口徑和統(tǒng)計規(guī)則可理解如下：> 業(yè)務(wù)口徑：對私定活期科目的存款余額的匯總：> 統(tǒng)計規(guī)則：可匯總相加的，不像百分比指一樣不能匯總相加。> 粒度：可以有不同類別的幣種、日期和機(jī)構(gòu)部門。3. 3. 2. 2. 2. 2數(shù)據(jù)如何獲取：指標(biāo)分類和指標(biāo)ID共性加工數(shù)據(jù)層的數(shù)據(jù)不能

48、簡單的堆砌在一起，首先需要對指標(biāo)進(jìn)行分類和整合，方 便實(shí)現(xiàn)復(fù)用。不同類別的指標(biāo)，存放到不同的模型中。另外，為便于用戶或應(yīng)用系統(tǒng)快速對指標(biāo)進(jìn)行定位，以方便獲取。可以對每個指標(biāo)編制唯一 的ID,并有專門的指標(biāo)定義表，描述指標(biāo)的名稱、含義、業(yè)務(wù)口徑等。這樣，指標(biāo)就能夠 通過分類，或指標(biāo)ID快速獲得。4. 3. 2. 2. 2. 3數(shù)據(jù)如何存儲：星型模型基于上面所描述的指標(biāo)特點(diǎn)，我們可以看出，指標(biāo)是能夠采用標(biāo)準(zhǔn)結(jié)構(gòu)定義和約束的。 符合這種特點(diǎn)的數(shù)據(jù)模型，例如星型模型、或基于星型模型擴(kuò)展的雪花模型，就可存儲指標(biāo)。 同樣，對于上面的“儲蓄余額”指標(biāo)，結(jié)合對星型模型的理解和多年的數(shù)據(jù)平自實(shí)施經(jīng)驗(yàn), 我們可以

49、將該指標(biāo)分解如下：> 維度：日期、機(jī)構(gòu)、幣種> 指標(biāo)：儲蓄存款的時點(diǎn)余額 根據(jù)星型模型的特點(diǎn)，該指標(biāo)存儲數(shù)據(jù)模型分解為：24 / 15265 / 152> 維表：日期維表、機(jī)構(gòu)維表、幣種維表、科目維表> 事實(shí)表：總帳科目事實(shí)表幣種維表幣種代碼I幣種名稱 j物嬲物然以切落場勿物切嬲崛其簡化模型如下(在本模型中，指標(biāo)ID就是三級科目編碼):會計日期維表度 旬月季年 日討廿H A右人玄會A玄會計口期總賬科目事實(shí)表會計口期(FK) 網(wǎng)點(diǎn)編碼(FK) 三級科目編碼(FK) 幣種代碼(FK) 期末借方余額 期末貸方余額科目維表三級科目編碼機(jī)構(gòu)維表網(wǎng)點(diǎn)編碼級級級級級 三二二二稱碼稱碼

50、稱名編名編名目目目目目網(wǎng)點(diǎn)名稱 支行編碼 支行名稱 分行編碼 分行名稱圖表2業(yè)務(wù)需求類型3. 3. 2. 2. 2. 4如何適應(yīng)多應(yīng)用系統(tǒng)共性數(shù)據(jù)存儲的需求：與業(yè)務(wù)需求輕耦合貴行眾多的應(yīng)用管理系統(tǒng)要求指標(biāo)的存儲模型要求具有一定的穩(wěn)定性，與業(yè)務(wù)需求輕 耦合。因此，在設(shè)計數(shù)據(jù)模型時，對指標(biāo)進(jìn)行技術(shù)分析，了解指標(biāo)的維度和指標(biāo)，并依據(jù)維 度來對指標(biāo)進(jìn)行分類，將擁有類似維度的指標(biāo)存放在統(tǒng)一模型中，從而使數(shù)據(jù)模型具有高度 的穩(wěn)定性。后而有類似維度的指標(biāo)添加進(jìn)來時，就可在不改變現(xiàn)有模型的情況下擴(kuò)充該指標(biāo)。3. 3. 2. 2. 2. 5如何適應(yīng)指標(biāo)頻繁變化的要求：具有高度的擴(kuò)展性在國內(nèi)外大環(huán)境的影響下，銀行

51、業(yè)競爭激烈，對銀行客戶分析和銀行的經(jīng)營管理信息 支持的需求也不斷變化，獲取信息的迫切程度也不斷提高。這要求共性加工層存儲的指標(biāo)能 根據(jù)業(yè)務(wù)需求快速擴(kuò)展、或調(diào)整，滿足業(yè)務(wù)要求。在共性加工層數(shù)據(jù)模型設(shè)計時，需要對模型本身及將來可能發(fā)生的變化充分考慮，確 保模型具有高度的可擴(kuò)展性和靈活性。例如，針對上而“儲蓄余額”的模型設(shè)計例子，在業(yè)務(wù)發(fā)展和業(yè)務(wù)管理發(fā)展過程中，業(yè)務(wù)部門可能會需要獲取儲蓄存款的年日均余額、季度日均余額、當(dāng)月日均余額等，因此可 以對模型進(jìn)行優(yōu)化，添加上述要素，適應(yīng)后面可能發(fā)生的變化。因此，我們可以對該模型進(jìn) 行優(yōu)化，滿足其擴(kuò)展性和靈活性的要求，如下圖所示簡圖：會計口期維表會計口期上年同

52、期口期 會計年 會計季度 會計月 會計旬 會計口 年初口期 季初口期 月初口期 年末口期 季末口期 月末口期 PRE_TEN END 上月末口期 PRE_.YEAR.DATE 上至末口期 備用字段1 備用字段2 備用字段3科目編碼總賬科目事實(shí)表 會計口期(FK) 機(jī)構(gòu)編碼(FK) 科目編碼(FK)幣種代碼(FK) 會計期間代碼(FK) 帳套編號(FK) 指標(biāo)屬性代碼(FK)碼名名 編 123 文文向目目別期期述段段段 段段中英方營級口口描字字字 然考目目額級級目用用務(wù)用用用 “參科科余父末科啟停業(yè)備備備幣種代碼幣種名稱 幣和記帳符來方方今今方方額軋段段段 段往借貸至至借貸余均字字字 源部初初初

53、初末末差口用用用 來內(nèi)期期期期期期軋年備備備額額計計額額余段余余累累余余差1借貸會計口期 機(jī)構(gòu)編碼機(jī) 機(jī)機(jī)中 父也 屬t 屬 備尸 備尸 備尸目名稱 目簡稱1 嫡稱2 口 口西 月日期 目級別 R機(jī)構(gòu)編碼 生1 *2 11字段1 11字段2 (1字段3機(jī)構(gòu)維表指標(biāo)屬性維表 指標(biāo)屬性代碼 指標(biāo)屬性名稱添加一指標(biāo)屬性維度以適應(yīng)變化 原“儲蓄余額”指標(biāo)數(shù)據(jù)其指標(biāo) 屬性值可填“時點(diǎn)余額”圖表3 業(yè)務(wù)需求類型注：新擴(kuò)展的指標(biāo)屬性維度包括有：> 時點(diǎn)余額> 旬累計值> 旬日均值> 月累計值> 月日均值> 季累計值> 季日均值> 年累計值> 年日均值3. 3. 2. 2. 3共性加工層當(dāng)前目標(biāo)基于上述對共性加工層的認(rèn)識與理解，結(jié)合貴行目前的需求狀況，規(guī)劃一個能完全滿 足未來應(yīng)用的匯總模型不太現(xiàn)實(shí)，因此現(xiàn)階段共性加工層本著“共性、實(shí)用”的目的來設(shè)計, 通過借助零售客戶管理、公司客戶管理、績效考核等系統(tǒng)的共性提煉，并最終將共性加工模 型回歸到各應(yīng)用系統(tǒng)中，保證共性加工層的使用性、可操作性。因此，共性加工層當(dāng)前目標(biāo) 主要是：> 分行統(tǒng)一指標(biāo)