大數(shù)據(jù)平臺數(shù)據(jù)治理項目建設(shè)方案

提供技術(shù)解決方案和項目實施方案的建議書及我們使您的愿景變成現(xiàn)實的能力，為貴公司IT建設(shè)增添倉庫及集團特色系統(tǒng)、并且需考慮到貴公司未來將作，由于業(yè)務(wù)口徑的不一致性、數(shù)據(jù)質(zhì)量低本次數(shù)據(jù)報表平臺項目承擔(dān)了集團主要業(yè)務(wù)能。通過數(shù)據(jù)平臺的建設(shè)，將為零售、公司、同業(yè)提供統(tǒng)一準確的數(shù)據(jù)支持，是貴公司業(yè)務(wù)精細化管平臺從中遠期角度來看，將成為貴公司管理層/經(jīng)營層洞察經(jīng)營全貌、優(yōu)化經(jīng)營管控水平、推進戰(zhàn)略決策效能、支撐綜合運營分析的化、標準化管理，實現(xiàn)集團數(shù)據(jù)的信息共享分析。建立基礎(chǔ)數(shù)據(jù)模型、ETL平臺、據(jù)平臺建設(shè)應(yīng)參考以下架構(gòu)原則，指導(dǎo)和規(guī)范未來理，根據(jù)實際業(yè)務(wù)需求，合理分配資源，確減低集團級數(shù)據(jù)的冗余度，降低數(shù)據(jù)對存儲資合、數(shù)據(jù)交換以及數(shù)據(jù)服務(wù)的重任，通過數(shù)據(jù)產(chǎn)切實、有效的管理起來，形成企業(yè)統(tǒng)一信息本項目的源系統(tǒng)范圍包括目前貴公司的主要基礎(chǔ)數(shù)據(jù)平臺ETL監(jiān)控、調(diào)度功能，完成從原數(shù)據(jù)ETL子系統(tǒng)實現(xiàn)將各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)抽取至數(shù)據(jù)平臺，并進行數(shù)據(jù)的清洗、轉(zhuǎn)化、加載等操作，形成數(shù)據(jù)分析、決策所需形成各種報表、查詢以及KPI指標。ETL子系統(tǒng)實現(xiàn)自動載、數(shù)據(jù)轉(zhuǎn)化、數(shù)據(jù)卸載、自動化數(shù)據(jù)重新提供數(shù)據(jù)補錄平臺功能，包括補錄流程管理規(guī)則主要包括：完整性、唯一性、合法性、借鑒與參考總行統(tǒng)一報表指標體系成果，在此擴展集團指標；滿足業(yè)務(wù)日常固定報表使用的括表格展現(xiàn)，各類圖形展現(xiàn)；要求界面友好，定制、管理、維護功能；構(gòu)建集團用戶及權(quán)用需求。能夠快速響應(yīng)各級業(yè)務(wù)應(yīng)用人員的過程，其伴隨著應(yīng)用系統(tǒng)的發(fā)展而發(fā)展。根據(jù)在貴公司數(shù)據(jù)平臺建設(shè)方面依據(jù)可重用性、安全性性、高性能的設(shè)計原則采取總體規(guī)劃，分層實現(xiàn)的公司數(shù)據(jù)平臺的架構(gòu)由邏輯（應(yīng)用）架構(gòu)、數(shù)據(jù)架次組成，每個層次內(nèi)部又根據(jù)設(shè)計需要進行抽象分邏輯（應(yīng)用）架構(gòu)是貴公司數(shù)據(jù)平臺項目承載的應(yīng)技術(shù)架構(gòu)是用于支撐貴公司數(shù)據(jù)平臺的數(shù)據(jù)作為最底層的物理架構(gòu)，是對貴公司數(shù)據(jù)平通過有效地利用硬件和網(wǎng)絡(luò)，并能夠添加硬件根據(jù)貴公司數(shù)據(jù)平臺提出的系統(tǒng)建議的總體原據(jù)平臺經(jīng)驗，貴公司數(shù)據(jù)平臺的設(shè)計原則體現(xiàn)如建立標準的ETL開發(fā)流程，制定符合貴公司數(shù)據(jù)平臺的代碼標型之上的未來建設(shè)的應(yīng)用系統(tǒng)的模型標準。建立數(shù)ETL處理：將ETL處理程序分類化，整理規(guī)范出各種ETL處理策略。確保ETL開ETL處理：ETL程序處理邏輯規(guī)則模塊化，應(yīng)對日益更新的技術(shù)發(fā)展相關(guān)產(chǎn)品：項目開發(fā)過程中使用的宇信易誠工技人員能夠獨立的進行ETL程序的開發(fā)、報表開發(fā)、數(shù)據(jù)分發(fā)的設(shè)置、數(shù)據(jù)源配源系統(tǒng)的結(jié)構(gòu)設(shè)計，還應(yīng)該盡可能滿足即將要上線要制定一套合理的模型設(shè)計規(guī)范，使得新上線的業(yè)ETL處理：需要考慮兩個方面的擴展性，增加新的ETL任務(wù)處理以及原有任務(wù)所服務(wù)器：平臺中的每一種服務(wù)器都使用集群擴ETL處理：在進行ETL設(shè)計時，需要考慮大數(shù)據(jù)量條件下的處理效率，確保在規(guī)這里所說的可管理性主要是指系統(tǒng)運維的可統(tǒng)能很方便地對系統(tǒng)的運行狀態(tài)進行監(jiān)控，能及時收到消息通知，并有一套完善的流程清楚了解系統(tǒng)每一個應(yīng)用的轉(zhuǎn)換邏輯和數(shù)據(jù)含ETL處理的可用性：應(yīng)充分考慮各源系統(tǒng)的時間窗口可能存在不一致的情況，避免出現(xiàn)一個系統(tǒng)的數(shù)據(jù)時間窗口沒有滿足條件，影響到其它所有系被惡意修改和盜??；二是防止數(shù)據(jù)在傳輸過程），對于數(shù)據(jù)范圍方面的安全控制要求，在梳理出貴公權(quán)限關(guān)系之后，通過在程序中對數(shù)據(jù)進行過濾，用據(jù)，以確保數(shù)據(jù)范圍的安全。數(shù)據(jù)過濾程序可抽象對于第二個層面的安全性，主要依賴于文件傳輸過此外，系統(tǒng)在進行網(wǎng)絡(luò)規(guī)劃時，對系統(tǒng)的安物理設(shè)備、系統(tǒng)軟件、框架組件、規(guī)范方法以ETL功能組件：在設(shè)計ETL任務(wù)處理流程時，要分析ETL任務(wù)的各個環(huán)節(jié)，盡可能找出一些公用的ETL組件，進行必要的封裝，便于在模硬件部署：在進行硬件部署的規(guī)劃時，應(yīng)充分存儲整合企業(yè)所有源系統(tǒng)的業(yè)務(wù)數(shù)據(jù)；共性加工層性數(shù)據(jù)指標，為各應(yīng)用系統(tǒng)提供共同的基礎(chǔ)數(shù)據(jù)預(yù)文件到達監(jiān)控，ETL集群部署與集群調(diào)度以管理、報表展現(xiàn)（業(yè)務(wù)報表需求）、BI工具集成，報表目錄與分類最方便、最直觀的方式提供給報表的使用者。在本機構(gòu)撤并ETL處理流程檢核處理不能對ETL處理有較大性能上的生產(chǎn)數(shù)據(jù)同步到數(shù)據(jù)采集區(qū)。這種模式常用于基本上能按需要來定制開發(fā)數(shù)據(jù)采集程序，靈成增量比對、亂碼校驗及修正、壓縮打包、拆是否考慮了增量備份的需求；不幸的是，大多數(shù)情不采用先全量下載的方式，然后傳送到數(shù)據(jù)采集區(qū)對比。在這種模式下，全量數(shù)據(jù)的傳輸無疑又是一數(shù)據(jù)采集區(qū)。這種模式常用于核心系統(tǒng)以外其他源系統(tǒng)的數(shù)據(jù)采集量不大，而且各源系采集區(qū)的數(shù)據(jù)以文件的方式保存，不用加載到數(shù)據(jù)模板錄入以及數(shù)據(jù)入庫的審批流程。支持對錄入數(shù)檢核規(guī)則有兩種類型：存儲過程、正則表達式而定義的規(guī)則。存儲過程類型的檢核規(guī)則必表、操作控制信息、使用的檢核規(guī)則、批量錄入模檢核規(guī)則：用于對錄入數(shù)據(jù)進行檢核，可設(shè)數(shù)據(jù)平臺數(shù)據(jù)架構(gòu)上可分為以下層次：◆源系統(tǒng)數(shù)據(jù)落區(qū)◆基礎(chǔ)整合層(FDM)期的形式存儲在特定的文件目錄內(nèi)，之后由數(shù)據(jù)平◆基于集團特色業(yè)務(wù)系統(tǒng)的整理和分析，按照業(yè)務(wù)流程◆可按照需要進行必要的裁剪，但不作轉(zhuǎn)換和聚合處◆緩沖數(shù)據(jù)層的數(shù)據(jù)是經(jīng)過標準化的，在該入庫過程進◆緩沖層的存儲周期一般僅作為緩沖處理，保留周期為基礎(chǔ)數(shù)據(jù)層還存儲通過集團平臺應(yīng)用補錄的匯共性加工層的數(shù)據(jù)因為已經(jīng)按照一定粒度進行匯總據(jù)集市建設(shè)面向具體的業(yè)務(wù)應(yīng)用，數(shù)據(jù)集市的數(shù)據(jù)3.3.2數(shù)據(jù)模型設(shè)計使用檢核規(guī)則實現(xiàn)對錄入數(shù)據(jù)的事件處理，根據(jù)在數(shù)據(jù)集市應(yīng)用的經(jīng)驗和對貴公司各類業(yè)加工指標類需求：主要是匯總類的指標數(shù)據(jù)。報表/圖