商業(yè)智能平臺數據采集方案

1、Smartbi商業(yè)智能平臺數據采集方案數據采集2基礎數據平臺數據查詢統計分析KPI分析風險預警數據上報數據采集數據分析在線錄入數據文件導入ETL文件加載外部系統的數據采集3銀監(jiān)會1104監(jiān)管報表1104總體應用架構數據源SDATA數據區(qū)數據模型與數據整合區(qū)指標數據區(qū)/應用模型區(qū)核心總帳個貸信貸貸計卡 格式化文件基礎數據平臺前端應用數據抽取、清洗、加載與轉換（ECTL）1104報表平臺應用服務器銀監(jiān)會接口數據模型區(qū)補錄改寫生成報送文件信息采集平衡檢查報表展現XLS報表模板導入報表定制統一報表平臺功能框架3.報表設置統一數據平臺5.靜態(tài)報表數據1.指標管理計算指標基礎指標2.模板管理填報歷史取數定

2、義補錄/匯總表內校驗狀態(tài)管理人行報表銀監(jiān)會1104報表內部分析報表預警保存報表數據銀監(jiān)會報表模板清單列表人行報表模板其他報表模板權限管理匯總關系定義校驗公式定義 預警設置其他報表報表生成表間校驗報表存檔4.報表加工6. 查詢分析報表數據重用生成上報外管局/財政部報表1104應用功能框架1104角色功能設計1104業(yè)務操作流程數據采集方式-在線錄入數據缺口定義對目前無法從各源業(yè)務系統中獲取的銀監(jiān)1104報表數據項，需要由用戶進行手工補錄處理。補錄缺口數據的方法按照缺口數據的業(yè)務歸屬，系統提供2種數據補錄方式：總行用戶手工補錄缺口數據；分行用戶手工補錄缺口數據，上報總行匯總；分行補錄注意事項后臺需

3、要保留數據粒度至分行級；前端對各分行補錄人員進行用戶分組和權限控制；可以設定不同頻度報表的分行補錄上報日期范圍，超過規(guī)定時間不允許上報；總行已上報報表的分行補錄數據不允許修改；數據采集方式-格式化數據文件導入格式化數據文件導入針對每個分析主題，定義統一的數據填報文件模板可采用導入格式化數據文件的方式加載到1104數據模型中，比較適合原來已有手工臺帳或者原有數據已經保留在Excel中由1104項目組統一制定標準接口數據文件格式標準。支持的數據源文件格式：Excel數據采集方式-定期ETL抽取定義統一的數據接口數據文件用戶定期將數據文件通過ftp方式提交到文件服務器上通過調度引擎，定期對提交的數據

4、文件進行拷貝、讀取、解析并存儲到數據庫中，完成數據增量加載過程支持的數據源文件格式：CSV、txt等其他功能說明表間數據引用表間數據引用說明：結合1104報表業(yè)務需求分析，27張報表之間存在表間數據平衡關系。并且，表間數據平衡關系在業(yè)務上可以定義為“主從表”數據項的依賴關系。表間數據引用功能是為了簡化用戶手工調平表間數據。按照業(yè)務部門確認的規(guī)則，預先定義數據引用關系，由系統將自動完成數據引用操作。舉例說明：G01附表1.各項貸款=G01_6. + G01_7.+ G01_8.+ G01_9.+ G01_13.7+ G01_13.8。假定以G01為主表，則可以將“G01附表1.各項貸款”定義為從

5、G01表取數，即數據引用；表間數據引用注意事項：需要業(yè)務部門預先定義表間數據依賴關系；用戶需按照既定的業(yè)務流程處理各張報表；系統只能對“相等”的表間數據依賴進行數據引用處理，“ 和 ”關系無法自動進行數據引用；其他功能說明數據舍位四舍五入要求：單位為萬元的數據保留整數單位為百分比的數據保留兩位小數，舍位功能說明：系統自動進行四舍五入操作；系統保留舍位前、舍位后兩套數據；其他功能說明數據平衡性檢查系統依據設定的報表表內（縱平、橫平）、表間數據平衡關系進行檢查，對不滿足平衡關系的條目進行記錄，并將檢查日志結果反饋給用戶；只有通過表內、表間數據平衡檢查的報表才能進行報表上報，以保證上報數據質量；系統

6、支持帶四則運算的數據審核公式，如：表內平衡檢查：G01表13.買入返售資產=13.1+13.2+13.3+13.4+13.5+13.6+13.7+13.8G22表3.流動性比例 =1.10流動性資產總和/2.8流動性負債總和100 G41資本充足率匯總表 4.6長期次級債務的可計算價值3. 核心資本凈額*50% 表間平衡檢查：G01附表1.各項貸款=G01_6. + G01_7.+ G01_8.+ G01_9.+ G01_13.7+ G01_13.8操作流程說明報表定制報表定制的內容：導入Excel報表模板定制報表處理規(guī)則定義報表取數規(guī)則定義補錄內容和補錄方式表間數據引用規(guī)則數據平衡性檢查規(guī)則

7、角色授權報表定制功能說明：由系統管理員用戶在“報表管理”工具中完成；報表模板可以支持MS Excel中定義公式、函數等功能并保留報表模板中定義的表頭、附注、字體等格式信息；操作流程說明分行用戶數據錄入流程操作流程說明總行用戶操作流程ETL接口數據區(qū)中間數據存儲區(qū)上報數據存儲區(qū)示例：定制報表模板示例：定制計算公式、校驗公式示例：報表展現示例：明細數據錄入銀行經營風險指標預警體系經營風險指標安全性指標流動性指標盈利性指標資本充足率存貸款比率不良資產率資金流動性本息回收率資本利潤率風險閥值、風險權重風險告警風險資產總量不良貸款率核心利潤率經營成本核算流動資產結構流動負債結構23海航信息財務BI系統數

8、據采集項目背景海航集團現有的各財務系統職能相對獨立(預算、核算等各系統都是獨立的)，無法滿足產業(yè)集團/集團的多級管控體系對財務報表要求 各產業(yè)公司月度預算執(zhí)行報表以及其他財務報表數據的收集、整理基本還是手工從相關財務系統導出基礎數據并在 Excel表格上加工匯總的方式，耗費了各產業(yè)公司、集團計財部相關財務人員的大量精力，并且容易出錯 財務數據由子公司、公司、集團，一級一級手工向上匯總，效率很低，一個環(huán)節(jié)出錯導致后續(xù)環(huán)節(jié)需要重新調整，各級經營層領導不能及時看到相關經營數字，甚至影響到月度經營會議的及時召開 當前的財務系統以及財務報表也無法靈活滿足財務部門/經營層領導所需各類財務數字分析，無法靈活

9、定義/實時察看各類關鍵財務指標24解決方案建立數據倉庫管理各類財務經營報表所需基礎的財務和業(yè)務數據使用BI工具結合二次開發(fā)支持多種基礎數據收集，包括用戶手工錄入數據，上傳預先編制好的Excel表格，集成財務系統自動定時抽取基礎財務數據，集成業(yè)務系統自動定時抽取基礎業(yè)務數據等 使用BI工具自動匯總各級別的財務/業(yè)務數據，實時匯總/生成各類財務所需的報表 使用BI工具及二次開發(fā)進行組織權限管理，使得各級負責人能夠隨時察看其負責業(yè)務線/部門/公司/集團的財務經營數據 使用BI工具展示復雜的財務統計數據 使用BI工具展示關鍵財務指標（儀表盤） 使用BI工具對財務數據進行不同層面的鉆取分析（多維分析）2

10、5功能概況滿足單一產業(yè)公司財務要求的報表，同時也滿足集團型企業(yè)財務報表。 集成NC財務核算系統，實現核算數據的自動采集。 支持Excel數據導入。 自動由下級部門向上級部門匯總數據。 實現集團統一上報格式報表，同時也實現各子公司、公司自定義格式報表。 靈活的會計統計方式，實現NC系統會計科目一對一、多對一的口徑，同時自主選擇報表匯總級別 在線報表數據編輯和導出KPI圖表展現26示例-建立與NC系統的連接，自動采集核算數據27示例-Excel文件導入方式支持Excel數據導入。（如：當月實際執(zhí)行數，預算數）28示例- Excel文件導入方式樣例一：預算數Excel模板29示例- Excel文件導

11、入方式樣例二：EXCEL導當月實際數模30示例-Excel文件導入后展現樣例一：導入后的數據展現,自動匯總部門預算執(zhí)行情況表31示例- Excel文件導入后展現樣例二：導入后的數據展現,上級部門預算執(zhí)行情況表基礎上的匯總32示例-生成集團統一上報格式報表33示例-在線錄入打開任意報表，雙擊需要修改的末級單元格34示例-在線錄入輸入新的數據35示例-在線錄入點擊報表上面的保存按鈕，保存成功提示 系統自動刷新當前頁，數據修改成功36示例- KPI指標分析收入分析：通過參數選擇展現不同部門各個月份的毛利潤數據37示例- KPI報表用關鍵指標數據說話3839中糧集團經營分析平臺項目40 中糧生化能源事

12、業(yè)部（以下簡稱事業(yè)部）是根據中糧集團“成為生物質能源的主要提供者、領導者，糧食生物化工的主要領導企業(yè)”的戰(zhàn)略定位而相應設立的，是中糧集團核心業(yè)務單元之一,中國糧油(香港上市公司,代碼HK0606)的重要組成部分之一。目前事業(yè)部下屬及管理企業(yè)主要包括黑龍江、吉林、河北、天津、上海、安徽、廣西等省份的九家工廠和一家集中銷售公司，未來還將不斷上線或并購若干新的項目。 為了更好的利用信息化這個先進的手段，業(yè)務分析、統計、查詢、報表、告警的需求迫切需要一種先進的數據倉庫技術來整合事業(yè)部各個業(yè)務系統，例如財務系統、人力系統、生產系統、銷售系統和報表系統等，通過抽取、轉換、清洗、加載技術進行數據的梳理、口徑的統一、編碼的統一、標準化的建立來建設數據中心，從而為數據應用如分析、統計、查詢、報表、告警甚至今后的數據挖掘提供強大的科學、可靠、準確的數據支撐。 項目背景總體應用架構ETL總體架構圖42采用兩種數據采集方案43第一種方案：對于每個分析主題所需數據，提供統一的數據接口。在各利潤點系統部署程序，定期調度把增量數據導成指定格式的文本文件，上傳到系統服務器，然后加載到系統中。第二種方案：對于每個分析主題所需數據，制定統一的填報模板，由利潤點定期上報，系統定期調度把所有涉及的表的