金融大數(shù)據(jù)分析詳細(xì)設(shè)計(jì)說明書

金融大數(shù)據(jù)分析平臺(tái)詳細(xì)設(shè)計(jì)說明書XX科技股份有限公司編制目錄一、 金融大數(shù)據(jù)分析平臺(tái)系統(tǒng)軟件模塊設(shè)計(jì) 4二、 金融大數(shù)據(jù)分析項(xiàng)目系統(tǒng)接口及函數(shù) 42.1 數(shù)據(jù)生產(chǎn) 42.1.1 數(shù)據(jù)生產(chǎn)函數(shù) 42.2 數(shù)據(jù)采集 52.2.1 數(shù)據(jù)采集接口 52.2.2 數(shù)據(jù)存儲(chǔ)函數(shù) 62.3 數(shù)據(jù)分析 62.3.1 數(shù)據(jù)分析函數(shù) 62.4 可視化展示 72.4.1 用戶接口 72.4.2 菜單接口 82.4.3 角色接口 92.4.4 業(yè)務(wù)分析接口 92.4.5 設(shè)備分析接口 102.4.6 金額分析接口 102.4.7 注冊人數(shù)分析接口 112.4.8 性別分析接口 12三、 金融大數(shù)據(jù)分析平臺(tái)系統(tǒng)數(shù)據(jù)格式 121. 數(shù)據(jù)格式設(shè)計(jì)說明 12四、 金融大數(shù)據(jù)分析平臺(tái)系統(tǒng)數(shù)據(jù)庫表結(jié)構(gòu) 151. 表結(jié)構(gòu)設(shè)計(jì)圖 15

金融大數(shù)據(jù)分析平臺(tái)系統(tǒng)軟件模塊設(shè)計(jì)金融大數(shù)據(jù)分析模塊設(shè)計(jì)表序號一級模塊二級模塊三級模塊說明1數(shù)據(jù)生產(chǎn)金融大數(shù)據(jù)分析數(shù)據(jù)生產(chǎn)2數(shù)據(jù)采集/存儲(chǔ)使用Flume、Kafka組件將數(shù)據(jù)存儲(chǔ)到HBASE中3數(shù)據(jù)分析使用MapReduce將HBASE中的數(shù)據(jù)經(jīng)過分析處理之后導(dǎo)入到MySQL中4可視化展示系統(tǒng)管理系統(tǒng)狀態(tài)監(jiān)控、系統(tǒng)信息查看5權(quán)限管理資源管理系統(tǒng)菜單管理、路徑管理6角色管理系統(tǒng)使用角色管理、權(quán)限管理7用戶管理系統(tǒng)登錄用戶管理8分析數(shù)據(jù)分析業(yè)務(wù)分析使用圖形展示險(xiǎn)種類型9設(shè)備分析使用圖形展示各種銀行辦理終端設(shè)備類型占比情況10金額分析使用圖形展示主要業(yè)務(wù)分析種類類型金額數(shù)量占比情況11注冊人數(shù)分析使用圖形展示業(yè)務(wù)辦理總?cè)藬?shù)在各月份時(shí)間的數(shù)量和趨勢12注冊平臺(tái)分析使用圖形展示主要銀行業(yè)務(wù)第三方注冊辦理平臺(tái)類型的數(shù)量和占比情況13性別分析使用圖形展示主要性別占比情況14交易數(shù)量分析使用圖形展示主要銀行業(yè)務(wù)種類金額記錄數(shù)量情況金融大數(shù)據(jù)分析項(xiàng)目系統(tǒng)接口及函數(shù)數(shù)據(jù)生產(chǎn)數(shù)據(jù)生產(chǎn)函數(shù)函數(shù)類duct.test.MockRecords生產(chǎn)類TestMockRecords需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)系統(tǒng)調(diào)用生產(chǎn)函數(shù),設(shè)定相應(yīng)的輸出文件及輸出路徑根據(jù)設(shè)定路徑，生產(chǎn)相應(yīng)的數(shù)據(jù)文件功能需求數(shù)據(jù)生產(chǎn)例外以及相應(yīng)處理調(diào)用的功能數(shù)據(jù)生產(chǎn)注釋和說明數(shù)據(jù)采集數(shù)據(jù)采集接口接口地址/hhrzkg/system/dataCollection用戶類系統(tǒng)需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)設(shè)定flume采集的源文件和數(shù)據(jù)下沉的位置，將數(shù)據(jù)采集到kafka集群中Kafka集群出現(xiàn)相應(yīng)的數(shù)據(jù)功能需求數(shù)據(jù)采集例外以及相應(yīng)處理調(diào)用的功能數(shù)據(jù)采集注釋和說明數(shù)據(jù)存儲(chǔ)函數(shù)函數(shù)類com.hbase.consumer用戶類HbaseConsumer需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)設(shè)置kafka消費(fèi)主題，使用HBASE消費(fèi)數(shù)據(jù)將kafka集群中的待數(shù)據(jù)存儲(chǔ)到HBASE中功能需求數(shù)據(jù)存儲(chǔ)例外以及相應(yīng)處理調(diào)用的功能數(shù)據(jù)存儲(chǔ)注釋和說明數(shù)據(jù)分析數(shù)據(jù)分析函數(shù)函數(shù)類com.bigdata.analysis.runner用戶類CountDurationRunner需求優(yōu)先級高系統(tǒng)輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)配置源HBASE、目標(biāo)MYSQL數(shù)據(jù)格式，配置清洗策略將HBASE數(shù)據(jù)經(jīng)過分析后存儲(chǔ)MySQL功能需求數(shù)據(jù)分析例外以及相應(yīng)處理調(diào)用的功能數(shù)據(jù)分析注釋和說明可視化展示用戶接口接口地址/hhrzkg/system/admin用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)1.用戶輸入用戶名、密碼1.比對輸入用戶是否存在，并返回相應(yīng)結(jié)果。2.新增用戶；3.刪除用戶；4.修改用戶。功能需求用戶登錄系統(tǒng)、用戶修改信息、管理員新增和刪除用戶例外以及相應(yīng)處理調(diào)用的功能系統(tǒng)登錄、用戶信息修改、新增和刪除用戶注釋和說明菜單接口接口地址/hhrzkg/system/res用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)1.用戶輸入菜單名稱、菜單地址、上級目錄。1.比對輸入菜單是否存在，并返回相應(yīng)結(jié)果。2.新增菜單；3.刪除菜單；4.比對輸入菜單是否存在，不存在即修改菜單。功能需求系統(tǒng)管理員查詢、新增、修改、刪除菜單例外以及相應(yīng)處理調(diào)用的功能菜單查詢、新增、修改、刪除注釋和說明角色接口接口地址/hhrzkg/system/role用戶類系統(tǒng)管理員需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)1.用戶輸入角色名稱、角色權(quán)限1.顯示角色名稱、權(quán)限等信息2.新增角色；3.刪除角色；4.比對輸入角色是否存在，不存在即修改角色。功能需求用戶授權(quán)，系統(tǒng)管理員對角色新增、刪除、修改、查詢例外以及相應(yīng)處理調(diào)用的功能角色查詢、新增、修改、刪除注釋和說明業(yè)務(wù)分析接口接口地址/hhrzkg/system/type用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)1.1.顯示所有業(yè)務(wù)數(shù)量情況功能需求圖形化展示各業(yè)務(wù)數(shù)量分析例外以及相應(yīng)處理調(diào)用的功能業(yè)務(wù)數(shù)量分析注釋和說明設(shè)備分析接口接口地址/hhrzkg/system/device用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)顯示銀行辦理終端設(shè)備類型情況功能需求圖形化展示銀行辦理終端設(shè)備類型情況例外以及相應(yīng)處理調(diào)用的功能設(shè)備分析注釋和說明金額分析接口接口地址/hhrzkg/system/fee用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)顯示主要業(yè)務(wù)分析種類類型金額數(shù)量占比情況功能需求圖形化展示顯示主要業(yè)務(wù)分析種類類型金額數(shù)量占比情況例外以及相應(yīng)處理調(diào)用的功能金額分析注釋和說明注冊人數(shù)分析接口接口地址/hhrzkg/system/register_amount用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)顯示業(yè)務(wù)辦理總?cè)藬?shù)在各月份時(shí)間的數(shù)量和趨勢功能需求圖形化展示業(yè)務(wù)辦理總?cè)藬?shù)在各月份時(shí)間的數(shù)量和趨勢例外以及相應(yīng)處理調(diào)用的功能注冊人數(shù)分析注釋和說明性別分析接口接口地址/hhrzkg/system/sex用戶類系統(tǒng)用戶需求優(yōu)先級高用戶輸入或系統(tǒng)外激勵(lì)系統(tǒng)響應(yīng)顯示主要性別占比情況功能需求圖形化展示主要性別占比情況例外以及相應(yīng)處理調(diào)用的功能性別分析注釋和說明金融大數(shù)據(jù)分析平臺(tái)系統(tǒng)數(shù)據(jù)格式數(shù)據(jù)格式設(shè)計(jì)說明臨時(shí)數(shù)據(jù)庫數(shù)據(jù)庫設(shè)計(jì)原則臨時(shí)數(shù)據(jù)區(qū)對應(yīng)獨(dú)立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權(quán)限模型設(shè)計(jì)原則邏輯模型參考源系統(tǒng)和接口規(guī)范定義，為每個(gè)接口單元設(shè)計(jì)實(shí)體、屬性物理模型與邏輯模型保持一致，每個(gè)實(shí)體對應(yīng)一張Hive表，表采用LZO壓縮存儲(chǔ)物理模型設(shè)計(jì)不建議考慮索引、物化視圖等技術(shù)特性以天為單位，按業(yè)務(wù)日期建立分區(qū)貼源數(shù)據(jù)庫數(shù)據(jù)庫設(shè)計(jì)原則貼源數(shù)據(jù)區(qū)對應(yīng)獨(dú)立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權(quán)限模型設(shè)計(jì)原則針對不需要記錄變化的實(shí)體，其邏輯模型參考緩沖層，按照貼源設(shè)計(jì)針對需要記錄變化的數(shù)據(jù)，需要增加時(shí)間字段，設(shè)計(jì)拉鏈數(shù)據(jù)模型，記錄歷史物理模型考慮分區(qū)，流水表按業(yè)務(wù)日期建立分區(qū)，拉鏈表按終止日期建立分區(qū)匯總數(shù)據(jù)庫數(shù)據(jù)庫設(shè)計(jì)原則匯總數(shù)據(jù)區(qū)對應(yīng)獨(dú)立的Hive數(shù)據(jù)庫不對外提供訪問，ETL