金融大數(shù)據(jù)平臺(tái)項(xiàng)目規(guī)劃

1、金融大數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目規(guī)劃書 金融大數(shù)據(jù)服務(wù)平臺(tái)項(xiàng)目規(guī)劃書北京XXXX技術(shù)有限公司研發(fā)中心2014年11月一. 項(xiàng)目介紹1.1 項(xiàng)目背景銀行業(yè)一直是一個(gè)數(shù)據(jù)驅(qū)動(dòng)的行業(yè)，數(shù)據(jù)也一直是銀行信息化的主題詞。銀行的信息化進(jìn)程先后經(jīng)歷過業(yè)務(wù)電子化、數(shù)據(jù)集中化、管理模型化等階段，如今隨著大數(shù)據(jù)技術(shù)的飛速發(fā)展，銀行信息化也進(jìn)入了新的階段：大數(shù)據(jù)時(shí)代。目前，國內(nèi)銀行都積累了海量的金融數(shù)據(jù)，包括各類結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)量巨大，存儲(chǔ)方式多樣。但是這些海量數(shù)據(jù)還沒得到充分利用，顯得價(jià)值含量較低。只有經(jīng)過合適的預(yù)處理、模型設(shè)計(jì)、分析挖掘后，才能發(fā)現(xiàn)隱藏在其中的潛在規(guī)律。而應(yīng)用大數(shù)據(jù)分析技術(shù)，可以從海量

2、的、不完全一致的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識。銀行可以利用這些信息和知識來提升金融業(yè)務(wù)的服務(wù)效率和管理水平，銀行的關(guān)鍵業(yè)務(wù)也能從中獲得巨大收益。銀行在大數(shù)據(jù)技術(shù)應(yīng)用方面具有天然優(yōu)勢：一方面，銀行在業(yè)務(wù)開展過程中積累了大量有價(jià)值數(shù)據(jù)，這些數(shù)據(jù)在運(yùn)用大數(shù)據(jù)技術(shù)挖掘和分析之后，將產(chǎn)生巨大的商業(yè)價(jià)值；另一方面，銀行在資金、設(shè)備、人才、技術(shù)上都具有極大的便利條件，有能力采用大數(shù)據(jù)的最新技術(shù)。建立“金融大數(shù)據(jù)服務(wù)平臺(tái)”， 可以通過對金融數(shù)據(jù)的挖掘、分析，創(chuàng)造數(shù)據(jù)增值價(jià)值，提供針對銀行的精準(zhǔn)營銷、統(tǒng)一廣告發(fā)布、業(yè)務(wù)體驗(yàn)優(yōu)化、客戶綜合

3、管理、風(fēng)險(xiǎn)控制等多種金融服務(wù)。1.2 業(yè)務(wù)需求目前，銀行客戶對數(shù)據(jù)的利用仍是以各類統(tǒng)計(jì)報(bào)表為主，存在以下重大弊端：1. 對數(shù)據(jù)的分析僅按照固定項(xiàng)目，對業(yè)務(wù)情況進(jìn)行事后統(tǒng)計(jì)分析和監(jiān)控。實(shí)際上沒有找到隱藏在數(shù)據(jù)背后的原因，數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力不足。2. 對數(shù)據(jù)的分析僅作為專項(xiàng)的統(tǒng)計(jì)分析結(jié)果輸出，對于數(shù)據(jù)間的因果影響、相關(guān)性分組或關(guān)聯(lián)規(guī)則、聚類、描述和可視化等工作尚未開展，數(shù)據(jù)關(guān)聯(lián)分析能力不足。3. 統(tǒng)計(jì)分析側(cè)重在事后的數(shù)據(jù)匯總，難以從數(shù)據(jù)匯總中得到客戶服務(wù)事件發(fā)生的規(guī)律，以及前瞻性判斷，數(shù)據(jù)的預(yù)測性分析能力不足。針對具體的金融業(yè)務(wù)，大數(shù)據(jù)分析在以下方面有著迫切的需求：統(tǒng)一廣告發(fā)布：目前金融行

4、業(yè)客戶在廣告方面投入大、渠道多，但在確認(rèn)真實(shí)效果、提供優(yōu)化廣告策略時(shí)卻不能提供確切的數(shù)據(jù)證據(jù)。亟需利用大數(shù)據(jù)技術(shù)在收集各類型、各渠道廣告發(fā)布數(shù)據(jù)的基礎(chǔ)上，提供可靠的效果數(shù)據(jù)和優(yōu)化策略建議。精準(zhǔn)營銷：目前金融行業(yè)的營銷方式基本上還是粗放式的，調(diào)查方式粗糙，分析原因簡單，對過程的控制力差，對客戶和產(chǎn)品的推廣都缺少針對性。亟需利用大數(shù)據(jù)技術(shù)來收集詳盡數(shù)據(jù)、科學(xué)分析原因、嚴(yán)格控制過程、并有針對性地面向客戶和產(chǎn)品進(jìn)行營銷推廣。業(yè)務(wù)系統(tǒng)優(yōu)化：目前金融行業(yè)對其業(yè)務(wù)系統(tǒng)的客戶體驗(yàn)效果、客戶轉(zhuǎn)化率缺乏準(zhǔn)確數(shù)據(jù)支持，也無法分析具體原因。亟需利用大數(shù)據(jù)技術(shù)獲得各業(yè)務(wù)、各環(huán)節(jié)的客戶轉(zhuǎn)化率，從而有針對性地改進(jìn)業(yè)務(wù)流程，

5、提升服務(wù)質(zhì)量?？蛻袅魇Х治觯簩τ谌绾畏€(wěn)定留存客戶、降低客戶流失率，目前金融客戶還無法準(zhǔn)確分析客戶流失的原因，也就無從提出有效的改進(jìn)措施。亟需利用大數(shù)據(jù)技術(shù)在分析流失客戶數(shù)據(jù)的基礎(chǔ)上，提出改進(jìn)客戶關(guān)系管理效率和水平的有效建議。風(fēng)險(xiǎn)分析：金融行業(yè)對自己客戶和業(yè)務(wù)的風(fēng)險(xiǎn)分析停留在初級階段，缺乏全面掌握和提前預(yù)防的技術(shù)手段。亟需利用大數(shù)據(jù)技術(shù)獲得存在較高風(fēng)險(xiǎn)的客戶群體及業(yè)務(wù)，作為對其進(jìn)行重點(diǎn)監(jiān)控和提前做好預(yù)防措施的基礎(chǔ)。通過建設(shè)金融大數(shù)據(jù)服務(wù)平臺(tái)，研發(fā)基于大數(shù)據(jù)分析的統(tǒng)一廣告發(fā)布系統(tǒng)、精準(zhǔn)營銷系統(tǒng)、業(yè)務(wù)體驗(yàn)優(yōu)化系統(tǒng)、客戶流失分析系統(tǒng)和風(fēng)險(xiǎn)分析系統(tǒng)，金融客戶可以提升廣告發(fā)布效果，提高營銷針對性，優(yōu)化服務(wù)

6、質(zhì)量，改善客戶管理水平，預(yù)防風(fēng)險(xiǎn)沖擊，進(jìn)而為業(yè)務(wù)發(fā)展提供決策支撐，并促進(jìn)相關(guān)領(lǐng)域構(gòu)建新的業(yè)務(wù)模式、服務(wù)模式。二. 項(xiàng)目范圍北京XXXX技術(shù)有限公司自主研發(fā)的“金融大數(shù)據(jù)服務(wù)平臺(tái)”，旨在為金融行業(yè)客戶提供包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘、可視化展現(xiàn)、業(yè)務(wù)實(shí)現(xiàn)等全流程服務(wù)，以幫助客戶實(shí)現(xiàn)各種金融業(yè)務(wù)。l 數(shù)據(jù)采集“金融大數(shù)據(jù)服務(wù)平臺(tái)”首先需要收集各種金融數(shù)據(jù)，它們可能是結(jié)構(gòu)化的，也可能是半結(jié)構(gòu)化或非結(jié)構(gòu)化的；既可能來自銀行內(nèi)部的各業(yè)務(wù)系統(tǒng)，也可能由外部提供；既可以是靜態(tài)的（如屬性數(shù)據(jù)），也可以是動(dòng)態(tài)的（如行為數(shù)據(jù)）。而金融數(shù)據(jù)采集產(chǎn)品就是根據(jù)業(yè)務(wù)需要，將這些數(shù)據(jù)采集到“金融大數(shù)據(jù)服務(wù)平

7、臺(tái)”中。l 數(shù)據(jù)存儲(chǔ)Hadoop集群通過將數(shù)據(jù)分配到多個(gè)集群節(jié)點(diǎn)上并進(jìn)行并行處理，因此尤為適合對大數(shù)據(jù)的存儲(chǔ)和分析。Hadoop集群通過添加節(jié)點(diǎn)數(shù)量來有效的擴(kuò)展集群，因此具有極好的可擴(kuò)展性；Hadoop軟件都是開源的，也不必購買昂貴的高檔服務(wù)器，因此具有很好的性價(jià)比。Hadoop集群將數(shù)據(jù)分片發(fā)送至多個(gè)節(jié)點(diǎn)保存，因此具有極高的容錯(cuò)性。l 數(shù)據(jù)預(yù)處理采集到金融數(shù)據(jù)來自多種數(shù)據(jù)源，大多存在著不完整性和不一致性，無法直接用于數(shù)據(jù)挖掘或嚴(yán)重影響數(shù)據(jù)挖掘的效率。因此在進(jìn)行數(shù)據(jù)挖掘之前，通過使用數(shù)據(jù)預(yù)處理工具，靈活對原始數(shù)據(jù)的清理、變換、集成等處理，可以減少挖掘所需數(shù)據(jù)量，縮短所需時(shí)間，并極大提高數(shù)據(jù)挖掘

8、的質(zhì)量。l 數(shù)據(jù)挖掘數(shù)據(jù)挖掘是通過分析數(shù)據(jù)、從大量數(shù)據(jù)中尋找其潛在規(guī)律的技術(shù)。利用預(yù)測、關(guān)聯(lián)、分類、聚類、時(shí)序分析等技術(shù)，數(shù)據(jù)挖掘可以從海量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識。目前，傳統(tǒng)的數(shù)據(jù)挖掘產(chǎn)品在大數(shù)據(jù)平臺(tái)上還存在一些局限性，研發(fā)一套Hadoop平臺(tái)下的數(shù)據(jù)挖掘工具是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。l 可視化展現(xiàn)數(shù)據(jù)挖掘得到的結(jié)果，往往數(shù)據(jù)量巨大、關(guān)聯(lián)關(guān)系復(fù)雜、維度多以及雙向互動(dòng)需求等?？梢暬宫F(xiàn)工具以適合人類思維的圖形化的方式對結(jié)果進(jìn)行展示，提高了數(shù)據(jù)的直觀性和可視性?？梢暬宫F(xiàn)面向各類客戶，通過選擇合適的可視化模型，將枯燥

9、的數(shù)據(jù)轉(zhuǎn)換為令人印象深刻的美麗圖形，極大提升了數(shù)據(jù)的利用價(jià)值。l 業(yè)務(wù)實(shí)現(xiàn)“金融大數(shù)據(jù)服務(wù)平臺(tái)”的效果，最終需要集成在各類金融業(yè)務(wù)系統(tǒng)中才能得以體現(xiàn)。目前擬建設(shè)的金融業(yè)務(wù)系統(tǒng)有：精準(zhǔn)營銷系統(tǒng)、統(tǒng)一廣告發(fā)布系統(tǒng)、業(yè)務(wù)體驗(yàn)優(yōu)化系統(tǒng)、客戶流失分析系統(tǒng)、風(fēng)險(xiǎn)分析系統(tǒng)等。三. 項(xiàng)目目標(biāo)實(shí)施針對銀行的“金融大數(shù)據(jù)服務(wù)平臺(tái)”項(xiàng)目，通過采集銀行內(nèi)部與外部、靜態(tài)與動(dòng)態(tài)的各類金融數(shù)據(jù)，搭建適于大數(shù)據(jù)存儲(chǔ)與分析的Hadoop集群，對金融數(shù)據(jù)采取合適的預(yù)處理方式，利用數(shù)據(jù)挖掘技術(shù)得出隱藏在海量數(shù)據(jù)后的、有價(jià)值的潛在規(guī)律，以豐富的可視化模型向客戶進(jìn)行展現(xiàn)，在此基礎(chǔ)上實(shí)現(xiàn)精準(zhǔn)營銷、統(tǒng)一廣告發(fā)布、業(yè)務(wù)體驗(yàn)優(yōu)化、客戶綜合管理

10、、風(fēng)險(xiǎn)控制等金融業(yè)務(wù)應(yīng)用。由此，提升金融業(yè)務(wù)的水平和效率，推進(jìn)銀行業(yè)務(wù)創(chuàng)新，降低銀行管理和運(yùn)行成本。本項(xiàng)目的具體技術(shù)目標(biāo)包括：開發(fā)金融數(shù)據(jù)采集工具：大數(shù)據(jù)分析需要收集來自銀行內(nèi)部的和外部的、靜態(tài)的和動(dòng)態(tài)的各種金融數(shù)據(jù)，為此開發(fā)各類金融數(shù)據(jù)采集工具，如動(dòng)態(tài)采集SDK、日志提取分析工具、外部數(shù)據(jù)導(dǎo)入工具等。搭建Hadoop大數(shù)據(jù)集群：搭建Hadoop大數(shù)據(jù)集群，是建設(shè)“金融大數(shù)據(jù)服務(wù)平臺(tái)”的基礎(chǔ)。利用多臺(tái)性能較為一般的服務(wù)器，組成一套基于HDFS和Map-Reduce機(jī)制的集群，并根據(jù)需要在其上安裝Hive、HBase、Sqoop、ZooKeeper等軟件。實(shí)現(xiàn)分析挖掘算法：支持Hadoop的分析

11、挖掘算法，是“金融大數(shù)據(jù)服務(wù)平臺(tái)”的一個(gè)關(guān)鍵組成部分。在利用傳統(tǒng)數(shù)據(jù)挖掘技術(shù)的基礎(chǔ)上，實(shí)現(xiàn)包括抽象的數(shù)學(xué)算法（如關(guān)聯(lián)算法、分類算法、聚類算法、時(shí)序分析算法等），以及在此基礎(chǔ)上針對金融業(yè)務(wù)的專業(yè)算法（如客戶行為特征模型、效果分析模型等），作為進(jìn)一步構(gòu)建抽象模型和金融專業(yè)模型的基礎(chǔ)。構(gòu)建分析挖掘模型：支持Hadoop的分析挖掘模型，是“金融大數(shù)據(jù)服務(wù)平臺(tái)”的另一關(guān)鍵組成部分。在上一步基礎(chǔ)上，快速構(gòu)建抽象的數(shù)學(xué)模型（如神經(jīng)網(wǎng)絡(luò)模型、事物關(guān)聯(lián)模型等），以及針對金融業(yè)務(wù)的專業(yè)模型（如精準(zhǔn)營銷模型、廣告效果評估模型等）。實(shí)現(xiàn)ETL工具：數(shù)據(jù)預(yù)處理也是“金融大數(shù)據(jù)服務(wù)平臺(tái)”需要解決的問題之一。利用市場上已有

12、的數(shù)據(jù)預(yù)處理成果，研發(fā)一個(gè)支持Hadoop的ETL工具，實(shí)現(xiàn)包括規(guī)范化、數(shù)據(jù)抽樣、數(shù)據(jù)排序、匯總、指定因變量、屬性變換、數(shù)據(jù)替換、數(shù)據(jù)降維、數(shù)據(jù)集拆分、離散化等功能。實(shí)現(xiàn)可視化展現(xiàn)工具：“金融大數(shù)據(jù)服務(wù)平臺(tái)”上的分析結(jié)果將主要采用豐富多彩的可視化形式向用戶進(jìn)行可視化展現(xiàn)。利用市場上已有的相關(guān)技術(shù)和產(chǎn)品，研發(fā)一個(gè)可視化展現(xiàn)工具，可以支持：分類樹圖、視覺聚類圖、關(guān)聯(lián)圖、序列圖、回歸圖等多種可視化形式。實(shí)現(xiàn)金融業(yè)務(wù)應(yīng)用：將分析挖掘的結(jié)果集成到具體的銀行業(yè)務(wù)系統(tǒng)中，如精準(zhǔn)營銷系統(tǒng)、統(tǒng)一廣告發(fā)布平臺(tái)、業(yè)務(wù)體驗(yàn)優(yōu)化系統(tǒng)、客戶綜合管理系統(tǒng)、風(fēng)險(xiǎn)控制系統(tǒng)等。具體方式既可以是實(shí)現(xiàn)某個(gè)獨(dú)立的新業(yè)務(wù)系統(tǒng)，也可以是在

13、現(xiàn)有系統(tǒng)中實(shí)現(xiàn)一個(gè)或多個(gè)新模塊，從而擴(kuò)充或提升原有的功能。本項(xiàng)目的具體業(yè)務(wù)目標(biāo)包括：精準(zhǔn)營銷：綜合分析客戶行為特征信息和金融業(yè)務(wù)分類信息，可以得到客戶最有可能感興趣的業(yè)務(wù)以及業(yè)務(wù)最有可能的潛在客戶群，以此為基礎(chǔ)有針對性地開展?fàn)I銷；統(tǒng)一廣告發(fā)布：分析廣告效果分析信息，可以得到各類型、各渠道的最佳配置或薄弱環(huán)節(jié)，以此為基礎(chǔ)改變廣告策略、提升廣告效果；業(yè)務(wù)體驗(yàn)優(yōu)化：分析客戶業(yè)務(wù)體驗(yàn)信息、客戶流失信息，可以得到客戶在各業(yè)務(wù)、各環(huán)節(jié)的轉(zhuǎn)化率，分析流失原因，在此基礎(chǔ)上改進(jìn)業(yè)務(wù)流程、提高服務(wù)質(zhì)量，以提升客戶滿意度；客戶流失分析：綜合分析客戶行為特征信息、客戶流失信息及其它信息，得到客戶的全方面分析結(jié)果，在此

14、基礎(chǔ)上改進(jìn)客戶關(guān)系管理的效率和水平；風(fēng)險(xiǎn)分析：分析客戶屬性數(shù)據(jù)、風(fēng)險(xiǎn)分析數(shù)據(jù)，可以得到存在較高風(fēng)險(xiǎn)可能的客戶群體和業(yè)務(wù)信息，在此基礎(chǔ)上區(qū)分特別關(guān)注目標(biāo)、制定預(yù)防措施，降低這些客戶和業(yè)務(wù)可能帶來的沖擊 。四. 技術(shù)方案4.1 總體架構(gòu)“金融大數(shù)據(jù)服務(wù)平臺(tái)”由數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、分析挖掘?qū)雍蜆I(yè)務(wù)應(yīng)用層組成，總體框架如下圖所示：數(shù)據(jù)采集層：負(fù)責(zé)從各類數(shù)據(jù)源中提取、導(dǎo)入數(shù)據(jù)，主要產(chǎn)品包括：動(dòng)態(tài)采集SDK、日志提取分析工具、外部數(shù)據(jù)導(dǎo)入工具、其它數(shù)據(jù)提取工具等。數(shù)據(jù)存儲(chǔ)層：負(fù)責(zé)將預(yù)處理后的數(shù)據(jù)進(jìn)行存儲(chǔ)，主要由可進(jìn)行橫向擴(kuò)展的Hadoop集群構(gòu)成，另外輔之以關(guān)系數(shù)據(jù)庫作數(shù)據(jù)中轉(zhuǎn)、元數(shù)據(jù)存儲(chǔ)、供某些軟件

15、使用等用途。分析挖掘?qū)樱贺?fù)責(zé)金融數(shù)據(jù)經(jīng)建模、挖掘、評估和發(fā)布，核心是實(shí)現(xiàn)兩類數(shù)據(jù)挖掘的算法和模型：一類是抽象的數(shù)學(xué)算法及模型，另一類是在此基礎(chǔ)上針對金融業(yè)務(wù)的專業(yè)算法和模型。業(yè)務(wù)應(yīng)用層：負(fù)責(zé)將分析挖掘結(jié)果的可視化展現(xiàn)形式，集成到相應(yīng)的金融業(yè)務(wù)系統(tǒng)中。另外，在數(shù)據(jù)采集層和數(shù)據(jù)存儲(chǔ)層之間，由ETL工具負(fù)責(zé)數(shù)據(jù)預(yù)處理任務(wù)；在分析挖掘?qū)雍蜆I(yè)務(wù)應(yīng)用層之間，由可視化展現(xiàn)工具負(fù)責(zé)分析挖掘結(jié)果的可視化展現(xiàn)任務(wù)。4.2 技術(shù)架構(gòu)“金融大數(shù)據(jù)服務(wù)平臺(tái)”的技術(shù)架構(gòu)采用多層次形式，如下圖所示：數(shù)據(jù)源包括各類動(dòng)態(tài)數(shù)據(jù)（如行為數(shù)據(jù)）、靜態(tài)數(shù)據(jù)（如屬性數(shù)據(jù)）、日志文件以及其它數(shù)據(jù)等，可以是結(jié)構(gòu)化的、半結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)

16、據(jù)。在數(shù)據(jù)采集層，各采集工具根據(jù)具體情況采用不同的技術(shù)實(shí)現(xiàn)方式，如對動(dòng)態(tài)數(shù)據(jù)的采集，使用C/S架構(gòu)的客戶端采集SDK，對日志文件使用Map-Reduce方式的分析提取工具，對靜態(tài)數(shù)據(jù)按Sqoop方式從關(guān)系數(shù)據(jù)導(dǎo)入，對其它數(shù)據(jù)則使用定制化程序，等等。ETL（數(shù)據(jù)抽取、轉(zhuǎn)換、加載）將采集到的各種數(shù)據(jù)整合成統(tǒng)一的數(shù)據(jù)模型，包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)規(guī)約、數(shù)據(jù)集成等。為加快項(xiàng)目進(jìn)度和保證項(xiàng)目質(zhì)量，初步?jīng)Q定在某個(gè)支持Hadoop的開源ETL產(chǎn)品（如Kettle）的基礎(chǔ)上進(jìn)行二次開發(fā)。在數(shù)據(jù)存儲(chǔ)層，Hadoop集群使用Hadoop技術(shù)生態(tài)圈的諸多關(guān)鍵技術(shù)，包括：分布式存儲(chǔ)HDFS系統(tǒng)、并行處理Map-R

17、educe機(jī)制、No-SQL數(shù)據(jù)庫Hbase、數(shù)據(jù)倉庫Hive、協(xié)調(diào)系統(tǒng)ZooKeeper等。此外，還需用到關(guān)系數(shù)據(jù)庫擔(dān)任數(shù)據(jù)中轉(zhuǎn)、元數(shù)據(jù)存儲(chǔ)、供某些軟件使用等用途。分析挖掘?qū)拥娜蝿?wù)是在Hadoop集群實(shí)現(xiàn)各種分析挖掘算法和分析挖掘模型。算法和模型有兩類，一類是抽象的數(shù)學(xué)算法（如聚類算法、關(guān)聯(lián)分析算法）和數(shù)學(xué)模型（如神經(jīng)網(wǎng)絡(luò)模型、事物關(guān)聯(lián)模型等），另一類是此基礎(chǔ)上構(gòu)建的專業(yè)算法（如金融客戶分類算法、效果評估算法）和專業(yè)模型（如客戶行為特征模型、效果評估模型）。為加快項(xiàng)目進(jìn)度、保證項(xiàng)目質(zhì)量和擴(kuò)大適應(yīng)范圍，初步?jīng)Q定在SAS和R的分析挖掘包的基礎(chǔ)上實(shí)現(xiàn)算法接口，并利用算法接口構(gòu)建大部分模型，其余部分

18、視實(shí)際情況而以自主研發(fā)方式構(gòu)建?？梢暬宫F(xiàn)將分析挖掘結(jié)果面向用戶進(jìn)行各種可視化展現(xiàn)（如散點(diǎn)圖、直方圖、分布圖、餅圖等），分析挖掘的質(zhì)量也決定著展現(xiàn)的質(zhì)量。為加快項(xiàng)目進(jìn)度，初步?jīng)Q定在某個(gè)可視化展現(xiàn)開源產(chǎn)品（如R的圖形包）的基礎(chǔ)上進(jìn)行二次開發(fā)。在業(yè)務(wù)實(shí)現(xiàn)層，分析挖掘結(jié)果集成到相應(yīng)的金融業(yè)務(wù)系統(tǒng)中。具體方式既可以是實(shí)現(xiàn)某個(gè)獨(dú)立的新業(yè)務(wù)系統(tǒng)，也可以是在現(xiàn)有系統(tǒng)中實(shí)現(xiàn)一個(gè)或多個(gè)新模塊，從而擴(kuò)充或提升原有的功能。4.3 物理架構(gòu)“金融大數(shù)據(jù)服務(wù)平臺(tái)”采用集中部署方式，硬件環(huán)境由Hadoop集群服務(wù)器和數(shù)據(jù)庫集群組成，如下圖所示：其中，Hadoop集群包括兩個(gè)NameNode（主從方式）和多個(gè)DataNod

19、e（最少3個(gè)，以后根據(jù)需要增加）；NameNode用于管理數(shù)據(jù)在DataNode上的分配，而DataNode用于數(shù)據(jù)的存儲(chǔ)。NameNode和DataNode采用相同的配置，運(yùn)營環(huán)境中建議為：CPU為2塊*16核，主頻22.5GHz，內(nèi)存128G，硬盤12塊*2T。數(shù)據(jù)庫集群包括兩臺(tái)數(shù)據(jù)庫服務(wù)器，采用雙機(jī)熱備方式。其配置建議為：CPU為2塊*16核，主頻22.5GHz，內(nèi)存64G，硬盤12塊*2T。五. 項(xiàng)目人員組織5.1 項(xiàng)目組織結(jié)構(gòu)項(xiàng)目領(lǐng)導(dǎo)組項(xiàng)目經(jīng)理大平臺(tái)組系統(tǒng)開發(fā)組業(yè)務(wù)組各組組成及職責(zé)為：項(xiàng)目領(lǐng)導(dǎo)組：由公司高管、部門經(jīng)理擔(dān)任，負(fù)責(zé)組織、監(jiān)督、協(xié)調(diào)項(xiàng)目的進(jìn)行；項(xiàng)目經(jīng)理：由項(xiàng)目領(lǐng)導(dǎo)組任命，基

20、本職責(zé)是確保項(xiàng)目目標(biāo)準(zhǔn)時(shí)、優(yōu)質(zhì)地完成；大平臺(tái)組：負(fù)責(zé)金融大數(shù)據(jù)服務(wù)平臺(tái)的相關(guān)事務(wù)，包括搭建Hadoop大數(shù)據(jù)集群、實(shí)現(xiàn)數(shù)據(jù)挖掘算法、構(gòu)建業(yè)務(wù)模型等；業(yè)務(wù)組：承擔(dān)與金融業(yè)務(wù)相關(guān)的事務(wù)，包括市場調(diào)研、對金融業(yè)務(wù)系統(tǒng)、功能性產(chǎn)品的需求分析等；系統(tǒng)開發(fā)組：承擔(dān)對各產(chǎn)品及業(yè)務(wù)系統(tǒng)的開發(fā)任務(wù)，包括SDK產(chǎn)品、ETL工具、可視化展現(xiàn)工具、各個(gè)金融業(yè)務(wù)系統(tǒng)的開發(fā)等。5.2 項(xiàng)目人員配置組別級別人數(shù)備注項(xiàng)目領(lǐng)導(dǎo)組高級管理人員1或多人由公司高管、部門經(jīng)理兼任項(xiàng)目經(jīng)理中級管理人員1大平臺(tái)組系統(tǒng)設(shè)計(jì)員多人技術(shù)專家實(shí)施人員多人業(yè)務(wù)組需求分析員每產(chǎn)品或系統(tǒng)1人一般由組長兼任系統(tǒng)設(shè)計(jì)員每產(chǎn)品或系統(tǒng)1人業(yè)務(wù)實(shí)現(xiàn)組系統(tǒng)設(shè)計(jì)員每

21、產(chǎn)品或系統(tǒng)1人一般由組長兼任編碼人員多人測試人員多人實(shí)施人員多人六. 項(xiàng)目進(jìn)度計(jì)劃“金融大數(shù)據(jù)服務(wù)平臺(tái)”的整體進(jìn)度分項(xiàng)目規(guī)劃、需求調(diào)研、項(xiàng)目實(shí)施、推廣及服務(wù)共四個(gè)階段。項(xiàng)目規(guī)劃階段自2014年11月3日至2014年11月28日，共20個(gè)工作日。需求調(diào)研階段自2014年11月24日至2015年3月20日，共85個(gè)工作日項(xiàng)目實(shí)施階段自2014年11月10日至2015年5月29日，共145個(gè)工作日（含元旦、春節(jié)、勞動(dòng)節(jié)等法定節(jié)假日），按SDK產(chǎn)品、數(shù)據(jù)采集、集群搭建、算法層研發(fā)、構(gòu)建模型、ETL工具、可視化展現(xiàn)工具、統(tǒng)一廣告發(fā)布系統(tǒng)、精準(zhǔn)營銷系統(tǒng)、業(yè)務(wù)體驗(yàn)優(yōu)化系統(tǒng)、客戶流失分析系統(tǒng)和風(fēng)險(xiǎn)分析系統(tǒng)共十

22、二個(gè)小項(xiàng)分別進(jìn)行。推廣及服務(wù)階段，每一項(xiàng)功能性產(chǎn)品或金融業(yè)務(wù)系統(tǒng)完成后，即可開始進(jìn)行推廣，并一直持續(xù)進(jìn)行。時(shí)間進(jìn)度如下圖，詳細(xì)請參見“金融大數(shù)據(jù)服務(wù)平臺(tái)進(jìn)度.xls”和“金融大數(shù)據(jù)服務(wù)平臺(tái).mpp”。注：市場推廣和服務(wù)的結(jié)束時(shí)間實(shí)為“持續(xù)”。七. 財(cái)務(wù)及設(shè)備計(jì)劃暫無。八. 風(fēng)險(xiǎn)管理軟件項(xiàng)目開發(fā)具有連續(xù)性、復(fù)雜性、少參照性、無規(guī)范標(biāo)準(zhǔn)等特點(diǎn)，風(fēng)險(xiǎn)程度較高。對于“金融大數(shù)據(jù)服務(wù)平臺(tái)”，不但涵蓋范圍廣，包含產(chǎn)品多，而且技術(shù)要求高，業(yè)務(wù)需求復(fù)雜，因此尤其需要重視各種風(fēng)險(xiǎn)。以下是“金融大數(shù)據(jù)服務(wù)平臺(tái)”可能遇到的風(fēng)險(xiǎn)及其防預(yù)措施：l 合同風(fēng)險(xiǎn)：與客戶簽訂的合同不科學(xué)、不嚴(yán)謹(jǐn)，與客戶在項(xiàng)目邊界和各方面責(zé)任界

23、定不清等是影響項(xiàng)目成敗的重大因素之一。預(yù)防措施是項(xiàng)目建設(shè)之初，要全面準(zhǔn)確地了解合同各條款的內(nèi)容、盡早就模糊或不明確的條款簽訂補(bǔ)充協(xié)議。l 需求變更風(fēng)險(xiǎn)：這是軟件項(xiàng)目經(jīng)常發(fā)生的事情。一個(gè)看來很有利可圖的項(xiàng)目，往往由于無限度的需求變更而讓開發(fā)方苦不堪言，甚至最終虧損。預(yù)防措施是項(xiàng)目建設(shè)之初，就和客戶書面約定好需求變更控制流程、記錄并歸檔客戶的需求變更申請。l 溝通不良風(fēng)險(xiǎn)：項(xiàng)目組與項(xiàng)目各干系方溝通不良，是影響項(xiàng)目順利進(jìn)展的一個(gè)非常重要的因素。預(yù)防措施是項(xiàng)目建設(shè)之初就和項(xiàng)目各干系方約定好溝通的渠道和方式、項(xiàng)目建設(shè)過程中多和項(xiàng)目各干系方交流和溝通、注意培養(yǎng)和鍛煉自身的溝通技巧。l 缺乏支持風(fēng)險(xiǎn)：上級領(lǐng)

24、導(dǎo)的支持是項(xiàng)目獲得資源（包括人力資源、財(cái)力資源和物料資源等）的有效保障，也是項(xiàng)目遇到困難時(shí)項(xiàng)目組最強(qiáng)有力的“后臺(tái)支撐”。預(yù)防措施是主動(dòng)爭取上級對項(xiàng)目的重視、確保和上級領(lǐng)導(dǎo)的溝通渠道暢通、經(jīng)常向上級領(lǐng)導(dǎo)匯報(bào)工作進(jìn)展。l 進(jìn)度風(fēng)險(xiǎn)：所有項(xiàng)目都對進(jìn)度有著嚴(yán)格要求，項(xiàng)目進(jìn)度的延遲意味著違約或市場機(jī)會(huì)的錯(cuò)失。預(yù)防措施一般是分階段交付產(chǎn)品、增加項(xiàng)目監(jiān)控的頻度和力度、多運(yùn)用可行的辦法保證工作質(zhì)量避免返工。l 質(zhì)量風(fēng)險(xiǎn)：項(xiàng)目對軟件質(zhì)量也都有很高要求，需要密切關(guān)注項(xiàng)目的質(zhì)量風(fēng)險(xiǎn)。預(yù)防措施一般是經(jīng)?；ハ嘟涣鞴ぷ鞒晒⒉捎梅弦蟮拈_發(fā)流程、認(rèn)真組織對產(chǎn)出物的檢查和評審、計(jì)劃和組織嚴(yán)格的獨(dú)立測試等。l 系統(tǒng)性能風(fēng)險(xiǎn)：一般情況下，項(xiàng)目對性能要求也很高，這時(shí)項(xiàng)目組就需要關(guān)注項(xiàng)目的性能風(fēng)險(xiǎn)。預(yù)防措施一般是在進(jìn)行項(xiàng)目開發(fā)之前先設(shè)計(jì)和搭建出系統(tǒng)的基礎(chǔ)架構(gòu)并進(jìn)行性能測試，確保架構(gòu)符合性能指標(biāo)后再進(jìn)行后續(xù)工作。l 工具風(fēng)險(xiǎn)：軟件項(xiàng)目開發(fā)和實(shí)施過