SMARTBI-廣東聯(lián)通數(shù)據(jù)中心-方案交流V

金倉(cāng)思邁特商業(yè)智能平臺(tái)

廣東省聯(lián)通數(shù)據(jù)中心交流聯(lián)系我們:

support@S

公司簡(jiǎn)介產(chǎn)品功能模塊介紹數(shù)據(jù)中心建設(shè)方案相關(guān)項(xiàng)目經(jīng)驗(yàn)介紹我們的優(yōu)勢(shì)2主題思邁特簡(jiǎn)介3中國(guó)電子科技集團(tuán)（CETC）成員公司公司背景公司定位BI產(chǎn)商，國(guó)內(nèi)商業(yè)智能產(chǎn)品領(lǐng)域的開(kāi)拓者和領(lǐng)導(dǎo)者技術(shù)力量團(tuán)隊(duì)核心成員在BI產(chǎn)品研發(fā)領(lǐng)域具有5-10年經(jīng)歷，具備豐富的BI平臺(tái)產(chǎn)品研發(fā)經(jīng)驗(yàn)代理商分布公司總部及研發(fā)中心在廣州，在華北、華中、華東均有合作伙伴與代理商Smartbi，十年打造4菲奈特軟件東南融通思邁特軟件1997年之前銀行/證券/保險(xiǎn)核心系統(tǒng)1999年BI.OfficeV1.0BI項(xiàng)目實(shí)施服務(wù)2008-2011年10月FreeQuery查詢(xún)平臺(tái)（J2EE技術(shù)）BI.OfficeV5-V6（J2EE技術(shù)）獲得BI金融行業(yè)壟斷地位廣泛應(yīng)用于政府、企業(yè)等1997年BI理論研究2000年BI.OfficeV2.0

（COM技術(shù)）

BI項(xiàng)目實(shí)施服務(wù)2001年~2007年BI.OfficeV3.X-4.0（COM+J2EE技術(shù)）BI項(xiàng)目實(shí)施服務(wù)BI產(chǎn)品OEM服務(wù)2011年11月-2012年SmartbiV2.0SmartbiMobileV2.0專(zhuān)注行業(yè)：軍隊(duì)、政府、集團(tuán)公司BI平臺(tái)產(chǎn)品發(fā)展里程碑始終一個(gè)團(tuán)隊(duì)10+年12+行業(yè)100+BI客戶(hù)200+BI項(xiàng)目銀行26保險(xiǎn)/證券10企業(yè)30稅務(wù)13政府/事業(yè)單位19電信/移動(dòng)9合計(jì)100+典型客戶(hù)5

典型客戶(hù)6

政府、公共事業(yè)金融企業(yè)合作伙伴北京人大金倉(cāng)信息技術(shù)股份有限公司文思創(chuàng)新軟件技術(shù)有限公司軟通動(dòng)力信息技術(shù)（集團(tuán)）有限公司神州數(shù)碼融信軟件有限公司東華軟件股份有限公司博彥網(wǎng)鼎信息技術(shù)有限公司內(nèi)蒙古縱橫偉業(yè)軟件技術(shù)與服務(wù)有限公司北京科藍(lán)軟件系統(tǒng)有限公司北京能博文科技發(fā)展有限公司北京平步科技有限公司7廈門(mén)融通信息技術(shù)有限公司廈門(mén)同步天成軟件有限公司廈門(mén)市美亞柏科信息股份有限公司廣東省信息工程有限公司廣州從興電子開(kāi)發(fā)有限公司廣州市網(wǎng)迅信息技術(shù)有限公司廣州市都享信息科技有限公司廣州畢盛軟件有限公司廣州科韻信息股份有限公司上海泓智信息科技有限公司湖南省慧祥科技開(kāi)發(fā)有限公司公司簡(jiǎn)介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項(xiàng)目經(jīng)驗(yàn)介紹我們的優(yōu)勢(shì)8主題應(yīng)用現(xiàn)狀系統(tǒng)目標(biāo)整體架構(gòu)規(guī)劃技術(shù)架構(gòu)規(guī)劃應(yīng)用框架規(guī)劃數(shù)據(jù)架構(gòu)及建模數(shù)據(jù)管控建設(shè)路線(xiàn)圖政企客戶(hù)部企業(yè)戰(zhàn)略部人力資源部財(cái)務(wù)部客戶(hù)服務(wù)部技術(shù)部網(wǎng)絡(luò)發(fā)展部市場(chǎng)部審計(jì)部采購(gòu)事業(yè)部下屬機(jī)構(gòu)其他部可能面臨的問(wèn)題數(shù)據(jù)口徑不統(tǒng)一,可信度低管理決策數(shù)據(jù)過(guò)于分散,數(shù)據(jù)來(lái)源多樣化數(shù)據(jù)缺乏標(biāo)準(zhǔn),難以整合缺乏數(shù)據(jù)管控體系,數(shù)據(jù)質(zhì)量難以保證總公司二級(jí)機(jī)構(gòu)一級(jí)機(jī)構(gòu)決策層手工數(shù)據(jù)采集數(shù)據(jù)整合的價(jià)值政企客戶(hù)部企業(yè)戰(zhàn)略部人力資源部財(cái)務(wù)部客戶(hù)服務(wù)部技術(shù)部網(wǎng)絡(luò)發(fā)展部市場(chǎng)部審計(jì)部采購(gòu)事業(yè)部下屬機(jī)構(gòu)其他部決策層數(shù)據(jù)中心（ODS&EDW）專(zhuān)題數(shù)據(jù)集市專(zhuān)題數(shù)據(jù)集市專(zhuān)題數(shù)據(jù)集市管理決策所需數(shù)據(jù)集中管理，來(lái)源唯一形成業(yè)務(wù)單一視圖，數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)管控體系健全,數(shù)據(jù)質(zhì)量得以保證

數(shù)據(jù)整合后信息流簡(jiǎn)化共享數(shù)據(jù)利用率提高數(shù)據(jù)中心定位與目標(biāo)現(xiàn)實(shí)需要清理和解決基礎(chǔ)數(shù)據(jù)不一致問(wèn)題，改進(jìn)數(shù)據(jù)質(zhì)量，提高數(shù)據(jù)的可信度；整合基礎(chǔ)數(shù)據(jù)，形成管理決策所需的“單一數(shù)據(jù)源”，加強(qiáng)信息共享，提高決策效率；減少重復(fù)勞動(dòng)，降低整體信息獲取成本（人工和IT）；促使已有IT設(shè)施發(fā)揮更大作用。未來(lái)價(jià)值支持精細(xì)化管理；支持績(jī)效考核，提高內(nèi)部管理能力；提供數(shù)據(jù)挖掘以獲得對(duì)全局狀況的洞察力，持續(xù)支持科學(xué)、量化的管理決策。企業(yè)級(jí)數(shù)據(jù)整合是一種增強(qiáng)全行商業(yè)智能的解決方案和戰(zhàn)略管理工具，它支持有遠(yuǎn)見(jiàn)的決策系統(tǒng)目標(biāo)以數(shù)據(jù)為基礎(chǔ)、以模型為支撐、以應(yīng)用為驅(qū)動(dòng)、全面管理信息資產(chǎn)統(tǒng)一咨詢(xún)實(shí)施方法統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一數(shù)據(jù)模型統(tǒng)一數(shù)據(jù)整合平臺(tái)統(tǒng)一數(shù)據(jù)存儲(chǔ)平臺(tái)統(tǒng)一數(shù)據(jù)應(yīng)用平臺(tái)統(tǒng)一數(shù)據(jù)管控平臺(tái)規(guī)范系統(tǒng)服務(wù)流程及標(biāo)準(zhǔn)高效信息資源獲取渠道快速業(yè)務(wù)應(yīng)用響應(yīng)平臺(tái)運(yùn)營(yíng)監(jiān)控及決策支撐績(jī)效管理支撐資產(chǎn)管理及運(yùn)營(yíng)中心總體目標(biāo)可落地咨詢(xún)規(guī)劃服務(wù)真正為客戶(hù)創(chuàng)造價(jià)值企業(yè)愿景可落地咨詢(xún)規(guī)劃實(shí)施執(zhí)行一般咨詢(xún)規(guī)劃咨詢(xún)與實(shí)施脫節(jié)企業(yè)愿景無(wú)法落地咨詢(xún)與實(shí)施掛鉤企業(yè)愿景順利實(shí)施業(yè)務(wù)系統(tǒng)系統(tǒng)整體架構(gòu)ETL平臺(tái)前端展現(xiàn)工具及應(yīng)用發(fā)布平臺(tái)（SmartBI）數(shù)據(jù)庫(kù)財(cái)務(wù)預(yù)算OA數(shù)據(jù)補(bǔ)錄工具數(shù)據(jù)管控（數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理）ETL調(diào)度和監(jiān)控平臺(tái)高效、準(zhǔn)確的數(shù)據(jù)抽取、標(biāo)準(zhǔn)化和裝載全局?jǐn)?shù)據(jù)模型、數(shù)據(jù)倉(cāng)庫(kù)靈活、直觀(guān)、豐富的圖表數(shù)據(jù)展現(xiàn)應(yīng)用集成、界面集成、LDAP集成、單點(diǎn)登錄成熟的技術(shù)方案及專(zhuān)業(yè)實(shí)施團(tuán)隊(duì)統(tǒng)計(jì)分析報(bào)表管理運(yùn)營(yíng)監(jiān)控風(fēng)險(xiǎn)評(píng)估績(jī)效監(jiān)控?cái)?shù)據(jù)挖掘資產(chǎn)管理審計(jì)監(jiān)控商業(yè)智能系統(tǒng)&戰(zhàn)略績(jī)效管理數(shù)據(jù)標(biāo)準(zhǔn)管理成熟的行業(yè)解決方案及分析模板數(shù)據(jù)標(biāo)準(zhǔn)咨詢(xún)方法論實(shí)施方法論數(shù)據(jù)整合及管理服務(wù)區(qū)準(zhǔn)實(shí)時(shí)應(yīng)用支撐統(tǒng)一口徑支撐ETL服務(wù)支撐代碼標(biāo)準(zhǔn)化支撐數(shù)據(jù)質(zhì)量服務(wù)支撐基礎(chǔ)數(shù)據(jù)支撐增量數(shù)據(jù)支撐系統(tǒng)技術(shù)架構(gòu)偏分析型數(shù)據(jù)區(qū)DATAMART數(shù)據(jù)源HR計(jì)劃基礎(chǔ)數(shù)據(jù)模型應(yīng)用數(shù)據(jù)服務(wù)支撐報(bào)表應(yīng)用支撐查詢(xún)應(yīng)用支撐挖掘應(yīng)用支撐應(yīng)用分析型應(yīng)用決策應(yīng)用支撐增量監(jiān)控分析應(yīng)用支撐管理平臺(tái)數(shù)據(jù)服務(wù)平臺(tái)調(diào)度/監(jiān)控管理數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)化管理ETL全流程監(jiān)控系統(tǒng)級(jí)監(jiān)控應(yīng)用級(jí)監(jiān)控?cái)?shù)據(jù)質(zhì)量?jī)?yōu)化流程管理數(shù)據(jù)分析報(bào)告規(guī)則庫(kù)維護(hù)代碼標(biāo)準(zhǔn)化口徑標(biāo)準(zhǔn)化代碼標(biāo)準(zhǔn)映射抽取組件轉(zhuǎn)換組件加載組件代碼轉(zhuǎn)換組件映射組件代碼生成系統(tǒng)調(diào)度數(shù)據(jù)分發(fā)………….財(cái)務(wù)預(yù)算裝備配發(fā)T+1近實(shí)時(shí)實(shí)時(shí)管理型應(yīng)用專(zhuān)題數(shù)據(jù)服務(wù)類(lèi)應(yīng)用實(shí)時(shí)交易數(shù)據(jù)服務(wù)原始交易數(shù)據(jù)服務(wù)法定信息披露流程支撐STG/ODS/DW采購(gòu)指揮調(diào)度外部補(bǔ)錄工具商業(yè)智能集成展現(xiàn)框架應(yīng)用規(guī)劃總賬財(cái)務(wù)會(huì)計(jì)報(bào)表固定資產(chǎn)成本管理現(xiàn)金管理應(yīng)收管理應(yīng)付管理產(chǎn)品管理客戶(hù)管理渠道管理營(yíng)銷(xiāo)管理預(yù)算管理管理會(huì)計(jì)數(shù)據(jù)倉(cāng)庫(kù)（DW）運(yùn)營(yíng)管理系統(tǒng)關(guān)鍵指標(biāo)管理績(jī)效風(fēng)險(xiǎn)預(yù)警KPI指標(biāo)客戶(hù)發(fā)展與收益增值業(yè)務(wù)主題分析績(jī)效管理主題分析營(yíng)銷(xiāo)服務(wù)主題分析產(chǎn)品管理主題分析渠道運(yùn)營(yíng)主體分析決策支持系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)管理駕駛艙運(yùn)營(yíng)監(jiān)控管理工具績(jī)效考核評(píng)估體系語(yǔ)音業(yè)務(wù)主題分析整體的數(shù)據(jù)模型，而不是為報(bào)表而報(bào)表17統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)模型

長(zhǎng)期的成功不同的數(shù)據(jù)模型對(duì)于整體數(shù)據(jù)倉(cāng)庫(kù)的挑戰(zhàn)財(cái)務(wù)系統(tǒng)裝備配置系統(tǒng)統(tǒng)一的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)模型?其他系統(tǒng)每一個(gè)運(yùn)營(yíng)系統(tǒng)擁有自己的數(shù)據(jù)模型不統(tǒng)一的數(shù)據(jù)倉(cāng)庫(kù)模型導(dǎo)致：

孤立的數(shù)據(jù)孤島?數(shù)據(jù)建模：數(shù)據(jù)建模方法論邏輯模型業(yè)務(wù)主題域業(yè)務(wù)范圍業(yè)務(wù)邏輯化業(yè)務(wù)抽象對(duì)象分析主題規(guī)劃主題目標(biāo)域內(nèi)容概念模型原子層物理模型應(yīng)用模型注：在模型設(shè)計(jì)以及構(gòu)建的過(guò)程的同時(shí)，針對(duì)系統(tǒng)的開(kāi)發(fā)標(biāo)準(zhǔn)、模型的構(gòu)建標(biāo)準(zhǔn)、使用標(biāo)準(zhǔn)、擴(kuò)展規(guī)范、應(yīng)用設(shè)計(jì)規(guī)范、命名規(guī)則、使用規(guī)約等一系列的標(biāo)準(zhǔn)規(guī)范及規(guī)約并行定制，并逐步的完善。主題域邏輯模型基礎(chǔ)數(shù)據(jù)模型（原子層）基礎(chǔ)數(shù)據(jù)模型（匯總層）對(duì)象原子化共享對(duì)象唯一化原子對(duì)象物理化物理對(duì)象存儲(chǔ)化存儲(chǔ)對(duì)象來(lái)源化關(guān)鍵模型業(yè)務(wù)化原子模型分子化數(shù)據(jù)粒度匯總化應(yīng)用需求模型化應(yīng)用模型技術(shù)化多維模型關(guān)系化星型模型共享化共享模型來(lái)源化應(yīng)用模型數(shù)據(jù)模型建設(shè)19我們的數(shù)據(jù)模型建設(shè)方案：1.模式選擇：星型模型與3NF模型有機(jī)結(jié)合星型模型：解決主題分析、KPI等應(yīng)用；3NF模型：解決Ad-Hoc等應(yīng)用；2.建設(shè)方式：采用需求驅(qū)動(dòng)方法進(jìn)行建設(shè)。星型模型+范式模型業(yè)務(wù)需求驅(qū)動(dòng)方法有效管理+優(yōu)秀團(tuán)隊(duì)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型建設(shè)20邏輯數(shù)據(jù)模型建設(shè)完備性和方法，決定數(shù)據(jù)模型適應(yīng)業(yè)務(wù)變化的能力范式邏輯數(shù)據(jù)模型建設(shè)：21數(shù)據(jù)模型建設(shè)邏輯數(shù)據(jù)模型建設(shè)完備性和方法，決定數(shù)據(jù)模型適應(yīng)業(yè)務(wù)變化的能力范式邏輯數(shù)據(jù)模型建設(shè)：22數(shù)據(jù)模型建設(shè)保持維度的一致性、完整性、靈活性是維度模型建設(shè)成功的關(guān)鍵維度數(shù)據(jù)模型建設(shè)：集團(tuán)業(yè)務(wù)范圍產(chǎn)品類(lèi)別部門(mén)客戶(hù)區(qū)域渠道業(yè)務(wù)類(lèi)型客戶(hù)屬性供應(yīng)商…維度總線(xiàn)時(shí)間產(chǎn)品貢獻(xiàn)分析事實(shí)表渠道貢獻(xiàn)分析事實(shí)表資產(chǎn)負(fù)債分析事實(shí)表代理分析事實(shí)表風(fēng)險(xiǎn)分析事實(shí)表客戶(hù)貢獻(xiàn)分析事實(shí)表產(chǎn)品分析事實(shí)表市場(chǎng)競(jìng)爭(zhēng)分析事實(shí)表利潤(rùn)分析事實(shí)表市場(chǎng)細(xì)分分析事實(shí)表銷(xiāo)售分析事實(shí)表財(cái)務(wù)分析事實(shí)表供應(yīng)商分析事實(shí)表渠道分析事實(shí)表以事實(shí)表為基礎(chǔ)的數(shù)據(jù)集市插件…安全控制日志控制指標(biāo)目錄采集控制任務(wù)流程EnterpriseDataWarehouseSystemControlInformation控制表群以維度為尋址總線(xiàn)數(shù)據(jù)管控應(yīng)用框架項(xiàng)目實(shí)施工藝項(xiàng)目實(shí)施步驟咨詢(xún)實(shí)施公司簡(jiǎn)介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項(xiàng)目經(jīng)驗(yàn)介紹我們的優(yōu)勢(shì)26主題專(zhuān)業(yè)查詢(xún)、自助查詢(xún)中國(guó)式報(bào)表及平衡校驗(yàn)多維分析及分析報(bào)告儀表盤(pán)移動(dòng)應(yīng)用后臺(tái)管理（任務(wù)調(diào)度、分發(fā)、元數(shù)據(jù)）二次開(kāi)發(fā)和集成公司簡(jiǎn)介數(shù)據(jù)中心建設(shè)方案產(chǎn)品功能模塊介紹相關(guān)項(xiàng)目經(jīng)驗(yàn)介紹我們的優(yōu)勢(shì)27主題銀行ODS系統(tǒng)案例企業(yè)經(jīng)營(yíng)分析平臺(tái)項(xiàng)目案例企業(yè)業(yè)務(wù)數(shù)據(jù)中心案例28中國(guó)電信EDW-增值業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)中心建設(shè)方案目錄平臺(tái)可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7建設(shè)目標(biāo)與重點(diǎn)129

公司研發(fā)實(shí)力形成了成熟的研發(fā)體系，具備快速反應(yīng)及持續(xù)開(kāi)發(fā)的能力在電信業(yè)務(wù)技術(shù)規(guī)范研究領(lǐng)域處于國(guó)內(nèi)領(lǐng)先地位，編制標(biāo)準(zhǔn)與規(guī)范近15項(xiàng)國(guó)家專(zhuān)利2項(xiàng)，軟件產(chǎn)品登記數(shù)13個(gè)，計(jì)算機(jī)軟件著作權(quán)登記數(shù)9個(gè)，自主研發(fā)產(chǎn)品獲多項(xiàng)國(guó)家級(jí)，省、市級(jí)和中國(guó)電信級(jí)獎(jiǎng)項(xiàng)30規(guī)范管理專(zhuān)業(yè)實(shí)驗(yàn)室3G實(shí)驗(yàn)室增值業(yè)務(wù)實(shí)驗(yàn)室數(shù)據(jù)多媒體實(shí)驗(yàn)室軟件評(píng)測(cè)實(shí)驗(yàn)室產(chǎn)品與中國(guó)電信廣東研究院戰(zhàn)略合作公司人才、技術(shù)優(yōu)勢(shì)開(kāi)發(fā)知識(shí)庫(kù)公共組件庫(kù)技術(shù)規(guī)范質(zhì)量控制業(yè)務(wù)優(yōu)化UI設(shè)計(jì)以RUP指導(dǎo)項(xiàng)目管理、軟件開(kāi)發(fā)過(guò)程通過(guò)CMMI3級(jí)評(píng)估核心業(yè)務(wù)管理支撐系統(tǒng)(MSS）業(yè)務(wù)支撐系統(tǒng)(BSS）運(yùn)營(yíng)管理系統(tǒng)(OSS)業(yè)務(wù)交互平臺(tái)行業(yè)應(yīng)用產(chǎn)品質(zhì)量控制

公司產(chǎn)品與服務(wù)31IP移動(dòng)固定網(wǎng)絡(luò)MSSOSS系統(tǒng)集成BSSEDA主機(jī)集成網(wǎng)絡(luò)集成SAP二次開(kāi)發(fā)計(jì)費(fèi)帳務(wù)與結(jié)算IBSS/CRM余額管理平臺(tái)寬帶后臺(tái)統(tǒng)一充值VC服務(wù)開(kāi)通iSPPUMCCTMASODS增值業(yè)務(wù)平臺(tái)轉(zhuǎn)型業(yè)務(wù)平臺(tái)統(tǒng)一支付移動(dòng)支付DACS統(tǒng)一認(rèn)證商企平臺(tái)號(hào)百平臺(tái)114搜索導(dǎo)航全球眼(手機(jī)全球眼)平安城市商務(wù)領(lǐng)航行業(yè)應(yīng)用商務(wù)領(lǐng)航平臺(tái)應(yīng)用商務(wù)領(lǐng)航咨詢(xún)服務(wù)視頻監(jiān)控自助建站數(shù)字校園IT監(jiān)控金視通協(xié)同辦公系統(tǒng)SAP實(shí)施咨詢(xún)ICT業(yè)務(wù)與產(chǎn)品3G移動(dòng)應(yīng)用號(hào)百定制終端校園定制終端政企定制終端任翼行院線(xiàn)通演出票火車(chē)票生活搜訂酒店框架桌面火訊影視音樂(lè)游戲詞典QQ天氣預(yù)報(bào)動(dòng)漫圖鈴郵箱瀏覽器企業(yè)總機(jī)手機(jī)搜索189郵箱業(yè)務(wù)交互平臺(tái)MBOSS本期項(xiàng)目建設(shè)目標(biāo)本系統(tǒng)關(guān)注中國(guó)電信所有全國(guó)級(jí)增值業(yè)務(wù)的運(yùn)營(yíng)分析，實(shí)現(xiàn)原始業(yè)務(wù)運(yùn)營(yíng)平臺(tái)系統(tǒng)的數(shù)據(jù)采集、數(shù)據(jù)整合和聚合。提供對(duì)用戶(hù)消費(fèi)行為、業(yè)務(wù)推廣情況、SP/CP分析監(jiān)控方面的應(yīng)用，并實(shí)現(xiàn)跨業(yè)務(wù)、跨平臺(tái)的融合分析，為增值業(yè)務(wù)的深度運(yùn)營(yíng)提供支撐。32本期項(xiàng)目建設(shè)重點(diǎn)技術(shù)方面信息組裝與個(gè)性配數(shù)據(jù)質(zhì)量的全程把控知識(shí)庫(kù)的構(gòu)建系統(tǒng)間互動(dòng)加強(qiáng)流程的穿越數(shù)據(jù)運(yùn)營(yíng)的理念滲透到系統(tǒng)的技術(shù)實(shí)現(xiàn)中多維分析跨業(yè)務(wù)、跨平臺(tái)融合業(yè)務(wù)分析對(duì)于業(yè)務(wù)運(yùn)營(yíng)全方位的支撐逐步增強(qiáng)構(gòu)建基于云計(jì)算的數(shù)據(jù)平臺(tái)實(shí)現(xiàn)增值業(yè)務(wù)統(tǒng)一數(shù)據(jù)視圖技術(shù)方面數(shù)據(jù)質(zhì)量的全程把控業(yè)務(wù)方面KPI、綜合查詢(xún)、報(bào)表分析33目錄建設(shè)目標(biāo)與重點(diǎn)1總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7平臺(tái)可移植性23435平臺(tái)可移植性說(shuō)明層次產(chǎn)品名稱(chēng)適應(yīng)軟件平臺(tái)適應(yīng)硬件平臺(tái)開(kāi)發(fā)語(yǔ)言備注數(shù)據(jù)獲取Informaticawindows/linux/unix等HP/IBM/DELL等JAVA第三方ETL產(chǎn)品數(shù)據(jù)存儲(chǔ)EDW與平臺(tái)無(wú)關(guān)與平臺(tái)無(wú)關(guān)JAVA\PROC第三方產(chǎn)品DM與平臺(tái)無(wú)關(guān)與平臺(tái)無(wú)關(guān)JAVA\PROC第三方產(chǎn)品ORACLEwindows/linux/unix等HP/IBM/DELL等JAVA第三方產(chǎn)品[注:ORACLE和IBMDB2二者選一]IBMDB2windows/linux/unix等HP/IBM/DELL等JAVA第三方產(chǎn)品[][注:ORACLE和IBMDB2二者選一]數(shù)據(jù)應(yīng)用BIwindows/linux/unix等HP/IBM/DELL等JAVA第三方BI產(chǎn)品IDAPwindows/linux/unix等HP/IBM/DELL等JAVA自主研發(fā)產(chǎn)品(自助取數(shù))Tomcatwindows/linux/unix等HP/IBM/DELL等JAVA開(kāi)源平臺(tái)數(shù)據(jù)展現(xiàn)Portalwindows/linux/unix等HP/IBM/DELL等JAVA自主研發(fā)產(chǎn)品1)第三方軟件（Informatica、Oracle、DB2、BI等）不直接依賴(lài)于具體的硬件平臺(tái)、操作系統(tǒng)和特定的數(shù)據(jù)庫(kù)；2)自研產(chǎn)品（Portal、IDAP、EDW、DM）是基于JAVA開(kāi)發(fā)的，具有跨平臺(tái)性；目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2關(guān)鍵技術(shù)介紹4成功案例介紹5數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7總體方案介紹336數(shù)據(jù)采集：從NMSC、集團(tuán)IT系統(tǒng)、全國(guó)接入及管理網(wǎng)管系統(tǒng)及全國(guó)和各省增值業(yè)務(wù)平臺(tái)采集相關(guān)數(shù)據(jù)。

數(shù)據(jù)存儲(chǔ)：對(duì)以上各數(shù)據(jù)源的數(shù)據(jù)經(jīng)過(guò)清洗、轉(zhuǎn)換，按照各數(shù)據(jù)域主題組織、存儲(chǔ)，成為決策分析應(yīng)用的基礎(chǔ)。數(shù)據(jù)應(yīng)用：從業(yè)務(wù)運(yùn)營(yíng)全流程的各個(gè)環(huán)節(jié)提供相關(guān)應(yīng)用分析，為增值業(yè)務(wù)的深度運(yùn)營(yíng)提供全面的數(shù)據(jù)支撐。數(shù)據(jù)展現(xiàn)：為使用人員提供統(tǒng)一門(mén)戶(hù)，通過(guò)報(bào)表、圖形等形式簡(jiǎn)便、快捷地訪(fǎng)問(wèn)系統(tǒng)中的各種數(shù)據(jù)并進(jìn)行各種分析預(yù)測(cè)操作。總體方案介紹-總體架構(gòu)3738總體方案介紹-功能架構(gòu)總體方案介紹-設(shè)備邏輯架構(gòu)VAS-ODMS基于PC云解決方案云內(nèi)云外靈活部署、安全且易于擴(kuò)展；采用數(shù)據(jù)按需服務(wù)思想，原始文件進(jìn)去，分析報(bào)告出來(lái)；UNIX小型機(jī)按處理能力分成2個(gè)硬件分區(qū)，分別部署數(shù)據(jù)庫(kù)和接口服務(wù)器，兩臺(tái)構(gòu)成集群環(huán)境；多個(gè)PC服務(wù)器構(gòu)成云計(jì)算環(huán)境，提供ETL數(shù)據(jù)整合服務(wù)和應(yīng)用分析展現(xiàn)服務(wù)?？傮w方案介紹-設(shè)備邏輯架構(gòu)-云計(jì)算PC云邏輯架構(gòu)VMWARE虛擬化物理PC，構(gòu)造多虛擬節(jié)點(diǎn)群，建議按1:2虛擬化；虛擬節(jié)點(diǎn)部署ETL、OLAP、REPORT、應(yīng)用平臺(tái)程序；配置ETL和應(yīng)用平臺(tái)軟件，構(gòu)成集群和高可用性能力；根據(jù)數(shù)據(jù)處理規(guī)模，配置8個(gè)虛擬節(jié)點(diǎn)構(gòu)成計(jì)算云，4個(gè)集群，4個(gè)高可用性；根據(jù)系統(tǒng)用戶(hù)和應(yīng)用規(guī)模，配置6個(gè)節(jié)點(diǎn)構(gòu)成應(yīng)用云，實(shí)現(xiàn)負(fù)載均衡；可選用一臺(tái)未作虛擬化PC，作為云計(jì)算管控平臺(tái)及部署其它管控平臺(tái)。41總體方案介紹-應(yīng)用分布式架構(gòu)LoadBalancingRedundantCluster作為應(yīng)用集群請(qǐng)求指派，并根據(jù)應(yīng)用節(jié)點(diǎn)訪(fǎng)問(wèn)壓力的大小進(jìn)行負(fù)載均衡；LoadBalancing分為主從兩個(gè)實(shí)例，以備在運(yùn)行的實(shí)例出現(xiàn)問(wèn)題是可由后備實(shí)例接管；ApplicationServers包括Web應(yīng)用、報(bào)表服務(wù)、OLAP服務(wù)等，都以冗余的方式進(jìn)行分布式部署；DatabaseRedundantCluster冗余部署數(shù)據(jù)庫(kù)。42總體方案介紹-設(shè)備部署架構(gòu)分項(xiàng)設(shè)備型號(hào)配置要求數(shù)量數(shù)據(jù)庫(kù)/接口服務(wù)器HPRX8640同檔分區(qū)一：16c64G（100萬(wàn)tpmc）分區(qū)二：4c16G（20萬(wàn)tpmc）2應(yīng)用服務(wù)器HPBL685c同檔每臺(tái)刀片服務(wù)器配置:4CPU(4Core)/64G內(nèi)存/2*146G硬盤(pán)(其中4臺(tái)刀片安裝RedHat企業(yè)版5.3操作系統(tǒng),另外4臺(tái)安裝windows2008server系統(tǒng))8SAN交換機(jī)HP8/24SANSwitch同檔24口光纖交換機(jī)2磁盤(pán)陣列HPEVA6400同檔25T容量1磁帶庫(kù)HPMSL8096同檔5個(gè)LOT4驅(qū)動(dòng)器，55T容量,MSBF:200萬(wàn)次MTBF:100,000小時(shí)1防火墻華為1000E-U2同檔每臺(tái)配置4個(gè)多模GE光口2核心交換機(jī)華為9303同檔每臺(tái)8個(gè)多模GE光口，24GE電口2PC臺(tái)式機(jī)普通PCIntel酷睿2代1.86GHz或以上，雙核處理器，2MB緩存或以上；4GB或以上；320GB高速硬盤(pán)；19”LCD；32速DVDCOMBO；10/100/1000MB自適應(yīng)以太網(wǎng)網(wǎng)卡2數(shù)據(jù)庫(kù)ORACLE10g或DB2數(shù)據(jù)庫(kù)(2cpulicenses)forRAC1Windows操作系統(tǒng)WinSvrEnt2008R2CHNSOLPNLwindows操作系統(tǒng),25個(gè)CAL（連接許可License）6Linux操作系統(tǒng)RedHat企業(yè)版5.3Linux操作系統(tǒng)(4cpulicenses)4OLAPServerSQLSvrStd2008R2CHNSOLPNL1ProcOLAPServer,提供多維存儲(chǔ)和OLAP操作底層支持1報(bào)表工具biV6.0OLTP和OLAP的前端報(bào)表應(yīng)用和分析展示工具及門(mén)戶(hù)平臺(tái)1ETL工具InformaticaPowerCenter8.6ETL工具,數(shù)據(jù)集中整合、轉(zhuǎn)換、清洗和裝載1虛擬化軟件Vmware虛擬化軟件1備份軟件HeartsOneBackupEnterpriseEditionV8.0備份軟件1殺毒軟件McAfee防病毒軟件6WEB中間件Tomcat6.0Web應(yīng)用平臺(tái)（免費(fèi)）1目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2總體方案介紹3成功案例介紹5數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7關(guān)鍵技術(shù)介紹443關(guān)鍵技術(shù)介紹-數(shù)據(jù)模型44數(shù)據(jù)模型采用分層架構(gòu)，分為緩存層、整合層、匯總層、視圖層、應(yīng)用層，元數(shù)據(jù)層對(duì)整個(gè)數(shù)據(jù)生命周期進(jìn)行管控。關(guān)鍵技術(shù)介紹-Informatica(體系架構(gòu))RepositoryServicesGlobalRepositoryLocalRepositoryMetadataDirectoryEngineVisualizationServerPowerCenterRepositoryClientToolsDesignViewManageXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangeInformaticaDataIntegrationPlatformProviderXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangePortals,Dashboards,

andReportsConsumerIntegrationServiceUNIX(AIX,HPUX,Solaris,Linux)WindowsNT4.0,2000,2003DesignerNavigatorMetadataDiscoveryCollaborationToolsWorkflowMonitorDashboardsMetadataReporterVisualizationToolsRepositoryManagerMetadataAnalysisAdministrationConsoleWorkflowManagerPowerExchangePowerCenterConnectsSAPBWServiceWebServiceHub45關(guān)鍵技術(shù)介紹-Informatica(接口采集)抽取預(yù)處理加載NMSC網(wǎng)管WAP平臺(tái)189平臺(tái)工作流集中調(diào)度46關(guān)鍵技術(shù)介紹-Informatica(ETL工作流)47關(guān)鍵技術(shù)介紹-Informatica（網(wǎng)格）48關(guān)鍵技術(shù)介紹-Informatica（網(wǎng)格）通過(guò)ETL集群向?qū)?，?duì)虛擬化出的四臺(tái)ETL服務(wù)器進(jìn)行網(wǎng)格化，設(shè)計(jì)集群服務(wù)。49關(guān)鍵技術(shù)介紹-Informatica(分區(qū)并向)50目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4數(shù)據(jù)分析支撐工作方案6實(shí)施方案和平臺(tái)發(fā)展方向7成功案例介紹55152成功案例介紹－廣東電信省ODS－總體介紹數(shù)據(jù)質(zhì)量CRM系統(tǒng)計(jì)費(fèi)系統(tǒng)結(jié)算系統(tǒng)ETL匯總數(shù)據(jù)域臨時(shí)緩存域數(shù)據(jù)共享和數(shù)據(jù)訪(fǎng)問(wèn)域ODS核心層源系統(tǒng)映射層DM層(C網(wǎng)集市、各中心數(shù)據(jù)集市)EDW營(yíng)銷(xiāo)分析(整合TMAS和CMMS的統(tǒng)計(jì)功能)專(zhuān)題分析主題分析KPI統(tǒng)計(jì)報(bào)表渠道分析智能取數(shù)數(shù)據(jù)門(mén)戶(hù)接入……ODSEDW用戶(hù)資料數(shù)據(jù)量：支持全省5000萬(wàn)用戶(hù)（含C網(wǎng)）；數(shù)據(jù)存儲(chǔ)量：ODS15T左右；EDW40T左右；數(shù)據(jù)處理量：每天處理18000萬(wàn)條左右記錄數(shù)，以提供管理層每日快報(bào)、關(guān)鍵業(yè)務(wù)日監(jiān)測(cè)表等應(yīng)用每月處理數(shù)據(jù)量：5億條左右記錄，在用功能點(diǎn)超千種：每月8日12點(diǎn)前提供管理層運(yùn)營(yíng)分析會(huì)材料－信息月報(bào)（白皮書(shū)共326張，其中業(yè)務(wù)量白皮書(shū)：193張，收入白皮書(shū)：133張）每月5日12點(diǎn)前完成全業(yè)務(wù)指標(biāo)體系統(tǒng)計(jì)（統(tǒng)計(jì)指標(biāo)：361299個(gè)，其中移動(dòng)：111701個(gè)，固網(wǎng)：249598個(gè)）每月5日12點(diǎn)前整合全省BSS核心系統(tǒng)業(yè)務(wù)數(shù)據(jù)，為業(yè)務(wù)部門(mén)提供全省統(tǒng)一口徑的固定報(bào)表及動(dòng)態(tài)報(bào)表展示，提供全省統(tǒng)一報(bào)表658張，其中電定報(bào)表131張；多維分析主題共102個(gè)，其中移動(dòng)：38個(gè)，固網(wǎng)：64個(gè)實(shí)用情況：每日點(diǎn)擊率達(dá)到2萬(wàn)以上；報(bào)表日均訪(fǎng)問(wèn)次數(shù)：850次，高峰期報(bào)表日訪(fǎng)問(wèn)1713次，日均多維點(diǎn)擊500人次；接口：對(duì)外系統(tǒng)接口有30個(gè)左右；成功案例介紹－廣東電信省ODS－每日快報(bào)5354成功案例介紹－廣東電信省ODS－管理層看數(shù)55成功案例介紹－廣東電信省ODS－多維分析56成功案例介紹－廣東電信省ODS－關(guān)聯(lián)鉆透分析57成功案例介紹－廣東電信省ODS－多維分析58成功案例介紹－廣東電信省ODS－元數(shù)據(jù)搜索59

客戶(hù)關(guān)懷客戶(hù)維系客戶(hù)挽留數(shù)據(jù)倉(cāng)庫(kù)／客戶(hù)集市閉環(huán)流程效果評(píng)估目標(biāo)篩選方案審批營(yíng)銷(xiāo)執(zhí)行策劃執(zhí)行客戶(hù)理解數(shù)據(jù)集中方案設(shè)計(jì)腳本設(shè)計(jì)模型應(yīng)用定義問(wèn)題數(shù)據(jù)準(zhǔn)備模型構(gòu)建成功案例介紹－針對(duì)性營(yíng)銷(xiāo)及維系挽留系統(tǒng)－閉環(huán)流程根本上解決了分析決策與市場(chǎng)營(yíng)銷(xiāo)不暢的問(wèn)題，業(yè)務(wù)分析/人工挖掘的有價(jià)值知識(shí)，能直達(dá)渠道一線(xiàn)，形成營(yíng)銷(xiāo)/維系具體工單，并跟蹤評(píng)估，持續(xù)完善，實(shí)現(xiàn)“精準(zhǔn)營(yíng)銷(xiāo)”。截至目前已完成移動(dòng)/寬帶客戶(hù)細(xì)分、流失預(yù)警、欠費(fèi)提醒、交叉銷(xiāo)售、價(jià)值提升等多個(gè)模型，并在廣東全省推廣，均取得較好效果。60成功案例介紹－針對(duì)性營(yíng)銷(xiāo)及維系挽留系統(tǒng)－功能架構(gòu)省維挽系統(tǒng)由客戶(hù)挖掘、營(yíng)銷(xiāo)策劃、工單流轉(zhuǎn)和營(yíng)銷(xiāo)評(píng)估四個(gè)功能域組成客戶(hù)挖掘和營(yíng)銷(xiāo)評(píng)估功能域由EDW系統(tǒng)實(shí)現(xiàn)營(yíng)銷(xiāo)策劃、工單流轉(zhuǎn)、客戶(hù)管理、工作支持、營(yíng)銷(xiāo)共享池在省維挽系統(tǒng)實(shí)現(xiàn)在EDW系統(tǒng)上實(shí)現(xiàn)的功能，界面最終集成到省維挽系統(tǒng)，保證客戶(hù)經(jīng)理的使用感知61成功案例介紹－針對(duì)性營(yíng)銷(xiāo)及維系挽留系統(tǒng)－工作界面管理人員首頁(yè)重點(diǎn)展示：團(tuán)隊(duì)任務(wù)、團(tuán)隊(duì)績(jī)效指標(biāo)VIP客戶(hù)經(jīng)理首頁(yè)重點(diǎn)展示：待辦工單、客戶(hù)分布、個(gè)人績(jī)效指標(biāo)62成功案例介紹－針對(duì)性營(yíng)銷(xiāo)及維系挽留系統(tǒng)－價(jià)值提升模型我們面臨的價(jià)值問(wèn)題客戶(hù)價(jià)值象限？客戶(hù)潛在價(jià)值如何？如何提升客戶(hù)價(jià)值？有哪些手段？能否提供高潛在價(jià)值客戶(hù)名單和提升建議？能否提供當(dāng)前高價(jià)值客戶(hù)名單和關(guān)懷建議？?jī)r(jià)值提升模型能做什么模型分析報(bào)告會(huì)給出當(dāng)前客戶(hù)當(dāng)前價(jià)值、客戶(hù)潛在價(jià)值，客戶(hù)價(jià)值象限分布；提供高潛在價(jià)值客戶(hù)名單，并給出價(jià)值提升建議；提供高價(jià)值客戶(hù)名單，并給出延長(zhǎng)高價(jià)值建議；模型必備條件價(jià)值業(yè)務(wù)理解，給出當(dāng)前價(jià)值、潛在價(jià)值業(yè)務(wù)定義；客戶(hù)價(jià)值相關(guān)數(shù)據(jù)：基本資料、業(yè)務(wù)使用、客戶(hù)出賬、行為活躍趨勢(shì)；63成功案例介紹－針對(duì)性營(yíng)銷(xiāo)及維系挽留系統(tǒng)－價(jià)值提升模型模型關(guān)鍵變量基礎(chǔ)變量（輸入）在網(wǎng)時(shí)長(zhǎng)城鄉(xiāng)標(biāo)識(shí)服務(wù)分群會(huì)員級(jí)別服務(wù)等級(jí)行業(yè)分類(lèi)套餐檔次是否融合套餐余額積分衍生變量（輸入）消費(fèi)水平語(yǔ)音ARPU均值、趨勢(shì)增值A(chǔ)RPU均值、趨勢(shì)上網(wǎng)時(shí)長(zhǎng)均值、趨勢(shì)電信產(chǎn)品種類(lèi)電信產(chǎn)品個(gè)數(shù)新業(yè)務(wù)接受度客服咨詢(xún)次數(shù)異網(wǎng)ARPU均值、趨勢(shì)短信發(fā)送次數(shù)、趨勢(shì)彩信發(fā)送次數(shù)、趨勢(shì)特征變量（輸出）價(jià)值象限價(jià)值敏感度特征描述提升建議＋＝常用算法

Kohonen、Kmeans、時(shí)間序列64成功案例介紹－針對(duì)性營(yíng)銷(xiāo)及維系挽留系統(tǒng)－價(jià)值提升模型惠州政企客戶(hù)價(jià)值提升模型根據(jù)“物以類(lèi)聚，人以群分”的思想對(duì)惠州政企客戶(hù)進(jìn)行聚類(lèi)；對(duì)客戶(hù)價(jià)值象限進(jìn)行分區(qū)，結(jié)合每象限客戶(hù)使用業(yè)務(wù)的排名進(jìn)行業(yè)務(wù)推送；政企客戶(hù)經(jīng)理根據(jù)目標(biāo)客戶(hù)名單和推薦列表展開(kāi)提升工作；產(chǎn)品名稱(chēng)推薦群數(shù)推薦客戶(hù)數(shù)互聯(lián)星空371643企業(yè)信息上網(wǎng)服務(wù)321581查詢(xún)轉(zhuǎn)接301414CENTREX群組411400企業(yè)郵箱＋網(wǎng)絡(luò)硬盤(pán)套餐261307企業(yè)總機(jī)311247工商電子黃頁(yè)會(huì)員221224寬樂(lè)通信16779商務(wù)領(lǐng)航產(chǎn)品系列7531模型應(yīng)用應(yīng)用效果客戶(hù)維系后，成功推薦產(chǎn)品的比例達(dá)到45％，大大提升營(yíng)銷(xiāo)效果客戶(hù)價(jià)值平均ARPU上升了28％，效果明顯；65成功案例介紹－東莞電信云CRM－總體介紹關(guān)鍵創(chuàng)新點(diǎn)1.云端服務(wù)提供模式，用戶(hù)無(wú)需服務(wù)器，實(shí)現(xiàn)SaaS(軟件即服務(wù))，用戶(hù)只需簡(jiǎn)單操作即可開(kāi)戶(hù)使用2.云計(jì)算可租賃服務(wù)模式，虛擬化資源，實(shí)現(xiàn)按需使用，資源合理分配3.可容納百萬(wàn)級(jí)以上用戶(hù)數(shù)據(jù)，具備高可擴(kuò)展性、可用性及容災(zāi)性4.瘦客戶(hù)端，用戶(hù)可以通過(guò)普通廉價(jià)PC接入使用，同時(shí)提供手機(jī)終端應(yīng)用，實(shí)現(xiàn)移動(dòng)辦公。66成功案例介紹－東莞電信云CRM－邏輯架構(gòu)

為中小商企提供更好的服務(wù)提高用戶(hù)粘性體現(xiàn)并發(fā)揮固定電話(huà)、寬帶、手機(jī)移動(dòng)終端三者結(jié)合的優(yōu)勢(shì)，提高競(jìng)爭(zhēng)力合理營(yíng)運(yùn)模式下可直接增加營(yíng)收通過(guò)增值服務(wù)增值為完善物聯(lián)網(wǎng)提供補(bǔ)充，并從中獲得更大價(jià)值67成功案例介紹－東莞電信云CRM－關(guān)鍵技術(shù)分布式文件系統(tǒng)TOMCAT集群數(shù)據(jù)庫(kù)集群68成功案例介紹－東莞電信云CRM－示例目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4成功案例介紹5實(shí)施方案和平臺(tái)發(fā)展方向7數(shù)據(jù)分析支撐工作方案669數(shù)據(jù)分析支撐工作方案專(zhuān)題分析支撐臨時(shí)取數(shù)支撐臨時(shí)報(bào)表臨時(shí)數(shù)據(jù)提取臨時(shí)數(shù)據(jù)統(tǒng)計(jì)分析完善數(shù)據(jù)模型完善數(shù)據(jù)源完善分析主題數(shù)據(jù)挖掘支撐運(yùn)營(yíng)分析支撐WAP業(yè)務(wù)分析聲訊業(yè)務(wù)分析政企客戶(hù)分析融合套餐推薦客戶(hù)細(xì)分業(yè)務(wù)流失分析業(yè)務(wù)異動(dòng)分析為客戶(hù)提供從臨時(shí)取數(shù)到數(shù)據(jù)挖掘的全方位現(xiàn)場(chǎng)支撐70目錄建設(shè)目標(biāo)與重點(diǎn)1平臺(tái)可移植性2總體方案介紹3關(guān)鍵技術(shù)介紹4數(shù)據(jù)分析支撐工作方案6實(shí)成功案例介紹5實(shí)施方案和平臺(tái)發(fā)展方向771實(shí)施方案和平臺(tái)發(fā)展方向－項(xiàng)目維護(hù)支撐保障最終用戶(hù)現(xiàn)場(chǎng)支持研發(fā)工程師安裝調(diào)試備件替換現(xiàn)場(chǎng)技術(shù)支持遠(yuǎn)程技術(shù)支持項(xiàng)目技術(shù)文檔設(shè)計(jì)遠(yuǎn)程登錄解決故障遠(yuǎn)程系統(tǒng)性能評(píng)測(cè)支持工程師現(xiàn)場(chǎng)工程師72實(shí)施方案和平臺(tái)發(fā)展方向－平臺(tái)發(fā)展演進(jìn)73

搭建基于云計(jì)算的數(shù)據(jù)平臺(tái);形成增值業(yè)務(wù)統(tǒng)一數(shù)據(jù)視圖;提供對(duì)用戶(hù)消費(fèi)行為、業(yè)務(wù)推廣情況、SP/CP分析監(jiān)控方面的應(yīng)用;實(shí)現(xiàn)跨業(yè)務(wù)、跨平臺(tái)的融合分析。2010VAS-ODMS1.02011提升數(shù)據(jù)質(zhì)量豐富業(yè)務(wù)功能引入數(shù)據(jù)集市建立數(shù)據(jù)倉(cāng)庫(kù)信息門(mén)戶(hù)VAS-ODMS2.02012使用人員將逐漸從領(lǐng)導(dǎo)層擴(kuò)展到關(guān)鍵營(yíng)銷(xiāo)人員和一線(xiàn)營(yíng)銷(xiāo)人員;通過(guò)客戶(hù)分析及運(yùn)營(yíng)的建設(shè)，提升精確化營(yíng)銷(xiāo)能力；將信息沉淀為知識(shí)，強(qiáng)化知識(shí)庫(kù)建設(shè)；實(shí)現(xiàn)深入的數(shù)據(jù)挖掘和全面分析應(yīng)用，并最終實(shí)現(xiàn)對(duì)企業(yè)戰(zhàn)略、商業(yè)策略、運(yùn)營(yíng)管理的全面支撐。全程精確化營(yíng)銷(xiāo)

進(jìn)一步豐富數(shù)據(jù)源，奠定企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ);建立信息門(mén)戶(hù)，實(shí)現(xiàn)與OA門(mén)戶(hù)對(duì)接，擴(kuò)展系統(tǒng)使用范圍;深化數(shù)據(jù)集市應(yīng)用，提升專(zhuān)項(xiàng)業(yè)務(wù)應(yīng)用能力;完善經(jīng)營(yíng)分析數(shù)據(jù)質(zhì)量管理系統(tǒng)，提升數(shù)據(jù)管理能力;建立系統(tǒng)調(diào)優(yōu)機(jī)制，優(yōu)化系統(tǒng)性能.基礎(chǔ)框架架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)專(zhuān)業(yè)數(shù)據(jù)集市信息門(mén)戶(hù)數(shù)據(jù)質(zhì)量深入業(yè)務(wù)流程強(qiáng)化知識(shí)建設(shè)VAS-ODMS1.574華夏銀行ODS系統(tǒng)Agenda四、

ETL總體設(shè)計(jì)二、系統(tǒng)總體架構(gòu)設(shè)計(jì)三、數(shù)據(jù)模型設(shè)計(jì)系統(tǒng)調(diào)研目標(biāo)系統(tǒng)建設(shè)現(xiàn)狀系統(tǒng)調(diào)研成果一、系統(tǒng)信息調(diào)研系統(tǒng)調(diào)研工作目標(biāo)總體目標(biāo)：通過(guò)對(duì)華夏銀行現(xiàn)有IT數(shù)據(jù)環(huán)境的各方面的調(diào)研工作，充分理解項(xiàng)目需要實(shí)現(xiàn)的各項(xiàng)業(yè)務(wù)需求；掌握核心、信貸等關(guān)鍵系統(tǒng)的建設(shè)現(xiàn)狀，數(shù)據(jù)流向與系統(tǒng)間的關(guān)聯(lián)關(guān)系；對(duì)樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量探查分析，了解各系統(tǒng)的數(shù)據(jù)質(zhì)量情況。信息調(diào)研數(shù)據(jù)抽取平臺(tái)作為本項(xiàng)目的主要數(shù)據(jù)源，調(diào)研了解數(shù)據(jù)抽取平臺(tái)的總體建設(shè)情況數(shù)據(jù)抽取平臺(tái)中已經(jīng)完成了部分客戶(hù)信息的整合，需要對(duì)其進(jìn)行詳細(xì)的調(diào)研和理解調(diào)研各個(gè)業(yè)務(wù)系統(tǒng)的建設(shè)情況，了解業(yè)務(wù)系統(tǒng)的架構(gòu)、功能、模型、數(shù)據(jù)字典，特別是涉及到客戶(hù)信息的系統(tǒng)，作為重點(diǎn)調(diào)研對(duì)象數(shù)據(jù)質(zhì)量調(diào)研針對(duì)業(yè)務(wù)系統(tǒng)中的關(guān)鍵表、客戶(hù)的相關(guān)表進(jìn)行。其它表的數(shù)據(jù)質(zhì)量不作為本項(xiàng)目數(shù)據(jù)質(zhì)量調(diào)研的重點(diǎn)通過(guò)對(duì)數(shù)據(jù)質(zhì)量的數(shù)據(jù)的完整性、一致性、合法性、唯一性等多方面進(jìn)行探查，了解源系統(tǒng)各表的數(shù)據(jù)質(zhì)量情況，并為后續(xù)ODS模型設(shè)計(jì)提供依據(jù)數(shù)據(jù)抽取平臺(tái)現(xiàn)狀數(shù)據(jù)抽取平臺(tái)現(xiàn)有應(yīng)用軟件體系總體數(shù)據(jù)分布情況當(dāng)事人賬戶(hù)產(chǎn)品事件協(xié)議黃金系統(tǒng)基金系統(tǒng)電子國(guó)債系統(tǒng)TPOS系統(tǒng)支付寶系統(tǒng)三方存管系統(tǒng)理財(cái)系統(tǒng)銀保通系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財(cái)系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)bancslink系統(tǒng)對(duì)公客戶(hù)核心系統(tǒng)個(gè)貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)TPOS系統(tǒng)理財(cái)系統(tǒng)銀保通系統(tǒng)核心系統(tǒng)電子國(guó)債系統(tǒng)資金業(yè)務(wù)系統(tǒng)三方存管系統(tǒng)個(gè)貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)電子國(guó)債系統(tǒng)TPOS系統(tǒng)電話(huà)銀行系統(tǒng)金融IC卡系統(tǒng)核心系統(tǒng)黃金系統(tǒng)基金系統(tǒng)資金業(yè)務(wù)系統(tǒng)金融IC卡系統(tǒng)信貸管理系統(tǒng)電子國(guó)債系統(tǒng)資產(chǎn)負(fù)債管理系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財(cái)系統(tǒng)銀保通系統(tǒng)個(gè)貸核算和公積金系統(tǒng)核心系統(tǒng)擔(dān)保資產(chǎn)信息資金業(yè)務(wù)系統(tǒng)信貸管理系統(tǒng)貸款產(chǎn)品信貸管理系統(tǒng)核心系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)渠道核心系統(tǒng)VIP系統(tǒng)財(cái)富系統(tǒng)電話(huà)銀行系統(tǒng)個(gè)人征信系統(tǒng)企業(yè)征信系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)資金業(yè)務(wù)系統(tǒng)TPOS系統(tǒng)三方存管系統(tǒng)理財(cái)系統(tǒng)銀保通系統(tǒng)個(gè)人征信系統(tǒng)企業(yè)征信系統(tǒng)個(gè)貸核算和公積金系統(tǒng)信貸管理系統(tǒng)核心系統(tǒng)員工中間業(yè)務(wù)機(jī)構(gòu)存款產(chǎn)品貸款事件賬戶(hù)個(gè)人客戶(hù)個(gè)人貸款合同卡事件理財(cái)協(xié)議簽約協(xié)議對(duì)公貸款合同投資類(lèi)產(chǎn)品信用卡渠道資金事件總賬系統(tǒng)總賬資源調(diào)研工作成果-數(shù)據(jù)質(zhì)量調(diào)研數(shù)據(jù)合法性問(wèn)題系統(tǒng)調(diào)研過(guò)程中，發(fā)現(xiàn)現(xiàn)有部分系統(tǒng)的表間關(guān)聯(lián)關(guān)系一致性，無(wú)法直接關(guān)聯(lián)保持一致，需通過(guò)復(fù)雜的處理，例如：基金系統(tǒng)的基金客戶(hù)信息表(FUND_ACCT_CUST)的銀行賬號(hào)(DEPOSITACCT)，與核心系統(tǒng)賬號(hào)的關(guān)聯(lián)關(guān)系一致性檢核數(shù)據(jù)一致性問(wèn)題系統(tǒng)調(diào)研過(guò)程中，發(fā)現(xiàn)現(xiàn)有系統(tǒng)中存在疑似無(wú)用或者已廢棄的數(shù)據(jù)。這些數(shù)據(jù)并沒(méi)有做清理，導(dǎo)致我們?cè)诓樵?xún)分析時(shí)很難判定數(shù)據(jù)的正確性，例如：黃金系統(tǒng)的客戶(hù)信息(GOLD_CUSTOMINFO)的銀行賬號(hào)(BANK_ACC)數(shù)據(jù)有效性問(wèn)題相同業(yè)務(wù)屬性在不同系統(tǒng)中對(duì)應(yīng)的碼值和編碼規(guī)則存在不一致的現(xiàn)象；此種現(xiàn)狀的存在，導(dǎo)致業(yè)務(wù)口徑不統(tǒng)一，即相同含義的業(yè)務(wù)屬性在不同系統(tǒng)中的代碼不一致。例如：客戶(hù)的“證件類(lèi)型”屬性代碼質(zhì)量問(wèn)題調(diào)研工作成果-信息調(diào)研示例示例示例示例示例調(diào)研工作成果-元數(shù)據(jù)梳理數(shù)據(jù)字典整理及加工規(guī)則Agenda四、

ETL總體設(shè)計(jì)二、系統(tǒng)總體架構(gòu)設(shè)計(jì)三、數(shù)據(jù)模型設(shè)計(jì)系統(tǒng)總體架構(gòu)系統(tǒng)數(shù)據(jù)架構(gòu)系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)系統(tǒng)物理架構(gòu)系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D系統(tǒng)運(yùn)維體系一、系統(tǒng)信息調(diào)研總體架構(gòu)規(guī)劃-目標(biāo)架構(gòu)源系統(tǒng)數(shù)據(jù)交換數(shù)據(jù)平臺(tái)數(shù)據(jù)治理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一調(diào)度監(jiān)控任務(wù)調(diào)度任務(wù)監(jiān)控公共應(yīng)用服務(wù)訪(fǎng)問(wèn)控制層ODSDLA數(shù)據(jù)裝載區(qū)應(yīng)用集成訪(fǎng)問(wèn)控制統(tǒng)一認(rèn)證多維分析用戶(hù)數(shù)據(jù)挖掘用戶(hù)固定報(bào)表用戶(hù)靈活查詢(xún)用戶(hù)臨時(shí)文件區(qū)數(shù)據(jù)訪(fǎng)問(wèn)SDM標(biāo)準(zhǔn)增量區(qū)FDM基礎(chǔ)模型區(qū)GDM公共匯總區(qū)EDWDLA數(shù)據(jù)裝載區(qū)FDM主題模型區(qū)GDM公共匯總區(qū)GMM公共集市區(qū)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)接口數(shù)據(jù)交換平臺(tái)ETL管理應(yīng)用集市分析類(lèi)應(yīng)用風(fēng)險(xiǎn)管理類(lèi)靈活查詢(xún)固定報(bào)表數(shù)據(jù)挖掘Dashboard多維分析客戶(hù)分析類(lèi)監(jiān)管報(bào)送類(lèi)準(zhǔn)實(shí)時(shí)類(lèi)應(yīng)用風(fēng)險(xiǎn)監(jiān)控KPI監(jiān)控歷史數(shù)據(jù)歸檔準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理批量數(shù)據(jù)處理核心系統(tǒng)外圍系統(tǒng)管理信息系統(tǒng)MDM系統(tǒng)（ECIF）操作類(lèi)應(yīng)用數(shù)據(jù)下發(fā)歷史查詢(xún)稽核|審計(jì)總體架構(gòu)規(guī)劃-數(shù)據(jù)交換數(shù)據(jù)交換模塊主要實(shí)現(xiàn)數(shù)據(jù)平臺(tái)的數(shù)據(jù)抽取功能數(shù)據(jù)抽取的方式包括主動(dòng)抽取與被動(dòng)提供2種方式數(shù)據(jù)的主動(dòng)抽取通過(guò)數(shù)據(jù)服務(wù)平臺(tái)連接業(yè)務(wù)系統(tǒng)主機(jī)/備機(jī)，進(jìn)行數(shù)據(jù)的獲取數(shù)據(jù)的被動(dòng)提供，是源系統(tǒng)將數(shù)據(jù)按照統(tǒng)一的接口規(guī)范生成后，將數(shù)據(jù)提供到數(shù)據(jù)獲取層臨時(shí)文件區(qū)總體架構(gòu)規(guī)劃-數(shù)據(jù)平臺(tái)數(shù)據(jù)平臺(tái)模塊包括ODS、EDW、數(shù)據(jù)服務(wù)3個(gè)子模塊ODS主要負(fù)責(zé)數(shù)據(jù)的增量剝離，數(shù)據(jù)的清洗與轉(zhuǎn)換，對(duì)公共匯總數(shù)據(jù)進(jìn)行輕度的加工，保留最新數(shù)據(jù)EDW主要負(fù)責(zé)數(shù)據(jù)的整合，對(duì)公共匯總數(shù)據(jù)的復(fù)雜加工與深度匯總，范式化存儲(chǔ)，保留長(zhǎng)期的數(shù)據(jù)數(shù)據(jù)服務(wù)包括來(lái)自O(shè)DS、EDW的公共服務(wù)接口；提供歷史數(shù)據(jù)的歸檔；并提供數(shù)據(jù)的分發(fā)服務(wù)總體架構(gòu)規(guī)劃-數(shù)據(jù)應(yīng)用基于數(shù)據(jù)平臺(tái)能夠提供公共應(yīng)用服務(wù)，包括靈活查詢(xún)、固定報(bào)表等分析類(lèi)應(yīng)用模塊包括應(yīng)用集市、準(zhǔn)實(shí)時(shí)類(lèi)應(yīng)用及原始交易類(lèi)應(yīng)用操作類(lèi)應(yīng)用服務(wù)包括總、分行的數(shù)據(jù)下發(fā)服務(wù)和外部監(jiān)管數(shù)據(jù)提供服務(wù)應(yīng)用的數(shù)據(jù)訪(fǎng)問(wèn)可以來(lái)自自身集市，也可以來(lái)自數(shù)據(jù)服務(wù)接口總體架構(gòu)規(guī)劃-其它層次訪(fǎng)問(wèn)控制層，對(duì)各類(lèi)應(yīng)用集市進(jìn)行集成，對(duì)用戶(hù)的角色和權(quán)限進(jìn)行統(tǒng)一的控制，并實(shí)現(xiàn)統(tǒng)一的認(rèn)證系統(tǒng)內(nèi)包括元數(shù)據(jù)、數(shù)據(jù)質(zhì)量的管理，結(jié)合行內(nèi)數(shù)據(jù)治理的需求，進(jìn)行規(guī)范和處理系統(tǒng)內(nèi)采用統(tǒng)一的調(diào)度監(jiān)控平臺(tái)，對(duì)整個(gè)平臺(tái)以及應(yīng)用集市系統(tǒng)中的任務(wù)進(jìn)行統(tǒng)一的調(diào)度，統(tǒng)一的管理和統(tǒng)一的監(jiān)控系統(tǒng)總體架構(gòu)-過(guò)渡架構(gòu)源系統(tǒng)數(shù)據(jù)交換數(shù)據(jù)平臺(tái)數(shù)據(jù)治理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)管理統(tǒng)一調(diào)度監(jiān)控任務(wù)調(diào)度任務(wù)監(jiān)控公共應(yīng)用服務(wù)訪(fǎng)問(wèn)控制層ODSDLA數(shù)據(jù)裝載區(qū)應(yīng)用集成訪(fǎng)問(wèn)控制統(tǒng)一認(rèn)證多維分析用戶(hù)數(shù)據(jù)挖掘用戶(hù)固定報(bào)表用戶(hù)靈活查詢(xún)用戶(hù)臨時(shí)文件區(qū)數(shù)據(jù)訪(fǎng)問(wèn)SDM標(biāo)準(zhǔn)增量區(qū)FDM基礎(chǔ)模型區(qū)GDM公共匯總區(qū)EDWDLA數(shù)據(jù)裝載區(qū)FDM主題模型區(qū)GDM公共匯總區(qū)GMM公共集市區(qū)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)接口數(shù)據(jù)交換平臺(tái)ETL管理應(yīng)用集市分析類(lèi)應(yīng)用風(fēng)險(xiǎn)管理類(lèi)固定報(bào)表數(shù)據(jù)挖掘Dashboard多維分析客戶(hù)分析類(lèi)監(jiān)管報(bào)送類(lèi)準(zhǔn)實(shí)時(shí)類(lèi)應(yīng)用風(fēng)險(xiǎn)監(jiān)控KPI監(jiān)控歷史數(shù)據(jù)歸檔準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理批量數(shù)據(jù)處理核心系統(tǒng)外圍系統(tǒng)管理信息系統(tǒng)MDM系統(tǒng)（ECIF）操作類(lèi)應(yīng)用數(shù)據(jù)下發(fā)歷史查詢(xún)稽核|審計(jì)數(shù)據(jù)抽取平臺(tái)靈活查詢(xún)數(shù)據(jù)交換系統(tǒng)數(shù)據(jù)架構(gòu)-過(guò)渡架構(gòu)數(shù)據(jù)源ODS數(shù)據(jù)裝載區(qū)（DLA）核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀……國(guó)際結(jié)算信用卡……數(shù)據(jù)交換平臺(tái)應(yīng)用集市對(duì)公CRM應(yīng)用集市核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀黃金……基金標(biāo)準(zhǔn)增量區(qū)（SDM）核心系統(tǒng)信貸系統(tǒng)總賬系統(tǒng)新網(wǎng)銀黃金……基金基礎(chǔ)模型區(qū)（FDM）貸款存款中間業(yè)務(wù)總賬客戶(hù)渠道交易銀行卡公共公共匯總區(qū)（GDM）客戶(hù)主題賬戶(hù)主題機(jī)構(gòu)主題數(shù)據(jù)服務(wù)接口（DSI）對(duì)公CRM數(shù)據(jù)服務(wù)接口數(shù)據(jù)抽取平臺(tái)數(shù)據(jù)備份區(qū)文件預(yù)處理區(qū)（PRE）數(shù)據(jù)存儲(chǔ)集市應(yīng)用層系統(tǒng)數(shù)據(jù)存儲(chǔ)架構(gòu)源系統(tǒng)核心系統(tǒng)數(shù)據(jù)交換文件預(yù)處理ODS數(shù)據(jù)裝載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)CRM風(fēng)險(xiǎn)應(yīng)用集市其它應(yīng)用集市信貸系統(tǒng)總賬系統(tǒng)FlatFile,XML,xls數(shù)據(jù)存儲(chǔ)以數(shù)據(jù)庫(kù)為主數(shù)據(jù)保留時(shí)間與源系統(tǒng)應(yīng)用相關(guān)數(shù)據(jù)交換以文本形式存儲(chǔ)從源系統(tǒng)獲取的文件建議保留15天文件預(yù)處理層的文件建議保留15天數(shù)據(jù)裝載區(qū)以數(shù)據(jù)庫(kù)形式存儲(chǔ)，按數(shù)據(jù)日期建表，數(shù)據(jù)暫存，保留15天標(biāo)準(zhǔn)增量區(qū)以數(shù)據(jù)庫(kù)形式存儲(chǔ)，數(shù)據(jù)暫存，保留1天基礎(chǔ)模型區(qū)以數(shù)據(jù)庫(kù)形式存儲(chǔ)，建議保留31天公共匯總區(qū)以數(shù)據(jù)庫(kù)形式存儲(chǔ)，建議根據(jù)應(yīng)用需求，保留1-3年數(shù)據(jù)分發(fā)區(qū)以文本形式存儲(chǔ)，建議保留15天數(shù)據(jù)分發(fā)區(qū)數(shù)據(jù)庫(kù)形式存儲(chǔ)數(shù)據(jù)保留時(shí)間與應(yīng)用相關(guān)數(shù)據(jù)抽取平臺(tái)系統(tǒng)技術(shù)架構(gòu)系統(tǒng)物理架構(gòu)外匯卡…其他數(shù)據(jù)文件數(shù)據(jù)文件數(shù)據(jù)文件ODS數(shù)據(jù)庫(kù)服務(wù)器基礎(chǔ)、匯總區(qū)ODSFDMGDMSDMDLAETL服務(wù)器ETL

調(diào)度服務(wù)器預(yù)處理區(qū)(PRE)備份數(shù)據(jù)區(qū)存儲(chǔ)周期（15天）存儲(chǔ)周期（1年）數(shù)據(jù)抽取平臺(tái)接口文件落地區(qū)存儲(chǔ)周期（15天）DSI數(shù)據(jù)交換平臺(tái)系統(tǒng)網(wǎng)絡(luò)拓?fù)鋱D直連光纖網(wǎng)絡(luò)管理終端HAETL服務(wù)器調(diào)度服務(wù)器備機(jī)路由器&防火墻生產(chǎn)網(wǎng)段系統(tǒng)監(jiān)控注：

1.由于服務(wù)平臺(tái)涉及到大量的數(shù)據(jù)傳輸，系統(tǒng)內(nèi)部服務(wù)器聯(lián)接建議光纖直連；磁盤(pán)陣列RACDB服務(wù)器DB服務(wù)器備機(jī)系統(tǒng)運(yùn)維體系系統(tǒng)監(jiān)控管理系統(tǒng)維護(hù)管理備份恢復(fù)管理故障切換管理性能容量規(guī)劃運(yùn)維安全管理Agenda數(shù)據(jù)模型層次關(guān)系模型主題劃分客戶(hù)主題模型設(shè)計(jì)客戶(hù)視角360度視圖四、

ETL總體設(shè)計(jì)二、系統(tǒng)總體架構(gòu)設(shè)計(jì)三、數(shù)據(jù)模型設(shè)計(jì)一、系統(tǒng)信息調(diào)研數(shù)據(jù)模型-數(shù)據(jù)模型層次ODS公共匯總區(qū)基礎(chǔ)模型區(qū)標(biāo)準(zhǔn)增量區(qū)賬戶(hù)客戶(hù)公共匯總區(qū)共享的，面向匯總的針對(duì)各種應(yīng)用常見(jiàn)的匯總需求進(jìn)行總結(jié)提煉以基礎(chǔ)模型區(qū)數(shù)據(jù)加工匯總而成通常針對(duì)賬戶(hù)、客戶(hù)、機(jī)構(gòu)的視角進(jìn)行匯總，是冗余的基礎(chǔ)模型區(qū)共享的，面向主題不為支持某個(gè)特定的、預(yù)先定義的應(yīng)用設(shè)計(jì)是ODS的基礎(chǔ)數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)與源系統(tǒng)基本保持一致，適當(dāng)增加屬性進(jìn)行擴(kuò)展保留系統(tǒng)最新的數(shù)據(jù)，并根據(jù)應(yīng)用需要存儲(chǔ)一定時(shí)間段的數(shù)據(jù)，部分冗余機(jī)構(gòu)模型主題劃分原則模型主題劃分原則六、各模型層次的主題可根據(jù)實(shí)際情況劃分二級(jí)主題五、基礎(chǔ)數(shù)據(jù)層主題劃分為：存款、貸

款、銀行卡、客戶(hù)、總帳、中間業(yè)務(wù)、渠道、交易、公共。四、不同的數(shù)據(jù)層次，由于其業(yè)務(wù)關(guān)注視角不同，其主題劃分的結(jié)果可以不同。一、根據(jù)關(guān)鍵業(yè)務(wù)要素或業(yè)務(wù)關(guān)注視角及他們之間關(guān)系劃分。二、通過(guò)抽象銀行業(yè)經(jīng)營(yíng)活動(dòng)中的要素及要素之間關(guān)系的形式劃分。三、公共匯總數(shù)據(jù)層的主題劃分則是基于業(yè)務(wù)共性需求?；A(chǔ)模型主題劃分客戶(hù)主題模型設(shè)計(jì)客戶(hù)主題模型設(shè)計(jì)-個(gè)人客戶(hù)公共匯總層模型設(shè)計(jì)-客戶(hù)360度視圖客戶(hù)主題覆蓋數(shù)據(jù)范圍客戶(hù)基本信息主要包括客戶(hù)基本屬性信息及擴(kuò)展信息?；緦傩孕畔⒑w的數(shù)據(jù)范圍有客戶(hù)名稱(chēng)、客戶(hù)編號(hào)、客戶(hù)歸屬機(jī)構(gòu)、客戶(hù)證件類(lèi)型等信息客戶(hù)-產(chǎn)品信息主要包括客戶(hù)持有產(chǎn)品情況，涵蓋的產(chǎn)品數(shù)據(jù)范圍有存款、貸款、基金等信息客戶(hù)-渠道信息主要包括客戶(hù)與銀行發(fā)生業(yè)務(wù)交易的渠道信息，涵蓋的渠道數(shù)據(jù)范圍有網(wǎng)上銀行、電話(huà)銀行、B2B等信息客戶(hù)主題覆蓋數(shù)據(jù)范圍劃分客戶(hù)基本信息匯總客戶(hù)-產(chǎn)品匯總客戶(hù)-渠道匯總主要匯總對(duì)公、對(duì)私客戶(hù)基本屬性信息及擴(kuò)展信息主要匯總客戶(hù)持有產(chǎn)品情況信息主要匯總客戶(hù)與銀行發(fā)生業(yè)務(wù)的各種交易渠道信息Agenda四、ETL總體設(shè)計(jì)二、系統(tǒng)總體架構(gòu)設(shè)計(jì)三、數(shù)據(jù)模型設(shè)計(jì)一、系統(tǒng)信息調(diào)研ETL架構(gòu)設(shè)計(jì)ETL數(shù)據(jù)處理ETL調(diào)度監(jiān)控ETL數(shù)據(jù)質(zhì)量控制ETL接口設(shè)計(jì)ETL備份恢復(fù)策略ETL總體設(shè)計(jì)-邏輯架構(gòu)ETL過(guò)程描述ETL1本層實(shí)現(xiàn)數(shù)據(jù)抽取加載功能，支持?jǐn)?shù)據(jù)庫(kù)直連抽取和源系統(tǒng)提供文本文件加載方式，文件接口遵循統(tǒng)一規(guī)范，同時(shí)會(huì)根據(jù)實(shí)際處理己知的其他文件規(guī)范。ETL2本層實(shí)現(xiàn)對(duì)需要增量處理的數(shù)據(jù)增量駁離，并對(duì)增量/全量數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗和代碼轉(zhuǎn)換操作。ETL3針對(duì)不同類(lèi)型的數(shù)據(jù)采用不同數(shù)據(jù)加載方式，包括：全表全量加載、按日期全量加載、增量更新加載、歷史拉鏈加載以及邏輯處理加載五種方式。ETL4對(duì)各大業(yè)務(wù)主題的數(shù)據(jù)根據(jù)匯總層的要求，實(shí)現(xiàn)數(shù)據(jù)的關(guān)聯(lián)、拆分、篩選、匯總處理。ETL5建立統(tǒng)一接口，根據(jù)需要以視圖方式開(kāi)放數(shù)據(jù)訪(fǎng)問(wèn)權(quán)限給其他系統(tǒng)訪(fǎng)問(wèn)。ETL過(guò)程數(shù)據(jù)加載數(shù)據(jù)清洗數(shù)據(jù)轉(zhuǎn)換ETL設(shè)計(jì)-增量剝離數(shù)據(jù)加載增量剝離數(shù)據(jù)存儲(chǔ)判斷增量數(shù)據(jù)的方法：源系統(tǒng)定義一個(gè)數(shù)據(jù)被更改的標(biāo)識(shí)（時(shí)間戳）整表比較加載表與歷史全量表來(lái)判斷增量數(shù)據(jù)通過(guò)分析源系統(tǒng)數(shù)據(jù)庫(kù)的日志來(lái)判斷增量數(shù)據(jù)對(duì)源系統(tǒng)提供的增量/全量數(shù)據(jù)文件進(jìn)行加載識(shí)別增量數(shù)據(jù)并保持15天數(shù)據(jù)獲取區(qū)數(shù)據(jù)加載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)ETL設(shè)計(jì)-數(shù)據(jù)清洗與轉(zhuǎn)換符合清洗和轉(zhuǎn)換規(guī)則的數(shù)據(jù)加載到輔助數(shù)據(jù)表中，無(wú)法進(jìn)行清洗時(shí)，程序記錄出錯(cuò)詳細(xì)信息將數(shù)據(jù)源字段根據(jù)數(shù)據(jù)映像表的轉(zhuǎn)換規(guī)則，即代碼進(jìn)行轉(zhuǎn)換，并對(duì)空字段賦予適當(dāng)?shù)娜笔≈?，形成?guī)整的數(shù)據(jù)結(jié)構(gòu)。ETL數(shù)據(jù)處理矩陣

表類(lèi)型分類(lèi)縮寫(xiě)PREDLASDMFDMGDM處理方式全量加載方式S-★-★-清空目標(biāo)表，全表導(dǎo)入加載；按日期增量加載方式H-★-★-按時(shí)間戳清除再加載增量，在MAPPING中需要注明主鍵字段；目標(biāo)表按日期字段進(jìn)行清除處理時(shí)間上的數(shù)據(jù)，再進(jìn)行插入數(shù)據(jù)；增量更新方式M-★★★-對(duì)于源提供增量接口數(shù)據(jù)，通過(guò)比較出變化的數(shù)據(jù)，進(jìn)行目標(biāo)表更新處理，對(duì)于源提供全量接口數(shù)據(jù)通過(guò)對(duì)全量數(shù)據(jù)進(jìn)行比對(duì)，得到新增、修改的信息并對(duì)目標(biāo)表進(jìn)行相應(yīng)處理；拉鏈加載方式L-★★★-該類(lèi)型的數(shù)據(jù)表的特點(diǎn)是在原業(yè)務(wù)數(shù)據(jù)的基礎(chǔ)上增加2個(gè)字段（begindate,enddate）,begindate,enddate之間的日期表示該數(shù)據(jù)的有效期。邏輯處理加載方式D---★★該類(lèi)型的特點(diǎn)是需要對(duì)一張或多張?jiān)磉M(jìn)行拆分、合并、分區(qū)等邏輯處理，無(wú)法固定加載方式，需要根據(jù)時(shí)間業(yè)務(wù)需要靈活設(shè)計(jì)。注：

★：表示該類(lèi)數(shù)據(jù)在此層處理，

-：表示該類(lèi)數(shù)據(jù)在此層不處理ETL任務(wù)劃分原則以數(shù)據(jù)層次、源系統(tǒng)、表作為作業(yè)劃分的最小粒度預(yù)處理PREP02文本加載作業(yè)P01預(yù)處理作業(yè)數(shù)據(jù)加載DLAD01數(shù)據(jù)抽取作業(yè)D02數(shù)據(jù)卸載作業(yè)標(biāo)準(zhǔn)增量SDMS01增量剝離+清洗轉(zhuǎn)換作業(yè)S02清洗轉(zhuǎn)換作業(yè)基礎(chǔ)模型FDMF01全表全量加載作業(yè)F02按日期全量加載作業(yè)F03增量更新加載作業(yè)F04歷史拉鏈加載作業(yè)F05邏輯處理加載作業(yè)公共匯總GDMG01邏輯處理加載作業(yè)其他作業(yè)OTHERO01控制作業(yè)O02備份作業(yè)G02更新接口作業(yè)ETL作業(yè)翻牌策略作業(yè)流分為抽取類(lèi)、基礎(chǔ)類(lèi)、匯總類(lèi)；抽取類(lèi)作業(yè)流以為數(shù)據(jù)或文件為依賴(lài)，事件觸發(fā)調(diào)度，獨(dú)立翻牌；基礎(chǔ)類(lèi)作業(yè)流以源系統(tǒng)為單位，進(jìn)行小翻牌，各源系統(tǒng)相對(duì)獨(dú)立，降低關(guān)聯(lián)影響；基礎(chǔ)類(lèi)作業(yè)每個(gè)處理過(guò)程包括PRE、DLA、SDM、FDM（視具體情況，各處理層不是全部必選）匯總類(lèi)作業(yè)流存在一些數(shù)據(jù)整合、轉(zhuǎn)換、關(guān)聯(lián)的處理，會(huì)依賴(lài)FDM層多張數(shù)據(jù)表加載，單獨(dú)一個(gè)作業(yè)流處理，根據(jù)FDM層數(shù)據(jù)準(zhǔn)備和前一天的處理情況，進(jìn)行大翻牌抽取類(lèi)翻牌表1表2表3表4…基礎(chǔ)類(lèi)翻牌核心系統(tǒng)日期信貸系統(tǒng)日期總賬系統(tǒng)日期理財(cái)系統(tǒng)日期其他系統(tǒng)日期匯總類(lèi)翻牌匯總層日期表5ETL監(jiān)控ETL數(shù)據(jù)質(zhì)量檢查策略數(shù)據(jù)加載區(qū)標(biāo)準(zhǔn)增量區(qū)基礎(chǔ)模型區(qū)公共匯總區(qū)ODS確保ODS在數(shù)據(jù)處理的各環(huán)節(jié)保證數(shù)據(jù)的一致性、準(zhǔn)確性、完整性數(shù)據(jù)匯總

準(zhǔn)確性：數(shù)據(jù)核對(duì)，確保指標(biāo)計(jì)算的準(zhǔn)確性檢核；數(shù)據(jù)整合

一致性：通過(guò)對(duì)貨幣/核算碼/統(tǒng)計(jì)代碼等檢核，確保數(shù)據(jù)轉(zhuǎn)化后的一致性；

完整性：設(shè)置主/外鍵等約束，確保數(shù)據(jù)完整；準(zhǔn)確性：設(shè)定不同的增量識(shí)別規(guī)則，相互校驗(yàn)，確增量保識(shí)別準(zhǔn)確；

文本加載

完整性：數(shù)據(jù)記錄數(shù)、字段數(shù)統(tǒng)計(jì)，檢查數(shù)據(jù)是否完全加載；有效性：重要信息項(xiàng)設(shè)定檢核規(guī)則（如：身份證號(hào)碼15或18位），

確保數(shù)據(jù)有效性；數(shù)據(jù)獲取區(qū)

文本預(yù)處理

文件級(jí)：檢查數(shù)據(jù)文本名稱(chēng)、內(nèi)容格式等是否符合標(biāo)準(zhǔn)規(guī)范要求；

記錄級(jí)：檢查數(shù)據(jù)文本記錄的信息量是否與接口需求一致；ETL接口設(shè)計(jì)ODS數(shù)據(jù)獲取->裝載->整合->匯總數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)應(yīng)用CRM-監(jiān)管報(bào)送-風(fēng)險(xiǎn)管理-數(shù)據(jù)服務(wù)數(shù)據(jù)源數(shù)據(jù)抽取平臺(tái)<-各業(yè)務(wù)系統(tǒng)①②③④統(tǒng)一調(diào)度監(jiān)控⑤接口設(shè)計(jì)遵循易理解、易使用、易交流、方便擴(kuò)展的原則;在ODS接口方案中，支持：文件型、依賴(lài)型、功能調(diào)用型以及虛擬接口四種類(lèi)型;ETL備份與恢復(fù)策略

數(shù)據(jù)庫(kù)日常備份采用每月在線(xiàn)全量備份的方式，結(jié)合文件的備份，便于出現(xiàn)問(wèn)題時(shí)能及時(shí)恢復(fù)；每周對(duì)文本數(shù)據(jù)進(jìn)行備份，保留1年，數(shù)據(jù)文本在線(xiàn)保留15天；在線(xiàn)源數(shù)據(jù)（數(shù)據(jù)獲取區(qū)）在線(xiàn)保留15天；標(biāo)準(zhǔn)增量區(qū)在線(xiàn)保留1天；每月對(duì)程序進(jìn)行全量備份，保留1年；備份策略：當(dāng)前前一周前二周前三周前四周文件備份在線(xiàn)源數(shù)據(jù)數(shù)據(jù)庫(kù)備份月備份周備份在線(xiàn)存儲(chǔ)周備份周備份周備份ETL腳本備份月備份數(shù)據(jù)備份程序備份114中糧集團(tuán)經(jīng)營(yíng)分析平臺(tái)項(xiàng)目115

中糧生化能源事業(yè)部（以下簡(jiǎn)稱(chēng)事業(yè)部）是根據(jù)中糧集團(tuán)“成為生物質(zhì)能源的主要提供者、領(lǐng)導(dǎo)者，糧食生物化工的主要領(lǐng)導(dǎo)企業(yè)”的戰(zhàn)略定位而相應(yīng)設(shè)立的，是中糧集團(tuán)核心業(yè)務(wù)單元之一,中國(guó)糧油(香港上市公司,代碼HK0606)的重要組成部分之一。目前事業(yè)部下屬及管理企業(yè)主要包括黑龍江、吉林、河北、天津、上海、安徽、廣西等省份的九家工廠(chǎng)和一家集中銷(xiāo)售公司，未來(lái)還將不斷上線(xiàn)或并購(gòu)若干新的項(xiàng)目。為了更好的利用信息化這個(gè)先進(jìn)的手段，業(yè)務(wù)分析、統(tǒng)計(jì)、查詢(xún)、報(bào)表、告警的需求迫切需要一種先進(jìn)的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)來(lái)整合事業(yè)部各個(gè)業(yè)務(wù)系統(tǒng)，例如財(cái)務(wù)系統(tǒng)、人力系統(tǒng)、生產(chǎn)系統(tǒng)、銷(xiāo)售系統(tǒng)和報(bào)表系統(tǒng)等，通過(guò)抽取、轉(zhuǎn)換、清洗、加載技術(shù)進(jìn)行數(shù)據(jù)的梳理、口徑的統(tǒng)一、編碼的統(tǒng)一、標(biāo)準(zhǔn)化的建立來(lái)建設(shè)數(shù)據(jù)中心，從而為數(shù)據(jù)應(yīng)用如分析、統(tǒng)計(jì)、查詢(xún)、報(bào)表、告警甚至今后的數(shù)據(jù)挖掘提供強(qiáng)大的科學(xué)、可靠、準(zhǔn)確的數(shù)據(jù)支撐。

項(xiàng)目背景EDW系統(tǒng)建設(shè)遠(yuǎn)景

基礎(chǔ)設(shè)施

以數(shù)據(jù)為中心

以應(yīng)用為中心

以服務(wù)為中心整體規(guī)劃分布實(shí)施重點(diǎn)實(shí)施務(wù)求實(shí)效精細(xì)化管理數(shù)字管理文化業(yè)務(wù)創(chuàng)新管理及變革的促進(jìn)信息資產(chǎn)EDW企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)實(shí)施策略能力發(fā)展管理能力運(yùn)營(yíng)能力自我認(rèn)識(shí)與發(fā)現(xiàn)的能力業(yè)務(wù)洞查管理變革持續(xù)管理提升敏捷成熟完備可計(jì)劃可預(yù)測(cè)決策管理運(yùn)營(yíng)數(shù)據(jù)治理運(yùn)營(yíng)服務(wù)EDW整體技術(shù)藍(lán)圖實(shí)施方法論BI工具平臺(tái)EDW技術(shù)平臺(tái)EDW數(shù)據(jù)模型企業(yè)戰(zhàn)略績(jī)效管理(BSC)成本控制運(yùn)營(yíng)管理財(cái)務(wù)監(jiān)控人力資源分析物流分析產(chǎn)品分析生產(chǎn)分析庫(kù)存分析6S分析供應(yīng)鏈分析財(cái)務(wù)分析銷(xiāo)售分析業(yè)務(wù)策略量化應(yīng)用標(biāo)桿管理（PDCA)經(jīng)營(yíng)分析平臺(tái)總體實(shí)施內(nèi)容數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市Decision-PanelFreeQuery數(shù)據(jù)上報(bào)工具SMARTBIETLMSDTSOracle9iMSAnalysisServices前端展示平臺(tái)系統(tǒng)資源管理、系統(tǒng)配置數(shù)據(jù)管理、系統(tǒng)權(quán)限管理、系統(tǒng)界面布局高級(jí)管理層決策儀表盤(pán)多維分析業(yè)務(wù)管理層業(yè)務(wù)操作層綜合查詢(xún)企業(yè)報(bào)表數(shù)量統(tǒng)計(jì)經(jīng)濟(jì)分析模型監(jiān)控及預(yù)警數(shù)據(jù)挖掘EXCEL導(dǎo)入ETL技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)J2EE架構(gòu)元數(shù)據(jù)管理技術(shù)SOA架構(gòu)XML\WEBServices數(shù)據(jù)倉(cāng)庫(kù)方法論數(shù)據(jù)治理方法論數(shù)據(jù)存儲(chǔ)技術(shù)PORTAL技術(shù)經(jīng)分功能框架經(jīng)分技術(shù)架構(gòu)經(jīng)分應(yīng)用框架財(cái)務(wù)銷(xiāo)售庫(kù)存生產(chǎn)物流人力資源經(jīng)營(yíng)分析平臺(tái)總體技術(shù)架構(gòu)源系統(tǒng)層ETL層ODS+DWETL層數(shù)據(jù)集市層應(yīng)用層展現(xiàn)層外部數(shù)據(jù)清洗合并轉(zhuǎn)換..轉(zhuǎn)換MESEXCEL……用友U8用友NCReportMartQuerytMartdecisionMartalarmMartminingMart……企業(yè)報(bào)表信息門(mén)戶(hù)應(yīng)用發(fā)布電子地圖監(jiān)控預(yù)警數(shù)量統(tǒng)計(jì)經(jīng)濟(jì)分析數(shù)據(jù)挖掘虛擬雇員發(fā)布及展現(xiàn)&領(lǐng)導(dǎo)決策平臺(tái)DWODS業(yè)務(wù)系統(tǒng)直接抽取

系統(tǒng)管理平臺(tái)數(shù)據(jù)源元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)商業(yè)元數(shù)據(jù)管理運(yùn)維管理平臺(tái)應(yīng)用安全管理系統(tǒng)監(jiān)控管理ETL技術(shù)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)J2EE架構(gòu)元數(shù)據(jù)管理技術(shù)SOA架構(gòu)XML\WEBServices數(shù)據(jù)倉(cāng)庫(kù)方法論數(shù)據(jù)治理方法論數(shù)據(jù)存儲(chǔ)技術(shù)PORTAL技術(shù)數(shù)據(jù)管理區(qū)應(yīng)用服務(wù)區(qū)系統(tǒng)管理區(qū)數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器OLAP/ETL服務(wù)器應(yīng)用服務(wù)器元數(shù)據(jù)管理工作站磁盤(pán)陣列業(yè)務(wù)主機(jī)決策領(lǐng)導(dǎo)層管理人員中心交換機(jī)路由器&防火墻(內(nèi)部網(wǎng))各分廠(chǎng)用戶(hù)ETL過(guò)程事業(yè)用戶(hù)數(shù)據(jù)上傳用戶(hù)管理人員管理應(yīng)用層VPN/InternetIntranet/Internet經(jīng)營(yíng)分析平臺(tái)系統(tǒng)物理構(gòu)架移動(dòng)用戶(hù)建立事業(yè)部與利潤(rùn)點(diǎn)的信息專(zhuān)亨通道分廠(chǎng)或外部數(shù)據(jù)上傳用戶(hù)肇東數(shù)據(jù)上傳前置機(jī)配置目錄FTPServer榆樹(shù)公主嶺廣西……數(shù)據(jù)上傳用戶(hù)管理人員數(shù)據(jù)導(dǎo)出打包文件數(shù)據(jù)加密文件上傳安全認(rèn)證文件安全性驗(yàn)證數(shù)據(jù)完整性驗(yàn)證目錄管理打包文件命名規(guī)范文件打包規(guī)范文件目錄規(guī)范數(shù)據(jù)加密規(guī)范數(shù)據(jù)上傳規(guī)范安全及認(rèn)證管理VPN/InternetETL綜合分析系統(tǒng)數(shù)據(jù)處理服務(wù)器文件還原解密各分廠(chǎng)及其它遠(yuǎn)程數(shù)據(jù)上報(bào)單位生化能源事業(yè)部本部FTPEDW