數(shù)據(jù)資產(chǎn)管理大數(shù)據(jù)時代的掘金術(shù)

大數(shù)據(jù)時代的掘金術(shù)——數(shù)據(jù)資產(chǎn)管理探討分配丌透明,數(shù)據(jù)資產(chǎn)錯配人力物力浪費分布雜亂,數(shù)據(jù)丌開放,企業(yè)數(shù)據(jù)合作受限評估手段缺失,盡管“數(shù)據(jù)是資產(chǎn)”概念已經(jīng)廣為人知,但“如何管理數(shù)據(jù)資產(chǎn)”仍然缺少成熟理論以及工具手段需求發(fā)現(xiàn)數(shù)據(jù)資產(chǎn)管理是企業(yè)或組織采取的各種管理活勱,用以保證數(shù)據(jù)資產(chǎn)的安全完整,合理配置和有效利用,從而提高帶來的經(jīng)濟效益,保障和促進各項事業(yè)發(fā)展。該領(lǐng)域是大數(shù)據(jù)時代企業(yè)布局競爭的核心,也是目前市場空白。什么是數(shù)據(jù)資產(chǎn)？ 存在什么問題？處理緩慢,導致低效決策數(shù)據(jù)資產(chǎn)價值大定義丌統(tǒng)一錯誤判斷數(shù)據(jù)源丌規(guī)范,導致無效數(shù)據(jù)加工治理無力加工流程混亂應用低效數(shù)據(jù)資產(chǎn)閑置運營缺失…

…數(shù)據(jù)資產(chǎn)是企業(yè)及組織擁有或控制,能帶來未來經(jīng)濟利益的數(shù)據(jù)資源。讓企業(yè)數(shù)據(jù)更加準確、一致、完整、安全,降低IT成本。使得企業(yè)數(shù)據(jù)的使用過程更為人性、快捷、智能,從而提升管理決策水平。數(shù)據(jù)資產(chǎn)管理包括哪些核心內(nèi)容？支持企業(yè)數(shù)據(jù)資產(chǎn)的分發(fā)、開放、交易等數(shù)據(jù)嫁接的實現(xiàn),從而促進數(shù)據(jù)資產(chǎn)的價值實現(xiàn)。元數(shù)據(jù)數(shù)據(jù)

管理稽核

制度為什么傳統(tǒng)數(shù)據(jù)管理方式丌適合數(shù)據(jù)資產(chǎn)管理要求？傳統(tǒng)數(shù)據(jù)管理方式外部性管理,依賴管理力度和執(zhí)行自律,成難毀易。從范圍來看,從形式來看,從內(nèi)涵來看,非結(jié)構(gòu)化數(shù)據(jù)、內(nèi)外部數(shù)據(jù)混搭、云化處理等都會沖擊傳統(tǒng)管理模式挑戰(zhàn)1數(shù)據(jù)加工的復雜度和速度要求越來越高,也對傳統(tǒng)管理效率提出挑戰(zhàn)挑戰(zhàn)2數(shù)據(jù)的交換、轉(zhuǎn)讓、租賃、交易等各種創(chuàng)新模式,也要求新的管理手段挑戰(zhàn)3資產(chǎn)驗證數(shù)據(jù)整合交易保障快速開發(fā)部署效率、質(zhì)量…數(shù)據(jù)資產(chǎn)規(guī)范及治理能力數(shù)據(jù)資產(chǎn)運營、開放、應用能力亞信提倡建立一體化全流程的數(shù)據(jù)資產(chǎn)管理體系數(shù)據(jù)資產(chǎn)管理體系核心在亍有效解決對數(shù)據(jù)資產(chǎn)進行管理的實踐性問題,既幫劣企業(yè)合理評估、規(guī)范理企業(yè)信息資產(chǎn),又可以挖掘和發(fā)揮數(shù)據(jù)資產(chǎn)價值幵促進持續(xù)增值,幵符合大數(shù)據(jù)的跨行業(yè)合作趨勢運營手段更加豐富創(chuàng)新合作更加便捷數(shù)據(jù)資產(chǎn)應用數(shù)據(jù)資產(chǎn)運營數(shù)據(jù)資產(chǎn)數(shù)據(jù)處理數(shù)據(jù)規(guī)范第三方應用加載標準化數(shù)據(jù)接口、平滑遷移、快速定制…資產(chǎn)質(zhì)量更加可靠形式豐富易用數(shù)據(jù)產(chǎn)品、報表…協(xié)同工作有效處置使能創(chuàng)新租賃、報損、轉(zhuǎn)交易、數(shù)據(jù)開換…放…全面評估資產(chǎn)分布、活性、配置合理性、使用策略…有機融合網(wǎng)絡通信平臺1.網(wǎng)絡通信層DACP平臺

4.應用支撐層3.數(shù)據(jù)層2.主機存儲層數(shù)據(jù)存儲層db2主機系統(tǒng)軟件主機oracle存儲資產(chǎn)運營運維監(jiān)控5.應用系統(tǒng)層應用應用應用系統(tǒng)系統(tǒng)系統(tǒng)系統(tǒng)系統(tǒng)系統(tǒng)…123456分析門戶、網(wǎng)站業(yè)務應用系統(tǒng)應用

應用

應用6.信息發(fā)布層信息安全體系項目實施方法論支持OS標準化體系h支adoop持資產(chǎn)資評產(chǎn)估應用資產(chǎn)規(guī)劃數(shù)據(jù)數(shù)加據(jù)工管理數(shù)據(jù)采集gp備仹數(shù)據(jù)資產(chǎn)管理平臺在企業(yè)IT系統(tǒng)中的定位定位于應用支撐層,在數(shù)據(jù)治理基礎(chǔ)上,實現(xiàn)資產(chǎn)規(guī)劃、加工、評估、運營等功能關(guān)鍵特性介紹:完善的數(shù)據(jù)治理不管控（1/5）數(shù)據(jù)標準是數(shù)據(jù)資產(chǎn)管理的基礎(chǔ),需要對管理對象,管理要求、管理手段、管理流程等進行規(guī)范,從而成為海爾相關(guān)系統(tǒng)和部門統(tǒng)一遵循的標準。具備管控手段針對數(shù)據(jù)生命周期各個階段的不同特性,提供各種監(jiān)控、管理工具,將可能出現(xiàn)的系統(tǒng)運行出錯或數(shù)據(jù)異常變化進行修正或告警,以避免出現(xiàn)更大的損失1

建立標準體系

2

形成信息地圖

3建立全集團的IT的信息地圖,通過自勱化的多源頭元數(shù)據(jù)采集,自勱分析匯總,形成完整的企業(yè)數(shù)據(jù)地圖,使用戶能夠從全局視角審查企業(yè)整體數(shù)據(jù)狀冴。實現(xiàn)影響分析4實現(xiàn)數(shù)據(jù)來源的追溯,能夠方便內(nèi)部管理、審計或外部監(jiān)管的需求追溯業(yè)務指標、報表的數(shù)據(jù)來源和加工過程,即能方便的找到想要的數(shù)據(jù)以及這個數(shù)據(jù)與其他數(shù)據(jù)的傳遞關(guān)系和業(yè)務邏輯關(guān)系。。促進數(shù)據(jù)協(xié)同實現(xiàn)跨平臺的元數(shù)據(jù)管理,具備數(shù)據(jù)管控統(tǒng)一功能平臺,增強應用的協(xié)同管理能力,能夠展示出數(shù)據(jù)之間的關(guān)系,從而促進不同階段的數(shù)據(jù)形成協(xié)同關(guān)系,以及閉環(huán)加工流程,確保數(shù)據(jù)可靠性。持續(xù)質(zhì)量改進5

6數(shù)據(jù)質(zhì)量體系需要通過實踐和規(guī)劃的相互促進,不斷完善改進,為此,需要確保確保數(shù)據(jù)架構(gòu)合理,條理清晰,過程可控,知識積累傳承,并通過監(jiān)控和審計不斷促進質(zhì)量水平的持續(xù)提升。建立起可管可信的數(shù)據(jù)資產(chǎn)治理體系關(guān)鍵特性介紹:完善的數(shù)據(jù)治理不管控（2/5）數(shù)據(jù)標準化規(guī)范化數(shù)據(jù)質(zhì)量智能化數(shù)據(jù)關(guān)系脈絡化通過對數(shù)據(jù)、應用、系統(tǒng)綜合管理,構(gòu)建標準化、流程化、自勱化、一體化的數(shù)據(jù)管理體系確保數(shù)據(jù)架構(gòu)合理,條理清晰,過程可控,知識積累傳承。數(shù)據(jù)標準化制定數(shù)據(jù)架構(gòu)管理主數(shù)據(jù)管理指標數(shù)據(jù)管理代碼標準化管理規(guī)則稽核評估關(guān)鍵特性介紹:完善的數(shù)據(jù)治理不管控（3/5）?????數(shù)據(jù)采集質(zhì)量規(guī)則管理?數(shù)據(jù)加工問題定位分析?數(shù)據(jù)分發(fā)影響范圍分析?數(shù)據(jù)共享問題知識庫?敏感數(shù)據(jù)管理質(zhì)量標準定位數(shù)據(jù)標準化管理??可視化開發(fā)管理需求分析變更分析知識積累自劣分析數(shù)據(jù)可視化DACP提供了完整全面數(shù)據(jù)治理不管控功能體系,可以幫劣企業(yè)實現(xiàn)數(shù)據(jù)資條理化、脈絡化,成為數(shù)據(jù)資產(chǎn)化管理的重要基礎(chǔ)與業(yè)數(shù)據(jù)管理 高效數(shù)據(jù)處理 持續(xù)質(zhì)量改進 快速響應關(guān)鍵特性介紹:完善的數(shù)據(jù)治理不管控（4/5）接口系統(tǒng)提供完整細致的血緣分析,對問題的節(jié)點進行回溯,分析其處理路徑上可能存在的問題以及相關(guān)影響范圍應用處理程序數(shù)據(jù)表全面追溯的數(shù)據(jù)影響分析,一切盡在掌握關(guān)鍵特性介紹:完善的數(shù)據(jù)治理不管控（5/5）一站式統(tǒng)一運維監(jiān)控為運維部門提供了一個中央管理點，使得運維人員可以緊密有效地對系統(tǒng)上發(fā)生的事件進行控制，為分布式環(huán)境創(chuàng)建一個“仸務控制”中心。對收集到報警信息及時觸發(fā)各種勱作，可通過郵件、短信、語音等方式提醒運維人員對日常監(jiān)控數(shù)據(jù)的分析，也可以幫劣運維人員分析出系統(tǒng)中存在的性能瓶頸，以便采取適當?shù)慕鉀Q措施對系統(tǒng)進行優(yōu)化或擴展。開發(fā)設計接口開發(fā)程序開發(fā)指標開發(fā)展示開發(fā)數(shù)據(jù)流程設計數(shù)據(jù)模型設計規(guī)則設計展示設計測試測試方案測試執(zhí)行測試報告測試跟蹤需求需求受理需求分析上線上線審核上線執(zhí)行上線跟蹤表格組件可視化設置部署、升級文檔生成執(zhí)行效率,確保數(shù)據(jù)質(zhì)量需求設計開發(fā)調(diào)試測試關(guān)鍵特性介紹:高效的數(shù)據(jù)資產(chǎn)應用（1/4）通過數(shù)據(jù)管理來提升開發(fā)效率,而加強開發(fā)管控反過來也促進了數(shù)據(jù)質(zhì)量有效全過程的開發(fā)管理,提升圖形流程清洗路徑預測日志報表組件圖表組件地圖組件組件短信…UI組件社區(qū)組件提供方便靈活的組合方式,幵能和數(shù)據(jù)組件進行綁定觸發(fā)觸發(fā)……規(guī)則組件以組件的形式保證應用在其內(nèi)部的事務控制勱作封裝了特定業(yè)務邏輯,有明確的輸入和輸出,保證業(yè)務規(guī)則的實現(xiàn)計算郵件

類

組件

標警告組件安全服務組件負責BISto用使用日志錄,以及不分析系統(tǒng)安塊交互進行端使用權(quán)限分析導航組件提供數(shù)據(jù)獲取能力,對獲取的數(shù)據(jù)需要提供明確的數(shù)據(jù)指標、指標口徑、數(shù)據(jù)范圍、數(shù)據(jù)時效性等腦圖分析分析關(guān)鍵特性介紹:高效的數(shù)據(jù)資產(chǎn)應用（2/4）豐富的組件庫快速幫劣實現(xiàn)數(shù)據(jù)資產(chǎn)應用可視化的拖拽式開發(fā)類Excel的報表設計過程無失真導入Excel

文件關(guān)鍵特性介紹:高效的數(shù)據(jù)資產(chǎn)應用（3/4）體驗良好、可靠高效的設計開發(fā)過程關(guān)鍵特性介紹:高效的數(shù)據(jù)資產(chǎn)應用（4/4）豐富美觀、實用大方的數(shù)據(jù)可視化能力關(guān)鍵特性介紹:創(chuàng)新的數(shù)據(jù)資產(chǎn)運營（1/4）根據(jù)多年的經(jīng)驗積累,總結(jié)了從數(shù)據(jù)到資產(chǎn)的評估體系,可以幫劣企業(yè)全方位的診斷發(fā)現(xiàn)問題,幵提供相應的策略來企業(yè)提高數(shù)據(jù)的健康度要實現(xiàn)丌同團隊的統(tǒng)一管理，需要解決如下問題如何實現(xiàn)不同開發(fā)商輸出結(jié)果的統(tǒng)一化標準化？包括表命名的規(guī)范、數(shù)據(jù)字典知識的發(fā)布和共享，數(shù)據(jù)共享如何實現(xiàn)統(tǒng)一的運行監(jiān)控？統(tǒng)一調(diào)度管理如何數(shù)據(jù)權(quán)限控制、運行資源的控制如何實現(xiàn)統(tǒng)一的數(shù)據(jù)管理？….支持多開發(fā)團隊的管理功能。包括數(shù)據(jù)權(quán)限分配,CPU、I/O資源管理支持丌同數(shù)據(jù)平臺統(tǒng)一開發(fā)。通過抽象API屏蔽平臺的差異性,實現(xiàn)不同數(shù)據(jù)平臺的統(tǒng)一開發(fā)。統(tǒng)一元數(shù)據(jù)管理。每個開發(fā)團隊輸出到不同的開發(fā)目錄。內(nèi)容包括現(xiàn)有的數(shù)據(jù)字典、業(yè)務口徑、程序代碼等統(tǒng)一的標準不規(guī)范。不管哪個開發(fā)小組開發(fā)的內(nèi)容必須滿足這些基本的標準。共享不授權(quán)。數(shù)據(jù)安全可控的范圍內(nèi),促進數(shù)據(jù)的復用與共享。統(tǒng)一運行調(diào)度管理。多團隊開發(fā)輸出處理仸務彼此之間存在復雜邏輯關(guān)系。統(tǒng)一調(diào)度管理能夠穩(wěn)定智能去做仸務運行編排關(guān)鍵特性介紹:創(chuàng)新的數(shù)據(jù)資產(chǎn)運營（2/4）支持數(shù)據(jù)資產(chǎn)多團隊使用的統(tǒng)一管理系統(tǒng)通過以下的功能實現(xiàn)統(tǒng)一開發(fā)關(guān)鍵特性介紹:創(chuàng)新的數(shù)據(jù)資產(chǎn)運營（3/4）通過標準化數(shù)據(jù)服務,搭建企業(yè)的應用開放平臺,促進應用的百花齊放運行基礎(chǔ)平臺運行資源的穩(wěn)定性應用上線下線管理應用共享管理信息安全管理統(tǒng)一數(shù)據(jù)訪問接口統(tǒng)一應用運行機制數(shù)據(jù)標準化服務數(shù)據(jù)處理開發(fā)；

數(shù)據(jù)高速訪問提供數(shù)據(jù)安全控制數(shù)據(jù)沙箱提供

32類數(shù)據(jù)開放基亍Api二次開發(fā)封裝好的sdk

API進行開發(fā)信息推送API支持展示組件支持訂閱中心統(tǒng)一運行環(huán)境,主機,數(shù)據(jù)庫等打通不各系統(tǒng)的接口。統(tǒng)一數(shù)據(jù)中心統(tǒng)一的開發(fā)工具提供可二次開發(fā)的SDK包應用發(fā)布評估管理運行監(jiān)控下線管理應用類型包括報表,信息推送,手機經(jīng)分,手機客戶端等企業(yè)應用商店關(guān)鍵特性介紹:創(chuàng)新的數(shù)據(jù)資產(chǎn)運營（4/4）模型架構(gòu)師程序員業(yè)務分析師/數(shù)據(jù)PD架構(gòu)師技術(shù)框架設計平臺與工具的實現(xiàn)數(shù)據(jù)產(chǎn)品PD

數(shù)據(jù)產(chǎn)品開發(fā)團隊分析、挖掘用戶需求數(shù)據(jù)產(chǎn)品設計商業(yè)智能團隊方案產(chǎn)品設計基礎(chǔ)開發(fā)&開發(fā)架構(gòu)…商業(yè)決策運營數(shù)據(jù)分析師PD內(nèi)部用戶合作伙伴合作伙伴外部數(shù)據(jù)開發(fā)團隊數(shù)據(jù)化運營購培買訓決，策咨詢，解決…行營業(yè)銷分支析撐ETL開發(fā)工程師理解業(yè)務文檔化業(yè)務和需求BI產(chǎn)品設計使用、建設建設服務能力開放,打造數(shù)據(jù)資產(chǎn)工廠類別末端原因人員缺少對現(xiàn)有系統(tǒng)學習手段離職或變勱數(shù)據(jù)源數(shù)據(jù)自相矛盾復雜規(guī)則設有被充分理解變更帶來質(zhì)量問題開發(fā)過程時間太緊張業(yè)務規(guī)則理解錯誤需求理解不準確缺少測試標準和方法質(zhì)量管理質(zhì)量監(jiān)控規(guī)則不好把握系統(tǒng)構(gòu)架設計中缺少質(zhì)量考慮質(zhì)量監(jiān)控帶來過多性能開銷1全過程

開發(fā)管理全過程

質(zhì)量管理元數(shù)據(jù)管理4優(yōu)化構(gòu)架質(zhì)量控制質(zhì)量持續(xù)改進人員培訓周期由3個月縮短至5天元數(shù)據(jù)覆蓋度從30%上升至98%引入DACP平臺質(zhì)量管理問題查證率提高50%數(shù)據(jù)源節(jié)約人力資源成本30%典型案例1:劣力數(shù)據(jù)治理、提升工作效率客戶現(xiàn)狀：1、BI系統(tǒng)經(jīng)過12年以上建設，超過10萬張數(shù)據(jù)表、1600個以上應用，容量超過100T2.存在多廠家合作開發(fā)，數(shù)據(jù)質(zhì)量管理主要依靠管理制度和事后稽核典型案例2:高效建設大數(shù)據(jù)應用系統(tǒng)，管理海量數(shù)據(jù)客戶現(xiàn)狀:、客戶計劃采取Hadoop+DB2混搭式結(jié)構(gòu)實現(xiàn)經(jīng)分域系統(tǒng)重構(gòu)、優(yōu)化。、2040個接口、功能模塊，1058個模塊,2700多個指標,2306個數(shù)據(jù)表重構(gòu),180個一經(jīng)上報，參不團隊多、周期長?？缙脚_，跨系統(tǒng)數(shù)據(jù)抽取分發(fā)。數(shù)據(jù)處理效率提升30%效率提升能力增強成本降低可視化的開發(fā)平臺,建設周期縮短20%高效、靈活的報表展現(xiàn)工具,二次開發(fā)效率提升40%計算速度提升120%,存儲能力提升5倍,為過渡到企業(yè)級大數(shù)據(jù)中心奠定基礎(chǔ)DACP投入使用還釋放了仏庫的高端存

儲25T；釋放了仏庫額外50%的計算能力；同時通過新平臺將傳統(tǒng)仏庫的詳單數(shù)據(jù)的存儲周期從60天提升到210天。整體性能差丌多的情況下,采用DACP投資降低20%左右；典型案例3:基亍應用平臺，實現(xiàn)自主取數(shù)分析客戶現(xiàn)狀：1、業(yè)務部門需要開展營銷活勱或進行業(yè)務分析，則以工單形式要求IT部門臨時統(tǒng)計或取數(shù)。2.IT部門投入8個人負責對口，每個月完成臨時統(tǒng)計300次以上，處理數(shù)據(jù)稽核90次以上。數(shù)據(jù)資產(chǎn)管理平臺，丌僅是技術(shù)工具，也是重要的運營管理手段！全Web界面的在線操作提供豐富的可視化組件,能夠很好地