數(shù)據(jù)治理與大數(shù)據(jù)平臺設計相關(guān)兩份資料

數(shù)據(jù)治理大數(shù)據(jù)平臺設計??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設計1

數(shù)據(jù)治理背景大數(shù)據(jù)時代凸現(xiàn)數(shù)據(jù)重要性數(shù)據(jù)治理是大數(shù)據(jù)的基礎(chǔ)2信息孤島現(xiàn)象嚴重數(shù)據(jù)質(zhì)量問題嚴重

345數(shù)據(jù)應用未得到有效管理6數(shù)據(jù)安全問題日益嚴峻數(shù)據(jù)治理意識到了問題的嚴重1數(shù)據(jù)治理現(xiàn)狀2

“維持”代替“管理”3

歷史“包袱”沉重4

相關(guān)方利益交織，協(xié)調(diào)困難5

方案規(guī)劃容易，落地困難6

過度依賴技術(shù)工具7

對于數(shù)據(jù)沒有明確區(qū)分??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設計組織Organization流程、活動與機制Process&Activities&Mechanism計劃、制度與標準規(guī)范Plan&Rule&Standards技術(shù)平臺與工具Platform&Tools數(shù)據(jù)治理要素數(shù)據(jù)治理策略獲得支持引入外援找到“痛點”確定“起點”責任到人持之以恒績效評估實事求是確定方法做好績效標準先行使用工具獎懲機制經(jīng)驗總結(jié)

數(shù)據(jù)

治理實施建議

*數(shù)據(jù)質(zhì)量提升是目標*主數(shù)據(jù)管理是關(guān)鍵*元數(shù)據(jù)管理是基礎(chǔ)??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設計什么是元數(shù)據(jù)?

元數(shù)據(jù)的定義–

技術(shù)元數(shù)據(jù)–

業(yè)務元數(shù)據(jù)–

操作元數(shù)據(jù)為什么要進行元數(shù)據(jù)管理Why?123456數(shù)據(jù)的參考框架解決數(shù)據(jù)模糊性可視化數(shù)據(jù)流動影響和血緣分析推進標準化建設規(guī)范化數(shù)據(jù)審計

1.2.3.4.5.6.經(jīng)驗分享

標準先行

全局治理

盡快見效

高層支持

業(yè)務參與

獎懲機制數(shù)據(jù)定義標準化數(shù)量月銷售量月銷售量＋＋標準單詞對象詞素詞素詞素詞素分析原屬性名(標準化對象)

標準域數(shù)量類型：

數(shù)字型長度：

19，0

分類詞＋

標準用語月度銷售數(shù)量類型：

數(shù)字型長度：

19，0

修飾詞標準單詞

月度標準單詞

銷售標準單詞

數(shù)量標準單詞

月度

銷售

數(shù)量

分類詞(域)標準體系數(shù)據(jù)定義標準體系

標準單詞標準域標準用語數(shù)據(jù)模型標準化結(jié)構(gòu)

實體、屬性、關(guān)系、主鍵，范式化等

命名規(guī)則、用語詞典、標準域等管理

數(shù)據(jù)管理政策、方針等

配置管理、版本管理等質(zhì)量

準確性

、完整性、實時性、一致性應用

查詢結(jié)果的準確性、使用便利性、查詢結(jié)果的迅速性模型設計

標準實施路線模型優(yōu)化模型診斷設計規(guī)范設計指南按照模型設計規(guī)范和指南統(tǒng)一設計企業(yè)數(shù)據(jù)模型元數(shù)據(jù)管理系統(tǒng)可使用可管理可控制模型要素關(guān)系定義規(guī)則應用系統(tǒng)注冊元數(shù)據(jù)庫腳本同步指導數(shù)據(jù)庫設計審核、評估、發(fā)布提交反饋元數(shù)據(jù)服務標準規(guī)范標準化體系（數(shù)據(jù)定義&模型設計）

制定

完善引用???????

元數(shù)據(jù)管理工具的選擇元模型易于擴展界面友好安全和系統(tǒng)管理配置管理發(fā)布、查詢、報表功能平臺開放提前試用??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設計什么是主數(shù)據(jù)?

企業(yè)主數(shù)據(jù)分散存儲在企業(yè)各系統(tǒng)內(nèi)，對企業(yè)至關(guān)重要的核心業(yè)務實體的數(shù)據(jù)，比如客戶、合作伙伴、員工等–

關(guān)鍵–

分散–

緩慢–

共享主數(shù)據(jù)類型

當事人事物地域財務和組織主數(shù)據(jù)與參考數(shù)據(jù)?

參考數(shù)據(jù)可以是主數(shù)據(jù)，但不一定是主數(shù)據(jù)為什么要作主數(shù)據(jù)管理數(shù)據(jù)冗余難亍應變阻礙業(yè)務數(shù)據(jù)沖突Why?如何做好主數(shù)據(jù)管理經(jīng)常遇到的問題如何做好主數(shù)據(jù)管理識別并管理主數(shù)據(jù)相關(guān)方整理并分析主數(shù)據(jù)的生命周期識別主數(shù)據(jù)含義、上下文、類型主數(shù)據(jù)實施流程運行維護項目實施主數(shù)據(jù)

識別數(shù)據(jù)梳理

項目實施要點?選擇工具?定制開發(fā)?制定標準規(guī)范?確定組織架構(gòu)

申請維護

主數(shù)據(jù)管理系統(tǒng)注冊

準入

審批訪問服務查詢安全管理匹配查重

CRM

數(shù)據(jù)校驗人事管理流程組織機構(gòu)統(tǒng)一數(shù)據(jù)共享

標準規(guī)范強化決策支持主數(shù)據(jù)

管理體系

提升數(shù)據(jù)質(zhì)量數(shù)據(jù)導入

ERP

數(shù)

據(jù)

分

發(fā)……

版本管理財務通知

廢棄??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設計數(shù)據(jù)質(zhì)量問題

數(shù)據(jù)質(zhì)量1、數(shù)據(jù)的值域

3、數(shù)據(jù)的完整性

5、業(yè)務規(guī)則

7、數(shù)據(jù)轉(zhuǎn)換

2、數(shù)據(jù)的定義

4、數(shù)據(jù)的有效性6、結(jié)構(gòu)完整性8、數(shù)據(jù)流

業(yè)務部門統(tǒng)計部門（業(yè)務部門）負責業(yè)務規(guī)則的制定，在業(yè)務層面統(tǒng)管數(shù)據(jù)質(zhì)量和安全。

技術(shù)主管部門技術(shù)部門負責數(shù)據(jù)集成、使用等過程中的數(shù)據(jù)質(zhì)量，并對數(shù)據(jù)質(zhì)量報告進行定期發(fā)布。

評審委員會技術(shù)部門設置評審委員會，對數(shù)據(jù)方面的變更進行管控，具備技術(shù)方案否決權(quán)。

組織架構(gòu)設計●

業(yè)務與技術(shù)部門各司其職，共同做好數(shù)據(jù)質(zhì)量管理工作應用服務《數(shù)據(jù)質(zhì)量管理規(guī)范

二級檢控數(shù)據(jù)質(zhì)量治理流程數(shù)據(jù)錄入/質(zhì)量檢查生產(chǎn)庫

后臺庫一級檢控復制數(shù)據(jù)倉庫ETL短信通知短信通知錄入修改確認技術(shù)主管部門》業(yè)務部門管理員策略Description

of

the

contents方法策略和方法

反面影響和

正面的效果

征得了領(lǐng)導

層關(guān)注

改進工作分布實施，

循序漸進數(shù)據(jù)質(zhì)量報告定期

發(fā)布應用系統(tǒng)需求和架構(gòu)經(jīng)過嚴

格評審系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)變更需要進行嚴格

評估數(shù)據(jù)發(fā)生變更時，通報所有

相關(guān)方Description

of

the

contents技術(shù)手段

從源頭改起，形

成良性循環(huán)24小時監(jiān)控，及時按照預案處理問題

多環(huán)節(jié)設置數(shù)據(jù)

質(zhì)量監(jiān)控功能短信及時通知相關(guān)業(yè)務人員核對問題

BI系統(tǒng)不斷整合不斷改進工具軟件最佳實踐從數(shù)據(jù)剖析（Profiling）開始盡量使用工具進行數(shù)據(jù)剖析數(shù)據(jù)剖析工作需要持續(xù)開展數(shù)據(jù)集成過程也需要進行數(shù)據(jù)剖析數(shù)據(jù)質(zhì)量評估和改進需要被動和主動兩種方式最佳實踐得到高層的支持關(guān)鍵數(shù)據(jù)先行，漸進開展在數(shù)據(jù)的“上游”解決質(zhì)量問題“防患于未然”優(yōu)于“后期治療”數(shù)據(jù)質(zhì)量報告要大范圍發(fā)布??????

議程數(shù)據(jù)治理的背景和現(xiàn)狀數(shù)據(jù)治理策略元數(shù)據(jù)管理主數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理大數(shù)據(jù)平臺設計關(guān)于大數(shù)據(jù)的幾個問題?

什么是大數(shù)據(jù)?

大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)倉庫是什么關(guān)系?

Hadoop與MPP數(shù)據(jù)庫數(shù)據(jù)采集傳統(tǒng)數(shù)據(jù)倉庫

數(shù)據(jù)存儲計算數(shù)據(jù)展現(xiàn)ERPCRM財務人事數(shù)據(jù)挖掘報表展現(xiàn)數(shù)據(jù)集市多維分析EDW抽取轉(zhuǎn)換清洗加載分析人員管理員源數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)倉庫業(yè)務用戶數(shù)據(jù)展示ODS為貫徹落實國家發(fā)展改革委等八部委聯(lián)合印發(fā)的《關(guān)于加快煤礦智能化發(fā)

展的指導意見》（以下簡稱“指導意見

”）、《我國煤炭行業(yè)高質(zhì)量發(fā)展總

體思路、

目標方向、量化標準和重點舉

措研究》等國家相關(guān)政策，加快我國煤

礦智能化建設，推動煤炭行業(yè)高質(zhì)量發(fā)

展，特制定本指南。本指南是促進智能

化煤礦建設、行業(yè)技術(shù)進步和規(guī)范發(fā)展

的指導性文件。

智慧

（煤礦）

礦山建設指南2（1

）子系統(tǒng)煙囪式建設

，數(shù)據(jù)獲取難。管理層需要業(yè)務數(shù)據(jù)時

，經(jīng)常需要軟件商配合

，用戶無法及時獲取并提供數(shù)據(jù)。二是數(shù)據(jù)無法按照集團管控要求和時間及時提供。（2

）數(shù)據(jù)時效性差。目前從業(yè)務系統(tǒng)中獲取數(shù)據(jù)到進行精準決策數(shù)據(jù)分析需要T+N天

，并且數(shù)據(jù)指標維度不全面。當前最新設備狀態(tài)參數(shù)數(shù)據(jù)、系統(tǒng)運行數(shù)據(jù)無法及時獲取。（3

）缺乏平臺化“數(shù)據(jù)打通”，各個數(shù)據(jù)平臺煙囪式關(guān)系

，沒有統(tǒng)一的共享和管控體系

，數(shù)據(jù)標準不統(tǒng)一

，部門間無法有效共

享使用。（4

）缺乏全集團統(tǒng)一的數(shù)據(jù)標準?！巴煌x、

同義不同名”。各業(yè)務系統(tǒng)數(shù)據(jù)以自家接口文檔形式提供輸出

，有的則手動根據(jù)多個指標庫內(nèi)抓數(shù)據(jù)分別提供

，無法做到企業(yè)全流程安全把控和規(guī)則制定。煤礦智能化（數(shù)字礦山/智慧礦山）

是煤礦綜合自動化發(fā)展的新階段

，是煤炭工業(yè)高質(zhì)量發(fā)展的核心技術(shù)支撐。建設智能化煤礦是新時期煤炭企業(yè)面臨的重要任務

，是煤礦企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)

，

已成為不可逆轉(zhuǎn)的發(fā)展趨勢。企業(yè)業(yè)務系統(tǒng)多

，系統(tǒng)煙囪式建設

，數(shù)據(jù)接入困難

，數(shù)據(jù)標準不統(tǒng)一

，數(shù)據(jù)孤島問題嚴重。

煤礦企業(yè)數(shù)字化進程中遇到的問題數(shù)據(jù)時效性差數(shù)據(jù)無法共享數(shù)據(jù)獲取難數(shù)據(jù)缺乏標準31

2

3

4

5

…

…

n數(shù)據(jù)應用數(shù)據(jù)資源數(shù)據(jù)應用數(shù)據(jù)中臺全域數(shù)據(jù)資源（OneData）后臺?

子系統(tǒng)“煙囪”式建設

，數(shù)據(jù)不共享

，業(yè)務不聯(lián)動

，管理改進難?不同業(yè)務對接同一功能子系統(tǒng)，異構(gòu)重復建設

，成本高?業(yè)務創(chuàng)新需調(diào)用多子系統(tǒng)數(shù)據(jù)

，應用構(gòu)建難

，開發(fā)周期長?新的數(shù)據(jù)架構(gòu)下

，打破數(shù)據(jù)壁壘

，滿足未來運營發(fā)展需求

煤炭企業(yè)大數(shù)據(jù)平臺

（數(shù)據(jù)中臺）

價值數(shù)據(jù)應用開發(fā)：

月/年

數(shù)據(jù)資源：

不可復用數(shù)據(jù)應用開發(fā)：

天/周數(shù)據(jù)資源：

可復用1

2…

…

n4數(shù)據(jù)資產(chǎn)

，技術(shù)

，組織

，業(yè)務流程多要素協(xié)同

，驅(qū)動業(yè)務創(chuàng)新和業(yè)務升級業(yè)務導向建設數(shù)據(jù)模型強調(diào)數(shù)據(jù)時效性

，提供實時數(shù)據(jù)分析能

力面向數(shù)據(jù)價值

，為業(yè)務應用提供統(tǒng)一數(shù)

據(jù)服務主要服務于一線業(yè)務人員核心功能為業(yè)務流程支撐提供基礎(chǔ)的統(tǒng)計、報表和數(shù)據(jù)分析功

能不同業(yè)務系統(tǒng)之間形成數(shù)據(jù)煙囪數(shù)據(jù)BI

數(shù)據(jù)中臺2

3強調(diào)數(shù)據(jù)集成

，整合多業(yè)務數(shù)據(jù)面向數(shù)據(jù)應用、

BI報表、即席查

詢、交互探索數(shù)據(jù)支撐強調(diào)數(shù)據(jù)治理及數(shù)據(jù)管理組織、制度、流程

煤炭企業(yè)大數(shù)據(jù)平臺

（數(shù)據(jù)中臺）

企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)業(yè)務系統(tǒng)1數(shù)據(jù)價值：高數(shù)據(jù)價值：低6

煤炭企業(yè)業(yè)務系統(tǒng)前期調(diào)研

（1）7

煤炭企業(yè)業(yè)務系統(tǒng)前期調(diào)研

（

2）8基本情況：

5個領(lǐng)導中心、

47個業(yè)務系統(tǒng)當前煤炭企業(yè)業(yè)務系統(tǒng)由于沒有進行相互集成

，系統(tǒng)之間數(shù)據(jù)沒有交互關(guān)系，所以本次調(diào)研根據(jù)所屬中心部門進行劃分為：

“生產(chǎn)技術(shù)中心”

，

“機電運輸

中心”

，

“調(diào)度指揮中心”

，

“后勤保障中心”

，

“安全中心”5個中心領(lǐng)導

部門

，其中梳理底層業(yè)務系統(tǒng)47個

，

計劃上線9個

，

目前正常使用38個。數(shù)據(jù)情況：

主要以下五種1、

SQL

Server

數(shù)據(jù)庫（安全監(jiān)測系統(tǒng)、

束管防滅火監(jiān)測等）2、

OPC協(xié)議（清洗泵房、

空壓機監(jiān)控系統(tǒng)）3、Access（電力計量系統(tǒng)、

ZKAcess人員刷卡系統(tǒng)）4、

My

SQL

（汽車裝車系統(tǒng)、

雙重預防信息系統(tǒng)等）5、接口對接（非數(shù)據(jù)庫類型、

數(shù)據(jù)獲取難）

煤炭企業(yè)業(yè)務系統(tǒng)前期調(diào)研

（

3）9主要中心主要部門系統(tǒng)名稱具體區(qū)域當前情況主要功能開發(fā)廠家數(shù)據(jù)庫類型對接方式10生產(chǎn)技術(shù)中心通防部通風機管理系統(tǒng)未上線方案待定智能通風管控系統(tǒng)未上線方案待定災害智能融合分析與可

視化分析未上線方案待定瓦檢巡檢管理系統(tǒng)未上線方案待定安全監(jiān)測系統(tǒng)已上線粉塵、設備、

甲烷、一氧化碳、風機開停

監(jiān)控sqlserver

2008數(shù)據(jù)庫對接束管防滅火監(jiān)測已上線采空區(qū)氣體情況、識別氣燃發(fā)火氣體sqlserver

2009數(shù)據(jù)庫對接采空區(qū)光纖測溫系統(tǒng)已上線采空區(qū)溫度sqlserver

2010數(shù)據(jù)庫對接生產(chǎn)部總采頂板檢測系統(tǒng)已上線山東科技大學sql

server數(shù)據(jù)庫對接掘進頂板檢測系統(tǒng)已上線山東光安sql

server數(shù)據(jù)庫對接地測部水文系統(tǒng)已上線地下水位觀測西安中煤可控集

團西安研究院sqlserver

2008數(shù)據(jù)庫對接龍軟GIS已上線礦井地質(zhì)

，通風參數(shù)

，地質(zhì)信息、錄入、

展示及分析北京龍軟sqlserver

2016數(shù)據(jù)庫對接智能地質(zhì)保障系統(tǒng)未上線地質(zhì)建模

，地質(zhì)推演

，地址數(shù)據(jù)可視化

，礦井地質(zhì)基礎(chǔ)信息、關(guān)聯(lián)信息、預測信息等能夠用可視化的方式直觀的展示出來。方案待定

煤炭企業(yè)數(shù)據(jù)中臺業(yè)務系統(tǒng)情況主要中心主要部門系統(tǒng)名稱具體區(qū)域當前情況主要功能開發(fā)廠家數(shù)據(jù)庫類型對接方式11機電運輸中

心機電部門供排水系統(tǒng)中央泵房已上線流量壓力

，水泵負壓

，水泵入口

負壓，

出口正壓

，流量監(jiān)控、北京富力通winCC西門子OPC協(xié)議清洗泵房已上線流量壓力

，水泵負壓

，水泵入口

負壓，

出口正壓

，流量監(jiān)控、天地常州西門子300PLCOPC協(xié)議二盤區(qū)泵房已上線流量壓力

，水泵負壓

，水泵入口

負壓，

出口正壓

，流量監(jiān)控、淮南萬泰西門子1500PLCOPC協(xié)議掘進系統(tǒng)已上線目前沒有系統(tǒng)

，只有PLC智能設備通過上位機獲取PLC數(shù)據(jù)然后經(jīng)過OPC協(xié)議進行數(shù)據(jù)傳輸電力安全監(jiān)控系統(tǒng)已上線監(jiān)控及控制變電所高壓柜及部分低壓柜西瑞sqlserver

2003數(shù)據(jù)庫對接主通風機監(jiān)控系統(tǒng)已上線監(jiān)控主通風機運行及相關(guān)參數(shù)西安宇田一百立方供水已上線生活供水系統(tǒng)

，參數(shù)及狀態(tài)西安重裝kepserverOPC協(xié)議或kepserver電力計量系統(tǒng)已上線計量各個變電所高壓柜用電情況山東山大電力

設備access本身自帶系統(tǒng)

，可以提供賬號密碼

，同時提供傳輸點空壓機監(jiān)控系統(tǒng)一號壓風機已上線監(jiān)控空壓機運行參數(shù)西門子PLC315-2DT上位機走OPC協(xié)議二號壓風機已上線監(jiān)控空壓機運行參數(shù)ABPLC1769上位機rsslinx洗選部門設備自動化控制系統(tǒng)已上線洗煤及選煤自動化設備控制北京華宇sqlserver

expressOPC協(xié)議火車裝車系統(tǒng)已上線火車裝料北京華宇sqlserver數(shù)據(jù)庫對接汽車裝車系統(tǒng)已上線汽車裝料北京華宇mysql5.7數(shù)據(jù)庫對接運輸部門主運輸系統(tǒng)已上線皮帶參數(shù)

，運行狀況南京北路sqlsever2008數(shù)據(jù)庫對接\接口輔助運輸系統(tǒng)已上線車輛運輸、運料深圳翌日sql

server數(shù)據(jù)庫對接

接口

煤炭企業(yè)數(shù)據(jù)中臺業(yè)務系統(tǒng)情況\主要中心主要部門系統(tǒng)名稱具體區(qū)域當前情況主要功能開發(fā)廠家數(shù)據(jù)庫類型對接方式12后勤保障中心后勤部安防視頻監(jiān)控系統(tǒng)已上線礦區(qū)井上監(jiān)控視頻神州數(shù)碼視頻文件廠區(qū)內(nèi)一卡通門禁

系統(tǒng)已上線門禁識別系統(tǒng)

，主要針對培訓中心

，文體中心

，5號公寓樓建設

，數(shù)據(jù)不互通

，單獨進行授權(quán)皮克sqlserver

2005數(shù)據(jù)庫對接南大門-車牌識別系

統(tǒng)已上線南大門車輛進出信息記錄

，車輛信息存儲，

由部分照片數(shù)據(jù)西安鼎眾設

備科技sql

server數(shù)據(jù)庫對接南大門-ZKAcess人

員刷卡系統(tǒng)已上線南大門人員進出刷卡系統(tǒng)

，存儲個人信息

及進出記錄西安鼎眾設

備科技accesss本身自帶系統(tǒng)

，可以

提供數(shù)據(jù)庫賬密南大門-人臉識別系

統(tǒng)已上線南大門人臉識別系統(tǒng)

，存儲個人信息及照

片信息數(shù)據(jù)及進出記錄西安鼎眾設

備科技sql

server數(shù)據(jù)庫對接\接口保安巡邏系統(tǒng)已上線保安巡邏信息記錄

，點位信息數(shù)據(jù)藍卡軟件自帶數(shù)據(jù)庫數(shù)據(jù)庫對接\接口停車管理系統(tǒng)已上線針對培訓中心

，辦公樓

，地下車庫三個地

下停車場門禁管理

，數(shù)據(jù)信息管理藍卡sql

sever數(shù)據(jù)庫對接消防報警系統(tǒng)已上線主要針對辦公樓消防信息數(shù)據(jù)管理控制，根據(jù)反饋數(shù)據(jù)進行報警西安萊科思OPC協(xié)議虹膜管理考勤系統(tǒng)已上線利用虹膜信息進行打卡

，實現(xiàn)員工考勤記

錄凱宏電子sqlserver

2008數(shù)據(jù)庫對接一卡人臉收費卡系

統(tǒng)已上線買飯購物刷卡陜西春垚SecurityDBBock軟件自帶系統(tǒng)

，需要

和軟件開發(fā)商溝通

煤炭企業(yè)數(shù)據(jù)中臺業(yè)務系統(tǒng)情況主要中心主要部門系統(tǒng)名稱具體區(qū)域當前情況主要功能開發(fā)廠家數(shù)據(jù)庫類型對接方式13調(diào)度指揮中心智能部人員定位系統(tǒng)已上線人員礦井定位深圳翌日sql

server數(shù)據(jù)庫對接調(diào)度通訊系統(tǒng)已上線礦井通訊信息數(shù)據(jù)北方聯(lián)創(chuàng)sql

server數(shù)據(jù)庫對接應急廣播已上線礦井應急廣播信息數(shù)據(jù)南京北路sql

server數(shù)據(jù)庫對接井下視頻系統(tǒng)已上線井下錄像視頻數(shù)據(jù)?？低曇曨l數(shù)據(jù)接口智能工作面25211工作面已上線智能化工作面觸電信息數(shù)據(jù)天瑪sql

server建議OPC協(xié)議對接44204工作面

和15215已上線智能化工作面觸電信息數(shù)據(jù)瑪珂OPC協(xié)議OPC協(xié)議設備管理系統(tǒng)已上線管理礦區(qū)設備情況宇通集團數(shù)據(jù)難獲取非集團建設部署OA辦公系統(tǒng)煤炭企業(yè)OA辦

公系統(tǒng)已上線數(shù)據(jù)陜煤集團公司OA系統(tǒng)與釘釘已做對接陜煤股份數(shù)據(jù)難獲取非集團建設部署安全中心

·安全部雙重預防信息系統(tǒng)已上線人工上傳安全隱患信息

，對礦廠安全隱

患事故進行記錄處理中國礦大mysql

1.7+數(shù)據(jù)庫對接\接口安全檢查系統(tǒng)未上線徒步檢測

，定期檢查

，發(fā)放檢查任務，

發(fā)放檢查通知方案待定智能推送系統(tǒng)未上線需要與隱患系統(tǒng)、雙重預防信息系統(tǒng)及消防安全系統(tǒng)進行聯(lián)調(diào)

，推送接受安全隱患信息方案待定智能信息系統(tǒng)未上線針對安全隱患現(xiàn)場進行拍照上傳

，與推送系統(tǒng)進行聯(lián)調(diào)

，通知到具體負責人進行改良方案待定智慧園區(qū)系統(tǒng)未上線統(tǒng)一管理園區(qū)消防設備

，消防報警

，信

息報警

，培訓中心

，行政中心

，5號公

寓樓

，救護隊

，視頻資源數(shù)據(jù)信息情況方案待定智能應急管理系統(tǒng)未上線管理井下應急事故及計劃預案

，同時與

通信呼叫心態(tài)

，人員定位系統(tǒng)進行聯(lián)調(diào)，

井上針對救護中隊

，醫(yī)療室，應急物資進行統(tǒng)一管理

，對接調(diào)度中心方案待定

煤炭企業(yè)數(shù)據(jù)中臺業(yè)務系統(tǒng)情況構(gòu)建統(tǒng)一、

融合、

智能、

高效的煤礦大腦，

助力用戶逐步建設具有主動感知、自動分析、

深度學習、

智能決策、

科學指揮的智慧型礦山。

致力于為煤炭企業(yè)

構(gòu)建“全”、“統(tǒng)”、“通”、

”智”的

（大數(shù)據(jù)平臺/數(shù)據(jù)中臺）

體系，

基于“數(shù)字新基

建”時代的數(shù)據(jù)價值思考，

構(gòu)建全域數(shù)字化礦區(qū)共享能力中心，

助力煤炭企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型，

打通底層系統(tǒng)之間數(shù)據(jù)壁壘，

加強公司整體管理和安全生產(chǎn)

系數(shù)，

為運營提供數(shù)據(jù)統(tǒng)籌模型，

實現(xiàn)重點數(shù)據(jù)實時監(jiān)控和數(shù)據(jù)共享開放服務。全域分析智能決策打通原有業(yè)務系統(tǒng)統(tǒng)一煤炭企業(yè)統(tǒng)一數(shù)據(jù)標準數(shù)據(jù)申請與審核統(tǒng)一數(shù)據(jù)報表支撐綜合管控數(shù)據(jù)統(tǒng)一治理數(shù)據(jù)資產(chǎn)管理形成數(shù)據(jù)字典數(shù)據(jù)發(fā)布直觀掌握數(shù)據(jù)支撐決策分析（約47個）數(shù)據(jù)血緣提供決策依據(jù)支撐創(chuàng)新應用等

煤炭企業(yè)大數(shù)據(jù)平臺

（數(shù)據(jù)中臺）

建設目標統(tǒng)一資產(chǎn)統(tǒng)一標準數(shù)據(jù)管控打通數(shù)據(jù)14智慧礦山（數(shù)字礦山）綜合管控平臺后勤保障中心一卡通門禁車牌識別系統(tǒng)人臉識別系統(tǒng)保安巡邏系統(tǒng)消防報警系統(tǒng)安全中心雙重預防信息安全檢查系統(tǒng)智能推送系統(tǒng)智能信息系統(tǒng)智慧園區(qū)系統(tǒng)調(diào)度指揮中心機電運輸中心

煤炭企業(yè)大數(shù)據(jù)平臺

（數(shù)據(jù)中臺）

大圖數(shù)字孿生

領(lǐng)導駕駛艙煤礦數(shù)字孿生煤炭企業(yè)當前存在系統(tǒng)較多

，調(diào)研共計47個

，其中計劃上線9個

，當前在使用系統(tǒng)38個。煤炭工業(yè)大數(shù)據(jù)平臺（數(shù)據(jù)中臺）煤礦高風險預警工業(yè)態(tài)勢感知不安全行為分析智慧園區(qū)管控綜合管控中心智能指揮調(diào)度3D可視化煤礦一張圖煤礦運營指標體系安全生產(chǎn)監(jiān)測智能掘進開采束管防滅火空壓機監(jiān)控安全監(jiān)測系統(tǒng)瓦檢巡檢管理通風機管理掘進系統(tǒng)供排水系統(tǒng)主通風機監(jiān)控調(diào)度通訊系統(tǒng)應急廣播設備管理系統(tǒng)人員定位系統(tǒng)數(shù)據(jù)字典數(shù)據(jù)挖掘數(shù)據(jù)集市數(shù)據(jù)模型算法開發(fā)標簽中心數(shù)據(jù)血緣數(shù)據(jù)清洗數(shù)據(jù)標準數(shù)據(jù)開發(fā)數(shù)據(jù)治理智能通風管控電力安全監(jiān)控智能工作面數(shù)據(jù)資產(chǎn)數(shù)據(jù)質(zhì)量數(shù)據(jù)采集中臺支持

·數(shù)據(jù)互通中臺支持

·數(shù)據(jù)互通中臺支持

·數(shù)據(jù)支撐中臺支持

·數(shù)據(jù)支撐15煤礦全域數(shù)據(jù)中心--數(shù)據(jù)中臺/大數(shù)據(jù)平臺大數(shù)據(jù)應用領(lǐng)導駕駛艙高風險預警工業(yè)態(tài)勢感知應急指揮調(diào)度智能開采掘進業(yè)務數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)集成數(shù)據(jù)開發(fā)平臺SQLETLShellSpark

appMLAB數(shù)據(jù)集市數(shù)據(jù)資產(chǎn)數(shù)據(jù)標準數(shù)據(jù)模型數(shù)據(jù)整合質(zhì)量監(jiān)控數(shù)據(jù)血緣數(shù)據(jù)安全元數(shù)據(jù)管理數(shù)據(jù)服務

化能力共

享統(tǒng)一標準清洗融合建模挖掘大數(shù)據(jù)計算平臺數(shù)據(jù)倉庫ODSSTDDWDDM數(shù)據(jù)同步數(shù)據(jù)同步數(shù)據(jù)治理平臺關(guān)系型數(shù)據(jù)庫拿拿煤礦全域數(shù)據(jù)中心--數(shù)據(jù)中臺/大數(shù)據(jù)平臺數(shù)據(jù)應用數(shù)據(jù)開發(fā)平臺大數(shù)據(jù)計算平臺數(shù)據(jù)倉庫數(shù)據(jù)集成業(yè)務數(shù)據(jù)數(shù)據(jù)治理平臺數(shù)據(jù)服務總線

+業(yè)務能力拿拿數(shù)據(jù)共享交換平臺數(shù)據(jù)同步拿拿外部數(shù)據(jù)關(guān)系型數(shù)據(jù)庫分析型數(shù)據(jù)庫業(yè)務庫n業(yè)務庫1前置庫

前置庫拿拿ETL

ETL

數(shù)據(jù)交換網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)根據(jù)智能化煤礦(井工)分類、分級技術(shù)條件與評價標準，切實提升煤礦行業(yè)數(shù)字化指標，實現(xiàn)智能化煤礦建設。

煤礦企業(yè)大數(shù)據(jù)平臺

（數(shù)據(jù)中臺）

實現(xiàn)目標18指標名稱計算方法數(shù)據(jù)服務分項分數(shù)=a1+a2+a3a1.礦井地質(zhì)、工程等資料實現(xiàn)了數(shù)字化

，且數(shù)據(jù)進行了合理的分類與存儲

，數(shù)據(jù)見交互方式合理,得0~40分；a2.文件類數(shù)據(jù)采用FTP進行交互

，音頻數(shù)據(jù)采用SIP,RIP和RTSP協(xié)議實現(xiàn)

，非標準工控類設備數(shù)據(jù)采用OPC/OPC

UA

標準實現(xiàn)

，對于環(huán)境類數(shù)據(jù)

，井下人員數(shù)據(jù)、非標準機電設備檢測控制類數(shù)據(jù)采用行業(yè)統(tǒng)一的數(shù)據(jù)交換標準規(guī)范

協(xié)議,得0~40分；a3.具有合理的數(shù)據(jù)源分析屬性、產(chǎn)生層級及交互層次規(guī)范

，得0~20分；

大數(shù)據(jù)中心的數(shù)據(jù)服務功能及健全程度評價指標見表7所示。表28數(shù)據(jù)中心指標評價方法指標名稱計算方法數(shù)據(jù)服務分項分數(shù)=a1+a2+a3a1.礦井各類資料均實現(xiàn)了數(shù)字化

，且數(shù)據(jù)進行了合理的分類與存儲

，數(shù)據(jù)間交互方式合理,得0~40分；

a2.采用行業(yè)統(tǒng)一的數(shù)據(jù)交換標準規(guī)范協(xié)議

，得0~40分；a3.具有全面的數(shù)據(jù)分類屬性、產(chǎn)生層級及交互層次規(guī)范

，得0~20分；

大數(shù)據(jù)中心的數(shù)據(jù)服務功能及健全程度評價指標見表7所示。表7數(shù)據(jù)中心指標評價方法根據(jù)智能化煤礦(井工)分類、分級技術(shù)條件與評價標準，切實提升煤礦行業(yè)數(shù)字化指標，實現(xiàn)智能化煤礦建設。

煤礦企業(yè)大數(shù)據(jù)平臺

（數(shù)據(jù)中臺）

實現(xiàn)目標19

智慧

（數(shù)字）

礦山

，

煤礦企業(yè)的發(fā)展方向煤礦企業(yè)大數(shù)據(jù)平臺/數(shù)據(jù)中臺建設四維度：實現(xiàn)海量數(shù)據(jù)治理

整合

，對數(shù)據(jù)進行

清洗比對加工、存

儲和交互

，確保大

數(shù)據(jù)應用分析的準

確性數(shù)據(jù)采集管理自動

化

，實現(xiàn)生產(chǎn)數(shù)據(jù)、

業(yè)務數(shù)據(jù)、管理數(shù)

據(jù)的全面、實時、多結(jié)構(gòu)自動采集降低數(shù)據(jù)使用門檻、

提升數(shù)據(jù)使用效率，

打破數(shù)據(jù)孤島

，全

面支持高層決策分

析和創(chuàng)新業(yè)務應用四、數(shù)據(jù)分析/數(shù)據(jù)

使用智能化統(tǒng)一數(shù)據(jù)標準

，快

速建立分析模型

，

挖掘有用價值

，推

動管理升級

，預測

未來發(fā)展趨勢三、數(shù)據(jù)標準統(tǒng)一

化/模型開發(fā)簡單化二、數(shù)據(jù)治理/數(shù)

據(jù)整合加工流程化一、數(shù)據(jù)采集管

理自動化采用統(tǒng)一的數(shù)據(jù)接入模式

，

以標準化、

模塊化的方式進行多源異構(gòu)數(shù)據(jù)資源的接入

，解決應急管理信息資

源在集中匯聚時面臨的分散孤立、

源頭多樣、

跨網(wǎng)傳輸?shù)葐栴}

，為應急數(shù)據(jù)資源的匯聚集中、

統(tǒng)一標準化

處理和信息資源池構(gòu)建提供源數(shù)據(jù)支撐。新型NoSQL數(shù)據(jù)庫文件系統(tǒng)開源大數(shù)據(jù)平臺一、

全域數(shù)據(jù)中心建設--數(shù)據(jù)集成全量抽取實時增量抽取時間戳增量抽取實時日志增量抽取全量覆蓋追加Append寫入沖突行覆蓋忽略沖突行關(guān)系型數(shù)據(jù)庫其他類型數(shù)據(jù)源其他格式數(shù)據(jù)數(shù)據(jù)接入系統(tǒng)晶數(shù)據(jù)倉庫對象存儲數(shù)據(jù)庫直觀易用的B/S用戶界面是DataBridge區(qū)別于其它同類產(chǎn)品的重要特色。

DataBridge屏蔽了復雜的數(shù)據(jù)操作過程，無需高級DBA或技術(shù)人員提供咨詢或編寫不透明的定制腳本代碼

，通過簡單的界面操作

，就可實現(xiàn)大部分數(shù)據(jù)轉(zhuǎn)

換整合的應用場景。

同時可根據(jù)業(yè)務需要周期性的對作業(yè)進行自動調(diào)度

，無需人工干預。完全基于B/S用戶界面、

簡單易用晶國產(chǎn)數(shù)據(jù)庫支持--數(shù)據(jù)集成國產(chǎn)化大數(shù)據(jù)平臺與數(shù)據(jù)庫引擎、

消息中間件對接：n

HW：

HDFS、

HBASE、

HIVE、

OBS、

Elasticsearch、

gaussDB100、

gaussDB200、

gaussDB300n

阿里：

MaxCompute(ODPS)、ADS、

RDS、

OTS、

OSS、

Datahub、

DRDS、

HibridDB(PetaData)n

中興：

HDFS、

HBASE、

HIVEn

南大通用：

GBase8a/8s/8tn

達夢：

DM7n

人大金倉：

KingbaseES

V8n

金碟/中興/H為消息中間件

：AMQ消息中間件Apusi

c

V9.0、

中興kafka、

H為kafka、多源異構(gòu)數(shù)據(jù)采集轉(zhuǎn)換--數(shù)據(jù)集成n

支持主流數(shù)據(jù)庫和大數(shù)據(jù)平臺

，如Oracle、

MySQL、

SQLServer、

Db2、

Sybase、

PostgreSQL、TeraData、

Redis、

MongoDB、

REST、

達夢、

南大通用GBase8t、

HDFS、

HBase、

Hive、GreenPlum、

H為Hive、

H為LibrA等；n

阿里云的RDS、

DRDS、

MaxCompute、

AnalyticDB、

DataHub、

OTS、

OSS等組件的數(shù)據(jù)互通；n

支持文件搬移與文件解析

，

FileServer協(xié)議支持SFTP、

SMB、

FTP、

OBS、

OSS等

，

文件解析支持諸如xml、

txt、

csv和Excel等格式

，

支持zip包；n

支持全量高速同步以及增量同步

，

文件同步；n

支持Oracle

dmp文件導入；

支持數(shù)據(jù)加密傳輸

，保證數(shù)據(jù)傳輸過程中不泄密。七大組件數(shù)據(jù)/服務資源目錄、

數(shù)據(jù)交換中

控、數(shù)據(jù)交換總線、

數(shù)據(jù)交換網(wǎng)關(guān)

、API服務中控、

API服務網(wǎng)關(guān)、

數(shù)

據(jù)ETL工具。高性能?

單節(jié)點120MB/S、

30萬條/秒

（工信部下屬第三方測試結(jié)果）?

支持集群高可靠?

支持自動斷點續(xù)傳?

支持斷開網(wǎng)絡或系統(tǒng)重啟后數(shù)據(jù)不丟失高安全?

支持數(shù)據(jù)傳輸過程加解密?

專利技術(shù)實現(xiàn)非侵入式增量數(shù)據(jù)提取?

基于大數(shù)據(jù)平臺支持安全交換高易用?

目錄驅(qū)動的交換?

多源異構(gòu)數(shù)據(jù)的匯聚、

交換?

庫級交換、

匯聚

交換網(wǎng)關(guān)API網(wǎng)關(guān)

前置庫

開放服務

ETL

業(yè)務系統(tǒng)

部門2

交換網(wǎng)關(guān)API網(wǎng)關(guān)

前置庫

開放服務

ETL

業(yè)務系統(tǒng)

部門N數(shù)據(jù)資源目錄/服務資源目錄二、

數(shù)據(jù)交換共享系統(tǒng)

交換網(wǎng)關(guān)API網(wǎng)關(guān)前置庫

開放服務

ETL

數(shù)據(jù)交換中控API服務中控數(shù)據(jù)交換總線中心數(shù)據(jù)庫業(yè)務系統(tǒng)部門1。

。

?；驍?shù)據(jù)標簽結(jié)構(gòu)化數(shù)據(jù)比對非結(jié)構(gòu)化數(shù)據(jù)比對結(jié)構(gòu)與非結(jié)構(gòu)化融合比對三、

數(shù)據(jù)治理建設內(nèi)容數(shù)據(jù)標識數(shù)據(jù)探查數(shù)據(jù)比對數(shù)據(jù)提取數(shù)據(jù)清洗表級探查字段級探查非結(jié)構(gòu)化

數(shù)據(jù)提取視頻、

圖

像數(shù)據(jù)提文本數(shù)據(jù)

提取音頻數(shù)據(jù)

提取結(jié)構(gòu)化數(shù)

據(jù)提取數(shù)據(jù)格轉(zhuǎn)數(shù)據(jù)校驗數(shù)據(jù)過濾數(shù)據(jù)去重取26過濾日期值清洗數(shù)據(jù)清洗即可實現(xiàn)對結(jié)構(gòu)化和半結(jié)構(gòu)化清洗

，

如對原始庫中的數(shù)據(jù)靜態(tài)數(shù)據(jù)清洗

，

也可以對流數(shù)據(jù)進行清洗。數(shù)據(jù)治理數(shù)據(jù)清洗原始庫消息隊列資源庫消息隊列離線數(shù)據(jù)實時消息流式數(shù)據(jù)清洗離線數(shù)據(jù)清洗編碼轉(zhuǎn)換去重校驗格式轉(zhuǎn)換編碼核驗字段長度清洗值域清洗時間值清洗多表處理多表合并實時業(yè)務表表級處理分區(qū)標準化多列合并波動監(jiān)控表大小波動檢測表行數(shù)波動檢測值監(jiān)控布爾分析完整性分析字符串處理去除空白字符去除特定字符值清洗數(shù)據(jù)脫敏同義詞替換數(shù)據(jù)清洗組件唯一性分析數(shù)值分布分析外鍵檢查分析日期分析日期范圍分析數(shù)據(jù)分組合并空值填充列均值波動監(jiān)測列值和波動檢測枚舉值分析數(shù)值分析漢語轉(zhuǎn)拼音字符串截取身份證信息提取日期拆分長度過濾正則過濾標準值域過濾空值過濾轉(zhuǎn)為Unix時間戳日期標準化電話號碼清洗JavaScript清洗歷史拉鏈表轉(zhuǎn)換為字符串全角半角轉(zhuǎn)換身份證校驗轉(zhuǎn)換列最值波動檢測標準值域分析大小寫轉(zhuǎn)換SQL清洗拆分列數(shù)據(jù)標識是利用標簽庫中已經(jīng)建設好的規(guī)則

，對數(shù)據(jù)進行比對分析和模型計算

，將符合規(guī)則的數(shù)據(jù)進行標識

，

為進一步

的數(shù)據(jù)使用提供支撐

，數(shù)據(jù)標識支持表標識

，列標識

，數(shù)據(jù)規(guī)則獲取規(guī)則解析規(guī)則執(zhí)行結(jié)果輸出1、創(chuàng)建標簽類目3、

配置標簽打標規(guī)則2、標簽類目中創(chuàng)建標簽4、

配置引用數(shù)據(jù)數(shù)據(jù)治理數(shù)據(jù)標識列標識待標識數(shù)據(jù)標簽庫表標識條目標識條目標識。標簽引擎兩級可視化數(shù)據(jù)清洗與挖掘任務工作流

清洗任務配置兩級可視化數(shù)據(jù)治理數(shù)據(jù)管控系統(tǒng)數(shù)據(jù)管控要實現(xiàn)對數(shù)據(jù)資源池數(shù)據(jù)的管理和控制

，功能主要有數(shù)據(jù)標準（數(shù)據(jù)元）

管理、

數(shù)據(jù)字典管理、

數(shù)據(jù)質(zhì)量管理、

數(shù)據(jù)血緣等。創(chuàng)建并維護數(shù)據(jù)模型中使用的數(shù)據(jù)字典

，制定并管理平臺遵循的統(tǒng)一數(shù)據(jù)標準

，幫助平臺管理者和數(shù)據(jù)管理者管控治理后數(shù)據(jù)的一致性和數(shù)據(jù)質(zhì)量。建立系統(tǒng)數(shù)據(jù)質(zhì)量評估標準

，從完整性、一致性、準確性、及時性、唯一性等方面評估數(shù)據(jù)是否達到預期設定的質(zhì)量要求。全鏈的數(shù)據(jù)血緣分析和展示

，通過數(shù)據(jù)血緣清晰的查看數(shù)據(jù)在數(shù)據(jù)源庫、原始庫、資源庫、主題庫和專題庫之間的總體流向。對數(shù)據(jù)標準定義、維度定義、維值代碼定義、公共統(tǒng)計規(guī)則的管理和維護

，為用戶制定后續(xù)的標準化和歸一化的清洗規(guī)則提供強有力的參考依據(jù)。數(shù)據(jù)標準管理數(shù)據(jù)字典管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)血緣管理數(shù)據(jù)治理數(shù)據(jù)標準建設數(shù)據(jù)標準:數(shù)據(jù)拍標準

(勘據(jù)元)規(guī)范,

是對數(shù)據(jù)類型

，通過定義、標識、表示以及允許值等一系列屬性描述的數(shù)據(jù)單元。

它是數(shù)據(jù)資源池數(shù)據(jù)清洗、標準化、以及數(shù)據(jù)質(zhì)量監(jiān)控的基礎(chǔ)依據(jù)數(shù)據(jù)治理建設過程中要對數(shù)據(jù)元素進行標準制定、對數(shù)據(jù)字典進行標準制定數(shù)據(jù)標準體系數(shù)據(jù)字典標準數(shù)據(jù)元素標準數(shù)據(jù)治理建設要求實現(xiàn)對數(shù)據(jù)血緣的管理

，數(shù)據(jù)血緣管理了數(shù)據(jù)從哪里來到哪里去的完整鏈路

，如下圖所示

,通過數(shù)據(jù)血緣查詢可獲取主題庫“事件事故基本表”從哪些系統(tǒng)融合了數(shù)據(jù)

，

又被哪些業(yè)務系統(tǒng)所使用數(shù)據(jù)治理數(shù)據(jù)血緣管理l

一張圖看清每個數(shù)據(jù)的來龍去脈l

基于血緣圖進行數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全問題溯源、

影響分析數(shù)據(jù)治理

“

全鏈路

”數(shù)據(jù)血緣建立數(shù)據(jù)質(zhì)量管理體系

，實現(xiàn)數(shù)據(jù)治理平臺數(shù)據(jù)質(zhì)量的

有效管控

，管理維度包括：

完整性：

主要包括屬性缺失、

記錄缺失、

字段缺失幾個方面

合效性：

主要包括格式、

類型、

值域、

和業(yè)務規(guī)則的有效性

及時性

：指數(shù)據(jù)刷新、

修改和提取等的及時和快速性

一致性

：數(shù)據(jù)含義一致性、

數(shù)據(jù)格式一致性、

數(shù)據(jù)傳輸不丟失

，指

統(tǒng)一數(shù)據(jù)來源、

冗余存儲和統(tǒng)一口徑的一致性

唯一性

：指主鍵唯一和候選鍵唯一兩個方面

，

主鍵重復數(shù)據(jù)檢核

，

主外鍵是否缺失檢核

準確性

：指計量誤差、

度量單位等方面的精確度數(shù)據(jù)治理數(shù)據(jù)質(zhì)量管理體系數(shù)據(jù)質(zhì)

量準確性合規(guī)性唯一性及時性完整性一致性序號表名稱表中文名稱字段名稱字段類型字段注釋檢查類

型有無質(zhì)量

問題問題分類問題記錄

數(shù)表總記錄

數(shù)1t_yj_tfsj_sb_r突發(fā)事件表IDvarchar(64)ID(主鍵)一致性Y一致性:數(shù)據(jù)不一

致9584217932t_yj_tfsj_sb_r突發(fā)事件表TITLEvarchar(64)標題完整性Y123135183t_yj_tfsj_sb_r突發(fā)事件表varchar(64)災害類型完整性Y完整性:空值1366277434t_yj_tfsj_sb_r突發(fā)事件表REPORT_MANvarchar(64)報送人完整性Y完整性:空值141970320314025t_yj_tfsj_sb_r突發(fā)事件表REPORT_TIMEdatetime報送時間完整性Y完整性:

值658988659004檢核的表檢核的字段及規(guī)則檢核的結(jié)果說明及問題歸類樣例：基于數(shù)據(jù)質(zhì)量檢核表或字段進行概況統(tǒng)計的報表

，展現(xiàn)全局資源池資料狀態(tài)數(shù)據(jù)質(zhì)量統(tǒng)計報告，全局分析數(shù)據(jù)治理質(zhì)量情況，了解資源池整體數(shù)據(jù)質(zhì)量情況數(shù)據(jù)治理數(shù)據(jù)質(zhì)量報告對開戶日期進行完整性檢查

，檢查數(shù)據(jù)的

缺失情況統(tǒng)計信貸系統(tǒng)和核心系統(tǒng)證件號一致,客戶

號不一致的記錄數(shù)。對客戶名稱進行完整性檢查

，檢查客戶名

稱是否存在空值。對客戶名稱進行完整性檢查

，檢查客戶名

稱是否存在空值。對開戶日期進行完整性檢查

，檢查數(shù)據(jù)的

缺失情況樣例：基于突發(fā)事件表五個字段進行一致性和完整性的質(zhì)量檢查及表級數(shù)據(jù)質(zhì)量明細報告selectcount(*)fromCUSVAA

a

join

CUSM

b

ona.cust_no

=b.cust_acct_nowhereb.CUSTOMER_TYPE

in

('02','03')andtrim(a.

NAME)

is

null;selectcount(*)from

MICMajoin

CUSM

b

ona.customer_no

=b.prim_acctwhereb.CUSTOMER_TYPE='01'and

trim(a.NAME_2)

is

null;selectcount(*)from

ind_infoa

join

CUSVDD

b

ona.certid

=trim(substr(b.id1,

1,32))wherea.customerid<>substr(b.cust_no,8,9)selectcount(*)fromCUSMwhereCREATE_DT

is

nullor

CREATE_DT

=0;selectcount(*)from

CUSVCCwhereOPEN_DATE_01

is

nullorOPEN_DATE_01

=0;對公客戶及金融機構(gòu)客戶共13518對私證件及姓名記錄數(shù)627743完整性:空值檢查sql檢查概述TYPE備注四、

大數(shù)據(jù)計算平臺軟件大數(shù)據(jù)計算平臺（以下簡稱）

，采用內(nèi)存迭代計算技術(shù)

，集SQL、

MR、

Graph、

ML多種計算

能力于一體

，

可以提供TB/PB級別以上的數(shù)據(jù)存儲和數(shù)據(jù)分析處理能力。數(shù)據(jù)倉庫

大數(shù)據(jù)應用數(shù)據(jù)挖掘和機器學習SQL

、海量數(shù)據(jù)存儲MapReduce

、

Graph

MLLIBl0編程基礎(chǔ)大數(shù)據(jù)算法開發(fā)l算法開發(fā)整體效率提升2倍以上l一站式數(shù)據(jù)開發(fā)、測試、生產(chǎn)、運維環(huán)境數(shù)據(jù)開發(fā)(Studio)全可視化數(shù)據(jù)/算法開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)服務共享中控能力共享平臺

能力共享平臺

：

以信息目錄的

形式提供數(shù)據(jù)及能力展示的窗

口

，

并提供服務檢索能力；

服務共享中控：

提供服務開發(fā)、

管理、

運維、

統(tǒng)計的能力；

API服務網(wǎng)關(guān)：

提供轉(zhuǎn)發(fā)能力

，

具備服務路由

，

協(xié)議轉(zhuǎn)換

，

服

務流控

，插件熱加載等機制。開放服務

六、

數(shù)據(jù)服務總線開發(fā)與運維人員服務開發(fā)服務調(diào)用運維監(jiān)控權(quán)限控制DataMallCSP

Gate

API服務網(wǎng)關(guān)DataMallCSP

Gate

API服務網(wǎng)關(guān)DataMallCSP

Gate

API服務網(wǎng)關(guān)業(yè)務用戶服務發(fā)布

服務申請

服務授權(quán)...

...

數(shù)據(jù)庫開放服務開放服務數(shù)據(jù)庫數(shù)據(jù)庫

對服務的全生命周期進行有效管理

管控目標：

服務標準化、

服務松耦合、

服務可重用、

服務透明性及服務可發(fā)

現(xiàn)

通過對服務質(zhì)量的管控

，進而實現(xiàn)對

開發(fā)商（服務提供者和服務消費者）

進行量化管理服務開發(fā)、服務發(fā)布服務生命周期管理服務訂閱、服務調(diào)用解決管理難：

服務全生命周期管理服務生命周期管理審計、優(yōu)化提升運行質(zhì)量監(jiān)控以用戶服務的安全為首要任務

，提供多種有效防護來保障用戶服務的安全：

以RESTful

API的方式對外提供間接的數(shù)

據(jù)訪問服務，

隱藏服務的真實地址，

降低服務開放風險；

提供服務訪問身份鑒權(quán)機制

，具有防偽造和防重放功能，

防止對服務的非法訪問；

提供服務申請審批機制，

防止未經(jīng)授權(quán)的

非法訪問；

提供服務調(diào)用限速機制

，抵抗對服務的高并發(fā)沖擊