智慧礦山數(shù)字化工業(yè)大數(shù)據(jù)平臺(tái)建設(shè)方案

智慧礦山數(shù)字化轉(zhuǎn)型工業(yè)大數(shù)據(jù)平臺(tái)>智慧（煤礦）礦山建設(shè)指南為貫徹落實(shí)國(guó)家發(fā)展改革委等八部委聯(lián)合印發(fā)的《關(guān)于加快煤礦智能化發(fā)展的指導(dǎo)意見》（以下簡(jiǎn)稱“指導(dǎo)意措研究》等國(guó)家相關(guān)政策，加快我國(guó)煤礦智能化建設(shè)，推動(dòng)煤炭行業(yè)高質(zhì)量發(fā)展，特制定本指南。本指南是促進(jìn)智能化煤礦建設(shè)、行業(yè)技術(shù)進(jìn)步和規(guī)范發(fā)展23管理層需要業(yè)務(wù)數(shù)據(jù)時(shí)，經(jīng)常需要軟件商配合，用戶無法及時(shí)獲取并提供數(shù)據(jù)。二是數(shù)據(jù)無法目前從業(yè)務(wù)系統(tǒng)中獲取數(shù)據(jù)到進(jìn)行精準(zhǔn)決策數(shù)據(jù)分析需要T+N天，并且數(shù)據(jù)指標(biāo)維度不全面。（4）缺乏全集團(tuán)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。煤礦智能化（數(shù)字礦山/智慧礦山）是煤礦綜合自動(dòng)化發(fā)展的新階段，是煤炭工業(yè)高質(zhì)量發(fā)展的核心技術(shù)支撐。建設(shè)智能化煤礦是新時(shí)期煤炭企業(yè)面臨的重要任務(wù)，是煤礦企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)，已成為不可逆轉(zhuǎn)的發(fā)展趨勢(shì)。企業(yè)業(yè)務(wù)系統(tǒng)多，系統(tǒng)煙囪式建設(shè)，數(shù)據(jù)接入困難，數(shù)據(jù)標(biāo)準(zhǔn)不統(tǒng)一，數(shù)據(jù)孤島問題嚴(yán)重。數(shù)據(jù)獲取難數(shù)據(jù)獲取難數(shù)據(jù)時(shí)效性差數(shù)據(jù)無法共享數(shù)據(jù)無法共享數(shù)據(jù)缺乏標(biāo)準(zhǔn)數(shù)據(jù)缺乏標(biāo)準(zhǔn)>煤炭企業(yè)大數(shù)據(jù)平臺(tái)（數(shù)據(jù)中臺(tái)）價(jià)值4數(shù)據(jù)應(yīng)用開發(fā)：月/年數(shù)據(jù)資源：不可復(fù)用數(shù)據(jù)應(yīng)用數(shù)據(jù)資源數(shù)據(jù)應(yīng)用開發(fā)：天/周數(shù)據(jù)資源：可復(fù)用數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)中臺(tái)全域數(shù)據(jù)資源（OneData）后臺(tái)2n……?新的數(shù)據(jù)架構(gòu)下，打破數(shù)據(jù)壁壘，滿足未來運(yùn)營(yíng)發(fā)展需求5數(shù)據(jù)價(jià)值：低>煤炭企業(yè)大數(shù)據(jù)平臺(tái)（數(shù)據(jù)中臺(tái)）企業(yè)數(shù)字化轉(zhuǎn)型的基礎(chǔ)數(shù)據(jù)價(jià)值：低數(shù)據(jù)價(jià)值：高業(yè)務(wù)系統(tǒng)數(shù)據(jù)中臺(tái)數(shù)據(jù)BI業(yè)務(wù)系統(tǒng)數(shù)據(jù)中臺(tái)323能力6>煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研（1）7>煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研（2）>煤炭企業(yè)業(yè)務(wù)系統(tǒng)前期調(diào)研（3）8基本情況：5個(gè)領(lǐng)導(dǎo)中心、47個(gè)業(yè)務(wù)系統(tǒng)當(dāng)前煤炭企業(yè)業(yè)務(wù)系統(tǒng)由于沒有進(jìn)行相互集成，系統(tǒng)之間數(shù)據(jù)沒有交互關(guān)系，所以本次調(diào)研根據(jù)所屬中心部門進(jìn)行劃分為：“生產(chǎn)技術(shù)中心”，“機(jī)電運(yùn)輸中心”，“調(diào)度指揮中心”，“后勤保障中心”，“安全中心”5個(gè)中心領(lǐng)導(dǎo)部門，其中梳理底層業(yè)務(wù)系統(tǒng)47個(gè)，計(jì)劃上線9個(gè)，目前正常使用38個(gè)。數(shù)據(jù)情況：主要以下五種1、SQLServer數(shù)據(jù)庫（安全監(jiān)測(cè)系統(tǒng)、束管防滅火監(jiān)測(cè)等）2、OPC協(xié)議（清洗泵房、空壓機(jī)監(jiān)控系統(tǒng)）3、Access（電力計(jì)量系統(tǒng)、ZKAcess人員刷卡系統(tǒng)）4、MySQL（汽車裝車系統(tǒng)、雙重預(yù)防信息系統(tǒng)等）5、接口對(duì)接（非數(shù)據(jù)庫類型、數(shù)據(jù)獲取難）>煤炭企業(yè)數(shù)據(jù)中臺(tái)業(yè)務(wù)系統(tǒng)情況9>煤炭企業(yè)數(shù)據(jù)中臺(tái)業(yè)務(wù)系統(tǒng)情況門門心心門門>煤炭企業(yè)數(shù)據(jù)中臺(tái)業(yè)務(wù)系統(tǒng)情況統(tǒng)統(tǒng)錄統(tǒng)>煤炭企業(yè)數(shù)據(jù)中臺(tái)業(yè)務(wù)系統(tǒng)情況接>構(gòu)建統(tǒng)一、融合、智能、高效的煤礦大腦，助力用戶逐步建設(shè)具有主動(dòng)感知、自動(dòng)分析、深度學(xué)習(xí)、智能決策、科學(xué)指揮的智慧型礦山。致力于為煤炭企業(yè)構(gòu)建“全”、“統(tǒng)”、“通”、”智”的（大數(shù)據(jù)平臺(tái)/數(shù)據(jù)中臺(tái)）體系，基于“數(shù)字新基建”時(shí)代的數(shù)據(jù)價(jià)值思考，構(gòu)建全域數(shù)字化礦區(qū)共享能力中心，助力煤炭企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型，打通底層系統(tǒng)之間數(shù)據(jù)壁壘，加強(qiáng)公司整體管理和安全生產(chǎn)系數(shù)，為運(yùn)營(yíng)提供數(shù)據(jù)統(tǒng)籌模型，實(shí)現(xiàn)重點(diǎn)數(shù)據(jù)實(shí)時(shí)監(jiān)控和數(shù)據(jù)共享開放服務(wù)。打通原有業(yè)務(wù)系統(tǒng)統(tǒng)一煤炭企業(yè)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)申請(qǐng)與審核統(tǒng)一數(shù)據(jù)報(bào)表支撐綜合管控?cái)?shù)據(jù)統(tǒng)一治理數(shù)據(jù)資產(chǎn)管理形成數(shù)據(jù)字典數(shù)據(jù)發(fā)布直觀掌握數(shù)據(jù)支撐決策分析數(shù)據(jù)血緣提供決策依據(jù)支撐創(chuàng)新應(yīng)用等>煤炭企業(yè)大數(shù)據(jù)平臺(tái)（數(shù)據(jù)中臺(tái)）大圖煤礦運(yùn)營(yíng)指標(biāo)體系煤礦運(yùn)營(yíng)指標(biāo)體系煤礦高風(fēng)險(xiǎn)預(yù)警業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)源煤礦全域數(shù)據(jù)中心--數(shù)據(jù)中臺(tái)/大數(shù)據(jù)平臺(tái)業(yè)務(wù)數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)交換網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)外部數(shù)據(jù)大數(shù)據(jù)計(jì)算平臺(tái)數(shù)據(jù)倉庫業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)庫1業(yè)務(wù)庫n煤礦全域數(shù)據(jù)中心--數(shù)據(jù)中臺(tái)/大數(shù)據(jù)平臺(tái)數(shù)據(jù)交換網(wǎng)關(guān)數(shù)據(jù)交換網(wǎng)關(guān)外部數(shù)據(jù)大數(shù)據(jù)計(jì)算平臺(tái)數(shù)據(jù)倉庫業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)庫1業(yè)務(wù)庫n數(shù)據(jù)應(yīng)用數(shù)據(jù)共享交換平臺(tái)數(shù)據(jù)服務(wù)總線數(shù)據(jù)服務(wù)總線+業(yè)務(wù)能力數(shù)據(jù)開發(fā)平臺(tái)數(shù)據(jù)開發(fā)平臺(tái)數(shù)據(jù)治理平臺(tái)數(shù)據(jù)治理平臺(tái)>煤礦企業(yè)大數(shù)據(jù)平臺(tái)（數(shù)據(jù)中臺(tái)）實(shí)現(xiàn)目標(biāo)根據(jù)智能化煤礦(井工)分類、分級(jí)技術(shù)條件與評(píng)價(jià)標(biāo)準(zhǔn)，切實(shí)提升煤礦行業(yè)數(shù)字化指標(biāo)，實(shí)現(xiàn)智能化煤礦建設(shè)。>煤礦企業(yè)大數(shù)據(jù)平臺(tái)（數(shù)據(jù)中臺(tái)）實(shí)現(xiàn)目標(biāo)根據(jù)智能化煤礦(井工)分類、分級(jí)技術(shù)條件與評(píng)價(jià)標(biāo)準(zhǔn)，切實(shí)提升煤礦行業(yè)數(shù)字化指標(biāo)，實(shí)現(xiàn)智能化煤礦建設(shè)。大數(shù)據(jù)中心的數(shù)據(jù)服務(wù)功能及健全程度評(píng)價(jià)分項(xiàng)分?jǐn)?shù)=a1+a2+a3大數(shù)據(jù)中心的數(shù)據(jù)服務(wù)功能及健全程度評(píng)價(jià)分項(xiàng)分?jǐn)?shù)=a1+a2+a3協(xié)議,得0~40分；>智慧（數(shù)字）礦山，煤礦企業(yè)的發(fā)展方向一、數(shù)據(jù)采集管二、數(shù)據(jù)治理/數(shù)三、數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)一四、數(shù)據(jù)分析/數(shù)據(jù)理自動(dòng)化據(jù)整合加工流程化化/模型開發(fā)簡(jiǎn)單化使用智能化清洗比對(duì)加工、存數(shù)據(jù)倉庫數(shù)據(jù)庫對(duì)象存儲(chǔ)其他格式數(shù)據(jù)沖突行覆蓋數(shù)據(jù)接入系統(tǒng)一、全域數(shù)據(jù)中心建設(shè)--數(shù)據(jù)集成數(shù)據(jù)倉庫數(shù)據(jù)庫對(duì)象存儲(chǔ)其他格式數(shù)據(jù)沖突行覆蓋數(shù)據(jù)接入系統(tǒng)采用統(tǒng)一的數(shù)據(jù)接入模式采用統(tǒng)一的數(shù)據(jù)接入模式，以標(biāo)準(zhǔn)化、模塊化的方式進(jìn)行多源異構(gòu)數(shù)據(jù)資源的接入，解決應(yīng)急管理信息資源在集中匯聚時(shí)面臨的分散孤立、源頭多樣、跨網(wǎng)傳輸?shù)葐栴}，為應(yīng)急數(shù)據(jù)資源的匯聚集中、統(tǒng)一標(biāo)準(zhǔn)化處理和信息資源池構(gòu)建提供源數(shù)據(jù)支撐。關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫新型新型NoSQL數(shù)據(jù)庫文件系統(tǒng)文件系統(tǒng)開源大數(shù)據(jù)平臺(tái)開源大數(shù)據(jù)平臺(tái)其他類型數(shù)據(jù)源其他類型數(shù)據(jù)源完全基于B/S用戶界面、簡(jiǎn)單易用晶國(guó)產(chǎn)數(shù)據(jù)庫支持--數(shù)據(jù)集成國(guó)產(chǎn)化大數(shù)據(jù)平臺(tái)與數(shù)據(jù)庫引擎、消息中間件對(duì)接：.金碟/中興/華為消息中間件：AMQ消息中間件ApusicV9.0、中興kafka、華為kafka、多源異構(gòu)數(shù)據(jù)采集轉(zhuǎn)換--數(shù)據(jù)集成TeraData、Redis、MongoDB、REST、達(dá)夢(mèng)、南大通用GBase8t、HDFS、HBase、Hive、GreenPlum、華為Hive、華為L(zhǎng)ibrA等；xml、txt、csv和Excel等格式，支持zip包；.支持Oracledmp文件導(dǎo)入；支持?jǐn)?shù)據(jù)加密傳輸，保證數(shù)據(jù)傳輸過程中不泄密。數(shù)據(jù)/服務(wù)資源目錄、數(shù)據(jù)交換中控、數(shù)據(jù)交換總線、數(shù)據(jù)交換網(wǎng)關(guān)、API服務(wù)中控、API服務(wù)網(wǎng)關(guān)、數(shù)據(jù)ETL工具。高性能?單節(jié)點(diǎn)120MB/S、30萬條/秒?支持集群API服務(wù)中控?cái)?shù)據(jù)/服務(wù)資源目錄、數(shù)據(jù)交換中控、數(shù)據(jù)交換總線、數(shù)據(jù)交換網(wǎng)關(guān)、API服務(wù)中控、API服務(wù)網(wǎng)關(guān)、數(shù)據(jù)ETL工具。高性能?單節(jié)點(diǎn)120MB/S、30萬條/秒?支持集群API服務(wù)中控或?支持自動(dòng)斷點(diǎn)續(xù)傳?支持?jǐn)嚅_網(wǎng)絡(luò)或系統(tǒng)重啟后數(shù)據(jù)不丟失高安全?支持?jǐn)?shù)據(jù)傳輸過程加解密?專利技術(shù)實(shí)現(xiàn)非侵入式增量數(shù)據(jù)提取?基于大數(shù)據(jù)平臺(tái)支持安全交換高易用?目錄驅(qū)動(dòng)的交換?多源異構(gòu)數(shù)據(jù)的匯聚、交換?庫級(jí)交換、匯聚 前置庫開放服務(wù)前置庫開放服務(wù) 業(yè)務(wù)系統(tǒng) 業(yè)務(wù)系統(tǒng)。。。七大組件數(shù)據(jù)資源目錄/服務(wù)資源目錄數(shù)據(jù)資源目錄/服務(wù)資源目錄數(shù)據(jù)交換中控?cái)?shù)據(jù)交換中控高可靠 前置庫開放服務(wù) 業(yè)務(wù)系統(tǒng)數(shù)據(jù)標(biāo)識(shí)數(shù)據(jù)提取數(shù)據(jù)清洗數(shù)據(jù)比對(duì)結(jié)構(gòu)化數(shù)據(jù)比對(duì)非結(jié)構(gòu)化數(shù)據(jù)比對(duì)結(jié)構(gòu)與非結(jié)構(gòu)化融合比對(duì)數(shù)據(jù)標(biāo)簽表級(jí)探查數(shù)據(jù)過濾字段級(jí)探查數(shù)據(jù)去重?cái)?shù)據(jù)標(biāo)識(shí)數(shù)據(jù)提取數(shù)據(jù)清洗數(shù)據(jù)比對(duì)結(jié)構(gòu)化數(shù)據(jù)比對(duì)非結(jié)構(gòu)化數(shù)據(jù)比對(duì)結(jié)構(gòu)與非結(jié)構(gòu)化融合比對(duì)數(shù)據(jù)標(biāo)簽表級(jí)探查數(shù)據(jù)過濾字段級(jí)探查數(shù)據(jù)去重?cái)?shù)據(jù)格轉(zhuǎn)數(shù)據(jù)校驗(yàn)數(shù)據(jù)探查數(shù)據(jù)探查結(jié)構(gòu)化數(shù)結(jié)構(gòu)化數(shù)據(jù)提取非結(jié)構(gòu)化數(shù)據(jù)提取文本數(shù)據(jù)提取音頻數(shù)據(jù)提取視頻、圖像數(shù)據(jù)提取數(shù)據(jù)清洗即可實(shí)現(xiàn)對(duì)結(jié)構(gòu)化和半結(jié)構(gòu)化清洗，如對(duì)原始庫中的數(shù)據(jù)靜態(tài)數(shù)據(jù)清洗，也可以對(duì)流數(shù)據(jù)進(jìn)行清洗。原始庫消息隊(duì)列離線數(shù)據(jù)實(shí)時(shí)消息資源庫數(shù)據(jù)清洗即可實(shí)現(xiàn)對(duì)結(jié)構(gòu)化和半結(jié)構(gòu)化清洗，如對(duì)原始庫中的數(shù)據(jù)靜態(tài)數(shù)據(jù)清洗，也可以對(duì)流數(shù)據(jù)進(jìn)行清洗。原始庫消息隊(duì)列離線數(shù)據(jù)實(shí)時(shí)消息資源庫離線數(shù)據(jù)清洗消息隊(duì)列流式數(shù)據(jù)清洗過濾過濾去重格式轉(zhuǎn)換校驗(yàn)編碼轉(zhuǎn)換編碼核驗(yàn)日期值清洗時(shí)間值清洗字段長(zhǎng)度清洗值域清洗數(shù)據(jù)清洗組件表標(biāo)識(shí)待標(biāo)識(shí)數(shù)據(jù)條目標(biāo)識(shí)列標(biāo)識(shí)表標(biāo)識(shí)待標(biāo)識(shí)數(shù)據(jù)條目標(biāo)識(shí)列標(biāo)識(shí)數(shù)據(jù)治理數(shù)據(jù)標(biāo)識(shí)數(shù)據(jù)標(biāo)識(shí)是利用標(biāo)簽庫中已經(jīng)建設(shè)好的規(guī)則，對(duì)數(shù)據(jù)進(jìn)行比對(duì)分析和模型計(jì)算，將符合規(guī)則的數(shù)據(jù)進(jìn)行標(biāo)識(shí)，為進(jìn)一步的數(shù)據(jù)使用提供支撐，數(shù)據(jù)標(biāo)識(shí)支持表標(biāo)識(shí)，列標(biāo)識(shí)，數(shù)據(jù)條目標(biāo)識(shí)。標(biāo)簽引擎標(biāo)簽引擎規(guī)則獲取規(guī)則解析規(guī)則執(zhí)行結(jié)果輸出標(biāo)簽庫標(biāo)簽庫1、創(chuàng)建標(biāo)簽類目3、配置標(biāo)簽打標(biāo)規(guī)則2、標(biāo)簽類目中創(chuàng)建標(biāo)簽4、配置引用數(shù)據(jù)兩級(jí)可視化數(shù)據(jù)清洗與挖掘任務(wù)工作流清洗任務(wù)配置兩級(jí)可視化數(shù)據(jù)治理數(shù)據(jù)管控系統(tǒng)數(shù)據(jù)管控要實(shí)現(xiàn)對(duì)數(shù)據(jù)資源池?cái)?shù)據(jù)的管理和控制，功能主要有數(shù)據(jù)標(biāo)準(zhǔn)（數(shù)據(jù)元）管理、數(shù)據(jù)字典管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)血緣等。 ..看數(shù)據(jù)在數(shù)據(jù)源庫、原始庫、資源庫、主題看數(shù)據(jù)在數(shù)據(jù)源庫、原始庫、資源庫、主題數(shù)據(jù)治理數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)標(biāo)準(zhǔn)：數(shù)據(jù)的標(biāo)淮(數(shù)據(jù)元)規(guī)范，是對(duì)數(shù)據(jù)類型，通過定義、標(biāo)識(shí)、表示以及允許值等一系列屬性數(shù)據(jù)治理建設(shè)過程中要對(duì)數(shù)據(jù)元素進(jìn)行標(biāo)準(zhǔn)制定、對(duì)數(shù)據(jù)字典進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)體系數(shù)據(jù)標(biāo)準(zhǔn)體系數(shù)據(jù)治理數(shù)據(jù)血緣管理數(shù)據(jù)治理建設(shè)要求實(shí)現(xiàn)對(duì)數(shù)據(jù)血緣的管理數(shù)據(jù)治理建設(shè)要求實(shí)現(xiàn)對(duì)數(shù)據(jù)血緣的管理，數(shù)據(jù)血緣管理了數(shù)據(jù)從哪里來到哪里去的完整鏈路，如下圖所示,通過數(shù)據(jù)血緣查詢可獲取主題庫“事件事故基本表”從哪些系統(tǒng)融合了數(shù)據(jù)，又被哪些業(yè)務(wù)系統(tǒng)所使用數(shù)據(jù)治理“全鏈路”數(shù)據(jù)血緣l一張圖看清每個(gè)數(shù)據(jù)的來龍去脈l基于血緣圖進(jìn)行數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全問題溯源、影響分析數(shù)據(jù)治理數(shù)據(jù)質(zhì)量管理體系量ü完整性：主要包括屬性缺失、記錄缺失、字段缺失幾個(gè)方面ü合效性：主要包括格式、類型、值域、和業(yè)務(wù)規(guī)則的有效性ü及時(shí)性：指數(shù)據(jù)刷新、修改和提取等的及時(shí)和快速性ü一致性：數(shù)據(jù)含義一致性、數(shù)據(jù)格式一致性、數(shù)據(jù)傳輸不丟失，指統(tǒng)一數(shù)據(jù)來源、冗余存儲(chǔ)和統(tǒng)一口徑的一致性ü唯一性：指主鍵唯一和候選鍵唯一兩個(gè)方面，主鍵重復(fù)數(shù)據(jù)檢核，主外鍵是否缺失檢核ü準(zhǔn)確性：指計(jì)量誤差、度量單位等方面的精確度序號(hào)表名稱表中文名稱字段名稱字段類型序號(hào)表名稱表中文名稱字段名稱字段類型字段注釋檢查類型檢查概述檢查sql有無質(zhì)量問題問題分類問題記錄數(shù)表總記錄數(shù)備注1t_yj_tfsj_sb_r突發(fā)事件表varchar(64)ID(主鍵)一致性統(tǒng)計(jì)信貸系統(tǒng)和核心系統(tǒng)證件號(hào)一致,客戶號(hào)不一致的記錄數(shù)。selectcount(*)fromind_infoajoinCUSVDDbona.certid=trim(substr(b.id1,1,32))wherea.customerid<>substr(b.cust_no,8,9)Y一致性:數(shù)據(jù)不一致217932t_yj_tfsj_sb_r突發(fā)事件表TITLEvarchar(64)標(biāo)題完整性對(duì)客戶名稱進(jìn)行完整性檢查，檢查客戶名稱是否存在空值。selectcount(*)fromCUSVAAajoinCUSMbona.cust_no=b.cust_acct_nowhereb.CUSTOMER_TYPEin('02','03')andtrim(a.NAME)isnull;Y完整性:空值13518對(duì)公客戶及金融機(jī)構(gòu)客戶共135183t_yj_tfsj_sb_r突發(fā)事件表TYPEvarchar(64)災(zāi)害類型完整性對(duì)客戶名稱進(jìn)行完整性檢查，檢查客戶名稱是否存在空值。selectcount(*)fromMICMajoinCUSMbona.customer_no=b.prim_acctwhereb.CUSTOMER_TYPE='01'andtrim(a.NAME_2)isnull;Y完整性:空值627743對(duì)私證件及姓名記錄數(shù)6277434t_yj_tfsj_sb_r突發(fā)事件表REPORT_MANvarchar(64)報(bào)送人完整性對(duì)開戶日期進(jìn)行完整性檢查，檢查數(shù)據(jù)的缺失情況selectcount(*)fromCUSMwhereCREATE_DTisnullorCREATE_DT=0;Y完整性:空值141970320314025t_yj_tfsj_sb_r突發(fā)事件表REPORT_TIMEdatetime報(bào)送時(shí)間完整性對(duì)開戶日期進(jìn)行完整性檢查，檢查數(shù)據(jù)的缺失情況selectcount(*)fromCUSVCCwhereOPEN_DATE_01isnullorOPEN_DATE_01=0;Y完整性:空值658988659004樣例：基于突發(fā)事件表五個(gè)字段進(jìn)行一致性和完整性的質(zhì)量檢查及表級(jí)數(shù)據(jù)質(zhì)量明樣例：基于突發(fā)事件表五個(gè)字段進(jìn)行一致性和完整性的質(zhì)量檢查及表級(jí)數(shù)據(jù)質(zhì)量明數(shù)據(jù)質(zhì)量統(tǒng)計(jì)報(bào)告，全局分析數(shù)據(jù)治理質(zhì)量情況，了解資源池整體數(shù)據(jù)質(zhì)量情況四、大數(shù)據(jù)計(jì)算平臺(tái)軟件大數(shù)據(jù)計(jì)算平臺(tái)（以下簡(jiǎn)稱采用內(nèi)存迭代計(jì)算技術(shù)，集SQL、MR、Graph、ML多種計(jì)算能力于一體，可以提供TB/PB級(jí)別以上的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析處理能力。SQL、海量數(shù)據(jù)存儲(chǔ)算法開發(fā)數(shù)據(jù)開發(fā)(Studio)全可視化數(shù)據(jù)/算法開發(fā)算法開發(fā)數(shù)據(jù)開發(fā)數(shù)據(jù)開發(fā)六、數(shù)據(jù)服務(wù)總線 ...API服務(wù)網(wǎng)關(guān)API服務(wù)網(wǎng)關(guān)API服務(wù)網(wǎng)關(guān)開放服務(wù)服務(wù)共享中控能力共享平臺(tái)開放服務(wù)開放服務(wù)數(shù)據(jù)庫數(shù)據(jù)庫數(shù)據(jù)庫>能力共享平臺(tái)：以信息目錄的形式提供數(shù)據(jù)及能力展示的窗口，并提供服務(wù)檢索能力；>服務(wù)共享中控：提供服務(wù)開發(fā)、管理、運(yùn)維、統(tǒng)計(jì)的能力；>API服務(wù)網(wǎng)關(guān)：提供轉(zhuǎn)發(fā)能力，具備服務(wù)路由，協(xié)議轉(zhuǎn)換，服務(wù)流控，插件熱加載等機(jī)制。對(duì)服務(wù)的全生命周期進(jìn)行有效管理管控目標(biāo)對(duì)服務(wù)的全生命周期進(jìn)行有效管理管控目標(biāo)：服務(wù)標(biāo)準(zhǔn)化、服務(wù)松耦合、服務(wù)可重用、服務(wù)透明性及服務(wù)可發(fā)現(xiàn)通過對(duì)服務(wù)質(zhì)量的管控，進(jìn)而實(shí)現(xiàn)對(duì)開發(fā)商（服務(wù)提供者和服務(wù)消費(fèi)者）進(jìn)行量化管理解決管理難：全面的安全訪問防護(hù)以用戶服務(wù)的安全為首要任務(wù)，提供多種有ü以RESTfulAPI的方式對(duì)外提供間接的數(shù)據(jù)訪問服務(wù)，隱藏服務(wù)的真實(shí)地址，降低ü提供服務(wù)申請(qǐng)審批機(jī)制，防止未經(jīng)授權(quán)的解決管理難：訪問限速控制API服務(wù)網(wǎng)關(guān)限速器說明：>服務(wù)級(jí)限速：服務(wù)創(chuàng)建時(shí)，對(duì)外整個(gè)服務(wù)的閾值限制>應(yīng)用級(jí)限速：應(yīng)用申請(qǐng)服務(wù)時(shí)，該服務(wù)對(duì)該應(yīng)用的閾值限制高可靠高性能解決使用難：多種協(xié)議相互轉(zhuǎn)換高可靠高性能通過API網(wǎng)關(guān)，可基于新式資源創(chuàng)建新API服務(wù)，然后使用靈活的動(dòng)態(tài)數(shù)據(jù)/協(xié)議轉(zhuǎn)換功能，以目標(biāo)服務(wù)期望使用的協(xié)議或語言生成請(qǐng)求。協(xié)議轉(zhuǎn)換支持常用協(xié)議服務(wù)的接入和/catalog/payment/economic能力共享平臺(tái)↓ 生成API應(yīng)用M部門2部門N部門M部門2部門N部門M解決使用難：高性能、高可靠、按需擴(kuò)展等↓ 生成API應(yīng)用M部門2部門N部門M部門2部門N部門M能力共享平臺(tái)服務(wù)共享中控服務(wù)共享中控部門1部門