大數(shù)據(jù)服務(wù)能力成熟度模型 第1部分：總體框架（報(bào)批稿）

團(tuán)體標(biāo)準(zhǔn)Bigdataservicecapabilitymaturitymod中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)發(fā)布I III IV V 1 1 1 2 2 3 3 3 3 3 3 3 4 4 4 4 4 4 4 4 5 5 5 5 5 5 5 5 6 6 6 6 6 6 6 6 7 7 7本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別這些專利的責(zé)任。份有限公司、杭州數(shù)夢(mèng)工場(chǎng)科技有限公司、杭州數(shù)瀾科技有限公司、廈門淵亭信息科技有限公司、北京友盟網(wǎng)絡(luò)科技有限公司、北京國(guó)雙科技有限公司、華為技術(shù)有限本文件主要起草人：姜春宇、馬鵬瑋、王卓、劉思源、李雨霏、高倩倩、張志強(qiáng)、張?jiān)脐?、禹在相關(guān)數(shù)據(jù)要素政策推動(dòng)下，各行業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程加速，對(duì)大數(shù)據(jù)服務(wù)的需求持續(xù)攀升。目前大數(shù)據(jù)服務(wù)產(chǎn)業(yè)仍處于發(fā)展初期，供應(yīng)商的服務(wù)內(nèi)容缺乏有效指導(dǎo)，服務(wù)水平參差不齊，為企業(yè)進(jìn)行供應(yīng)商選型帶來(lái)了挑戰(zhàn)。大數(shù)據(jù)服務(wù)能力成熟度模型系列標(biāo)準(zhǔn)是為規(guī)范大數(shù)據(jù)服務(wù)流程、提升大數(shù)據(jù)第2部分平臺(tái)建設(shè)。目的在于規(guī)范大數(shù)據(jù)服務(wù)中平臺(tái)建設(shè)的服務(wù)第3部分?jǐn)?shù)據(jù)管理。目的在于規(guī)范大數(shù)據(jù)服務(wù)中數(shù)據(jù)管理第4部分應(yīng)用開發(fā)。目的在于規(guī)范大數(shù)據(jù)服務(wù)中應(yīng)用開發(fā)的服理、應(yīng)用開發(fā)三類服務(wù)類型，以及其相應(yīng)的基本V版權(quán)聲明本技術(shù)文件的版權(quán)屬于中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)，任何單位和個(gè)人未經(jīng)許可，不得進(jìn)行技術(shù)文件的紙質(zhì)和電子等任何形式的復(fù)制、印刷、出版、翻譯、傳播、發(fā)行、合訂和宣貫等，也不得引用其具體內(nèi)容編制本協(xié)會(huì)以外各1大數(shù)據(jù)服務(wù)能力成熟度模型第1部分：總體框架本文件規(guī)定了大數(shù)據(jù)服務(wù)能力總體框架、成熟度等級(jí)劃分以及平臺(tái)建設(shè)、數(shù)據(jù)管理、應(yīng)用開發(fā)三本文件適用于各類大數(shù)據(jù)服務(wù)供應(yīng)商服務(wù)能力的評(píng)價(jià)與指導(dǎo)，可供各行業(yè)組織參考，也可作為衡下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文GB/T35295-2017信息GB/T36073-2018數(shù)據(jù)管理能力成熟度評(píng)GB/T35295-2017和GB/T36073-2018界定的下列術(shù)語(yǔ)和定義適用于本大數(shù)據(jù)參考體系結(jié)構(gòu)bigdatareferencearchi一種用于工具以便于對(duì)大數(shù)據(jù)內(nèi)在的要求、設(shè)計(jì)結(jié)構(gòu)和運(yùn)行進(jìn)行開發(fā)性探討的高層注：比較普遍認(rèn)同的大數(shù)據(jù)參考體系結(jié)構(gòu)一般包含系統(tǒng)協(xié)調(diào)者、數(shù)據(jù)提供這、大數(shù)據(jù)應(yīng)用提供者、大數(shù)據(jù)框架提2），在指定條件下使用時(shí)，數(shù)據(jù)的特性滿足明確的和隱含的要求的程4縮略語(yǔ)ETL：數(shù)據(jù)提取、轉(zhuǎn)換和加載（Extraction-Transformation-Load大數(shù)據(jù)服務(wù)能力主要指大數(shù)據(jù)服務(wù)供應(yīng)商為用戶提供全方位大數(shù)據(jù)相關(guān)工作建設(shè)的能力，具體包3大數(shù)據(jù)服務(wù)能力成熟度模型全面覆蓋大數(shù)據(jù)服務(wù)，評(píng)價(jià)指標(biāo)維度囊括過(guò)程、資源、技術(shù)、成效圖1大數(shù)據(jù)服務(wù)能力總體框架建立初步工作流程，可被動(dòng)地根據(jù)需求及問(wèn)題作出反應(yīng)，能夠完成建設(shè)目標(biāo)，但是有一定的偶然具備一定的項(xiàng)目實(shí)施經(jīng)驗(yàn)，形成組織內(nèi)通用流程，通過(guò)一定的流通和經(jīng)驗(yàn)保障目標(biāo)達(dá)成的成功將較為豐富的經(jīng)驗(yàn)形成了知識(shí)庫(kù)，制定專門的實(shí)施流程，有基本的技術(shù)支撐流程的開展，有基本完善已有的流程制度，建立交付物質(zhì)量和服務(wù)管理體系的評(píng)估指標(biāo)，有適用4平臺(tái)建設(shè)主要指以構(gòu)建基礎(chǔ)大數(shù)據(jù)平臺(tái)工具為主要目的大數(shù)據(jù)服務(wù)，整體服務(wù)主要包括資源評(píng)資源評(píng)估過(guò)程主要指平臺(tái)建設(shè)服務(wù)提供方根據(jù)需求方業(yè)務(wù)系統(tǒng)、場(chǎng)景、目標(biāo)等各項(xiàng)需求，對(duì)于構(gòu)建平臺(tái)涉及的構(gòu)建基礎(chǔ)、可行性、風(fēng)險(xiǎn)等各維度進(jìn)行評(píng)估?？蓜澐譃榛A(chǔ)設(shè)施評(píng)估、業(yè)務(wù)環(huán)境評(píng)估，其中基礎(chǔ)設(shè)施評(píng)估主要包括對(duì)于實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)及場(chǎng)景需求所需要的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等基礎(chǔ)設(shè)施的評(píng)估，業(yè)務(wù)環(huán)境評(píng)估主要包括對(duì)于待建平臺(tái)的系統(tǒng)架構(gòu)及需求方業(yè)務(wù)需要的數(shù)據(jù)架構(gòu)、數(shù)據(jù)形態(tài)等進(jìn)行規(guī)劃設(shè)計(jì)過(guò)程主要指平臺(tái)建設(shè)服務(wù)提供方對(duì)于構(gòu)建平臺(tái)的過(guò)程和需要考慮到的各項(xiàng)特性進(jìn)行規(guī)劃設(shè)計(jì)?？蓜澐譃橘Y源規(guī)劃設(shè)計(jì)、應(yīng)用規(guī)劃設(shè)計(jì)、安全規(guī)劃設(shè)計(jì)，其中資源規(guī)劃設(shè)計(jì)主要包括選擇構(gòu)建平臺(tái)時(shí)涉及的部署模式以及進(jìn)行其他相關(guān)的資源配置、產(chǎn)品選型流程，應(yīng)用規(guī)劃設(shè)計(jì)主要包括對(duì)于構(gòu)建平臺(tái)時(shí)需要考慮的性能、可擴(kuò)展性、高可用性等特性的規(guī)劃設(shè)計(jì)，安全規(guī)劃設(shè)計(jì)主要包括構(gòu)對(duì)于建方案設(shè)計(jì)過(guò)程主要指平臺(tái)建設(shè)服務(wù)提供方根據(jù)前期的評(píng)估及規(guī)劃設(shè)計(jì)，對(duì)于平臺(tái)構(gòu)建的實(shí)施過(guò)程進(jìn)行方案設(shè)計(jì)并對(duì)其中可能出現(xiàn)的實(shí)施風(fēng)險(xiǎn)提出應(yīng)對(duì)預(yù)案?？蓜澐譃閷?shí)施方案制定和實(shí)施風(fēng)險(xiǎn)應(yīng)對(duì)兩部分，實(shí)施方案制定包括對(duì)于實(shí)施范圍、實(shí)施流程等的設(shè)計(jì)以及對(duì)于實(shí)施工具的選擇以及其他實(shí)施方案細(xì)節(jié)的制定，實(shí)施風(fēng)險(xiǎn)應(yīng)對(duì)包括對(duì)于實(shí)施過(guò)程中可能出現(xiàn)的數(shù)據(jù)、系統(tǒng)、業(yè)務(wù)異常情況提前提出相實(shí)施執(zhí)行過(guò)程主要指平臺(tái)建設(shè)服務(wù)提供方進(jìn)行平臺(tái)構(gòu)建具體實(shí)施的過(guò)程?？蓜澐譃槠脚_(tái)工具部署、數(shù)據(jù)遷移，其中平臺(tái)工具部署主要包括平臺(tái)構(gòu)建實(shí)施過(guò)程中新建平臺(tái)工具、對(duì)于存量平臺(tái)工具進(jìn)行升級(jí)、對(duì)于關(guān)鍵系統(tǒng)聯(lián)調(diào)等實(shí)施步驟，數(shù)據(jù)遷移主要包括平臺(tái)構(gòu)建實(shí)施過(guò)程中的歷史數(shù)據(jù)遷移、關(guān)實(shí)施驗(yàn)證過(guò)程主要指平臺(tái)建設(shè)服務(wù)提供方完成平臺(tái)構(gòu)建實(shí)施過(guò)程后，對(duì)于平臺(tái)能力、數(shù)據(jù)是否滿足需求和原本規(guī)劃設(shè)計(jì)進(jìn)行驗(yàn)證?？蓜澐譃槠脚_(tái)能力驗(yàn)證、數(shù)據(jù)驗(yàn)證，其中平臺(tái)能力驗(yàn)證主要包括對(duì)于平臺(tái)的功能、性能、可靠性、安全性進(jìn)行驗(yàn)證，數(shù)據(jù)驗(yàn)證主要包括對(duì)于遷移到平臺(tái)中數(shù)據(jù)的一致5交付過(guò)程主要指平臺(tái)構(gòu)建實(shí)施驗(yàn)證流程均結(jié)束后，服務(wù)方將建設(shè)好的平臺(tái)交付給需求方的過(guò)程?？蓜澐譃榕嘤?xùn)和交付實(shí)施兩部分，其中培訓(xùn)主要包括對(duì)于人員的培訓(xùn)和相關(guān)文檔的交付留存，交付實(shí)施包括具體交付內(nèi)容的交付過(guò)程以及對(duì)于整個(gè)交付過(guò)程的管資源運(yùn)維過(guò)程主要指在平臺(tái)構(gòu)建實(shí)施交付完成后，服務(wù)方對(duì)于平臺(tái)的基礎(chǔ)設(shè)施資源進(jìn)行持續(xù)性維護(hù)的過(guò)程?；A(chǔ)設(shè)施資源運(yùn)維主要包括對(duì)于平臺(tái)使用的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等資源進(jìn)行修復(fù)、更新、升運(yùn)維管理過(guò)程主要指在平臺(tái)構(gòu)建實(shí)施交付完成后，服務(wù)方對(duì)于平臺(tái)進(jìn)行延續(xù)性的維護(hù)過(guò)程?？蓜澐譃橘Y源儲(chǔ)備、平臺(tái)運(yùn)維、問(wèn)題管理、變更管理等部分，其中資源儲(chǔ)備主要包括服務(wù)方對(duì)于提供運(yùn)維管理能力所需要的服務(wù)臺(tái)、工具、備件、知識(shí)庫(kù)等資源進(jìn)行儲(chǔ)備的過(guò)程，平臺(tái)運(yùn)維主要包括服務(wù)方持續(xù)的提供平臺(tái)版本升級(jí)、集群擴(kuò)容、平臺(tái)監(jiān)控等運(yùn)維服務(wù)，問(wèn)題管理主要包括針對(duì)需求方中反饋的問(wèn)題進(jìn)行管理和處理，變更管理主要包括針對(duì)需求方在使用過(guò)中提出的部分需求變更進(jìn)行管數(shù)據(jù)管理主要指以實(shí)施數(shù)據(jù)治理、開發(fā)運(yùn)維數(shù)據(jù)全生命周期過(guò)程為核心的大數(shù)據(jù)服務(wù)，整體服務(wù)主要包括需求管理、資源評(píng)估、規(guī)劃設(shè)計(jì)、方案設(shè)計(jì)、實(shí)施執(zhí)行、交付、數(shù)據(jù)運(yùn)維、平臺(tái)運(yùn)營(yíng)等過(guò)需求管理主要指數(shù)據(jù)管理服務(wù)提供方通過(guò)采集需求方的業(yè)務(wù)需求、數(shù)據(jù)需求等，明確數(shù)據(jù)管理目資源評(píng)估主要指數(shù)據(jù)管理服務(wù)提供方針對(duì)數(shù)據(jù)資源、計(jì)算資源、人力資源、業(yè)務(wù)系統(tǒng)環(huán)境等數(shù)據(jù)管理實(shí)施關(guān)鍵影響因素，開展數(shù)據(jù)資源評(píng)估、計(jì)算資源評(píng)估、人力資源評(píng)估、業(yè)務(wù)系統(tǒng)環(huán)境評(píng)估的過(guò)程。數(shù)據(jù)資源評(píng)估對(duì)象主要包括數(shù)據(jù)規(guī)模、數(shù)據(jù)類型、數(shù)據(jù)更新頻率等，計(jì)算資源評(píng)估對(duì)象主要包括數(shù)據(jù)環(huán)境（包括數(shù)據(jù)庫(kù)環(huán)境、數(shù)據(jù)倉(cāng)庫(kù)環(huán)境、數(shù)據(jù)集成環(huán)境、數(shù)據(jù)應(yīng)用環(huán)境等）、計(jì)算機(jī)硬件資源、數(shù)據(jù)管理實(shí)施工具，人力資源評(píng)估對(duì)象主要包括數(shù)據(jù)管理實(shí)施人員、數(shù)據(jù)管理交付人員、數(shù)據(jù)管理運(yùn)實(shí)施準(zhǔn)備主要指數(shù)據(jù)管理服務(wù)提供方為確保數(shù)據(jù)管理的有效實(shí)施，制定實(shí)施規(guī)劃，并建立組織保障和開展風(fēng)險(xiǎn)管理的過(guò)程。實(shí)施規(guī)劃主要包括實(shí)施方案、實(shí)施人員、進(jìn)度安排，組織保障主要包括認(rèn)責(zé)機(jī)制、流程機(jī)制，風(fēng)險(xiǎn)管理主要包括實(shí)施風(fēng)險(xiǎn)應(yīng)對(duì)方案、財(cái)務(wù)風(fēng)險(xiǎn)管理、人力資源風(fēng)險(xiǎn)管理、應(yīng)急6方案設(shè)計(jì)主要指數(shù)據(jù)管理服務(wù)提供方針對(duì)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、數(shù)據(jù)質(zhì)量、元數(shù)據(jù)形成的規(guī)范性文檔，以指導(dǎo)數(shù)據(jù)管理的實(shí)施。數(shù)據(jù)標(biāo)準(zhǔn)制定內(nèi)容主要包括數(shù)據(jù)標(biāo)準(zhǔn)體系（包括數(shù)據(jù)標(biāo)準(zhǔn)范疇、數(shù)據(jù)模型、維度模型、數(shù)倉(cāng)分層、模型加工邏輯，數(shù)據(jù)質(zhì)量設(shè)計(jì)內(nèi)容主要包括數(shù)據(jù)質(zhì)量檢驗(yàn)維度、數(shù)據(jù)質(zhì)量稽核規(guī)則、數(shù)據(jù)質(zhì)量稽核報(bào)告模板、數(shù)據(jù)質(zhì)量考核，元數(shù)據(jù)設(shè)計(jì)內(nèi)容主要包括元數(shù)據(jù)類別、元數(shù)據(jù)方案實(shí)施主要指數(shù)據(jù)管理服務(wù)提供方依據(jù)方案設(shè)計(jì)，開展數(shù)據(jù)盤點(diǎn)、數(shù)據(jù)匯聚、ETL開發(fā)、數(shù)據(jù)質(zhì)量稽核、元數(shù)據(jù)開發(fā)的過(guò)程。數(shù)據(jù)盤點(diǎn)主要包括明確數(shù)據(jù)分布、構(gòu)建數(shù)據(jù)目錄，數(shù)據(jù)匯聚指抽取各數(shù)據(jù)庫(kù)中源數(shù)據(jù)至數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程，主要包括數(shù)據(jù)抽取、數(shù)據(jù)加載，ETL開發(fā)指完成數(shù)據(jù)抽取-轉(zhuǎn)換-加載的任務(wù)調(diào)度，主要包括ETL任務(wù)執(zhí)行、ETL監(jiān)控，數(shù)據(jù)質(zhì)量稽核主要包括執(zhí)行稽核任務(wù)、生成稽核報(bào)成果交付主要指數(shù)據(jù)管理服務(wù)提供方完成數(shù)據(jù)管理9.1概述應(yīng)用開發(fā)主要指以根據(jù)需求方業(yè)務(wù)需求構(gòu)建數(shù)據(jù)分析應(yīng)用為主要目的大數(shù)據(jù)服務(wù)，整體服務(wù)主要包括需求管理、資源評(píng)估、規(guī)劃設(shè)計(jì)、實(shí)施執(zhí)行需求管理主要指應(yīng)用開發(fā)服務(wù)提供方同需求方溝通確定待構(gòu)建分析應(yīng)用的主要需求的過(guò)程，主要包括商業(yè)目標(biāo)分析、數(shù)據(jù)需求分析。其中商業(yè)目標(biāo)分析主要包括行業(yè)知識(shí)梳理、業(yè)務(wù)梳理等內(nèi)容，通過(guò)對(duì)需求方所在行業(yè)及其業(yè)務(wù)的梳理分析明確進(jìn)行分析應(yīng)用構(gòu)建的商業(yè)目標(biāo)。數(shù)據(jù)需求分析主要指根資源評(píng)估主要指應(yīng)用開發(fā)服務(wù)提供方根據(jù)需求方確認(rèn)的具體需求對(duì)需求方現(xiàn)有資源情況進(jìn)行評(píng)估的過(guò)程，主要包括數(shù)據(jù)資源評(píng)估、計(jì)算資源評(píng)估、人力資源評(píng)估、業(yè)務(wù)系統(tǒng)環(huán)境資源評(píng)估等。分別相應(yīng)的對(duì)需求方現(xiàn)有的可分析數(shù)據(jù)、可使用計(jì)算資源、具備分析應(yīng)用專業(yè)知識(shí)的技術(shù)人員、待對(duì)接分析9.4規(guī)劃設(shè)計(jì)規(guī)劃設(shè)計(jì)主要指應(yīng)用開發(fā)服務(wù)提供方根據(jù)前期需求分析及環(huán)境評(píng)估結(jié)果對(duì)實(shí)際要提供的分析應(yīng)用實(shí)施執(zhí)行主要指應(yīng)用開發(fā)服務(wù)提供方進(jìn)行實(shí)際構(gòu)建的過(guò)程，主要包括數(shù)據(jù)準(zhǔn)備、模型構(gòu)建、模型評(píng)估、應(yīng)用等。其中數(shù)據(jù)準(zhǔn)備主要為分析應(yīng)用構(gòu)建前期收集數(shù)據(jù)、探索數(shù)據(jù)、進(jìn)行數(shù)據(jù)預(yù)處理的過(guò)程。模型構(gòu)建主要為分析模型構(gòu)建技術(shù)選型、方案設(shè)計(jì)、實(shí)際建模的過(guò)程。模型評(píng)估主要為模型評(píng)估7方案設(shè)計(jì)、實(shí)際模型評(píng)估的過(guò)程。應(yīng)用主要為模型完成后通過(guò)數(shù)據(jù)可視化、用戶行為分析等一種或多交付主要指應(yīng)用開發(fā)服務(wù)提供方在完成分析應(yīng)用的完整構(gòu)建后進(jìn)行實(shí)際交付的過(guò)程，主要包括模9.7運(yùn)維管理運(yùn)維管理主要指應(yīng)用開發(fā)服務(wù)提供方在完成分析應(yīng)用構(gòu)建并交付后持續(xù)提供運(yùn)維服務(wù)的過(guò)