大數(shù)據(jù)管理中心設(shè)計(jì)規(guī)劃方案相關(guān)兩份資料

大數(shù)據(jù)管理中心規(guī)劃設(shè)計(jì)方案目錄2整體規(guī)劃方案關(guān)鍵能力實(shí)現(xiàn)方案實(shí)施方案背景與需求分析大數(shù)據(jù)已成為城市治理的必要基礎(chǔ)大數(shù)據(jù)里有民意有民心用大數(shù)據(jù)改善政府服務(wù)、更好滿足群眾需求要依托互聯(lián)網(wǎng)、大數(shù)據(jù)優(yōu)化再造政府辦事流程同時(shí)也要加強(qiáng)數(shù)據(jù)安全保護(hù)智慧型政府善政惠民興業(yè)城市大數(shù)據(jù)科學(xué)管理精準(zhǔn)調(diào)控高效協(xié)同……服務(wù)民生拉動(dòng)產(chǎn)業(yè)孵化創(chuàng)新……依托長(zhǎng)遠(yuǎn)規(guī)劃

立足城市服務(wù)

構(gòu)建價(jià)值平臺(tái)?公共數(shù)據(jù)共享?社會(huì)數(shù)據(jù)協(xié)同?數(shù)據(jù)服務(wù)開(kāi)放?社會(huì)治理?宏觀經(jīng)濟(jì)?市場(chǎng)監(jiān)管?生態(tài)保護(hù)?促進(jìn)產(chǎn)業(yè)發(fā)展?拉動(dòng)數(shù)字經(jīng)濟(jì)優(yōu)化城市資源配給 促進(jìn)城市科學(xué)管理?應(yīng)急響應(yīng)?事件預(yù)防統(tǒng)一匯聚

推動(dòng)業(yè)務(wù)數(shù)據(jù)協(xié)同?形成統(tǒng)一的跨部門(mén)、跨地域、跨層級(jí)的信息交換共享房產(chǎn)局房產(chǎn)交易所?購(gòu)房資格審核?交易手續(xù)確認(rèn)?購(gòu)房能力評(píng)估?……稅務(wù)局住建委人社公安?稅收審核?稅收繳納?社保年限?繳納金額?房產(chǎn)評(píng)估?人戶核實(shí)?戶口遷轉(zhuǎn)民政?婚姻狀況大數(shù)據(jù)平臺(tái)人社數(shù)據(jù)民政數(shù)據(jù)稅務(wù)數(shù)據(jù)金融信貸數(shù)據(jù)人員戶口數(shù)據(jù)……促進(jìn)數(shù)據(jù)聯(lián)動(dòng)協(xié)同構(gòu)建數(shù)據(jù)支持體系?逐步實(shí)現(xiàn)立體化、多層次、全方位的數(shù)據(jù)服務(wù)體系?有效支持電子政務(wù)公共服務(wù)能力提升橫向協(xié)同縱向聯(lián)動(dòng)市級(jí)單位區(qū)級(jí)單位社會(huì)企業(yè)價(jià)值提煉

支撐精準(zhǔn)服務(wù)與科學(xué)管理宏觀數(shù)據(jù)分析應(yīng)用城市人口分析規(guī)劃?人口遷移分析?人群特征分析?人群發(fā)展預(yù)測(cè)?……社會(huì)安防環(huán)保數(shù)據(jù)金融數(shù)據(jù)公共服務(wù)交通數(shù)據(jù)醫(yī)療數(shù)據(jù)社保數(shù)據(jù)公共安全分析預(yù)測(cè)?建筑安全評(píng)估?人流分析預(yù)警?……生態(tài)環(huán)境分析研判?大氣污染分析?水質(zhì)資源分析?…………大數(shù)據(jù)平臺(tái)資源領(lǐng)導(dǎo)決策政策研究資源投放算法算力存儲(chǔ)……實(shí)時(shí)感知

輔助城市治理高效運(yùn)行市公安物業(yè)單位運(yùn)營(yíng)商市急救中心大數(shù)據(jù)平臺(tái)事件感知&實(shí)時(shí)處理消防部門(mén)?消防接警?消防出警?救護(hù)車資源調(diào)撥?急救醫(yī)護(hù)資源調(diào)撥?事故路段增派人手?沿途路線道路疏通?疏散建筑人群?檢查應(yīng)急通道?短信通知涉事區(qū)域人員?實(shí)時(shí)監(jiān)控區(qū)域人流實(shí)時(shí)感知策略研判實(shí)時(shí)傳遞協(xié)同處置數(shù)據(jù)互補(bǔ)

以數(shù)據(jù)供給促產(chǎn)業(yè)發(fā)展人口庫(kù)法人庫(kù)電子證照庫(kù)空間地理庫(kù)公共數(shù)據(jù)航空公司延誤旅客數(shù)據(jù)大數(shù)據(jù)平臺(tái)市級(jí)數(shù)據(jù)庫(kù)個(gè)人信用評(píng)級(jí)社會(huì)數(shù)據(jù)公共—社會(huì)數(shù)據(jù)相互促進(jìn)金融機(jī)構(gòu)出行數(shù)據(jù)個(gè)人征信數(shù)據(jù)保險(xiǎn)公司航班延誤險(xiǎn)定價(jià)小型金融機(jī)構(gòu)個(gè)人信用評(píng)估個(gè)人征信數(shù)據(jù)延誤旅客數(shù)據(jù)分析現(xiàn)有平臺(tái)現(xiàn)狀，補(bǔ)足能力短板BDACE數(shù)據(jù)歸集的頻度無(wú)法滿足業(yè)務(wù)協(xié)同需要未規(guī)劃數(shù)據(jù)實(shí)時(shí)采集技術(shù)，無(wú)法支撐高效業(yè)務(wù)協(xié)同城市精細(xì)化管理缺乏基礎(chǔ)數(shù)據(jù)保障數(shù)據(jù)共享和開(kāi)放能力不全面，應(yīng)用創(chuàng)新動(dòng)能不足安全管控能力待提升數(shù)據(jù)授權(quán)、使用、審計(jì)的全生命周期管控存在短板，數(shù)據(jù)的安全防護(hù)有待提升未實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一運(yùn)營(yíng)，管理及維護(hù)難度過(guò)高設(shè)備、平臺(tái)、數(shù)據(jù)規(guī)模高速增長(zhǎng)，難于實(shí)施高效數(shù)據(jù)治理，

無(wú)法及時(shí)發(fā)現(xiàn)、診斷及解決問(wèn)題源端數(shù)據(jù)標(biāo)準(zhǔn)各異，加工存在技術(shù)壁壘湖&庫(kù)缺乏統(tǒng)一規(guī)劃，數(shù)據(jù)標(biāo)準(zhǔn)還需完善應(yīng)用支撐能力較為薄弱，容易形成數(shù)據(jù)沼澤目錄10整體規(guī)劃方案關(guān)鍵能力實(shí)現(xiàn)方案實(shí)施方案背景與需求分析大數(shù)據(jù)資源平臺(tái)目標(biāo)體系規(guī)劃數(shù)據(jù)標(biāo)準(zhǔn)資源目錄安全體系整合數(shù)據(jù)能力賦能智慧運(yùn)營(yíng)政策法規(guī)運(yùn)營(yíng)策略打造信息化樞紐平臺(tái)能力統(tǒng)一管控技術(shù)平臺(tái)逐步實(shí)現(xiàn)數(shù)據(jù)能力規(guī)模發(fā)展圍繞城市治理提供全產(chǎn)業(yè)鏈服務(wù)數(shù)據(jù)聯(lián)動(dòng)數(shù)據(jù)匯聚管理制度大數(shù)據(jù)體系數(shù)據(jù)治理AI服務(wù)業(yè)務(wù)服務(wù)數(shù)據(jù)服務(wù)促進(jìn)大數(shù)據(jù)供給側(cè)改革，圍繞大數(shù)據(jù)各項(xiàng)能力開(kāi)放，推動(dòng)數(shù)據(jù)應(yīng)用創(chuàng)新發(fā)展，激發(fā)數(shù)據(jù)價(jià)值整合現(xiàn)有公共數(shù)據(jù)資源，布局行業(yè)數(shù)據(jù)引入，逐步形成城市數(shù)據(jù)樞紐搭建數(shù)據(jù)，業(yè)務(wù)，智慧三大中臺(tái)，與行業(yè)先進(jìn)技術(shù)保持同步演進(jìn)；打造城市數(shù)據(jù)運(yùn)營(yíng)、事件管理等數(shù)字孿生技術(shù)能力1數(shù)據(jù)匯聚3服務(wù)賦能2技術(shù)驅(qū)動(dòng)建設(shè)目標(biāo)與思路使能高效協(xié)同，全面優(yōu)化數(shù)據(jù)動(dòng)態(tài)更新與同步機(jī)制推動(dòng)公共數(shù)據(jù)完整歸集，按需及時(shí)同步和更新公共數(shù)據(jù)，形成大數(shù)據(jù)樞紐，保證委辦間政務(wù)協(xié)同驅(qū)動(dòng)數(shù)據(jù)應(yīng)用，進(jìn)一步完善大數(shù)據(jù)中心主題庫(kù)建設(shè)完成主題數(shù)據(jù)庫(kù)建設(shè)，推動(dòng)數(shù)據(jù)資源整合及數(shù)據(jù)分析應(yīng)用聚焦服務(wù)賦能，初步構(gòu)建中臺(tái)能力開(kāi)放體系搭建統(tǒng)一流數(shù)據(jù)處理和業(yè)務(wù)中臺(tái)，并完善數(shù)據(jù)共享服務(wù)與數(shù)據(jù)分析和可視化服務(wù)，提升數(shù)據(jù)共享與開(kāi)放效能加強(qiáng)數(shù)據(jù)運(yùn)營(yíng)，推動(dòng)全市數(shù)據(jù)統(tǒng)一標(biāo)準(zhǔn)化管理及運(yùn)維構(gòu)建統(tǒng)一數(shù)據(jù)開(kāi)發(fā)與調(diào)度，增強(qiáng)數(shù)據(jù)管理能力建立統(tǒng)一數(shù)據(jù)運(yùn)維和自有的大數(shù)據(jù)組件技術(shù)棧，保障平臺(tái)穩(wěn)定運(yùn)營(yíng)確保安全可控，完善數(shù)據(jù)安全和平臺(tái)安全管控建立完整的平臺(tái)安全和數(shù)據(jù)安全管控體系，保障數(shù)據(jù)安全管控13市領(lǐng)導(dǎo)各委辦局分析人員區(qū)政府外部機(jī)構(gòu)公民開(kāi)發(fā)者運(yùn)維管理者數(shù)據(jù)層服務(wù)開(kāi)放層門(mén)戶應(yīng)用層非結(jié)構(gòu)化數(shù)據(jù)區(qū)對(duì)外開(kāi)放區(qū)對(duì)外數(shù)據(jù)開(kāi)放脫敏區(qū)數(shù)據(jù)沙箱數(shù)據(jù)沙箱數(shù)據(jù)沙箱視頻數(shù)據(jù)音頻數(shù)據(jù)圖片數(shù)據(jù)……數(shù)據(jù)私有數(shù)據(jù)處理一期升級(jí)開(kāi)放中心一網(wǎng)通辦城運(yùn)系統(tǒng)運(yùn)營(yíng)中心分布式存儲(chǔ)分布式分析數(shù)據(jù)庫(kù)RDB存儲(chǔ)緩存存儲(chǔ)采集分發(fā)層數(shù)據(jù)管理元數(shù)據(jù)管理數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全安全合規(guī)管理安全配置檢查網(wǎng)絡(luò)安全分析安全事件響應(yīng)敏感數(shù)據(jù)加密敏感數(shù)據(jù)脫敏數(shù)據(jù)泄漏防護(hù)數(shù)據(jù)目錄任務(wù)調(diào)度統(tǒng)一運(yùn)維數(shù)據(jù)運(yùn)維平臺(tái)運(yùn)維數(shù)據(jù)標(biāo)注共享中心業(yè)務(wù)中臺(tái)服務(wù)規(guī)則定義事件管理AI中臺(tái)服務(wù)邊緣計(jì)算存儲(chǔ)數(shù)據(jù)實(shí)驗(yàn)區(qū)項(xiàng)目1數(shù)據(jù)項(xiàng)目2數(shù)據(jù)項(xiàng)目n數(shù)據(jù)項(xiàng)目3數(shù)據(jù)經(jīng)濟(jì)運(yùn)行社會(huì)治理二期大數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)應(yīng)用租戶應(yīng)用租戶應(yīng)用租戶實(shí)時(shí)模型實(shí)時(shí)指標(biāo)實(shí)時(shí)事件結(jié)構(gòu)化數(shù)據(jù)城市大腦……批量計(jì)算流計(jì)算挖掘計(jì)算計(jì)算AI能力（語(yǔ)音識(shí)別、人臉識(shí)別）深度學(xué)習(xí)（模型訓(xùn)練）離線采集實(shí)時(shí)采集數(shù)據(jù)采集數(shù)據(jù)源互聯(lián)網(wǎng)爬蟲(chóng)政務(wù)數(shù)據(jù)（國(guó)家、市級(jí)、區(qū)）公共事業(yè)數(shù)據(jù)行業(yè)數(shù)據(jù)（金融、電信）互聯(lián)網(wǎng)數(shù)據(jù)….物聯(lián)網(wǎng)數(shù)據(jù)（氣象、攝像頭…）流媒體采集數(shù)據(jù)導(dǎo)入上報(bào)物聯(lián)網(wǎng)網(wǎng)關(guān)采集準(zhǔn)實(shí)時(shí)采集圖數(shù)據(jù)庫(kù)大數(shù)據(jù)資源平臺(tái)功能框架事件服務(wù)數(shù)據(jù)中臺(tái)服務(wù)數(shù)據(jù)共享交換服務(wù)分發(fā) 消息查詢下載數(shù)據(jù)分析和可視化服務(wù)數(shù)據(jù)可視化工具數(shù)據(jù)探索工具文件數(shù)據(jù)開(kāi)放服務(wù)申請(qǐng)/計(jì)量合作開(kāi)發(fā)創(chuàng)新研究共享層（標(biāo)簽、指標(biāo)）標(biāo)準(zhǔn)層（主題模型）數(shù)據(jù)湖目錄整體規(guī)劃方案關(guān)鍵能力實(shí)現(xiàn)方案實(shí)施方案背景與需求分析162.構(gòu)建數(shù)據(jù)中臺(tái)核心能力，賦能多樣化應(yīng)用場(chǎng)景統(tǒng)一匯聚推動(dòng)數(shù)據(jù)共享協(xié)同實(shí)時(shí)感知支持城市智慧運(yùn)營(yíng)價(jià)值提煉支持宏觀管理決策數(shù)據(jù)互補(bǔ)政企數(shù)據(jù)互促互進(jìn)? 計(jì)算資源的讀寫(xiě)分離：在TDC、KunDB等數(shù)據(jù)庫(kù)中對(duì)處理和訪問(wèn)節(jié)點(diǎn)分離；? 庫(kù)的讀寫(xiě)分離：數(shù)據(jù)處理庫(kù)和數(shù)據(jù)訪問(wèn)庫(kù)分離。讀寫(xiě)分離保障數(shù)據(jù)訪問(wèn)性能各區(qū)物理隔離保障數(shù)據(jù)安全? 三大區(qū)物理隔離，實(shí)現(xiàn)大數(shù)據(jù)資源區(qū)、對(duì)外開(kāi)放區(qū)、實(shí)驗(yàn)區(qū)物理隔離；? 大數(shù)據(jù)資源區(qū)的數(shù)據(jù)湖和市級(jí)數(shù)據(jù)庫(kù)物理隔離。? 湖內(nèi)各委辦局邏輯隔離? 庫(kù)內(nèi)各主題層邏輯隔離數(shù)據(jù)分層，沉淀共性，形成數(shù)據(jù)中臺(tái)能力，賦能典型場(chǎng)景202.1.數(shù)據(jù)層整體實(shí)現(xiàn)方案-數(shù)據(jù)架構(gòu)? 大數(shù)據(jù)資源平臺(tái)支撐數(shù)據(jù)共享交換（生產(chǎn)職能）、數(shù)據(jù)分析、數(shù)據(jù)開(kāi)放三大核心數(shù)據(jù)服務(wù)，包括大數(shù)據(jù)資源區(qū)、對(duì)外開(kāi)放區(qū)和實(shí)驗(yàn)區(qū)三大數(shù)據(jù)區(qū)。? 大數(shù)據(jù)資源區(qū)：包括市級(jí)數(shù)據(jù)湖和市級(jí)數(shù)據(jù)庫(kù)兩大數(shù)據(jù)資源- 數(shù)據(jù)湖：主要存放市級(jí)政府部門(mén)業(yè)務(wù)數(shù)據(jù)庫(kù)、未經(jīng)加工的原始業(yè)務(wù)數(shù)據(jù)庫(kù)，支持存儲(chǔ)結(jié)構(gòu)化、非結(jié)構(gòu)化等多種類型的數(shù)據(jù),以及用于點(diǎn)對(duì)點(diǎn)共享交換數(shù)據(jù)- 市級(jí)數(shù)據(jù)庫(kù)：主要用于存放經(jīng)過(guò)一系列清洗、轉(zhuǎn)換、加載、治理步驟后的高質(zhì)量的政務(wù)數(shù)據(jù)資源，以及全市各部門(mén)、各區(qū)政務(wù)共享交換過(guò)程中的數(shù)據(jù)。? 對(duì)外開(kāi)放區(qū)：主要用于存放對(duì)外開(kāi)放的數(shù)據(jù)，通過(guò)單獨(dú)的對(duì)外開(kāi)發(fā)區(qū)與大數(shù)據(jù)資源區(qū)隔離，可以提供更高級(jí)別的數(shù)據(jù)安全保護(hù)。? 實(shí)驗(yàn)區(qū)：主要用于存放非正式的用于技術(shù)創(chuàng)新和技術(shù)驗(yàn)證的實(shí)驗(yàn)數(shù)據(jù)。大數(shù)據(jù)資源區(qū)離線數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)市級(jí)數(shù)據(jù)庫(kù)對(duì)外開(kāi)放區(qū)對(duì)外開(kāi)放脫敏數(shù)據(jù)實(shí)驗(yàn)區(qū)實(shí)驗(yàn)數(shù)據(jù)安全沙箱數(shù)據(jù)市級(jí)數(shù)據(jù)湖基礎(chǔ)庫(kù)主題庫(kù)專題庫(kù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)指標(biāo)庫(kù)2.2.數(shù)據(jù)層整體實(shí)現(xiàn)方案-數(shù)據(jù)分層數(shù)據(jù)湖市級(jí)數(shù)據(jù)庫(kù)ODSDWDDWA基礎(chǔ)庫(kù)人口庫(kù)法人庫(kù)空間地理庫(kù)主題庫(kù)經(jīng)濟(jì)活動(dòng)公共事業(yè)社會(huì)關(guān)系人口密度貼源數(shù)據(jù)ST專題庫(kù)經(jīng)濟(jì)運(yùn)行監(jiān)測(cè)經(jīng)濟(jì)運(yùn)行預(yù)測(cè)宏觀景氣指數(shù)市場(chǎng)主題發(fā)展人口和就業(yè)主體準(zhǔn)入分析產(chǎn)業(yè)結(jié)構(gòu)調(diào)整主體經(jīng)營(yíng)分析大眾創(chuàng)業(yè)分析中小企業(yè)發(fā)展電子商務(wù)發(fā)展區(qū)域市場(chǎng)發(fā)展人口遷移老齡化及養(yǎng)老流動(dòng)人口公共安全政務(wù)服務(wù)能力城市綜合體城市立方體城市綜合體-社區(qū)畫(huà)像明細(xì)數(shù)據(jù)? ODS層數(shù)據(jù)：該層數(shù)據(jù)為數(shù)據(jù)湖落地的貼源數(shù)據(jù)，其數(shù)據(jù)結(jié)構(gòu)與政務(wù)應(yīng)用等系統(tǒng)的原始數(shù)據(jù)結(jié)構(gòu)保持一致，是市級(jí)數(shù)據(jù)庫(kù)的數(shù)據(jù)來(lái)源。? DWD層數(shù)據(jù)：該層數(shù)據(jù)為數(shù)據(jù)湖貼源數(shù)據(jù)清洗后的明細(xì)數(shù)據(jù)。根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)，對(duì)貼源數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換，實(shí)現(xiàn)數(shù)據(jù)的標(biāo)準(zhǔn)化和一致性。? DWA層數(shù)據(jù)：在明細(xì)數(shù)據(jù)進(jìn)行上根據(jù)上層應(yīng)用需要進(jìn)行橫向關(guān)聯(lián)和縱向匯總的共享模型數(shù)據(jù)。? ST層數(shù)據(jù)：面向不同應(yīng)用的應(yīng)用結(jié)果數(shù)據(jù)。? 大數(shù)據(jù)資源平臺(tái)市級(jí)數(shù)據(jù)庫(kù)面向不用數(shù)據(jù)應(yīng)用、行業(yè)領(lǐng)域及主題劃分為基礎(chǔ)庫(kù)、主題庫(kù)、指標(biāo)庫(kù)和專題庫(kù)，市級(jí)數(shù)據(jù)庫(kù)和數(shù)據(jù)湖從數(shù)據(jù)層次上劃分為ODS、DWD、DWA和ST等四個(gè)主要層次。指標(biāo)庫(kù)電子證照庫(kù)2.3.大數(shù)據(jù)資源區(qū)實(shí)現(xiàn)方案-市級(jí)數(shù)據(jù)湖? 市級(jí)數(shù)據(jù)湖歸集的數(shù)據(jù)范圍、種類和存儲(chǔ)方式等政務(wù)數(shù)據(jù)公共事業(yè)數(shù)據(jù)行業(yè)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)范圍? 國(guó)家政務(wù)數(shù)據(jù)：國(guó)家下發(fā)的各類政務(wù)數(shù)據(jù)；? 市級(jí)政務(wù)數(shù)據(jù)：市級(jí)各委辦局履職過(guò)程的提供的各類政務(wù)數(shù)據(jù)，包括公安、稅務(wù)等；? 區(qū)縣政務(wù)數(shù)據(jù)：補(bǔ)充上報(bào)市級(jí)沒(méi)有的的各類政務(wù)數(shù)據(jù)。? 水電煤：采集城市自來(lái)水、電力、煤氣、供熱等公共事業(yè)數(shù)據(jù)，此類數(shù)據(jù)是和百姓生活息息相關(guān)的重要民生資源。? 金融行業(yè)：整合金融行業(yè)個(gè)人、企業(yè)征信數(shù)據(jù)；? 電信行業(yè)：整合電信運(yùn)營(yíng)商個(gè)人、企業(yè)位置數(shù)據(jù)、互聯(lián)網(wǎng)內(nèi)容數(shù)據(jù)等關(guān)鍵數(shù)據(jù)；? 其它行業(yè)：整合其它行業(yè)的優(yōu)質(zhì)數(shù)據(jù)資源。? 攝像頭傳感器：采集城市部署的攝像頭等各類感知設(shè)備提供的基礎(chǔ)數(shù)據(jù)。數(shù)據(jù)特性和數(shù)據(jù)庫(kù)數(shù)據(jù)特性數(shù)據(jù)量大數(shù)據(jù)量小結(jié)構(gòu)化數(shù)據(jù)InceptorKundb/ArgoDB非結(jié)構(gòu)化數(shù)據(jù)InceptorHyperbase實(shí)時(shí)性高KafkaKunDB實(shí)時(shí)性低Inceptor/KunDBKunDB人口庫(kù)學(xué)前階段教育階段工作階段退休階段出生死亡人口標(biāo)簽（出生信息、教育信息、就業(yè)信息、社保信息、納稅信息

…

…）簇群標(biāo)簽（家庭關(guān)系、交往圈、就業(yè)關(guān)系

…

…）2.4.大數(shù)據(jù)資源區(qū)實(shí)現(xiàn)方案-市級(jí)數(shù)據(jù)庫(kù)-公共基礎(chǔ)庫(kù)? 構(gòu)建全生命周期標(biāo)簽? 建立簇群關(guān)系? 通過(guò)對(duì)政務(wù)數(shù)據(jù)、社會(huì)數(shù)據(jù)進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)整合及價(jià)值挖掘，構(gòu)建形成人口庫(kù)、法人庫(kù)、空間地理庫(kù)、電子證照庫(kù)四大基礎(chǔ)庫(kù)的標(biāo)簽體系。政務(wù)數(shù)據(jù)社會(huì)數(shù)據(jù)上傳個(gè)人電子證照上傳企業(yè)電子證照就業(yè)，投資人工作地、活動(dòng)地等信息注冊(cè)地、辦公地等信息電子證照庫(kù)提供全市個(gè)人電子證照信息空間地理庫(kù)法人庫(kù)全面立體的展示法人相關(guān)信息? 法人基本信息? 資本與資產(chǎn)? 生產(chǎn)經(jīng)營(yíng)? 許可、資質(zhì)和榮譽(yù)提供地圖服務(wù)、影像服務(wù)、地名地址服務(wù)、三維服務(wù)與坐標(biāo)轉(zhuǎn)換等功能服務(wù)。? 基礎(chǔ)地理信息 ? 基礎(chǔ)覆被信息? 自然資源? 環(huán)境與生態(tài)AI中臺(tái)服務(wù)3.打造全方位的服務(wù)開(kāi)放能力，使能城市智慧運(yùn)營(yíng)服務(wù)開(kāi)放層數(shù)據(jù)中臺(tái)服務(wù)數(shù)據(jù)服

務(wù)數(shù)據(jù)授權(quán)服務(wù)數(shù)據(jù)在線探索數(shù)據(jù)開(kāi)放服務(wù)同步 異步訂閱 消息智能推薦服務(wù)潛力商圈預(yù)測(cè)輿情洞察報(bào)表服務(wù)人口熱地圖經(jīng)濟(jì)指標(biāo)報(bào)表共享服務(wù)目錄醫(yī)療數(shù)據(jù)交通數(shù)據(jù)……社保數(shù)據(jù)標(biāo)簽服務(wù)基本特征標(biāo)簽消費(fèi)特征標(biāo)簽互聯(lián)網(wǎng)偏好服務(wù)偏好標(biāo)簽指標(biāo)服務(wù)人口指標(biāo)經(jīng)濟(jì)指標(biāo)財(cái)政指標(biāo)業(yè)務(wù)中臺(tái)服務(wù)數(shù)據(jù)共享交換服務(wù)數(shù)據(jù)交換服務(wù)數(shù)據(jù)分析可視化服務(wù)自助可視化分析AI服務(wù)(規(guī)劃中)模型訓(xùn)練 模型應(yīng)用數(shù)據(jù)管理業(yè)務(wù)中臺(tái)服務(wù)策略中心協(xié)同中心事件中心洞察中心一網(wǎng)通辦公共數(shù)據(jù)同步輿情處置經(jīng)濟(jì)指標(biāo)報(bào)表…………一次性建設(shè)持續(xù)性沉淀3.1.5.數(shù)據(jù)分析和可視化服務(wù)實(shí)現(xiàn)方案數(shù)據(jù)可視化工具適配異構(gòu)數(shù)據(jù)源，比如：RDB，MPP，Hadoop，NOSQL類型數(shù)據(jù)庫(kù)；物理表關(guān)聯(lián)DACP元數(shù)據(jù)，快速查詢數(shù)據(jù)字典；支持函數(shù)，過(guò)程的開(kāi)發(fā)變異、調(diào)用測(cè)試；支持PLSQL的高頻使用功能，比如：自動(dòng)替換，代碼格式化，執(zhí)行計(jì)劃查詢，代碼注釋，事務(wù)提交／回滾，結(jié)果行列轉(zhuǎn)換查看等。支持可視化編輯數(shù)據(jù)庫(kù)對(duì)象；數(shù)據(jù)查詢跟結(jié)果窗口對(duì)應(yīng)展示，多語(yǔ)句多個(gè)結(jié)果集，可對(duì)敏感數(shù)據(jù)去隱私化；支持功能快捷鍵；支持開(kāi)發(fā)腳本保存，記錄用戶查詢操作；查詢中斷，關(guān)聯(lián)hadoop資源管理，釋放資源；用戶對(duì)擁有權(quán)限的數(shù)據(jù)資源進(jìn)行在線的數(shù)據(jù)探索及數(shù)據(jù)可視化分析。?

數(shù)據(jù)可視化工具：專題數(shù)據(jù)，主題數(shù)據(jù)加工完成后，用戶可利用可視化工具在線開(kāi)發(fā)可視化報(bào)表，經(jīng)過(guò)測(cè)試發(fā)布上線后，對(duì)外提供可視化服務(wù)；? 數(shù)據(jù)探索工具：用戶通過(guò)在線數(shù)據(jù)探索工具對(duì)擁有權(quán)限的數(shù)據(jù)進(jìn)行在線自助數(shù)據(jù)查詢，工具記錄訪問(wèn)日志。

3.3.服務(wù)開(kāi)放層-AI中臺(tái)服務(wù)? AI中臺(tái)采用分層設(shè)計(jì)方式，根據(jù)不同的業(yè)務(wù)屬性進(jìn)行劃分，保證整體架構(gòu)的合理性、可擴(kuò)展性、可維護(hù)性。? 基礎(chǔ)設(shè)施：提供平臺(tái)的所有基礎(chǔ)設(shè)施資源,包括計(jì)算資源、存儲(chǔ)資源等，為整個(gè)平臺(tái)提供基礎(chǔ)支持；? 平臺(tái)組件：包括大數(shù)據(jù)平臺(tái)、容器平臺(tái)，為整個(gè)AI云平臺(tái)提供基礎(chǔ)運(yùn)營(yíng)環(huán)境；? AI平臺(tái)：為AI中臺(tái)核心業(yè)務(wù)層,包含數(shù)據(jù)管理服務(wù)、模型訓(xùn)練服務(wù)、模型管理服務(wù)推理服務(wù)、資源調(diào)度服務(wù)和運(yùn)營(yíng)管理服務(wù)面向業(yè)務(wù)使用人員提供端到端人工智能研發(fā)生產(chǎn)通用能力；? A能力：包含各類人工智能A能力,例如圖像識(shí)別能力、視頻分析能力、自然語(yǔ)言理解能力、知識(shí)圖譜等；? 業(yè)務(wù)應(yīng)用：包含各類人工智能應(yīng)用,例如人流疏導(dǎo)、環(huán)境治理、智能安防等。業(yè)務(wù)應(yīng)用AI平臺(tái)權(quán)限管理運(yùn)營(yíng)管理服務(wù)系統(tǒng)管理運(yùn)營(yíng)分析安全管理日志管理資源管理應(yīng)用部署資源調(diào)度服務(wù)……基礎(chǔ)設(shè)施人流疏導(dǎo)環(huán)境治理智能安防智能養(yǎng)老……CPU服務(wù)器GPU服務(wù)器FPGA（定制化AI芯片）服務(wù)器存儲(chǔ)網(wǎng)絡(luò)平臺(tái)組件資源部署服務(wù)調(diào)度API網(wǎng)關(guān)服務(wù)鑒權(quán)推理服務(wù)……能力適配流量控制數(shù)據(jù)管理服務(wù)任務(wù)管理預(yù)處理數(shù)據(jù)標(biāo)注特征工程模型訓(xùn)練服務(wù)任務(wù)管理訓(xùn)練編排模型訓(xùn)練效果評(píng)估模型管理服務(wù)模型文件模型管理能力管理使用申請(qǐng)AI能力圖像能力視頻能力自然語(yǔ)言理解知識(shí)圖譜……大數(shù)據(jù)資源平臺(tái)容器平臺(tái)……4.

打造貫穿生產(chǎn)服務(wù)鏈的全景式數(shù)據(jù)管理體系數(shù)據(jù)管理對(duì)象數(shù)據(jù)目錄數(shù)據(jù)對(duì)象數(shù)據(jù)字段標(biāo)準(zhǔn)化單詞庫(kù)數(shù)據(jù)標(biāo)準(zhǔn)化管理數(shù)據(jù)管理流程數(shù)據(jù)質(zhì)量管理數(shù)據(jù)標(biāo)準(zhǔn)化流程數(shù)據(jù)模型管理流程數(shù)據(jù)質(zhì)量管理流程數(shù)據(jù)安全管理流程數(shù)據(jù)生命周期管理數(shù)據(jù)管理組織元數(shù)據(jù)管理數(shù)據(jù)架構(gòu)師數(shù)據(jù)模型人員運(yùn)維人員數(shù)據(jù)管理員數(shù)據(jù)管理員數(shù)據(jù)管理工具數(shù)據(jù)規(guī)劃標(biāo)準(zhǔn)定義模型設(shè)計(jì)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)采集數(shù)據(jù)創(chuàng)建數(shù)據(jù)使用數(shù)據(jù)歸檔數(shù)據(jù)銷毀通過(guò)組織制度、流程、工具支撐全生命周期的數(shù)據(jù)管理4.1.數(shù)據(jù)管理-線上標(biāo)準(zhǔn)規(guī)范約束數(shù)據(jù)加工各個(gè)環(huán)節(jié)? 制定數(shù)據(jù)架構(gòu)，規(guī)范數(shù)據(jù)分層分類；? 制定存儲(chǔ)架構(gòu)，規(guī)范存儲(chǔ)策略。? 制定數(shù)據(jù)開(kāi)發(fā)規(guī)范? 制定業(yè)務(wù)字段標(biāo)準(zhǔn)? 提供數(shù)據(jù)質(zhì)量檢查規(guī)范，可事中，事后進(jìn)行數(shù)據(jù)稽核，及異常告警。01.事前規(guī)劃03.數(shù)據(jù)運(yùn)行階段02.數(shù)據(jù)開(kāi)發(fā)階段數(shù)據(jù)架構(gòu)設(shè)計(jì)◆ 字段標(biāo)準(zhǔn)，模型字段命名推薦? 英文名；? 中文名；? 業(yè)務(wù)口徑? 脫敏規(guī)則；? 字段類型，精度；……建立數(shù)據(jù)質(zhì)量規(guī)則庫(kù)及時(shí)性完整性唯一性一致性準(zhǔn)確性合理性存儲(chǔ)架構(gòu)設(shè)計(jì)開(kāi)發(fā)規(guī)范說(shuō)明唯一性檢查對(duì)象實(shí)體的唯一性長(zhǎng)度檢查命名的長(zhǎng)度格式檢查命名的格式檢查首字母約束是否以字母開(kāi)關(guān)非空約束關(guān)鍵字段是否為空關(guān)系約束輸入關(guān)系檢查定義整體的數(shù)據(jù)架構(gòu)1、制定大數(shù)據(jù)中心數(shù)據(jù)架構(gòu)，數(shù)據(jù)分層、分類標(biāo)準(zhǔn)化；2、創(chuàng)建業(yè)務(wù)架構(gòu)目錄樹(shù)，數(shù)據(jù)開(kāi)發(fā)根據(jù)架構(gòu)標(biāo)準(zhǔn)分類元數(shù)據(jù)。4.1.1.數(shù)據(jù)管理-數(shù)據(jù)規(guī)劃定義數(shù)據(jù)的存儲(chǔ)架構(gòu)根據(jù)數(shù)據(jù)庫(kù)存儲(chǔ)特性，及業(yè)務(wù)數(shù)據(jù)的特性，制定每種數(shù)據(jù)庫(kù)，在層次/主題架構(gòu)下數(shù)據(jù)的存儲(chǔ)策略標(biāo)準(zhǔn)；在開(kāi)發(fā)模型元數(shù)據(jù)時(shí)，關(guān)聯(lián)存儲(chǔ)標(biāo)準(zhǔn)策略進(jìn)行數(shù)據(jù)存儲(chǔ)。HIVE：文件格式:

TEXTFILE、RCFILE、ORCFILE、SEQUENCEFILE等；壓縮類型：Gzip、Bzip2、Lzo、Snappy；? 數(shù)據(jù)存儲(chǔ)周期、及過(guò)期數(shù)據(jù)處理方式；……? 行列模式：行存儲(chǔ)、列存儲(chǔ)、行列混存；? 壓縮： （5，5）壓縮、（3，1）壓縮；? 數(shù)據(jù)存儲(chǔ)周期、及過(guò)期數(shù)據(jù)處理方式；……◆MPP：?表類型：哈希表，復(fù)制表等；1、線上制定大數(shù)據(jù)開(kāi)發(fā)規(guī)范，在數(shù)據(jù)對(duì)象上線時(shí)檢查元數(shù)據(jù)開(kāi)發(fā)質(zhì)量，不滿足則不予許發(fā)布。4.1.2.數(shù)據(jù)管理-標(biāo)準(zhǔn)規(guī)范制定2、制定業(yè)務(wù)字段標(biāo)準(zhǔn)，模型開(kāi)發(fā)時(shí)稽核字段標(biāo)準(zhǔn)是否滿足，以及前向做字段推薦命名；◆

字段標(biāo)準(zhǔn)信息：? 英文名；? 中文名；? 業(yè)務(wù)口徑? 脫敏規(guī)則；? 字段類型，精度；……① 從現(xiàn)有的業(yè)務(wù)系統(tǒng)采集數(shù)據(jù)表結(jié)構(gòu)信息存放到全量數(shù)據(jù)字典庫(kù)；② 梳理全量數(shù)據(jù)字典庫(kù)，剔除不規(guī)范字典庫(kù)數(shù)據(jù)，如：命名不規(guī)范，無(wú)意義字段，濫用單復(fù)數(shù)，同名不同意，同義不同名，基本元素不同意等。③ 評(píng)審，制定出標(biāo)準(zhǔn)數(shù)據(jù)字典：存放各種定義好的字段標(biāo)準(zhǔn)命名，業(yè)務(wù)口徑，及字段長(zhǎng)度，精度等。規(guī)范策略說(shuō)明唯一性檢查對(duì)象實(shí)體的唯一性長(zhǎng)度檢查命名的長(zhǎng)度格式檢查命名的格式檢查首字母約束是否以字母開(kāi)關(guān)非空約束關(guān)鍵字段是否為空關(guān)系約束輸入關(guān)系檢查454.1.3.數(shù)據(jù)管理-數(shù)據(jù)目錄增強(qiáng)大數(shù)據(jù)資源區(qū)數(shù)據(jù)目錄自助分析多維透視摘要分析?

數(shù)據(jù)目錄分為大數(shù)據(jù)資源區(qū)數(shù)據(jù)目錄、對(duì)外數(shù)據(jù)開(kāi)放數(shù)據(jù)目錄。?

數(shù)據(jù)目錄通過(guò)元數(shù)據(jù)定期稽核，保障數(shù)據(jù)目錄的數(shù)據(jù)字典的正確性。?

數(shù)據(jù)目錄集成數(shù)據(jù)工具服務(wù)，驅(qū)動(dòng)數(shù)據(jù)的采存管用各個(gè)環(huán)節(jié)，提高數(shù)據(jù)管理和數(shù)據(jù)使用的效率，提升數(shù)據(jù)使用者的體驗(yàn)。數(shù)據(jù)工具管理類工具血緣 變更處理類工具遷移 加工數(shù)據(jù)應(yīng)用類工具新增稽核授權(quán)摘要數(shù)據(jù)目錄工具注冊(cè)工具調(diào)用對(duì)外開(kāi)放區(qū)數(shù)據(jù)目錄數(shù)據(jù)開(kāi)放管理流程◆

大數(shù)據(jù)資源區(qū)數(shù)據(jù)目錄：由數(shù)據(jù)采集，處理后行程的基礎(chǔ)庫(kù)，主題庫(kù)，專題庫(kù)數(shù)據(jù)資源目錄；◆

對(duì)外開(kāi)放區(qū)數(shù)據(jù)目錄：數(shù)據(jù)資源區(qū)的數(shù)據(jù)資源，經(jīng)過(guò)數(shù)據(jù)開(kāi)放流程的管理審批后，進(jìn)入對(duì)外開(kāi)放數(shù)據(jù)區(qū)數(shù)據(jù)目錄，展現(xiàn)的是可對(duì)外開(kāi)放的數(shù)據(jù)資源；后向前向元數(shù)據(jù)管理46租戶分配數(shù)據(jù)源多租戶團(tuán)隊(duì)開(kāi)通需要的工作團(tuán)隊(duì)注冊(cè)納入團(tuán)隊(duì)成員租戶賬號(hào)申請(qǐng)服務(wù)開(kāi)通、資源分配數(shù)據(jù)源管理開(kāi)發(fā)團(tuán)隊(duì)注冊(cè)注冊(cè)大數(shù)據(jù)平臺(tái)租戶賬號(hào)計(jì)算資源CPU/內(nèi)存/…..存儲(chǔ)資源存儲(chǔ)空間涉及流程分類：租戶開(kāi)通：賬號(hào)申請(qǐng)，并在大數(shù)據(jù)平臺(tái)開(kāi)通賬號(hào)服務(wù)開(kāi)通、資源分配：給租戶分配需要的大數(shù)據(jù)平臺(tái)的服務(wù)組件，比如：Hive，Spark，HDFS，Hbase等。

數(shù)據(jù)源分配：把租戶綁定上自己申請(qǐng)的服務(wù)信息；開(kāi)發(fā)團(tuán)隊(duì)注冊(cè)：新建開(kāi)發(fā)團(tuán)隊(duì)，把用戶納入團(tuán)隊(duì)成為成員，并給成員綁定租戶信息。4.1.4.數(shù)據(jù)管理-租戶團(tuán)隊(duì)入駐組件服務(wù)授權(quán)Hive/Spark/kafka…..綁定租戶賬號(hào)474.1.5.數(shù)據(jù)管理-數(shù)據(jù)質(zhì)量管理?

建立數(shù)據(jù)質(zhì)量指標(biāo)庫(kù)，將系統(tǒng)數(shù)據(jù)質(zhì)量的稽核轉(zhuǎn)化為數(shù)據(jù)質(zhì)量指標(biāo)的稽核。數(shù)據(jù)質(zhì)量指標(biāo)由數(shù)據(jù)處理統(tǒng)一出數(shù)。?

對(duì)接工單系統(tǒng)，完善異常數(shù)據(jù)處理流程；稽核方式事中稽核事后稽核場(chǎng)景：數(shù)據(jù)實(shí)時(shí)性、數(shù)據(jù)質(zhì)量要求高數(shù)據(jù)入庫(kù)、匯聚后，實(shí)時(shí)稽核場(chǎng)景：數(shù)據(jù)實(shí)時(shí)性需求低，數(shù)據(jù)質(zhì)量要求高周期性稽核建立數(shù)據(jù)質(zhì)量規(guī)則庫(kù)及時(shí)性完整性唯一性一致性準(zhǔn)確性合理性異常處理異常通知查看稽核問(wèn)題報(bào)告、異常告警短信。異常處理生成問(wèn)題工單，閉環(huán)處理；事中稽核，阻斷后續(xù)處理。?

大數(shù)據(jù)中心通過(guò)統(tǒng)一數(shù)據(jù)開(kāi)發(fā)平臺(tái)，提供多租戶實(shí)現(xiàn)開(kāi)發(fā)可視化，同時(shí)建立了數(shù)據(jù)開(kāi)發(fā)上線發(fā)布流程，在開(kāi)發(fā)完成后直接提交審核，第一時(shí)間實(shí)現(xiàn)模型和程序的發(fā)布上線，投入生產(chǎn)環(huán)境模型開(kāi)發(fā)程序開(kāi)發(fā)程序測(cè)試審核上線1-模型定義

創(chuàng)建模型基礎(chǔ)信息

定義模型的元數(shù)據(jù)2-構(gòu)建表結(jié)構(gòu)

添加模型字段信息提供手工/批量方式3-編輯模型應(yīng)用程序

固化常用程序命令，拖拽式使用圖形化界面，自由配置處理邏輯4-程序在線測(cè)試提供WEB界面可視化測(cè)試功能;查

看執(zhí)行時(shí)長(zhǎng)、執(zhí)行狀態(tài)等信息，

方便開(kāi)發(fā)人員調(diào)試，性能分析5-提交審核

開(kāi)發(fā)人員建立上線任務(wù)，提交審核6-上線運(yùn)行

運(yùn)維人員審核

通過(guò)，上線運(yùn)行4.2.數(shù)據(jù)管理-一體化開(kāi)發(fā)，開(kāi)發(fā)與生產(chǎn)的無(wú)縫銜接5.構(gòu)建面向“設(shè)備-數(shù)據(jù)-系統(tǒng)-業(yè)務(wù)”的統(tǒng)一運(yùn)維管理能力體系?

構(gòu)建市級(jí)大數(shù)據(jù)中心統(tǒng)一運(yùn)維管理能力體系，對(duì)大數(shù)據(jù)中心基礎(chǔ)設(shè)備、數(shù)據(jù)、應(yīng)用、業(yè)務(wù)進(jìn)行統(tǒng)一運(yùn)營(yíng)管理，提供IT運(yùn)維監(jiān)控、業(yè)務(wù)可視化監(jiān)控、業(yè)務(wù)稽查分析、數(shù)據(jù)質(zhì)量保障等多個(gè)領(lǐng)域的綜合運(yùn)維管理能力，促進(jìn)中心IT運(yùn)營(yíng)降本增效。決策者基層管理者大數(shù)據(jù)中心統(tǒng)一運(yùn)維管理能力體系基礎(chǔ)設(shè)備數(shù)據(jù)源政務(wù)數(shù)據(jù)公用事業(yè)數(shù)據(jù)行業(yè)數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)大數(shù)據(jù)中心數(shù)據(jù)流數(shù)據(jù)流城市大腦一網(wǎng)通辦城運(yùn)系統(tǒng)社會(huì)治理經(jīng)濟(jì)運(yùn)行….◆ 城市大腦業(yè)務(wù)監(jiān)控◆ 城市大腦應(yīng)用系統(tǒng)監(jiān)控◆ 中心數(shù)據(jù)質(zhì)量保障◆ 底層基礎(chǔ)設(shè)備監(jiān)控統(tǒng)一運(yùn)維管理范圍5.1.統(tǒng)一門(mén)戶場(chǎng)景定制化，全面感知系統(tǒng)健康度統(tǒng)一門(mén)戶以使用角色和場(chǎng)景為主線，個(gè)人工作臺(tái)定制化，面向不同使用者特定場(chǎng)景，實(shí)現(xiàn)對(duì)業(yè)務(wù)、生產(chǎn)、系統(tǒng)的資源或能力“可視”、

“可控”、“可追溯”，分角色分權(quán)限向決策層、管理層、基層工作人員展現(xiàn)統(tǒng)一運(yùn)維視圖。數(shù)據(jù)可視化支持PC、大屏、手機(jī)等多端展示?；ヂ?lián)網(wǎng)化綜合門(mén)戶 數(shù)據(jù)可視化，全面感知場(chǎng)景定制 信息關(guān)聯(lián)移動(dòng)APP，隨時(shí)隨地高效辦公內(nèi)容聚焦動(dòng)態(tài)效果運(yùn)維宣傳窗口消息欄應(yīng)用窗口菜單欄領(lǐng)導(dǎo)運(yùn)維管理運(yùn)維工作更便捷、更及時(shí)、更智能，優(yōu)化用戶工作習(xí)慣。5.3.全方位的監(jiān)控管理中心，實(shí)現(xiàn)高效集中監(jiān)控構(gòu)建面向IT系統(tǒng)的全方位監(jiān)控管理中心All-in-One

Monitor亮點(diǎn)特性監(jiān)控模板化?提供各類監(jiān)控對(duì)象的標(biāo)準(zhǔn)監(jiān)控模板，集中管理，統(tǒng)一監(jiān)控發(fā)布，策略發(fā)布。告警預(yù)處理策略多元化?通過(guò)告警升降級(jí)、告警合并、告警屏蔽、告警自動(dòng)清除等多種策略對(duì)告警進(jìn)行預(yù)處理，確保告警準(zhǔn)確可靠。告警觸發(fā)方式多樣化?直接采集、數(shù)值判斷、變化判斷、字符串判斷、連續(xù)性判斷、表達(dá)式判斷

等多種告警觸發(fā)方式一網(wǎng)打盡所有告警。多種告警通知手段?聲音、短信、外呼等通知手段，讓維護(hù)人員第一時(shí)間了解系統(tǒng)故障監(jiān)控服務(wù)高可用、易擴(kuò)展?云計(jì)算分布式架構(gòu)，單點(diǎn)故障無(wú)感知；支持動(dòng)態(tài)增加服務(wù)節(jié)點(diǎn)，擴(kuò)展系統(tǒng)處理能力。高效數(shù)據(jù)處理?大數(shù)據(jù)量并發(fā)處理能力，準(zhǔn)實(shí)時(shí)告警設(shè)備數(shù)據(jù)系統(tǒng)業(yè)務(wù)集中監(jiān)控短信微信APP郵件工單診斷處理專業(yè)監(jiān)控監(jiān)控管理中心作為整個(gè)運(yùn)營(yíng)管理系統(tǒng)的一項(xiàng)基本管理功能，提供運(yùn)營(yíng)管理所必需的系統(tǒng)監(jiān)控功能，為其他運(yùn)維流程、操作控制、運(yùn)營(yíng)分析等功能提供基礎(chǔ)，為被管系統(tǒng)運(yùn)行的可靠性、穩(wěn)定性、可用性提供基礎(chǔ)保障。6.對(duì)數(shù)據(jù)生命周期各階段相關(guān)過(guò)程安全提供技術(shù)保障數(shù)據(jù)使用授權(quán)管理數(shù)據(jù)處理環(huán)境安全數(shù)據(jù)使用合規(guī)審計(jì)統(tǒng)一安全配置基線提供能力對(duì)數(shù)據(jù)存儲(chǔ)組件進(jìn)行配置安全基線檢查識(shí)別脆弱性并提供加固建議統(tǒng)一敏感數(shù)據(jù)識(shí)別支持通過(guò)配置敏感數(shù)據(jù)識(shí)別規(guī)則，在靜態(tài)存儲(chǔ)和網(wǎng)絡(luò)流量中識(shí)別敏感數(shù)據(jù)并基于實(shí)現(xiàn)數(shù)據(jù)標(biāo)簽和異常外泄阻斷統(tǒng)一敏感數(shù)據(jù)加密提供國(guó)密算法SDK和統(tǒng)一密鑰管理能力，支持密鑰生成、存儲(chǔ)、使用、分發(fā)、更新、銷毀的全生存周期安全管理統(tǒng)一敏感數(shù)據(jù)脫敏提供能力各種存儲(chǔ)環(huán)境中的數(shù)據(jù)進(jìn)行靜態(tài)脫敏，進(jìn)行基于業(yè)務(wù)場(chǎng)景的動(dòng)態(tài)脫敏，統(tǒng)一身份認(rèn)證提供能力對(duì)數(shù)據(jù)存儲(chǔ)組件進(jìn)行配置安全基線檢查識(shí)別脆弱性并提供加固建議集中權(quán)限管理提供能力確保各租戶僅可使用獲得授權(quán)的平臺(tái)模塊功能和數(shù)據(jù)統(tǒng)一用戶行為分析集中平臺(tái)操作審計(jì)信息，支持對(duì)用戶行為建立分析模型，發(fā)現(xiàn)數(shù)據(jù)濫用行為，對(duì)異常和高風(fēng)險(xiǎn)操作識(shí)別與告警統(tǒng)一日志存儲(chǔ)檢索支持接入基礎(chǔ)環(huán)境和平臺(tái)各組件日志并保存至少6個(gè)月，支持日志檢索和安全事件下鉆到原始日志數(shù)據(jù)流轉(zhuǎn)授權(quán)支持通過(guò)技術(shù)手段落實(shí)到平臺(tái)內(nèi)置流程，確保在數(shù)據(jù)歸集、使用、共享、開(kāi)放過(guò)程中，大數(shù)據(jù)中心和數(shù)據(jù)提供者對(duì)所有數(shù)據(jù)流動(dòng)的充分授權(quán)。7.集成平臺(tái)服務(wù)能力，提供開(kāi)放、共享、運(yùn)營(yíng)的統(tǒng)一入口運(yùn)營(yíng)管理門(mén)戶開(kāi)放門(mén)戶共享門(mén)戶開(kāi)放視圖租戶申請(qǐng)運(yùn)營(yíng)管理視圖租戶運(yùn)營(yíng)數(shù)據(jù)申請(qǐng)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)測(cè)試發(fā)布上線服務(wù)開(kāi)通平臺(tái)資源分配數(shù)據(jù)服務(wù)授權(quán)共享視圖租戶申請(qǐng)數(shù)據(jù)申請(qǐng)數(shù)據(jù)開(kāi)發(fā)數(shù)據(jù)測(cè)試發(fā)布上線租戶沙箱申請(qǐng)數(shù)據(jù)運(yùn)營(yíng)平臺(tái)運(yùn)營(yíng)數(shù)據(jù)規(guī)劃標(biāo)準(zhǔn)制定數(shù)據(jù)稽核數(shù)據(jù)評(píng)估問(wèn)題整改監(jiān)督平臺(tái)監(jiān)控?cái)?shù)據(jù)作業(yè)監(jiān)控異常處理過(guò)期數(shù)據(jù)清理7.1.門(mén)戶實(shí)現(xiàn)方案--門(mén)戶功能框架運(yùn)營(yíng)中心（運(yùn)營(yíng)管理者）開(kāi)發(fā)者管理數(shù)據(jù)應(yīng)用管理數(shù)據(jù)服務(wù)管理運(yùn)營(yíng)統(tǒng)計(jì)待辦審核管理安全策略管理日志管理監(jiān)控管理門(mén)戶接入層數(shù)據(jù)接入頁(yè)面接入….應(yīng)用接入門(mén)戶功能層終端適配層Web終端適配移動(dòng)終端適配(Phone/Pad)大屏終端適配系統(tǒng)管理公告管理數(shù)據(jù)沙箱管理數(shù)據(jù)產(chǎn)品運(yùn)營(yíng)開(kāi)放中心（對(duì)外）數(shù)據(jù)開(kāi)放視圖數(shù)據(jù)開(kāi)放服務(wù)目錄數(shù)據(jù)開(kāi)放查詢開(kāi)放權(quán)限控制開(kāi)放數(shù)據(jù)網(wǎng)關(guān)數(shù)據(jù)開(kāi)放評(píng)價(jià)數(shù)據(jù)沙箱申請(qǐng)PaaS能力開(kāi)放DaaS能力開(kāi)放SaaS能力開(kāi)放開(kāi)放中心開(kāi)發(fā)應(yīng)用開(kāi)發(fā)環(huán)境應(yīng)用開(kāi)發(fā)框架自動(dòng)部署服務(wù)監(jiān)控告警服務(wù)推送服務(wù)WEB封裝工具資源數(shù)據(jù)目錄數(shù)據(jù)資源共享中心（對(duì)內(nèi)）數(shù)據(jù)共享視圖數(shù)據(jù)共享服務(wù)目錄數(shù)據(jù)共享查詢共享權(quán)限控制共享數(shù)據(jù)網(wǎng)關(guān)數(shù)據(jù)共享評(píng)價(jià)PaaS能力開(kāi)放DaaS能力開(kāi)放SaaS能力開(kāi)放共享中心開(kāi)發(fā)應(yīng)用開(kāi)發(fā)環(huán)境應(yīng)用開(kāi)發(fā)框架自動(dòng)部署服務(wù)監(jiān)控告警服務(wù)推送服務(wù)WEB封裝工具資源數(shù)據(jù)目錄數(shù)據(jù)資源7.2.門(mén)戶實(shí)現(xiàn)方案--開(kāi)放中心1、共享公共數(shù)據(jù)下載與調(diào)用2、公共數(shù)據(jù)共享需求申請(qǐng)3、公共數(shù)據(jù)共享服務(wù)目錄4、公共數(shù)據(jù)共享查詢1、數(shù)據(jù)資產(chǎn)地圖展示2、整體運(yùn)維監(jiān)控展示3、數(shù)據(jù)運(yùn)營(yíng)報(bào)告展示1、市民個(gè)人信息查詢與修正2、法人信息查詢3、空間地理信息查詢4、電子證照信息查詢與修正開(kāi)放中心?

使用角色：市領(lǐng)導(dǎo)、各委辦局分析人員、區(qū)政府、外部機(jī)構(gòu)、公民。?

主要解決問(wèn)題：通過(guò)統(tǒng)一入口，快捷、便利的獲得共享和開(kāi)放數(shù)據(jù)服務(wù)。目錄64整體規(guī)劃方案關(guān)鍵能力實(shí)現(xiàn)方案實(shí)施方案背景與需求分析人口庫(kù)建設(shè)建議? 大數(shù)據(jù)中心制定人口庫(kù)技術(shù)架構(gòu)和技術(shù)標(biāo)準(zhǔn)，并提供平臺(tái)、工具、數(shù)據(jù)，各委辦對(duì)人口庫(kù)標(biāo)簽進(jìn)行認(rèn)責(zé)，并負(fù)責(zé)責(zé)任范圍的標(biāo)簽開(kāi)發(fā)。建立委辦標(biāo)簽責(zé)任認(rèn)領(lǐng)共建機(jī)制建立離線實(shí)時(shí)相結(jié)合的標(biāo)簽更新機(jī)制建立標(biāo)簽服務(wù)共享機(jī)制? 通過(guò)離線周期更新和實(shí)時(shí)更新相結(jié)合的標(biāo)簽更新機(jī)制，保障人口庫(kù)標(biāo)簽數(shù)據(jù)的及時(shí)性，以及各委辦業(yè)務(wù)數(shù)據(jù)的一致性。? 人口庫(kù)標(biāo)簽數(shù)據(jù)納入資源目錄，并以數(shù)據(jù)服務(wù)方式向各委辦共享。? 大數(shù)據(jù)中心搭建平臺(tái)，制定技術(shù)規(guī)范和技術(shù)標(biāo)準(zhǔn)，各委辦通過(guò)責(zé)任認(rèn)領(lǐng)機(jī)制共同參與人口庫(kù)建設(shè)，形成共建、共治和共享的數(shù)據(jù)生態(tài)?；橐鍪录?zhí)行公安局人口標(biāo)簽庫(kù)出生事件管理教育民政局公安數(shù)據(jù)民政數(shù)據(jù)離線周期批量采集實(shí)時(shí)增量采集離線周期批量處理大數(shù)據(jù)中心…教育數(shù)據(jù)…局靜安區(qū)責(zé)任認(rèn)領(lǐng)業(yè)務(wù)協(xié)同實(shí)時(shí)更新平臺(tái)技術(shù)支撐離線更新數(shù)據(jù)同步數(shù)據(jù)共享…區(qū)ODS? 委辦貼源數(shù)據(jù)69委辦局大數(shù)據(jù)中心共享數(shù)據(jù)委辦局確認(rèn)建設(shè)方案確認(rèn)責(zé)任清單和負(fù)面清單資源目錄編制共享數(shù)據(jù)推送市級(jí)數(shù)據(jù)湖? 主題庫(kù)/專題庫(kù)責(zé)任委辦局負(fù)責(zé)：主題庫(kù)需求、建設(shè)方案（業(yè)務(wù)方案）、開(kāi)發(fā)和主題應(yīng)用。? 大數(shù)據(jù)中心主要負(fù)責(zé)：制定標(biāo)準(zhǔn)（技術(shù)方案）、提供平臺(tái)、數(shù)據(jù)和工具，并負(fù)責(zé)建成后的服務(wù)開(kāi)放和運(yùn)行維護(hù)。市級(jí)數(shù)據(jù)庫(kù)提出主題庫(kù)建設(shè)申請(qǐng)開(kāi)始編制建設(shè)方案提出需求清單明確建庫(kù)需求核實(shí)建設(shè)申請(qǐng)三清單管理分配資源并建庫(kù)數(shù)據(jù)抽取入數(shù)據(jù)庫(kù)數(shù)據(jù)治理梳理轉(zhuǎn)換口徑實(shí)施數(shù)據(jù)轉(zhuǎn)換并存入主題庫(kù)設(shè)置主題庫(kù)管理規(guī)則提供數(shù)據(jù)服務(wù)開(kāi)展主題應(yīng)用提供主題庫(kù)監(jiān)測(cè)等管理服務(wù)結(jié)束主題庫(kù)/專題庫(kù)建設(shè)建議基礎(chǔ)庫(kù)主題庫(kù)專題庫(kù)指標(biāo)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)? 人口庫(kù)、法人庫(kù)數(shù)據(jù)集市? 經(jīng)濟(jì)活動(dòng)、公共事業(yè)數(shù)據(jù)應(yīng)用居住地社區(qū)?個(gè)人信息?居住地信息?……?數(shù)據(jù)獲取?狀態(tài)感知?策略協(xié)同1、特定人群關(guān)懷入駐時(shí)間駐留時(shí)長(zhǎng)健康狀況關(guān)懷建議……大數(shù)據(jù)平臺(tái)遷徙地社區(qū)醫(yī)療機(jī)構(gòu)?健康狀況?醫(yī)療記錄?……通信運(yùn)營(yíng)商?實(shí)時(shí)位置?駐留時(shí)長(zhǎng)?……跨領(lǐng)域數(shù)據(jù)2、路面積水應(yīng)急實(shí)時(shí)感知跨部門(mén)協(xié)同處理公安部門(mén)消防部門(mén)市政道路管理通信運(yùn)營(yíng)商?事發(fā)路段增派人手?沿途路線道路疏通?緊急排水處置?車輛救援準(zhǔn)備?積水應(yīng)急處理?檢查應(yīng)急通道?短信通知區(qū)域人員?實(shí)時(shí)監(jiān)控區(qū)域人流積水感知設(shè)備大數(shù)據(jù)平臺(tái)數(shù)據(jù)應(yīng)用3、外籍臨時(shí)醫(yī)療外籍人士展會(huì)入境平臺(tái)事件實(shí)時(shí)獲取出入境管理局?

人員信息?

入境時(shí)間?

簽證時(shí)長(zhǎng)?

……市衛(wèi)生局志愿者協(xié)會(huì)?

國(guó)籍/語(yǔ)言?

……?

人員信息?

人臉信息?

證件信息?

……展會(huì)附近醫(yī)院?

綠色通道?

資源準(zhǔn)備?

……青年志愿者?

現(xiàn)場(chǎng)引導(dǎo)?

外語(yǔ)翻譯?

……管理機(jī)構(gòu)工作部署執(zhí)行單位現(xiàn)場(chǎng)支持?

信息匯聚?

構(gòu)成分析?

協(xié)同策略大數(shù)據(jù)平臺(tái)THANKS大

數(shù)

據(jù)

湖

體

系

規(guī)

劃與

建

設(shè)

方

案目錄12345背

景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念體

系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式共

享：大數(shù)據(jù)湖統(tǒng)一訪問(wèn)共享規(guī)劃運(yùn)

營(yíng)：大數(shù)據(jù)湖一體化運(yùn)營(yíng)管理建設(shè)數(shù)據(jù)架構(gòu)與承載體系的演變過(guò)程完整性、一致性、交互穩(wěn)定性，并發(fā)性，異?？苫謴?fù)性企業(yè)級(jí)跨域整合、業(yè)務(wù)擴(kuò)展性、架構(gòu)設(shè)計(jì)合理性、流程規(guī)范性存儲(chǔ)經(jīng)濟(jì)性、高性能、高擴(kuò)展、高并發(fā)、靈活模型適配性E.F.Codd發(fā)明DBMSBillInmon提出DW概念Google發(fā)布三篇論文1970’s1990’s2000’s123數(shù)據(jù)庫(kù)時(shí)代數(shù)據(jù)倉(cāng)庫(kù)時(shí)代大數(shù)據(jù)平臺(tái)時(shí)代關(guān)系型數(shù)據(jù)庫(kù)解決了信息時(shí)代的數(shù)據(jù)資源存儲(chǔ)和管理，實(shí)現(xiàn)了電子化的文件柜DW研究和解決了從數(shù)據(jù)庫(kù)中獲取信息的問(wèn)題，通過(guò)OLAP、數(shù)據(jù)挖掘等幫助企業(yè)決策分析，構(gòu)建商業(yè)智能（BI）面對(duì)大數(shù)據(jù)5V特點(diǎn)，采用分布式、并行化的存儲(chǔ)和計(jì)算架構(gòu)，提升數(shù)據(jù)處理能力ü

對(duì)象：PB級(jí)，80%以上非結(jié)構(gòu)化數(shù)據(jù)ü

技術(shù)：分布式架構(gòu)、云計(jì)算、虛擬化等ü

CAP原理：CAP

BASEü

采用數(shù)據(jù)模型表示數(shù)據(jù)結(jié)構(gòu)，冗余小ü

面向事務(wù)管理，具有ACID特性ü

面向主題的，關(guān)注用戶重點(diǎn)業(yè)務(wù)ü

集成的，跨越歷史、區(qū)域、系統(tǒng)…ü

穩(wěn)定的，具有只讀性質(zhì)，以查詢?yōu)橹鳕?/p>

以時(shí)間序列存儲(chǔ)，非規(guī)范化管理ü

數(shù)據(jù)統(tǒng)一管理和控制，易維護(hù)和擴(kuò)充ü

程序與數(shù)據(jù)獨(dú)立，具有良好用戶接口ü

目標(biāo)：線性擴(kuò)展、彈性計(jì)算、實(shí)時(shí)響應(yīng)、動(dòng)態(tài)調(diào)節(jié)背景：數(shù)據(jù)快速入湖，分析更加智能，應(yīng)用更加多樣，服務(wù)更加開(kāi)放u

更多企業(yè)數(shù)據(jù)將進(jìn)入數(shù)據(jù)湖，來(lái)自傳統(tǒng)系統(tǒng)的數(shù)據(jù)和傳感器等新型數(shù)據(jù)資源不斷融合，數(shù)據(jù)孤島將繼續(xù)被打破。u

隨著大數(shù)據(jù)分析能力的不斷提高，人工智能的重要性被逐步提升。當(dāng)今最先進(jìn)的機(jī)器學(xué)習(xí)和人工智能系統(tǒng)正在超越傳統(tǒng)的基于規(guī)則的算法，創(chuàng)建出能夠理解、學(xué)習(xí)、預(yù)測(cè)、適應(yīng)，甚至可以自主操作的系統(tǒng)。大數(shù)據(jù)發(fā)展趨勢(shì)分析數(shù)據(jù)服務(wù)以更加深度的數(shù)據(jù)開(kāi)放，跨行業(yè)大數(shù)據(jù)關(guān)聯(lián)。?

以更多樣的應(yīng)用能力，構(gòu)建針對(duì)性行業(yè)解決方案。?數(shù)據(jù)服務(wù)深度數(shù)據(jù)開(kāi)放，針對(duì)方案制定數(shù)據(jù)應(yīng)用?智能應(yīng)用，基于AI與機(jī)器學(xué)習(xí)分析，個(gè)性化服務(wù)提供。數(shù)據(jù)應(yīng)用?

應(yīng)用快速構(gòu)建，基于數(shù)據(jù)湖進(jìn)行細(xì)粒度的收集、探索和分析應(yīng)用更加智能，構(gòu)建更加快速?

從深度學(xué)習(xí)到機(jī)器學(xué)習(xí)，從機(jī)器學(xué)習(xí)到人工智能。數(shù)據(jù)分析數(shù)據(jù)分析?

基于數(shù)據(jù)湖的大量的原始數(shù)據(jù)，深度訓(xùn)練，快速分析人工智能分析，直引湖中數(shù)據(jù)數(shù)據(jù)治理入湖即治理，針對(duì)性對(duì)數(shù)據(jù)源系統(tǒng)輸入數(shù)據(jù)制定入湖標(biāo)準(zhǔn)?數(shù)據(jù)治理?

數(shù)據(jù)驅(qū)動(dòng)治理規(guī)范，以數(shù)據(jù)為核心實(shí)時(shí)制定治理規(guī)范。數(shù)據(jù)驅(qū)動(dòng)規(guī)范，入湖標(biāo)準(zhǔn)制定數(shù)據(jù)平臺(tái)?

數(shù)據(jù)平臺(tái)存儲(chǔ)方式向數(shù)據(jù)湖模式轉(zhuǎn)變，多數(shù)據(jù)匯聚。?

支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)多數(shù)據(jù)入湖?

。數(shù)據(jù)湖數(shù)據(jù)湖產(chǎn)生背景及概念提出企業(yè)現(xiàn)在正處于大數(shù)據(jù)的“焦慮期”問(wèn)題？挑戰(zhàn)？

p

存儲(chǔ)成本問(wèn)題：海量數(shù)據(jù)需要在多環(huán)境、多級(jí)下重復(fù)存儲(chǔ)，存儲(chǔ)開(kāi)銷大p

數(shù)據(jù)形態(tài)問(wèn)題：應(yīng)用大多聚焦在經(jīng)過(guò)加工后的再生數(shù)據(jù)，原始數(shù)據(jù)無(wú)法得到充分利用變革！p

業(yè)務(wù)響應(yīng)問(wèn)題：必須事先進(jìn)行充分規(guī)劃和較長(zhǎng)周期加工，欠缺運(yùn)營(yíng)所需的靈活性和時(shí)效性數(shù)據(jù)湖一詞是2011年由Pentaho首席技術(shù)官詹姆斯

迪克森最初提出的，參照“數(shù)據(jù)集市”得來(lái)。ü

較小的數(shù)據(jù)存儲(chǔ)庫(kù)ü

如同瓶裝水，經(jīng)過(guò)過(guò)濾包裝結(jié)構(gòu)化后以供使用ü

數(shù)據(jù)來(lái)源于不同地方ü

如同湖泊，存儲(chǔ)更自然狀態(tài)下的大量的水n

預(yù)先設(shè)定問(wèn)題n

集中存儲(chǔ)+無(wú)限能力n

使用方式單一n

用戶各取所需數(shù)據(jù)集市數(shù)據(jù)湖數(shù)據(jù)湖的定義與特性把你以前在磁帶上擁有的東西倒入到數(shù)據(jù)湖，然后開(kāi)始探索該數(shù)據(jù)。重要的只把需要的數(shù)據(jù)倒入到Hadoop；如果你想結(jié)合來(lái)自數(shù)據(jù)湖的信息和客戶關(guān)系管理系統(tǒng)（CRM）里面的信息，我們就進(jìn)行連接，只有需要時(shí)才執(zhí)行這番數(shù)詹姆斯·迪克森

據(jù)結(jié)合。數(shù)據(jù)湖是一種在系統(tǒng)或存儲(chǔ)庫(kù)中以自然格式存儲(chǔ)數(shù)據(jù)的方法，它有助于以各種模式和結(jié)構(gòu)形式配置數(shù)據(jù)，通常是對(duì)象塊或文件。湖中的數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)（行和列），半結(jié)構(gòu)化數(shù)據(jù)（CSV、XML、JSON的日志），非結(jié)構(gòu)化數(shù)據(jù)（電子郵件，文檔，PDF）和二進(jìn)制數(shù)據(jù)（圖像、音頻、視頻）從而形成一個(gè)集中式數(shù)據(jù)存儲(chǔ)容納所有形式的數(shù)據(jù)。維基百科把不同結(jié)構(gòu)的數(shù)據(jù)統(tǒng)一存儲(chǔ)，使不同數(shù)據(jù)有一致的存儲(chǔ)方式，在使用時(shí)方便連接，真正解決數(shù)據(jù)集成問(wèn)題。數(shù)據(jù)湖（DataLake）核心思想n

全部采集（CollectEverything）n

隨處研究（DiveInAnywhere）n

靈活訪問(wèn)（FlexibleAccess）存儲(chǔ)一切，分析一切，創(chuàng)建所需從對(duì)比中理解數(shù)據(jù)湖概念

—

優(yōu)勢(shì)篇對(duì)比項(xiàng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖支持?jǐn)?shù)據(jù)類型

有限的數(shù)據(jù)類型支持，以結(jié)構(gòu)化為主支持結(jié)構(gòu)化，半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)在數(shù)據(jù)湖世界里，沒(méi)有關(guān)于已經(jīng)取得的數(shù)據(jù)假設(shè)。一旦數(shù)據(jù)發(fā)生，即開(kāi)始在細(xì)粒度級(jí)別收集數(shù)據(jù)。業(yè)務(wù)流程發(fā)現(xiàn)基于數(shù)據(jù)與輸入數(shù)據(jù)過(guò)程開(kāi)始于業(yè)務(wù)流程識(shí)別，通常由數(shù)據(jù)管理者和業(yè)務(wù)負(fù)責(zé)人基數(shù)據(jù)采集方式于數(shù)據(jù)和業(yè)務(wù)的某種假設(shè)寫(xiě)入模式，建立模型對(duì)數(shù)據(jù)進(jìn)行某類格式和結(jié)構(gòu)的處理，為了讀取模式，接受原始形式的數(shù)據(jù)，在數(shù)據(jù)細(xì)粒度級(jí)別收集、數(shù)據(jù)處理能力

減少數(shù)據(jù)的復(fù)雜性，比較難于實(shí)現(xiàn)上卷（Rollup）和鉆取探索和分析非常簡(jiǎn)單（Drilldown）分析，該設(shè)計(jì)可能需要妥協(xié)一定粒度的數(shù)據(jù)數(shù)據(jù)庫(kù)架構(gòu)演變需要謹(jǐn)慎，過(guò)程耗時(shí)，成本較高，影響較大，不存在結(jié)構(gòu)問(wèn)題，支持復(fù)雜數(shù)據(jù)類型，便于重置數(shù)據(jù)模型、查詢和應(yīng)用，并具有簡(jiǎn)單的重建關(guān)系的能力架構(gòu)重建能力需要對(duì)原有數(shù)據(jù)進(jìn)行重構(gòu)動(dòng)態(tài)性擴(kuò)展性敏捷性差，采用靜態(tài)固定配置，基于業(yè)務(wù)流程驅(qū)動(dòng)而設(shè)計(jì)系統(tǒng)提供預(yù)定義的業(yè)務(wù)需求高度敏捷，動(dòng)態(tài)靈活配置，基于數(shù)據(jù)的業(yè)務(wù)流程定義點(diǎn)燃創(chuàng)新和新的商業(yè)機(jī)會(huì)從對(duì)比中理解數(shù)據(jù)湖概念

—

劣勢(shì)篇對(duì)比項(xiàng)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)湖數(shù)據(jù)規(guī)劃體系具有周密的數(shù)據(jù)發(fā)現(xiàn)、采集、探索和轉(zhuǎn)換的數(shù)據(jù)計(jì)劃，易于突顯數(shù)據(jù)價(jià)值

不太重視事先的數(shù)據(jù)規(guī)劃，允許存儲(chǔ)任何數(shù)據(jù)，難以抓取數(shù)據(jù)價(jià)值數(shù)據(jù)利用率高，按數(shù)據(jù)優(yōu)先級(jí)和數(shù)據(jù)可用性的大小進(jìn)行組織，可以快速定

數(shù)據(jù)利用率低，缺少數(shù)據(jù)優(yōu)先級(jí)排序，需要花費(fèi)大量時(shí)間查找和分?jǐn)?shù)據(jù)利用效率位所需數(shù)據(jù)析前的準(zhǔn)備數(shù)據(jù)需求響應(yīng)能力復(fù)雜性和難度邏輯可解釋性安全性具有較高的需求響應(yīng)能力，可以保證平穩(wěn)高效的數(shù)據(jù)訪問(wèn)較低，建設(shè)規(guī)模與成本可控?cái)?shù)據(jù)響應(yīng)延遲較高，整個(gè)分析過(guò)程容易中斷很高，建設(shè)難度與規(guī)模呈線性增長(zhǎng)趨勢(shì)，隱性成本較高欠缺語(yǔ)義一致性和嚴(yán)格的元數(shù)據(jù)，數(shù)據(jù)關(guān)系較為松散，難以解釋比較新的技術(shù)，需要持續(xù)完善數(shù)據(jù)組織邏輯性強(qiáng)，數(shù)據(jù)關(guān)系可解釋性較高多年發(fā)展歷程，保護(hù)數(shù)據(jù)的能力比較成熟企業(yè)的業(yè)務(wù)行家和專業(yè)人員，技術(shù)門(mén)檻低適用對(duì)象面向熟練用戶、科學(xué)領(lǐng)域的數(shù)據(jù)科學(xué)家，技術(shù)門(mén)檻高潛在風(fēng)險(xiǎn)數(shù)據(jù)湖是大數(shù)據(jù)概念的延伸數(shù)據(jù)湖的能力視圖數(shù)據(jù)湖并非是個(gè)全新概念1.

“數(shù)據(jù)湖”是關(guān)于企業(yè)應(yīng)用大數(shù)據(jù)的概念，是面向企業(yè)的最佳的大數(shù)據(jù)的解決方案p

多樣化的數(shù)據(jù)存儲(chǔ)數(shù)據(jù)能力要求p

高效的數(shù)據(jù)處理p

存儲(chǔ)全部數(shù)據(jù)p

處理任何數(shù)據(jù)p

訪問(wèn)任何數(shù)據(jù)2.

“數(shù)據(jù)湖”不僅是數(shù)據(jù)存儲(chǔ)和處理的單元，也是釋放數(shù)據(jù)價(jià)值的過(guò)程3.

企業(yè)大數(shù)據(jù)應(yīng)用成功的關(guān)鍵并不是存儲(chǔ)所有的數(shù)據(jù)，而是要?jiǎng)?chuàng)建一個(gè)更有意義的“數(shù)據(jù)湖”，幫助企業(yè)加速提取高價(jià)值數(shù)據(jù)的速度4.

數(shù)據(jù)湖是大數(shù)據(jù)發(fā)展方向上的高級(jí)階段，是一種建設(shè)理念，而不是一種特定的實(shí)施方法IT能n

支持所有用戶力

n

更容易適應(yīng)變化要求5.

“數(shù)據(jù)湖”是個(gè)架構(gòu)概念，是數(shù)據(jù)倉(cāng)庫(kù)的一種演進(jìn)，是一種n

更快的洞悉能力大數(shù)據(jù)概念下的延伸數(shù)據(jù)湖概念上的甄別數(shù)據(jù)湖是……數(shù)據(jù)湖不是……1、用戶可以訪問(wèn)大量原始數(shù)據(jù)的環(huán)境2、一個(gè)開(kāi)發(fā)和驗(yàn)證分析模型的環(huán)境，然后將其轉(zhuǎn)化為生產(chǎn)1、用于安置企業(yè)所有數(shù)據(jù)的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市2、替代運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ)（ODS）3、高性能的生產(chǎn)環(huán)境3、用于探索數(shù)據(jù)以獲得洞察力的分析沙箱4、企業(yè)級(jí)目錄，可幫助用戶查找數(shù)據(jù)并將業(yè)務(wù)術(shù)語(yǔ)與技術(shù)元數(shù)據(jù)鏈接起來(lái)4、生產(chǎn)型報(bào)表的應(yīng)用程序5、一個(gè)專門(mén)建立的系統(tǒng)來(lái)解決一個(gè)特定的問(wèn)題（盡管專門(mén)建立的數(shù)據(jù)集市可以從數(shù)據(jù)湖中提供）5、一個(gè)支持重用數(shù)據(jù)轉(zhuǎn)換和查詢的環(huán)境數(shù)據(jù)湖體系的架構(gòu)規(guī)劃數(shù)據(jù)湖的邏輯架構(gòu)數(shù)據(jù)湖的數(shù)據(jù)架構(gòu)p

持久層（PersitentLayer）：存放所有從和外部獲取的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)p

分析沙箱（AnalyticsSandbox）：數(shù)據(jù)科學(xué)家和分析師被授予持久層的訪問(wèn)權(quán)限并使用進(jìn)行數(shù)據(jù)研究和實(shí)驗(yàn)p

探索數(shù)據(jù)源（Curated）：數(shù)據(jù)分析師會(huì)將有商業(yè)價(jià)值的數(shù)據(jù)進(jìn)行處理并創(chuàng)建新的數(shù)據(jù)源以提供給業(yè)務(wù)分析師p

可操作層（Operationallayer）：業(yè)務(wù)分析師繼續(xù)精煉已處理過(guò)的數(shù)據(jù)，和數(shù)據(jù)管理團(tuán)隊(duì)一起將這些數(shù)據(jù)轉(zhuǎn)換為更為容易操作和使用的數(shù)據(jù)，存放之以便得到更廣泛的使用Hadoop不一定是數(shù)據(jù)湖的組成部分，只是它是目前最理想的選擇！數(shù)據(jù)湖建設(shè)的四個(gè)階段p

端到端的業(yè)務(wù)支撐能力p

穩(wěn)定的成熟度服務(wù)架構(gòu)p

靈活完善的企業(yè)運(yùn)營(yíng)模式協(xié)作交互階段p

分析能力增強(qiáng)p

優(yōu)化探索環(huán)境0403p

豐富價(jià)值發(fā)現(xiàn)模型基礎(chǔ)架構(gòu)階段p

EDW與DataLake協(xié)作02p

對(duì)外生產(chǎn)價(jià)值輸送能力p

數(shù)據(jù)服務(wù)和運(yùn)營(yíng)管理能力成熟運(yùn)營(yíng)階段01價(jià)值挖掘階段p

整合數(shù)據(jù)湖基礎(chǔ)設(shè)施p

可擴(kuò)展的數(shù)據(jù)處理和攝入大多數(shù)企業(yè)處于前三個(gè)階段的建設(shè)和完善過(guò)程中……p

數(shù)據(jù)目錄管理趨于完善數(shù)據(jù)湖體系的建設(shè)要點(diǎn)與風(fēng)險(xiǎn)分析數(shù)據(jù)湖關(guān)鍵點(diǎn)建設(shè)難點(diǎn)與風(fēng)險(xiǎn)靈活自動(dòng)化的采集與存儲(chǔ)企業(yè)全局?jǐn)?shù)據(jù)的掌握與預(yù)測(cè)組織和編目數(shù)據(jù)管理統(tǒng)一的透明訪問(wèn)方式數(shù)據(jù)質(zhì)量和可靠性統(tǒng)一元數(shù)據(jù)規(guī)范和管控能力業(yè)務(wù)關(guān)聯(lián)場(chǎng)景的數(shù)據(jù)理解系統(tǒng)化的質(zhì)量管控體系無(wú)感知的分布式架構(gòu)（存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)）分布技術(shù)的規(guī)劃和擴(kuò)展能力參考：來(lái)自實(shí)踐中數(shù)據(jù)湖建設(shè)內(nèi)容業(yè)界主流公司的數(shù)據(jù)湖規(guī)劃

—

HortonworksHortonworks公司基于

Hadoop生態(tài)構(gòu)建的數(shù)據(jù)湖提出的現(xiàn)代化數(shù)據(jù)架構(gòu)（MordenDataArchitecture），從南向北包含四個(gè)層面：數(shù)據(jù)采集層（DataAcquisitionLayer）數(shù)據(jù)采集層負(fù)責(zé)從數(shù)據(jù)源抽取和移動(dòng)數(shù)據(jù)，并將數(shù)據(jù)存放到數(shù)據(jù)湖中。采集的數(shù)據(jù)源包括傳統(tǒng)的關(guān)系型或事務(wù)型系統(tǒng)、用戶獲取的數(shù)據(jù)、非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)、外部數(shù)據(jù)或流數(shù)據(jù)等。數(shù)據(jù)監(jiān)管層（DataCurationLayer）數(shù)據(jù)監(jiān)管層負(fù)責(zé)數(shù)據(jù)湖中的數(shù)據(jù)組織、定型并為其他層提供消費(fèi)，包含數(shù)據(jù)標(biāo)準(zhǔn)化流程制定，數(shù)據(jù)創(chuàng)建、脫敏、清洗、轉(zhuǎn)換、維護(hù)、管理和展現(xiàn)等工作。數(shù)據(jù)供應(yīng)層（DataProvisioningLayer）數(shù)據(jù)供應(yīng)層采用更適用于業(yè)務(wù)報(bào)表和分析的傳統(tǒng)數(shù)據(jù)儲(chǔ)存方式，使用OLAP、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市降低數(shù)據(jù)消費(fèi)的復(fù)雜度并提供快速的交互式查詢和分析。數(shù)據(jù)消費(fèi)層（DataConsumptionLayer）數(shù)據(jù)消費(fèi)層提供所有最終用戶的接口，對(duì)于不同用戶對(duì)數(shù)據(jù)的需求，大量和多元化的工具和技術(shù)會(huì)被用于該層。業(yè)界主流公司對(duì)于數(shù)據(jù)湖的規(guī)劃

—

IBMIBM公司提出的數(shù)據(jù)湖架構(gòu)，包括六大關(guān)鍵部件：一．?dāng)?shù)據(jù)湖資源庫(kù)按照數(shù)據(jù)特點(diǎn)進(jìn)行原始格式的分類存儲(chǔ)庫(kù)二．企業(yè)IT交互統(tǒng)一提供企業(yè)生產(chǎn)側(cè)系統(tǒng)與數(shù)據(jù)湖資源庫(kù)的靈活交互，快速配置能力三．原始數(shù)據(jù)交互為數(shù)據(jù)價(jià)值發(fā)現(xiàn)提供安全的資源分析訪問(wèn)接口與試驗(yàn)環(huán)境四．目錄接口唯一權(quán)威的數(shù)據(jù)湖元數(shù)據(jù)發(fā)布和訪問(wèn)模式五．基于可視化的交互統(tǒng)一可視化的業(yè)務(wù)應(yīng)用交互接口和沙箱環(huán)境六．信息集成與治理集成的數(shù)據(jù)湖運(yùn)營(yíng)管理工具與環(huán)境目錄12345背

景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念體

系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式共

享：大數(shù)據(jù)湖統(tǒng)一訪問(wèn)共享規(guī)劃運(yùn)

營(yíng)：大數(shù)據(jù)湖一體化運(yùn)營(yíng)管理建設(shè)大數(shù)據(jù)湖體系規(guī)劃生產(chǎn)型系統(tǒng)交互分析OLAP挖掘工具平臺(tái)工具應(yīng)用生態(tài)圈系統(tǒng)應(yīng)用構(gòu)建工具省分專區(qū)生態(tài)圈專區(qū)服務(wù)對(duì)象應(yīng)用專區(qū)外部系統(tǒng)互聯(lián)網(wǎng)合作伙伴分析型系統(tǒng)運(yùn)營(yíng)管控API數(shù)據(jù)沙箱訪問(wèn)接口（JDBC、ODBC）跨架構(gòu)數(shù)據(jù)聯(lián)邦訪問(wèn)共享統(tǒng)一數(shù)據(jù)服務(wù)代理（DataBroker）訪問(wèn)接入規(guī)范統(tǒng)一數(shù)據(jù)接入邏輯化視圖數(shù)據(jù)同源異構(gòu)訪問(wèn)安數(shù)據(jù)湖統(tǒng)一目錄<統(tǒng)一服務(wù)數(shù)據(jù)集>緩存加速數(shù)據(jù)共享標(biāo)準(zhǔn)全規(guī)范存儲(chǔ)計(jì)算加速計(jì)算側(cè)cache實(shí)時(shí)檢索和流處理引擎統(tǒng)一索引層交互式查詢引擎計(jì)算調(diào)度規(guī)范資源申請(qǐng)規(guī)范計(jì)算處理協(xié)同計(jì)算引擎離線批處理引擎TB級(jí)計(jì)算計(jì)算資源調(diào)度自動(dòng)調(diào)度

按需使用資源池化

彈性伸縮角色權(quán)限數(shù)據(jù)分類規(guī)范數(shù)據(jù)模型規(guī)范生產(chǎn)數(shù)據(jù)(1+N)

操作/臨時(shí)存儲(chǔ)原生數(shù)據(jù)(1+N)

就近/分域存儲(chǔ)MySql主數(shù)據(jù)(1)整合數(shù)據(jù)(1)

全網(wǎng)/分層支撐應(yīng)用數(shù)據(jù)(N)

分區(qū)建設(shè)規(guī)全網(wǎng)統(tǒng)一數(shù)據(jù)存儲(chǔ)范TXTOracleHDFSHbaseGreenplum…元字典規(guī)范PB級(jí)存儲(chǔ)存儲(chǔ)規(guī)范結(jié)構(gòu)化數(shù)據(jù)（數(shù)據(jù)庫(kù)/格式文件等）半結(jié)構(gòu)化數(shù)據(jù)（XML/TXT等）非結(jié)構(gòu)化數(shù)據(jù)（語(yǔ)音、視頻等）采集接入規(guī)范生產(chǎn)直采前置采集同步鏡像統(tǒng)一接入配置網(wǎng)絡(luò)爬蟲(chóng)IOT接入生產(chǎn)系統(tǒng)駐留數(shù)據(jù)接入運(yùn)營(yíng)管源數(shù)據(jù)提供規(guī)范生產(chǎn)模型規(guī)范可視化定義

即配即用透明化部署

實(shí)時(shí)接入調(diào)度理大吞吐管道規(guī)范源端系統(tǒng)BSSOSSMSS網(wǎng)絡(luò)/平臺(tái)生態(tài)圈外部系統(tǒng)互聯(lián)網(wǎng)大數(shù)據(jù)湖存儲(chǔ)能力規(guī)劃——統(tǒng)一標(biāo)準(zhǔn)/分區(qū)存儲(chǔ)制定全集團(tuán)統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，采取分域分類的數(shù)據(jù)入湖策略，構(gòu)建生產(chǎn)、原生、整合/應(yīng)用、專區(qū)等分區(qū)數(shù)據(jù)存儲(chǔ)及計(jì)算能力，實(shí)現(xiàn)數(shù)據(jù)原生入湖、按需使用的宗旨，為全國(guó)1+31省提供應(yīng)用數(shù)據(jù)服務(wù)能力，注智生產(chǎn)激發(fā)生產(chǎn)力。數(shù)據(jù)訪問(wèn)存儲(chǔ)分區(qū)原則：數(shù)據(jù)計(jì)算p

生產(chǎn)數(shù)據(jù)區(qū)：遵循電信集團(tuán)數(shù)據(jù)建模標(biāo)準(zhǔn)及主數(shù)據(jù)規(guī)范要求；規(guī)范層面屬于大數(shù)據(jù)湖范疇，物理資源層面可采用湖資源也可自建；p

原生數(shù)據(jù)區(qū)：分域分類存儲(chǔ)生產(chǎn)數(shù)據(jù)；將非標(biāo)準(zhǔn)數(shù)據(jù)做標(biāo)準(zhǔn)化轉(zhuǎn)化；離線批量?jī)?nèi)存計(jì)算及緩存機(jī)器學(xué)習(xí)交互式查詢協(xié)同計(jì)算非結(jié)構(gòu)化計(jì)算實(shí)時(shí)流式資源池化，彈性技術(shù)計(jì)算資源管理自動(dòng)調(diào)度，按需使用主數(shù)據(jù)區(qū)省份專區(qū)生態(tài)圈

互聯(lián)網(wǎng)專區(qū)智能連接智慧家庭物聯(lián)網(wǎng)新興ICT內(nèi)蒙貴州

河北遼寧

寧夏…金融人員組織資源運(yùn)營(yíng)管理整合數(shù)據(jù)區(qū)：采用大數(shù)據(jù)挖掘等技術(shù)進(jìn)行實(shí)體歸集補(bǔ)全；構(gòu)建實(shí)體關(guān)聯(lián)視圖；pBSS原

OSS原

MSS原網(wǎng)絡(luò)/平實(shí)體關(guān)聯(lián)視圖省份B/O側(cè)生產(chǎn)系統(tǒng)數(shù)據(jù)存儲(chǔ)集團(tuán)橫向系統(tǒng)生數(shù)據(jù)

生數(shù)據(jù)

生數(shù)據(jù)

臺(tái)數(shù)據(jù)客戶產(chǎn)品渠道營(yíng)銷資源服務(wù)自然人集團(tuán)橫

生態(tài)圈

生態(tài)圈產(chǎn)品客戶……向數(shù)據(jù)

-ICT-金融主數(shù)據(jù)區(qū)：存儲(chǔ)企業(yè)級(jí)全網(wǎng)主數(shù)據(jù)，大數(shù)據(jù)主數(shù)據(jù)唯一提供者；應(yīng)用專區(qū)：本著數(shù)據(jù)不出湖，充分挖掘數(shù)據(jù)價(jià)值原則，為使用者提供基于自有、原生、整合數(shù)據(jù)的處理空間，面向應(yīng)用開(kāi)展數(shù)據(jù)處理工作；網(wǎng)絡(luò)/平臺(tái)生產(chǎn)系統(tǒng)（前置預(yù)處理）p生態(tài)圈生產(chǎn)系統(tǒng)實(shí)體對(duì)齊編碼統(tǒng)一轉(zhuǎn)換生產(chǎn)數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)整合數(shù)據(jù)區(qū)p存儲(chǔ)資源管理數(shù)據(jù)接入大數(shù)據(jù)湖原生數(shù)據(jù)區(qū)規(guī)劃——原生入湖/分類存儲(chǔ)/按需使用以原生入湖分類存儲(chǔ)按需使用為宗旨，分域分類存儲(chǔ)按周期存儲(chǔ)原生數(shù)據(jù)，為云公司、集團(tuán)ODS、省份大數(shù)據(jù)平臺(tái)提供原生數(shù)據(jù)共享服務(wù)，為湖內(nèi)整合數(shù)據(jù)區(qū)、應(yīng)用數(shù)據(jù)區(qū)提供原生數(shù)據(jù)服務(wù)。共享服務(wù)數(shù)據(jù)數(shù)據(jù)專區(qū)生產(chǎn)系統(tǒng)移動(dòng)/固網(wǎng)DPIHANA數(shù)OIDDMR/CDRCM/CP

計(jì)費(fèi)詳單ODMS翼支付集約積分…據(jù)省份專區(qū)BSS系統(tǒng)數(shù)據(jù)共享OSS系統(tǒng)MSS系統(tǒng)EDA系統(tǒng)生態(tài)圈專區(qū)…原生數(shù)據(jù)區(qū)CRM計(jì)費(fèi)客戶服務(wù)…采購(gòu)輔助ERP財(cái)務(wù)輔助工程輔助久其省+集團(tuán)電渠服務(wù)量BSSMSS數(shù)據(jù)OSS數(shù)據(jù)EDA數(shù)據(jù)綜合資源裝維EDA直采原生數(shù)據(jù)專區(qū)共享數(shù)據(jù)

PPMVSOP人力原生入湖主數(shù)據(jù)區(qū)日志留存DPI移動(dòng)感知實(shí)體關(guān)聯(lián)視圖共享悅ME行業(yè)短

ODMS集團(tuán)固網(wǎng)DPIOIDD集團(tuán)橫向系統(tǒng)電渠商機(jī)

微信易信量號(hào)百4G數(shù)據(jù)終端…DPI網(wǎng)絡(luò)/平橫向數(shù)據(jù)政企KPIMR/CDR臺(tái)數(shù)據(jù)4G分組域話單集約積分渠道PM/CM

智能網(wǎng)管信化數(shù)據(jù)整合區(qū)生態(tài)圈系統(tǒng)原生數(shù)據(jù)整合共享互聯(lián)網(wǎng)金融智能連接智慧家庭物聯(lián)網(wǎng)新興ICT應(yīng)用翼支付IWIFINFC產(chǎn)品云堤海洋衛(wèi)星寬帶天翼云盤(pán)

189郵箱翼機(jī)通+

旺鋪助手

號(hào)簿助手實(shí)體關(guān)聯(lián)視圖…智能

視頻

聚組網(wǎng)

通話

精彩車管天翼網(wǎng)關(guān)樂(lè)駕生態(tài)圈數(shù)據(jù)流量控專家企業(yè)云翼校通

天翼對(duì)講

外勤助手

手機(jī)看店安全辦公

加密通道

21CN

語(yǔ)音云甜橙欺詐盾愛(ài)音樂(lè)統(tǒng)一賬號(hào)

4G-QoS新視通4G預(yù)處理入湖枝繁葉茂類網(wǎng)絡(luò)/平臺(tái)系統(tǒng)地產(chǎn)大數(shù)

旅游大數(shù)據(jù)家庭云專屬云影像云天翼視訊天翼閱讀愛(ài)游戲愛(ài)動(dòng)漫天翼空間易信據(jù)實(shí)體對(duì)齊編碼標(biāo)準(zhǔn)化大數(shù)據(jù)湖整合數(shù)據(jù)區(qū)規(guī)劃——構(gòu)建企業(yè)級(jí)核心實(shí)體關(guān)聯(lián)視圖整合數(shù)據(jù)區(qū)完成數(shù)據(jù)清洗、編碼轉(zhuǎn)換、實(shí)體對(duì)齊及構(gòu)建企業(yè)級(jí)核心實(shí)體關(guān)聯(lián)視圖，為應(yīng)用專區(qū)提供整合數(shù)據(jù)服務(wù)。整合數(shù)據(jù)區(qū)保持?jǐn)?shù)據(jù)原子性粒度，不對(duì)數(shù)據(jù)做聚合處理，不影響業(yè)務(wù)專區(qū)業(yè)務(wù)指標(biāo)加工處理。實(shí)體關(guān)聯(lián)視圖p

保存原子性：整合數(shù)據(jù)區(qū)數(shù)據(jù)不做聚合操作，保持?jǐn)?shù)據(jù)原子性，不影響專區(qū)應(yīng)用指標(biāo)加工處理；p

實(shí)體補(bǔ)齊性：對(duì)核心實(shí)體根據(jù)不同原生數(shù)據(jù)進(jìn)行屬性補(bǔ)齊；llCP/SP訂購(gòu)位置信息p

實(shí)體關(guān)聯(lián)性：面向?qū)嶓w全業(yè)務(wù)流程數(shù)據(jù)，整合各域數(shù)據(jù)實(shí)現(xiàn)實(shí)體跨域關(guān)聯(lián)視圖；p

共享一致性：按照湖應(yīng)用的使用需求進(jìn)行共性提煉，實(shí)現(xiàn)統(tǒng)一的公共寬表建設(shè)；核心實(shí)體自然人…實(shí)體對(duì)齊數(shù)據(jù)清洗自然人聚合管理政企客戶沖突管理外部數(shù)據(jù)管理規(guī)則管理組織實(shí)體沉淀合作伙伴員工地域大數(shù)據(jù)湖應(yīng)用數(shù)據(jù)專區(qū)規(guī)劃——面向應(yīng)用的自建自維數(shù)據(jù)專區(qū)大數(shù)據(jù)湖為業(yè)務(wù)應(yīng)用場(chǎng)景提供具有數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)服務(wù)及數(shù)據(jù)應(yīng)用訪問(wèn)能力的應(yīng)用專區(qū)，用戶可自行獲取數(shù)據(jù)，面向特定應(yīng)用場(chǎng)景完成數(shù)據(jù)加工處理；大數(shù)據(jù)湖提供專區(qū)申請(qǐng)及監(jiān)控管理，以保證專區(qū)健康、有價(jià)運(yùn)營(yíng)。生態(tài)圈專區(qū)應(yīng)用其它專區(qū)應(yīng)用省份專區(qū)應(yīng)用p

獨(dú)立性：保證資源獨(dú)立性、數(shù)據(jù)獨(dú)立性、應(yīng)用獨(dú)立性；p

可用性：保證存儲(chǔ)、計(jì)算、數(shù)據(jù)資源高可用性及穩(wěn)定性；確保專區(qū)資源可在線、平滑擴(kuò)展；應(yīng)用數(shù)據(jù)專區(qū)運(yùn)營(yíng)監(jiān)控應(yīng)用成果評(píng)估資源利用率數(shù)據(jù)處理規(guī)范性使用頻度安全性監(jiān)控專區(qū)回收整合數(shù)據(jù)區(qū)原生數(shù)據(jù)區(qū)主數(shù)據(jù)區(qū)專區(qū)管理專區(qū)劃分專區(qū)申請(qǐng)自有數(shù)據(jù)專區(qū)審批專區(qū)變更p

易用性：提供豐富的可視化開(kāi)發(fā)及專區(qū)運(yùn)營(yíng)工具；p

可管理性：大數(shù)據(jù)湖對(duì)專區(qū)具備監(jiān)控、審計(jì)能力；p

數(shù)據(jù)服務(wù)性：專區(qū)數(shù)據(jù)可以數(shù)據(jù)形式服務(wù)，也可開(kāi)發(fā)應(yīng)用直接鏈接調(diào)用；省份專區(qū)-內(nèi)蒙應(yīng)用數(shù)據(jù)生態(tài)圈專區(qū)-…省份專區(qū)-…整合區(qū)數(shù)據(jù)原生數(shù)據(jù)實(shí)時(shí)采集

批量采集

消息采集數(shù)據(jù)接入源端生產(chǎn)系統(tǒng)/數(shù)據(jù)倉(cāng)庫(kù)共享訪問(wèn)大數(shù)據(jù)湖主數(shù)據(jù)區(qū)規(guī)劃

——

企業(yè)級(jí)核心/統(tǒng)一運(yùn)營(yíng)保障主數(shù)據(jù)區(qū)負(fù)責(zé)存儲(chǔ)全域主數(shù)據(jù)，并確保與主數(shù)據(jù)生產(chǎn)者保持同步，為大數(shù)據(jù)湖各區(qū)提供唯一主數(shù)據(jù)源，以保證湖中企業(yè)級(jí)核心實(shí)體數(shù)據(jù)的一致性和完整性，提升大數(shù)據(jù)湖運(yùn)營(yíng)效率及效果。數(shù)據(jù)專區(qū)p

統(tǒng)一主數(shù)據(jù)標(biāo)準(zhǔn)：面向全國(guó)各域各生產(chǎn)系統(tǒng)提供主數(shù)據(jù)標(biāo)準(zhǔn)；省份

內(nèi)專區(qū)

蒙貴州河北遼寧寧夏生態(tài)圈專區(qū)智能連接智慧家庭物聯(lián)網(wǎng)新興ICT金融…主數(shù)據(jù)整合數(shù)據(jù)p

統(tǒng)一主數(shù)據(jù)存儲(chǔ)：面向大數(shù)據(jù)湖提供統(tǒng)一主數(shù)據(jù)存儲(chǔ)能力；主數(shù)據(jù)區(qū)原生數(shù)據(jù)服務(wù)專區(qū)主數(shù)據(jù)客戶產(chǎn)品渠道訂單組織…主數(shù)據(jù)整合數(shù)據(jù)區(qū)主數(shù)據(jù)管理p

統(tǒng)一主數(shù)據(jù)整合：清洗整合各域主數(shù)據(jù)，形成統(tǒng)一、標(biāo)準(zhǔn)、唯一主數(shù)據(jù)；p

統(tǒng)一主數(shù)據(jù)服務(wù)：為大數(shù)據(jù)湖中各區(qū)提供主數(shù)據(jù)服務(wù)；主數(shù)據(jù)整合主數(shù)據(jù)目錄主數(shù)據(jù)共享主數(shù)據(jù)評(píng)估原生數(shù)據(jù)主數(shù)據(jù)入湖原生數(shù)據(jù)區(qū)生產(chǎn)數(shù)據(jù)入湖數(shù)據(jù)接入集團(tuán)橫向生產(chǎn)系統(tǒng)省份BMO生產(chǎn)系統(tǒng)網(wǎng)絡(luò)/平臺(tái)系統(tǒng)生態(tài)圈生產(chǎn)系統(tǒng)其他系統(tǒng)目錄12345背

景：大數(shù)據(jù)湖的發(fā)展背景與建設(shè)理念體

系：大數(shù)據(jù)湖體系規(guī)劃與建設(shè)思路生態(tài)圈：探索新興業(yè)務(wù)入湖建設(shè)模式共

享：大數(shù)據(jù)湖統(tǒng)一訪問(wèn)共享規(guī)劃運(yùn)

營(yíng)：大數(shù)據(jù)湖一體化運(yùn)營(yíng)管理建設(shè)基于大數(shù)據(jù)湖的生態(tài)圈建設(shè)模式生態(tài)圈應(yīng)用生態(tài)運(yùn)營(yíng)協(xié)同API生態(tài)資源互換生態(tài)精準(zhǔn)營(yíng)銷生態(tài)創(chuàng)新發(fā)現(xiàn)沙箱JDBCODBC智能連接互聯(lián)網(wǎng)金融智慧家庭新興ICTIPTV用戶流量軌跡客戶感知數(shù)據(jù)翼支付合作商戶

客戶金融特征支付風(fēng)險(xiǎn)識(shí)別物聯(lián)網(wǎng)

終端設(shè)備列表客戶故障記錄訪問(wèn)共享生態(tài)圈統(tǒng)一共享目錄生態(tài)圈客戶數(shù)據(jù)

/

特征畫(huà)像數(shù)據(jù)

/

客戶感知數(shù)據(jù)

/…生態(tài)圈原生數(shù)據(jù)/主數(shù)據(jù)/整合數(shù)據(jù)/專區(qū)數(shù)據(jù)離線批處理引擎實(shí)時(shí)流處理引擎機(jī)器學(xué)習(xí)引擎協(xié)同計(jì)算引擎DataBroker內(nèi)存計(jì)算引擎大數(shù)據(jù)湖Spark計(jì)算處理數(shù)據(jù)存儲(chǔ)HiveMPPStromR圖數(shù)據(jù)庫(kù)Redisstreaming計(jì)算資源按需動(dòng)態(tài)調(diào)配計(jì)算需求分類

/

資源隊(duì)列管控

/

租戶任務(wù)管理計(jì)算規(guī)模

/

優(yōu)先級(jí)別

/

時(shí)間窗規(guī)劃智能連接智慧家庭統(tǒng)一賬號(hào)客戶特征行為軌跡新興ICT物聯(lián)網(wǎng)地產(chǎn)大金融欺詐分析專區(qū)車管專家營(yíng)銷云盤(pán)客戶洞察家庭圈畫(huà)像生產(chǎn)副本

生產(chǎn)正本（已建）

（新建）原生數(shù)據(jù)整合數(shù)據(jù)應(yīng)用數(shù)據(jù)數(shù)據(jù)專區(qū)互聯(lián)網(wǎng)金融共性基礎(chǔ)數(shù)據(jù)專業(yè)應(yīng)用數(shù)據(jù)天翼高清天翼網(wǎng)關(guān)天翼云盤(pán)189郵箱家庭云地產(chǎn)大數(shù)據(jù)生態(tài)圈系統(tǒng)iWIFI海洋寬帶智能組網(wǎng)翼支付甜橙欺詐盾物聯(lián)網(wǎng)卡車管專家已建新建生態(tài)圈入湖指導(dǎo)原則p

核心生態(tài)圈數(shù)據(jù)量龐大、繁雜，同時(shí)入庫(kù)對(duì)計(jì)算資源、并行處理能力、運(yùn)營(yíng)效率提出了極大的要求，基于此，應(yīng)構(gòu)建科學(xué)、完整的入湖流程及標(biāo)準(zhǔn)，保證生態(tài)圈數(shù)據(jù)能夠順利、高效的入湖并發(fā)揮效果價(jià)值驅(qū)動(dòng)入湖邏輯目標(biāo)驅(qū)動(dòng)入湖原則業(yè)務(wù)驅(qū)動(dòng)數(shù)據(jù)分類生態(tài)核心資料生態(tài)經(jīng)營(yíng)數(shù)據(jù)生態(tài)營(yíng)銷數(shù)據(jù)權(quán)重系維度說(shuō)明優(yōu)先級(jí)數(shù)p

貼近實(shí)際：充分融合業(yè)務(wù)需求，遵循業(yè)務(wù)優(yōu)先原則準(zhǔn)確性

數(shù)據(jù)準(zhǔn)確無(wú)誤

0.282完整性

數(shù)據(jù)完整

0.213高中低中高高1

了解生態(tài)2掌握生態(tài)3開(kāi)展生態(tài)業(yè)p

計(jì)算效率：充分保證數(shù)據(jù)質(zhì)量，讓計(jì)算效率顯著提升p

邊際效益：合理控制數(shù)據(jù)入湖速度、在成本控制的前提下，實(shí)現(xiàn)效益最大化業(yè)務(wù)關(guān)鍵概念整體經(jīng)營(yíng)狀況務(wù)數(shù)字化營(yíng)銷一致性

數(shù)據(jù)記錄規(guī)范

0.087及時(shí)性

數(shù)據(jù)獲取及時(shí)

0.234生態(tài)管理數(shù)據(jù)生態(tài)協(xié)同數(shù)據(jù)價(jià)值性復(fù)用性數(shù)據(jù)價(jià)值關(guān)聯(lián)性0.2350.3474

實(shí)現(xiàn)生態(tài)管5

開(kāi)拓生態(tài)業(yè)p

生態(tài)創(chuàng)新：數(shù)據(jù)、業(yè)務(wù)、需求間的融會(huì)貫通，實(shí)現(xiàn)生態(tài)圈的關(guān)聯(lián)及衍生場(chǎng)景理運(yùn)營(yíng)一體化務(wù)智慧創(chuàng)新生態(tài)圈入湖建設(shè)思路與步驟解決生產(chǎn)經(jīng)營(yíng)看數(shù)：以生態(tài)圈應(yīng)用和價(jià)值提升需求為導(dǎo)向，優(yōu)先將客戶、經(jīng)營(yíng)、階段一階段二營(yíng)銷、管理、生產(chǎn)方面的核心主數(shù)據(jù)入湖，滿足當(dāng)前業(yè)務(wù)發(fā)展和管理需求主數(shù)據(jù)經(jīng)營(yíng)數(shù)據(jù)?

收入數(shù)據(jù)?

發(fā)展數(shù)據(jù)?

繳費(fèi)數(shù)據(jù)?

…..營(yíng)銷數(shù)據(jù)?

業(yè)務(wù)訂購(gòu)數(shù)據(jù)

?

財(cái)務(wù)數(shù)據(jù)?

紅包數(shù)據(jù)?

金融消費(fèi)數(shù)據(jù)

?

資源/庫(kù)存數(shù)據(jù)管理數(shù)據(jù)業(yè)態(tài)生產(chǎn)數(shù)據(jù)?

原始數(shù)據(jù)?

生態(tài)協(xié)同數(shù)據(jù)?

業(yè)務(wù)流程數(shù)據(jù)?

…..?

客戶數(shù)據(jù)?

產(chǎn)品數(shù)據(jù)?

賬戶數(shù)據(jù)?

….?

成本/補(bǔ)貼數(shù)據(jù)?

…..?

……開(kāi)展大數(shù)據(jù)價(jià)值挖掘：將各模塊未導(dǎo)入的全量數(shù)據(jù)入湖，同時(shí)豐富生態(tài)邊際和互聯(lián)網(wǎng)數(shù)據(jù)，拓展應(yīng)用場(chǎng)景，實(shí)現(xiàn)大數(shù)據(jù)精準(zhǔn)營(yíng)銷和管理主數(shù)據(jù)?

渠道數(shù)據(jù)?

供應(yīng)商數(shù)據(jù)

?

交易類數(shù)據(jù)?

商客數(shù)據(jù)經(jīng)營(yíng)數(shù)據(jù)?

活動(dòng)數(shù)據(jù)營(yíng)銷數(shù)據(jù)?

業(yè)務(wù)感知數(shù)據(jù)

?

人力資源數(shù)據(jù)?

卡券數(shù)據(jù)?

保險(xiǎn)數(shù)據(jù)?

….管理數(shù)據(jù)業(yè)態(tài)生產(chǎn)數(shù)據(jù)?

互聯(lián)網(wǎng)數(shù)據(jù)?

用戶行為數(shù)據(jù)?

活動(dòng)數(shù)據(jù)?

….?

運(yùn)維數(shù)據(jù)?

網(wǎng)絡(luò)數(shù)據(jù)?

….?

….?

….生數(shù)據(jù)深度拓展：不斷豐富和拓展數(shù)據(jù)湖的數(shù)據(jù)，包含數(shù)據(jù)的橫向范圍和縱向深度p

優(yōu)p

業(yè)補(bǔ)充采集數(shù)據(jù)?

….缺失的原生態(tài)數(shù)據(jù)?

….其他數(shù)據(jù)?

….p

先核心后邊p

先難后易?….?….?….p

先生態(tài)高于業(yè)務(wù)次高于運(yùn)營(yíng)管生態(tài)圈入湖建設(shè)要求與規(guī)范p

生態(tài)圈入湖要求ü

立足中國(guó)電信企業(yè)級(jí)視角ü

生產(chǎn)側(cè)與數(shù)據(jù)側(cè)建設(shè)協(xié)同?

生產(chǎn)：原生接入保障?

數(shù)據(jù)：共享服務(wù)保障püüüü運(yùn)營(yíng)原則前瞻性生態(tài)數(shù)據(jù)運(yùn)營(yíng)p

原生數(shù)據(jù)入湖方案全面性初始化全量上傳歷史全量同步后續(xù)變更采集周期增量采集全量合并整合全量合并整合ü

資料類：科學(xué)性ü

交易類：合理性ü

主數(shù)據(jù)/編碼類：實(shí)時(shí)全量同步p

運(yùn)營(yíng)規(guī)范要求（聯(lián)動(dòng)同步）生產(chǎn)源端規(guī)范入湖建設(shè)演進(jìn)ü

業(yè)務(wù)調(diào)整通知：新業(yè)務(wù)定義，生產(chǎn)約束變更、業(yè)務(wù)流程變更等ü

數(shù)據(jù)運(yùn)營(yíng)同步：模型結(jié)構(gòu)變更、歷史數(shù)據(jù)調(diào)整、口徑新增/調(diào)整等p

生態(tài)入湖步驟p

原生數(shù)據(jù)規(guī)范保障ü

依據(jù)數(shù)據(jù)價(jià)值推進(jìn)生態(tài)數(shù)據(jù)入湖ü

業(yè)務(wù)規(guī)范：業(yè)務(wù)指導(dǎo)、流程、制度等文檔ü

主數(shù)據(jù)：范圍、內(nèi)容及管理規(guī)范ü

生產(chǎn)模型建設(shè)規(guī)范：新增/變更模型遵循大數(shù)據(jù)湖整體規(guī)范要求ü

生態(tài)圈需求驅(qū)動(dòng)原生數(shù)據(jù)的入湖ü

數(shù)據(jù)字典：數(shù)據(jù)模型、編碼約束、元數(shù)據(jù)等ü

數(shù)據(jù)流圖(DFD)：生產(chǎn)數(shù)據(jù)流、加工數(shù)據(jù)流等ü

指標(biāo)口徑：術(shù)語(yǔ)定義、報(bào)表指標(biāo)說(shuō)明等p

原生入湖演進(jìn)ü

原則上遵循生態(tài)數(shù)據(jù)原生入湖ü

當(dāng)原生入湖存在海量采集（性價(jià)比低），理解/支撐困難等情況，允許按照如下原則進(jìn)行非原生數(shù)據(jù)入湖：①核心和經(jīng)營(yíng)入湖：非原生采集，匯入整合層②營(yíng)銷和運(yùn)營(yíng)入湖：根據(jù)需要采集原生并逐步替換③生態(tài)協(xié)同入湖：完全實(shí)現(xiàn)原生數(shù)據(jù)入湖p

生態(tài)能力入湖規(guī)劃ü

數(shù)據(jù)規(guī)模：生態(tài)全量、核心資料、經(jīng)營(yíng)數(shù)據(jù)等大小ü

更新頻率：交易頻率、業(yè)務(wù)變更頻率等ü

存儲(chǔ)結(jié)構(gòu)：生產(chǎn)數(shù)據(jù)存儲(chǔ)模式、存儲(chǔ)周期、分層結(jié)構(gòu)等ü

接入要求：I/O帶寬、接入約束、生產(chǎn)備份情況等生態(tài)圈入湖ü

生態(tài)業(yè)務(wù)變動(dòng)大且原生結(jié)果滯后數(shù)據(jù)，允許前瞻性獲取生產(chǎn)變化過(guò)程表，避免數(shù)據(jù)模型的大幅調(diào)整規(guī)范

價(jià)值

靈活生態(tài)圈數(shù)據(jù)整合處理原則及關(guān)鍵點(diǎn)大數(shù)據(jù)湖整合區(qū)建設(shè)原則①

基于共性化數(shù)據(jù)處理，支撐廣泛、穩(wěn)定的共享應(yīng)用；②

支撐湖標(biāo)準(zhǔn)化的數(shù)據(jù)規(guī)范轉(zhuǎn)換；③

跨域數(shù)據(jù)的關(guān)聯(lián)性和橫向?qū)R；生態(tài)圈數(shù)據(jù)整合關(guān)鍵點(diǎn)統(tǒng)一ID生態(tài)圈自然人實(shí)體歸集與對(duì)齊客戶資料歸集應(yīng)具備基于資料信息的規(guī)則匹配識(shí)別和基于客戶海量的通信相關(guān)信息的挖掘識(shí)別方法：1）通過(guò)規(guī)則匹配識(shí)別技術(shù)，高效地完成準(zhǔn)確性較高的資料信息自然人識(shí)別；2）基于大數(shù)據(jù)技術(shù)構(gòu)建自然人識(shí)別模式，作為規(guī)則識(shí)別的有效補(bǔ)充，提高自然人識(shí)別成功率，減少人工核查確認(rèn)工作量。實(shí)體歸集數(shù)據(jù)流程實(shí)體歸集過(guò)程基于實(shí)體完整性原生數(shù)據(jù)自然人識(shí)別自然人沉淀專區(qū)應(yīng)用保證上層覆蓋性