大數(shù)據(jù)能力平臺建設(shè)技術(shù)方案

大數(shù)據(jù)能力平臺建設(shè)項目《技術(shù)方案》大數(shù)據(jù)能力平臺技術(shù)方案 9 9 9 9 11 17 17 18 完善大數(shù)據(jù)能力平臺建設(shè) 建設(shè)J市Z務(wù)數(shù)據(jù)資源中心 21建設(shè)J市大數(shù)據(jù)賦能應(yīng)用 21 26 33 34 36 37 38 39 40 40 42 42 47 47 48 49 50 53 55 60 61 62 65 65 68 71 76 76 77 79 80 80 83 84 85 86 86 91 92平臺建設(shè)架構(gòu)設(shè)計 93 密碼方案總體架構(gòu) 95 107 120 122 128 128 131 133 134 135 135 136 137 137 139 141 142 142 143 144 164 167 167 168 168 168 170 172 183 184 185 186 190應(yīng)急主題庫概述 大數(shù)據(jù)能力平臺技術(shù)方案1建設(shè)背景、需求與現(xiàn)狀分析2021年伊始要加快推進國家規(guī)劃已明確的建J市大數(shù)據(jù)能力平臺是最終形成智慧J市的城市全方面的賦能，全面推動政府?dāng)?shù)字化都轉(zhuǎn)型，并為大數(shù)據(jù)能力平臺技術(shù)方案基礎(chǔ)數(shù)據(jù)庫；圍繞Z務(wù)服務(wù)、企業(yè)經(jīng)營、市場監(jiān)管、社會保障等主大數(shù)據(jù)能力平臺技術(shù)方案用提供可靠有效的基礎(chǔ)支撐。建設(shè)包括Z務(wù)服務(wù)、決策保障、跨域協(xié)大數(shù)據(jù)能力平臺技術(shù)方案據(jù)匯聚需求。支持基于業(yè)務(wù)場景的流程配置，跨多種異構(gòu)存儲/計算平臺快速部算法服務(wù)基于大數(shù)據(jù)開發(fā)的數(shù)據(jù)智能應(yīng)用搭建提供一站式的算法/數(shù)據(jù)研發(fā)大數(shù)據(jù)能力平臺技術(shù)方案感知、研判及傳遞，形成捕獲—響應(yīng)—處理的聯(lián)動大數(shù)據(jù)能力平臺技術(shù)方案通過Z務(wù)大平臺數(shù)據(jù)開放應(yīng)用，形成“公共數(shù)據(jù)服務(wù)社會應(yīng)用、社會數(shù)據(jù)反大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案提供了接口服務(wù)，為J市J市區(qū)義務(wù)教育階段網(wǎng)上報名應(yīng)用場景，數(shù)據(jù)處理及應(yīng)用能力還較為薄弱，大數(shù)據(jù)能力平臺技術(shù)方案2項目整體建設(shè)規(guī)劃方案按照《省人民政府關(guān)于推進數(shù)字政府建設(shè)的指導(dǎo)意見》(鄂政發(fā)(2019)4建設(shè)體系，用以全面指導(dǎo)整個J市大數(shù)據(jù)的建設(shè)，包括大數(shù)據(jù)能力平臺的建設(shè)、整合現(xiàn)有公共數(shù)據(jù)資源，布局行業(yè)數(shù)據(jù)引入，大數(shù)據(jù)能力平臺技術(shù)方案經(jīng)濟發(fā)展、社會治理與公共服務(wù)的數(shù)據(jù)資源庫與數(shù)通過J市大數(shù)據(jù)能力平臺項目建設(shè)，以數(shù)字化、數(shù)據(jù)化、智能化、智慧化為系統(tǒng)性變革和數(shù)字化轉(zhuǎn)型,建立服務(wù)高效、治理精難，決策科學(xué)的新型政府運行大數(shù)據(jù)能力平臺技術(shù)方案務(wù)高效、治理精準(zhǔn)，決策科學(xué)的新型政府運行模構(gòu)建統(tǒng)一數(shù)據(jù)開發(fā)與調(diào)度，增強數(shù)據(jù)管理能力建立統(tǒng)一數(shù)據(jù)運維和自有的以數(shù)據(jù)支撐全市各項Z務(wù)、社會管理以及經(jīng)濟發(fā)展等業(yè)務(wù)，以現(xiàn)業(yè)務(wù)數(shù)據(jù)閉環(huán)，為全市Z務(wù)服務(wù)、經(jīng)濟建設(shè)、城市管理，社會治理因此，本次J市大數(shù)據(jù)能力平臺建設(shè)項目的建設(shè)內(nèi)容主要是要搭建統(tǒng)一的大及融合業(yè)務(wù)應(yīng)用數(shù)據(jù)庫，為全市的Z務(wù)處理、經(jīng)濟發(fā)展、社會在現(xiàn)有平臺基礎(chǔ)上，按照項目建設(shè)目標(biāo)，完善整個J市大數(shù)據(jù)平臺能力與功力，統(tǒng)籌匹配各部門聚焦的業(yè)務(wù)需求，更高效的從大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺提供底層安全保障，并達到建設(shè)統(tǒng)一運維管理平臺，提供統(tǒng)一監(jiān)控運維功能，保證整個J市大數(shù)據(jù)能力建設(shè)可視化指揮大屏，基于全市公共數(shù)據(jù)歸集基礎(chǔ)，以J市高質(zhì)量發(fā)展實際制定市內(nèi)公共數(shù)據(jù)匯聚的標(biāo)準(zhǔn)規(guī)范和管理制度，歸集全市各匯聚全市居民、Z務(wù)部門相關(guān)數(shù)據(jù)，建設(shè)城市碼、應(yīng)急主題庫務(wù)數(shù)據(jù)共享、應(yīng)用需求，按主題歸集形成專題庫和主題庫，并面向Z會進行數(shù)據(jù)開放。并持續(xù)開展、深入J市大數(shù)據(jù)的應(yīng)用探索，圍繞跨部門、跨領(lǐng)大數(shù)據(jù)能力平臺技術(shù)方案借助大數(shù)據(jù)平臺，逐步實現(xiàn)立體化、多層次、全方位的等服務(wù)功能，加快推進智能化電子Z務(wù)服務(wù)初步應(yīng)用，基于AI算法，結(jié)合相關(guān)數(shù)據(jù)，針對路政提供相應(yīng)的符合J市的智能路政管理大數(shù)據(jù)能力平臺技術(shù)方案個人健康相關(guān)數(shù)據(jù)，建設(shè)全市醫(yī)療數(shù)據(jù)共享、公眾健康指數(shù)等關(guān)鍵指標(biāo)數(shù)據(jù)服務(wù)，助力降低醫(yī)療成本，預(yù)測流行病的爆發(fā)，改善全市人民健康狀況，提高整物資、避難場所等，便于市領(lǐng)導(dǎo)對現(xiàn)場進行應(yīng)急指揮，全面提高J市的應(yīng)急處置針對J市大數(shù)據(jù)能力平臺的建設(shè)，我們將基于主流的大數(shù)據(jù)技術(shù)框架對當(dāng)前大數(shù)據(jù)能力平臺技術(shù)方案用服務(wù)，并利用統(tǒng)一門戶將相關(guān)數(shù)據(jù)應(yīng)用對外開放，向J市各級單位等用戶提供城市大腦的構(gòu)建提供數(shù)據(jù)支撐。具體，本次項目的我們將基于主流的大數(shù)據(jù)技術(shù)框架對當(dāng)前的J市數(shù)據(jù)共享交換平臺進行完善大數(shù)據(jù)能力平臺技術(shù)方案主題、專題、標(biāo)簽等數(shù)據(jù)庫，由此構(gòu)建出層級清晰、功能區(qū)域劃分合理的J市大對于本次J市大數(shù)據(jù)能力平臺的建設(shè)，將結(jié)合J市大數(shù)據(jù)的建設(shè)現(xiàn)狀，牢牢抓住J市大數(shù)據(jù)應(yīng)用的痛點，以云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈、人工智能等技術(shù)為支撐，以“統(tǒng)籌規(guī)劃、集約建設(shè)、共享共治”大數(shù)據(jù)能力平臺技術(shù)方案果，逐步完善豐富J市大數(shù)據(jù)資源池、運營平臺、管理機制、運維支撐、組織保障體系和典型智慧應(yīng)用的建設(shè)。具體，對于本次J市大數(shù)據(jù)能力平臺項目建設(shè)的大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案整個數(shù)據(jù)治理團隊的建設(shè)中可通過引入平臺與治理運營供應(yīng)商來共同數(shù)據(jù)規(guī)范是指對Z務(wù)核心數(shù)據(jù)進行有關(guān)存在性、完整性、質(zhì)量及歸檔的3大數(shù)據(jù)能力平臺建設(shè)方案在現(xiàn)有平臺基礎(chǔ)上，按照項目建設(shè)目標(biāo)，完善整個J市大數(shù)據(jù)平臺能力與功大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺提供底層安全保障，并達到符合密鑰建設(shè)統(tǒng)一運維管理平臺，提供統(tǒng)一監(jiān)控運維功能，保證整個J市大數(shù)據(jù)能力建設(shè)可視化指揮大屏，基于全市公共數(shù)據(jù)歸集基礎(chǔ)，以J市高質(zhì)量發(fā)展實際J市大數(shù)據(jù)能力平臺的總體架構(gòu)由支撐體系（標(biāo)準(zhǔn)規(guī)范支撐體系、管理運行系統(tǒng)、AI能力平臺、GIS基礎(chǔ)能力平臺、可視化能力平臺、數(shù)據(jù)資源共享門戶、大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案人工訓(xùn)練和專家反饋不斷優(yōu)化數(shù)據(jù)理解和數(shù)據(jù)關(guān)聯(lián)。數(shù)據(jù)治理子系統(tǒng)給圍繞J市單位公共數(shù)據(jù)資源，形成J市大數(shù)據(jù)資源池，同時經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換、融合、大數(shù)據(jù)能力平臺技術(shù)方案從Z務(wù)辦公網(wǎng)、感知網(wǎng)、社會協(xié)同單位收集各類數(shù)據(jù)，位全局服務(wù)J市大數(shù)據(jù)創(chuàng)新應(yīng)用的角度梳理大數(shù)據(jù)資產(chǎn)，構(gòu)建數(shù)據(jù)資源目錄和數(shù)算，通過IDMapping，建立ID和實體人/物間的關(guān)系，從而串聯(lián)起實體人/物的屬基于業(yè)務(wù)需求引導(dǎo)和對數(shù)據(jù)資源信息的價值梳理,對數(shù)據(jù)進行進一步提煉加大數(shù)據(jù)能力平臺技術(shù)方案數(shù)據(jù)治理平臺會包含部分5大庫數(shù)據(jù)標(biāo)準(zhǔn)，行標(biāo)、部門標(biāo)準(zhǔn)等需由實施人員等大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案定義、獲取原則、管理要求等。包括設(shè)計基礎(chǔ)類和分析類數(shù)據(jù)標(biāo)準(zhǔn)，制定數(shù)據(jù)大數(shù)據(jù)能力平臺技術(shù)方案業(yè)務(wù)操作的具體對象及其特征，注重唯一性，特征一致一的識別標(biāo)志（代碼，名稱，特征描述等用以明確區(qū)分業(yè)務(wù)對象，業(yè)務(wù)范圍大數(shù)據(jù)能力平臺技術(shù)方案數(shù)據(jù)元管理主要包括數(shù)據(jù)元新增、數(shù)據(jù)元導(dǎo)入、數(shù)據(jù)元發(fā)布、數(shù)據(jù)元修改、標(biāo)準(zhǔn)數(shù)據(jù)元具有唯一的編碼（標(biāo)準(zhǔn)代碼按照實際的業(yè)務(wù)領(lǐng)域進行分類之據(jù)的特性內(nèi)置部分常用的規(guī)則，同時提供了大數(shù)據(jù)能力平臺技術(shù)方案據(jù)流程、各對象之間的關(guān)系，以及向外提供的大數(shù)據(jù)能力平臺技術(shù)方案據(jù)管控組織予以保障，確保元數(shù)據(jù)管控要求得以這些階段中，元數(shù)據(jù)管控組負(fù)責(zé)元數(shù)據(jù)信息的全生00:00到01:00之間觸發(fā)數(shù)據(jù)資源平臺元數(shù)據(jù)的自動獲取過程，或者在數(shù)據(jù)處理程在系統(tǒng)層面實現(xiàn)元數(shù)據(jù)的導(dǎo)入/導(dǎo)出功能，以保證數(shù)據(jù)模型、數(shù)據(jù)對象能夠大數(shù)據(jù)能力平臺技術(shù)方案元數(shù)據(jù)分析算法包括以網(wǎng)狀模式展示對象等血緣關(guān)系和以父子依賴關(guān)系展大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案規(guī)則算法：groupby重復(fù)依據(jù)字段，cgroupby的結(jié)果來outerjoin，count不相等或檢查字段值和比照字段值有一個為空大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案平臺具備執(zhí)行標(biāo)準(zhǔn)的開源Hadoop接口調(diào)用能力，以及基于個性化大數(shù)據(jù)能力平臺技術(shù)方案平臺支持對流數(shù)據(jù)的處理與管理，流數(shù)據(jù)的處理過程為數(shù)據(jù)實時采集-->數(shù)據(jù)實開發(fā)提供對流數(shù)據(jù)計算結(jié)果接口開發(fā)功能和計算結(jié)果數(shù)據(jù)可通過接口形式用戶查看計算模型邏輯，進行模型再利用，減少大數(shù)據(jù)能力平臺技術(shù)方案設(shè)計、開發(fā)、配置到打包部署整個階段的GUI（GraphicalUserInterface，圖略管控、任務(wù)調(diào)度控制、標(biāo)準(zhǔn)化控件等功能模塊，通過作業(yè)/任務(wù)管理、作業(yè)/任務(wù)調(diào)度、作業(yè)/任務(wù)執(zhí)行實現(xiàn)對采集、轉(zhuǎn)換、加載、調(diào)度、監(jiān)控，從而形成統(tǒng)一大數(shù)據(jù)能力平臺技術(shù)方案平臺提供對數(shù)據(jù)源注冊管理的功能，主要是對數(shù)據(jù)提供者所在數(shù)據(jù)庫、大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案8）hadoop平臺信息采集與資產(chǎn)注冊9）hadoophive庫表信息采集與資產(chǎn)注冊名規(guī)范，可實現(xiàn)對數(shù)據(jù)資產(chǎn)的自動審核，主要包括對表/視圖、文件等數(shù)據(jù)資產(chǎn)大數(shù)據(jù)能力平臺技術(shù)方案平臺可基于數(shù)據(jù)資產(chǎn)（表通過在平臺中指定生成表的數(shù)據(jù)庫及表空間等大數(shù)據(jù)能力平臺技術(shù)方案產(chǎn)的分類整理，為資產(chǎn)查詢、資產(chǎn)統(tǒng)計、資平臺提供數(shù)據(jù)資產(chǎn)查詢功能，主要分為通用查詢平臺提供數(shù)據(jù)標(biāo)簽?zāi)０骞芾砉δ?，可通過下載功能將標(biāo)簽?zāi)０鍖?dǎo)出為Excel開發(fā)以列表形式和智能推薦形式將平臺中設(shè)置的基礎(chǔ)標(biāo)簽進行呈現(xiàn)列表形大數(shù)據(jù)能力平臺技術(shù)方案開發(fā)通過標(biāo)簽將相關(guān)聯(lián)的數(shù)據(jù)目錄關(guān)聯(lián)在動圖中展現(xiàn)給用戶，形成豐富數(shù)在平臺上用戶可以在此頁面通過各種過濾條件查詢出自己權(quán)限范圍內(nèi)滿足大數(shù)據(jù)能力平臺技術(shù)方案系出現(xiàn)次數(shù)情況，如表與ETL程序、表與OLAP、表與指大數(shù)據(jù)能力平臺技術(shù)方案機器學(xué)習(xí)和開放平臺三為一體，為大數(shù)據(jù)平臺提供1、可以賦能給大數(shù)據(jù)平臺以人工智能自學(xué)習(xí)的能力都是在Z務(wù)內(nèi)網(wǎng)環(huán)境運行，所有標(biāo)注和訓(xùn)練工作也是在Z務(wù)云上執(zhí)行，保證了數(shù)3、AI能力平臺具有標(biāo)準(zhǔn)化的應(yīng)用界面，無需具有研發(fā)經(jīng)驗，普通職員即可根據(jù)指導(dǎo)說明完成數(shù)據(jù)的標(biāo)注、模型的訓(xùn)練、接口的生成等流程，真正實現(xiàn)AI5、針對國家的信息安全方面要求，我方所有算法能力完全可以在國產(chǎn)化平大數(shù)據(jù)能力平臺技術(shù)方案序號1234567大數(shù)據(jù)能力平臺技術(shù)方案89等大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案序號1AutoCV分類23大數(shù)據(jù)能力平臺技術(shù)方案分割4AutoNLP分類56序列7AutoML分類89大數(shù)據(jù)能力平臺技術(shù)方案封裝好的解決方案，對工作和生活進行AI賦序號產(chǎn)一二大數(shù)據(jù)能力平臺技術(shù)方案品級級1AI234567等89測文大數(shù)據(jù)能力平臺技術(shù)方案————建設(shè)GIS基礎(chǔ)平臺，提供統(tǒng)一的地理資源定位、區(qū)域資大數(shù)據(jù)能力平臺技術(shù)方案針對不同業(yè)務(wù)、不同數(shù)據(jù)源可實現(xiàn)統(tǒng)一圖層發(fā)布大數(shù)據(jù)能力平臺技術(shù)方案JavaScriptAPI是一套由JavaScript語言編寫的應(yīng)用程序接口，能夠在WEB系基于JS的API可提供多版本API的管控，針對不同級別的業(yè)務(wù)，提供不同版API支持跨瀏覽器，對多種瀏覽器的兼容性，提高交互大數(shù)據(jù)能力平臺技術(shù)方案對GIS引擎、API進行統(tǒng)一管理、授權(quán)大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案GIS能力平臺立足于技術(shù)的不斷更新完善，為企業(yè)提供更專業(yè)的GIS應(yīng)用軟大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案可視化儀表盤快速開發(fā)，支持業(yè)務(wù)人員快速開發(fā)報表/儀表盤，海量數(shù)據(jù)分大數(shù)據(jù)能力平臺技術(shù)方案為多屏?xí)r代的企業(yè)帶來了全方位的數(shù)據(jù)可視化管理。從PC端到移動端再到大數(shù)據(jù)能力平臺提供底層安全保障，并達到符合密鑰大數(shù)據(jù)能力平臺的環(huán)境安全部分對標(biāo)《網(wǎng)絡(luò)安全等級保護基本要求》(22239-2019)的三級要求，從物理環(huán)境安全、網(wǎng)絡(luò)與通信安全、邊界安全、安全護體系遵循數(shù)據(jù)安全能力成熟度模型(GBT37988-2019)和《Z務(wù)信息共享數(shù)據(jù)安因此，在J市大數(shù)據(jù)能力平臺安全管理平臺設(shè)計過程中，將遵循內(nèi)生安全為系統(tǒng)集成實現(xiàn)全局賦能。具體，在對于J市大數(shù)據(jù)能力平臺的數(shù)據(jù)安全管理整體大數(shù)據(jù)能力平臺技術(shù)方案模型，數(shù)據(jù)安全生命周期各階段主要防護能力，J市大數(shù)據(jù)能力平臺的安全管理大數(shù)據(jù)能力平臺技術(shù)方案其他需要通過數(shù)據(jù)安全子平臺提供定制化的安全能力并與各子系統(tǒng)集成實相關(guān)標(biāo)準(zhǔn)和要求，進行全面的、安全合理的、富有針對性的設(shè)計?？傮w秉持“同步規(guī)劃、同步建設(shè)、同步實施”的方針開展建設(shè)。依據(jù)于大數(shù)據(jù)能力平臺的建設(shè)合規(guī)性原則：本項目的建設(shè)是為了使上海市Z務(wù)云基礎(chǔ)設(shè)施大數(shù)據(jù)能力平臺技術(shù)方案設(shè)計應(yīng)考慮滿足未來3-5年的發(fā)展趨勢和擴展需要，并支持根據(jù)實際需求和方案中所采用的產(chǎn)品技術(shù)和部署方式必須具有足夠的高可用性和安全大數(shù)據(jù)能力平臺是由若干子平臺及支撐平臺構(gòu)建的綜合性數(shù)據(jù)交換與處理大數(shù)據(jù)能力平臺技術(shù)方案據(jù)大小為5K左右，非結(jié)構(gòu)化數(shù)據(jù)主要集中于電子證照、地理信息系統(tǒng)及視頻系統(tǒng)中，預(yù)計每天數(shù)據(jù)交換量將達至280G，這要求對數(shù)據(jù)實時傳輸和處理能力較大數(shù)據(jù)能力平臺的整體安全防護體系包括數(shù)據(jù)資源平臺環(huán)境安全和數(shù)據(jù)全大數(shù)據(jù)能力平臺的環(huán)境安全部分對標(biāo)《網(wǎng)絡(luò)安全等級保護基本要求》(22239-2019)的三級要求，從物理環(huán)境安全、網(wǎng)絡(luò)與通信安全、邊界安全、安全大數(shù)據(jù)能力平臺技術(shù)方案護體系遵循數(shù)據(jù)安全能力成熟度模型(GBT37988-2019)和《Z務(wù)信息共享數(shù)據(jù)安通過數(shù)據(jù)安全子平臺提供定制化的安全能力并與各子系其他需要通過數(shù)據(jù)安全子平臺提供定制化的安全能力并與各子系統(tǒng)集成實J市大數(shù)據(jù)能力平臺總體設(shè)計利用云上的資源和虛擬化技術(shù)特性，建設(shè)云密在云密碼應(yīng)用體系中建設(shè)采用虛擬資源服務(wù)模式面向大數(shù)據(jù)能力平臺提供大數(shù)據(jù)能力平臺技術(shù)方案成云密碼物理資源池。上層的密碼服務(wù)采用鏡像方式提供，為大數(shù)據(jù)能力平臺及其各子系統(tǒng)建立一套完善的密碼應(yīng)用資源。由于安全認(rèn)證服務(wù)有其特性，需要通過VPN設(shè)備來部署其認(rèn)證和加密隧道，需要配合具電子門禁記應(yīng)使用密碼技術(shù)的完整性功能來保證電子門禁系統(tǒng)進出大數(shù)據(jù)能力平臺技術(shù)方案錄數(shù)據(jù)完整性視頻記錄數(shù)應(yīng)使用密碼技術(shù)的完整性功能來保證視頻監(jiān)控音像記錄應(yīng)在通信前基于密碼技術(shù)對通信雙方進行驗證或認(rèn)證，使用密保證傳輸過程中鑒別信息的機密性和網(wǎng)絡(luò)設(shè)備實體身份的真實應(yīng)采用密碼技術(shù)對連接到內(nèi)部網(wǎng)絡(luò)的設(shè)備進行身份鑒別，確保性大數(shù)據(jù)能力平臺技術(shù)方案應(yīng)使用密碼技術(shù)對登錄的用戶進行身份標(biāo)識和鑒別，身份標(biāo)識具有唯一性，身份鑒別信息其有復(fù)雜度要求在遠程理時，應(yīng)使用密碼技術(shù)的機密性服務(wù)來實現(xiàn)鑒性應(yīng)采用密碼技術(shù)的完整性服務(wù)來保證系統(tǒng)資源訪問控應(yīng)使用密碼技術(shù)的完整性服務(wù)來保證重要信息資源敏應(yīng)采用可信計算技術(shù)建立從系統(tǒng)到應(yīng)用信任鏈，實現(xiàn)系統(tǒng)運行系統(tǒng)運行過程中重要程序或文件完整性保應(yīng)使用密碼技術(shù)的完整性功能來對日志記錄進行完整大數(shù)據(jù)能力平臺技術(shù)方案證書的身份認(rèn)證系統(tǒng)及署智能密碼鑰匙（或其它的具備身份鑒別功能的密碼產(chǎn)應(yīng)使用密碼技術(shù)的完整性服務(wù)來保證業(yè)務(wù)應(yīng)用系統(tǒng)訪問控大數(shù)據(jù)能力平臺技術(shù)方案應(yīng)使用密碼技術(shù)的完整性功能來實現(xiàn)對日志記錄完整性的應(yīng)采用密碼技術(shù)對重要應(yīng)用程序的加載和卸載進行安全控大數(shù)據(jù)能力平臺技術(shù)方案密鑰導(dǎo)入大數(shù)據(jù)能力平臺技術(shù)方案用公鑰之前應(yīng)用對其進行驗證；應(yīng)有安全措施防止密鑰泄露和替密鑰備份鑰只能用于解密該密鑰加密的歷史信息或驗證該密鑰簽名的歷史大數(shù)據(jù)能力平臺技術(shù)方案密鑰管理服務(wù)的另一個功能是在云密碼服務(wù)系統(tǒng)需要將租戶密鑰導(dǎo)入到指安全管理制度應(yīng)包括密碼建設(shè)、運維、人員、設(shè)備、密鑰等密大數(shù)據(jù)能力平臺技術(shù)方案際情況，設(shè)置密鑰管理人員、安全審計人員、密碼操作人員等關(guān)鍵崗位；建立相應(yīng)的崗位責(zé)任制度，明確相關(guān)人員在安全系統(tǒng)中的職責(zé)和權(quán)限，對關(guān)鍵崗位建立多人共管機制，相關(guān)設(shè)備信息系統(tǒng)規(guī)劃階段，責(zé)任單位應(yīng)依據(jù)密碼相關(guān)標(biāo)準(zhǔn)，制定密碼應(yīng)用方案，組織專家進行評審，評審意見作為項目規(guī)劃立項的大數(shù)據(jù)能力平臺技術(shù)方案少于信息系統(tǒng)概述、安全需求分析、商用密碼系統(tǒng)設(shè)計方案、商用密碼產(chǎn)品清單（包括產(chǎn)品資質(zhì)、功能及性能列表和產(chǎn)品生展密碼應(yīng)用安全性評估，并根據(jù)評估意見進行整改；有重大安全隱患的，應(yīng)停止系統(tǒng)運行，制定整改方案，整改完成并通過B）事件發(fā)生后，應(yīng)及時向信息系統(tǒng)的上級主管部門體設(shè)計，對哪些安全機制發(fā)揮什么作用。保障框架應(yīng)與第4章“密碼應(yīng)用需求”大數(shù)據(jù)能力平臺技術(shù)方案支持MAC/HMAC等多種形式，可為大數(shù)據(jù)能力平臺各子系統(tǒng)提供敏感數(shù)據(jù)完整大數(shù)據(jù)能力平臺技術(shù)方案證書管理等功能，支持SM1/SM2/SM3/SM4國密算法，可為用戶程序、代碼、文件、操作等簽名/驗證功能）身份鑒別平臺身份鑒別平臺對應(yīng)用管理員和運維人員的身份鑒別通大數(shù)據(jù)能力平臺技術(shù)方案數(shù)據(jù)傳輸保密性和完整性具體而言大數(shù)據(jù)能力平臺上管理應(yīng)用及運維人員都需要簽發(fā)證書，當(dāng)兩端需要進行數(shù)據(jù)通信時，可以通過SM2密鑰協(xié)商算法協(xié)商臨時密鑰，隨后采用SM4和HAMC-SM3算法對傳數(shù)據(jù)存儲保密性和完整性保護大數(shù)據(jù)能力平臺各種子系統(tǒng)調(diào)用相應(yīng)云服務(wù)器密碼機是密碼應(yīng)用的基礎(chǔ)設(shè)備,高性能的云服務(wù)器密碼機各種密碼密鑰對生成為219100對/秒,簽名為129600次/秒,驗簽為232500次/秒。云服務(wù)器密碼機可提供64個虛擬密碼機,每個虛擬密碼機的性能大致會均分吞吐率?？紤]到一般用于存儲信息系統(tǒng)中代碼工作量較大且不大數(shù)據(jù)能力平臺技術(shù)方案性護護————————————————————護——————護性——————機——護——————————大數(shù)據(jù)能力平臺技術(shù)方案性機護器護護————密碼資源管理流程與安全管理流程相符，并單獨為密碼資源在制度、人員、源作為獨立的運維體系。其組織架構(gòu)參照大數(shù)據(jù)大數(shù)據(jù)能力平臺技術(shù)方案全調(diào)用密碼機接口實現(xiàn)視頻記錄的完整性保護或使用加密存儲設(shè)備或采用合規(guī)的視頻全符合，設(shè)備管理員和網(wǎng)站管理員的終端部署支持安全瀏覽器和SSLVPN網(wǎng)關(guān)，通過支持SSL協(xié)議實現(xiàn)管理端終端和網(wǎng)關(guān)之間的身份鑒別、關(guān)鍵數(shù)據(jù)的完整性和機密性全全符合，設(shè)備管理員使用口令和智能密碼鑰符合，各服務(wù)器調(diào)用服務(wù)器密碼機采用性符合，各服務(wù)器調(diào)用服務(wù)器密碼機采用符合，SSLVPN網(wǎng)關(guān)實現(xiàn)了信息傳輸通道實現(xiàn)了對遠程管理通道數(shù)據(jù)的身份鑒別信大數(shù)據(jù)能力平臺技術(shù)方案符合，通用服務(wù)器中所有重要程序或文件生成時利用SM2數(shù)字簽名技術(shù)進行完整性保護，使用或讀取時調(diào)用驗簽算法驗證其全符合，使用身份鑒別信息和授權(quán)通過身份據(jù)庫表訪問控制信息和重要資源訪問控制性符合，日志信息進行統(tǒng)一管理，調(diào)用服務(wù)符合，管理員登錄后所有信息都通過安全通道進行加密傳輸；而普通應(yīng)用的數(shù)據(jù)傳符合，不同子系統(tǒng)調(diào)用密碼機實現(xiàn)對數(shù)據(jù)的加密存儲，需要根據(jù)不同子系統(tǒng)應(yīng)用場符合，僅有設(shè)備管理員可進行重要程序或文件的加載或卸載，設(shè)備管理員的身份鑒理度需要從人員、制度和文檔方面建立密碼應(yīng)大數(shù)據(jù)能力平臺技術(shù)方案圖片檢驗碼、短信認(rèn)證、郵件認(rèn)證、口令、OTP令牌認(rèn)證、UKEY認(rèn)證、指紋、合認(rèn)證、雙因素認(rèn)證、二次認(rèn)證等認(rèn)證方式，以便大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案敏感數(shù)據(jù)掃描：支持對HADOOP結(jié)構(gòu)化文件、半結(jié)構(gòu)化文件、非結(jié)構(gòu)化文大數(shù)據(jù)能力平臺技術(shù)方案據(jù)的分布情況進行視圖繪制，能夠通過多種視圖展示據(jù)源間的靜態(tài)數(shù)據(jù)脫敏，需支持HADOOP結(jié)構(gòu)化文件、半結(jié)構(gòu)化文件、非結(jié)構(gòu)脫敏任務(wù)管理：提供統(tǒng)一WEB控制臺進行靜態(tài)任務(wù)的配置，脫敏任務(wù)中包度查詢api接口。其他子平臺平臺可以通過接口調(diào)用的方式，來完成對敏感數(shù)據(jù)可定制脫敏規(guī)則：提供脫敏規(guī)則管理功能，可以根據(jù)不用的數(shù)據(jù)脫敏場景，大數(shù)據(jù)能力平臺技術(shù)方案分類分級結(jié)果上報:對分類分級掃描結(jié)果實時或定時上報數(shù)據(jù)治理子平臺片生成的隨機數(shù)。密鑰生成后由加密卡中的內(nèi)部密鑰加密后存儲。支持SM系列密鑰安全傳輸：客戶端密鑰獲取支持SSL、用戶名口令及wrappingkey等多程中的安全性，避免接口通信信息泄露、中間人攻擊備份/恢復(fù)：支持用戶密鑰、模板、證書等重要數(shù)據(jù)的備份/恢復(fù)機制，用戶采集大數(shù)據(jù)能力平臺基礎(chǔ)環(huán)境網(wǎng)絡(luò)安全設(shè)備日志和各子平臺的操作系統(tǒng)日安全日志存儲：支持安全日志的分布式存儲，能夠滿足至少6個月的日志存安全日志檢索：支持以多種組合條件的安全日志查詢檢大數(shù)據(jù)能力平臺技術(shù)方案建設(shè)統(tǒng)一運維管理平臺，提供統(tǒng)一監(jiān)控運維功能，保證整個J市大數(shù)據(jù)能力得J市大數(shù)據(jù)能力平臺上快速發(fā)現(xiàn)異常，及時發(fā)現(xiàn)并告知維護人員，快速恢復(fù)，端管理、數(shù)據(jù)質(zhì)量保障等多個領(lǐng)域的綜合運維管理能力，保障構(gòu)建J市大數(shù)據(jù)能統(tǒng)一監(jiān)控運維平臺采用中臺技術(shù)架構(gòu)，整個平臺架構(gòu)核心由基礎(chǔ)能力平臺(資源管理、監(jiān)控預(yù)警、作業(yè)管理、運維流程、分析)和統(tǒng)一門戶(支持PC、手機大數(shù)據(jù)能力平臺技術(shù)方案3.7.3基礎(chǔ)資源監(jiān)測大數(shù)據(jù)能力平臺技術(shù)方案行分析，分析統(tǒng)計出應(yīng)用處理緩慢的環(huán)節(jié)和執(zhí)行緩慢的SQL語句，通過告警信息通知用戶，用戶可根據(jù)告警信息對系統(tǒng)進行優(yōu)化根據(jù)用戶的需求，部署各環(huán)節(jié)數(shù)據(jù)報表一致性對比的監(jiān)控,如發(fā)現(xiàn)數(shù)據(jù)存在大數(shù)據(jù)能力平臺技術(shù)方案根據(jù)用戶的需求，對Z務(wù)系統(tǒng)、數(shù)據(jù)中心、城市大腦應(yīng)用之間的數(shù)據(jù)傳輸總大數(shù)據(jù)能力平臺技術(shù)方案置的告警自動清除策略自動將已經(jīng)恢復(fù)或處理完畢的告警自動清除(即將告警狀態(tài)變更為已關(guān)閉)。告警自動清除策略定義：對于系統(tǒng)中故障已經(jīng)恢復(fù)或處理完大數(shù)據(jù)能力平臺技術(shù)方案3.執(zhí)行過程的歷史數(shù)據(jù)記錄4.執(zhí)行完成后必須通過確認(rèn)人的確認(rèn)5.執(zhí)行結(jié)果通知定義的相關(guān)人員大數(shù)據(jù)能力平臺技術(shù)方案建設(shè)可視化指揮大屏，基于全市公共數(shù)據(jù)歸集基礎(chǔ)，以J市高質(zhì)量發(fā)展實際構(gòu)建全市統(tǒng)一的總體態(tài)勢感知展示窗口，重點聚焦在“大數(shù)據(jù)應(yīng)用”相關(guān)大數(shù)據(jù)能力平臺技術(shù)方案工、API的轉(zhuǎn)換、系統(tǒng)中的算法加工，到最終指標(biāo)的呈現(xiàn)，4.各類圖表展示效果應(yīng)靈活、生動，既體現(xiàn)莊重又大數(shù)據(jù)能力平臺技術(shù)方案聯(lián)關(guān)系，并以報表形式輸出分析結(jié)果，幫用戶分析以圖表、文字、地圖形式，設(shè)計大屏指標(biāo)，展示J市大數(shù)據(jù)資源在相關(guān)場景大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案4大數(shù)據(jù)資源中心建設(shè)方案清洗、轉(zhuǎn)換、融合、治理后，形成高質(zhì)量的公共數(shù)據(jù)資源，構(gòu)建形成J市標(biāo)準(zhǔn)化基于全市的Z務(wù)數(shù)據(jù)資源湖，利用經(jīng)過治理后的數(shù)據(jù)，可以針的業(yè)務(wù)數(shù)據(jù)共享、應(yīng)用需求，按主題歸集形成專題庫和主題庫，并面及社會進行數(shù)據(jù)開放。此外，我們還將持續(xù)開展、深入J市大數(shù)據(jù)的應(yīng)用探索，數(shù)據(jù)管理機制。通過數(shù)據(jù)治理，面向Z務(wù)、物聯(lián)、視頻三大類數(shù)據(jù)（含下屬區(qū)縣）各級Z務(wù)數(shù)據(jù)、物聯(lián)設(shè)備數(shù)據(jù)、視頻數(shù)據(jù)支撐數(shù)字J市建設(shè)上層應(yīng)用算法模型訓(xùn)練需求，支撐上層應(yīng)用系統(tǒng)的數(shù)據(jù)需求，J市大數(shù)據(jù)能力平臺的建設(shè)采用市級數(shù)據(jù)湖+基礎(chǔ)庫+主題庫的數(shù)據(jù)存儲架構(gòu)，市級數(shù)據(jù)湖與主題庫依托于大數(shù)據(jù)支撐子系統(tǒng)建設(shè)。數(shù)據(jù)來源主要來自于J市各級委辦單位、各鄉(xiāng)鎮(zhèn)街道，數(shù)據(jù)包括市政府及市級委辦局大數(shù)據(jù)能力平臺技術(shù)方案4.由數(shù)據(jù)數(shù)據(jù)交換子平臺將經(jīng)過治理的數(shù)據(jù)寫入至基礎(chǔ)庫和各類融合業(yè)從上述各原始數(shù)據(jù)源→市大數(shù)據(jù)資源中心→外部應(yīng)用/各委辦的數(shù)據(jù)流向可大數(shù)據(jù)能力平臺技術(shù)方案2.先進性原則：考慮技術(shù)進步和今后信3.一致性原則：對信息進行統(tǒng)一，保證系統(tǒng)數(shù)據(jù)的一致性和有效性。4.完整性原則：是指數(shù)據(jù)的正確性和相容性，大數(shù)據(jù)能力平臺技術(shù)方案法用戶非法使用數(shù)據(jù)庫造成數(shù)據(jù)泄露、更改或破(1)預(yù)留字段的數(shù)量無法預(yù)測，預(yù)留N個還是預(yù)留N+1個，由于無法大數(shù)據(jù)能力平臺技術(shù)方案綜合前文對于數(shù)據(jù)分析、數(shù)據(jù)存儲和數(shù)據(jù)庫的分析與設(shè)計，本期次建設(shè)的J其中，市級數(shù)據(jù)湖主要用于存儲來自各Z務(wù)、視頻和社會數(shù)根據(jù)以上需求，本項目中J市大數(shù)據(jù)能力平臺的建設(shè)，將采用如下底層存儲可確保信息資源中心各類業(yè)務(wù)數(shù)據(jù)存儲計算能并返回網(wǎng)絡(luò)上傳送回的結(jié)果。HTTPs協(xié)立一個信息安全通道，來保證數(shù)據(jù)傳輸?shù)陌踩?；另一種至沒有數(shù)據(jù)損失，并快速恢復(fù)工作，使業(yè)務(wù)停頓時的可用性，從而保證J市大數(shù)據(jù)能力平臺大數(shù)據(jù)支撐子系統(tǒng)的穩(wěn)定運行，提高其大數(shù)據(jù)能力平臺技術(shù)方案市級數(shù)據(jù)湖通過數(shù)據(jù)數(shù)據(jù)交換子平臺與進行Z市級數(shù)據(jù)湖是所有從外部數(shù)據(jù)源落地到市數(shù)據(jù)管理部門的統(tǒng)一數(shù)據(jù)存儲空間。市級數(shù)據(jù)湖將基于Z務(wù)云存儲服務(wù)和大數(shù)據(jù)支行搭建，存儲通常包括分布式文件存儲系統(tǒng)、關(guān)系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、列式存儲數(shù)據(jù)庫等類型，主要存儲Z務(wù)、視頻和物大數(shù)據(jù)能力平臺技術(shù)方案SRC近源數(shù)據(jù)層定位在于將原始數(shù)據(jù)源進行全量映射保存，是外部各類數(shù)同時需要進行相應(yīng)的設(shè)計，以此匯聚后下一步處理提供基礎(chǔ)支撐。結(jié)合J市大數(shù)結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù)，是由二維表結(jié)構(gòu)來邏輯表達和實現(xiàn)的數(shù)據(jù)，嚴(yán)格地遵循數(shù)據(jù)格式與長度規(guī)范，主要通過關(guān)系非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整，沒有預(yù)定義的數(shù)據(jù)模型，不方大數(shù)據(jù)能力平臺技術(shù)方案為了構(gòu)建有效的數(shù)據(jù)分層治理，構(gòu)建起逐層遞進的數(shù)據(jù)流轉(zhuǎn)模式，數(shù)據(jù)湖構(gòu)建過程中，需要構(gòu)建ODS源數(shù)據(jù)層。ODS源數(shù)據(jù)層的數(shù)據(jù)是對SRC近源數(shù)據(jù)層數(shù)據(jù)進行數(shù)據(jù)全/增量合并以及數(shù)據(jù)清洗和標(biāo)準(zhǔn)化動作之后的數(shù)據(jù)存儲層，J市大數(shù)據(jù)能力平臺的數(shù)據(jù)湖支持大范圍內(nèi)的各種類型各類數(shù)據(jù)的存儲與管大數(shù)據(jù)能力平臺技術(shù)方案組合查詢和關(guān)聯(lián)查詢。查詢時候在查詢頁面顯大數(shù)據(jù)能力平臺技術(shù)方案銷）標(biāo)識，也可提供公民性別、民族、出生日期以人為主題的信息檢索、應(yīng)用分析需求最廣、所含信息要素也最多?！耙蝗舜髷?shù)據(jù)能力平臺技術(shù)方案碼0身份證;10港澳大數(shù)據(jù)能力平臺技術(shù)方案S大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案E模型名稱英文：DWD_EVT_INDIV_DE碼澳居民來往內(nèi)地通行證;11臺大數(shù)據(jù)能力平臺技術(shù)方案士;省市區(qū))大數(shù)據(jù)能力平臺技術(shù)方案居民死亡殯葬證編號碼大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案E大數(shù)據(jù)能力平臺技術(shù)方案脈率狀態(tài)1=偏高2=日月年模型名稱英文：DWD_EVT_INDIV_H大數(shù)據(jù)能力平臺技術(shù)方案碼0入院登記1病區(qū)分床2病區(qū)出院3病人出院4取消進入產(chǎn)房7轉(zhuǎn)科狀態(tài)8數(shù)據(jù)轉(zhuǎn)出9DISEASE_TYPEDISEASE_NAME大數(shù)據(jù)能力平臺技術(shù)方案醫(yī)保中心編號(外地大數(shù)據(jù)能力平臺技術(shù)方案模型名稱英文：DWD_EVT_INDIV_HSPT碼0入院登記1病區(qū)分床2病區(qū)出院3病人出院4取消進入產(chǎn)房7轉(zhuǎn)科大數(shù)據(jù)能力平臺技術(shù)方案狀態(tài)8數(shù)據(jù)轉(zhuǎn)出9大數(shù)據(jù)能力平臺技術(shù)方案MJZBZ大數(shù)據(jù)能力平臺技術(shù)方案碼MAJORGRADUATE;模型名稱英文：DWD_RES_INDIV_HOU碼大數(shù)據(jù)能力平臺技術(shù)方案模型名稱英文：DWD_RES_INDIV_碼大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案模型名稱英文：DWD_CRDT_INDIV_DISHONEST_R碼MOBILE大數(shù)據(jù)能力平臺技術(shù)方案__DATEMODIFIED _MODIFIER模型名稱英文：DWD_REL_INDIV_MARRIAG大數(shù)據(jù)能力平臺技術(shù)方案碼碼大數(shù)據(jù)能力平臺技術(shù)方案MOTHER_CCERT_CODEMOTHER_CINDIV_NAME大數(shù)據(jù)能力平臺技術(shù)方案旅游等有用指標(biāo)，并以專題視圖的形式提供大數(shù)據(jù)能力平臺技術(shù)方案題、生命周期主題、信用主題、關(guān)系主題、關(guān)鍵人主題6大主題域，數(shù)據(jù)應(yīng)用于大數(shù)據(jù)能力平臺技術(shù)方案法人性質(zhì)、注冊資金及所屬板塊等進行綜合查詢，大數(shù)據(jù)能力平臺技術(shù)方案大數(shù)據(jù)能力平臺技術(shù)方案規(guī)則，實現(xiàn)多種數(shù)據(jù)類型的關(guān)聯(lián)和合并。法大數(shù)據(jù)能力平臺技術(shù)方案中央軍委改革和編制大數(shù)據(jù)能力平臺技術(shù)方案碼數(shù)據(jù)中心法人實體法定代表人/經(jīng)營者住所/經(jīng)營場所(中ADDRESS經(jīng)營范圍/業(yè)務(wù)范圍法定代表人證件類大數(shù)據(jù)能力平臺技術(shù)方案舉辦單位/業(yè)務(wù)主管注冊號/事業(yè)單位證法人注銷原因(中法人變更登記事項分支機構(gòu)數(shù)(社會組代表機構(gòu)數(shù)(社會組登記類業(yè)務(wù)最后發(fā)稅務(wù)變更內(nèi)容(中稅務(wù)注銷機關(guān)(中大數(shù)據(jù)能力平臺技術(shù)方案實際經(jīng)營地址(中稅務(wù)類業(yè)務(wù)最后發(fā)組織機構(gòu)代碼賦碼組織機構(gòu)代碼變更組織機構(gòu)代碼注銷質(zhì)監(jiān)類業(yè)務(wù)最后發(fā)補充公積金開設(shè)時間補充公積金注銷時間補充公積金發(fā)布時間大數(shù)據(jù)能力平臺技術(shù)方案工商聯(lián)小微企業(yè)標(biāo)記稱準(zhǔn)予設(shè)立登記通知NOT_NO大數(shù)據(jù)能力平臺技術(shù)方案個體工商戶業(yè)務(wù)標(biāo)工商聯(lián)絡(luò)員手機號碼法定代表人/負(fù)責(zé)人/執(zhí)行事務(wù)合伙人國模型名稱英文：DWD_EVT_GRP_LO大數(shù)據(jù)能力平臺技術(shù)方案碼模型名稱英文：DWD_E