數(shù)字孿生賦能智慧城市大腦建設(shè)方案相關(guān) 兩份資料

智慧城市大腦建設(shè)方案“云-網(wǎng)-端”三大層次端側(cè)實(shí)現(xiàn)群智感知、可視可控；網(wǎng)側(cè)實(shí)現(xiàn)泛在高速、天地一體；云測(cè)實(shí)現(xiàn)隨需調(diào)度，迭代學(xué)習(xí)智能操控的城市大腦是重點(diǎn)技術(shù)角度形成虛實(shí)對(duì)應(yīng)、相互映射、協(xié)同交互的復(fù)雜巨系統(tǒng)，實(shí)現(xiàn)孿生城市的“六化發(fā)展”城市發(fā)展基于多源數(shù)據(jù)融合的城市信息模型是核心，城市全域部署的智能設(shè)施和感知體系是前提，支撐孿生城市高效運(yùn)行的智能專網(wǎng)是保障，實(shí)現(xiàn)建設(shè)重點(diǎn)當(dāng)前，以物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能等新技術(shù)為代表的數(shù)字浪潮席卷全球，物理世界和與之對(duì)應(yīng)的數(shù)字世界正形成兩大體系平行發(fā)展、相互作用。數(shù)字世界為了服務(wù)物理世界而存在，物理世界因?yàn)閿?shù)字世界變得高效有序，數(shù)字孿生技術(shù)應(yīng)運(yùn)而生，從制造業(yè)逐步延伸拓展至城市空間，深刻影響著城市規(guī)劃、建設(shè)與發(fā)展。數(shù)字孿生因感知控制技術(shù)而起，因綜合技術(shù)集成創(chuàng)新而興。數(shù)字孿生城市是在城市累積數(shù)據(jù)從量變到質(zhì)變，在感知建模、人工智能等信息技術(shù)取得重大突破的背景下，建設(shè)新型智慧城市的一條新興技術(shù)路徑，是城市智能化、運(yùn)營(yíng)可持續(xù)化的前沿先進(jìn)模式，

也是一個(gè)吸引高端智力資源共同參與，從局部應(yīng)用到全局優(yōu)化，持續(xù)迭代更新的城市級(jí)創(chuàng)新平臺(tái)。前言城市大腦總體設(shè)計(jì)第一章目錄Contents城市大腦應(yīng)用體系第二章城市大腦支撐體系第三章城市大腦數(shù)據(jù)治理體系第四章城市大腦運(yùn)營(yíng)體系第五章城市大腦總體設(shè)計(jì)Contents目錄第一章數(shù)字孿生城市前提——全域布局的智能設(shè)施當(dāng)前城市在感知業(yè)務(wù)領(lǐng)域，處于各自為政、條塊分割、煙囪林立、信息孤島的狀態(tài)，數(shù)字孿生城市將針對(duì)不同的應(yīng)用場(chǎng)景，統(tǒng)籌感知體系建設(shè)，統(tǒng)一采集匯聚，實(shí)現(xiàn)城市動(dòng)態(tài)數(shù)據(jù)整合與共享，形成全域覆蓋、動(dòng)靜結(jié)合、三維立體的規(guī)范化、智能化、全聯(lián)接的感知布局，實(shí)現(xiàn)物理城市在數(shù)字城市的精準(zhǔn)映射。全域布局智能設(shè)施空間布局通過規(guī)模部署信息桿柱、智能網(wǎng)關(guān)和邊緣計(jì)算節(jié)點(diǎn)，采集數(shù)據(jù)信息，支持各種近距離及遠(yuǎn)距離通信協(xié)議標(biāo)準(zhǔn)，統(tǒng)一匯聚處理后上傳統(tǒng)一物聯(lián)網(wǎng)平臺(tái)和城市大腦進(jìn)行管理。空間維度上，可將感知載體和設(shè)施體系分為地上、地下、空中、水域感知體系進(jìn)行布局.針對(duì)不同感知載體和設(shè)施特點(diǎn)，傳輸方式上，可采用無(wú)線為主或有線為主兩種方式進(jìn)行布局。標(biāo)識(shí)體系和編碼設(shè)計(jì)面對(duì)海量的物聯(lián)網(wǎng)設(shè)備，有必要建立設(shè)備的統(tǒng)一編碼標(biāo)識(shí)，規(guī)范物聯(lián)網(wǎng)標(biāo)識(shí)體系，是實(shí)現(xiàn)物聯(lián)網(wǎng)各領(lǐng)域信息互聯(lián)、產(chǎn)業(yè)提升的重要前提條件。設(shè)備的統(tǒng)一編碼標(biāo)識(shí)IMSI，通過eSIM卡將IMSI與物聯(lián)網(wǎng)設(shè)備綁定；城市級(jí)物聯(lián)標(biāo)識(shí)解析體系，實(shí)現(xiàn)不同標(biāo)識(shí)之間的互聯(lián)互通。物聯(lián)設(shè)備連接管理平臺(tái)城市物聯(lián)網(wǎng)連接適配和管理平臺(tái)：適應(yīng)多語(yǔ)言、多操作系統(tǒng)的不同終端設(shè)備的接入和數(shù)據(jù)通訊。數(shù)字孿生城市支撐安全——高效運(yùn)行的智能專網(wǎng)為支撐數(shù)字孿生城市的高效運(yùn)行，滿足城市各類智能化運(yùn)行場(chǎng)景需求，保障城市全域空間布局的智能化設(shè)施感知信息流動(dòng)，須建設(shè)地上地下全通達(dá)、有線無(wú)線全接入、萬(wàn)物互聯(lián)全感知的城市智能專網(wǎng)，才能滿足數(shù)字城市與物理城市虛實(shí)融合孿生并行的運(yùn)行模式需求。提出網(wǎng)絡(luò)新需求綜合接入、融合指揮、城市感知、專網(wǎng)專用、資源共享、物理隔離接入智能專網(wǎng)推進(jìn)

5G

網(wǎng)絡(luò)的大規(guī)模商用、推進(jìn)有線網(wǎng)絡(luò)萬(wàn)兆接入、智能專網(wǎng)須全程全網(wǎng)支持

IPv6、智能專網(wǎng)應(yīng)制定相應(yīng)級(jí)別網(wǎng)域保護(hù)要求網(wǎng)絡(luò)延伸增強(qiáng)一部分是政務(wù)外網(wǎng)及互聯(lián)網(wǎng)的補(bǔ)充和延伸另有部分是出于對(duì)政務(wù)外網(wǎng)或互聯(lián)網(wǎng)在某些功能或特性方面的增強(qiáng)數(shù)字孿生城市運(yùn)行中心數(shù)字孿生城市端側(cè)物聯(lián)數(shù)據(jù)采集地上地下全通達(dá)、有線無(wú)線全接入、萬(wàn)物互聯(lián)全感知的城市智能專網(wǎng)數(shù)字孿生城市重點(diǎn)——智能操控的城市大腦數(shù)字孿生城市通過城市大腦，匯聚與交融不同來(lái)源的數(shù)據(jù)，如實(shí)記錄呈現(xiàn)城市動(dòng)態(tài)，盡可能預(yù)見到政策干預(yù)對(duì)各個(gè)子系統(tǒng)的影響，充分考慮各種規(guī)避行為、時(shí)間延遲和信息損失等問題，將“自學(xué)習(xí)、自優(yōu)化”功能融入城市管理過程之中，最終達(dá)到增加城市系統(tǒng)整體福利的理想效果。大腦凸顯自主學(xué)習(xí)與集中調(diào)度數(shù)字孿生模式下城市大腦緊密圍繞城市信息模型（CIM）和疊加在模型上的多元數(shù)據(jù)集合，充分運(yùn)用人工智能和深度學(xué)習(xí)的技術(shù)來(lái)治理城市。PART

1一體三翼構(gòu)建數(shù)字孿生城市大腦城市全要素?cái)?shù)據(jù)治理、城市信息模型和人工智能支撐下的大腦平臺(tái)，組成了數(shù)字孿生城市大腦。全域數(shù)據(jù)治理、城市信息模型、人工智能賦能PART

2創(chuàng)新全景全要素城市治理新模式城市畫像、居民畫像在數(shù)字孿生模式下才能實(shí)現(xiàn)。城市大腦實(shí)現(xiàn)運(yùn)行管理“一盤棋”。PART

3數(shù)字孿生城市重點(diǎn)——智能操控的城市大腦（一）大腦凸顯自主學(xué)習(xí)與集中調(diào)度城市信息模型+多元數(shù)據(jù)集合人工智能互聯(lián)網(wǎng)云計(jì)算物聯(lián)網(wǎng)大數(shù)據(jù)基本能力?

數(shù)據(jù)涌動(dòng)?

知識(shí)發(fā)現(xiàn)?

實(shí)施診斷?

智能辨識(shí)?

態(tài)勢(shì)認(rèn)知?

模擬仿真?

深度學(xué)習(xí)?

自我決策?

……數(shù)字城市物理城市?

數(shù)據(jù)處理?

資源調(diào)配?

應(yīng)急處置?

策略制定城市層面全局統(tǒng)一調(diào)度和協(xié)

同，虛實(shí)互動(dòng)，數(shù)字世界仿真，物理世界執(zhí)行，不斷優(yōu)化。主要技術(shù)數(shù)字孿生城市重點(diǎn)——智能操控的城市大腦城市操作系統(tǒng)（深度學(xué)習(xí)+運(yùn)營(yíng)指揮）城市數(shù)據(jù)資產(chǎn)管理體系（數(shù)據(jù)匯集+開放共享）數(shù)字孿生城市模型（全域感知+虛實(shí)交互）城市大腦深度學(xué)習(xí)能力資源要素?cái)?shù)字孿生載體（二）一體三翼構(gòu)建數(shù)字孿生城市大腦三、人工智能模型一、全域多元數(shù)據(jù)?

城市語(yǔ)義信息：城市要素的幾何屬性、自然屬性、社會(huì)屬性等?

政府部門掌握信息?

城市運(yùn)行產(chǎn)生數(shù)據(jù)二、城市信息模型?

信息加載在城市信息模型上?

形成全景視圖和各領(lǐng)域視圖?

提供感知、認(rèn)知推理、執(zhí)行、人機(jī)交互能力?

進(jìn)行跨部門、跨領(lǐng)域、跨區(qū)域即時(shí)數(shù)據(jù)處理數(shù)據(jù)提供決策依據(jù)智能分析量化指標(biāo)智能操控反向控制實(shí)時(shí)感知虛實(shí)交互匯聚整合質(zhì)量監(jiān)控有序治理

建設(shè)思路——平臺(tái)層17城市安全運(yùn)行小腦交通小腦環(huán)保小腦平安小腦政務(wù)小腦教育小腦醫(yī)療小腦城市數(shù)據(jù)大腦城市大數(shù)據(jù)平臺(tái)城市大腦由一個(gè)個(gè)可獨(dú)立運(yùn)行、思考的“小腦”組成，再將各個(gè)“小腦”的數(shù)據(jù)在“大腦”里進(jìn)行整合、存儲(chǔ)、交換、共享，通過信息匯聚應(yīng)用聚合，信息處理智能分析最終實(shí)現(xiàn)數(shù)據(jù)可視化人工智能的智慧管理智慧決策。消防小腦統(tǒng)一整合數(shù)據(jù)平臺(tái)數(shù)據(jù)存儲(chǔ)平臺(tái)數(shù)據(jù)交換平臺(tái)數(shù)據(jù)共享服務(wù)平臺(tái)養(yǎng)老小腦園區(qū)小腦商業(yè)小腦。。。深智城18小腦（執(zhí)行層）~人工智能算法決策智慧管理智慧決策AIBI城市數(shù)據(jù)小腦建設(shè)思路——平臺(tái)層城市大數(shù)據(jù)平臺(tái)城市小腦建設(shè)應(yīng)遵循“城市大腦”理念，打造建成一套完善的“感”“傳”“知”“用”“控”城市小腦架構(gòu)。末梢神經(jīng)（感知層）神經(jīng)網(wǎng)絡(luò)（傳輸層）腦核（數(shù)據(jù)基礎(chǔ)層）皮質(zhì)層（決策層）城市小腦智慧城市建設(shè)思路——平臺(tái)層城市時(shí)空CIM平臺(tái)結(jié)合了空間信息和感知信息，合理搭建基礎(chǔ)信息平臺(tái)；通過城市大數(shù)據(jù)平臺(tái)，整合不同部門間數(shù)據(jù)；基于標(biāo)準(zhǔn)的組件模型實(shí)現(xiàn)服務(wù)平臺(tái)及其應(yīng)用的設(shè)計(jì)和整合。綜合融入了實(shí)景三維、BIM、3DGIS

、車聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算、語(yǔ)義化等技術(shù)，實(shí)現(xiàn)室內(nèi)室外、地上地下、覆蓋全產(chǎn)業(yè)鏈的管理和服務(wù)。建設(shè)思路——網(wǎng)絡(luò)層深智城21手機(jī)座機(jī)PC電視5G+WLANXDSLWIMAXIPIT內(nèi)容應(yīng)用終端接入內(nèi)容應(yīng)用移動(dòng)固網(wǎng)IT手機(jī)GSM/GPRS移動(dòng)語(yǔ)音/數(shù)據(jù)固話/PCPSTN/XDSL固定語(yǔ)音/數(shù)據(jù)PC互聯(lián)網(wǎng)媒體ICT以往垂直的互不干涉的行業(yè)……向融合化發(fā)展CT城市ICT基礎(chǔ)軟網(wǎng)絡(luò)SDN/虛擬化大數(shù)據(jù)/區(qū)塊鏈技術(shù)云計(jì)算/人工智能技術(shù)建設(shè)思路——網(wǎng)絡(luò)層深智城22城市物聯(lián)網(wǎng)IPbackhaul水務(wù)公司燃?xì)夤緢@區(qū)管理地產(chǎn)公司NLoRa/NB-

IWG物流公司IWGIoTLoRa/NB-IoT智能感知終端NSinfiLinkNMSLCSJSinfiBossMSP多業(yè)務(wù)平臺(tái)僅僅需要通過一個(gè)平臺(tái)，就能夠與有線電話網(wǎng)PSTN和無(wú)線GSM移動(dòng)網(wǎng)連接，提供不同的信令接入、語(yǔ)音、傳真、數(shù)據(jù)和其它媒體的相容關(guān)服務(wù)。infiCombo能源公司安監(jiān)安全交管中心多業(yè)務(wù)場(chǎng)景集成應(yīng)用1….集成應(yīng)用n虛擬運(yùn)營(yíng)商4G/5GLTE

4G/5GLTERPMARPMA無(wú)線局域網(wǎng)接入：RFID,WIFI、藍(lán)牙運(yùn)營(yíng)商4g/5G網(wǎng)絡(luò)低功耗廣域物聯(lián)網(wǎng)城市級(jí)物聯(lián)網(wǎng)網(wǎng)絡(luò)(混合組網(wǎng)方式)建設(shè)思路——網(wǎng)絡(luò)層深智城23城市大腦–城市智慧治理中心運(yùn)用智慧城市安全數(shù)據(jù)共享交換和調(diào)度技術(shù)，以時(shí)空信息為唯一標(biāo)識(shí)，對(duì)所有城市治理數(shù)據(jù)進(jìn)行融合、挖掘、應(yīng)用和創(chuàng)新，并保持系統(tǒng)開放性，滿足新基建智慧城市未來(lái)發(fā)展需求，從而為城市管理者提供高效的城市管理手段和途徑，為城市提供優(yōu)質(zhì)服務(wù)和廣泛的創(chuàng)新發(fā)展空間，為市民提供更好的生活品質(zhì)。城市大腦建設(shè)預(yù)期收益IOC以大數(shù)據(jù)+AI為基礎(chǔ)，實(shí)現(xiàn)平戰(zhàn)結(jié)合的城市服務(wù)數(shù)據(jù)共享數(shù)據(jù)融合大數(shù)據(jù)政務(wù)旅游人口法人事件地理信息……AI應(yīng)用……標(biāo)簽畫像行為軌跡事件碰撞視頻分析圖像分析語(yǔ)音分析平臺(tái)共享業(yè)務(wù)融合城市大數(shù)據(jù)分析決策支持常態(tài)化智能服務(wù)城市事件管理績(jī)效評(píng)價(jià)應(yīng)急態(tài)智能服務(wù)城市監(jiān)測(cè)預(yù)警防患于未然城市應(yīng)急聯(lián)動(dòng)指揮調(diào)度城市儀表盤，總體態(tài)勢(shì)概覽與感知大數(shù)據(jù)+AI態(tài)勢(shì)感知決策分析事件管理應(yīng)急指揮城市智能運(yùn)營(yíng)中心(IOC)監(jiān)測(cè)預(yù)警運(yùn)行指標(biāo)AI標(biāo)簽畫像AI圖像分析AI語(yǔ)音分析AI數(shù)據(jù)集成數(shù)據(jù)治理數(shù)據(jù)分析數(shù)據(jù)挖掘數(shù)據(jù)安全數(shù)據(jù)開放應(yīng)用使能平臺(tái)事件碰撞AI 視頻分析AI數(shù)據(jù)使能平臺(tái)政府?dāng)?shù)據(jù)企業(yè)數(shù)據(jù)公民數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)智慧城市數(shù)字平臺(tái)智慧城市數(shù)字平臺(tái)為IOC提供了數(shù)據(jù)和模型支撐城市大腦應(yīng)用體系第二章Contents目錄城市大腦應(yīng)用平臺(tái)架構(gòu)城市大腦綜合態(tài)勢(shì)看板應(yīng)用場(chǎng)景最佳實(shí)踐系統(tǒng)截屏城市大腦綜合態(tài)勢(shì)看板–經(jīng)濟(jì)運(yùn)行城市大腦綜合態(tài)勢(shì)看板–市場(chǎng)監(jiān)督.社會(huì)管理城市大腦綜合態(tài)勢(shì)看板–公共服務(wù).環(huán)境保護(hù)城市大腦綜合態(tài)勢(shì)看板–社會(huì)訴求城市體征診斷分析城市體征的特點(diǎn)系統(tǒng)整合是城市體征最重要的特征。首先體現(xiàn)在綜合性上，城市體征涉及土地、設(shè)施、人口、資金、信息等多方面要素狀況及要素之間互動(dòng)狀態(tài)，是綜合的指標(biāo)集合。其次還體現(xiàn)在城市體征系統(tǒng)內(nèi)要素的層次性上，從最基層的單要素向上提煉、歸類、匯總可得到同類或相關(guān)要素的一般運(yùn)行狀態(tài)，此外通過小的空間研究單元可以向上匯總到更大尺度的空間范圍，以服務(wù)不同尺度的管理層級(jí)。其三，系統(tǒng)中的對(duì)象或要素具有聯(lián)系性，人地互動(dòng)、人與設(shè)施的交互、人與人的關(guān)聯(lián)等都是城市體征系統(tǒng)的內(nèi)在聯(lián)系。城市的生命體征是動(dòng)態(tài)與靜態(tài)結(jié)合的。既有建設(shè)用地等相對(duì)長(zhǎng)期穩(wěn)態(tài)的體征，也有道路交通流量等瞬時(shí)變化的體征。對(duì)動(dòng)態(tài)變化的關(guān)注使得城市體征不同與一般的城市特征，不僅能夠評(píng)價(jià)城市的常態(tài)特征，還能夠在更細(xì)的時(shí)空間尺度中展現(xiàn)和評(píng)價(jià)城市運(yùn)行狀況。城市體征的本質(zhì)是表征城市運(yùn)行狀態(tài)的指標(biāo)。這決定了其用以判讀城市系統(tǒng)狀態(tài)和病癥的根本作用。多源城市治理數(shù)據(jù)，為城市體征的量化及可視化展示提供了條件。城市體征系統(tǒng)基于城市體征系統(tǒng)整合、動(dòng)靜結(jié)合的特點(diǎn)，從時(shí)間與要素兩個(gè)方面分解和聯(lián)結(jié)城市體征子系統(tǒng)。從人與地、靜態(tài)與動(dòng)態(tài)出發(fā)，可以將城市體征系統(tǒng)劃分為城市人口系統(tǒng)、城市環(huán)境系統(tǒng)、城市活動(dòng)-移動(dòng)系統(tǒng)和城市運(yùn)行系統(tǒng)四個(gè)子系統(tǒng)。四個(gè)子系統(tǒng)相互作用與影響，從而聯(lián)結(jié)成綜合、有機(jī)的城市體征系統(tǒng)。城市體征診斷分析系統(tǒng)突發(fā)公共事件應(yīng)急指揮調(diào)度系統(tǒng)三大監(jiān)測(cè)系統(tǒng)3城市大腦支撐體系第三章Contents目錄城市大腦支撐平臺(tái)架構(gòu)前端運(yùn)行支撐大屏可視化引擎支撐多模態(tài)、全空間時(shí)空數(shù)據(jù)大屏可視化城市大腦運(yùn)行管理中心（應(yīng)急指揮場(chǎng)所）大屏展示系統(tǒng)動(dòng)景立體防控系統(tǒng)（三維視頻融合監(jiān)控）視頻多源信息融合多維實(shí)景視頻融合區(qū)域視頻智慧巡邏報(bào)警智能聯(lián)動(dòng)實(shí)景歷史視頻回放監(jiān)控視頻結(jié)構(gòu)化傳統(tǒng)監(jiān)控設(shè)備的現(xiàn)狀，基本都是這種雜亂無(wú)序的多個(gè)小畫面，監(jiān)控人員無(wú)法迅速對(duì)興趣目標(biāo)進(jìn)行視頻畫面的智能發(fā)現(xiàn)、跟蹤、定位、快速處置。監(jiān)控人員看得累、煩、懵。日常巡檢單路瀏覽，費(fèi)時(shí)費(fèi)力。攝像頭之間缺乏空間位置關(guān)聯(lián)，監(jiān)控畫面孤立。系統(tǒng)以實(shí)景監(jiān)控視頻為基礎(chǔ)，充分整合三維GIS系統(tǒng)、視頻監(jiān)控系統(tǒng)、人臉卡口、車輛卡口、電子圍欄、GPS定位等多個(gè)系統(tǒng)；可實(shí)現(xiàn)監(jiān)控區(qū)域內(nèi)多源信息數(shù)據(jù)的融合，包括視頻數(shù)據(jù)、人臉、車輛、建筑物；建筑物內(nèi)結(jié)構(gòu)、人員構(gòu)成、設(shè)備運(yùn)行數(shù)據(jù)、狀況、傳感器、溫度等物聯(lián)設(shè)備；可通過視頻直接控制設(shè)備、空調(diào)、照明等設(shè)備開關(guān)。后端運(yùn)行支撐傳統(tǒng)地理信息系統(tǒng)支撐城市大腦應(yīng)用力不從心地理信息云平臺(tái)是構(gòu)建城市大腦的基石二三維一體化地圖服務(wù)云平臺(tái)超融合數(shù)據(jù)模型和海量數(shù)據(jù)管理工具將多元數(shù)據(jù)融合處理為高效統(tǒng)一的超融合數(shù)據(jù)，支持超大規(guī)模二三維場(chǎng)景的快速構(gòu)建和高速查詢，支持豐富的粒子特效、光線追蹤特效、輝光特效等超炫可視化效果，實(shí)現(xiàn)二三維一體化地理信息專業(yè)分析和應(yīng)用。通用高效超炫規(guī)范支持tiff,jpg,png等主流空間影像數(shù)據(jù)，shp,dwg,tab等主流GIS矢量數(shù)據(jù)，3ds,osgb,obj等主流模型數(shù)據(jù)，ifc標(biāo)準(zhǔn)建筑信息模型數(shù)據(jù)的導(dǎo)入和管理。采用超融合數(shù)據(jù)模型，確保二三維地圖服務(wù)、實(shí)時(shí)動(dòng)態(tài)矢量切片、三維場(chǎng)景構(gòu)建、二三維空間分析、超炫可視化的高速查詢和快速渲染，通過四叉樹和八叉樹原理對(duì)數(shù)據(jù)實(shí)現(xiàn)高效存儲(chǔ)和調(diào)取。支持豐富的水、火、霧、氣、爆炸、游走等粒子特效，點(diǎn)、環(huán)境、球面、鏡面、太陽(yáng)等光特效，水波特效，飛線特效等超炫可視化效果；支持豐富美觀的圖表可視化效果。采用超融合數(shù)據(jù)模型規(guī)范，建立統(tǒng)一的時(shí)空基準(zhǔn)，支撐海量數(shù)據(jù)應(yīng)用和大數(shù)據(jù)時(shí)空分析應(yīng)用，實(shí)現(xiàn)多源海量數(shù)據(jù)在Web和移動(dòng)端的表達(dá)一致性、應(yīng)用靈活性、高性能和規(guī)范性。融合通信應(yīng)急指揮調(diào)度系統(tǒng)視頻結(jié)構(gòu)化系統(tǒng)占道經(jīng)營(yíng)

人群聚集

違章停車

明火檢測(cè)

車牌識(shí)別

井蓋丟失

入侵檢測(cè)

積水檢測(cè)

遺留物檢測(cè)…動(dòng)態(tài)計(jì)算管理容器云管與運(yùn)維管理容器狀態(tài)管理容器參數(shù)管理容器動(dòng)態(tài)分配容器管理與調(diào)度容器管理與調(diào)度云服務(wù)管理與調(diào)度云服務(wù)運(yùn)維監(jiān)控資源運(yùn)維監(jiān)控云服務(wù)狀態(tài)管理云服務(wù)權(quán)限管理云服務(wù)申請(qǐng)管理云服務(wù)管理與調(diào)度云服務(wù)運(yùn)行情況監(jiān)控云服務(wù)訪問次數(shù)監(jiān)控云服務(wù)自動(dòng)化巡檢云服務(wù)自動(dòng)化預(yù)警云服務(wù)運(yùn)維監(jiān)控平臺(tái)資源使用情況監(jiān)控平臺(tái)自身運(yùn)維管理物理設(shè)施監(jiān)控管理虛擬化設(shè)施監(jiān)控管理資源運(yùn)維監(jiān)控彈性擴(kuò)容動(dòng)態(tài)分配監(jiān)控預(yù)警自動(dòng)化配置管理可視化基礎(chǔ)資源監(jiān)控容器管理系統(tǒng)運(yùn)維監(jiān)控系統(tǒng)城市大腦數(shù)據(jù)治理體系目錄Contents第四章城市大腦數(shù)據(jù)治理結(jié)構(gòu)數(shù)據(jù)治理關(guān)鍵技術(shù)數(shù)據(jù)區(qū)建立分布式數(shù)據(jù)區(qū)，實(shí)現(xiàn)各個(gè)委辦局、區(qū)縣的信息系統(tǒng)和數(shù)據(jù)資源的原始數(shù)據(jù)存儲(chǔ)，采用建立數(shù)據(jù)區(qū)對(duì)數(shù)據(jù)接口進(jìn)行標(biāo)準(zhǔn)化二次封裝，替代建立數(shù)據(jù)前置區(qū)方案。實(shí)現(xiàn)“數(shù)據(jù)不搬家、數(shù)據(jù)不重寫、不打破原有數(shù)據(jù)管理模式”，解決物理分散，數(shù)據(jù)不搬家問題。微服務(wù)總線建立微服務(wù)總線接管標(biāo)準(zhǔn)接口，按接口細(xì)粒度對(duì)數(shù)據(jù)資源進(jìn)行管理，建立標(biāo)準(zhǔn)化共享交換通道?；谖⒎?wù)架構(gòu)所呈現(xiàn)的形態(tài)，微服務(wù)總線的建立，有效避免了服務(wù)交換過程中不可監(jiān)督、不可視、不可追溯、不可控導(dǎo)致的數(shù)據(jù)濫用、冒用和復(fù)用。數(shù)據(jù)治理能力安全管理能力具備訪問控制、安全認(rèn)證以及高可用服務(wù)功能數(shù)據(jù)接入方式多樣能力支持同步消息通道、異步消息通道、數(shù)據(jù)庫(kù)通道和文件通道，以滿足數(shù)據(jù)收集的需求統(tǒng)一身份認(rèn)證體系能力分布式數(shù)據(jù)區(qū)系統(tǒng)為了確保不同角色的賬號(hào)操作安全，需要支持統(tǒng)一的數(shù)據(jù)賬號(hào)和權(quán)限體系，提高數(shù)據(jù)接入的安全性接口管控能力對(duì)數(shù)據(jù)接口進(jìn)行封裝，規(guī)范化、統(tǒng)一化、標(biāo)準(zhǔn)化的發(fā)布與管理服務(wù)交換能力對(duì)外提供服務(wù)的時(shí)候，只需要通過開放微服務(wù)總線的地址就可以讓調(diào)用方統(tǒng)一的來(lái)訪問我們的服務(wù)，而不需要了解具體提供服務(wù)的主機(jī)信息數(shù)據(jù)調(diào)度業(yè)務(wù)構(gòu)成數(shù)據(jù)調(diào)度流程監(jiān)督流程06數(shù)據(jù)資產(chǎn)管理流程01數(shù)據(jù)編目流程02共享交換流程05資源調(diào)度流程04資源上架流程03優(yōu)化流程基于任務(wù)執(zhí)行的監(jiān)督流程保障全市數(shù)據(jù)目錄規(guī)范化編目，實(shí)現(xiàn)一數(shù)一源為數(shù)據(jù)資產(chǎn)登記管理全生命周期管理提供保障保障數(shù)據(jù)資源有序上架基于專項(xiàng)工作特點(diǎn)實(shí)施調(diào)度保障保障數(shù)據(jù)資源有序共享交換數(shù)據(jù)服務(wù)閉環(huán)管理構(gòu)建全市統(tǒng)一的數(shù)據(jù)資源目錄體系，提供便捷的資源檢索。根據(jù)不同角色業(yè)務(wù)側(cè)重，提供滿足不同業(yè)務(wù)工作的工作臺(tái)。形成數(shù)據(jù)服務(wù)閉環(huán)以數(shù)據(jù)資源申請(qǐng)、審核、協(xié)調(diào)、共享流程為依托，實(shí)現(xiàn)業(yè)務(wù)工作串接。對(duì)數(shù)據(jù)進(jìn)行評(píng)價(jià)，形成數(shù)據(jù)共享利用的閉環(huán)。免接口數(shù)據(jù)集成系統(tǒng)城市大腦運(yùn)營(yíng)體系目錄Contents第五章城市大腦–三大運(yùn)行模式城市大腦–日常模式城市大腦–汛期模式城市大腦–假期模式城市大腦–建設(shè)路徑城市大腦建設(shè)演進(jìn)路線遵循“統(tǒng)籌規(guī)劃、急用先建、分步實(shí)施、整合資源”的原則有序開展。第二階段：擴(kuò)大數(shù)據(jù)接入覆蓋，完善數(shù)據(jù)共享調(diào)度，開展區(qū)縣中樞試點(diǎn)，全面實(shí)現(xiàn)城市治理微觀監(jiān)測(cè)、預(yù)警、告警，推進(jìn)事件處置聯(lián)動(dòng)機(jī)制和城市治理決策支持機(jī)制完善支撐平臺(tái)和應(yīng)用系統(tǒng)建設(shè)指導(dǎo)區(qū)縣社會(huì)治理中樞建設(shè)推進(jìn)事件處置聯(lián)動(dòng)機(jī)制和城市治理決策支持機(jī)制第一階段：基礎(chǔ)平臺(tái)搭建，形成城市大腦核心框架體系；配合初期業(yè)務(wù)開展，以監(jiān)測(cè)數(shù)據(jù)接入、告警和展示為主，首先建設(shè)迫切需要的應(yīng)用建設(shè)核心城市治理大數(shù)據(jù)平臺(tái)和核心支撐平臺(tái)建設(shè)應(yīng)急指揮場(chǎng)所和應(yīng)急指揮調(diào)度平臺(tái)建設(shè)城市宏觀運(yùn)行監(jiān)測(cè)和城市安全應(yīng)急等急用應(yīng)用，其中應(yīng)急部分以防汛應(yīng)急先行第三階段：完善城市大腦產(chǎn)業(yè)生態(tài)，全面實(shí)現(xiàn)城市治理智慧化，向社會(huì)開放監(jiān)測(cè)能力、分析能力和可公開數(shù)據(jù)資源，支持民生服務(wù)創(chuàng)新和產(chǎn)業(yè)發(fā)展實(shí)現(xiàn)城市大腦在跨部門、跨行業(yè)、跨領(lǐng)域的覆蓋延伸依托城市大腦開展社會(huì)治理各領(lǐng)域的智慧創(chuàng)新應(yīng)用建設(shè)全面推進(jìn)區(qū)縣中樞建設(shè)，充分利用大腦平臺(tái)的計(jì)算能力、數(shù)據(jù)資源、算法服務(wù)，建設(shè)區(qū)縣治理應(yīng)用，并反哺大腦平臺(tái)，形成全市一體化的城市大腦體系制作：睿利而行制作時(shí)間：2020年09月18日Thankyou！新型智慧城市大數(shù)據(jù)應(yīng)用解決方案前言黨的十八屆五中全會(huì)強(qiáng)調(diào)“創(chuàng)新、協(xié)調(diào)、綠色、開放、共享”五大發(fā)展理念，為城市發(fā)展賦予了新的內(nèi)涵?！吨腥A人民共和國(guó)國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展第十三個(gè)五年（2016-2020）規(guī)劃綱要》要求加快新型城市建設(shè)，建設(shè)智慧城市，為新型智慧城市建設(shè)提出了新的要求。針對(duì)智慧城市建設(shè)特征與面臨的挑戰(zhàn)，依托具有自主知識(shí)產(chǎn)權(quán)的核心技術(shù)、產(chǎn)品以及豐富的行業(yè)應(yīng)用服務(wù)經(jīng)驗(yàn)，提出“優(yōu)政、興業(yè)、惠民”的新型智慧城市建設(shè)理念，把新型智慧城市作為城市發(fā)展的全新模式，構(gòu)建智慧城市新生態(tài)圈，拓展新空間，優(yōu)化新治理，觸達(dá)新生活，從而重構(gòu)人與服務(wù)、人與城市、人與社會(huì)、人與資源環(huán)境、人與未來(lái)關(guān)系的可持續(xù)化經(jīng)濟(jì)社會(huì)發(fā)展新形態(tài)。新型智慧城市架構(gòu)隨著云計(jì)算、城市大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)等技術(shù)的發(fā)展，由城市運(yùn)行產(chǎn)生的交通、環(huán)境、市政、商業(yè)等各領(lǐng)域數(shù)據(jù)量巨大，這些數(shù)據(jù)經(jīng)過合理的分析挖掘可產(chǎn)生大量傳統(tǒng)數(shù)據(jù)不能反映的城市運(yùn)行信息，已成為智慧城市的重要資產(chǎn)。在城市大數(shù)據(jù)時(shí)代，數(shù)據(jù)信息之間的融合、關(guān)聯(lián)、挖掘與應(yīng)用是建設(shè)新型智慧城市的核心與基礎(chǔ)。時(shí)間與空間是所有數(shù)據(jù)共有的唯一標(biāo)識(shí)，所有數(shù)據(jù)都是在一定的時(shí)間與空間中產(chǎn)生的，與時(shí)間、位置直接相關(guān)聯(lián)。因此，時(shí)間與位置信息是新型智慧城市建設(shè)中所有信息數(shù)據(jù)關(guān)聯(lián)、融合的唯一指針。以城市多元、多時(shí)態(tài)信息為基礎(chǔ)，在原有城市基礎(chǔ)設(shè)施上，通過建設(shè)智慧城市時(shí)空信息云平臺(tái)、北斗高精度位置服務(wù)云平臺(tái)、城市大數(shù)據(jù)中心三大基礎(chǔ)設(shè)施，將各類數(shù)據(jù)互聯(lián)互通，為新型智慧城市提供精準(zhǔn)、高效的時(shí)空位置服務(wù)，真正實(shí)現(xiàn)城市大數(shù)據(jù)時(shí)代城市由“信息煙囪”（信息孤島）向“信息連通器”（信息共享互通）轉(zhuǎn)變。新型智慧城市時(shí)空信息云平臺(tái)智慧城市時(shí)空信息云平臺(tái)，為智慧城市建設(shè)提供數(shù)據(jù)共享、應(yīng)用支撐及LBS位置服務(wù)，是城市信息化不可或缺的基礎(chǔ)性信息基礎(chǔ)設(shè)施，在智慧城市建設(shè)中扮演著基礎(chǔ)性、先行性角色，是其他信息共享交換與協(xié)同服務(wù)的載體，同時(shí)又提供智能化信息服務(wù)。智慧城市時(shí)空信息云平臺(tái)通過提供基于位置的信息服務(wù)，帶動(dòng)個(gè)人消費(fèi)、城市應(yīng)用、行業(yè)應(yīng)用和公共管理等領(lǐng)域的技術(shù)創(chuàng)新、業(yè)務(wù)創(chuàng)新和應(yīng)用創(chuàng)新，為智慧管網(wǎng)、智慧管廊、智慧城管、智慧交通、智慧環(huán)保、智慧農(nóng)業(yè)、智慧旅游等各智慧城市專業(yè)領(lǐng)域提供基礎(chǔ)信息服務(wù)，是智慧城市發(fā)展的信息載體。新型智慧城市數(shù)據(jù)共享服務(wù)新型智慧城市應(yīng)用支撐服務(wù)北斗高精度位置服務(wù)云平臺(tái)基于北斗衛(wèi)星導(dǎo)航定位技術(shù)建設(shè)的綜合性高精度位置服務(wù)體系，吸納所有與位置相關(guān)的資訊，為政府、城市和社會(huì)公眾提供位置分析決策支持服務(wù)。新型智慧城市城市大數(shù)據(jù)中心對(duì)內(nèi)搭建實(shí)現(xiàn)整合的一體化數(shù)據(jù)采集、數(shù)據(jù)資源管理和信息服務(wù)的業(yè)務(wù)服務(wù)平臺(tái)，將不同來(lái)源、不同類型、不同應(yīng)用的數(shù)據(jù)進(jìn)行集中、規(guī)范、整合；對(duì)外提供統(tǒng)一的數(shù)據(jù)共享和信息服務(wù)，形成智慧城市的“知識(shí)庫(kù)”。新型智慧城市公共信息服務(wù)平臺(tái)新型智慧城市智慧城市運(yùn)營(yíng)中心運(yùn)用城市大數(shù)據(jù)挖掘技術(shù)，以時(shí)空信息標(biāo)簽為唯一標(biāo)識(shí)，對(duì)所有城市運(yùn)營(yíng)數(shù)據(jù)進(jìn)行融合、挖掘、應(yīng)用與創(chuàng)新，并保持系統(tǒng)開放性，滿足新型智慧城市未來(lái)發(fā)展需求，從而為城市管理者提供高效的城市管理手段和途徑，為城市提供優(yōu)質(zhì)服務(wù)和廣闊的創(chuàng)新發(fā)展空間，為市民提供更好的生活品質(zhì)。目錄城市大數(shù)據(jù)分析平臺(tái)綜述1城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)2城市大數(shù)據(jù)分析平臺(tái)演進(jìn)路線3城市大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn)4城市大數(shù)據(jù)質(zhì)量管理平臺(tái)5城市大數(shù)據(jù)管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析關(guān)注的內(nèi)容存在的問題基本的現(xiàn)狀城市數(shù)據(jù)倉(cāng)庫(kù)累積數(shù)據(jù)沒有充分利用缺乏面向整個(gè)城市大數(shù)據(jù)的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐城市大數(shù)據(jù)日常業(yè)務(wù)運(yùn)轉(zhuǎn)的風(fēng)險(xiǎn)評(píng)估體系；缺乏城市大數(shù)據(jù)客戶360度視圖，人員行為分析和預(yù)測(cè)無(wú)法實(shí)現(xiàn)；缺乏面向城市大數(shù)據(jù)運(yùn)營(yíng)管理的關(guān)鍵績(jī)效指標(biāo)體系；……城市已建立面向整個(gè)城市業(yè)務(wù)的數(shù)據(jù)倉(cāng)庫(kù)，整合了前臺(tái)業(yè)務(wù)運(yùn)營(yíng)數(shù)據(jù)和后臺(tái)管理數(shù)據(jù)，建立了面向城市的管理分析應(yīng)用；城市大數(shù)據(jù)已開展智慧園區(qū)、智慧社區(qū)和智慧市政等多種業(yè)務(wù)，積累了一定量的業(yè)務(wù)數(shù)據(jù)，同時(shí)也從人員管理、風(fēng)險(xiǎn)評(píng)級(jí)和經(jīng)營(yíng)規(guī)模預(yù)測(cè)等方面，提出了大量分析預(yù)測(cè)需求；……數(shù)據(jù)平臺(tái)、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控……基礎(chǔ)數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)是未來(lái)一段時(shí)間的重點(diǎn)！數(shù)據(jù)平臺(tái)整體架構(gòu)；數(shù)據(jù)平臺(tái)各層建設(shè)的標(biāo)準(zhǔn)；較成熟的金融業(yè)數(shù)據(jù)模型；數(shù)據(jù)質(zhì)量治理；元數(shù)據(jù)管理；

數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)整合；

數(shù)據(jù)應(yīng)用建設(shè)；數(shù)據(jù)平臺(tái)的軟硬環(huán)境……城市大數(shù)據(jù)分析平臺(tái)建設(shè)目標(biāo)外部非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一制定目標(biāo)和分析模型統(tǒng)一劃分分析主題統(tǒng)一設(shè)計(jì)數(shù)據(jù)模式統(tǒng)一規(guī)劃分析方法統(tǒng)一部署技術(shù)基礎(chǔ)統(tǒng)一定義BI應(yīng)用自定義報(bào)表工具行＋列的簡(jiǎn)單定義方式多種格式報(bào)表社會(huì)決策層社會(huì)職能管控層各級(jí)業(yè)務(wù)操作層關(guān)注社會(huì)主要經(jīng)營(yíng)指標(biāo)業(yè)務(wù)人員使用BI應(yīng)用實(shí)現(xiàn)業(yè)務(wù)協(xié)作和創(chuàng)新BI分析工具智慧園區(qū)系統(tǒng)POP系統(tǒng)其他業(yè)務(wù)系統(tǒng)云數(shù)據(jù)推送平臺(tái)已實(shí)現(xiàn)了主要城市及城市大數(shù)據(jù)系統(tǒng)數(shù)據(jù)清洗、整合，為未來(lái)城市大數(shù)據(jù)數(shù)據(jù)平臺(tái)提供了豐富的數(shù)據(jù)源。通過數(shù)據(jù)平臺(tái)和BI應(yīng)用建設(shè)，城市大數(shù)據(jù)將搭建統(tǒng)一的城市大數(shù)據(jù)共享和分析平臺(tái)，對(duì)各類業(yè)務(wù)進(jìn)行前瞻性預(yù)測(cè)及分析，為社會(huì)各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力采購(gòu)管理系統(tǒng)查看職能部門的業(yè)務(wù)經(jīng)營(yíng)情況城市大數(shù)據(jù)分析平臺(tái)建設(shè)預(yù)期收益2.加強(qiáng)業(yè)務(wù)協(xié)作實(shí)現(xiàn)分散在智慧園區(qū)、智慧社區(qū)、智慧市政等各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺(tái)中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的城市級(jí)視圖，有效促進(jìn)業(yè)務(wù)的集成和協(xié)作，并為城市級(jí)分析、交叉銷售提供基礎(chǔ)3.促進(jìn)業(yè)務(wù)創(chuàng)新城市大數(shù)據(jù)業(yè)務(wù)人員可以基于明細(xì)、可信的數(shù)據(jù)，進(jìn)行多維分析和數(shù)據(jù)挖掘，為城市大數(shù)據(jù)創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件4.提升建設(shè)效率通過數(shù)據(jù)平臺(tái)對(duì)數(shù)據(jù)進(jìn)行集中，為管理分析、挖掘預(yù)測(cè)類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來(lái)源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實(shí)現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運(yùn)行效率5.改善數(shù)據(jù)質(zhì)量從中長(zhǎng)期看，數(shù)據(jù)倉(cāng)庫(kù)對(duì)城市大數(shù)據(jù)分散在各個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于城市整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實(shí)用性通過數(shù)據(jù)平臺(tái)實(shí)現(xiàn)數(shù)據(jù)集中，確保城市大數(shù)據(jù)各級(jí)部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為城市重要資產(chǎn)的業(yè)務(wù)價(jià)值1.實(shí)現(xiàn)數(shù)據(jù)共享目錄城市大數(shù)據(jù)分析平臺(tái)綜述1城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)2城市大數(shù)據(jù)分析平臺(tái)演進(jìn)路線3城市大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn)4城市大數(shù)據(jù)質(zhì)量管理平臺(tái)5城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)歷史數(shù)據(jù)查詢數(shù)據(jù)交換平臺(tái)應(yīng)用集市數(shù)據(jù)區(qū)城市城市智慧園區(qū)智慧社區(qū)系統(tǒng)基金系統(tǒng)……系統(tǒng)城市內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)城市大數(shù)據(jù)交換組件數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)計(jì)算層城市大數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)數(shù)據(jù)應(yīng)用層實(shí)時(shí)數(shù)據(jù)區(qū)客戶主題協(xié)議主題產(chǎn)品主題業(yè)務(wù)沙盤演練數(shù)據(jù)增值產(chǎn)品城市數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)……用戶訪問層客戶匯總賬戶匯總機(jī)構(gòu)匯總……社交媒體移動(dòng)互聯(lián)用戶評(píng)價(jià)訪問日志處理后城市大數(shù)據(jù)待處理城市大數(shù)據(jù)流程調(diào)度監(jiān)控告警數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全流程調(diào)度平臺(tái)……數(shù)據(jù)管控平臺(tái)流程調(diào)度層數(shù)據(jù)管控層數(shù)據(jù)產(chǎn)生層數(shù)據(jù)交換層實(shí)時(shí)數(shù)據(jù)查詢客戶管理財(cái)務(wù)管理……外部用戶貼源數(shù)據(jù)區(qū)……管理分析用戶歷史歸檔數(shù)據(jù)區(qū)IT人員風(fēng)險(xiǎn)管理城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)產(chǎn)生層業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)城市日常城市業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：供應(yīng)商信息、采購(gòu)信息、商品信息、銷售流水……城市大數(shù)據(jù)日常業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，如：客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水……城市非結(jié)構(gòu)化數(shù)據(jù)日常業(yè)務(wù)處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點(diǎn)評(píng)……城市外部數(shù)據(jù)城市外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國(guó)家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動(dòng)信息、微博等社交媒體信息……

源數(shù)據(jù)內(nèi)容在本次項(xiàng)目實(shí)施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)城市和城市大數(shù)據(jù)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識(shí)別、獲取由云數(shù)據(jù)推送平臺(tái)負(fù)責(zé)，云數(shù)據(jù)推送平臺(tái)采用分析、對(duì)比源系統(tǒng)日志方式實(shí)現(xiàn)對(duì)于無(wú)法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個(gè)時(shí)間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式源數(shù)據(jù)增量城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)交換層設(shè)計(jì)目標(biāo)傳輸組件是根據(jù)數(shù)據(jù)源存儲(chǔ)的不同分類而設(shè)計(jì)的，本質(zhì)是通過分析數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)和數(shù)據(jù)存儲(chǔ)庫(kù)的特點(diǎn)來(lái)針對(duì)性的設(shè)計(jì)工具，以追求卓越的性能保證數(shù)據(jù)在平臺(tái)內(nèi)高速流轉(zhuǎn)保證數(shù)據(jù)交換過程中不失真保證數(shù)據(jù)交換過程中不丟失保證數(shù)據(jù)交換過程安全可靠數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件城市大數(shù)據(jù)交換組件城市大數(shù)據(jù)系統(tǒng)數(shù)據(jù)服務(wù)層外部城市大數(shù)據(jù)城市系統(tǒng)Hadoop元數(shù)據(jù)云數(shù)據(jù)推送平臺(tái)數(shù)據(jù)平臺(tái)導(dǎo)入臨時(shí)區(qū)數(shù)據(jù)平臺(tái)導(dǎo)出臨時(shí)區(qū)NAS存儲(chǔ)ETL程序區(qū)城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)交換層NAS存儲(chǔ)Hadoop集群元數(shù)據(jù)區(qū)數(shù)據(jù)平臺(tái)ETL數(shù)據(jù)處理程序區(qū)數(shù)據(jù)平臺(tái)臨時(shí)數(shù)據(jù)區(qū)存儲(chǔ)數(shù)據(jù)平臺(tái)各個(gè)Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)社會(huì)數(shù)據(jù)交換平臺(tái)每日獲取運(yùn)輸局推送平臺(tái)提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時(shí)數(shù)據(jù)區(qū)金融數(shù)據(jù)平臺(tái)加工計(jì)算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)平臺(tái)ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲(chǔ)在NAS集群指定目錄，各接口服務(wù)器通過文件系統(tǒng)Link建立映射城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)交換層城市大數(shù)據(jù)交換組件城市非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等城市外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點(diǎn)擊流、用戶移動(dòng)位置等批量采集：城市大數(shù)據(jù)源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問：開發(fā)Java或C應(yīng)用，調(diào)用大據(jù)源API，或以網(wǎng)絡(luò)平臺(tái)爬蟲方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)組件以實(shí)時(shí)和批量?jī)煞N模式實(shí)現(xiàn)下列功能：數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺(tái)（接口服務(wù)器）NAS指定目錄存儲(chǔ)數(shù)據(jù)到數(shù)據(jù)平臺(tái)城市大數(shù)據(jù)區(qū)指定HDFS目錄定時(shí)抽取用戶訪問日志，加載到數(shù)據(jù)平臺(tái)城市大數(shù)據(jù)區(qū)HDFS指定目錄，MR程序加工處理開發(fā)網(wǎng)絡(luò)爬蟲程序，掃描用戶微博，抓取用戶微博內(nèi)容，社交圈信息，存入城市大數(shù)據(jù)區(qū)處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場(chǎng)景城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件城市業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來(lái)源：城市城市業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫(kù)城市大數(shù)據(jù)互聯(lián)網(wǎng)城市大數(shù)據(jù)數(shù)據(jù)，數(shù)據(jù)存儲(chǔ)在MySQL數(shù)據(jù)庫(kù)Perl程序數(shù)據(jù)采集，調(diào)用Perl文件模塊相關(guān)函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)文件數(shù)據(jù)核查，Perl執(zhí)行文件級(jí)數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)加載，調(diào)用HiveLoad數(shù)據(jù)命令，加載到數(shù)據(jù)平臺(tái)臨時(shí)數(shù)據(jù)區(qū)的HiveTable組件以實(shí)時(shí)和批量模式實(shí)現(xiàn)下列功能：數(shù)據(jù)采集，輪詢NAS集群指定目錄，獲取數(shù)據(jù)文件（LZO壓縮）數(shù)據(jù)核查，對(duì)數(shù)據(jù)文件進(jìn)行質(zhì)量校驗(yàn)數(shù)據(jù)加載，加載數(shù)據(jù)到臨時(shí)數(shù)據(jù)區(qū)云數(shù)據(jù)推送平臺(tái)連接智慧園區(qū)系統(tǒng)數(shù)據(jù)庫(kù)，分析智慧園區(qū)MySQL數(shù)據(jù)庫(kù)日志，識(shí)別增量數(shù)據(jù)，存儲(chǔ)到金融平臺(tái)NAS存儲(chǔ)的指定目錄，金融平臺(tái)加載數(shù)據(jù)文件到數(shù)據(jù)平臺(tái)臨時(shí)區(qū)Hive表處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場(chǎng)景城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)平臺(tái)計(jì)算層各數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)集市數(shù)據(jù)區(qū)沙盤數(shù)據(jù)區(qū)城市大數(shù)據(jù)區(qū)歸檔數(shù)據(jù)區(qū)Sqoop實(shí)現(xiàn)集市數(shù)據(jù)區(qū)與數(shù)據(jù)平臺(tái)其他Hadoop數(shù)據(jù)區(qū)的數(shù)據(jù)交換Hadoop命令、Hive外部表、MR程序?qū)崿F(xiàn)數(shù)據(jù)平臺(tái)Hadoop數(shù)據(jù)區(qū)間的數(shù)據(jù)交換組件以批量方式實(shí)現(xiàn)下列數(shù)據(jù)交換功能：貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)到集市數(shù)據(jù)區(qū)城市大數(shù)據(jù)區(qū)到主題數(shù)據(jù)區(qū)和集市數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)各個(gè)數(shù)據(jù)區(qū)數(shù)據(jù)歸檔數(shù)據(jù)集市的數(shù)據(jù)按照據(jù)生命周期規(guī)劃，統(tǒng)一將過期數(shù)據(jù)歸檔到歷史數(shù)據(jù)歸檔區(qū)處理對(duì)象實(shí)現(xiàn)技術(shù)實(shí)現(xiàn)功能應(yīng)用場(chǎng)景城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——流程調(diào)度層批量處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個(gè)流程主要完成如下工作：獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時(shí)數(shù)據(jù)區(qū)獲取城市內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)，并進(jìn)行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加）按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計(jì)算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——流程調(diào)度層實(shí)時(shí)數(shù)據(jù)處理流程實(shí)時(shí)數(shù)據(jù)處理強(qiáng)調(diào)的是實(shí)時(shí)或準(zhǔn)實(shí)時(shí)獲取并處理數(shù)據(jù)，通常采取消息隊(duì)列等技術(shù)構(gòu)建“數(shù)據(jù)流”整個(gè)處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個(gè)流程主要完成如下工作：通過數(shù)據(jù)庫(kù)數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)通過城市大數(shù)據(jù)交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實(shí)時(shí)數(shù)據(jù)區(qū)針對(duì)實(shí)時(shí)數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處理流程數(shù)據(jù)歸檔的對(duì)象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、城市大數(shù)據(jù)區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)數(shù)據(jù)按照生命周期規(guī)劃存儲(chǔ)到歸檔區(qū)Hadoop集群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)整個(gè)處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運(yùn)行整個(gè)流程主要完成如下工作：數(shù)據(jù)文件通過HDFS命令行copyfromlocal進(jìn)行歸檔貼源、主題和城市大數(shù)據(jù)區(qū)通過HDFS命令行distcp或自定義開發(fā)的MR程序執(zhí)行歸檔集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫(kù)提供的Hadoop集成技術(shù)（如：外部表）執(zhí)行歸檔城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載平臺(tái)要求貼源數(shù)據(jù)模型保存最近7天數(shù)據(jù)貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問無(wú)最終用戶訪問I/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問無(wú)最終用戶訪問I/O敏感，日終批量ETL以ELT形式通過HiveSQL執(zhí)行與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)貼源數(shù)據(jù)模型不保存歷史業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時(shí)間的流水?dāng)?shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）城市內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)采集并存儲(chǔ)數(shù)據(jù)，進(jìn)行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載平臺(tái)要求數(shù)據(jù)按照HDFS文件存儲(chǔ)建議保留1年集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級(jí)業(yè)務(wù)人員進(jìn)行城市大數(shù)據(jù)分析MapReduce分布式計(jì)算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（包括文本檢索、語(yǔ)義分詞、圖像識(shí)別、音頻識(shí)別等）與主題區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（HDFS）無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時(shí)效區(qū)批量作業(yè)訪問業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢MapReduce分布式計(jì)算，HDFS命令實(shí)現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實(shí)現(xiàn)數(shù)據(jù)庫(kù)歸檔，通過Hive提供歷史查詢獨(dú)立的Hadoop集群（HDFS+Hive）無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)數(shù)據(jù)按照HDFS文件存儲(chǔ)數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺(tái)過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢城市大數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）業(yè)務(wù)系統(tǒng)歷史明細(xì)數(shù)據(jù)打破業(yè)務(wù)條線整合數(shù)據(jù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載可用性要求第三范式模型保留長(zhǎng)期歷史，需要根據(jù)主題細(xì)化主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)I/O敏感，日終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF與城市大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)I/O敏感，日終批量ETL（連接、聚合、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF與城市大數(shù)據(jù)區(qū)/貼源區(qū)構(gòu)成一個(gè)Hadoop集群（Hive）無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)逆范式寬表依賴于集市數(shù)據(jù)需求對(duì)主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)針對(duì)應(yīng)用需求進(jìn)行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)主題數(shù)據(jù)區(qū)—明細(xì)主題數(shù)據(jù)區(qū)—匯總城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）按沙盤演練需求，準(zhǔn)備的明細(xì)或匯總業(yè)務(wù)數(shù)據(jù)為數(shù)據(jù)科學(xué)家的挖掘預(yù)測(cè)操作提供數(shù)據(jù)服務(wù)數(shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載可用性要求模型依賴于沙盤演練需求在整個(gè)沙盤演練周期內(nèi)保留集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級(jí)業(yè)務(wù)人員進(jìn)行靈活查詢、挖掘預(yù)測(cè)I/O敏感，終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF獨(dú)立的Hadoop集群（HDFS）無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、業(yè)務(wù)人員訪問I/O敏感型，BI工具提交的報(bào)表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）基于開放平臺(tái)的完全無(wú)共享

MPP數(shù)據(jù)庫(kù)集群+內(nèi)存數(shù)據(jù)庫(kù)無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)維度數(shù)據(jù)模型依賴業(yè)務(wù)需求面向城市管理分析類應(yīng)用需求的匯總數(shù)據(jù)為客戶、運(yùn)營(yíng)等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)沙盤演練數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層（續(xù)）根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺(tái)加工計(jì)算的結(jié)果數(shù)據(jù)為部署在數(shù)據(jù)平臺(tái)上的城市內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持?jǐn)?shù)據(jù)內(nèi)容主要用途數(shù)據(jù)模型保留周期用戶

訪問模式工作負(fù)載可用性要求應(yīng)用模型，依賴于用戶業(yè)務(wù)需求依賴于用戶業(yè)務(wù)需求城市外部人員，如：京東客戶通過自己部署在Paas平臺(tái)上的應(yīng)用訪問I/O敏感型，BI工具提交的報(bào)表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）獨(dú)立的Paas平臺(tái)，部署Hadoop集群無(wú)單點(diǎn)故障，7×24小時(shí)+非工作日有限停機(jī)城市業(yè)務(wù)人員高時(shí)效、高并發(fā)、高可靠性的聯(lián)機(jī)交易類查詢CPU敏感，BI工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時(shí)效查詢，以及準(zhǔn)實(shí)時(shí)連續(xù)ETL處理+SQL批量處理獨(dú)立的內(nèi)存數(shù)據(jù)庫(kù)集群無(wú)單點(diǎn)故障，365×24小時(shí)不停機(jī)貼源數(shù)據(jù)模型依賴用戶業(yè)務(wù)需求面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時(shí)間的交易流水為實(shí)時(shí)獲準(zhǔn)實(shí)時(shí)分析應(yīng)用提供數(shù)據(jù)服務(wù)增值產(chǎn)品數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)存儲(chǔ)層數(shù)據(jù)流數(shù)據(jù)集成層操作型聚合數(shù)據(jù)臨時(shí)數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)公共匯總數(shù)據(jù)主題明細(xì)數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)實(shí)驗(yàn)室數(shù)據(jù)集市數(shù)據(jù)區(qū)POP自營(yíng)數(shù)據(jù)貼源數(shù)據(jù)區(qū)城市大數(shù)據(jù)數(shù)據(jù)主題數(shù)據(jù)區(qū)客戶管理集市財(cái)務(wù)管理集市運(yùn)營(yíng)管理集市風(fēng)險(xiǎn)管理集市……集市大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)財(cái)務(wù)審計(jì)數(shù)據(jù)財(cái)務(wù)研發(fā)數(shù)據(jù)操作型明細(xì)據(jù)歸檔數(shù)據(jù)區(qū)城市大數(shù)據(jù)區(qū)源系統(tǒng)數(shù)據(jù)文件貼源數(shù)據(jù)主題數(shù)據(jù)集市數(shù)據(jù)高時(shí)效數(shù)據(jù)城市大數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)區(qū)城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)應(yīng)用層城市大數(shù)據(jù)平臺(tái)應(yīng)用針對(duì)公檢法查詢需求、內(nèi)外部審計(jì)需求和最終用戶的歷史交易查詢需求，以貼源存儲(chǔ)的歸檔數(shù)據(jù)為基礎(chǔ)，實(shí)現(xiàn)的查詢類應(yīng)用歷史查詢類應(yīng)用通常使用BI工具或自主開發(fā)實(shí)現(xiàn)客戶經(jīng)理等最終業(yè)務(wù)人員針對(duì)當(dāng)前業(yè)務(wù)的發(fā)生（如：用戶交易、用戶訪問日志），進(jìn)行實(shí)時(shí)查詢、分析的應(yīng)用管理分析類應(yīng)用主要實(shí)現(xiàn)了社會(huì)客戶管理、運(yùn)營(yíng)管理、財(cái)務(wù)管理、風(fēng)險(xiǎn)管理、監(jiān)管信息披露五大分析體系功能管理分析類應(yīng)用通常采用套裝軟件和BI工具（MicroStrategy等）實(shí)現(xiàn)業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對(duì)業(yè)務(wù)的理解，設(shè)計(jì)計(jì)算模型，準(zhǔn)備各類明細(xì)或匯總數(shù)據(jù)，導(dǎo)入模型運(yùn)算，驗(yàn)證業(yè)務(wù)結(jié)果沙盤演練類應(yīng)用通常使用R語(yǔ)言在Hadoop分布式體系下實(shí)現(xiàn)城市大數(shù)據(jù)數(shù)據(jù)科學(xué)家根據(jù)自己對(duì)業(yè)務(wù)需求的理解或者對(duì)市場(chǎng)的判斷，設(shè)計(jì)并運(yùn)行模型，發(fā)掘數(shù)據(jù)價(jià)值，并封裝成商業(yè)產(chǎn)品數(shù)據(jù)增值產(chǎn)品通常采用R語(yǔ)言和BI工具實(shí)現(xiàn)，面向城市內(nèi)外部用戶管理分析類應(yīng)用1沙盤演練類應(yīng)用3歷史查詢類應(yīng)用4高時(shí)效類分析應(yīng)用5數(shù)據(jù)增值類產(chǎn)品2實(shí)時(shí)分析類應(yīng)用通常使用CEP、ESB等技術(shù)實(shí)現(xiàn)城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——平臺(tái)發(fā)展不同階段對(duì)應(yīng)應(yīng)用工作負(fù)載復(fù)雜度城市大數(shù)據(jù)平臺(tái)發(fā)展階段劃分操作為主階段什么正在發(fā)生？動(dòng)態(tài)數(shù)據(jù)倉(cāng)庫(kù)階段

讓正確的事情發(fā)生！分析為主階段為什么會(huì)發(fā)生報(bào)表為主階段發(fā)生了什么預(yù)測(cè)為主階段將會(huì)發(fā)生什么？批量隨機(jī)查詢數(shù)據(jù)分析持續(xù)更新加載/短查詢基于事件的動(dòng)態(tài)觸發(fā)數(shù)據(jù)量增長(zhǎng)用戶數(shù)增長(zhǎng)查詢復(fù)雜度增長(zhǎng)ETL處理復(fù)雜度增長(zhǎng)管理分析類應(yīng)用歷史查詢類應(yīng)用實(shí)時(shí)分析類應(yīng)用沙盤演練類應(yīng)用數(shù)據(jù)增值類產(chǎn)品城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——管理分析類應(yīng)用總賬分析資產(chǎn)負(fù)債表分析損益表分析現(xiàn)金流量表分析財(cái)務(wù)指標(biāo)分析盈利分析機(jī)構(gòu)貢獻(xiàn)度產(chǎn)品貢獻(xiàn)度客戶細(xì)分貢獻(xiàn)度渠道績(jī)效資產(chǎn)負(fù)債分析主要指標(biāo)報(bào)告，如：凈利息收入、凈收入、凈現(xiàn)值、市場(chǎng)價(jià)值等頭寸報(bào)告現(xiàn)金流報(bào)告風(fēng)險(xiǎn)價(jià)值（VaR）計(jì)算財(cái)務(wù)預(yù)算與計(jì)劃財(cái)務(wù)預(yù)算財(cái)務(wù)計(jì)劃執(zhí)行監(jiān)控執(zhí)行過程分析年末財(cái)務(wù)計(jì)劃執(zhí)行分析預(yù)測(cè)與場(chǎng)景分析業(yè)務(wù)規(guī)模預(yù)測(cè)收益預(yù)測(cè)……領(lǐng)導(dǎo)管理駕駛艙機(jī)構(gòu)績(jī)效考核客戶經(jīng)理考核客戶經(jīng)理工作量評(píng)估客戶經(jīng)理服務(wù)客戶收益評(píng)估產(chǎn)品績(jī)效考核業(yè)務(wù)量考核智慧園區(qū)業(yè)務(wù)智慧社區(qū)業(yè)務(wù)保理業(yè)務(wù)基金業(yè)務(wù)其它中間業(yè)務(wù)……渠道成本與收益……風(fēng)險(xiǎn)監(jiān)控報(bào)表/信息披露流動(dòng)性報(bào)表利率敏感性報(bào)表資本充足率報(bào)表……市場(chǎng)風(fēng)險(xiǎn)市場(chǎng)風(fēng)險(xiǎn)暴露值流動(dòng)性管理、利率管理信用風(fēng)險(xiǎn)信用風(fēng)險(xiǎn)暴露值計(jì)算信用風(fēng)險(xiǎn)控制（貸前控制、貸中監(jiān)控、貸后分析）操作風(fēng)險(xiǎn)異常交易預(yù)警后督差錯(cuò)檢查……防欺詐/反洗錢定義欺詐交易模型可能性欺詐交易預(yù)警欺詐交易分布分析全面風(fēng)險(xiǎn)管理……目前監(jiān)管機(jī)構(gòu)沒有明確要求客戶單一視圖公司客戶信息管理個(gè)人客戶信息管理同業(yè)客戶信息管理目標(biāo)客戶搜索重點(diǎn)客戶關(guān)懷客戶風(fēng)險(xiǎn)客戶異動(dòng)客戶客戶細(xì)分個(gè)人客戶細(xì)分公司客戶細(xì)分客戶行為分析客戶輪廓分析產(chǎn)品交叉銷售分析百分比分析渠道偏好分析營(yíng)銷活動(dòng)管理營(yíng)銷活動(dòng)規(guī)劃營(yíng)銷活動(dòng)定義營(yíng)銷活動(dòng)執(zhí)行營(yíng)銷活動(dòng)蘋果營(yíng)銷活動(dòng)自動(dòng)化渠道接口與集成流程自動(dòng)化……客戶管理運(yùn)營(yíng)管理財(cái)務(wù)管理風(fēng)險(xiǎn)管理監(jiān)管披露示例城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)訪問層即席查詢：通過即席查詢工具或手工書寫SQL語(yǔ)句，完成業(yè)務(wù)信息的即席查看多維分析：從多個(gè)維度靈活組合對(duì)目標(biāo)值進(jìn)行分析，常見功能包括上下鉆取、透明鉆取、旋轉(zhuǎn)、分頁(yè)、層鉆、跨維鉆取等主動(dòng)問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)城市運(yùn)營(yíng)中的問題，通過手機(jī)、郵件等方式報(bào)警決策層管理層業(yè)務(wù)人員即席查詢靜態(tài)報(bào)表多維分析儀表盤挖掘預(yù)測(cè)儀表盤：通過儀表盤及其它展現(xiàn)方式對(duì)城市關(guān)鍵績(jī)效指標(biāo)進(jìn)行展示，為領(lǐng)導(dǎo)層決策提供直觀的數(shù)據(jù)支持靜態(tài)報(bào)表：按照預(yù)先定義格式，批處理報(bào)表，在線查詢報(bào)表等Office集成：將分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，降低用戶使用難度問題發(fā)現(xiàn)Office集成Web服務(wù)挖掘預(yù)測(cè)：使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計(jì)等高級(jí)統(tǒng)計(jì)分析算法，分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價(jià)值數(shù)據(jù)科學(xué)家業(yè)務(wù)系統(tǒng)Web服務(wù)：將分析應(yīng)用的功能發(fā)布為Web服務(wù)，注冊(cè)在城市服務(wù)總線上，供其它業(yè)務(wù)系統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果多種展現(xiàn)形式滿足各層級(jí)用戶及應(yīng)用系統(tǒng)使用需求城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)管控層金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控平臺(tái)四個(gè)域。數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理工作流管理……組織數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會(huì)數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團(tuán)隊(duì)考核指標(biāo)責(zé)任評(píng)價(jià)標(biāo)準(zhǔn)執(zhí)行評(píng)價(jià)政策執(zhí)行評(píng)價(jià)評(píng)價(jià)標(biāo)準(zhǔn)數(shù)據(jù)類型數(shù)據(jù)格式業(yè)務(wù)分類真實(shí)性定義及時(shí)性定義完整性定義技術(shù)元數(shù)據(jù)流程評(píng)價(jià)與考核流程考核指標(biāo)建立/維護(hù)流程標(biāo)準(zhǔn)建立/維護(hù)流程組織建立/維護(hù)流程評(píng)價(jià)與考核業(yè)務(wù)含義一致性定義數(shù)據(jù)認(rèn)責(zé)平臺(tái)安全等級(jí)權(quán)限定義數(shù)據(jù)停用數(shù)據(jù)共享數(shù)據(jù)移動(dòng)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)創(chuàng)建業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)數(shù)據(jù)全生命周期數(shù)據(jù)安全管理數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全…………審計(jì)定義保留策略……城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)管控體系運(yùn)轉(zhuǎn)機(jī)制管控組織數(shù)據(jù)管控委員會(huì)數(shù)據(jù)所有人數(shù)據(jù)認(rèn)責(zé)人IT支持……管控流程數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權(quán)流程數(shù)據(jù)退役流程標(biāo)準(zhǔn)/政策制定流程評(píng)價(jià)考核流程……評(píng)價(jià)與考核標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）遵守標(biāo)準(zhǔn)所需要的政策政策與標(biāo)準(zhǔn)遵從考評(píng)定義……數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………流程支撐流程支撐制定管控平臺(tái)工具支撐明確了數(shù)據(jù)管控過程中的組織結(jié)構(gòu)、角色、職責(zé)等。管控組織除了要負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全等要求外，還需要負(fù)責(zé)制定管控的相關(guān)流程和評(píng)價(jià)考核指標(biāo)等內(nèi)容。考評(píng)制定通過建立一些定性或定量的數(shù)據(jù)管控評(píng)價(jià)考核指標(biāo)，去評(píng)估及考核數(shù)據(jù)相關(guān)責(zé)任人職責(zé)履行情況、數(shù)據(jù)管控標(biāo)準(zhǔn)及數(shù)據(jù)政策的執(zhí)行情況等。規(guī)范了數(shù)據(jù)管控過程中，各個(gè)環(huán)節(jié)日常任務(wù)處理的運(yùn)作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。采用專門的技術(shù)平臺(tái)支撐管控流程的自動(dòng)化，發(fā)布管控組織制定的一些相關(guān)標(biāo)準(zhǔn)和規(guī)范，及時(shí)反映管控過程中存在的一些問題等。管控綜合管理標(biāo)準(zhǔn)/規(guī)范管理流程管理考核儀表盤……元數(shù)據(jù)管理業(yè)務(wù)元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)管理管理元數(shù)據(jù)分析……數(shù)據(jù)質(zhì)量管理稽核規(guī)則管理數(shù)據(jù)稽核質(zhì)量報(bào)告……工具支撐組織架構(gòu)、評(píng)價(jià)與考核、管控流程、管控工具這四個(gè)域相互作用、相互支撐，提供對(duì)各信息系統(tǒng)數(shù)據(jù)的管控。城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)管控組織數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負(fù)責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測(cè)正在進(jìn)行的數(shù)據(jù)管控行動(dòng)。數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個(gè)數(shù)據(jù)管控的成敗的關(guān)鍵。典型的數(shù)據(jù)管控組織如下所示：數(shù)據(jù)管控負(fù)責(zé)部門崗位角色數(shù)據(jù)管控主導(dǎo)方信息管理委員會(huì)

數(shù)據(jù)標(biāo)準(zhǔn)管理員數(shù)據(jù)質(zhì)量管理員數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)管控參與方業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)使用部門業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)擁有部門業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員數(shù)據(jù)主管數(shù)據(jù)管理部門運(yùn)維組織實(shí)施項(xiàng)目組數(shù)據(jù)安全管理員數(shù)據(jù)管控經(jīng)理元數(shù)據(jù)管理員城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)標(biāo)準(zhǔn)管理消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個(gè)規(guī)范的管理流程中，進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個(gè)部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)標(biāo)準(zhǔn)管理的考評(píng)。數(shù)據(jù)標(biāo)準(zhǔn)建立和維護(hù)數(shù)據(jù)分類數(shù)據(jù)結(jié)構(gòu)關(guān)鍵業(yè)務(wù)對(duì)象關(guān)鍵代碼數(shù)據(jù)維度代碼映射客戶類數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品類數(shù)據(jù)標(biāo)準(zhǔn)。。。類數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)管理的考評(píng)定性考評(píng)定量考評(píng)數(shù)據(jù)標(biāo)準(zhǔn)分析報(bào)告數(shù)據(jù)標(biāo)準(zhǔn)理念推廣歸檔系統(tǒng)……ODS城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理框架藍(lán)圖如下，其中數(shù)據(jù)質(zhì)量提升是改進(jìn)數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評(píng)的目的：數(shù)據(jù)質(zhì)量要求確認(rèn)，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時(shí)也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；數(shù)據(jù)質(zhì)量考評(píng)，對(duì)數(shù)據(jù)質(zhì)量的量化評(píng)價(jià)制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評(píng)和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實(shí)施相應(yīng)的措施，提升數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量要求業(yè)務(wù)規(guī)則數(shù)據(jù)一致性要求數(shù)據(jù)完整性要求數(shù)據(jù)唯一性要求數(shù)據(jù)準(zhǔn)確性要求數(shù)據(jù)及時(shí)性要求數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量驗(yàn)證規(guī)則數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量提升數(shù)據(jù)補(bǔ)錄手工修正自動(dòng)修正數(shù)據(jù)質(zhì)量考評(píng)數(shù)據(jù)質(zhì)量監(jiān)控不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)質(zhì)量分析報(bào)告城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——元數(shù)據(jù)管理業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個(gè)方面對(duì)數(shù)據(jù)進(jìn)行描述管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運(yùn)維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細(xì)節(jié)方面對(duì)數(shù)據(jù)進(jìn)行技術(shù)化描述城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)安全管理數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級(jí)管理和數(shù)據(jù)訪問授權(quán)管理兩個(gè)部分：數(shù)據(jù)安全分級(jí)：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理中實(shí)施數(shù)據(jù)安全保護(hù)和訪問提供數(shù)據(jù)安全控制的基礎(chǔ)。數(shù)據(jù)訪問授權(quán)：數(shù)據(jù)訪問授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級(jí)標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問的授權(quán)方法及流程，建立基于數(shù)據(jù)安全分級(jí)的數(shù)據(jù)使用授權(quán)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)訪問和信息披露的安全。數(shù)據(jù)安全分級(jí)數(shù)據(jù)敏感度數(shù)據(jù)安全等級(jí)定義數(shù)據(jù)訪問授權(quán)數(shù)據(jù)重要性數(shù)據(jù)使用需求數(shù)據(jù)使用者權(quán)責(zé)數(shù)據(jù)訪問授權(quán)規(guī)則安全技術(shù)城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——高階工作流程業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)治理考核體系數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標(biāo)體系數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程數(shù)據(jù)標(biāo)準(zhǔn)建立流程數(shù)據(jù)標(biāo)準(zhǔn)維護(hù)流程數(shù)據(jù)質(zhì)量管理管理高階流程數(shù)據(jù)質(zhì)量要求確定流程元數(shù)據(jù)管理高階流程元數(shù)據(jù)變更流程數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程數(shù)據(jù)認(rèn)責(zé)流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程協(xié)調(diào)會(huì)議考核流程城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)——數(shù)據(jù)管控平臺(tái)數(shù)據(jù)管控平臺(tái)從總體上來(lái)說(shuō)分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個(gè)主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫(kù)及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來(lái)源，通過應(yīng)用層的運(yùn)算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口首頁(yè)標(biāo)準(zhǔn)管理主菜單指標(biāo)速遞待辦事項(xiàng)信息地圖標(biāo)準(zhǔn)瀏覽標(biāo)準(zhǔn)維護(hù)工作管理流程管理績(jī)效指標(biāo)系統(tǒng)管理用戶管理權(quán)限管理規(guī)范管理數(shù)據(jù)管控平臺(tái)統(tǒng)一用戶集成界面數(shù)據(jù)標(biāo)準(zhǔn)知識(shí)庫(kù)數(shù)據(jù)管控平臺(tái)知識(shí)庫(kù)……元數(shù)據(jù)管理元數(shù)據(jù)采集……元數(shù)據(jù)知識(shí)庫(kù)質(zhì)量管理規(guī)則配置……質(zhì)量稽核庫(kù)數(shù)據(jù)層應(yīng)用層展現(xiàn)層城市大數(shù)據(jù)分析平臺(tái)總體產(chǎn)品框架非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)管理分析平臺(tái)（X86MPP集群）京東業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)基礎(chǔ)計(jì)算平臺(tái)（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+城市大數(shù)據(jù)區(qū)）（Hadoop集群+Hive）數(shù)據(jù)交換平臺(tái)（自主開發(fā)交換組件+NAS存儲(chǔ)）實(shí)時(shí)分析平臺(tái)（內(nèi)存數(shù)據(jù)庫(kù)）沙盤演練平臺(tái)（Hadoop集群）數(shù)據(jù)管控平臺(tái)FTPSFTP/HTTP/APICopyfromloalQueue京東云數(shù)據(jù)推送平臺(tái)增值產(chǎn)品平臺(tái)（Hadoop集群）歷史歸檔查詢平臺(tái)（Hadoop集群+Hive）Load（Hive）DistcpHQL+LoadDistcpDistcpHQL+LoadDistcpHQL+LoadSqoopSqoopSqoopMR流程調(diào)度平臺(tái)目錄城市大數(shù)據(jù)分析平臺(tái)綜述1城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)2城市大數(shù)據(jù)分析平臺(tái)演進(jìn)路線3城市大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn)4城市大數(shù)據(jù)質(zhì)量管理平臺(tái)5城市大數(shù)據(jù)分析平臺(tái)演進(jìn)路線以基礎(chǔ)平臺(tái)搭建為主，配合城市大數(shù)據(jù)初期業(yè)務(wù)開展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險(xiǎn)管理和運(yùn)營(yíng)管理三方面開展搭建城市大數(shù)據(jù)處理平臺(tái)和實(shí)時(shí)分析平臺(tái)，應(yīng)用方面開展實(shí)時(shí)分析和數(shù)據(jù)產(chǎn)品封裝開展客戶信息管理、信用風(fēng)險(xiǎn)評(píng)級(jí)和業(yè)務(wù)統(tǒng)計(jì)分析三類應(yīng)用建設(shè)開展貼源數(shù)據(jù)整合，初步建立城市級(jí)數(shù)據(jù)視圖，實(shí)現(xiàn)對(duì)管理分析類應(yīng)用和實(shí)時(shí)分析類應(yīng)用的支撐規(guī)劃數(shù)據(jù)管控藍(lán)圖，初步實(shí)施數(shù)據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理2013年2014年——2015年2015年以后對(duì)城市價(jià)值的創(chuàng)造應(yīng)管技業(yè)務(wù)分析框架基礎(chǔ)數(shù)據(jù)平臺(tái)數(shù)據(jù)管控體系應(yīng)技管全面開展管理分析、實(shí)時(shí)分析和沙盤演練應(yīng)用建設(shè)，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展城市大數(shù)據(jù)分析平臺(tái)建設(shè)，引入更多數(shù)據(jù)源，豐富并完善平臺(tái)數(shù)據(jù)區(qū)建設(shè)隨著應(yīng)用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè)，開展數(shù)據(jù)標(biāo)準(zhǔn)化工作應(yīng)技管深化分析體系，形成深度智能化業(yè)務(wù)分析性能持續(xù)優(yōu)化、數(shù)據(jù)平臺(tái)持續(xù)完善、持續(xù)深化數(shù)據(jù)管控體系，形成城市大數(shù)據(jù)城市級(jí)的數(shù)據(jù)管控體系應(yīng)技管一期2013.10當(dāng)前位置未來(lái)持續(xù)優(yōu)化提升階段第一階段第二階段第三階段城市大數(shù)據(jù)分析平臺(tái)演進(jìn)說(shuō)明——基礎(chǔ)數(shù)據(jù)平臺(tái)階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段搭建數(shù)據(jù)交換平臺(tái)，部署NAS存儲(chǔ)集群，設(shè)計(jì)并實(shí)施數(shù)據(jù)庫(kù)交換組件和數(shù)據(jù)區(qū)交換組件搭建基礎(chǔ)計(jì)算平臺(tái)，設(shè)計(jì)并實(shí)施貼源數(shù)據(jù)區(qū)，以T+1頻率整合城市和城市大數(shù)據(jù)數(shù)據(jù)搭建歷史歸檔查詢平臺(tái)，歸檔城市和城市大數(shù)據(jù)數(shù)據(jù)文件搭建管理分析應(yīng)用平臺(tái)，部署MPP集群和BI分析應(yīng)用環(huán)境搭建實(shí)時(shí)分析平臺(tái)，部署內(nèi)存數(shù)據(jù)庫(kù)和實(shí)時(shí)BI分析環(huán)境實(shí)現(xiàn)了數(shù)據(jù)平臺(tái)個(gè)數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺(tái)與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸實(shí)現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整合實(shí)現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理實(shí)現(xiàn)了管理分析環(huán)境搭建實(shí)現(xiàn)實(shí)時(shí)分析環(huán)境搭建第二階段數(shù)據(jù)交換平臺(tái)增強(qiáng)和優(yōu)化，包括：城市大數(shù)據(jù)交換組件設(shè)計(jì)實(shí)施基礎(chǔ)計(jì)算平臺(tái)增強(qiáng)，包括：引入更多的數(shù)據(jù)源，增強(qiáng)貼源數(shù)據(jù)區(qū)；設(shè)計(jì)并實(shí)施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計(jì)并實(shí)施城市大數(shù)據(jù)區(qū)，實(shí)現(xiàn)城市內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理搭建沙盤演練平臺(tái)實(shí)時(shí)分析平臺(tái)增強(qiáng)和優(yōu)化，包括：引入更多應(yīng)用及相關(guān)數(shù)據(jù)源實(shí)現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲(chǔ)、一次計(jì)算、多次使用建立了數(shù)據(jù)分析人員的實(shí)驗(yàn)環(huán)境，實(shí)現(xiàn)了用戶自主用數(shù)為實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類分析用提供平臺(tái)為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺(tái)第三階段基礎(chǔ)計(jì)算平臺(tái)持續(xù)增強(qiáng)和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和ETL處理搭建增值產(chǎn)品平臺(tái)，設(shè)計(jì)并實(shí)施增值產(chǎn)品數(shù)據(jù)區(qū)數(shù)據(jù)交換平臺(tái)、沙盤演練平臺(tái)、實(shí)時(shí)分析平臺(tái)進(jìn)一步增強(qiáng)和優(yōu)化數(shù)據(jù)平臺(tái)納入盡可能多的城市內(nèi)外部數(shù)據(jù)數(shù)據(jù)平臺(tái)以最優(yōu)的性能支持各類數(shù)據(jù)應(yīng)用城市大數(shù)據(jù)分析平臺(tái)演進(jìn)說(shuō)明——數(shù)據(jù)管控階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段分析和梳理當(dāng)前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍(lán)圖和路線圖設(shè)計(jì)，數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計(jì)梳理城市大數(shù)據(jù)城市大數(shù)據(jù)平臺(tái)ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求，指定數(shù)據(jù)質(zhì)量檢查規(guī)則、評(píng)價(jià)指標(biāo)、管控流程，并落地實(shí)施數(shù)據(jù)質(zhì)量管理系統(tǒng)梳理城市大數(shù)據(jù)城市大數(shù)據(jù)平臺(tái)包含的技術(shù)元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務(wù)、ETL流程、BI語(yǔ)義層等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)同步城市大數(shù)據(jù)分析平臺(tái)ETL建設(shè)，實(shí)現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)收集并整合了城市大數(shù)據(jù)所有技術(shù)元數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第二階段隨著更多數(shù)據(jù)源的引入，進(jìn)一步增強(qiáng)數(shù)據(jù)質(zhì)量管理系統(tǒng)隨著更多數(shù)據(jù)源的引入、更多平臺(tái)的建立，梳理并整合更多技術(shù)元數(shù)據(jù)梳理城市大數(shù)據(jù)城市大數(shù)據(jù)平臺(tái)包含的業(yè)務(wù)和管理類元數(shù)據(jù)，如業(yè)務(wù)術(shù)語(yǔ)、業(yè)務(wù)指標(biāo)、業(yè)務(wù)定義等，制定相應(yīng)的管控流程并落地實(shí)施元數(shù)據(jù)管理系統(tǒng)開展基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)，基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評(píng)價(jià)指標(biāo)、落地策略完善了數(shù)據(jù)質(zhì)量管理體系，實(shí)現(xiàn)了問題及時(shí)發(fā)現(xiàn)、及時(shí)解決實(shí)現(xiàn)了城市大數(shù)據(jù)全方位的元數(shù)據(jù)管理，打通了業(yè)務(wù)和技術(shù)元數(shù)據(jù)關(guān)聯(lián)關(guān)系為城市大數(shù)據(jù)數(shù)據(jù)平臺(tái)建設(shè)提供了基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)第三階段數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強(qiáng)元數(shù)據(jù)管理持續(xù)優(yōu)化并增強(qiáng)基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)逐步落地實(shí)施開展指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評(píng)價(jià)指標(biāo)、落地策略通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性、建立數(shù)據(jù)間的血緣關(guān)系，使得業(yè)務(wù)人員可以方便、有效的使用數(shù)據(jù)，提高數(shù)據(jù)實(shí)用性城市大數(shù)據(jù)分析平臺(tái)演進(jìn)說(shuō)明——應(yīng)用體系階段劃分建設(shè)內(nèi)容預(yù)期效果第一階段開展客戶信息管理建設(shè)，設(shè)計(jì)并實(shí)施個(gè)人客戶和供應(yīng)商360°視圖、客戶目標(biāo)搜索、客戶細(xì)分等功能開展風(fēng)險(xiǎn)管理建設(shè)，設(shè)計(jì)并實(shí)施供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)評(píng)級(jí)模型開展運(yùn)營(yíng)管理建設(shè)，設(shè)計(jì)并實(shí)施智慧園區(qū)、智慧社區(qū)等業(yè)務(wù)條線業(yè)務(wù)量統(tǒng)計(jì)分析初步梳理實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析需求，進(jìn)行高時(shí)效分析應(yīng)用試點(diǎn)可以方便的對(duì)個(gè)人客戶和供應(yīng)商進(jìn)行分群，以及全方位信息查詢和展示供應(yīng)商和個(gè)人客戶風(fēng)險(xiǎn)等級(jí)評(píng)定針對(duì)目前開展的業(yè)務(wù)進(jìn)行經(jīng)營(yíng)情況統(tǒng)計(jì)分析搭建并驗(yàn)證高時(shí)效應(yīng)用體系第二階段隨著城市大數(shù)據(jù)業(yè)務(wù)的展開，逐步開展管理分析體系的建設(shè)，本階段重點(diǎn)為客戶關(guān)系管理、運(yùn)營(yíng)管理等高級(jí)業(yè)務(wù)人員利用沙盤演練平臺(tái)進(jìn)行數(shù)據(jù)挖掘、預(yù)測(cè)和科學(xué)試驗(yàn)進(jìn)一步樹立實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析需求，深化開展高時(shí)效分析應(yīng)用開始梳理市場(chǎng)上的數(shù)據(jù)應(yīng)用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品通過管理分析體系的建設(shè)、滿足了城市大數(shù)據(jù)日常經(jīng)營(yíng)管理、決策分析和進(jìn)一步提高價(jià)值創(chuàng)造力的需要實(shí)現(xiàn)了業(yè)務(wù)人員自主用數(shù)實(shí)現(xiàn)了高時(shí)效分析，與業(yè)務(wù)流程的整合實(shí)現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價(jià)值第三階段隨著城市大數(shù)據(jù)業(yè)務(wù)的展開，進(jìn)一步完善管理分析體系的建設(shè)，包括：市場(chǎng)風(fēng)險(xiǎn)管理、操作風(fēng)險(xiǎn)管理、財(cái)務(wù)管理等收集實(shí)時(shí)分析需求，進(jìn)一步增強(qiáng)并優(yōu)化實(shí)時(shí)分析應(yīng)用體系增值數(shù)據(jù)產(chǎn)品設(shè)計(jì)逐漸成為重點(diǎn)，數(shù)據(jù)分析師收集城市內(nèi)外部數(shù)據(jù)需求，設(shè)計(jì)更完善的增值數(shù)據(jù)產(chǎn)品通過管理分析應(yīng)用體系建設(shè)進(jìn)一步實(shí)現(xiàn)數(shù)據(jù)共享、業(yè)務(wù)協(xié)作與創(chuàng)新通過實(shí)時(shí)分析應(yīng)用體系建設(shè)，實(shí)現(xiàn)城市大數(shù)據(jù)平臺(tái)業(yè)務(wù)系統(tǒng)的交互，與業(yè)務(wù)流程的融合增值數(shù)據(jù)產(chǎn)品的開發(fā)進(jìn)一步發(fā)揮的數(shù)據(jù)平臺(tái)的數(shù)據(jù)價(jià)值目錄城市大數(shù)據(jù)分析平臺(tái)綜述1城市大數(shù)據(jù)分析平臺(tái)總體架構(gòu)2城市大數(shù)據(jù)分析平臺(tái)演進(jìn)路線3城市大數(shù)據(jù)分析平臺(tái)一期實(shí)施重點(diǎn)4城市大數(shù)據(jù)質(zhì)量管理平臺(tái)5金融城市大數(shù)據(jù)分析平臺(tái)一期架構(gòu)基礎(chǔ)計(jì)算平臺(tái)：基于Hadoop集群構(gòu)建，按照業(yè)務(wù)條線、以貼源數(shù)據(jù)模型存儲(chǔ)了業(yè)務(wù)系統(tǒng)明細(xì)數(shù)據(jù)數(shù)據(jù)交換平臺(tái)：NAS集群實(shí)現(xiàn)了進(jìn)出數(shù)據(jù)平臺(tái)數(shù)據(jù)的暫存，業(yè)務(wù)數(shù)據(jù)交換組件實(shí)現(xiàn)了業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)加載，數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實(shí)現(xiàn)了基礎(chǔ)計(jì)算平臺(tái)與管理分析平臺(tái)間的數(shù)據(jù)交換流程調(diào)度平臺(tái)：自主開發(fā)的流程調(diào)度引擎實(shí)現(xiàn)整個(gè)數(shù)據(jù)平臺(tái)的數(shù)據(jù)處理任務(wù)調(diào)度和運(yùn)行管理分析平臺(tái)：由X86分析型數(shù)據(jù)庫(kù)集群、BI軟件1J2EE應(yīng)用構(gòu)成，實(shí)現(xiàn)了面向應(yīng)用的數(shù)據(jù)加工、管理、分析服務(wù)實(shí)時(shí)分析平臺(tái)：由高檔X86服務(wù)器組成的集群，實(shí)現(xiàn)高時(shí)效、高并發(fā)的實(shí)時(shí)、準(zhǔn)實(shí)時(shí)類管理分析需求數(shù)據(jù)交換平臺(tái)—平臺(tái)邏輯架構(gòu)POP金融城市大數(shù)據(jù)分析平臺(tái)NAS集群物流財(cái)務(wù)供應(yīng)鏈智慧社區(qū)……云數(shù)據(jù)推送平臺(tái)云數(shù)據(jù)推送平臺(tái)實(shí)現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。平臺(tái)采用GoldenGate、JBUS、Flume等技術(shù)獲取增量數(shù)據(jù)，存儲(chǔ)在MySQL集群平臺(tái)按照接口規(guī)范生成文件，LZO壓縮后，通過FTP傳輸?shù)絅AS指定目錄數(shù)據(jù)交換平臺(tái)由FTP服務(wù)器、加載服務(wù)器和NAS存儲(chǔ)組成，完成業(yè)務(wù)系統(tǒng)數(shù)據(jù)的獲取、加載和歸檔FTP服務(wù)器：利用LVS構(gòu)成的FTP集群，接收云數(shù)據(jù)推送平臺(tái)處理后的數(shù)據(jù)，存儲(chǔ)在NAS集群的指定目錄加載服務(wù)器：部署ETL任務(wù)，實(shí)現(xiàn)指定目錄的文件到達(dá)監(jiān)控、文件級(jí)檢核、數(shù)據(jù)加載（HiveLoad）到臨時(shí)數(shù)據(jù)區(qū)，同時(shí)歸檔（copyfromlocal）歷史數(shù)據(jù)區(qū)NAS集群：按照日期和源系統(tǒng)劃分目錄，緩存數(shù)據(jù)，支持日常數(shù)據(jù)交換和ETL…………LVS集群：FTP服務(wù)器#3加載服務(wù)器#1文件加載文件歸檔文件到達(dá)事件監(jiān)控文件級(jí)檢核加載服務(wù)器#4文件加載文件歸檔文件到達(dá)事件監(jiān)控文件級(jí)檢核LVS集群：FTP服務(wù)器#1LVS集群：負(fù)載均衡服務(wù)器…………數(shù)據(jù)交換平臺(tái)—參與方責(zé)任劃分設(shè)計(jì)并實(shí)施云數(shù)據(jù)推送平臺(tái)；按照城市大數(shù)據(jù)接口定義，抽取業(yè)務(wù)系統(tǒng)數(shù)據(jù)；按照城市大數(shù)據(jù)接口規(guī)范要求，按時(shí)生成數(shù)據(jù)文件、控制文件和DDL文件，并通過FTP傳輸?shù)絅AS指定目錄；若源系統(tǒng)有變更，則要求在變更前提供變更內(nèi)容說(shuō)明，升級(jí)平臺(tái)版本，根據(jù)城市大數(shù)據(jù)更新接口規(guī)范提供數(shù)據(jù)；應(yīng)及時(shí)解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題；對(duì)于未盡事宜，應(yīng)同城市大數(shù)據(jù)協(xié)商解決。云計(jì)算安裝部署城市大數(shù)據(jù)城市大數(shù)據(jù)分析平臺(tái)物理環(huán)境、應(yīng)用軟件，并進(jìn)行基礎(chǔ)設(shè)施運(yùn)維；在業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)服務(wù)器安裝并部署云數(shù)據(jù)推送平臺(tái)客戶端，并提供數(shù)據(jù)庫(kù)訪問。運(yùn)維部門制定接口規(guī)范，并提交給云數(shù)據(jù)推送項(xiàng)目組；梳理業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項(xiàng)目組；開發(fā)數(shù)據(jù)交換組件，從NAS獲取數(shù)據(jù)并處理；對(duì)接收的數(shù)據(jù)提供驗(yàn)證功能，并返回驗(yàn)證結(jié)果到云數(shù)據(jù)推送平臺(tái)；根據(jù)云數(shù)據(jù)推送平臺(tái)提交的變更通知修改接口定義和數(shù)據(jù)交換組件；對(duì)于未盡事宜，應(yīng)同云計(jì)算方協(xié)商解決。城市大數(shù)據(jù)針對(duì)城市大數(shù)據(jù)需求，指定接口人、提供文檔；業(yè)務(wù)系統(tǒng)因版本升級(jí)等原因?qū)е聰?shù)據(jù)模型發(fā)生變化，及時(shí)通知云數(shù)據(jù)推送平臺(tái)接口責(zé)任人。研發(fā)部門數(shù)據(jù)交換平臺(tái)—業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取實(shí)現(xiàn)方式每張?jiān)聪到y(tǒng)表都對(duì)應(yīng)一個(gè)獨(dú)立的數(shù)據(jù)接口數(shù)據(jù)接口由數(shù)據(jù)文件和控制文件構(gòu)成（文件命名和具體內(nèi)容參見接口規(guī)范）文件統(tǒng)一采用UTF-8編碼，統(tǒng)一存在在JSS指定目錄（參見接口規(guī)范）如果在抽取周期內(nèi)沒有數(shù)據(jù)變更，云數(shù)據(jù)推送平臺(tái)應(yīng)該生成空的數(shù)據(jù)接口傳輸方式FTP傳輸