智慧城市數(shù)據(jù)大腦建設(shè)規(guī)劃方案【完整版】

LOGO智慧城市數(shù)據(jù)大腦建設(shè)規(guī)劃方案前言黨的十八屆五中全會強調(diào)“創(chuàng)新、協(xié)調(diào)、綠色、開放、共享”五大發(fā)展理念，為城市發(fā)展賦予了新的內(nèi)涵?！吨腥A人民共和國國民經(jīng)濟和社會發(fā)展第十三個五年（2016-2020）規(guī)劃綱要》要求加快新型城市建設(shè)，建設(shè)智慧城市，為新型智慧城市建設(shè)提出了新的要求。針對智慧城市建設(shè)特征與面臨的挑戰(zhàn)，依托具有自主知識產(chǎn)權(quán)的核心技術(shù)、產(chǎn)品以及豐富的行業(yè)應(yīng)用服務(wù)經(jīng)驗，提出“優(yōu)政、興業(yè)、惠民”的新型智慧城市建設(shè)理念，把新型智慧城市作為城市發(fā)展的全新模式，構(gòu)建智慧城市新生態(tài)圈，拓展新空間，優(yōu)化新治理，觸達新生活，從而重構(gòu)人與服務(wù)、人與城市、人與社會、人與資源環(huán)境、人與未來關(guān)系的可持續(xù)化經(jīng)濟社會發(fā)展新形態(tài)。新型智慧城市架構(gòu)隨著云計算、智慧城市數(shù)據(jù)大腦、移動互聯(lián)網(wǎng)等技術(shù)的發(fā)展，由城市運行產(chǎn)生的交通、環(huán)境、市政、商業(yè)等各領(lǐng)域數(shù)據(jù)量巨大，這些數(shù)據(jù)經(jīng)過合理的分析挖掘可產(chǎn)生大量傳統(tǒng)數(shù)據(jù)不能反映的城市運行信息，已成為智慧城市的重要資產(chǎn)。在智慧城市數(shù)據(jù)大腦時代，數(shù)據(jù)信息之間的融合、關(guān)聯(lián)、挖掘與應(yīng)用是建設(shè)新型智慧城市的核心與基礎(chǔ)。時間與空間是所有數(shù)據(jù)共有的唯一標(biāo)識，所有數(shù)據(jù)都是在一定的時間與空間中產(chǎn)生的，與時間、位置直接相關(guān)聯(lián)。因此，時間與位置信息是新型智慧城市建設(shè)中所有信息數(shù)據(jù)關(guān)聯(lián)、融合的唯一指針。以城市多元、多時態(tài)信息為基礎(chǔ)，在原有城市基礎(chǔ)設(shè)施上，通過建設(shè)智慧城市時空信息云平臺、北斗高精度位置服務(wù)云平臺、智慧城市數(shù)據(jù)大腦中心三大基礎(chǔ)設(shè)施，將各類數(shù)據(jù)互聯(lián)互通，為新型智慧城市提供精準(zhǔn)、高效的時空位置服務(wù)，真正實現(xiàn)智慧城市數(shù)據(jù)大腦時代城市由“信息煙囪”（信息孤島）向“信息連通器”（信息共享互通）轉(zhuǎn)變。新型智慧城市時空信息云平臺智慧城市時空信息云平臺，為智慧城市建設(shè)提供數(shù)據(jù)共享、應(yīng)用支撐及LBS位置服務(wù)，是城市信息化不可或缺的基礎(chǔ)性信息基礎(chǔ)設(shè)施，在智慧城市建設(shè)中扮演著基礎(chǔ)性、先行性角色，是其他信息共享交換與協(xié)同服務(wù)的載體，同時又提供智能化信息服務(wù)。智慧城市時空信息云平臺通過提供基于位置的信息服務(wù)，帶動個人消費、城市應(yīng)用、行業(yè)應(yīng)用和公共管理等領(lǐng)域的技術(shù)創(chuàng)新、業(yè)務(wù)創(chuàng)新和應(yīng)用創(chuàng)新，為智慧管網(wǎng)、智慧管廊、智慧城管、智慧交通、智慧環(huán)保、智慧農(nóng)業(yè)、智慧旅游等各智慧城市專業(yè)領(lǐng)域提供基礎(chǔ)信息服務(wù)，是智慧城市發(fā)展的信息載體。新型智慧城市數(shù)據(jù)共享服務(wù)新型智慧城市應(yīng)用支撐服務(wù)北斗高精度位置服務(wù)云平臺基于北斗衛(wèi)星導(dǎo)航定位技術(shù)建設(shè)的綜合性高精度位置服務(wù)體系，吸納所有與位置相關(guān)的資訊，為政府、城市和社會公眾提供位置分析決策支持服務(wù)。新型智慧城市智慧城市數(shù)據(jù)大腦中心對內(nèi)搭建實現(xiàn)整合的一體化數(shù)據(jù)采集、數(shù)據(jù)資源管理和信息服務(wù)的業(yè)務(wù)服務(wù)平臺，將不同來源、不同類型、不同應(yīng)用的數(shù)據(jù)進行集中、規(guī)范、整合；對外提供統(tǒng)一的數(shù)據(jù)共享和信息服務(wù)，形成智慧城市的“知識庫”。新型智慧城市公共信息服務(wù)平臺新型智慧城市智慧城市運營中心運用智慧城市數(shù)據(jù)大腦挖掘技術(shù)，以時空信息標(biāo)簽為唯一標(biāo)識，對所有城市運營數(shù)據(jù)進行融合、挖掘、應(yīng)用與創(chuàng)新，并保持系統(tǒng)開放性，滿足新型智慧城市未來發(fā)展需求，從而為城市管理者提供高效的城市管理手段和途徑，為城市提供優(yōu)質(zhì)服務(wù)和廣闊的創(chuàng)新發(fā)展空間，為市民提供更好的生活品質(zhì)。目錄2345Page11智慧城市數(shù)據(jù)大腦分析平臺綜述智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)智慧城市數(shù)據(jù)大腦分析平臺演進路線智慧城市數(shù)據(jù)大腦分析平臺一期實施重點智慧城市數(shù)據(jù)大腦質(zhì)量管理平臺智慧城市數(shù)據(jù)大腦管理分析類應(yīng)用建設(shè)現(xiàn)狀基本分析基本的現(xiàn)狀存在的問題關(guān)注的內(nèi)容城市已建立面向整個城市業(yè)務(wù)的數(shù)據(jù)倉庫，整合了前臺業(yè)務(wù)運營數(shù)據(jù)和后臺管理數(shù)據(jù)，建立了面向城市的管理分析應(yīng)用；智慧城市數(shù)據(jù)大腦已開展智慧園區(qū)、智慧社區(qū)和智慧市政等多種業(yè)務(wù)，積累了一定量的業(yè)務(wù)數(shù)據(jù)，同時也從人員管理、風(fēng)險評級和經(jīng)營規(guī)模預(yù)測等方面，提出了大量分析預(yù)測需求；……城市數(shù)據(jù)倉庫累積數(shù)據(jù)沒有充分利用缺乏面向整個智慧城市數(shù)據(jù)大腦的統(tǒng)一、完整的數(shù)據(jù)視圖；缺乏支撐智慧城市數(shù)據(jù)大腦日常業(yè)務(wù)運轉(zhuǎn)的風(fēng)險評估體系；缺乏智慧城市數(shù)據(jù)大腦客戶360度視圖，人員行為分析和預(yù)測無法實現(xiàn)；缺乏面向智慧城市數(shù)據(jù)大腦運營管數(shù)據(jù)平臺整體架構(gòu)；數(shù)據(jù)平臺各層建設(shè)的標(biāo)準(zhǔn)；較成熟的金融業(yè)數(shù)據(jù)模型；數(shù)據(jù)質(zhì)量治理；元數(shù)據(jù)管理；數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)數(shù)據(jù)整合；數(shù)據(jù)應(yīng)用建設(shè)；數(shù)據(jù)平臺的軟硬環(huán)境數(shù)據(jù)平臺、數(shù)據(jù)應(yīng)用、數(shù)據(jù)管控……理的關(guān)鍵績效指標(biāo)體系；…………基礎(chǔ)數(shù)據(jù)平臺和BI應(yīng)用建設(shè)是未來一段時間的重點！Page12智慧城市數(shù)據(jù)大腦分析平臺建設(shè)目標(biāo)通過數(shù)據(jù)平臺和BI應(yīng)用建設(shè)，智慧城市數(shù)據(jù)大腦將搭建統(tǒng)一的智慧城市數(shù)據(jù)大腦共享和分析平臺，對各類業(yè)務(wù)進行前瞻性預(yù)測及分析，為社會各層次用戶提供統(tǒng)一的決策分析支持，提升數(shù)據(jù)共享與流轉(zhuǎn)能力統(tǒng)一制定目標(biāo)和自定義報表工具多種格式報表BI分析工具600%500%400%300%200%100%0%分析模型行＋列的簡單定義方式2004年2005年2006年2007年2008年鐵礦石焦煤云數(shù)據(jù)推送平臺已實現(xiàn)了主要城市及智慧城市統(tǒng)一定義BI應(yīng)用社會決策層數(shù)據(jù)大腦系統(tǒng)數(shù)據(jù)清洗、整合，為未來智慧城市數(shù)據(jù)大腦數(shù)據(jù)平臺提供了豐富的數(shù)據(jù)源。統(tǒng)一規(guī)劃分析方法統(tǒng)一劃分分析主題統(tǒng)一設(shè)計數(shù)據(jù)模式統(tǒng)一部署技術(shù)基礎(chǔ)社會職能管控層智慧園區(qū)系統(tǒng)外部非結(jié)構(gòu)化數(shù)據(jù)POP系統(tǒng)采購管理系統(tǒng)其他業(yè)務(wù)系統(tǒng)各級業(yè)務(wù)操作層Page13關(guān)注社會主要經(jīng)營指標(biāo)查看職能部門的業(yè)務(wù)經(jīng)營情業(yè)務(wù)人員使用應(yīng)用智慧城市數(shù)據(jù)大腦分析平臺建設(shè)預(yù)期收益1.實現(xiàn)數(shù)據(jù)共享通過數(shù)據(jù)平臺實現(xiàn)數(shù)據(jù)集中，確保智慧城市數(shù)據(jù)大腦各級部門均可在保證數(shù)據(jù)隱私和安全的前提下使用數(shù)據(jù)，充分發(fā)揮數(shù)據(jù)作為城市重要資產(chǎn)的業(yè)務(wù)價值實現(xiàn)分散在智慧園區(qū)、智慧社區(qū)、智慧市政等各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)在數(shù)據(jù)平臺中的集中和整合，建立單一的產(chǎn)品、客戶等數(shù)據(jù)的城市級視圖，有效促進業(yè)務(wù)的集成和協(xié)作，并為城市級分析、交叉銷售提供基礎(chǔ)2.加強業(yè)務(wù)協(xié)作3.促進業(yè)務(wù)創(chuàng)新智慧城市數(shù)據(jù)大腦業(yè)務(wù)人員可以基于明細、可信的數(shù)據(jù)，進行多維分析和數(shù)據(jù)挖掘，為智慧城市數(shù)據(jù)大腦創(chuàng)新（客戶服務(wù)創(chuàng)新、產(chǎn)品創(chuàng)新等）創(chuàng)造了有利條件通過數(shù)據(jù)平臺對數(shù)據(jù)進行集中，為管理分析、挖掘預(yù)測類等系統(tǒng)提供一致的數(shù)據(jù)基礎(chǔ)，改變現(xiàn)有系統(tǒng)數(shù)據(jù)來源多、數(shù)據(jù)處理復(fù)雜的現(xiàn)狀，實現(xiàn)應(yīng)用系統(tǒng)建設(shè)模式的轉(zhuǎn)變，提升相關(guān)IT系統(tǒng)的建設(shè)和運行效率4.提升建設(shè)效率5.改善數(shù)據(jù)質(zhì)量從中長期看，數(shù)據(jù)倉庫對智慧城市數(shù)據(jù)大腦分散在各個業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)整合、清洗，有助于城市整體數(shù)據(jù)質(zhì)量的改善，提高的數(shù)據(jù)的實用性Page14目錄1345Page15智慧城市數(shù)據(jù)大腦分析平臺綜述智慧城市數(shù)據(jù)大腦分析平臺總體架松智慧城市數(shù)據(jù)大腦分析平臺演進路線智慧城市數(shù)據(jù)大腦分析平臺一期實施重點智慧城市數(shù)據(jù)大腦質(zhì)量管理平臺智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)數(shù)據(jù)管控平臺IT人員內(nèi)部用戶外部用戶用戶訪問層數(shù)據(jù)應(yīng)用流程調(diào)度平臺實時數(shù)據(jù)查詢歷史數(shù)據(jù)查詢內(nèi)部管理分析業(yè)務(wù)沙盤演練數(shù)據(jù)增值產(chǎn)品數(shù)據(jù)標(biāo)準(zhǔn)層流程調(diào)度應(yīng)用集市數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)增值產(chǎn)客戶管理財務(wù)管理風(fēng)險管理……品數(shù)據(jù)區(qū)數(shù)據(jù)質(zhì)量流程調(diào)度層實時數(shù)據(jù)區(qū)歷史歸檔數(shù)據(jù)區(qū)智慧城市數(shù)據(jù)大腦處區(qū)理后主題數(shù)據(jù)區(qū)數(shù)據(jù)管控層客戶匯總賬戶匯總機構(gòu)匯總……數(shù)據(jù)計算監(jiān)控告警待處社交媒體智理用戶評價慧城智移動互聯(lián)市慧城訪問日志數(shù)市據(jù)大數(shù)據(jù)腦客戶主題協(xié)議主題產(chǎn)品主題……層元數(shù)據(jù)城市數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)…………貼源數(shù)據(jù)區(qū)數(shù)據(jù)交換數(shù)據(jù)安全智慧城市數(shù)據(jù)大腦交換組件大腦數(shù)據(jù)庫數(shù)據(jù)交換組件數(shù)據(jù)區(qū)數(shù)據(jù)交換組件數(shù)據(jù)交換平臺層數(shù)據(jù)Page產(chǎn)生16城市內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)城市城市智慧園區(qū)智慧社區(qū)系統(tǒng)基金系統(tǒng)……系統(tǒng)層智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)產(chǎn)生層源數(shù)據(jù)內(nèi)容內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)城市日常城市業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：供應(yīng)商信息、采購信息、商品信息、銷售流水……智慧城市數(shù)據(jù)大腦日常業(yè)務(wù)處理過程中產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，存儲在關(guān)系型數(shù)據(jù)庫中，如：客戶信息、賬戶信息、金融產(chǎn)品信息、交易流水……城市內(nèi)部非結(jié)構(gòu)化數(shù)據(jù)日常業(yè)務(wù)處理過程中產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，存儲形式多樣，主要包括用戶訪問日志、用戶投訴、用戶點評……城市外部數(shù)據(jù)城市外部數(shù)據(jù)以非結(jié)構(gòu)化為主，主要包括國家政策法規(guī)、論壇等互聯(lián)網(wǎng)信息、地理位置等移動信息、微博等社交媒體信息……源數(shù)據(jù)增量在本次項目實施中將采用以增量為主、全量為輔結(jié)合的方式獲取源數(shù)據(jù)城市和智慧城市數(shù)據(jù)大腦業(yè)務(wù)系統(tǒng)的數(shù)據(jù)增量數(shù)據(jù)識別、獲取由云數(shù)據(jù)推送平臺負責(zé)，云數(shù)據(jù)推送平臺采用分析、對比源系統(tǒng)日志方式實現(xiàn)對于無法通過上述方式獲取增量的源系統(tǒng)數(shù)據(jù)，則采用某一個時間范圍內(nèi)的全部數(shù)據(jù)作為增量初始數(shù)據(jù)加載均采用全量模式Page17智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)交換層傳輸組件是根據(jù)數(shù)據(jù)源存儲的不同分類而設(shè)計的，本質(zhì)是通過分析數(shù)據(jù)存儲結(jié)構(gòu)和數(shù)據(jù)存儲庫的特點來針對性的設(shè)計工具，以追求卓越的性能數(shù)據(jù)交換層設(shè)計目標(biāo)數(shù)據(jù)服務(wù)層保證數(shù)據(jù)在平臺內(nèi)高速流轉(zhuǎn)數(shù)據(jù)區(qū)數(shù)據(jù)數(shù)據(jù)庫數(shù)據(jù)智智慧城市數(shù)據(jù)大腦交換組件交換組件交換組件保證數(shù)據(jù)交換過程中不失真NAS存儲Hadoop元數(shù)據(jù)數(shù)據(jù)平臺導(dǎo)入數(shù)據(jù)平臺導(dǎo)出ETL臨時區(qū)臨時區(qū)程序外區(qū)部保證數(shù)據(jù)交換過程中不丟失智慧城市數(shù)據(jù)大云數(shù)據(jù)推送平臺保證數(shù)據(jù)交換過程安全可靠城市系統(tǒng)智慧城市數(shù)據(jù)大腦系統(tǒng)Page18高速流轉(zhuǎn)不失真安全可靠智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)交換層NAS存儲Hadoop集群元數(shù)存儲數(shù)據(jù)平臺各個Hadoop集群的元數(shù)據(jù)信息，如：HDFS文件系統(tǒng)元數(shù)據(jù)據(jù)區(qū)社會數(shù)據(jù)交換平臺每日獲取運輸局推送平臺提供的業(yè)務(wù)系統(tǒng)變化數(shù)據(jù)，暫存在NAS臨時數(shù)據(jù)區(qū)金融數(shù)據(jù)平臺加工計算結(jié)果返回給業(yè)務(wù)系統(tǒng)，暫存在NAS臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)數(shù)據(jù)平臺ETL數(shù)據(jù)數(shù)據(jù)平臺ETL加工處理程序（數(shù)據(jù)壓縮、數(shù)據(jù)加載、各數(shù)據(jù)數(shù)據(jù)處理等）統(tǒng)一存儲在NAS集群指定目錄，各接口服務(wù)器通過文件系統(tǒng)Link建立映射處理程序區(qū)Page19智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)交換層智慧城市數(shù)據(jù)大腦交換組件處理對象實現(xiàn)功能實現(xiàn)技術(shù)應(yīng)用場景城市內(nèi)部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：音頻、視頻、郵件、Office文檔、抵押品掃描件等城市外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)，如：微博、貼吧、論壇、用戶點擊流、用戶移動位置等組件以實時和批量兩種模式實現(xiàn)下列功能：批量采集：智慧城市數(shù)據(jù)大腦源以SFTP協(xié)議批量傳輸數(shù)據(jù)文件在線訪問：開發(fā)Java或C應(yīng)用，調(diào)用大據(jù)源API，或以網(wǎng)絡(luò)平臺爬蟲方式抓取源系統(tǒng)非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)定時抽取用戶訪問日志，加載到數(shù)據(jù)平臺智慧城市數(shù)據(jù)大腦區(qū)HDFS指定目錄，MR程序加工處理開發(fā)網(wǎng)絡(luò)爬蟲程序，掃描用戶微博，抓取用戶微博內(nèi)容，社交圈信息，存入智慧城市數(shù)據(jù)大數(shù)據(jù)采集數(shù)據(jù)傳輸?shù)綌?shù)據(jù)交換平臺（接口服務(wù)器）NAS指定目錄存儲數(shù)據(jù)到數(shù)據(jù)平臺智慧城市數(shù)據(jù)大腦區(qū)指定HDFS目錄Page20智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)庫數(shù)據(jù)交換組件處理對象實現(xiàn)功能實現(xiàn)技術(shù)應(yīng)用場景城市內(nèi)部業(yè)務(wù)系統(tǒng)產(chǎn)生的結(jié)構(gòu)化數(shù)據(jù)，包括兩大來源：組件以實時和批量模式實現(xiàn)下列功能：Perl程序云數(shù)據(jù)推送平臺連接智慧園區(qū)系統(tǒng)數(shù)據(jù)庫，分析智慧園區(qū)MySQL數(shù)據(jù)庫日志，識別增量數(shù)據(jù)，存儲到金融平臺NAS存儲的指定目錄，金融平臺加載數(shù)據(jù)文件到數(shù)據(jù)平臺臨時區(qū)Hive表數(shù)據(jù)采集，調(diào)用數(shù)據(jù)采集，輪詢NAS集群指定目錄，獲取數(shù)Perl文件模塊相關(guān)函數(shù)，輪詢指定目錄，獲取數(shù)據(jù)文件城市城市業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)存儲在Oracle、SQLServer、MySQL和MongoDB四類數(shù)據(jù)庫據(jù)文件（LZO壓縮）數(shù)據(jù)核查，對數(shù)據(jù)文數(shù)據(jù)核查，Perl執(zhí)件進行質(zhì)量校驗行文件級數(shù)據(jù)質(zhì)量檢查智慧城市數(shù)據(jù)大腦互聯(lián)網(wǎng)智慧城市數(shù)據(jù)大數(shù)據(jù)加載，加載數(shù)據(jù)到臨時數(shù)據(jù)區(qū)數(shù)據(jù)加載，調(diào)用腦數(shù)據(jù)，數(shù)據(jù)存儲在MySQL數(shù)據(jù)庫HiveLoad數(shù)據(jù)命令，加載到數(shù)據(jù)平臺臨時數(shù)據(jù)區(qū)的HivePage21智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)交換層數(shù)據(jù)區(qū)數(shù)據(jù)交換組件處理對象實現(xiàn)功能實現(xiàn)技術(shù)應(yīng)用場景數(shù)據(jù)平臺計算層各數(shù)據(jù)區(qū)組件以批量方式實現(xiàn)下列數(shù)據(jù)交換功能：Sqoop實現(xiàn)集市數(shù)據(jù)區(qū)與數(shù)據(jù)平臺其他Hadoop數(shù)據(jù)區(qū)的數(shù)據(jù)交換Hadoop命令、Hive外部表、MR程序?qū)崿F(xiàn)數(shù)據(jù)平臺Hadoop數(shù)據(jù)區(qū)間的數(shù)據(jù)交換數(shù)據(jù)集市的數(shù)據(jù)按照據(jù)生命周期規(guī)劃，統(tǒng)一將過期數(shù)據(jù)歸檔到歷史數(shù)據(jù)歸檔區(qū)貼源數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)和主題數(shù)集市數(shù)據(jù)區(qū)據(jù)區(qū)到集市數(shù)據(jù)區(qū)沙盤數(shù)據(jù)區(qū)智慧城市數(shù)據(jù)大腦區(qū)到主題數(shù)據(jù)區(qū)和集市智慧城市數(shù)據(jù)大腦區(qū)歸檔數(shù)據(jù)區(qū)數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)、貼源數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)到沙盤數(shù)據(jù)區(qū)Page22各個數(shù)據(jù)區(qū)數(shù)據(jù)歸檔智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——流程調(diào)度層批量處理流程批量數(shù)據(jù)處理由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：1.獲取業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，存入臨時數(shù)據(jù)區(qū)獲取城市內(nèi)外部非結(jié)構(gòu)化數(shù)據(jù)，并進行結(jié)構(gòu)化處理，存入主題或集市數(shù)據(jù)區(qū)按照貼源數(shù)據(jù)模型整合數(shù)據(jù)（標(biāo)準(zhǔn)化、數(shù)據(jù)更新/追加）按照主題數(shù)據(jù)模型整合數(shù)據(jù)并生成匯總數(shù)據(jù)加工計算后，結(jié)果交付到數(shù)據(jù)集市，支持分析類應(yīng)用.Page23智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——流程調(diào)度層實時數(shù)據(jù)處理流程實時數(shù)據(jù)處理強調(diào)的是實時或準(zhǔn)實時獲取并處理數(shù)據(jù)，通常采取消息隊列等技術(shù)構(gòu)建“數(shù)據(jù)流”整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：1.通過數(shù)據(jù)庫數(shù)據(jù)交換組件獲取增量數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)通過智慧城市數(shù)據(jù)大腦交換組件獲取非結(jié)構(gòu)化數(shù)據(jù)，并利用Storm處理數(shù)據(jù)，加載到實時數(shù)據(jù)區(qū)針對實時數(shù)據(jù)區(qū)數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理和貼源整合2.3.Page24智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——流程調(diào)度層歸檔數(shù)據(jù)處理流程數(shù)據(jù)歸檔的對象包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)文件、貼源數(shù)據(jù)區(qū)數(shù)據(jù)、主題數(shù)據(jù)區(qū)數(shù)據(jù)、智慧城市數(shù)據(jù)大腦區(qū)數(shù)據(jù)和集市數(shù)據(jù)區(qū)數(shù)據(jù)數(shù)據(jù)按照生命周期規(guī)劃存儲到歸檔區(qū)Hadoop集群，歸檔后原數(shù)據(jù)區(qū)刪除此數(shù)據(jù)整個處理流程由流程調(diào)度層部署的自定義開發(fā)WorkFlow組件調(diào)度運行整個流程主要完成如下工作：1.數(shù)據(jù)文件通過HDFS命令行copyfromlocal進行歸檔貼源、主題和智慧城市數(shù)據(jù)大腦區(qū)通過HDFS命令行distcp或自定義開發(fā)的MR程序執(zhí)行歸檔集市數(shù)據(jù)區(qū)通過Sqoop或數(shù)據(jù)庫提供的Hadoop集成技術(shù)（如：外部表）執(zhí)行歸檔Page252.3.智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)存儲層臨時數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途業(yè)務(wù)系統(tǒng)前日增量數(shù)據(jù)緩存數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理業(yè)務(wù)系統(tǒng)前日快照數(shù)據(jù)和一段時間的流水?dāng)?shù)據(jù)數(shù)據(jù)標(biāo)準(zhǔn)化，為后續(xù)主題模型、集市和沙盤演練提供數(shù)據(jù)數(shù)據(jù)模型保留周期貼源數(shù)據(jù)模型保存最近7天數(shù)據(jù)貼源數(shù)據(jù)模型不保存歷史訪問模式用戶貼源數(shù)據(jù)區(qū)和主題數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，連續(xù)小批量的數(shù)據(jù)抽取和加載少量量數(shù)據(jù)使用Hive的Load命令，大量數(shù)據(jù)使用MR程序與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機主題數(shù)據(jù)區(qū)、集市數(shù)據(jù)區(qū)和沙盤演練數(shù)據(jù)區(qū)批量作業(yè)訪問無最終用戶訪問I/O敏感，日終批量ETL以ELT形式通過HiveSQL執(zhí)行工作負載平臺要求無單點故障，7×24小時+非工作日有限停機與主題區(qū)/貼源區(qū)/集市區(qū)構(gòu)成一個Hadoop集群（Hive）Page26王E:智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）智慧城市數(shù)據(jù)大腦區(qū)歷史歸檔數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途城市內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)采集并存儲數(shù)據(jù)，進行結(jié)構(gòu)化處理，最終得到結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)按照HDFS文件存儲建議保留1年其他各數(shù)據(jù)區(qū)歷史數(shù)據(jù)按數(shù)據(jù)生命周期規(guī)劃歸檔平臺過期數(shù)據(jù)，支撐歷史數(shù)據(jù)查詢數(shù)據(jù)按照HDFS文件存儲數(shù)據(jù)文件按照數(shù)據(jù)區(qū)劃分目錄，建議保留7年數(shù)據(jù)模型保留周期訪問模式用戶集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進行智慧城市數(shù)據(jù)大腦分析集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/主題區(qū)/高時效區(qū)批量作業(yè)訪問業(yè)務(wù)人員執(zhí)行歷史數(shù)據(jù)查詢工作負載MapReduce分布式計算，半/非結(jié)構(gòu)化數(shù)據(jù)的結(jié)構(gòu)化處理（包括文本檢索、語義分詞、圖像識別、音頻識別等）與主題區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機MapReduce分布式計算，HDFS命令實現(xiàn)Hadoop集群內(nèi)歸檔，Sqoop實現(xiàn)數(shù)據(jù)庫歸檔，通過Hive提供歷史查詢平臺要求獨立的Hadoop集群（HDFS+Hive）無單點故障，7×24小時+非工作日有限停機Page27王E:智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）主題數(shù)據(jù)區(qū)—明細主題數(shù)據(jù)區(qū)—匯總數(shù)據(jù)內(nèi)容主要用途業(yè)務(wù)系統(tǒng)歷史明細數(shù)據(jù)打破業(yè)務(wù)條線整合數(shù)據(jù)對主題數(shù)據(jù)預(yù)加工后的結(jié)果數(shù)據(jù)針對應(yīng)用需求進行數(shù)據(jù)預(yù)連接、預(yù)匯總，為集市提供數(shù)據(jù)數(shù)據(jù)模型保留周期第三范式模型保留長期歷史，需要根據(jù)主題細化逆范式寬表依賴于集市數(shù)據(jù)需求訪問模式用戶主題區(qū)/集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進行靈活查詢、挖掘預(yù)測I/O敏感，日終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF與智慧城市數(shù)據(jù)大腦區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（Hive）無單點故障，7×24小時+非工作日有限停機集市區(qū)/沙盤區(qū)/增值產(chǎn)品區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進行靈活查詢、挖掘預(yù)測I/O敏感，日終批量ETL（連接、聚合、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF工作負載可用性要求與智慧城市數(shù)據(jù)大腦區(qū)/貼源區(qū)構(gòu)成一個Hadoop集群（Hive）Page28無單點故障，7×24小時+非工作日有限停機王E:智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）沙盤演練數(shù)據(jù)區(qū)應(yīng)用集市數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途按沙盤演練需求，準(zhǔn)備的明細或匯總業(yè)務(wù)數(shù)據(jù)為數(shù)據(jù)科學(xué)家的挖掘預(yù)測操作提供數(shù)據(jù)服務(wù)面向城市內(nèi)部管理分析類應(yīng)用需求的匯總數(shù)據(jù)為客戶、運營等管理分析主題和數(shù)據(jù)增值產(chǎn)品提供數(shù)據(jù)服務(wù)數(shù)據(jù)模型保留周期模型依賴于沙盤演練需求在整個沙盤演練周期內(nèi)保留維度數(shù)據(jù)模型依賴業(yè)務(wù)需求訪問模式用戶集市區(qū)/沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問少量高級業(yè)務(wù)人員進行靈活查詢、挖掘預(yù)測I/O敏感，終批量ETL（合并、拉鏈、關(guān)聯(lián)、匯總等等）以ELT形式通過HiveSQL執(zhí)行，復(fù)雜處理使用MR定制UDF獨立的Hadoop集群（HDFS）無單點故障，7×24小時+非工作日有限停機沙盤區(qū)/歸檔區(qū)批量作業(yè)訪問決策人員、管理人員、業(yè)務(wù)人員訪問I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）工作負載可用性要求基于開放平臺的完全無共享MPP數(shù)據(jù)庫集群+內(nèi)存數(shù)據(jù)庫無單點故障，7×24小時+非工作日有限停機Page29王E:智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)存儲層（續(xù)）增值產(chǎn)品數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)數(shù)據(jù)內(nèi)容主要用途根據(jù)外部用戶的數(shù)據(jù)使用需求數(shù)據(jù)平臺加工計算的結(jié)果數(shù)據(jù)為部署在數(shù)據(jù)平臺上的城市內(nèi)外部增值產(chǎn)品提供數(shù)據(jù)支持應(yīng)用模型，依賴于用戶業(yè)務(wù)需求依賴于用戶業(yè)務(wù)需求面向應(yīng)用的業(yè)務(wù)系統(tǒng)快照數(shù)據(jù)和一段時間的交易流水為實時獲準(zhǔn)實時分析應(yīng)用提供數(shù)據(jù)服務(wù)數(shù)據(jù)模型保留周期貼源數(shù)據(jù)模型依賴用戶業(yè)務(wù)需求訪問模式用戶城市外部人員，如：京東客戶通過自己部署在Paas平臺上的應(yīng)用訪問城市業(yè)務(wù)人員高時效、高并發(fā)、高可靠性的聯(lián)機交易類查詢CPU敏感，BI工具或業(yè)務(wù)系統(tǒng)高并發(fā)、高時效查詢，以及準(zhǔn)實時連續(xù)ETL處理+SQL批量處理工作負載I/O敏感型，BI工具提交的報表、查詢、分析SQL命令和日終批量ETL（匯總、聚集等操作，以ELT形式通過SQL執(zhí)行）獨立的Paas平臺，部署Hadoop集群無單點故障，7×24小時+非工作日有限停機可用性要求獨立的內(nèi)存數(shù)據(jù)庫集群無單點故障，365×24小時不停機Page30王E:智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)存儲層數(shù)據(jù)流數(shù)據(jù)集成層歸檔數(shù)據(jù)區(qū)實時數(shù)據(jù)區(qū)操作型聚合數(shù)據(jù)操作型明細據(jù)數(shù)據(jù)文件源系統(tǒng)增值產(chǎn)品數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)POP自營數(shù)據(jù)貼源數(shù)據(jù)集市數(shù)據(jù)區(qū)客戶管理集市財務(wù)管理集市運營管理集市風(fēng)險管理集市公共匯總數(shù)據(jù)主題明細數(shù)據(jù)大物流系統(tǒng)數(shù)據(jù)供應(yīng)鏈系統(tǒng)數(shù)據(jù)臨時數(shù)據(jù)區(qū)主題數(shù)據(jù)財務(wù)審計數(shù)據(jù)財務(wù)研發(fā)數(shù)據(jù)集市數(shù)據(jù)……集市智慧城市數(shù)據(jù)大腦數(shù)據(jù)高時效數(shù)據(jù)沙盤演練數(shù)據(jù)區(qū)實驗室數(shù)據(jù)智慧城市數(shù)據(jù)大腦智慧城市數(shù)據(jù)大腦區(qū)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化&半結(jié)構(gòu)化數(shù)據(jù)Page31智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)應(yīng)用層5高時效類分析應(yīng)用客戶經(jīng)理等最終業(yè)務(wù)人員針對當(dāng)前業(yè)務(wù)的發(fā)生（如：用戶交易、實時分析類應(yīng)用通常使用CEP、ESB等技術(shù)實現(xiàn)用戶訪問日志），進行實時查詢、分析的應(yīng)用4歷史查詢類應(yīng)用1管理分析類應(yīng)用針對公檢法查詢需求、內(nèi)外部審計需求和最終用戶的歷史交易查詢需求，以貼源存儲的歸檔數(shù)據(jù)為基礎(chǔ)，實現(xiàn)的查詢類應(yīng)用歷史查詢類應(yīng)用通常使用BI工具或自主開發(fā)實現(xiàn)管理分析類應(yīng)用主要實現(xiàn)了社會客戶管理、運營管理、財務(wù)管理、風(fēng)險管理、監(jiān)管信息披露五大分析體系功能管理分析類應(yīng)用通常采用套裝軟件和BI工具（MicroStrategy等智慧城市數(shù)據(jù)大腦）實現(xiàn)平臺應(yīng)用3沙盤演練類應(yīng)用2數(shù)據(jù)增值類產(chǎn)品業(yè)務(wù)人員根據(jù)業(yè)務(wù)需求或自己對業(yè)務(wù)的理解，設(shè)計計算模型，準(zhǔn)備各類明細或匯總數(shù)據(jù)，導(dǎo)入模沙盤演練類應(yīng)用通常使用R語言在Hadoop分布式體系下實現(xiàn)智慧城市數(shù)據(jù)大腦數(shù)據(jù)科學(xué)家根據(jù)自己對業(yè)務(wù)需求的理解或者對市場的判斷，設(shè)計并運行模型，型運算，驗證業(yè)務(wù)結(jié)果發(fā)掘數(shù)據(jù)價值，并封裝成商業(yè)產(chǎn)品數(shù)據(jù)增值產(chǎn)品通常采用R語言和BI工具實現(xiàn)，面向城市內(nèi)外部用Page32戶智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——平臺發(fā)展不同階段對應(yīng)應(yīng)用動態(tài)數(shù)據(jù)倉庫階段讓正確的事情發(fā)生！數(shù)據(jù)量增長用戶數(shù)增長查詢復(fù)雜度增長ETL處理復(fù)雜度增長操作為主階段什么正在發(fā)生？預(yù)測為主階段將會發(fā)生什么？分析為主階段為什么會發(fā)生工作負載復(fù)雜度報表為主階段發(fā)生了什么批量隨機查詢持續(xù)更新加載/短查詢數(shù)據(jù)分析基于事件的動態(tài)觸發(fā)智慧城市數(shù)據(jù)大腦平臺發(fā)展階段劃分Page33工品數(shù)據(jù)增值類產(chǎn)智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——管理分析類應(yīng)用監(jiān)管披露客戶管理風(fēng)險管理運營管理財務(wù)管理求目前監(jiān)管機構(gòu)沒有明確要客戶單一視圖公司客戶信息管理個人客戶信息管理目標(biāo)客戶搜索同業(yè)客戶信息管理風(fēng)險監(jiān)控報表/信息披露流動性報表領(lǐng)導(dǎo)管理駕駛艙總賬分析資產(chǎn)負債表分析利率敏感性報表資本充足率報表……機構(gòu)績效考核客戶經(jīng)理考核客戶經(jīng)理工作量評估損益表分析現(xiàn)金流量表分析財務(wù)指標(biāo)分析重點客戶關(guān)懷客戶風(fēng)險客戶異動客戶市場風(fēng)險市場風(fēng)險暴露值客戶經(jīng)理服務(wù)客戶收盈利分析機構(gòu)貢獻度流動性管理、利率管理信用風(fēng)險信用風(fēng)險暴露值計算產(chǎn)品績效考核益評估業(yè)務(wù)量考核產(chǎn)品貢獻度客戶細分貢獻度客戶細分個人客戶細分客戶行為分析公司客戶細分資產(chǎn)負債分析渠道績效（貸前控制、貸中監(jiān)信用風(fēng)險控制智慧園區(qū)業(yè)務(wù)智慧社區(qū)業(yè)務(wù)保理業(yè)務(wù)主要指標(biāo)報告，如：凈利息收入、凈收入凈現(xiàn)值、市場價值等、頭寸報告現(xiàn)金流報告風(fēng)險價值（VaR）計算客戶輪廓分析產(chǎn)品交叉銷售分析百分比分析渠道偏好分析操作風(fēng)險控、貸后分析）異常交易預(yù)警后督差錯檢查基金業(yè)務(wù)其它中間業(yè)務(wù)……營銷活動管理防欺詐/反洗錢……營銷活動規(guī)劃營銷活動定義營銷活動執(zhí)行營銷活動蘋果定義欺詐交易模型可能性欺詐交易預(yù)警欺詐交易分布分析渠道成本與收益財務(wù)預(yù)算與計劃財務(wù)預(yù)算……財務(wù)計劃執(zhí)行監(jiān)控執(zhí)行過程分析年末財務(wù)計劃執(zhí)行分析營銷活動自動化渠道接口與集成……流程自動化全面風(fēng)險管理……預(yù)測與場景分析業(yè)務(wù)規(guī)模預(yù)測……收益預(yù)測Page34示例智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)訪問層多種展現(xiàn)形式滿足各層級用戶及應(yīng)用系統(tǒng)使用需求即席查詢靜態(tài)報表多維分析儀表盤問題發(fā)現(xiàn)Office集成Web服務(wù)挖掘預(yù)測儀表盤：通過儀表盤及其它展現(xiàn)方式對城市關(guān)鍵績效指標(biāo)進行展示，為領(lǐng)導(dǎo)層決策提供直觀的數(shù)據(jù)支持決策層靜態(tài)報表：按照預(yù)先定義格式，批處理報表，在線查詢報表等Office集成：將分析應(yīng)用嵌入到Office界面中，利用Office的方便、易用特性，降低用管理層戶使用難度即席查詢：通過即席查詢工具或手工書寫SQL語句，完成業(yè)務(wù)信息的即席查看多維分析：從多個維度靈活組合對目標(biāo)值進行分析，常見功能包括上下鉆取、透明鉆取業(yè)務(wù)人員、旋轉(zhuǎn)、分頁、層鉆、跨維鉆取等主動問題發(fā)現(xiàn)：通過事件觸發(fā)、規(guī)則匹配等方式發(fā)現(xiàn)城市運營中的問題，通過手機、郵件等方式報警挖掘預(yù)測：結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)模型去挖掘隱藏在數(shù)據(jù)中的價值使用專業(yè)的軟件工具，通過數(shù)理統(tǒng)計等高級統(tǒng)計分析算法，分析結(jié)構(gòu)化、非Web服務(wù)：統(tǒng)或分析應(yīng)用調(diào)用，獲取分析結(jié)果將分析應(yīng)用的功能發(fā)布為Web服務(wù)，注冊在城市服務(wù)總線上，供其它業(yè)務(wù)系數(shù)據(jù)科學(xué)家業(yè)務(wù)系統(tǒng)Page35智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)管控層金融數(shù)據(jù)管控體系涵蓋組織架構(gòu)、評價與考核、管控流程、管控平臺四個域。數(shù)據(jù)與信息標(biāo)準(zhǔn)化委員會組織流程數(shù)據(jù)管理人數(shù)據(jù)所有人數(shù)據(jù)生產(chǎn)人數(shù)據(jù)使用人IT支持團隊組織建立/維護流程考核指標(biāo)責(zé)任評價標(biāo)準(zhǔn)執(zhí)行評價政策執(zhí)行評價標(biāo)準(zhǔn)建立/維護流程數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量元數(shù)據(jù)數(shù)據(jù)安全評價與考核數(shù)據(jù)全生命周期數(shù)據(jù)創(chuàng)建數(shù)據(jù)存儲數(shù)據(jù)移動數(shù)據(jù)共享數(shù)據(jù)停用數(shù)據(jù)類型數(shù)據(jù)格式業(yè)務(wù)分類業(yè)務(wù)含義真實性定義及時性定義完整性定義一致性定義技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)安全等級權(quán)限定義保留策略審計定義考核指標(biāo)評價標(biāo)準(zhǔn)建立/維護流程………………評價與考核流程數(shù)據(jù)認責(zé)數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理平臺數(shù)據(jù)安全管元數(shù)據(jù)管理理工作流管理……Page36組織架構(gòu)、評價與考核、管控流程、管控平臺智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)管控體系內(nèi)部運轉(zhuǎn)機制組織架構(gòu)、評價與考核、管控流程、管控工具這四個域相互作用、相互支撐，提供對各信息系統(tǒng)數(shù)據(jù)的管控。管控過程中的組明確了數(shù)據(jù)織結(jié)構(gòu)、角色、職責(zé)等。管控組織除了要負責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全等要求外，還需要負責(zé)制定管控的相關(guān)流程和評價考核指標(biāo)等內(nèi)容。管控組織數(shù)據(jù)管控委員會數(shù)據(jù)所有人數(shù)據(jù)認責(zé)人IT支持……管控流程據(jù)管控過程中，規(guī)范了數(shù)各個環(huán)節(jié)日常任務(wù)處理的運作模式，例如數(shù)據(jù)定義如何變更、數(shù)據(jù)沖突如何協(xié)調(diào)等。數(shù)據(jù)產(chǎn)生者數(shù)據(jù)使用者………制定數(shù)據(jù)接入流程數(shù)據(jù)變更流程數(shù)據(jù)授權(quán)流程數(shù)據(jù)退役流程標(biāo)準(zhǔn)/政策制定流程評價考核流程……流程支撐制定考評評價與考核標(biāo)準(zhǔn)（數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量要求、安全要求）遵守標(biāo)準(zhǔn)所需要的政策政策與標(biāo)準(zhǔn)遵從考評定義……的技術(shù)平臺支撐管控流程的自動化，發(fā)布管控組織制定的一些相關(guān)標(biāo)準(zhǔn)和規(guī)范，及時反映管控過程中存在的一些問題等。采用專門些定性或定量的數(shù)據(jù)管控評價考核指標(biāo)，去評估及考核數(shù)據(jù)相關(guān)責(zé)任人職責(zé)履行情況、數(shù)據(jù)管控標(biāo)準(zhǔn)及數(shù)據(jù)政策的執(zhí)行情況等。通過建立一流程支撐工具支撐標(biāo)準(zhǔn)/規(guī)范管理管控綜合管理流程管理考核儀表盤……工具支撐管控平臺業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)管理管理元數(shù)據(jù)分析……稽核規(guī)則管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)稽核質(zhì)量報告……Page37智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)管控組織數(shù)據(jù)管控組織是數(shù)據(jù)管控體系中最重要的因素，它負責(zé)定義和管理業(yè)務(wù)數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，制定遵尋標(biāo)準(zhǔn)所必須的政策，監(jiān)測正在進行的數(shù)據(jù)管控行動。數(shù)據(jù)管控組織是否有完整與合理的角色定義、是否有高層領(lǐng)導(dǎo)的參與，是整個數(shù)據(jù)管控的成敗的關(guān)鍵。典型的數(shù)據(jù)管控組織如下所示：信息管理委員會數(shù)據(jù)管控主導(dǎo)方數(shù)據(jù)管控參與方數(shù)據(jù)管控負責(zé)部門數(shù)據(jù)產(chǎn)生部門數(shù)據(jù)使用部門數(shù)據(jù)擁有部門數(shù)據(jù)管理部門數(shù)據(jù)管控經(jīng)理數(shù)據(jù)主管數(shù)據(jù)主管數(shù)據(jù)主管運維組織數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理員數(shù)據(jù)安全管理業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員業(yè)務(wù)協(xié)調(diào)人數(shù)據(jù)分析員實施項目組員員員崗位Page角色38智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)標(biāo)準(zhǔn)管理消除一數(shù)多義，提升數(shù)據(jù)的唯一性、一致性，將逐步形成的數(shù)據(jù)標(biāo)準(zhǔn)納入一個規(guī)范的管理流程中，進行數(shù)據(jù)標(biāo)準(zhǔn)的更新、發(fā)布、使用監(jiān)督等工作。數(shù)據(jù)標(biāo)準(zhǔn)管理工作可以分為以下幾個部分：數(shù)據(jù)標(biāo)準(zhǔn)建立和維護、數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行、數(shù)據(jù)標(biāo)準(zhǔn)管理的考評。數(shù)據(jù)標(biāo)準(zhǔn)建立和維護數(shù)據(jù)標(biāo)準(zhǔn)管理的考評數(shù)據(jù)分類定性考評數(shù)據(jù)結(jié)構(gòu)客戶類數(shù)據(jù)標(biāo)準(zhǔn)分析報告數(shù)據(jù)標(biāo)準(zhǔn)關(guān)鍵業(yè)務(wù)對象定量考評關(guān)鍵代碼數(shù)據(jù)標(biāo)準(zhǔn)產(chǎn)品類數(shù)據(jù)維度。。。類數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行ODS歸檔系統(tǒng)……代碼映射數(shù)據(jù)標(biāo)準(zhǔn)理念推廣Page39智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理框架藍圖如下，其中數(shù)據(jù)質(zhì)量提升是改進數(shù)據(jù)質(zhì)量的手段和質(zhì)量考評的目的：數(shù)據(jù)質(zhì)量要求確認，根據(jù)業(yè)務(wù)要求制定和明確數(shù)據(jù)質(zhì)量要求，同時也需要符合數(shù)據(jù)標(biāo)準(zhǔn)的要求；數(shù)據(jù)質(zhì)量考評，對數(shù)據(jù)質(zhì)量的量化評價制定數(shù)據(jù)質(zhì)量問題解決方案，根據(jù)數(shù)據(jù)質(zhì)量考評和日常工作中發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，實施相應(yīng)的措施，提升數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量要求數(shù)據(jù)質(zhì)量考評業(yè)務(wù)規(guī)則數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)一致性要求數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量分析報告不定期數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)完整性要求數(shù)據(jù)質(zhì)量驗證規(guī)則數(shù)據(jù)唯一性要求數(shù)據(jù)準(zhǔn)確性要求數(shù)據(jù)質(zhì)量考核指標(biāo)數(shù)據(jù)質(zhì)量提升數(shù)據(jù)及時性要求數(shù)據(jù)補錄手工修正自動修正Page40智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——元數(shù)據(jù)管理業(yè)務(wù)元數(shù)據(jù)：面向業(yè)務(wù)人員，從業(yè)務(wù)術(shù)語、業(yè)務(wù)描述、業(yè)務(wù)指標(biāo)和業(yè)務(wù)規(guī)則等幾個方面對數(shù)據(jù)進行描述管理元數(shù)據(jù)：面向數(shù)據(jù)管理人員，從運維管理的角度描述數(shù)據(jù)處理、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的狀態(tài)信息技術(shù)元數(shù)據(jù)：面向技術(shù)人員，從數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)處理細節(jié)方面對數(shù)據(jù)進行技術(shù)化描述Page41智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)安全管理數(shù)據(jù)安全管理可分為數(shù)據(jù)安全分級管理和數(shù)據(jù)訪問授權(quán)管理兩個部分：數(shù)據(jù)安全分級：根據(jù)業(yè)務(wù)要求，制定一系列的數(shù)據(jù)安全分級標(biāo)準(zhǔn)和政策，為數(shù)據(jù)應(yīng)用以及數(shù)據(jù)管理中實施數(shù)據(jù)安全保護和訪問提供數(shù)據(jù)安全控制的基礎(chǔ)。數(shù)據(jù)訪問授權(quán)：數(shù)據(jù)訪問授權(quán)的主要工作是根據(jù)數(shù)據(jù)安全分級標(biāo)準(zhǔn)，定義數(shù)據(jù)訪問的授權(quán)方法及流程，建立基于數(shù)據(jù)安全分級的數(shù)據(jù)使用授權(quán)機制，實現(xiàn)數(shù)據(jù)訪問和信息披露的安全。數(shù)據(jù)安全分級數(shù)據(jù)訪問授權(quán)數(shù)據(jù)敏感度數(shù)據(jù)使用需求數(shù)據(jù)安全等級定義數(shù)據(jù)訪問授權(quán)規(guī)則數(shù)據(jù)重要性安全技術(shù)數(shù)據(jù)使用者權(quán)責(zé)Page42智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——高階工作流程業(yè)務(wù)數(shù)據(jù)規(guī)劃管理高階流程數(shù)據(jù)認責(zé)流程數(shù)據(jù)治理考核體系數(shù)據(jù)認責(zé)流程數(shù)據(jù)治理考核流程數(shù)據(jù)治理考核指標(biāo)體系協(xié)調(diào)會議數(shù)據(jù)標(biāo)準(zhǔn)管理管理高階流程數(shù)據(jù)標(biāo)準(zhǔn)建立流程數(shù)據(jù)標(biāo)準(zhǔn)維護流程數(shù)據(jù)質(zhì)量管理管理高階流程–數(shù)據(jù)質(zhì)量要求確定流程元數(shù)據(jù)變更流程接到變更請求，對問題進行備案登記開始是否需要提交審議？否是召開審議會議是否批準(zhǔn)變更？是設(shè)計元數(shù)據(jù)更新方案否向流程觸發(fā)人反處發(fā)布元數(shù)據(jù)變更說理結(jié)果明結(jié)束考核流程元數(shù)據(jù)管理高階流程提出業(yè)務(wù)元數(shù)據(jù)變更需求參與討論參與討論組織實施元數(shù)據(jù)變更方案元數(shù)據(jù)變更流程數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、元數(shù)據(jù)、安全管理流程所數(shù)據(jù)生門管理使用有控負責(zé)部者產(chǎn)提出技術(shù)元數(shù)據(jù)變更需求參與討論參與討論數(shù)據(jù)安全管理管理高階流程數(shù)據(jù)安全審批流程Page43智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)——數(shù)據(jù)管控平臺數(shù)據(jù)管控平臺從總體上來說分為數(shù)據(jù)層、應(yīng)用層、展現(xiàn)層三個主要層面，以數(shù)據(jù)層的數(shù)據(jù)庫及相關(guān)基礎(chǔ)系統(tǒng)為主要信息來源，通過應(yīng)用層的運算處理，以不同的形式，不同的功能在展現(xiàn)層提供用戶接口展現(xiàn)層數(shù)據(jù)管控平臺統(tǒng)一用戶集成界面首頁工作管理系統(tǒng)管理標(biāo)準(zhǔn)管理元數(shù)據(jù)管理質(zhì)量管理應(yīng)用層主菜單指標(biāo)速遞待辦事項信息地圖流程管理績效指標(biāo)規(guī)范管理用管戶理權(quán)管限理標(biāo)瀏準(zhǔn)覽標(biāo)準(zhǔn)維護……數(shù)元據(jù)采集……規(guī)則配置……數(shù)據(jù)層數(shù)據(jù)管控平臺知識庫數(shù)據(jù)標(biāo)準(zhǔn)知識庫元數(shù)據(jù)知識庫質(zhì)量稽核庫Page44智慧城市數(shù)據(jù)大腦分析平臺總體產(chǎn)品框架Sqoop歷Distcp沙盤演練平臺增值產(chǎn)品平臺管理分析平臺Sqoop+Hive（Hadoop史歸（Hadoop集群）（Hadoop集群）（X86MPP集（內(nèi)實存時數(shù)分析據(jù)平庫）臺群）流程調(diào)度平臺檔查詢HQL+LoadDistcpDistcpHQL+LoaDistcpHQL+LoaSqoop）基礎(chǔ)計算平臺（貼源數(shù)據(jù)區(qū)+主題數(shù)據(jù)區(qū)+智慧城市數(shù)據(jù)大ddMR集群平臺腦區(qū)）數(shù)據(jù)管控平臺（Hadoop集群+Hive）CopyfromloalLoad（Hive）Queue數(shù)據(jù)交換平臺（自主開發(fā)交換組件+NAS存儲）SFTP/HTTP/APIFTP京東云數(shù)據(jù)推送平臺非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)京東業(yè)務(wù)系統(tǒng)結(jié)構(gòu)化數(shù)據(jù)Page45目錄1245Page46智慧城市數(shù)據(jù)大腦分析平臺綜述智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)智慧城市數(shù)據(jù)大腦分析平臺演進路線智慧城市數(shù)據(jù)大腦分析平臺一期實施重點智慧城市數(shù)據(jù)大腦質(zhì)量管理平臺智慧城市數(shù)據(jù)大腦分析平臺演進路線一期2013.10當(dāng)前位置未來搭建智慧城市數(shù)據(jù)大腦處理平臺和實時分析平臺，應(yīng)用方面開展實時分析和數(shù)據(jù)產(chǎn)品封裝持續(xù)優(yōu)化提升階段以基礎(chǔ)平臺搭建為主，配合智慧城市數(shù)據(jù)大腦初期業(yè)務(wù)開展，應(yīng)用建設(shè)從客戶信息管理、風(fēng)險管應(yīng)深化分析體系，形成深度智能化業(yè)務(wù)分析理和運營管理三方面開展對城市價值的創(chuàng)造全面開展內(nèi)部管理分析、實時分析和沙盤演練應(yīng)用建設(shè)，初步展開增值數(shù)據(jù)產(chǎn)品開發(fā)工作全面開展智慧城市數(shù)據(jù)大腦分析技性能持續(xù)優(yōu)化、數(shù)據(jù)管持續(xù)深化數(shù)據(jù)管控體應(yīng)平臺持續(xù)完善、開展客戶信息管理、信用風(fēng)險評級和業(yè)務(wù)統(tǒng)計分析三類應(yīng)用建設(shè)開展貼源數(shù)據(jù)整合，初步建立城應(yīng)平臺建設(shè)，引入更多數(shù)據(jù)源，豐富并完善平臺數(shù)據(jù)區(qū)建設(shè)系，形成智慧城市數(shù)據(jù)大腦城市級的數(shù)據(jù)管控體系技技市級數(shù)據(jù)視圖，實現(xiàn)對管理分析類應(yīng)用和實時分析類應(yīng)用的支撐管隨著應(yīng)用體系的搭建，完善數(shù)據(jù)質(zhì)量和元數(shù)據(jù)建設(shè)，開展數(shù)據(jù)標(biāo)應(yīng)技管業(yè)務(wù)分析框架基礎(chǔ)數(shù)據(jù)平臺數(shù)據(jù)管控體系管規(guī)劃數(shù)據(jù)管控藍圖，初步實施數(shù)準(zhǔn)化工作據(jù)質(zhì)量和技術(shù)元數(shù)據(jù)管理第一階段第二階段第三階段2013年2014年——2015年2015年以后Page47智慧城市數(shù)據(jù)大腦分析平臺演進說明——基礎(chǔ)數(shù)據(jù)平臺階段劃分建設(shè)內(nèi)容預(yù)期效果實現(xiàn)了數(shù)據(jù)平臺內(nèi)部個數(shù)據(jù)區(qū)之間、數(shù)據(jù)平臺與外部系統(tǒng)間的雙向數(shù)據(jù)傳輸實現(xiàn)了業(yè)務(wù)數(shù)據(jù)按照貼源數(shù)據(jù)模整合實現(xiàn)了數(shù)據(jù)按照生命周期的歸檔管理實現(xiàn)了內(nèi)部管理分析環(huán)境搭建實現(xiàn)實時分析環(huán)境搭建搭建數(shù)據(jù)交換平臺，部署NAS存儲集群，設(shè)計并實施數(shù)據(jù)庫交換組件和數(shù)據(jù)區(qū)交換組件搭建基礎(chǔ)計算平臺，設(shè)計并實施貼源數(shù)據(jù)區(qū)，以T+1頻率整合城市和智慧城市數(shù)據(jù)大腦數(shù)據(jù)搭建歷史歸檔查詢平臺，歸檔城市和智慧城市數(shù)據(jù)大腦數(shù)據(jù)文件搭建內(nèi)部管理分析應(yīng)用平臺，部署MPP集群和BI分析應(yīng)用環(huán)境搭建實時分析平臺，部署內(nèi)存數(shù)據(jù)庫和實時BI分析環(huán)境第一階段數(shù)據(jù)交換平臺增強和優(yōu)化，包括：智慧城市數(shù)據(jù)大腦交換組件設(shè)計實施基礎(chǔ)計算平臺增強，包括：引入更多的數(shù)據(jù)源，增強貼源數(shù)據(jù)區(qū)；設(shè)計并實施主題數(shù)據(jù)區(qū)，打破業(yè)務(wù)條線整合數(shù)據(jù)；設(shè)計并實施智慧城市數(shù)據(jù)大腦區(qū)，實現(xiàn)城市內(nèi)外部非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)加工、處理搭建沙盤演練平臺實時分析平臺增強和優(yōu)化，包括：引入更多應(yīng)用及相關(guān)數(shù)據(jù)源實現(xiàn)了基礎(chǔ)數(shù)據(jù)一次存儲、一次計算、多次使用建立了數(shù)據(jù)分析人員的實驗環(huán)境，實現(xiàn)了用戶自主用數(shù)為實時、準(zhǔn)實時類分析用提供平臺為封裝、銷售數(shù)據(jù)類產(chǎn)品提供了平臺第二階段Page48基礎(chǔ)計算平臺持續(xù)增強和優(yōu)化，引入更多的數(shù)據(jù)源、優(yōu)化模型和數(shù)據(jù)平臺納入盡可能多的城市內(nèi)外智慧城市數(shù)據(jù)大腦分析平臺演進說明——數(shù)據(jù)管控階段劃分建設(shè)內(nèi)容預(yù)期效果分析和梳理當(dāng)前數(shù)據(jù)管理方面的成果和現(xiàn)狀，數(shù)據(jù)管控藍圖和路線圖設(shè)計，數(shù)據(jù)管控工作的組織、技術(shù)和流程高階設(shè)計梳理智慧城市數(shù)據(jù)大腦智慧城市數(shù)據(jù)大腦平臺ETL流程各環(huán)節(jié)的數(shù)據(jù)質(zhì)量要求，指定數(shù)據(jù)質(zhì)量檢查規(guī)則、評價指標(biāo)、管控流程，并落地實施數(shù)據(jù)質(zhì)量管理系統(tǒng)梳理智慧城市數(shù)據(jù)大腦智慧城市數(shù)據(jù)大腦平臺包含的技術(shù)元數(shù)據(jù)，如：數(shù)據(jù)字典、ETL任務(wù)、ETL流程、BI語義層等，制定相應(yīng)的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)同步智慧城市數(shù)據(jù)大腦分析平臺ETL建設(shè)，實現(xiàn)了數(shù)據(jù)質(zhì)量管理系統(tǒng)收集并整合了智慧城市數(shù)據(jù)大腦所有技術(shù)元數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)生命周管理、血緣分析和影響分析等功能第一階段隨著更多數(shù)據(jù)源的引入，進一步增強數(shù)據(jù)質(zhì)量管理系統(tǒng)隨著更多數(shù)據(jù)源的引入、更多平臺的建立，梳理并整合更多技術(shù)元數(shù)據(jù)梳理智慧城市數(shù)據(jù)大腦智慧城市數(shù)據(jù)大腦平臺包含的業(yè)務(wù)和管理類元數(shù)據(jù)，如業(yè)務(wù)術(shù)語、業(yè)務(wù)指標(biāo)、業(yè)務(wù)定義等，制定相應(yīng)的管控流程并落地實施元數(shù)據(jù)管理系統(tǒng)開展基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)，基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)、管控流程、評價指標(biāo)、落地策略完善了數(shù)據(jù)質(zhì)量管理體系，實現(xiàn)了問題及時發(fā)現(xiàn)、及時解決實現(xiàn)了智慧城市數(shù)據(jù)大腦全方位的元數(shù)據(jù)管理，打通了業(yè)務(wù)和技術(shù)元數(shù)據(jù)關(guān)聯(lián)關(guān)系為智慧城市數(shù)據(jù)大腦數(shù)據(jù)平臺建設(shè)提供了基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)第二階段數(shù)據(jù)質(zhì)量管理持續(xù)優(yōu)化并增強元數(shù)據(jù)管理持續(xù)優(yōu)化并增強基礎(chǔ)類數(shù)據(jù)標(biāo)準(zhǔn)逐步落地實施通過完善的數(shù)據(jù)管控體系，提升數(shù)據(jù)質(zhì)量、避免數(shù)據(jù)二義性Page49、建立數(shù)據(jù)間的血緣關(guān)系，使得業(yè)務(wù)人員以方便第三階段有效的智慧城市數(shù)據(jù)大腦分析平臺演進說明——應(yīng)用體系階段劃分建設(shè)內(nèi)容預(yù)期效果開展客戶信息管理建設(shè)，設(shè)計并實施個人客戶和供應(yīng)商360°視圖、客戶目標(biāo)搜索、客戶細分等功能開展風(fēng)險管理建設(shè)，設(shè)計并實施供應(yīng)商和個人客戶風(fēng)險評級模型開展運營管理建設(shè)，設(shè)計并實施智慧園區(qū)、智慧社區(qū)等業(yè)務(wù)條線業(yè)務(wù)量統(tǒng)計分析初步梳理實時、準(zhǔn)實時分析需求，進行高時效分析應(yīng)用試點可以方便的對個人客戶和供應(yīng)商進行分群，以及全方位信息查詢和展示供應(yīng)商和個人客戶風(fēng)險等級評定針對目前開展的業(yè)務(wù)進行經(jīng)營情況統(tǒng)計分析搭建并驗證高時效應(yīng)用體系第一階段通過內(nèi)部管理分析體系的建設(shè)、滿足了智慧城市數(shù)據(jù)大腦日常經(jīng)營管理、決策分析和進一步提高價值創(chuàng)造力的需要實現(xiàn)了業(yè)務(wù)人員自主用數(shù)實現(xiàn)了高時效分析，與業(yè)務(wù)流程的整合實現(xiàn)了數(shù)據(jù)產(chǎn)品的封裝，提升了數(shù)據(jù)價值隨著智慧城市數(shù)據(jù)大腦業(yè)務(wù)的展開，逐步開展內(nèi)部管理分析體系的建設(shè)，本階段重點為客戶關(guān)系管理、運營管理等高級業(yè)務(wù)人員利用沙盤演練平臺進行數(shù)據(jù)挖掘、預(yù)測和科學(xué)試驗進一步樹立實時、準(zhǔn)實時分析需求，深化開展高時效分析應(yīng)用開始梳理市場上的數(shù)據(jù)應(yīng)用需求，嘗試封裝增值數(shù)據(jù)產(chǎn)品第二階段通過內(nèi)部管理分析應(yīng)用體系建設(shè)進一步實現(xiàn)數(shù)據(jù)共享、業(yè)務(wù)協(xié)作與創(chuàng)新通過實時分析應(yīng)用體系建設(shè)，實現(xiàn)智慧城市數(shù)據(jù)大腦平臺業(yè)務(wù)系統(tǒng)的交互，與Page50業(yè)務(wù)流程的融合增值數(shù)據(jù)產(chǎn)品的開發(fā)進步發(fā)揮的數(shù)據(jù)隨著智慧城市數(shù)據(jù)大腦業(yè)務(wù)的展開，進一步完善內(nèi)部管理分析體系的建設(shè)，包括：市場風(fēng)險管理、操作風(fēng)險管理、財務(wù)管理等收集實時分析需求，進一步增強并優(yōu)化實時分析應(yīng)用體系增值數(shù)據(jù)產(chǎn)品設(shè)計逐漸成為重點，數(shù)據(jù)分析師收集城市內(nèi)外部數(shù)據(jù)需求第三階段設(shè)計更完善的增值數(shù)據(jù)產(chǎn)品目錄1235Page51智慧城市數(shù)據(jù)大腦分析平臺綜述智慧城市數(shù)據(jù)大腦分析平臺總體架構(gòu)智慧城市數(shù)據(jù)大腦分析平臺演進路線智慧城市數(shù)據(jù)大腦分析平臺一期實施重點智慧城市數(shù)據(jù)大腦質(zhì)量管理平臺金融智慧城市數(shù)據(jù)大腦分析平臺一期架構(gòu)基礎(chǔ)計算平臺：數(shù)據(jù)交換平臺：基于Hadoop集群構(gòu)建，按照業(yè)務(wù)條線、以貼源數(shù)據(jù)模型存儲了業(yè)務(wù)系統(tǒng)明細數(shù)據(jù)NAS集群實現(xiàn)了進出數(shù)據(jù)平臺數(shù)據(jù)的暫存，業(yè)務(wù)數(shù)據(jù)交換組件實現(xiàn)了業(yè)務(wù)系統(tǒng)每日增量數(shù)據(jù)加載，數(shù)據(jù)區(qū)數(shù)據(jù)交換組件實現(xiàn)了基礎(chǔ)計算平臺與管理分析平臺間的數(shù)據(jù)交換流程調(diào)度平臺：自主開發(fā)的流程調(diào)度引擎實現(xiàn)整個數(shù)據(jù)平臺的數(shù)據(jù)處理任務(wù)調(diào)度和運行管理分析平臺：實時分析平臺：由高檔X86服務(wù)器組成的集群，實現(xiàn)高時效、高并發(fā)的實時、準(zhǔn)實時類管理分析需求由X86分析型數(shù)據(jù)庫集群、BI軟件1J2EE應(yīng)用構(gòu)成，實現(xiàn)了面向應(yīng)用的數(shù)據(jù)加工、管理、分析服務(wù)Page52數(shù)據(jù)交換平臺—平臺邏輯架構(gòu)金融智慧城市數(shù)據(jù)大腦分析平臺數(shù)據(jù)交換平臺由FTP服務(wù)器、加載服務(wù)器和NAS存儲組成，完成業(yè)務(wù)系統(tǒng)數(shù)據(jù)的獲取、加載和歸檔FTP服務(wù)器：利用LVS構(gòu)成的FTP集群，接收云數(shù)據(jù)推送平臺處理后的數(shù)據(jù)，存儲在NAS集群的指定目錄加載服務(wù)器：部署ETL任務(wù)，實錄的文件到達監(jiān)控、文件級檢核、數(shù)據(jù)現(xiàn)指定目加載（HiveLoad）到臨時數(shù)據(jù)區(qū)，同時歸檔（copyfromlocal）歷史數(shù)據(jù)區(qū)NAS集群：按照日期和源系統(tǒng)劃分目錄，緩存數(shù)據(jù)，支持日常數(shù)據(jù)交換和ETL加載服務(wù)器加載服務(wù)器文件歸檔文件加載文件歸檔文件加載文件級檢核……文件級檢核#1文件到達事件監(jiān)控#4文件到達事件監(jiān)控NAS集群LVS集群：FTP服務(wù)器#1……LVS集群：FTP服務(wù)器#3LVS集群：負載均衡服務(wù)器云數(shù)據(jù)推送平臺實現(xiàn)源系統(tǒng)數(shù)據(jù)一次獲取獲、按需分發(fā)。平臺采用GoldenGate、JBUS、Flume等技術(shù)獲取增量數(shù)據(jù)，存儲在MySQL集群平臺按照接口規(guī)范生成文件，LZO壓縮后，通過FTP傳輸?shù)絅AS指定目錄…………云數(shù)據(jù)推送平臺POP物流財務(wù)供應(yīng)鏈智慧社區(qū)……Page53數(shù)據(jù)交換平臺—參與方責(zé)任劃分云計算智慧城市數(shù)據(jù)大腦1.2.3.設(shè)計并實施云數(shù)據(jù)推送平臺；按照智慧城市數(shù)據(jù)大腦接口定義，抽取業(yè)務(wù)系統(tǒng)數(shù)據(jù)；按照智慧城市數(shù)據(jù)大腦接口規(guī)范要求，按時生成數(shù)據(jù)文件、控制文件和DDL文件，并通過FTP傳輸?shù)絅AS指定目錄；若源系統(tǒng)有變更，則要求在變更前提供變更內(nèi)容說明，升級平臺版本，根據(jù)智慧城市數(shù)據(jù)大腦更新接口規(guī)范提供數(shù)據(jù)；1.2.制定接口規(guī)范，并提交給云數(shù)據(jù)推送項目組；梳理業(yè)務(wù)系統(tǒng)數(shù)據(jù)字典，制定接口定義，并提交給云數(shù)據(jù)推送項目組；開發(fā)數(shù)據(jù)交換組件，從NAS獲取數(shù)據(jù)并處理；對接收的數(shù)據(jù)提供驗證功能，并返回驗證結(jié)果到云數(shù)據(jù)推送平臺；根據(jù)云數(shù)據(jù)推送平臺提交的變更通知修改接口定義和數(shù)據(jù)交換組件；對于未盡事宜，應(yīng)同云計算方協(xié)商解決。.5.運維部門應(yīng)及時解決接口數(shù)據(jù)提供過程中出現(xiàn)的問題；6.1.6.對于未盡事宜，應(yīng)同智慧城市數(shù)據(jù)大腦協(xié)商解決。安裝部署智慧城市數(shù)據(jù)大腦智慧城市數(shù)據(jù)大腦分析平臺物理環(huán)境、應(yīng)用軟件，并進行基礎(chǔ)設(shè)施運維；在業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫服務(wù)器安裝并部署云數(shù)據(jù)推送平臺客戶端，并提供數(shù)據(jù)庫訪問。研發(fā)部門1.針對智慧城市數(shù)據(jù)大腦需求，指定接口人、提供文檔；業(yè)務(wù)系統(tǒng)因版本升級等原因?qū)е聰?shù)據(jù)模型發(fā)生變Page54化2.2.及時通知云數(shù)據(jù)推送平臺接口責(zé)任人數(shù)據(jù)交換平臺—業(yè)務(wù)系統(tǒng)數(shù)據(jù)抽取實現(xiàn)方式每張源系統(tǒng)表都對應(yīng)一個獨立的數(shù)據(jù)接口數(shù)據(jù)接口由數(shù)據(jù)文件和控制文件構(gòu)成（文件命名和具體內(nèi)容參見接口規(guī)范）文件統(tǒng)一采用UTF-8編碼，統(tǒng)一存在在JSS指定目錄（參見接口規(guī)范）如果在抽取周期內(nèi)沒有數(shù)據(jù)變更，云數(shù)據(jù)推送平臺應(yīng)該生成空的數(shù)據(jù)接口傳輸方式FTP傳輸，利用LVS技術(shù)構(gòu)建FTP集群，接收數(shù)據(jù)傳輸頻率云數(shù)據(jù)推送平臺通常按照T+1頻率為智慧城市數(shù)據(jù)大腦提供數(shù)據(jù)，具體頻率要求參見接口定義接口處理模式1.云數(shù)據(jù)推送平臺根據(jù)不同接口單元定義，準(zhǔn)備數(shù)據(jù)、生成接口數(shù)據(jù)文件；2.3.4.云數(shù)據(jù)推送平臺根據(jù)接口規(guī)范生成相應(yīng)的接口控制文件；云數(shù)據(jù)推送平臺壓縮數(shù)據(jù)（LZO），并通過FTP將數(shù)據(jù)接口存入NAS指定目錄；金融智慧城市數(shù)據(jù)大腦分析平臺部署在不同加載服務(wù)器上的數(shù)據(jù)交換組件完成：a)b)c)通過檢核后，將數(shù)據(jù)文件和控制文件移動到NAS集群指定目錄，觸發(fā)后續(xù)ETL處理；定時輪詢NAS指定目錄，獲取接口（包括數(shù)據(jù)文件、控制文件和DDL文件）；執(zhí)行文件級檢核；Page555.在TaskAutomation調(diào)度下執(zhí)行數(shù)據(jù)加載和數(shù)據(jù)歸檔任務(wù)。數(shù)據(jù)交換平臺—平臺部署架構(gòu)數(shù)據(jù)交換平臺由8臺X86服務(wù)器和一個NAS集群構(gòu)成X86服務(wù)器按照功能分為2組，一組實現(xiàn)數(shù)據(jù)獲取，一組實現(xiàn)數(shù)據(jù)加載和歸檔NAS集群作為公共數(shù)據(jù)區(qū)，由8臺服務(wù)器共享訪問（讀寫）負責(zé)源系統(tǒng)數(shù)據(jù)文件加載和LVS1負載均衡其它LVS服務(wù)LVS服務(wù)器1LVS服務(wù)器4加載服務(wù)器1加載服務(wù)器4LVSFTP加載任務(wù)歸檔任務(wù)加載任務(wù)歸檔任務(wù)歸檔器負責(zé)接收接口文件，寫入NAS集群目錄PythonJSSModule…PythonJSSModuleHive……PythonruntimeHDFSClient…Hive每臺服務(wù)器負責(zé)多個源系統(tǒng)支持按需擴展PythonruntimeHDFSClientRedhatLinuxRedhatLinuxRedhatLinuxRedhatLinux支持按需擴展/減少服務(wù)器/減少服務(wù)器LAN部署數(shù)據(jù)交換平臺和流程調(diào)按日期和源系統(tǒng)建立數(shù)度平臺程序，各服務(wù)器通過文件鏈接使用據(jù)目錄，緩存每日接口文件，供交NAS集群Page換平臺訪問56流程調(diào)度平臺—平臺邏輯架構(gòu)TaskAutomation驅(qū)動各個平臺、實現(xiàn)從數(shù)據(jù)存入NAS平臺到數(shù)據(jù)集市生成整個處理過程的工作流管理數(shù)據(jù)交換平臺負責(zé)數(shù)據(jù)抽取、文件級質(zhì)量檢核、調(diào)用HiveLoad加載數(shù)據(jù)基礎(chǔ)計算平臺使用HiveSQL實現(xiàn)貼源數(shù)據(jù)整合、公共匯總數(shù)據(jù)處理管理分析平臺使用關(guān)系型數(shù)據(jù)庫的SQL實現(xiàn)集市數(shù)據(jù)的處理歷史歸檔查詢平臺負責(zé)數(shù)據(jù)文件和Hadoop集群數(shù)據(jù)歸檔Page57流程調(diào)度平臺—流程調(diào)度元數(shù)據(jù)TaskAutomation的元數(shù)據(jù)統(tǒng)一存儲在MySQL數(shù)據(jù)庫中任務(wù)定義，包括任務(wù)名稱、描述、運行服務(wù)器、運行狀態(tài)、運行時間、相關(guān)數(shù)據(jù)源等屬性任務(wù)依賴，任務(wù)的執(zhí)行依賴與其他上游任務(wù)任務(wù)觸發(fā)，任務(wù)成功執(zhí)行后觸發(fā)的下游任務(wù)任務(wù)組，一組有相互關(guān)系的任務(wù)，全部完成后會觸發(fā)頭任務(wù)運行……元數(shù)據(jù)由所有流程調(diào)度服務(wù)器共享Page58流程調(diào)度平臺—任務(wù)調(diào)度引擎通過偵測器偵測事件，按照任務(wù)定義和任務(wù)依賴關(guān)系觸發(fā)任務(wù)運行，觸發(fā)方式把主要包括自動觸發(fā)定時觸發(fā)，按照預(yù)先定義的時間周期，如每日、每周、每月，或任何有規(guī)律的時間間隔執(zhí)行任務(wù)。目前可明確的任務(wù)主要是每月執(zhí)行的基礎(chǔ)計算平事件觸發(fā)，按照特定的事件觸發(fā)、執(zhí)行任務(wù)。如：數(shù)據(jù)文件到達指定目錄，會觸發(fā)數(shù)據(jù)加載任務(wù)。同樣，流程失敗也會觸發(fā)新的job，如錯誤處理臺、管理分析平臺數(shù)據(jù)歸檔。手動觸發(fā)系統(tǒng)管理員可以使用TaskAutomation提供的界面或命令接口執(zhí)行一些job。這些job的功能通常包括對特定范圍的數(shù)據(jù)進行審計與驗證、對特定范、例外處理等。圍的數(shù)據(jù)進行針對性很強的數(shù)據(jù)清洗、或者是對某流程失敗后的修復(fù)。每個要執(zhí)行的任務(wù)均由任務(wù)執(zhí)行代理啟動運行Page59流程調(diào)度平臺—集群可靠性和可擴展性高可用性流程調(diào)度所需的元數(shù)據(jù)信息統(tǒng)一保存在MySQL數(shù)據(jù)庫中，集群中任何服務(wù)器發(fā)生故障不會破壞元數(shù)據(jù)完整性。服務(wù)器故障時，只需要修改ETL任務(wù)屬性，指定其他服務(wù)器執(zhí)行任務(wù)即可，故障不會影響任務(wù)依賴關(guān)系、任務(wù)組關(guān)系。擴展能力流程調(diào)度集群由多臺服務(wù)器構(gòu)成，按工作負載劃分不同角色，分別實現(xiàn)ETL處理過程中不同類型任務(wù)的調(diào)度。當(dāng)某類調(diào)度工作負載較大時，可通過增加服務(wù)器的方式，實現(xiàn)集群的橫向擴展Page60流程調(diào)度平臺—平臺部署架構(gòu)流程調(diào)度平臺由八臺X86服務(wù)器構(gòu)成，服務(wù)器按照功能分為兩類兩臺X86服務(wù)器部署MySQL數(shù)據(jù)庫集群，存儲流程調(diào)度元數(shù)據(jù)六臺X86服務(wù)器部署流程調(diào)度引擎，負責(zé)各數(shù)據(jù)區(qū)數(shù)據(jù)處理流程調(diào)度與運行按數(shù)據(jù)區(qū)劃分工作流，工作流不跨數(shù)據(jù)區(qū)臨時區(qū)數(shù)據(jù)處理的工臨時/歸檔區(qū)調(diào)度服務(wù)器1臨時/歸檔區(qū)調(diào)度服務(wù)器4貼源區(qū)調(diào)度服務(wù)器匯總區(qū)調(diào)度服務(wù)器TaskAutomationTaskAutomationTaskAutomationTaskAutomation作流部署在數(shù)據(jù)交換換平臺的加載服務(wù)器HadoopHive……HadoopHiveHadoopHiveHadoopHivePerlRuntimeMySQLClientRedhatLinuxPerlRuntimeMySQLClientRedhatLinuxPerlRuntimeMySQLClientRedhatLinuxPerlRuntimeMySQLClientRedhatLinux貼園區(qū)和匯總區(qū)工作流分別部署獨立的服務(wù)器LANMySQL主-從集群，存儲臨時MasterNodeMasterNode區(qū)、歸檔區(qū)、貼源區(qū)和匯總區(qū)數(shù)據(jù)處理任務(wù)定義，任務(wù)依賴關(guān)系MySQL主服務(wù)器MySQL從服務(wù)器Page61基礎(chǔ)計算平臺—平臺邏輯架構(gòu)基礎(chǔ)計算平臺基于Hadoop集群搭建集群采用標(biāo)準(zhǔn)的X86服務(wù)器集群彈性架構(gòu)，按需分配計算資源，支持添加X86服務(wù)器的方式實現(xiàn)橫向擴展集群中的數(shù)據(jù)保留三份，保證任何節(jié)點故障，不影響集群對外提供服務(wù)基礎(chǔ)計算平臺有三個數(shù)據(jù)區(qū)構(gòu)成VMVMVMVMVM臨時數(shù)據(jù)區(qū)，緩存當(dāng)日源系統(tǒng)變化VMVMVMVMVM（新增、修改、刪除）數(shù)據(jù)，支持后續(xù)ELT數(shù)據(jù)處理VMHadoopVMVMVMVM節(jié)點VMVMVMVMVM節(jié)點貼源數(shù)據(jù)區(qū)，按照源系統(tǒng)數(shù)據(jù)模型整合的明細歷史數(shù)據(jù)，作為基礎(chǔ)數(shù)據(jù)層VMVMVMVMVM實現(xiàn)數(shù)據(jù)一次整合、多次使用節(jié)點節(jié)點節(jié)點節(jié)點節(jié)點節(jié)點匯總數(shù)據(jù)區(qū)，根據(jù)應(yīng)用需求，對貼源數(shù)據(jù)區(qū)明細數(shù)據(jù)進行預(yù)連接、預(yù)聚合、預(yù)匯總處理的數(shù)據(jù)，實現(xiàn)了數(shù)據(jù)的一次計算、多次使用Page62匯總數(shù)據(jù)區(qū)貼源數(shù)據(jù)區(qū)臨時數(shù)據(jù)區(qū)基礎(chǔ)計算平臺—臨時數(shù)據(jù)區(qū)包含內(nèi)容數(shù)據(jù)庫設(shè)計原則智慧城市數(shù)據(jù)大腦分析平臺要整合的源系統(tǒng)，包括：POP、財務(wù)審計、財務(wù)研發(fā)、大物流、供應(yīng)鏈、金融、網(wǎng)站交易、數(shù)據(jù)部和移動客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)。臨時數(shù)據(jù)區(qū)對應(yīng)獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權(quán)限模型設(shè)計原則邏輯模型參考源系統(tǒng)和接口規(guī)范定義，為每個接口單元設(shè)計實體、屬性物理模型與邏輯模型保持一致，每個實體對設(shè)計原則應(yīng)一張Hive表，表采用LZO壓縮存儲物理模型設(shè)計不建議考慮索引、物化視圖等主要用途技術(shù)特性建立數(shù)據(jù)緩沖區(qū)，臨時存放從源系統(tǒng)抽取過來的增量/全量數(shù)據(jù)，支撐后續(xù)ELT處理。以天為單位，按業(yè)務(wù)日期建立分區(qū)歷史保留原則緩存當(dāng)日業(yè)務(wù)數(shù)據(jù)、為數(shù)據(jù)重跑方便可保留7天歷史過期數(shù)據(jù)直接刪除對應(yīng)分區(qū)，不需要歸檔Page63基礎(chǔ)計算平臺—貼源數(shù)據(jù)區(qū)包含內(nèi)容數(shù)據(jù)庫設(shè)計原則與緩沖層相對應(yīng)，貼源整合層主要包括：POP、財務(wù)審計、財務(wù)研發(fā)、大物流、供應(yīng)鏈、金融、網(wǎng)站交易、數(shù)據(jù)部和移動客戶端等研發(fā)體系的各業(yè)務(wù)系統(tǒng)，所有數(shù)據(jù)保留歷史。貼源數(shù)據(jù)區(qū)對應(yīng)獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權(quán)限模型設(shè)計原則針對不需要記錄變化的實體，其邏輯模型參考緩沖層，按照貼源設(shè)計針對需要記錄變化的數(shù)據(jù)，需要增加時間字設(shè)計原則段，設(shè)計拉鏈數(shù)據(jù)模型，記錄歷史物理模型考慮分區(qū)，流水表按業(yè)務(wù)日期建立主要用途分區(qū)，拉鏈表按終止日期建立分區(qū)作為整個數(shù)據(jù)平臺的基礎(chǔ)數(shù)據(jù)層，累計歷史，為主題層、集市層等數(shù)據(jù)區(qū)提供數(shù)據(jù)支撐。歷史保留原則拉鏈表數(shù)據(jù)保留最近37個月的歷史快照表數(shù)據(jù)永久保留交易流水表數(shù)據(jù)保留最近25個月的歷史過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時回遷Page64基礎(chǔ)計算平臺—匯總數(shù)據(jù)區(qū)包含內(nèi)容數(shù)據(jù)庫設(shè)計原則針對客戶管理、風(fēng)險評級和業(yè)務(wù)量統(tǒng)計設(shè)計明細數(shù)據(jù)進行預(yù)匯總、預(yù)連接和預(yù)加工后的結(jié)果數(shù)據(jù)。匯總數(shù)據(jù)區(qū)對應(yīng)獨立的Hive數(shù)據(jù)庫不對外提供訪問，ETL用戶對數(shù)據(jù)庫有增、刪、查、改權(quán)限模型設(shè)計原則匯總層采用了逆范式寬表設(shè)計，某種程度上采用維度建模的方法模型設(shè)計首先需要根據(jù)業(yè)務(wù)和應(yīng)用的需要盡設(shè)計原則量包含更多的屬性和指標(biāo)，同時兼顧空間匯總層需要針對維度數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)化處理匯總層模型增加數(shù)據(jù)日期記錄歷史，建議根主要用途對明細數(shù)據(jù)進行預(yù)匯總、預(yù)連接和預(yù)加工，為應(yīng)用數(shù)據(jù)。集市準(zhǔn)備數(shù)據(jù)據(jù)數(shù)據(jù)日期建立分區(qū)歷史保留原則不同實體采取不同的歷史保留策略建議以支持應(yīng)用為輸入，避免永久保留過期數(shù)據(jù)歸檔到歷史歸檔區(qū)，需要時回遷Page65基礎(chǔ)計算平臺—平臺部署架構(gòu)NN負責(zé)HDFS元數(shù)據(jù)管理，元數(shù)據(jù)SecondaryNN負責(zé)HDFS元數(shù)據(jù)備JobTrackerNode負責(zé)MR任務(wù)分配通過心跳信號檢測TaskTracker信息存儲在NAS集群指定目錄份管理，通過硬件冗余、RAID0+1、SlaveSecondaryJobTracker負責(zé)MRNN等技術(shù)實現(xiàn)高可用性計算集群JobTracker高可用性活動狀態(tài)，排除失效節(jié)點NameNodeName&JobTrackerNode(Secondary)JobTrackerNode基礎(chǔ)計算平臺由73臺X86服務(wù)器構(gòu)成，3臺服務(wù)器作為NameNode和JobTrackerNode，70臺服務(wù)器作為DataNode和TaskTrackerNode內(nèi)部互聯(lián)70臺服務(wù)器是MR計算節(jié)點，DataNodeDataNode70臺服務(wù)器是HDFS數(shù)據(jù)節(jié)點，臨時數(shù)據(jù)區(qū)TaskTrackerNodeTaskTrackerNodeHive提交的SQL語句，轉(zhuǎn)化成MR任務(wù)，由JobTracker分配到每臺服務(wù)器上執(zhí)行和貼源整合區(qū)作為獨立的數(shù)據(jù)庫部署在此服務(wù)器上，并按照3份冗余存Page66儲……服務(wù)器1服務(wù)器70基礎(chǔ)計算平臺—平臺網(wǎng)絡(luò)拓撲NodeNodeNodeNodeNodeNodeNodeNodeNodeNodeNodeNodeNode……Node……Node……Node……NodeNodeNodeNode20NodesRACK120NodesRACK220NodesRACK320NodesRACK3Page67管理分析平臺—平臺邏輯架構(gòu)客戶信息管理，采用J2EE框架自主開發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫集群運營績效管理，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構(gòu)建于分析型數(shù)據(jù)庫集群城市業(yè)務(wù)靈活分析，采用MicroStrategy開發(fā)，數(shù)據(jù)集市構(gòu)建于內(nèi)存數(shù)據(jù)庫集群HANAPage68管理分析平臺—安全管理用戶BI應(yīng)用門戶認證管理認證管理LDAP安全管理員授權(quán)管理授權(quán)管理平臺安全管理信息庫審計管理賬戶管理賬戶信息權(quán)限信息日志信息審計管理安全管理員安全管理員身份管理個人客戶信城市客戶信智慧城市數(shù)據(jù)大腦經(jīng)營智慧城市數(shù)據(jù)大腦規(guī)模息管理息管理分析預(yù)測Page69智慧城市數(shù)據(jù)大腦分析平臺物理架構(gòu)說明平臺所有服務(wù)器均采用標(biāo)準(zhǔn)X86PC服務(wù)器系統(tǒng)劃分為三個子網(wǎng)WEB服務(wù)子網(wǎng)，兩臺服務(wù)器構(gòu)成的Tomcat集群應(yīng)用服務(wù)子網(wǎng)，兩臺服務(wù)器構(gòu)成的MicroStrategy集群數(shù)據(jù)服務(wù)子網(wǎng)基礎(chǔ)計算平臺，73臺服務(wù)器構(gòu)成的Hadoop集群數(shù)據(jù)集市平臺，30臺服務(wù)器構(gòu)成的？集群流程調(diào)度平臺，7臺服務(wù)器構(gòu)成的TaskAutomation集群數(shù)據(jù)交換平臺，5臺服務(wù)器與云數(shù)據(jù)推送平臺接口，分別實現(xiàn)不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)獲取Page70智慧城市數(shù)據(jù)大腦分析平臺一期硬件配置所有服務(wù)器均采用開放的X86架構(gòu)，單臺服務(wù)器建議配置如下：服務(wù)器類型服務(wù)器功能數(shù)量CPU內(nèi)存網(wǎng)口操作系統(tǒng)內(nèi)置盤DataNode&TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器7032128G2*1GbCentos6.312*2TB7200RPMSATAdisks4*600GB15KSASdisksRAID0+116*3TB7200RPMSATAdisks4*600GB15KSASdisksRAID0+112*2TB7200RPMSATAdisks4*600GB15KSASdisksRAIDPage710+1基礎(chǔ)計算平臺（Hadoop集128G2*1GbCentos6.3群）332歷史歸檔查詢DataNode&TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器301224G2*1GbCentos6.3平臺（Hadoop集群）31224G2*1GbCentos6.3DataNode&TaskTracker服務(wù)器NameNode&JobTracker服務(wù)器3032128G2*1GbCentos6.3沙盤演練平臺（Hadoop集128G2*1GbCentos6.3群）332智慧城市數(shù)據(jù)大腦分析平臺一期硬件配置（續(xù)）所有服務(wù)器均采用開放的X86架構(gòu)，單臺服務(wù)器建議配置如下：服務(wù)器類型服務(wù)器功能數(shù)量CPU內(nèi)存網(wǎng)口操作系統(tǒng)內(nèi)置盤數(shù)據(jù)交換平臺數(shù)據(jù)接口服務(wù)51664G2*10GbCentos6.32*600GB15KSASdisksRAID0+12*600GB15KSASdisksRAID0+14*600GB15KSASdisksRAID0+12*300GB15KSASdisksRAID0+114*300GB15KSASdisksRAID0+1器流程調(diào)度流程調(diào)度&ETL服務(wù)器Hive元數(shù)據(jù)庫71664G2*10GbCentos6.3&ETL平臺元數(shù)據(jù)服務(wù)21664G2*10GbCentos6.3器服務(wù)器432128G4*10GbCentos6.3數(shù)據(jù)集市服務(wù)器1632128G2*10GbCentos6.3管理分析平內(nèi)存數(shù)據(jù)庫服務(wù)SLESforSAPapplications11SP28*600GB10kSASdisksRAID5臺器420256G2*10GbBI應(yīng)用服務(wù)器21664G2*10GbCentos6.32*600GB15KSASdisksRAID0+12*600GB15KSASPage72disksRAID0+1WEB服務(wù)器21664G2*10GbCentos6.3智慧城市數(shù)據(jù)大腦分析平臺一期硬件配置（續(xù)）光前交換機配置要求千兆端口：278萬兆端口：100帶寬：8GBNAS集群配置如下：總存儲容量：40TB磁盤：15000RPMSASDisks網(wǎng)絡(luò)接口：萬兆網(wǎng)絡(luò)傳輸協(xié)議：TCP/IP網(wǎng)絡(luò)文件協(xié)議：CIFS、NFS單臺Cache：8GBPage73智慧城市數(shù)據(jù)大腦分析平臺一期軟件清單類型軟件清單類型軟件清單基礎(chǔ)計算平臺Hadoop0.2Centos6.3管理分析平臺數(shù)據(jù)？Centos6.3集市服務(wù)器歷史歸檔查詢平臺Hadoop0.2Centos6.3Hadoop0.2Centos6.3HadoopClient&HiveCentos6.3實時分析平臺內(nèi)存SAPH