2022年企業(yè)數(shù)據(jù)中臺(tái)建設(shè)數(shù)字化運(yùn)營(yíng)綜合解決方案

1、企業(yè)數(shù)據(jù)中臺(tái)建設(shè)數(shù)字化運(yùn)營(yíng)綜合解決方案整體規(guī)劃經(jīng)營(yíng)指控洞察與分析OA系統(tǒng)CRM客服中心雙微資訊論壇電商APP境外數(shù)據(jù)內(nèi)部社區(qū)ERP多數(shù) 據(jù)源數(shù)據(jù) 中臺(tái)市場(chǎng)營(yíng)銷客戶 運(yùn)營(yíng)品牌 運(yùn)營(yíng)產(chǎn)品研發(fā)自主分析分析模板資源中心知識(shí)網(wǎng)絡(luò)數(shù)據(jù)清洗模型分析特征提取探索分析業(yè)務(wù) 中臺(tái)原始 數(shù)據(jù)標(biāo)準(zhǔn) 數(shù)據(jù)主題 數(shù)據(jù)指標(biāo) 數(shù)據(jù)數(shù)據(jù) 湖輿情 監(jiān)測(cè)建設(shè)背景第一章頂層設(shè)計(jì)第二章應(yīng)用體系第三章數(shù)字化運(yùn)營(yíng)第四章目錄Contents1建設(shè)背景數(shù)據(jù)中臺(tái)的概念由阿里巴巴首次提出，它是一個(gè)承接技術(shù)，引領(lǐng)業(yè)務(wù)，構(gòu)建規(guī)范定義的、全域可連接萃取的、智慧的數(shù)據(jù)處理平臺(tái)，建設(shè)目標(biāo)是為了高效滿足前臺(tái)數(shù)據(jù)分析和應(yīng)用的需求。數(shù)據(jù)中臺(tái)是涵蓋了數(shù)據(jù)資產(chǎn)、數(shù)據(jù)

2、治理、數(shù)據(jù)模型、垂直數(shù)據(jù)中心、全域數(shù)據(jù)中心、萃取數(shù)據(jù)中心、數(shù)據(jù)服務(wù)等多個(gè)層次的體系化建設(shè)方法。數(shù)據(jù)服務(wù)化數(shù)據(jù)中臺(tái)是培育業(yè)務(wù)創(chuàng)新的土壤，是利用數(shù)據(jù)促進(jìn)業(yè)務(wù)創(chuàng)新的保障數(shù)據(jù)標(biāo)準(zhǔn)化“書同文，車同軌”，避免了“重復(fù)數(shù)據(jù)抽取和維護(hù)帶來(lái)的成本浪費(fèi)”數(shù)據(jù)智能化通過(guò)大量智慧算法訓(xùn)練數(shù)據(jù)細(xì)胞，形成數(shù)據(jù)大腦，產(chǎn)生智慧的力量，預(yù)先洞察未來(lái)數(shù)據(jù)資產(chǎn)化數(shù)據(jù)不斷的在補(bǔ)充，數(shù)據(jù)模型不斷的進(jìn)化，只有在滋養(yǎng)中才能從最初的字段單一到逐漸成長(zhǎng)為企業(yè)最為寶貴的模型資產(chǎn)數(shù)據(jù)中臺(tái)的內(nèi)核包括兩方面：一個(gè)是應(yīng)用數(shù)據(jù)的技術(shù)能力，另一個(gè)是數(shù)據(jù)資產(chǎn)的管理。數(shù)據(jù)中臺(tái)概念業(yè)務(wù)數(shù)據(jù)積累企業(yè)經(jīng)營(yíng)數(shù)據(jù)客戶行為數(shù)據(jù) 設(shè)備運(yùn)轉(zhuǎn)數(shù)據(jù)生態(tài)合作數(shù)據(jù)數(shù)據(jù)匯聚鏈接 統(tǒng)一存

3、儲(chǔ)計(jì)算 數(shù)據(jù)算法開發(fā)數(shù)據(jù)類目 標(biāo)簽類目 數(shù)據(jù)資產(chǎn)數(shù)據(jù)應(yīng)用服務(wù) 數(shù)據(jù)資產(chǎn)交換數(shù)據(jù)應(yīng)用場(chǎng)景企業(yè)經(jīng)營(yíng)數(shù)據(jù)客戶行為數(shù)據(jù) 設(shè)備運(yùn)轉(zhuǎn)數(shù)據(jù)生態(tài)合作數(shù)據(jù)10大數(shù)據(jù)平臺(tái)數(shù)據(jù)體系數(shù)據(jù)服務(wù)能力戰(zhàn)略定位企業(yè)需要從最高層的戰(zhàn)略 上明確數(shù)字化轉(zhuǎn)型和建設(shè) 中臺(tái)的意圖,這樣才有可能 真正將數(shù)據(jù)中臺(tái)落地組織保障企業(yè)人力資源要提供配套的組織保障沒(méi)包括CEO、CIO、 CTO、CDO等為主的高層管理者配套中層、基層的全套 管理體系,建立數(shù)據(jù)人才組織架構(gòu)一站式工具選用適用、適配、成熟、 完整的一站式大數(shù)據(jù)平臺(tái) 工具,利用工具對(duì)全鏈路的 數(shù)據(jù)采集、開發(fā)、質(zhì)量、 流程進(jìn)行保障企業(yè)數(shù)據(jù)中臺(tái)的內(nèi)涵方法論數(shù)字化組織創(chuàng)建進(jìn)化型組織， 員工數(shù)字化

4、賦能。數(shù)字化營(yíng)銷認(rèn)知用戶，創(chuàng)造極品， 建立連接，運(yùn)營(yíng)獲益。數(shù)字化經(jīng)營(yíng)挖掘價(jià)值，發(fā)現(xiàn)利潤(rùn)， 消除瓶頸，提高效率。用戶 數(shù)字化業(yè)務(wù)數(shù)字化員工 數(shù)字化數(shù)據(jù)源數(shù)字孿生業(yè)務(wù)分析業(yè)務(wù)行動(dòng)數(shù)據(jù)模型特征分析高內(nèi)聚和低耦合主要從數(shù)據(jù)業(yè)務(wù)特性和訪問(wèn)特性兩個(gè)角度來(lái)考慮：將業(yè)務(wù)相近或者相關(guān)的數(shù)據(jù)、粒度相同數(shù)據(jù)設(shè)計(jì)為一個(gè)邏輯或者物理模型；將高概率同時(shí)訪問(wèn)的數(shù)據(jù)放一起，將低概率同時(shí)訪問(wèn)的數(shù)據(jù)分開存儲(chǔ)。數(shù)據(jù)可回滾處理邏輯不變，在不同時(shí)間多次運(yùn)行數(shù)據(jù)結(jié)果確定不變。核心模型與擴(kuò)展模型分離建立核心模型與擴(kuò)展模型體系，核心模型包括的字段支持常用核心的業(yè)務(wù)，擴(kuò)展模型包括的字段支持個(gè)性化或是少量的應(yīng)用的需要，不能讓擴(kuò)展字段過(guò)度侵入核心

5、模型，破壞了核心模型的架構(gòu)簡(jiǎn)潔性與可維護(hù)性。公共處理邏輯下沉及單一越是底層公用的處理邏輯更應(yīng)該在數(shù)據(jù)調(diào)度依賴的底層進(jìn)行封裝與實(shí)現(xiàn)，不要讓公共的處理邏輯暴露給應(yīng)用層實(shí)現(xiàn)，不要讓公共邏輯在多處同時(shí)存在。成本與性能平衡適當(dāng)?shù)臄?shù)據(jù)冗余換取查詢和刷新性能，不宜過(guò)度冗余與數(shù)據(jù)復(fù)制。開發(fā)過(guò)程規(guī)則表命名需清晰、一致，表名需易于消費(fèi)者理解和使用，相同的字段含義在不同表中字段命名必須相同，必須使用規(guī)范定義表中的名稱。數(shù)據(jù)中臺(tái)設(shè)計(jì)原則數(shù)字化躍遷3業(yè)務(wù)數(shù)據(jù)化業(yè)務(wù)流程中植入采集數(shù)據(jù)的觸點(diǎn)形成數(shù)據(jù)化記憶網(wǎng)絡(luò)智能化形成智能化決策場(chǎng)景形成智能化決策算法數(shù)據(jù)網(wǎng)絡(luò)化業(yè)務(wù)數(shù)據(jù)之間建立圍繞對(duì)象的關(guān)聯(lián)ERPCRMAIMES企業(yè)常見(jiàn)問(wèn)題

6、不能自助式分析業(yè)務(wù)部門的分析報(bào)表需求有 數(shù)據(jù)開發(fā)人員完成，業(yè)務(wù)部 門無(wú)法自助完成。經(jīng)營(yíng)數(shù)據(jù)分散企業(yè)經(jīng)營(yíng)報(bào)表數(shù)據(jù)分散在多個(gè)應(yīng)用系統(tǒng)中缺乏對(duì)管理指令執(zhí)行的跟蹤和監(jiān)控?cái)?shù)據(jù)多而無(wú)序各類應(yīng)用系統(tǒng)繁多，無(wú)法連通數(shù)據(jù)不規(guī)范，無(wú)法適應(yīng)業(yè)務(wù)需求數(shù)據(jù)量較大，采集成本高數(shù)據(jù)應(yīng)用碎片化數(shù)據(jù)維度不完整，場(chǎng)景有限， 應(yīng)用層次淺顯缺少用戶端的感知和反饋缺乏運(yùn)營(yíng)數(shù)據(jù)分析01數(shù)據(jù)獲取問(wèn)題數(shù)據(jù)治理問(wèn)題數(shù)據(jù)運(yùn)用問(wèn)題0203數(shù)字化中臺(tái)特點(diǎn)全域數(shù)據(jù)采集與引入以需求為驅(qū)動(dòng)，以數(shù)據(jù)多樣性的全域思想為指導(dǎo)，采集與引入全業(yè)務(wù)（電商、零售、生產(chǎn)等）、多終端（PC、H5、APP等）、多形態(tài)（自身業(yè)務(wù)系統(tǒng)、三方購(gòu)買、互聯(lián)網(wǎng)采集抓?。┑臄?shù)據(jù)。標(biāo)準(zhǔn)規(guī)范

7、數(shù)據(jù)架構(gòu)與研發(fā)統(tǒng)一基礎(chǔ)層、公共中間層、應(yīng)用層的數(shù)據(jù)分層架構(gòu)模式，通過(guò)數(shù)據(jù)指標(biāo)結(jié)構(gòu)化規(guī)范化的方式實(shí)現(xiàn)指標(biāo)口徑統(tǒng)一。連接與深度萃取數(shù)據(jù)價(jià)值形成以業(yè)務(wù)核心對(duì)象為中心的連接和標(biāo)簽體系，深度萃取數(shù)據(jù)價(jià)值。統(tǒng)一數(shù)據(jù)資產(chǎn)管理構(gòu)建元數(shù)據(jù)中心，降低數(shù)據(jù)管理成本、追蹤數(shù)據(jù)價(jià)值。統(tǒng)一靈活任務(wù)式服務(wù)通過(guò)構(gòu)建工作流引擎，實(shí)現(xiàn)對(duì)面向任務(wù)的能力、資源組合、管理，支撐靈活多變的業(yè)務(wù)應(yīng)用。2數(shù)據(jù)中臺(tái)頂層設(shè)計(jì)整體設(shè)計(jì)思路03040102功能擴(kuò)充的靈活性模塊積累，不重復(fù)造論二次開發(fā)升級(jí)便捷系統(tǒng)開放性，支持聯(lián)合共建資源按需擴(kuò)充數(shù)據(jù)源快速連接互聯(lián)網(wǎng)數(shù)據(jù)接入內(nèi)部業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入第三方數(shù)據(jù)的快速接入文本、圖片、視頻多類型數(shù)據(jù)處理系統(tǒng)高可運(yùn)

8、維性大平臺(tái)，輕應(yīng)用的架構(gòu)體系系統(tǒng)容量的伸縮性完善的業(yè)務(wù)監(jiān)控預(yù)警體系自助式數(shù)據(jù)分析業(yè)務(wù)流個(gè)性化構(gòu)建，無(wú)需開發(fā)數(shù)據(jù)處理能力的擴(kuò)展性數(shù)字化應(yīng)用的快速創(chuàng)新思考作為快速發(fā)展的大型企業(yè)，數(shù)據(jù)應(yīng)用場(chǎng)景和數(shù)據(jù)來(lái)源快速變化，系統(tǒng)應(yīng)具有強(qiáng)大的業(yè)務(wù)適應(yīng)和擴(kuò)展能力。包括快速接入新的數(shù)據(jù)源，搭建工作流，接入處理能力， 擴(kuò)展應(yīng)用模塊等能力，從而減少系統(tǒng)林立，重復(fù)造論，難以維護(hù)的局面。整體規(guī)劃經(jīng)營(yíng)指控洞察與分析OA系統(tǒng)CRM客服中心雙微資訊論壇電商APP境外數(shù)據(jù)內(nèi)部社區(qū)ERP多數(shù) 據(jù)源數(shù)據(jù) 中臺(tái)市場(chǎng)營(yíng)銷客戶 運(yùn)營(yíng)品牌 運(yùn)營(yíng)產(chǎn)品研發(fā)自主分析分析模板資源中心知識(shí)網(wǎng)絡(luò)數(shù)據(jù)清洗模型分析特征提取探索分析業(yè)務(wù) 中臺(tái)原始 數(shù)據(jù)標(biāo)準(zhǔn) 數(shù)據(jù)

9、主題 數(shù)據(jù)指標(biāo) 數(shù)據(jù)數(shù)據(jù) 湖輿情 監(jiān)測(cè)以云計(jì)算，大數(shù)據(jù)，人工智能技術(shù)為基礎(chǔ)平臺(tái)，搭建全域、實(shí)時(shí)、智能的數(shù)據(jù)中臺(tái)。網(wǎng)站統(tǒng)計(jì)移動(dòng)統(tǒng)計(jì)客流統(tǒng)計(jì)DMP價(jià)格監(jiān)測(cè)品牌衛(wèi)士經(jīng)營(yíng)分析管理決策市場(chǎng)洞察廣告營(yíng)銷反黃牛接待大屏媒體大屏接待大屏行業(yè)定制數(shù)據(jù)應(yīng)用數(shù)據(jù)中臺(tái)數(shù)據(jù)資產(chǎn)數(shù)據(jù)研發(fā)數(shù)據(jù)地圖數(shù)據(jù)血緣資產(chǎn)分析資產(chǎn)管理資產(chǎn)運(yùn)營(yíng)數(shù)倉(cāng)規(guī)劃指標(biāo)規(guī)范模型構(gòu)建數(shù)據(jù)同步數(shù)據(jù)開發(fā)日志分析用戶畫像推薦引擎營(yíng)銷引擎智能風(fēng)控輿情分析分析報(bào)表數(shù)據(jù)大屏機(jī)器學(xué)習(xí)人臉識(shí)別圖像識(shí)別全域數(shù)據(jù)中心萃取數(shù)據(jù)中心統(tǒng)一ID數(shù)據(jù)類目體系數(shù)據(jù)標(biāo)簽體系數(shù)據(jù)集成數(shù)據(jù)智能中臺(tái)實(shí)時(shí)計(jì)算離線計(jì)算機(jī)器學(xué)習(xí)數(shù)據(jù)管理任務(wù)調(diào)度任務(wù)運(yùn)維外部數(shù)據(jù)數(shù)據(jù)源爬蟲數(shù)據(jù)埋點(diǎn)數(shù)據(jù)日志文件業(yè)務(wù)數(shù)據(jù)庫(kù)

10、ERMCRM數(shù)據(jù)中臺(tái)架構(gòu)技術(shù)架構(gòu)特征萃取數(shù)據(jù)資產(chǎn)中心主題式數(shù)據(jù)中心標(biāo)準(zhǔn)數(shù)據(jù)中心原始數(shù)據(jù)中心數(shù) 據(jù) 分 析模型分析數(shù)據(jù)網(wǎng)APISqoopFLumeSQL讀取目錄文件數(shù) 據(jù) 治 理大 數(shù) 據(jù) 技 術(shù) 平 臺(tái)元數(shù)據(jù)管理數(shù)據(jù)地圖數(shù)據(jù)字典數(shù)據(jù)檢索分析 結(jié)果獨(dú)立圖表輸出可視化圖集輸出基礎(chǔ) 認(rèn)證分 析 結(jié) 果數(shù)據(jù)結(jié)果分析結(jié)果指標(biāo)數(shù)據(jù)API主題標(biāo)簽數(shù)據(jù)API標(biāo)準(zhǔn)化數(shù)據(jù)API統(tǒng)一認(rèn)證數(shù)據(jù)加密配置管理主數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理微能力架構(gòu)，自由靈活組裝數(shù)據(jù)標(biāo)引實(shí)體識(shí)別信息抽取情感分析觀點(diǎn)抽取關(guān)鍵詞提取自動(dòng)摘要語(yǔ)義指紋內(nèi)容聚類事件識(shí)別微服務(wù)架構(gòu)，場(chǎng)景模型個(gè)性化擴(kuò)展人群畫像場(chǎng)景畫像渠道畫像傳播路徑

11、聲量分析態(tài)度分析熱點(diǎn)分析關(guān)聯(lián)分析離線Hadoop/MRSparkSqlhiveSql計(jì)算實(shí)時(shí)Gate計(jì)算RisNLP中文分詞、命名實(shí)體、信息抽取、數(shù)據(jù)標(biāo)引、文本分類、文本聚類數(shù)據(jù)HDFSHBaseOSS存儲(chǔ)ElasticSearchRedisMongoDB內(nèi)部 數(shù)據(jù) 采集外部 數(shù)據(jù) 采集海量云采集平臺(tái)雙微、資訊、論壇、博客、視頻、電商、移動(dòng)端APP,，境外數(shù)據(jù)分析報(bào)告輸出數(shù)據(jù)接入11內(nèi)部業(yè)務(wù)系統(tǒng)API（私有云）文件目錄雙微互聯(lián)網(wǎng)數(shù)據(jù)（公有云）資訊論壇電商內(nèi)部數(shù)據(jù)庫(kù)讀?。ㄋ接性疲╆P(guān)系型數(shù)據(jù)庫(kù)NosqlAPP境外數(shù)據(jù)海量分布式云端協(xié)同采集服務(wù)數(shù)據(jù)接口自定義插件數(shù)據(jù)庫(kù)接口標(biāo)準(zhǔn)協(xié)議數(shù)據(jù)接入網(wǎng)關(guān)服務(wù)簽名

12、認(rèn)證數(shù)據(jù)通道數(shù)據(jù)中心原始數(shù)據(jù)結(jié)構(gòu)與原始數(shù)據(jù)保持 一致，實(shí)時(shí)同步原始 數(shù)據(jù)，增量存儲(chǔ)用途：溯源、匯集、 資產(chǎn)Hadoop/Hbase技 術(shù)體系海量大數(shù)據(jù)分析平臺(tái)實(shí)時(shí)數(shù)據(jù)加工分 析系統(tǒng)實(shí)時(shí)分析數(shù) 據(jù) 隊(duì) 列數(shù)據(jù)資產(chǎn)采集監(jiān)控管理日志管理安全管理 系統(tǒng)預(yù)警配置系統(tǒng)采集源配置采集方式配置 采集內(nèi)容配置客服中心OA系統(tǒng)CRMERP內(nèi)部社區(qū)第三方合作（私有云）數(shù)據(jù)接口自定義插件合作伙伴數(shù)據(jù)協(xié)議數(shù)據(jù)整合數(shù)據(jù)接入 內(nèi)部數(shù)據(jù) 互聯(lián)網(wǎng)數(shù)據(jù) 第三方數(shù)據(jù)數(shù)據(jù)整合 數(shù)據(jù)清洗 數(shù)據(jù)歸一化 ETL能力擴(kuò)展可通過(guò)添加標(biāo)準(zhǔn)化能力模塊 支持新的數(shù)據(jù)來(lái)源、數(shù)據(jù)類 型（語(yǔ)音、圖片、視頻）數(shù)據(jù)清洗廣告特征識(shí)別垃圾信息特征識(shí)別基于語(yǔ)義指紋

13、的重復(fù)內(nèi)容識(shí)別基于用戶行為的灌水?dāng)?shù)據(jù)識(shí)別根據(jù)用戶發(fā)布頻率、內(nèi)容重復(fù)等特征識(shí)別基于用戶身份的灌水?dāng)?shù)據(jù)識(shí)別根據(jù)用戶被判定為水軍的歷史記錄識(shí)別用戶聲量真實(shí)用戶發(fā)布內(nèi)容內(nèi)容行為身份UGC聲量清洗利用自然語(yǔ)言處理（NLP）和模式識(shí)別技術(shù)，清洗數(shù)據(jù)中的雜質(zhì)、重復(fù)信息、水軍發(fā)布信息，獲得真實(shí)用戶聲量?；趦?nèi)容特征的無(wú)效數(shù)據(jù)識(shí)別數(shù)據(jù)倉(cāng)儲(chǔ)STGODSDWSADM結(jié)構(gòu)與原始數(shù)據(jù)保持一致，實(shí)時(shí)同步原始數(shù)據(jù)，增量存儲(chǔ)用途：溯源、匯集、資產(chǎn)Hadoop集群（3副本機(jī)制），持久化分布式存儲(chǔ)，容量TB級(jí)別，系統(tǒng)支持伸縮性，可 隨資源擴(kuò)充標(biāo)準(zhǔn)數(shù)據(jù)經(jīng)過(guò)數(shù)據(jù)清洗、整合、加工、分類的可管理的標(biāo)準(zhǔn)數(shù)據(jù)用途：數(shù)據(jù)模型標(biāo)準(zhǔn)化、規(guī)范化Ha

14、doop集群（3副本機(jī)制），持久化分布式存儲(chǔ)，容量TB級(jí)別，系統(tǒng)支持伸縮性，可 隨資源擴(kuò)充主題數(shù)據(jù)按照應(yīng)用分析對(duì)象進(jìn)行數(shù)據(jù)整合，面向應(yīng)用提供數(shù)據(jù)服務(wù)用途：數(shù)據(jù)融合，主題集合Elasticsearch全文檢索（分片集群模式），周期性存儲(chǔ)，容量TB級(jí)別（百億級(jí)），系 統(tǒng)支持伸縮性，可隨資源擴(kuò)充指標(biāo)數(shù)據(jù)完全結(jié)合前端應(yīng)用、可視化數(shù)據(jù)結(jié)果指標(biāo)用途：統(tǒng)計(jì)指標(biāo)、建模指標(biāo)Mysql關(guān)系型數(shù)據(jù)庫(kù)（水平分割及主從復(fù)制集模式），持久性存儲(chǔ)，容量500GB級(jí)別（千萬(wàn)級(jí)），業(yè)務(wù)水平分割機(jī)制，可調(diào)整數(shù)據(jù)分割機(jī)制擴(kuò)充原始數(shù)據(jù)特征提取形式結(jié)構(gòu)化知識(shí)庫(kù)通用知識(shí)行業(yè)知識(shí)個(gè)性知識(shí)語(yǔ)義結(jié)構(gòu)化數(shù)據(jù)標(biāo)引判定規(guī)則詞義消歧主體識(shí)別角色標(biāo)注結(jié)

15、構(gòu)句法依存關(guān)系分詞詞性標(biāo)注命名實(shí)體識(shí)別新詞發(fā)現(xiàn)海量NLP技術(shù)體系規(guī)則翻譯引擎NLP原始數(shù)據(jù) 非結(jié)構(gòu)(文本/圖片/視頻）標(biāo)簽數(shù)據(jù) 結(jié)構(gòu)化格式轉(zhuǎn)換圖像預(yù)處理OCR識(shí)別視頻幀識(shí)別視頻流提取 編碼轉(zhuǎn)換多媒體數(shù)據(jù)處理技術(shù)3應(yīng)用體系完備的體系，模塊化的部署，云化的操作，便捷的隨心操作。個(gè)性化 知識(shí)行業(yè)知識(shí)通用型知識(shí)知識(shí)網(wǎng)絡(luò)人機(jī)知識(shí)交互系統(tǒng)-判定圖 支持20余種邏輯表達(dá)，可調(diào)用百 萬(wàn)節(jié)點(diǎn)知識(shí)庫(kù)，圖形化操作，人 機(jī)協(xié)同構(gòu)建多維度、多層級(jí)、精 細(xì)復(fù)雜知識(shí)圖譜。知識(shí)庫(kù)百萬(wàn)節(jié)點(diǎn)的知識(shí)庫(kù)體系，包括行 業(yè)知識(shí)庫(kù)、企業(yè)知識(shí)庫(kù)、人物知 識(shí)庫(kù)、網(wǎng)民態(tài)度知識(shí)庫(kù)、事件知 識(shí)庫(kù)、違法違規(guī)知識(shí)庫(kù)等二十個(gè) 大類。知識(shí)機(jī)器學(xué)習(xí)系統(tǒng)-KA

16、DE 通過(guò)語(yǔ)料機(jī)器學(xué)習(xí)，自動(dòng)計(jì)算概 念間語(yǔ)義向量距離，發(fā)現(xiàn)概念間 相互關(guān)系。知識(shí)生產(chǎn)語(yǔ)義標(biāo)引語(yǔ)料機(jī)器學(xué)習(xí)獲得語(yǔ)義網(wǎng)絡(luò)知識(shí)機(jī)器學(xué)習(xí)結(jié)果和知識(shí)庫(kù)輔助，人 機(jī)交互建立標(biāo)簽知識(shí)系統(tǒng)提供單篇和批量測(cè)試功能用 于調(diào)試優(yōu)化分析效果規(guī)則引擎執(zhí)行趨勢(shì)識(shí)別規(guī)則，完 成語(yǔ)義標(biāo)引和分類利用海量NLP技術(shù)（切詞、新詞 識(shí)別、實(shí)體識(shí)別、詞性標(biāo)注、權(quán) 重分析等）消除歧義，提高趨勢(shì) 識(shí)別準(zhǔn)確性數(shù)據(jù)分析人群畫像場(chǎng)景畫像渠道畫像聲量分析傳播分析熱點(diǎn)分析態(tài)度分析關(guān)聯(lián)分析銷售分析探索分析多條件篩選實(shí)時(shí)數(shù)據(jù)刷新聯(lián)動(dòng)下鉆權(quán)限控制BI系統(tǒng)支持中英文界面系統(tǒng)擴(kuò)展性維度擴(kuò)展性機(jī)制技術(shù)原理備注信源（數(shù)據(jù)平臺(tái)）的擴(kuò)展性成熟的分布式協(xié)同采集系統(tǒng)信源

17、由運(yùn)營(yíng)人員自定義添加完成自動(dòng)擴(kuò)充資源，調(diào)整采集頻率，確保數(shù) 據(jù)服務(wù)的穩(wěn)定性和及時(shí)GearMan任務(wù)自動(dòng)分發(fā)機(jī)制采集頻率智能調(diào)整云服務(wù)形式提供數(shù)據(jù)加工、分析模型的擴(kuò)展 性數(shù)據(jù)清洗、特征萃取、分析模型均以微能 力形式提供，無(wú)需編程，可視化拖拽完成開放式的平臺(tái)架構(gòu)微服務(wù)能力架構(gòu)資源動(dòng)態(tài)擴(kuò)充支持SAAS服務(wù)形式 支持本地化形式應(yīng)用系統(tǒng)的擴(kuò)展性平臺(tái) + 應(yīng)用模式，隨著業(yè)務(wù)發(fā)展擴(kuò)展業(yè)務(wù) 應(yīng)用系統(tǒng)即可開放式的平臺(tái)系統(tǒng)應(yīng)用以微服務(wù)形式提供， 相互解耦，可獨(dú)立資源部 署支持SAAS服務(wù) 支持本地化形式能力擴(kuò)展性內(nèi)容標(biāo)引和抽取數(shù)據(jù)模型分析分析結(jié)果呈現(xiàn)能力：可以被自由 組合的數(shù)據(jù)分析功能模塊拖拽定制自己的 大數(shù)據(jù)分

18、析任務(wù)任務(wù)執(zhí)行狀 態(tài)實(shí)時(shí)查看數(shù)據(jù)統(tǒng)計(jì)結(jié)果直接查看專業(yè)數(shù)據(jù)庫(kù)接入網(wǎng)絡(luò)及自有數(shù)據(jù)抓取數(shù)據(jù)清洗數(shù)據(jù)融合面向數(shù)據(jù)分析師，樂(lè)高式操作數(shù)據(jù)獲取、加工、分析、可視化全流程三流可控（信息流、數(shù)據(jù)流、控制流）面向開發(fā)者，快速集成第三放數(shù)據(jù)分析能力工具特點(diǎn)數(shù)據(jù)獲取能力集數(shù)據(jù)整合能力集特征萃取能力集模型分析能力集可視化分析能力集核心能力系統(tǒng)安全運(yùn)行安全操作 安全角色區(qū)分：管理員、普通用戶；操作留痕：可詳細(xì)記錄用戶系統(tǒng)操作日志，以便問(wèn)題溯 源（建議保存1個(gè)月內(nèi)即可）容災(zāi)式數(shù)據(jù)架構(gòu)：默認(rèn)3副本數(shù)據(jù)，確保數(shù)據(jù)安全；定期自動(dòng)備份：重要關(guān)鍵指標(biāo)數(shù)據(jù)，系統(tǒng)自動(dòng)按設(shè)定的周數(shù)據(jù)期保存副本數(shù)據(jù)，確保出現(xiàn)數(shù)據(jù)問(wèn)題后能夠恢復(fù)。安全數(shù)據(jù)加

19、密機(jī)制：1）授權(quán)校驗(yàn)、數(shù)據(jù)泄露可溯源 2）數(shù)據(jù)加 密傳輸，綜合使用對(duì)稱和非對(duì)稱加密算法 3） 極度敏感數(shù)據(jù)可進(jìn)行數(shù)據(jù)脫敏存儲(chǔ)分布式架構(gòu)：從數(shù)據(jù)庫(kù)、系統(tǒng)產(chǎn)品均保證無(wú)單點(diǎn)；實(shí)時(shí)異常監(jiān)測(cè)： 服務(wù)從端口、業(yè)務(wù)日志實(shí)時(shí)監(jiān)控，自動(dòng) 化異常處理機(jī)制，確保服務(wù)可用。數(shù)據(jù)地圖管理，是對(duì)整個(gè)數(shù)據(jù)中臺(tái)內(nèi)的數(shù)據(jù)進(jìn)行統(tǒng)一查詢、管理的“地圖”，數(shù)據(jù)地圖主要面向數(shù)據(jù)開發(fā)者，匯聚用戶所有數(shù)據(jù)信息，通過(guò)元數(shù)據(jù)信息收集、數(shù)據(jù)血緣探查、數(shù)據(jù)權(quán)限申請(qǐng)授權(quán)等手段，幫助數(shù)據(jù)中心專有云完成數(shù)據(jù)信息的收集和管理，解決有哪些數(shù)據(jù)可用、到哪里可以找到數(shù)據(jù)的難題，并且提升數(shù)據(jù)資源的利用率。基本管理自動(dòng)探查平臺(tái)內(nèi)存在的表信息，記錄表名、字段、分區(qū)、

20、存儲(chǔ)等信息，同時(shí)支持?jǐn)?shù)據(jù)預(yù)覽。血緣關(guān)系管理根據(jù)任務(wù)、腳本等因素自動(dòng)建立血緣關(guān)系，實(shí)現(xiàn)數(shù)據(jù)鏈路的可查詢、可跟蹤。生命周期管理覆蓋全部數(shù)據(jù)的自動(dòng)化生命周期管理，提高存儲(chǔ)系統(tǒng)利用效率。權(quán)限管理表級(jí)、字段級(jí)的權(quán)限授權(quán)、審批等流程，從更高層面保障數(shù)據(jù)安全。支持多級(jí)表類目管理，實(shí)現(xiàn)最快時(shí)間找到最需要的數(shù)據(jù)。類目體系管理對(duì)同步任務(wù)產(chǎn)生的臟數(shù)據(jù)統(tǒng)一查看與管理。臟數(shù)據(jù)管理對(duì)新建、刪除、變更表結(jié)構(gòu)等操作自動(dòng)記錄，實(shí)現(xiàn)數(shù)據(jù)操作蹤跡可查詢。操作記錄管理數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)模型管理，主要是為解決架構(gòu)設(shè)計(jì)和數(shù)據(jù)開發(fā)的不一致性，是為了約束平臺(tái)使用者的表名、字段名的規(guī)范性，架構(gòu)師從工具層合理的進(jìn)行模型分層和統(tǒng)一開發(fā)規(guī)范，包括2部

21、分，一個(gè)是規(guī)則配置，另一個(gè)是對(duì)表名、字段名的定期校驗(yàn)。規(guī)范化檢測(cè)中心模型設(shè)計(jì)基礎(chǔ)配置表級(jí)模型層級(jí)（ODS/DWD/DWS）主題域（銷售、庫(kù)存、用戶）刷新頻率（天、周、日）增量定義（全量、增量）模型生成規(guī)則字段級(jí)原子指標(biāo)衍生指標(biāo)規(guī)則生成層級(jí)主題域刷新頻率自定義+示例：ODS_sales_D_customAnaly 模型檢測(cè) 模型不規(guī)范原因分析 字段檢測(cè) 字段不規(guī)范原因分析數(shù)據(jù)資產(chǎn)管理在實(shí)際生產(chǎn)中，數(shù)據(jù)計(jì)算任務(wù)沒(méi)有告警，但不代表數(shù)據(jù)就是正確的，比如源數(shù)據(jù)異常、代碼邏輯修改等原因都會(huì)造成結(jié)果數(shù)據(jù)錯(cuò)誤。數(shù)據(jù)質(zhì)量就是保障數(shù)據(jù)正確性的工具，主要包括這么幾部分：一是支持準(zhǔn)確性校驗(yàn)規(guī)則，二是支持雙表校驗(yàn)，三是輸出校驗(yàn)報(bào)告。支持的數(shù)據(jù)源目前已支持6種數(shù)據(jù)源，符合絕大多數(shù)場(chǎng)景下的質(zhì)量校驗(yàn)校驗(yàn)規(guī)則基于數(shù)據(jù)生產(chǎn)的實(shí)戰(zhàn)經(jīng)驗(yàn)，內(nèi)置20余種校驗(yàn)規(guī)則支持表級(jí)、字段級(jí)2類規(guī)則質(zhì)量報(bào)告支持字段級(jí)、表級(jí)校驗(yàn)報(bào)告，具備歷史數(shù)據(jù)統(tǒng)計(jì)功能，輔助定位數(shù)據(jù)質(zhì)量的問(wèn)題根源數(shù)據(jù)資產(chǎn)管理4數(shù)字化運(yùn)營(yíng)全周期數(shù)據(jù)驅(qū)動(dòng)機(jī)制24數(shù)據(jù)采集模型分析應(yīng)用展現(xiàn)現(xiàn)業(yè)務(wù)決策數(shù)據(jù)治理特征提取內(nèi)部數(shù)據(jù)外網(wǎng)數(shù)據(jù)數(shù)據(jù)清洗標(biāo)準(zhǔn)化特征標(biāo)引特征抽取人群畫像場(chǎng)景畫像態(tài)度分析信息推送數(shù)據(jù)看板