企業(yè)數字化轉型數據中臺解決方案

平臺層面(開發(fā)、服務、治理、運營)、數據層面(資產的類別、清單、質量、運維)、功能層面(數據的實時加工、批量加工、數據展現(xiàn)、數據搜索、數據存儲)。組織管理數據中臺是個獨立部門，不僅僅是成本中心,更是利潤中心，責任中心平臺演化數據平臺為了更好(更快、更靈活)地提供數據服務，融合數據服務平臺、數據開發(fā)平臺和數據管理平臺，整體統(tǒng)稱數據中臺知識共享中臺的核心是知識沉淀及共享，數據知識包括數據模型架構、流轉規(guī)則、使用規(guī)范、安提煉、存放、使用系統(tǒng)服務導向數據中臺的核心是數據服務，服務的規(guī)范化、透明化、共享化數據中臺就是數據資產管理及數據全面治理的落腳點數據中臺是指通過數據技術，對海量數據進行采集、計算、存儲、加工，同時統(tǒng)一標準和口徑。數據中臺把數據統(tǒng)一之后，會形成標準數據，再進行存儲，形成大數據資產層，進而為客戶提供高效服務。數據中臺包括數據模型，算法服務，數據產品，數據管理等等。回歸服務的本質-數據重用回歸服務的本質-數據重用數據中臺需要不斷的業(yè)務滋養(yǎng)·規(guī)避數據冗余，優(yōu)化數據質量，最大程度避免“重復數據抽取和維護的成本浪費”·統(tǒng)一數據基礎模型將相關業(yè)務領域的數據做了匯聚，奠定了數據核對和認知的基礎·規(guī)避企業(yè)信息資產的“煙囪式”數據生產模式或者項目制建設方式·數據模型不需要“穩(wěn)定”,而需要不斷的滋養(yǎng)，只有在滋養(yǎng)中才能從最初的字段單一到逐漸成長為企業(yè)最為寶貴的模型資產。核心快速響應業(yè)務!數據中臺是培育業(yè)務創(chuàng)新的土壤·企業(yè)的數據創(chuàng)新一定要站在巨人的肩膀上，即從數據中臺開始，不能總是從基礎做起，數據中臺是數據創(chuàng)新效率的保障。比如運營商中要獲取3個月的ARPU數據，如果沒有融合模型的支撐，得自己從賬單一層層匯總及關聯(lián)，速度可想而知。數據中臺是人才成長的搖籃·數據中臺讓新人擺脫了在起步階段對于導師的過渡依賴，能快速的融入團隊，在前人的基礎上進行創(chuàng)新。數據中臺天然的統(tǒng)一，集成的特性，有可能讓新人打破點線的束縛，快速構筑起自己的知識體系，成為企業(yè)數據領域的專家。數據中臺發(fā)展及演進過程：數據運營階段數據運營階段數據治理階段數據整合階段郎豐利@數字化中臺模式：前店后(厚)廠。“厚平臺、薄應用”的架構體系，敏捷支撐企業(yè)快速變化的管理和業(yè)務需求一體化管控API開放集成應用統(tǒng)一資源配置應用統(tǒng)一資源配置組件平臺基礎設施平臺化務基礎設施平臺化務基礎設施云服務按需敏捷擴張按需敏捷擴張便捷接入庫資源，操作系統(tǒng)，軟件資源(軟件安裝介質，虛擬鏡像，自動化部署腳本)等，以服務便捷接入發(fā)迭代。 項目管理級版本管理區(qū)塊鏈應用開發(fā)數據采集與交換共享敬據開放運營門戶首頁數據目錄服務超市數據需求網絡體驗洞察征信服務識別行為預測服務自定義報表即席查詢全景視圖數據標準元數據數據資產數據安全資產融合客戶業(yè)務資源…多租戶管理模型自動化運維MICROSERVICESARCHITECASASERVCE12數據中臺能力介紹2.1、數據中臺-數據開發(fā)能力gbase、IQ)、RDB(Oracle、MySQL)等··麗麗模型審核n模型盤點n數據中臺能力介紹2.1、數據中臺-數據開發(fā)能力分布式ETL工具：采用調度中心+決策中心相結合的分布式數據采集處理架構執(zhí)行執(zhí)行執(zhí)行端1端2端3取任務執(zhí)行執(zhí)行執(zhí)行執(zhí)行懿行>任務信息、模型算法信息直接寫入元數據庫>數據采集、處理(清洗轉換/標準化/解碼等)任務分布到各執(zhí)行端進行處理HA架構的調度/決策中心>提供采集、處理組件的自定義擴展能力，通過采用注入C/C++、Java代碼方式進行特殊數據處理邏輯的實現(xiàn)數據中臺能力介紹2.1、數據中臺-數據治理能力字典引用標準引用數據資源目錄注冊字典引用元模型驅動【一體化的數據資產管理體系】數據標準管理：提供全面的統(tǒng)一數據標準化管理01大數據平臺數02大數據平臺數03大數平臺數04大數平臺模05大數平臺字06大數語平臺指07數據標準管理業(yè)業(yè)字典管理標準管理數據中臺能力介紹2.1、數據中臺-數據資產管理能力接口離線采集接口、實時采集接口、互聯(lián)網爬取接口…模型緩存層模型、基礎層模型、匯總層模型、應用層模型..全生命周期的數據統(tǒng)一管理數據統(tǒng)一管理采集任務、數據匯總任務、數據挖掘任務、數據清理任務…數據API服務、數據交換服務、數據報告服務、數據應用服務PI、KPI、KQI、QoE…郎豐利數據中臺能力介紹2.1、數據中臺-數據資產管理能力數據資產管理：提供對企業(yè)內部全量數據資產的數字化管理，理清大數據平臺內數據及數據間的脈絡及關系南定義對外開放的數據目錄信息，支持數據目錄的動態(tài)調整與擴展sarrr將平臺管理的數據發(fā)布為對外可見,8將數據資源一鍵發(fā)布為數據API服務，支撐對外開放nnn2.1、數據中臺2.1、數據中臺-數據治理能力列列00入esInM隊…T質量問題呈現(xiàn)種血統(tǒng)/影響分析幫助問題定位管a析無EncELL民性班靈活的規(guī)則設置n本城 d2.1、數據中臺-數據可視能力數據可視：OLAP多維透視分析，構建靈活、直觀、快速的數據可視化能力m數據中臺能力介紹2.1、數據中臺-數據可視能力數據查詢：基于SQL語句的自定義頁面設計與呈現(xiàn)工具提供靈活的頁面布局、展示內容、展示方式、操作動作等的編排設置能力，系統(tǒng)根據根據設置內容自動生成頁面數據集設置數據集設置3a43am*w丁鉗當一CxxA2.1、數據中臺-數據運維管控能力數據生產情況數據資產情況分占數據中臺能力介紹2.1、數據中臺-數據運維管控能力2.1、數據中臺-數據運維管控能力硬件集群監(jiān)控及告警硬件集群監(jiān)控及告警控控實文名中文名即mLDATASOnLo共享t器r隨任博·班0c網首頁提供一站式的搜素及最新的數航提供當前系統(tǒng)內已具備的指標指標目錄導航提供發(fā)布的API類型的數據服務列表，支持服務的購買提供最新的數據供需情況，支持快速的數據需求發(fā)布資訊展示當前與數據中臺相關的一些熱門資訊數據中臺能力介紹代維系統(tǒng)綜合資源數斑網管話務網管物取網30006月月SIMME附著失敗111用戶詳單發(fā)布服務數：0描晾：時續(xù)mac1陜數數調型號中文器聘中文容市標開me14用戶MS播標：軟件本加時聞區(qū)更新成助次標新調末次系統(tǒng)費新成動次數據中臺能力介紹服務超市：提供系統(tǒng)對外開放的API服務清單控新后θ營理員注的API服務列表◆在線測試◆在線申請口要入地市(TOP315分鐘2018谷節(jié)保險現(xiàn)日NE電力指標日JnspurNE電力描標日J歡深H收現(xiàn)賽持斯軟探針質量單據_華為共享軟探針質量單據_華為共享最新服務最新服務且對監(jiān)控登誤服務(mendtorKpiavea)4實時監(jiān)控查詢服務(montorkpiareal3且對監(jiān)控登誤服務(mendtorKpiavea)4實時監(jiān)控查詢服務(montorkpiareal35實時監(jiān)控查閥服務(monitorjp.hoste-皆無平分實時監(jiān)控查詞服務(monitorK供應期：系統(tǒng)管理員交付方式：4數據中臺能力介紹數據供需：提供數據供需列表及數據供需的發(fā)布能力。數據需求詳情、交付格式、聯(lián)系方式等審核發(fā)布后的供需需求，快速建立供需合作滿的有隨效hD區(qū)萬布na數據中臺能力介紹03.開放服務04.AI應用提供大數據的提取、轉換及加載能力支持機器學習模型訓練與調試固化、積累通用AI開放服務基于開放服務的應用場景快速實現(xiàn)數據接入數據接入特征處理模型訓練AutoML模型評估模型發(fā)布知識圖譜服務智能問答服務智能搜索服務產品推薦數據預處理平臺標注平臺AI運行環(huán)境管理(AIStation)數據中臺能力介紹AI開放服務：提供成熟的AI智能服務(NLP、圖像識別、智能搜索、智能問答等)訓練平臺：提供面向不同能力開發(fā)人員的訓練平臺(AutoML,IAI,N計算框架：全面的AI計算框架支持(Sk-Learn、TensorFlow、Caffe-MPI、MLLIB…..)數據中臺能力介紹2.3、數據挖掘能力AIStation:面向機器學習集群，支持多種機器學習框架，能夠快速部署機器學習訓練環(huán)境，對計算集群的CPU及GPU資源進行統(tǒng)一的管理、調度及監(jiān)控，有效的提高計算資源的利用率和生產率。管理服務層r練練練數據中臺能力介紹AIStation:硬件統(tǒng)一管理，框架一鍵部署。資源監(jiān)控環(huán)境構建資源管理性能分析/優(yōu)化數據中臺能力介紹GPU資源分配集群資源監(jiān)控集群資源監(jiān)控BsoDNEns硬件性能可視化實時性能分析出二熱e2.3、數據挖掘能力機器學習環(huán)境一鍵部署CCaffe#Caffe回回算法分析ihAI標注：通過標注平臺可以對文本、圖像、知識進行標注，并且對標注質量進行自動、人工審核，保證數據質量協(xié)同眾包文本標注文本標注數據中臺能力介紹2.3、數據挖掘能力1.可為特殊需求免費定制化設計醫(yī)用模板客戶提交原始數據和需求描述，第一時間定制開發(fā)標注工具并實施數據標注，標注結果經質檢人員核驗后將數據資源調用、標注前端模塊部署至內網環(huán)境，嚴密的數據訪問策略保證數據安全。平臺把控項目進度，保障數據標注質量為客戶本地化部署具有自己的兼具需求管理、自主創(chuàng)功能的數據標注平臺詞典創(chuàng)建/管理t:維任務眾包/審核w 語料管理預處理/打基線AA貼脂貼EBE路保路保5關聯(lián)標注知識實體標注關聯(lián)標注mA訓練：旨在降低機器學習使用門檻，提供可視化的操作界面實現(xiàn)模型的訓練、評估和預測過程，無縫銜接數據分析和預測應用，降低機器學習模型的生命周期管理難度，為用戶的數據挖掘分析業(yè)務提供易用、高效、高性能的平臺服務工作臺UI服務/模型管理服務/模型管理任務監(jiān)控會話算法組件庫算法組件庫計算框架數據中臺能力介紹異構多引擎融合架構數據抽象、混合編排深度學習支持與TensorFlow、caffe2等框架無縫結合大規(guī)模分布式深度學習框架神經網絡可視化編程Docker微服務&Devops將AI模型融合現(xiàn)有微服務環(huán)境運行服務的負載均衡與高可用完整的監(jiān)控告警體系開箱即用“白盒”算法庫內置200多種算法模型機器學習、深度學習可以查看、修改、升級、編寫自己的算法模型拖拽建模&AutoML&Jupyter面向不同開發(fā)層級的建模工具支持圖形化、拖拽式工程建模支持自動模型選擇、自動超參數優(yōu)化、自動模型評估、模型定期優(yōu)化、自動更新包含特征工程的模型輸出調用API無需考慮特征工程復雜性直接輸入業(yè)務字段A訓練：是強大且便捷的機器學習和深度學習建模平臺，同時提供模型生產化能力，平臺的開放性也可以讓用戶更容易擴展算法、遷移模型并與既有IT框架集成。mmm的餐mo0t 歸數據中臺能力介紹AI核心模型智能服務AI核心模型智能服務關系識別模型位置定位模型業(yè)務量預測模型NPS評估模型關系識別模型智能搜索智能搜索數據可視化知識圖譜知識圖譜本體建模知識建模與存儲本體建模數據導入知識存儲數據導入實體抽取實體抽取事件抽取屬性抽取關系抽取事件抽取智能問答圖譜管理實體鏈接分詞分詞AI基礎服務數據中臺能力介紹對NLP、知識圖譜、知識圖譜等能力進行封裝，對外提供根據長期AI項目經驗，對常用模型進行封裝，以業(yè)務模型的方式快速部署實施·豐富的行業(yè)語料庫開發(fā)NLP:以自然語言處理為核心，提供個性化、一體化、智能化、多樣化的自然語言分析和理解服務，幫助行業(yè)快速搭建智能業(yè)務應用。漢需們e漢需們n人名識別關鍵詞提取a驗數據中臺能力介紹知識圖譜：提供圖譜搜索、路徑分析、關系發(fā)現(xiàn)、時序行為分析、屬性統(tǒng)計等查詢分析能力。搜索入口圖譜詳情搜索結果圖譜過濾圖譜過濾i些數據中臺能力介紹知識圖譜：提供圖譜搜索、路徑分析、關系發(fā)現(xiàn)、時序行為分析、屬性統(tǒng)計等查詢分析能力。搜索入口圖譜詳情搜索結果圖譜過濾圖譜過濾i些44數據中臺能力介紹2.3、數據挖掘能力智能問答：以智能化、模塊化、開放性為目標，為交互、決策、引流等提供知識庫在線構建工具和在線問答工具支撐，完成不同業(yè)務流程的專屬對話定制，幫助各行業(yè)領域快速組建智能問答平臺整體解決方案知識建設知識發(fā)布機器人配置●知識類別