規(guī)模數(shù)據(jù)融合場景技術(shù)架構(gòu)

1、H3C規(guī)模數(shù)據(jù)融合場景技術(shù)架構(gòu)010203紫光集團(tuán)&新華三簡介規(guī)模數(shù)據(jù)應(yīng)用的技術(shù)探討規(guī)模數(shù)據(jù)融合實(shí)踐與發(fā)展武漢長江存儲南京芯片基地成都芯片基地紫光展銳紫光存儲紫光國微新華三紫光云紫光軟件紫光京通紫光股份紫光西部數(shù)據(jù)紫光智能實(shí)體公司111家重點(diǎn)企業(yè)5家直管企業(yè)19家科技產(chǎn)業(yè)紫光集團(tuán)科技產(chǎn)業(yè)架構(gòu)云網(wǎng)板塊芯片板塊融繪數(shù)字未來，共享美好生活使命作為數(shù)字化解決方案領(lǐng)導(dǎo)者，新華三 致力于成為幫助客戶業(yè)務(wù)創(chuàng)新、數(shù)字 化轉(zhuǎn)型最可信賴的合作伙伴愿景新華三：紫光集團(tuán)核心云網(wǎng)企業(yè)300億元銷售收入2總部6研發(fā)中心 13,000+員工10,061件專利申請17% 研發(fā)投入占比50%研發(fā)人員占比100+國家和地區(qū)50,

2、000,000+臺設(shè)備在線運(yùn)行市場份額持續(xù)領(lǐng)先2018 年Q1-Q3 SDS 塊存儲中國市場份額第一保持政務(wù)云領(lǐng)域市場領(lǐng)先地位，累計(jì) 成功實(shí)現(xiàn)了國家政務(wù)云和14個(gè)部委級 政務(wù)云，20個(gè)省級政務(wù)云，300余個(gè) 地市區(qū)縣政務(wù)云2018年H1和2017全年中國網(wǎng) 絡(luò)管理軟件市場份額第一2018年Q1-Q3數(shù)據(jù)中心交換機(jī) 中國市場份額第一2018年Q1-Q3中國安全硬件市 場份額第一2015-2017連續(xù)三年在中國服 務(wù)器虛擬化市場保持國產(chǎn)品牌 市場份額第一2017年中國SDN軟件市場份額第一2016-2017中國云管理平臺市 場連續(xù)兩年取得份額第一2018年保持中國企業(yè)級WLAN市 場份額第一（ID

3、C）（IDC）（IDC）（IDC）（計(jì)世）（計(jì)世）（IDC）（計(jì)世）2018年Q1贏得光纖網(wǎng)絡(luò)存儲 和全閃存儲中國市場份額第一（IDC）2018年Q1-Q3刀片服務(wù)器銷售 額獲中國市場份額第一（IDC）（計(jì)世）新華三數(shù)字大腦計(jì)劃H3C智能 數(shù)字平臺生態(tài)伙伴 創(chuàng)新應(yīng)用助力客戶數(shù)字化轉(zhuǎn)型，需要平臺能力廠商和細(xì)分領(lǐng)域合作伙伴共同實(shí)現(xiàn)。新華三提供數(shù)字基礎(chǔ)設(shè)施、業(yè)務(wù)能力平臺、主動(dòng)安全和統(tǒng)一運(yùn)維構(gòu)成的“智能數(shù)字平臺”，合作伙伴提供創(chuàng)新應(yīng)用。客戶數(shù)字化轉(zhuǎn)型ABC融合平臺：數(shù)字大腦的核心引擎業(yè)務(wù)能力平臺數(shù)字中臺業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)業(yè)務(wù)化、應(yīng)用智能化ABC融合平臺（AI+BigData+Cloud） IaaS、Pa

4、aS、大數(shù)據(jù)、AI、物聯(lián)網(wǎng)、區(qū)塊鏈等技術(shù)融合如何構(gòu)建一個(gè)功能完備的、高效率的IaaS和PaaS平臺?多種新技術(shù)如何快速交付？多云交付如何應(yīng)對業(yè)務(wù)碎片化的 挑戰(zhàn)？010203紫光集團(tuán)&新華三簡介規(guī)模數(shù)據(jù)應(yīng)用的技術(shù)討論規(guī)模數(shù)據(jù)融合實(shí)踐與發(fā)展多樣時(shí)效性多樣可視大量速度價(jià)值準(zhǔn)確數(shù)據(jù)規(guī)模化的挑戰(zhàn)數(shù)據(jù)融合：異構(gòu)存儲分層、面向讀取高性能、低成本云智融合：算子、算法調(diào)度優(yōu)化多數(shù)據(jù)源、跨引擎查詢可視化開發(fā)、展示業(yè)務(wù)融合：數(shù)據(jù)集成質(zhì)量管理領(lǐng)域?qū)＜?、業(yè)務(wù) 合作安全安全保存安全共享安全傳輸法律 法規(guī)國家 標(biāo)準(zhǔn)行業(yè) 監(jiān)管2008 201520172018刑法修正案(九)： 個(gè)人信息保護(hù)入刑網(wǎng)絡(luò)安全法 ：數(shù)據(jù)保護(hù)正式立法

5、民法總則：個(gè)人信息保護(hù)條款信息系統(tǒng)安全等級保 護(hù)基本要求(等保1.0)網(wǎng)絡(luò)安全等級保護(hù)條例(征求意見稿)工信部電信和互聯(lián)網(wǎng)行業(yè)提升網(wǎng)絡(luò)數(shù)據(jù) 安全保護(hù)能力專項(xiàng)行動(dòng)方案數(shù)據(jù)安全管理辦法(征求意見稿)互聯(lián)網(wǎng)個(gè)人信息安全保護(hù)指引(征求意見稿)個(gè)人信息安全影響評估指南(征求意見稿)個(gè)人信息去標(biāo)識化指南(征求意見稿)數(shù)據(jù)出境安全評估指南(征求意見稿)兒童個(gè)人信息網(wǎng)絡(luò)保護(hù)規(guī)定（征求意見稿）2019個(gè)人信息安全規(guī)范 網(wǎng)絡(luò)安全等級保護(hù)基本要求(等保2.0）數(shù)據(jù)安全背景數(shù)據(jù)源 登陸場數(shù)據(jù)業(yè)務(wù)金字塔異構(gòu)數(shù)據(jù)源接入云化ETL/ELT數(shù)據(jù)湖異構(gòu)數(shù)據(jù)庫一體化云安全策略云網(wǎng)融合的數(shù)據(jù)共享交換靈活、快速按需配置的沙箱容器AI

6、、數(shù)據(jù)工程統(tǒng)一門戶行業(yè)數(shù)據(jù)平臺（數(shù)據(jù)倉庫）專業(yè)的云數(shù)據(jù)庫應(yīng)用統(tǒng)一門戶數(shù)據(jù)科學(xué)工廠異構(gòu)存儲應(yīng)用融合 數(shù)據(jù)中臺、數(shù)據(jù)治理云智融合數(shù)據(jù)湖分析引擎數(shù)據(jù)工廠開發(fā)服務(wù)數(shù)據(jù)融合計(jì)算與存儲分離； 數(shù)據(jù)流管理架構(gòu)融合資源融合 管理融合全生命周期數(shù)據(jù)安全架構(gòu)融合：ABC融合平臺框架基礎(chǔ)資源計(jì)算存儲網(wǎng)絡(luò)安全UIS超融合云點(diǎn)行業(yè)方案云學(xué)堂云桌面云班牌黨建云其它精選云方案實(shí)施交付與運(yùn)維運(yùn)營服務(wù)頂層規(guī)劃與架構(gòu)設(shè)計(jì)服務(wù)統(tǒng)一管理CloudOS云管理平臺CMP多云管理平臺UIS超融合/邊緣云平臺應(yīng)用管理服務(wù)中間件服務(wù)大數(shù)據(jù)服務(wù)人工智能服務(wù)運(yùn)維管理服務(wù)統(tǒng)一服務(wù)PaaS服務(wù)云主機(jī)服務(wù)容器服務(wù)DevOps服務(wù)微服務(wù)治理業(yè)務(wù)編排服務(wù)統(tǒng)

7、一數(shù)據(jù)B大數(shù)據(jù)引擎分布式數(shù)據(jù)庫分析決策引擎ADataEngineMPPIT大數(shù)據(jù)IOS人工智能引擎CASONEStorSDN&NFVVDI統(tǒng)一平臺計(jì)算虛擬化桌面虛擬化存儲虛擬化網(wǎng)絡(luò)虛擬化云數(shù)基礎(chǔ)架構(gòu)云數(shù)智平臺行業(yè)方案spinespinespineleafHost AvSwitchVMVMVMHost AvSwitchVMVMVMIGWELBVPN GW內(nèi)網(wǎng)GWleafleafleafleafspineDNSVxLAN網(wǎng)絡(luò)存儲網(wǎng)絡(luò)leafHost AvSwitchVMVMVMHost AvSwitchVMVMVM內(nèi)網(wǎng)GWVPN GWELBIGWleafleafleafleafspineDNSsp

8、inespineVxLAN網(wǎng)絡(luò)存儲網(wǎng)絡(luò)高速通道文 件 存 儲 對 象 存 儲備份存儲存儲私有網(wǎng)分布式塊存儲POD分布 標(biāo)式 準(zhǔn)存 儲公共資源區(qū)備份存儲存儲私有網(wǎng)分布式塊存儲POD分 標(biāo)布 準(zhǔn)式 存 儲FC存儲網(wǎng)絡(luò)集中式塊存儲集IBM中 式 存 儲EM CFC存儲網(wǎng)絡(luò)集 中 式 存 儲集中式塊存儲IBMEM C裸金屬小機(jī)裸金屬小機(jī)AZ1spine AZ2SDN控制器Region XXX備份服 務(wù)器計(jì)算、存儲、網(wǎng)絡(luò)均支持超大規(guī)模彈性擴(kuò)展，單個(gè)Region可支持6萬臺服務(wù)器備份服 務(wù)器計(jì)算域：基于Cell機(jī)制 提供集裝箱式的計(jì)算單 元，每Cell支持千余臺 服務(wù)器，cell數(shù)目可水 平擴(kuò)展到64組以

9、上；網(wǎng)絡(luò)域： 采用SDN控 制器對整個(gè)Region網(wǎng) 絡(luò)進(jìn)行管理，并采用集群方案；存儲域：塊、對象和文 件存儲均采用分布式集 群方式，每集群可支持 256臺服務(wù)器，集群數(shù) 目可隨容量要求線性增 加；Internet外網(wǎng)互Region云平臺多云運(yùn)營平臺 聯(lián)區(qū)架構(gòu)融合：計(jì)算、存儲和網(wǎng)絡(luò)融合（大云）全生命周期數(shù)據(jù)安全傳統(tǒng)數(shù)據(jù)安全方案相對完善，隨著云原生系統(tǒng)的發(fā)展，規(guī)模數(shù)據(jù)安全需要多方適配實(shí)現(xiàn)！數(shù)據(jù)流 轉(zhuǎn)安全存儲共享使用數(shù)據(jù)庫透明加密數(shù)據(jù)庫網(wǎng)關(guān)加密數(shù)據(jù)庫審計(jì)數(shù)據(jù)庫防火墻數(shù)據(jù)防泄漏數(shù)據(jù)靜態(tài)脫敏數(shù)據(jù)動(dòng)態(tài)脫敏分類分級 數(shù)據(jù)資產(chǎn)梳理安全存儲完整性、機(jī)密性Integrity、ity授權(quán)使用機(jī)密性ity最小共享機(jī)

10、密性、可用性Integrity、 Availability個(gè)人信息、重要信息的識別定位 文檔類數(shù)據(jù)的分類分級12數(shù)據(jù)安全技術(shù)探索認(rèn)證：kerberos打通全安全流程權(quán)限與控制：kafaka、hbase、hive、hdfs、yarn，ES /solr粒度：用戶、時(shí)間、源與目的、組件信息、資源，成功或拒絕；列權(quán)限 ；所有制；Spark/hdfs控制；密鑰管理：kms、AES、DES、列加密，國密按需使用的云安全服務(wù)安全設(shè)備層（包括安全軟件）第3方 安全設(shè)備安全服務(wù)呈現(xiàn)（Console）WAF服務(wù)主機(jī)安全3rd 服務(wù)租戶API計(jì)費(fèi)監(jiān)控告警管理員API對接接口服務(wù)器ECSAPIGateWay其他云服務(wù)

11、ConsoleECS配額SCIAM賬務(wù)安全服務(wù)層計(jì)算等服務(wù)日志OC安裝/部署API典型業(yè)務(wù)場景政務(wù)云或行業(yè)云由信管辦或運(yùn)營商統(tǒng)一建設(shè)，租戶自己無需采 購安全設(shè)備部署到云數(shù)據(jù)中心便可享受安全的服務(wù)；租戶自己對租用虛擬機(jī)的安全運(yùn)維負(fù)責(zé)；客戶價(jià)值1、統(tǒng)一部署云安全服務(wù)中心，提供標(biāo)準(zhǔn)的安全服務(wù)目錄，用戶根 據(jù)業(yè)務(wù)需求使用云安全服務(wù)；按需付費(fèi)，節(jié)省租戶安全投資；2、更貼合客戶業(yè)務(wù)使用場景，客戶業(yè)務(wù)能力擴(kuò)展其所獲得的資源 與安全防護(hù)能力匹配，安全策略自動(dòng)橫向擴(kuò)展，便用性提高；3、彈性使用安全資源，節(jié)省總體安全投資。豐富的安全服務(wù)態(tài)勢感知服務(wù)主機(jī)漏洞檢測安全指數(shù)服務(wù)WAF服務(wù)主機(jī)防病毒服務(wù)網(wǎng)頁防篡改服務(wù)主機(jī)

12、入侵檢測服務(wù)云堡壘機(jī)服務(wù)虛擬防火墻服務(wù)持續(xù)增加中.態(tài)勢感知WAF主機(jī)安全漏掃服務(wù) 網(wǎng)頁防篡改態(tài)勢感知WAF主機(jī)安全 網(wǎng)頁防篡改 流量清洗SMC態(tài)勢感知 服務(wù)漏掃服務(wù)防篡改服務(wù)虛擬FW防DDoS服務(wù)3rd 服務(wù)虛擬FW DDoS防護(hù) APISDN網(wǎng)絡(luò)控制器NFV網(wǎng)絡(luò)安全設(shè) 備CAS計(jì)算虛擬化ONEStor存儲虛擬化大數(shù)據(jù)服務(wù)容器管理AIOS人工智能本地/共享 存儲CloudOS 云操作系統(tǒng)架構(gòu)融合： 一體機(jī)融合架構(gòu)（小云）數(shù)據(jù)融合：冷熱數(shù)據(jù)分層存儲應(yīng)用場景熱/冷數(shù)據(jù)存儲方案 ：控制重復(fù)數(shù)據(jù)產(chǎn)生 的成本；數(shù)據(jù)要在相對長的周期內(nèi)存在MPP為異構(gòu)存儲提供統(tǒng)一的、透明的訪問入口：并排部署和并存部署 ；按

13、需調(diào) 整集群規(guī)模；利用現(xiàn)有的Hadoop集群； 為冷數(shù)據(jù)提供理想的存儲環(huán)境技術(shù)特性查詢從MPP開始跨引擎內(nèi)外表管理：統(tǒng)一schema；ORC/Parquet 讀解器( WebHDFS /NFS)；跨引擎查詢管理E-MapReduce(MPP)SQLPythonJava/C+RROS, JSON StorageORC, Parquet, AVRO StorageE-MapReduce(HDP)保存短期的數(shù)據(jù)( X% 的數(shù)據(jù)量)被查得最頻繁的特殊查詢高性能熱保存長期的數(shù)據(jù)，大容量采用經(jīng)濟(jì)的磁盤介質(zhì) (100%的 數(shù)據(jù))批量的和特殊查詢都支持利用MPP作為統(tǒng)一的查詢?nèi)肟诶涮摂M機(jī)（CAS）VMVMVM

14、裸金屬CloudOS基礎(chǔ)平臺基礎(chǔ)設(shè)施數(shù)據(jù)流管理云數(shù)據(jù)湖企業(yè)數(shù)據(jù) 倉庫數(shù)據(jù)湖事 件驅(qū)動(dòng)可視化分析 商業(yè)決策數(shù)據(jù)源數(shù)據(jù)集成數(shù)據(jù)工作站轉(zhuǎn)發(fā)路徑和資源管理數(shù)據(jù)路由管理數(shù)據(jù)流控管理數(shù)據(jù)源起管理數(shù)據(jù)地圖管理入湖預(yù)處理批處理數(shù)據(jù)融合：數(shù)據(jù)流管理策略數(shù)據(jù)源事件驅(qū)動(dòng)動(dòng)態(tài)入湖應(yīng)用場景可視化的方式構(gòu)建數(shù)據(jù)接入任務(wù)，輕松完成多種數(shù)據(jù)源 的采集、處理以及分發(fā),提供離線數(shù)據(jù)遷移、實(shí)時(shí)數(shù)據(jù)同 步以及日志采集。技術(shù)特性支持從多種數(shù)據(jù)源動(dòng)態(tài)拉取數(shù)據(jù)，并經(jīng)過路由、轉(zhuǎn)換、 過濾、解壓壓縮、加密解密等處理操作，分發(fā)到不同 類型數(shù)據(jù)源支持hive、hbase、本地文件、ftp、kafka、ES5、slor及支持jdbc連接的關(guān)系型數(shù)據(jù)

15、庫等。分布式容器化集群部署，支持橫向擴(kuò)展節(jié)點(diǎn)?？蓪?shù)據(jù)接入作業(yè)模板導(dǎo)入，并在畫布上進(jìn)行作業(yè)重新 設(shè)計(jì)。數(shù)據(jù)融合：數(shù)據(jù)流管理工具云智融合：數(shù)據(jù)湖分析引擎SparrowLake數(shù)據(jù)源HDFSHBaseHiveRedisRDBMSKafkaESMPPDB計(jì)算層統(tǒng)一SQL服務(wù) Sparrow（自研組件）接口層核心層連接器ShellJDBCAPISparrowSession統(tǒng)一入口標(biāo)準(zhǔn)SQL流式SQLUDF庫內(nèi)機(jī)器學(xué)習(xí)圖計(jì)算存儲過程SparkHBase 連接器ES連 接器Redis 連接器JDBC連接器Kafka 連接器文件連 接器權(quán) 限 與 加 密租 戶 管 理統(tǒng) 一 元 數(shù) 據(jù)Flink應(yīng)用場景兼容

16、通用標(biāo)準(zhǔn)SQL，從數(shù)據(jù)庫平滑過渡到大數(shù)據(jù)平臺，提升兼容性，降低平臺使用門檻自研組件Sparrow，提供增強(qiáng)型統(tǒng)一SQL on Hadoop方案，提升平臺易用性技術(shù)特性支持標(biāo)準(zhǔn)SQL92/99、2003擴(kuò)展支持對流數(shù)據(jù)的SQL操作支持存儲過程，兼容Oracle PLSQL支持圖計(jì)算和機(jī)器學(xué)習(xí)的SQL操作支持HBase，ES，Redis，RDBMS，Kakfa 等多種數(shù)據(jù)源支持Parquet，Orc，Text，Avro等多種格式客戶端 或 DUEJDBC/ODB CSparkSQL Server返回結(jié)果合法性檢測（語法、庫、 表）返回錯(cuò)誤提示存儲到 Manager DB通 過判斷存儲類型creat

17、e or replace procedure procedure1()Cursor cursor is select d_year from date_dim;year int;beginfor d_year in cursor LOOP begin dbms_output.putline(d_year); end;end LOOP;end procedure1;不通 過Hive Metastore API云智融合：數(shù)據(jù)湖分析引擎SparrowLake云智融合：數(shù)據(jù)工廠開發(fā)服務(wù)接入數(shù)據(jù)源關(guān)系型 數(shù)據(jù)庫Hadoop集群NOSQL消息系統(tǒng)FTP/SFTPMPP數(shù)據(jù)工廠門戶快速入門工程管理數(shù)據(jù)開發(fā)數(shù)

18、據(jù)探索腳本開發(fā)文件管理庫表管理任務(wù)流編排查詢編輯解決方案在線notebook調(diào)度引擎調(diào)度監(jiān)控資源管理用戶文件管理主機(jī)連接 數(shù)據(jù)源管理計(jì)算引擎E-MapReduce 大數(shù)據(jù)集群基礎(chǔ)設(shè)施CloudOS基礎(chǔ)平臺虛擬機(jī)（CAS） VMVMVM裸金屬 應(yīng)用場景提供一站式全生命周期數(shù)據(jù)開發(fā)服務(wù)，適用于 數(shù)據(jù)建倉、數(shù)據(jù)分析與探索、業(yè)務(wù)報(bào)表生成、 實(shí)時(shí)數(shù)據(jù)預(yù)警等業(yè)務(wù)場景。技術(shù)特性支持HDFS文件可視化上傳、下載、共享等操作支持Hive、HBase、SparkSQL、ES、Solr、MPP等數(shù)據(jù)源表創(chuàng)建、在線查詢和可視化分析支持在線notebook編輯Spark代碼，下發(fā)任務(wù)到指定集群以拖拽方式構(gòu)建任務(wù)流，支持

19、Spark、Shell、MapReduce、java、SparkSQL、HiveQL、等任務(wù)。模型數(shù)據(jù)Mapper模型數(shù)據(jù)模型模型pserverpserverpserverpserver模型分片模型分片模型分片模型分片nodenodenodenode數(shù)據(jù)分片數(shù)據(jù)分片數(shù)據(jù)分片數(shù)據(jù)分片訓(xùn)練數(shù)據(jù)參數(shù)梯度worker梯度Reducer模型+梯度+梯度模型+梯度+梯度模型driver集成性支持單機(jī)/多機(jī)集（gRPC/MPI）資源共享和數(shù)據(jù)流轉(zhuǎn)多用戶和交互自動(dòng)化分布式和并行計(jì)算支持：支持?jǐn)?shù)據(jù)并行化和模型并行化支持多機(jī)多卡的分布式架構(gòu)針對性能優(yōu)化：調(diào)度和供應(yīng)DSN（Deep Sparse Network）多

20、機(jī) + 多卡 ; CPU + GPU離散 + 連續(xù)LR + DNN/LSTM分布式深度學(xué)習(xí)框架問題定義特征工程算法調(diào)優(yōu)模型評估線上應(yīng)用模型迭代業(yè)務(wù)專家深度學(xué)習(xí) 專家系統(tǒng)架構(gòu) 專家AI 應(yīng)用對基礎(chǔ)架構(gòu)提出的挑戰(zhàn)AI研發(fā)需要快速滿足業(yè)務(wù)需求AI應(yīng)用運(yùn)行環(huán)境多樣,算法模型 和計(jì)算框架多樣, 部署難度大AI計(jì)算資源如何合理分配AI資源獨(dú)占和浪費(fèi)，利用率低AI數(shù)據(jù)處理和模型難以共享,缺乏靈活性AI訓(xùn)練迭代計(jì)算過程缺乏自動(dòng) 化,推理部署難度大, 模型設(shè)計(jì) 和優(yōu)化時(shí)效性不夠AI計(jì)算集群并行效率不高整體平臺的性價(jià)比不高云智融合：CloudOS AI智能產(chǎn)品管理員/用戶AI API ServiceCloudOS

21、基礎(chǔ)平臺之上平臺層應(yīng)用層通用AI應(yīng)用圖像/視頻/語音/自然語言處理/數(shù)據(jù)管理模型驗(yàn)證在線/離線開發(fā)模型訓(xùn)練可視化超參數(shù)搜索模型評估AI市場AI組件層計(jì)算 框架模型托管模型部署在線預(yù)測服務(wù)服務(wù)監(jiān)控服務(wù) 使用者服務(wù)器存儲云計(jì)算資源池網(wǎng)絡(luò)異構(gòu)計(jì)算資源池GPUFPGATPU作業(yè)調(diào)度消息隊(duì)列存儲服務(wù)多級配額任務(wù)流引擎日志服務(wù)ML/DL算法庫鏡像倉庫行業(yè)解決方案智慧金融/醫(yī)療/公安/氣象/TensorflowCaffeCaffe2PyTorchMXnet更易用的AI平臺 模型訓(xùn)練 在線推理算法機(jī)器/深度學(xué)習(xí)庫 多框架算力GPU硬件賦能 云計(jì)算資源池云智融合：CloudOS AI智能產(chǎn)品010203紫光集團(tuán)

22、&新華三簡介規(guī)模數(shù)據(jù)融合實(shí)踐規(guī)模數(shù)據(jù)應(yīng)用的技術(shù)討論企業(yè)云13個(gè)國家部委級、20個(gè)省級、 近200個(gè)地市級政務(wù)云政務(wù)云國家電網(wǎng)、中海油、中外運(yùn)、中 廣核、中鐵、中聯(lián)重科、新興際 華、包鋼、武鋼等50+大中型企業(yè)16個(gè)985/211高校50+個(gè)普通高校30+地市/區(qū)縣教育云教育云醫(yī)療衛(wèi)生云5個(gè)省級衛(wèi)生云20+地市衛(wèi)生云上百所醫(yī)院部署金融云人行清算生產(chǎn)云網(wǎng)聯(lián)清算云浙江農(nóng)信科創(chuàng)云紅塔銀行開發(fā)測試云太平洋保險(xiǎn)云大象融媒、北京電視臺、浙 江影視云、湖北臺長江云、 云南臺、陜西臺中國網(wǎng)、吉林網(wǎng)、天山網(wǎng)融媒云能源云國家電網(wǎng)調(diào)度云中海油業(yè)務(wù)能力案例案例1：架構(gòu)融合計(jì)算資源X86：149臺通用， 55臺高性能；A

23、RM：14臺通用， 47臺高性能；存儲資源171節(jié)點(diǎn)7722TB網(wǎng)絡(luò)/安全資源網(wǎng)絡(luò)：61臺，866個(gè)10G 端口，175個(gè)40G端口 ； 安全：29臺，120個(gè)10G 端口，12個(gè)40G端口智能計(jì)算資源156個(gè)GPU卡，1730個(gè)視頻解析路數(shù)；分布式塊存儲VPN服務(wù)彈性主機(jī)自動(dòng)伸縮虛擬機(jī)高性能服務(wù)器裸金屬服務(wù)器對象存儲虛擬防火墻Stor mKafkaSparkStreamingHDFSFlinkMySQLmongoTezRedisNeo4jESSolrMPPHBaseHiveSparkZookeeperFlumeMahout服務(wù)全警科信：cpu：660核； 內(nèi)存：2116G； 存儲：89522

24、G；網(wǎng)安：cpu：124核； 內(nèi)存：272G； 存儲：4199GPAASIAAS計(jì)：146；存：106/3800T;網(wǎng)：28/618/87; 安：29/120/12; GPU:96/1000;計(jì)：91；存：61/3240T;網(wǎng)：31/200/88; GPU:52/630;計(jì)：30；存：4/682T; 網(wǎng) ：2/48; GPU:8/100;安全、可信、合規(guī)數(shù)據(jù)資源服務(wù)接口數(shù)據(jù)源數(shù)據(jù)源視頻數(shù)據(jù)（3000路結(jié)構(gòu)化）WA數(shù)據(jù)科信數(shù)據(jù)（全量）科信治理（科信全量數(shù)據(jù)+視頻數(shù)據(jù)）WA治理資源庫主題庫知識庫業(yè)務(wù)庫 科信數(shù)據(jù)組織方式資源服務(wù)平臺目錄網(wǎng)安平臺資源目錄科信數(shù)據(jù)資源目錄（掛接卡口/ 人像數(shù)據(jù)）WA數(shù)據(jù)

25、資源目錄數(shù)據(jù)資源服務(wù)總線數(shù)據(jù)資源服務(wù)接口科信數(shù)據(jù)服務(wù)接口（包含19個(gè)WA數(shù)據(jù)服務(wù)接口）WA數(shù)據(jù)服務(wù)接口融合：本次數(shù)據(jù)服務(wù)建設(shè)是重點(diǎn)，為了實(shí)現(xiàn)全警數(shù)據(jù)融合下的應(yīng)用效果，科信警種數(shù)據(jù)、視圖數(shù)據(jù)、 WA數(shù)據(jù)做了一定程度的融合，分別以數(shù)據(jù)服務(wù)目錄 和數(shù)據(jù)服務(wù)接口的方式實(shí)現(xiàn)服務(wù)；科信：科信可以為全警提供完整地?cái)?shù)據(jù)資源服務(wù)目錄，全警通過數(shù)據(jù)API方式和視圖方式實(shí)現(xiàn)云上的數(shù)據(jù) 服務(wù)；WA：WA在數(shù)據(jù)域中部署了2周的實(shí)時(shí)生產(chǎn)數(shù)據(jù)，同時(shí)掛接了19個(gè)數(shù)據(jù)服務(wù)接口，用于全警的數(shù)據(jù)訪問調(diào)用； 案例1：融合的數(shù)據(jù)資源體系資源庫主題庫知識庫業(yè)務(wù)庫 WA數(shù)據(jù)組織方式數(shù)據(jù)資源服務(wù)總線WA數(shù)據(jù)（兩周數(shù)據(jù)） 案例1：數(shù)據(jù)服務(wù)分層

26、解耦業(yè)務(wù)1業(yè)務(wù)2治安重點(diǎn)人 動(dòng)態(tài)管控HBaseHDFSMPP裸機(jī)部署云平臺虛機(jī)部署LXC部署業(yè)務(wù)6視圖庫人像服 務(wù)街面防 控?cái)?shù)據(jù)魔 方業(yè)務(wù)5商圈防 控時(shí)空分 析視頻云阿度大數(shù)據(jù)平臺EsSolrZookeeperRedisKafkaStormH3C大數(shù)據(jù)平臺HDFS*5Hbase*5 Solr*3X檔案時(shí)空甲板精準(zhǔn)檢 索業(yè)務(wù)4分析性查 詢業(yè)務(wù)3數(shù)據(jù)服務(wù)目 錄應(yīng)用服務(wù)目 錄HDFS*6 MPP*20MPP*6Kafka*14 ES*10銳搜關(guān)系圖 譜Storm*5 Kafka*5 ZooKeeper* 6MPP*1 KaFka*2 HDFS*14 ES*8 Redis*1 ES*1KaFka*6

27、MPP*8MPP*6應(yīng)用軟件ISV按照要求對大數(shù)據(jù)組件進(jìn)行解耦，實(shí)現(xiàn)上云部署虛機(jī)的部署只針對烽火的應(yīng)用，銳安和WA的應(yīng)用部署在裸機(jī)品高云基于AWS架構(gòu)沒有類似OpenStack中Ironic組件，對于裸機(jī)資源的納管能力，所以利用LXC代替裸金屬管理運(yùn)維應(yīng)用監(jiān)控設(shè)備監(jiān)控?cái)?shù)據(jù)庫監(jiān)控拓?fù)浔O(jiān)控云平臺監(jiān)控虛擬機(jī)監(jiān)控云安全租戶間隔離虛擬機(jī)防病毒W(wǎng)AFIPS/IDS虛擬防火墻科信網(wǎng)安刑偵交管戶籍經(jīng)偵通過提供全棧式云服務(wù)能力，滿足警務(wù)云各個(gè)警種的業(yè)務(wù)需求案例1：公安大數(shù)據(jù)分析服務(wù)數(shù)據(jù)治理元數(shù)據(jù)管理 Hcatalog MetaStore。數(shù)據(jù)采集 DataEngine DI數(shù)據(jù)質(zhì)量管理 DataEngine D

28、QM數(shù)據(jù)生命周期派出所統(tǒng)一采集 基礎(chǔ)信息、生物 特征、手機(jī)路面核查 人、車、物治安信息采集 房屋、單位、 場所案事件錄入 案件信息及狀態(tài)社保信息 醫(yī)保信息 民政信息廣電信息 金融信息 工商信息MapReduce Spark etc.統(tǒng)一數(shù)據(jù)存儲消息中間件Kafka MQ etc.統(tǒng)一數(shù)據(jù)模式 序列化AVROThrift,etc.HDFSetc.統(tǒng)一預(yù)處理數(shù)據(jù)委員會(huì)數(shù)據(jù)工作組全文快速檢索人車軌分析監(jiān)控業(yè)務(wù)網(wǎng)流智能分析視頻識別結(jié)構(gòu)化AI引擎算法倉庫批量索引 Solr實(shí)時(shí)索引 ES列存庫 HBase二級索引 PhoenixSQL引擎 Spark SQLMPP數(shù)據(jù)庫數(shù)據(jù)倉庫 Hive圖數(shù)據(jù)庫 Janu

29、sGraph數(shù)據(jù)工作區(qū)：BareMetal、Docker、Sandbox業(yè)務(wù)合作流處理Flink時(shí)序數(shù)據(jù)InfuxDB列存庫 Hbase實(shí)時(shí)索引 ES共享交換緩存 通用服務(wù)Redis消息隊(duì)列Kafka流處理 Storm實(shí)時(shí)處理 Spark Streaming看守所 戒毒所 現(xiàn)場勘驗(yàn)離線接入 NiFi實(shí)時(shí)計(jì)算 FlinkODS操作數(shù)據(jù)DW數(shù)據(jù)明細(xì)DM數(shù)據(jù)集市數(shù)據(jù)開發(fā)數(shù)倉規(guī)范 定義數(shù)據(jù)管理云數(shù)據(jù)存儲操作日志傳感器IoT在線事件流OracleMySQL PG離線業(yè)務(wù)庫實(shí)時(shí)接入 NiFi消息訂閱 Kafka離線計(jì)算 Sark/Hive數(shù) 據(jù) 倉 庫數(shù)據(jù) 運(yùn) 營實(shí)時(shí)預(yù)警實(shí)時(shí)應(yīng)用圖像識別文字識別AIOLA

30、P分析即席查詢 數(shù)據(jù)挖掘BI實(shí)時(shí)大屏案例2：大數(shù)據(jù)倉庫離線數(shù)倉：通過數(shù)據(jù)接入把數(shù)據(jù)集成到Hive或SparkSQL表中，在數(shù)據(jù)工廠中進(jìn)行數(shù)據(jù)處理作業(yè)開發(fā)，形成工作流并進(jìn)行調(diào)度，對數(shù)據(jù)進(jìn)行ETL處理，最終將數(shù)據(jù)分成ODS操作數(shù)據(jù)層、DW數(shù)據(jù)明細(xì)層和DM數(shù)據(jù)集市層的數(shù)據(jù)倉庫。實(shí)時(shí)數(shù)倉：把在線事件流數(shù)據(jù)實(shí)時(shí)接入到消息訂閱系統(tǒng)Kafka中，在數(shù)據(jù)工廠構(gòu)建Flink流處理程序或者流SQL作業(yè)，將 數(shù)據(jù)寫入在線業(yè)務(wù)庫HBase或MPP中，滿足大屏展示、實(shí)時(shí)預(yù)警及Ad-Hoc數(shù)據(jù)分析的業(yè)務(wù)使用。案例2：企業(yè)信用信息系統(tǒng)公示平臺背景和業(yè)務(wù)需求2017年6月30日，“全國一張網(wǎng)”的建設(shè)和運(yùn)用，強(qiáng)調(diào)各省 以數(shù)據(jù)中

31、心和協(xié)同監(jiān)管平臺為重點(diǎn)，需要通過大數(shù)據(jù)應(yīng)用完 善全國企業(yè)信用信息公示系統(tǒng)功能。在大數(shù)據(jù)的時(shí)代下，要對全國7000多萬市場主體的公示情況 統(tǒng)計(jì)分析，以及對訪問情況的進(jìn)一步做數(shù)據(jù)挖掘。大數(shù)據(jù)平臺解決方案對總局、省局兩級數(shù)據(jù)中心進(jìn)行拓展改造，增加數(shù)據(jù)采集方式、 拓展數(shù)據(jù)整合處理能力，實(shí)現(xiàn)企業(yè)信用信息數(shù)據(jù)的歸集、記名、 全國匯總DataEngine大數(shù)據(jù)平臺產(chǎn)品以及東軟企業(yè)信用信息公示系統(tǒng)。提供深度操作系統(tǒng)適配、SQL調(diào)優(yōu)、組件調(diào)優(yōu)、存儲過程遷移、數(shù)據(jù)遷移與同步等大數(shù)據(jù)服務(wù)。為客戶創(chuàng)造價(jià)值將大數(shù)據(jù)技術(shù)和工商企業(yè)信息資源結(jié)合，將企業(yè)登記注冊、年 度報(bào)告、行政許可、行政處罰、經(jīng)營異常名錄、嚴(yán)重違法失信 企業(yè)名單等信息歸集共享，關(guān)聯(lián)整合，統(tǒng)一公示，建立健全企 業(yè)信用信息聯(lián)合監(jiān)管體系，形成“一處違法，處處受限”的信 用約束機(jī)制。業(yè)務(wù)數(shù)據(jù) 工商 法人 銀行 社保 文本數(shù)據(jù)調(diào)查記錄 工作底稿 圖片 報(bào)表互聯(lián)網(wǎng)數(shù)據(jù) OLTP非結(jié)構(gòu)化數(shù)據(jù)列存儲壓縮技術(shù)并行加載HIVEHBaseSparkeHDFS事務(wù)鎖機(jī)制索引數(shù)據(jù) 資源 層應(yīng)用 層在線交易聯(lián)合獎(jiǎng)懲企業(yè)信息 監(jiān)管緩存技 術(shù)事務(wù)型數(shù)據(jù)庫（在線業(yè)務(wù)數(shù)據(jù)）Hadoop/Spark（低價(jià)值密度數(shù)據(jù)）MPP數(shù)據(jù)庫（高價(jià)值密度結(jié)構(gòu)化數(shù)據(jù)）DMDMDMDW粗粒度索引半結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)工商現(xiàn)有數(shù)據(jù)架構(gòu)平臺H3C大數(shù)據(jù)平臺企業(yè)信息