邦道信息SSP大數(shù)據(jù)智能分析平臺(tái)

演講者：邦道信息技術(shù)有限責(zé)任公司2016年3月SSP大數(shù)據(jù)智能分析平臺(tái)?整體解決方案|交互式分析|專家系統(tǒng)|

精準(zhǔn)決策公司簡(jiǎn)介價(jià)值積累產(chǎn)品介紹技術(shù)特色公司簡(jiǎn)介1CompanyProfile1由行業(yè)專家發(fā)起設(shè)立以成為“下一代數(shù)據(jù)科學(xué)家”為使命長(zhǎng)期參與運(yùn)營(yíng)商的技術(shù)研發(fā)

邦道信息技術(shù)有限責(zé)任公司，是一家專業(yè)從事大數(shù)據(jù)時(shí)代行業(yè)軟件的研發(fā)與服務(wù)的服務(wù)商，致力于提供大數(shù)據(jù)服務(wù)整體解決方案和技術(shù)支持。公司簡(jiǎn)介Aboutas公司簡(jiǎn)介AboutasTEAMPEERSUSER價(jià)值積累EnterpriseCoreValues2我們的進(jìn)化HowcanwedowiththeBigdata業(yè)務(wù)經(jīng)營(yíng)分析RDB+BI2009-2011性能集中分析HD+RDB2012-2014數(shù)據(jù)開(kāi)放能力HD+Spark+MPP(RDB)2015-壘碼中SqoopSTGODMDWETLDP（統(tǒng)一采集平臺(tái)）大數(shù)據(jù)存儲(chǔ)與計(jì)算查詢/匯總/統(tǒng)計(jì)/采集/索引M/RETL數(shù)據(jù)挖掘R語(yǔ)言自主算法庫(kù)CLOUDUP3.1話單、信令HDFS輕度匯總資源、終端、APP庫(kù)、URL庫(kù)HDFSHive/MR應(yīng)用加速區(qū)Hive/MRHive/MRNOAS4.0ADSCubeETLETLETLSqoopETL處理ETL任務(wù)管理ETL流程管理ETL日志管理ETL規(guī)則配置預(yù)處理轉(zhuǎn)換聚合裝載后臺(tái)管理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理主數(shù)據(jù)管理第三方應(yīng)用性能管理系統(tǒng)SecondIndex集群監(jiān)控管理ZookeeperGangliaStorm/TimesTen大數(shù)據(jù)分布式采集傳統(tǒng)數(shù)據(jù)并行采集NagiosHUE信令話單Gn/Gb/IuPS信令話單數(shù)據(jù)網(wǎng)管數(shù)據(jù)話務(wù)數(shù)據(jù)傳輸撥測(cè)/路測(cè)EMOS能力庫(kù)APP庫(kù)URL庫(kù)H+R模式H+RMode大規(guī)模明細(xì)數(shù)據(jù)話單信令HDFS分布式文件存儲(chǔ)詳單和基于詳單的細(xì)粒度匯聚結(jié)果以及數(shù)據(jù)挖掘的結(jié)果自助分析（Impala

)

&批量處理（Spark、Hive）&數(shù)據(jù)挖掘（Spark、Mahout）大數(shù)據(jù)的清洗、輕度匯聚、計(jì)算與挖掘?qū)崟r(shí)流處理與計(jì)算引擎綜合采集平臺(tái)網(wǎng)管數(shù)據(jù)性能資源終端庫(kù)網(wǎng)優(yōu)應(yīng)用數(shù)據(jù)庫(kù)（RDBMS）專題分析的結(jié)果數(shù)據(jù)，按照專題分庫(kù)存儲(chǔ)數(shù)據(jù)同步上層專題應(yīng)用、即席查詢與分析RDBMS數(shù)據(jù)查詢代理大數(shù)據(jù)采集大數(shù)據(jù)即席查詢與分析（Impala）數(shù)據(jù)共享探針數(shù)據(jù)倉(cāng)庫(kù)（MPP）結(jié)構(gòu)化、維度化、詳單與網(wǎng)管數(shù)據(jù)關(guān)聯(lián)后的，面向分析主題的明細(xì)分析數(shù)據(jù)。多維度即席查詢與分析（SQL）H+S+M模式H+S+MMode產(chǎn)品介紹Products3“一站式”數(shù)據(jù)匯聚平臺(tái)空間服務(wù)產(chǎn)品邦道云圖可視化建模與分析工具深度DPI工具-Gandalf實(shí)時(shí)數(shù)據(jù)處理平臺(tái)整體解決方案EnterpriseSolution采集預(yù)處理源文件本地文件HDFS下載裝載結(jié)果文件HADOOP/DB/DW輸出存儲(chǔ)SPARK處理節(jié)點(diǎn)處理節(jié)點(diǎn)……處理節(jié)點(diǎn)處理節(jié)點(diǎn)處理節(jié)點(diǎn)數(shù)據(jù)采集DataCollection數(shù)據(jù)采集與質(zhì)量控制DPandQA數(shù)據(jù)探測(cè)與預(yù)處理

元數(shù)據(jù)創(chuàng)建與管理

數(shù)據(jù)采集與清洗

資源回填與計(jì)算結(jié)果回填

任務(wù)管理和質(zhì)量控制數(shù)據(jù)開(kāi)放與接口調(diào)用

迭代與數(shù)據(jù)通訊

數(shù)據(jù)訂閱、目錄服務(wù)、API和多租戶

數(shù)據(jù)采集與質(zhì)量控制DPandQANetty底層通信系統(tǒng)Spout/接收SpoutSpoutHDFS文本文件實(shí)施接口數(shù)據(jù)SupervisorSupervisorSupervisorNimbus/集群管理節(jié)點(diǎn)Flume/讀取文件發(fā)送數(shù)據(jù)到KafkaKafka節(jié)點(diǎn)Kafka節(jié)點(diǎn)Kafka節(jié)點(diǎn)Bolt/過(guò)濾Bolt/處理Bolt/聚合BoltBolt/入庫(kù)Bolt/處理Bolt/JoinBoltHbase集群HiveHDFSOracle/MysqlApolloRedis高效實(shí)時(shí)數(shù)據(jù)處理DP-Streamzookeeper高效實(shí)時(shí)數(shù)據(jù)處理DP-Stream具備高并發(fā)性低時(shí)延的明細(xì)查詢，可以支持任意多條件組合查詢，單節(jié)點(diǎn)吞吐量可達(dá)60-90萬(wàn)條／秒，億級(jí)數(shù)據(jù)響應(yīng)時(shí)延在5秒以內(nèi)；分布式的采集，降低數(shù)據(jù)加載的時(shí)延；人機(jī)交互gui接口，支持界面可視化的數(shù)據(jù)鏈接與共享；支持萬(wàn)兆以太網(wǎng)絡(luò)，大數(shù)據(jù)的計(jì)算性能隨著節(jié)點(diǎn)的增加可以線性提升，支持萬(wàn)級(jí)明細(xì)查詢的并發(fā)性；高效實(shí)時(shí)數(shù)據(jù)處理DP-Stream可視化分析工具Desight數(shù)據(jù)源工作臺(tái)Pivot維度拖拽指標(biāo)拖拽模型選擇數(shù)據(jù)集選擇公共維度拖拽引用維度拖拽計(jì)算指標(biāo)拖拽公共查詢功能從數(shù)據(jù)源讀取數(shù)據(jù),多選支持,自父級(jí)關(guān)聯(lián);2.包含,絕對(duì)等于,大于,小于支持;3.默認(rèn)值設(shè)定Charts1.餅圖,柱狀圖,折線,地圖,區(qū)域圖，點(diǎn)圖,XY散步圖等可擴(kuò)展添加2.任意圖形切換(數(shù)據(jù)支持的情況);歷史步驟（每個(gè)Pivot,chart都有一個(gè)獨(dú)立歷史步驟控制,整體頁(yè)面歷史步驟后續(xù)添加）交換行列維度數(shù)據(jù)軸（可以互相拖動(dòng)）自定義篩選匯聚（支持百分比顏色條顯示）下鉆(任意工作臺(tái)或者當(dāng)前+號(hào)展開(kāi)下鉆)自定義布局保存報(bào)表導(dǎo)出各種文件格式Table和Pivot功能相似不同點(diǎn)在于無(wú)行列轉(zhuǎn)換報(bào)表訂閱排序(支持優(yōu)先級(jí)設(shè)定)顯示數(shù)據(jù)格式化（數(shù)據(jù)圖形化）門(mén)限設(shè)置(支持簡(jiǎn)易公式)多工作臺(tái)支持行列鎖定(自動(dòng)鎖定維度行列)TOP功能導(dǎo)出(EXCEL,Word,PDF,CSV,PPT等)報(bào)表共享可視化分析平臺(tái)Desight“開(kāi)箱即用”,整合儀表盤(pán)、報(bào)表、BI和分析技術(shù)支持多種數(shù)據(jù)源：既支持傳統(tǒng)數(shù)據(jù)庫(kù)源，也支持Vertica、Gbase等MPP數(shù)據(jù)源；“拖拽式”分析，易于使用；支持多維數(shù)據(jù)的上卷、下鉆、切片、切塊等多種分析方法；提供包括箱圖、熱力圖、氣泡圖、網(wǎng)絡(luò)圖、決策樹(shù)等150多種插件；部署靈活，支持單機(jī)或分布式模式，可擴(kuò)展性強(qiáng)；可視化分析工具Desight直觀的報(bào)表導(dǎo)向入口靈活、便捷的即席多維分析邦道云圖SSP@GISSSP@GIS是“您定制功能開(kāi)發(fā)的地圖系統(tǒng)！”獨(dú)立的GISServer；適配多GIS引擎（ArcGIS、百度地圖、谷歌地圖）;自定義場(chǎng)景（點(diǎn)線面物理場(chǎng)景定制、關(guān)注指標(biāo)定制）;數(shù)據(jù)渲染算法豐富（密度圖、色塊圖、散點(diǎn)圖、行動(dòng)軌跡等）；多種分析方法（泰森多邊形、等值線、柵格化、渲染和聚合等）；功能導(dǎo)航圖用戶遷徙圖用戶軌跡圖流量密度圖自定義湖泊、社區(qū)場(chǎng)景自助分析泰森多邊形及色塊圖網(wǎng)絡(luò)覆蓋圖網(wǎng)格分布圖邦道云圖SSP@GIS深度DPI模塊SSP@Gandalf采集組件應(yīng)用分析微博京東新浪新聞處理層自然語(yǔ)言處理用戶興趣歸類主題詞提取知識(shí)庫(kù)應(yīng)用庫(kù)電商庫(kù)音樂(lè)庫(kù)圖書(shū)庫(kù)······訪問(wèn)方式APIWebServiceWeb站點(diǎn)采集框架定時(shí)啟動(dòng)運(yùn)行監(jiān)控規(guī)則配置熱插撥插件新浪微博京東愛(ài)奇藝······規(guī)則庫(kù)應(yīng)用庫(kù)電商庫(kù)音樂(lè)庫(kù)圖書(shū)庫(kù)……匹配組件應(yīng)用匹配組件電商匹配插件音樂(lè)匹配插件……技術(shù)特色和服務(wù)TechnicalSuperiority4成熟的平臺(tái)部署MatureDeployment我司采用的Hadoop平臺(tái)是經(jīng)過(guò)測(cè)試和驗(yàn)證的穩(wěn)定版本，在客戶生產(chǎn)環(huán)境成功部署運(yùn)營(yíng)；涵蓋HDFS、Hbase、MapReduce、Hive、Mahout、Sqoop等多種框架和技術(shù)；可以根據(jù)用戶的硬件環(huán)境生成最優(yōu)化的集群配置，充分發(fā)揮集群的計(jì)算能力；針對(duì)現(xiàn)有客戶在實(shí)際使用中出現(xiàn)問(wèn)題的解決方法以及大量改進(jìn)和優(yōu)化；這些改進(jìn)彌補(bǔ)了普通開(kāi)源Hadoop在實(shí)際使用中的缺陷和不足，同時(shí)支持商用HD版本的對(duì)接。數(shù)據(jù)標(biāo)準(zhǔn)接口ALLONSQLMYSQLJDBCORACLEMSSQLSYSBASEVERTICAGREENPLUMH2POSTGRESQLGBASEMONETDBSQLITE...SPARKSQLHIVEHBASESQL-ENGINE(自定義)REDIS-SQL-ENGINESQUALL-STORMCASSANDRAMONGO-SQL-ENGINEAllonSQLDYNAMODB面向傳統(tǒng)關(guān)系型數(shù)據(jù)RDBMS、大數(shù)據(jù)計(jì)算引擎SPARK、K-V數(shù)據(jù)庫(kù)HBASE及Redis、流計(jì)算引擎Storm等提供SQLonquery的數(shù)據(jù)查詢能力（

AllonSQL），為開(kāi)發(fā)人員簡(jiǎn)化了編程和實(shí)施，可以大大縮減工作量。ArtificialIntelligenceWEBMiningCFNeuralNetwork…DataMiningTextCategorizationInterpersonalCircleStatistics交互式數(shù)據(jù)分析服務(wù)DataMining&Artif