大數據平臺產品線售前資料-V1

1、大數據平臺產品線產品產品匯報2015-12-022中國移動云計算平臺典型架構存在的明顯缺失云平臺建設：重IaaS輕PaaS：以提供計算和存儲服務的資源池建設為主，形成“薄平臺厚應用”多個資源池獨立建設：資源利用率低，缺乏統(tǒng)籌規(guī)劃和集中運維管控能力，難以發(fā)揮規(guī)?；б娌捎肰Mware等商用虛擬化軟件：技術路線嚴重依賴廠商，建設成本居高不下，影響投資效率傳統(tǒng)的運維管理方法：將虛擬資源當做物理資源按日、周進行申請和分配，丟失云平臺資源動態(tài)調度和服務彈性伸縮的優(yōu)點應用云化：新的應用資源豎井：資源池的資源重新被固定、靜態(tài)分配給應用；應用缺乏足夠的彈性和靈活性應用云化難度大：“薄平臺厚應用”結果，每個應用

2、自行規(guī)劃、建設所需的基礎平臺軟件；難以提煉出標準化的軟件服務組件應用云化不徹底：某些應用模塊、核心數據庫等仍然依賴小型機和專用高端存儲提供的性能，難以遷往資源池市場分析之一：云計算平臺的現狀和分析業(yè)支資源池管理平臺業(yè)支資源池計算資源存儲資源網絡資源網管資源池管理平臺網管資源池計算資源存儲資源網絡資源IDC資源池管理平臺IDC資源池計算資源存儲資源網絡資源CRM云化部分BOSS云化部分經分云化部分網管應用云化部分網管應用云化部分網管應用云化部分移動公網應用外部租戶外部租戶3云計算的基本特性：租戶、服務和資源模型（亞信數據對NIST Cloud Computing Reference Archit

3、ecture的解讀）租戶和服務的關系 按需自助服務：服務的開通方式；租戶沒有綁定固定的服務 廣泛網絡訪問：服務的訪問方式；不限定租戶對服務的訪問方式和位置服務和資源的關系 快速可伸縮性：服務和資源的松耦合關系；在不中斷服務的前提下增加、減少務所使用的資源，實現服務容量的動態(tài)調整租戶和資源的關系： 動態(tài)資源池：租戶和資源的動態(tài)分配關系；針對每個租戶進行細粒度的資源動態(tài)分配和隔離 可計量服務：租戶對服務、資源的使用方式；記錄租戶對服務和資源的使用量租戶租戶租戶服務資源資源資源服務的訪問服務的訪問資源的供給資源的供給 從煙囪型到分層模型轉變：規(guī)劃、投資、建設、運維等都要從“以應用為核心”向“平臺化思

4、維”轉變 服務和資源的解耦：資源按需要快速采購從而靈活增加服務的容量和性能，對現有采購模式有很大影響4中國移動云計算平臺典型架構存在的明顯缺失從“資源池+應用云化”向“企業(yè)級云平臺+應用上云”的思路轉變服務內容：以IaaS和PaaS服務并重，PaaS服務以能被多個應用共享的標準化平臺服務為主；應用按需申請所需服務IAAS服務：采用VMware和Openstack技術，建設跨資源池的IaaS服務平臺PAAS服務：實現PAAS服務之間的資源共享和動態(tài)調度，提供服務的彈性伸縮能力市場分析之二：云計算平臺的發(fā)展方向（亞信數據的觀點）資源池資源池+應用云化應用云化企業(yè)級云平臺企業(yè)級云平臺+應用上云應用上

5、云建設思路自上而下，根據應用云化需求推動資源池的建設自下而上，根據云平臺能力建設推動應用平滑、有序部署和遷移到云平臺應用開發(fā)支持資源池提供標準化的計算、存儲、網絡服務，與應用開發(fā)關聯(lián)度小云平臺提供應用所需要的PaaS服務，應用基于云平臺的PaaS服務進行開發(fā)和部署，關聯(lián)度高建設模式應用和資源池相對獨立，由各自主管部門規(guī)劃、立項、建設和運維建議成立“云平臺建設領導小組”統(tǒng)籌規(guī)劃云平臺能力建設和應用上云步驟，并協(xié)調、監(jiān)督執(zhí)行硬件采購模式通常按年編制預算、集中采購云平臺根據應用需求按需提供服務，需要更及時、更靈活的硬件采購體制運維保障由偏硬件運維服務的團隊承擔，要求相對簡單對硬件、操作系統(tǒng)、各種Pa

6、aS服務軟件都要全面深入掌握，要求很高物理資源池物理資源池PAASPAAS平臺平臺大數據平臺大數據平臺IAASIAAS平臺平臺HadoopHadoop平臺平臺實時計算服務實時計算服務集群服務集群服務PAASPAAS服務服務MPPMPP數據庫數據庫一體機一體機容器集群容器集群虛擬機集群虛擬機集群通用服務通用服務BOSSBOSS服務服務企業(yè)級云管企業(yè)級云管理平臺理平臺計算服務計算服務X86/X86/小機小機虛擬機虛擬機存儲服務存儲服務塊設備塊設備文件系統(tǒng)文件系統(tǒng)對象存儲對象存儲網絡服務網絡服務路由交換路由交換負載均衡負載均衡容器容器安全安全計算資源計算資源存儲資源存儲資源網絡資源網絡資源CRMCR

7、M服務服務SAASSAAS服務服務使用使用IAASIAAS服務服務使用使用PAASPAAS服務服務MR/HiveMR/HiveSPARK/SparkSQLSPARK/SparkSQLHBASEHBASEStormStormSparkStreamingSparkStreamingRedisRedisImpalaImpalasqlfiresqlfire使用大數據服務使用大數據服務租戶管理租戶管理資源管理資源管理服務管理服務管理開發(fā)運維管開發(fā)運維管理理數據管理數據管理系統(tǒng)管理系統(tǒng)管理通用通用SAASSAAS服務服務業(yè)務支撐業(yè)務支撐SAASSAAS服務服務網絡管理網絡管理SAASSAAS服務服務管理信

8、息管理信息SAASSAAS服務服務我們的產品策略：私有云平臺系統(tǒng)總體架構PAAS集群子系統(tǒng)集群子系統(tǒng)產品1/3：PAAS平臺 的功能架構PAAS管理子系統(tǒng)管理子系統(tǒng)租戶管理租戶管理資源管理資源管理服務集群管理服務集群管理數據管理數據管理系統(tǒng)管理系統(tǒng)管理資源管理資源管理容器管理容器管理虛機管理虛機管理存儲管理存儲管理彈性集群管理彈性集群管理監(jiān)控分析監(jiān)控分析分布式協(xié)調分布式協(xié)調服務注冊服務注冊服務查詢服務查詢網絡設置網絡設置負載均衡設置負載均衡設置VLANVLAN設置設置數據管理數據管理鏡像存儲鏡像存儲PAAS服務子系統(tǒng)服務子系統(tǒng)應用應用PAASPAAS服務服務啟動啟動/ /停止停止擴縮容擴縮容在

9、線升級在線升級監(jiān)控監(jiān)控/HA/HA租戶賬號管理租戶賬號管理租戶資源管理租戶資源管理租戶權限管理租戶權限管理資源定義資源定義資源監(jiān)控資源監(jiān)控資源報表資源報表目錄管理目錄管理集群管理集群管理服務管理服務管理快照管理快照管理鏡像管理鏡像管理安全管理安全管理平臺監(jiān)控平臺監(jiān)控NATNAT設置設置通用通用PAASPAAS服務服務開源服務組件開源服務組件商用服務組件商用服務組件快照存儲快照存儲亞信亞信服務服務組件組件亞信亞信服務服務框架框架CSFCSF服務框架服務框架MSGMSG消息框架消息框架COMCOM流程框流程框架架SECSEC權限框架權限框架CACHECACHE緩存緩存框架框架LOG4XLOG4X日

10、志日志AIRuleAIRule規(guī)則規(guī)則AICEPAICEP事件事件AISchedulerAIScheduler調度調度AISEAISE搜索搜索AIExceptionAIException異常處理異常處理開源服務框架開源服務框架DADBDADB數據訪問數據訪問框架框架商用服務框架商用服務框架開發(fā)運維管理開發(fā)運維管理上線上線/ /發(fā)布發(fā)布運行監(jiān)控運行監(jiān)控故障處理故障處理快照快照遠程命令遠程命令產品2/3：大數據平臺建設的四個階段第一階段：分散建設階段第二階段：統(tǒng)一服務階段第三階段：統(tǒng)一管控階段第四階段：云化建設階段產品2/3：大數據云平臺產品總體架構服務層服務層管理層管理層特定服務管理特定服務管理

11、平臺層平臺層批處理服務批處理服務實時計算服務實時計算服務服務器服務器服務器服務器服務器服務器服務器服務器服務器服務器存儲服務存儲服務MRMRSpark/Spark/SparkSQLSparkSQLStormStormSparkSparkStreamingStreamingHDFSHDFSHbaseHbase通用服務管理通用服務管理RedisRedis服務器服務器中間件服務中間件服務TomcatTomcat服務服務服務管理服務管理資源管理資源管理安全管理安全管理租戶管理租戶管理監(jiān)控運維監(jiān)控運維LVS/NginLVS/Nginx x服務服務KafkaKafka服務服務APIAPI接口接口用戶操作接

12、口用戶操作接口命令行接口命令行接口總線總線服務服務數據服務管理數據服務管理總線服務管理總線服務管理HDFSHDFSYARN/SliderYARN/SliderZookeeperZookeeperLVS/NginxLVS/NginxHive/Hive/TezTez產品2/3：大數據平臺產品技術架構-某省移動樣板點u產品設計目標：基于通用PC硬件和開源軟件的分布式事務型關系數據庫u 高可靠性：代替oracle等傳統(tǒng)集中事務型關系數據庫u 平滑遷移：支持現有核心業(yè)務系統(tǒng)安全、經濟、平滑地遷移u 高擴展性：滿足億級用戶規(guī)模數據量業(yè)務處理的系統(tǒng)建設需求u設計思路：以BSD license的開源PG為基礎

13、，結合電信核心業(yè)務特點(實時、高并發(fā)、億級用戶、海量數據存儲)自主開發(fā)相關模塊，形成自主知識產權的高可用，高性能，易用的分布式數據庫產品u技術思路：PG+自主功能模塊（運維，監(jiān)控，HA）集成易學、易用、好用的管理界面和輔助工具， 保證產品的穩(wěn)定性和簡捷性訂制化低成本數據安全高可用簡單易用高可靠高性能 High availabilityCluster managementPG Management ToolsNew Hardware SupportADB產品3/3： 亞信分布式數據庫ADB（Asiainfo Data Base）mGTM：全局事務管理器u提供全局事務ID和快照號：實現事務并發(fā)控制

14、和事務隔離u提供全局序列號和時間戳功能產品3 /3 : ADB產品架構代理層：處理客戶端的連接請求（主、從節(jié)點內）u支持SQL92標準：生成執(zhí)行計劃，將執(zhí)行計劃、全局事務ID和快照號發(fā)送給數據節(jié)點執(zhí)行，對結果集歸并處理u多協(xié)調節(jié)點同時接受客戶端連接：提供讀寫可擴展性u對跨節(jié)點操作提供分布式事務支持u支持跨節(jié)點的關聯(lián)、聚合類分析操作數據層：完成數據的存儲和執(zhí)行（主、從節(jié)點內）u支持數據節(jié)點的分組管理u提供應用透明的復制和分布兩種存儲方式u提供多種分片函數，支持定制開發(fā)u支持節(jié)點動態(tài)擴容和數據自動重平衡亞信分布式數據庫提供透明的數據分布存儲水平擴展性好無單點故障和秒級切換提供多數據副本的強一致性提供透明的ACID特性產品3/3: ADB總體技術特點功能特點承載復雜事物環(huán)境下高性能、高可用的OL