大數(shù)據(jù)平臺產(chǎn)品線售前資料-V1

大數(shù)據(jù)平臺產(chǎn)品線產(chǎn)品產(chǎn)品匯報2015-12-02中國移動云計算平臺典型架構(gòu)存在的明顯缺失云平臺建設(shè)：重IaaS輕PaaS：以提供計算和存儲服務(wù)的資源池建設(shè)為主，形成“薄平臺厚應(yīng)用”多個資源池獨立建設(shè)：資源利用率低，缺乏統(tǒng)籌規(guī)劃和集中運維管控能力，難以發(fā)揮規(guī)模化效益采用VMware等商用虛擬化軟件：技術(shù)路線嚴重依賴廠商，建設(shè)成本居高不下，影響投資效率傳統(tǒng)的運維管理方法：將虛擬資源當(dāng)做物理資源按日、周進行申請和分配，丟失云平臺資源動態(tài)調(diào)度和服務(wù)彈性伸縮的優(yōu)點應(yīng)用云化：新的應(yīng)用資源豎井：資源池的資源重新被固定、靜態(tài)分配給應(yīng)用；應(yīng)用缺乏足夠的彈性和靈活性應(yīng)用云化難度大：“薄平臺厚應(yīng)用”結(jié)果，每個應(yīng)用自行規(guī)劃、建設(shè)所需的基礎(chǔ)平臺軟件；難以提煉出標準化的軟件服務(wù)組件應(yīng)用云化不徹底：某些應(yīng)用模塊、核心數(shù)據(jù)庫等仍然依賴小型機和專用高端存儲提供的性能，難以遷往資源池市場分析之一：云計算平臺的現(xiàn)狀和分析業(yè)支資源池管理平臺業(yè)支資源池計算資源存儲資源網(wǎng)絡(luò)資源網(wǎng)管資源池管理平臺網(wǎng)管資源池計算資源存儲資源網(wǎng)絡(luò)資源IDC資源池管理平臺IDC資源池計算資源存儲資源網(wǎng)絡(luò)資源CRM云化部分BOSS云化部分經(jīng)分云化部分網(wǎng)管應(yīng)用云化部分網(wǎng)管應(yīng)用云化部分網(wǎng)管應(yīng)用云化部分移動公網(wǎng)應(yīng)用外部租戶外部租戶云計算的基本特性：租戶、服務(wù)和資源模型（亞信數(shù)據(jù)對NISTCloudComputingReferenceArchitecture的解讀）租戶和服務(wù)的關(guān)系按需自助服務(wù)：服務(wù)的開通方式；租戶沒有綁定固定的服務(wù)廣泛網(wǎng)絡(luò)訪問：服務(wù)的訪問方式；不限定租戶對服務(wù)的訪問方式和位置服務(wù)和資源的關(guān)系快速可伸縮性：服務(wù)和資源的松耦合關(guān)系；在不中斷服務(wù)的前提下增加、減少務(wù)所使用的資源，實現(xiàn)服務(wù)容量的動態(tài)調(diào)整租戶和資源的關(guān)系：動態(tài)資源池：租戶和資源的動態(tài)分配關(guān)系；針對每個租戶進行細粒度的資源動態(tài)分配和隔離可計量服務(wù)：租戶對服務(wù)、資源的使用方式；記錄租戶對服務(wù)和資源的使用量租戶租戶租戶服務(wù)資源資源資源服務(wù)的訪問資源的供給從煙囪型到分層模型轉(zhuǎn)變：規(guī)劃、投資、建設(shè)、運維等都要從“以應(yīng)用為核心”向“平臺化思維”轉(zhuǎn)變服務(wù)和資源的解耦：資源按需要快速采購從而靈活增加服務(wù)的容量和性能，對現(xiàn)有采購模式有很大影響中國移動云計算平臺典型架構(gòu)存在的明顯缺失從“資源池+應(yīng)用云化”向“企業(yè)級云平臺+應(yīng)用上云”的思路轉(zhuǎn)變服務(wù)內(nèi)容：以IaaS和PaaS服務(wù)并重，PaaS服務(wù)以能被多個應(yīng)用共享的標準化平臺服務(wù)為主；應(yīng)用按需申請所需服務(wù)IAAS服務(wù)：采用VMware和Openstack技術(shù)，建設(shè)跨資源池的IaaS服務(wù)平臺PAAS服務(wù)：實現(xiàn)PAAS服務(wù)之間的資源共享和動態(tài)調(diào)度，提供服務(wù)的彈性伸縮能力市場分析之二：云計算平臺的發(fā)展方向（亞信數(shù)據(jù)的觀點）資源池+應(yīng)用云化企業(yè)級云平臺+應(yīng)用上云建設(shè)思路自上而下，根據(jù)應(yīng)用云化需求推動資源池的建設(shè)自下而上，根據(jù)云平臺能力建設(shè)推動應(yīng)用平滑、有序部署和遷移到云平臺應(yīng)用開發(fā)支持資源池提供標準化的計算、存儲、網(wǎng)絡(luò)服務(wù)，與應(yīng)用開發(fā)關(guān)聯(lián)度小云平臺提供應(yīng)用所需要的PaaS服務(wù)，應(yīng)用基于云平臺的PaaS服務(wù)進行開發(fā)和部署，關(guān)聯(lián)度高建設(shè)模式應(yīng)用和資源池相對獨立，由各自主管部門規(guī)劃、立項、建設(shè)和運維建議成立“云平臺建設(shè)領(lǐng)導(dǎo)小組”統(tǒng)籌規(guī)劃云平臺能力建設(shè)和應(yīng)用上云步驟，并協(xié)調(diào)、監(jiān)督執(zhí)行硬件采購模式通常按年編制預(yù)算、集中采購云平臺根據(jù)應(yīng)用需求按需提供服務(wù)，需要更及時、更靈活的硬件采購體制運維保障由偏硬件運維服務(wù)的團隊承擔(dān)，要求相對簡單對硬件、操作系統(tǒng)、各種PaaS服務(wù)軟件都要全面深入掌握，要求很高物理資源池PAAS平臺大數(shù)據(jù)平臺IAAS平臺Hadoop平臺實時計算服務(wù)集群服務(wù)PAAS服務(wù)MPP數(shù)據(jù)庫一體機容器集群虛擬機集群通用服務(wù)BOSS服務(wù)企業(yè)級云管理平臺計算服務(wù)X86/小機虛擬機存儲服務(wù)塊設(shè)備文件系統(tǒng)對象存儲網(wǎng)絡(luò)服務(wù)路由交換負載均衡容器安全計算資源存儲資源網(wǎng)絡(luò)資源CRM服務(wù)SAAS服務(wù)使用IAAS服務(wù)使用PAAS服務(wù)MR/HiveSPARK/SparkSQLHBASEStormSparkStreamingRedisImpalasqlfire使用大數(shù)據(jù)服務(wù)租戶管理資源管理服務(wù)管理開發(fā)運維管理數(shù)據(jù)管理系統(tǒng)管理通用SAAS服務(wù)業(yè)務(wù)支撐SAAS服務(wù)網(wǎng)絡(luò)管理SAAS服務(wù)管理信息SAAS服務(wù)我們的產(chǎn)品策略：私有云平臺系統(tǒng)總體架構(gòu)PAAS集群子系統(tǒng)產(chǎn)品1/3：PAAS平臺的功能架構(gòu)PAAS管理子系統(tǒng)租戶管理資源管理服務(wù)集群管理數(shù)據(jù)管理系統(tǒng)管理資源管理容器管理虛機管理存儲管理彈性集群管理監(jiān)控分析分布式協(xié)調(diào)服務(wù)注冊服務(wù)查詢網(wǎng)絡(luò)設(shè)置負載均衡設(shè)置VLAN設(shè)置數(shù)據(jù)管理鏡像存儲PAAS服務(wù)子系統(tǒng)應(yīng)用PAAS服務(wù)啟動/停止擴縮容在線升級監(jiān)控/HA租戶賬號管理租戶資源管理租戶權(quán)限管理資源定義資源監(jiān)控資源報表目錄管理集群管理服務(wù)管理快照管理鏡像管理安全管理平臺監(jiān)控NAT設(shè)置通用PAAS服務(wù)開源服務(wù)組件商用服務(wù)組件快照存儲亞信服務(wù)組件亞信服務(wù)框架CSF服務(wù)框架MSG消息框架COM流程框架SEC權(quán)限框架CACHE緩存框架LOG4X日志AIRule規(guī)則AICEP事件AIScheduler調(diào)度AISE搜索AIException異常處理開源服務(wù)框架DADB數(shù)據(jù)訪問框架商用服務(wù)框架開發(fā)運維管理上線/發(fā)布運行監(jiān)控故障處理快照遠程命令產(chǎn)品2/3：大數(shù)據(jù)平臺建設(shè)的四個階段第一階段：分散建設(shè)階段第二階段：統(tǒng)一服務(wù)階段第三階段：統(tǒng)一管控階段第四階段：云化建設(shè)階段產(chǎn)品2/3：大數(shù)據(jù)云平臺產(chǎn)品總體架構(gòu)服務(wù)層管理層特定服務(wù)管理平臺層批處理服務(wù)實時計算服務(wù)服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器存儲服務(wù)MRSpark/SparkSQLStormSparkStreamingHDFSHbase通用服務(wù)管理Redis服務(wù)器中間件服務(wù)Tomcat服務(wù)服務(wù)管理資源管理安全管理租戶管理監(jiān)控運維LVS/Nginx服務(wù)Kafka服務(wù)API接口用戶操作接口命令行接口總線服務(wù)數(shù)據(jù)服務(wù)管理總線服務(wù)管理HDFSYARN/SliderZookeeperLVS/NginxHive/Tez產(chǎn)品2/3：大數(shù)據(jù)平臺產(chǎn)品技術(shù)架構(gòu)---某省移動樣板點產(chǎn)品設(shè)計目標：基于通用PC硬件和開源軟件的分布式事務(wù)型關(guān)系數(shù)據(jù)庫高可靠性：代替oracle等傳統(tǒng)集中事務(wù)型關(guān)系數(shù)據(jù)庫平滑遷移：支持現(xiàn)有核心業(yè)務(wù)系統(tǒng)安全、經(jīng)濟、平滑地遷移高擴展性：滿足億級用戶規(guī)模數(shù)據(jù)量業(yè)務(wù)處理的系統(tǒng)建設(shè)需求設(shè)計思路：以BSD

license的開源PG為基礎(chǔ)，結(jié)合電信核心業(yè)務(wù)特點(實時、高并發(fā)、億級用戶、海量數(shù)據(jù)存儲)自主開發(fā)相關(guān)模塊，形成自主知識產(chǎn)權(quán)的高可用，高性能，易用的分布式數(shù)據(jù)庫產(chǎn)品技術(shù)思路：PG+自主功能模塊（運維，監(jiān)控，HA）集成易學(xué)、易用、好用的管理界面和輔助工具，保證產(chǎn)品的穩(wěn)定性和簡捷性訂制化低成本數(shù)據(jù)安全高可用簡單易用高可靠高性能HighavailabilityClustermanagementPG

Management

ToolsNew

Hardware

SupportADB產(chǎn)品3/3：亞信分布式數(shù)據(jù)庫ADB（AsiainfoDataBase）mGTM：全局事務(wù)管理器提供全局事務(wù)ID和快照號：實現(xiàn)事務(wù)并發(fā)控制和事務(wù)隔離提供全局序列號和時間戳功能產(chǎn)品3/3:ADB產(chǎn)品架構(gòu)代理層：處理客戶端的連接請求（主、從節(jié)點內(nèi)）支持SQL92標準：生成執(zhí)行計劃，將執(zhí)行計劃、全局事務(wù)ID和快照號發(fā)送給數(shù)據(jù)節(jié)點執(zhí)行，對結(jié)果集歸并處理多協(xié)調(diào)節(jié)點同時接受客戶端連接：提供讀寫可擴展性對跨節(jié)點操作提供分布式事務(wù)支持支持跨節(jié)點的關(guān)聯(lián)、聚合類分析操作數(shù)據(jù)層：完成數(shù)據(jù)的存儲和執(zhí)行（主、從節(jié)點內(nèi)）支持數(shù)據(jù)節(jié)點的分組管理提供應(yīng)用透明的復(fù)制和分布兩種存儲方式提供多種分片函數(shù)，支持定制開發(fā)支持節(jié)點動態(tài)擴容和數(shù)據(jù)自動重平衡亞信分布式數(shù)據(jù)庫提供透明的數(shù)據(jù)分布存儲水平擴展性好無單點故障和秒級切換提供多數(shù)據(jù)副本的強一致性提供透明的ACID特性產(chǎn)品3/3:ADB總體技術(shù)特點功能特點承載復(fù)雜事物環(huán)境下高性能、高可用的OLTP應(yīng)用價值水平擴展性好，可實現(xiàn)動態(tài)擴、縮容通過低成本的X86實現(xiàn)數(shù)據(jù)庫的高性