中國電信云計算技術(shù)應用與實踐--PaaS

中國電信云計算 PaaS技術(shù)應用與實踐 云計算：從炒作到實踐 中國電信集團 2014年 9月 14日 排版 : /webmoney 2 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 提綱 PaaS概述 PaaS核心技術(shù) 相關(guān)實踐 排版 : /webmoney 3 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 PaaS概述 定義 面向互聯(lián)網(wǎng)應用開發(fā)者 ， 把端到端的分布式軟件開發(fā) 、 測試 、 部署 、 運行環(huán)境以及應用程序托管當作服務 ， 通過互聯(lián)網(wǎng)提供給用戶 特點 網(wǎng)絡化的分布式開發(fā)平臺 ， 以 Web服務方式提供給用戶 開發(fā) 、 測試 、 運行環(huán)境在云端 ， 用戶共享云平臺海量存儲 、 超大規(guī)模計算能力 ，開發(fā)環(huán)境維護工作由服務提供商解決 集成帳戶認證 、 數(shù)據(jù)庫 、 消息隊列等配套基礎(chǔ)服務 ， 提高開發(fā)效率 Java、 Python等高級編程語言 ， 易于應用程序開發(fā)者使用 服務形態(tài) 通過互聯(lián)網(wǎng)提供服務 ， 按需提供 ， 按量計費 Google App Engine Microsoft Asure Amazon Hadoop Salesforce F The cloud 排版 : /webmoney 4 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 PaaS發(fā)展 商業(yè)推動 SaaS企業(yè)為提高用戶粘著度 ， 把支撐應用開發(fā)的平臺發(fā)布出來 ，供軟件開發(fā)上自行開發(fā) 、 自由定制 需求推動 高校等科研機構(gòu)需要臨時性的超大規(guī)模計算能力 大型系統(tǒng)面臨嚴峻的擴展性問題 Google等公司擁有超大規(guī)模服務器集群 ， 需要把海量存儲和大規(guī)模計算資源提供出來 技術(shù)推動 把多臺機器虛擬成一臺超級機器的分布式技術(shù)日趨成熟和穩(wěn)定 PaaS是一場互聯(lián)網(wǎng)應用軟件開發(fā)革命，體現(xiàn)了互聯(lián)網(wǎng)低成本、高效率和規(guī)?；瘧玫奶匦?，能夠幫助應用程序開發(fā)人員快速定制、開發(fā)滿足特定需求的互聯(lián)網(wǎng)應用，從而大大提高工作效率和執(zhí)行力。 排版 : /webmoney 5 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 提綱 PaaS概述 PaaS核心技術(shù) 相關(guān)實踐 排版 : /webmoney 6 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 PaaS核心技術(shù) 分布式技術(shù)：把多臺機器虛擬成一臺性能極強的超級計算機 分布式存儲 、 分布式計算 、 分布式數(shù)據(jù)庫 、 同步機制 、 負載分擔 、任務調(diào)度 分布式軟件開發(fā) 、 測試 、 運行工具 編程環(huán)境 SDK、 編程接口 、 代碼庫 、 測試工具 、 運行工具 運營管理系統(tǒng) 用戶管理 、 計費認證 、 資源監(jiān)控 、 應用管理 分 布 式 技 術(shù)分 布 式 存 儲 、 分 布 式 計 算 、 分 布 式 數(shù) 據(jù) 庫 、 同步 機 制運 營 管 理 系 統(tǒng)開 發(fā) 環(huán) 境 、 編 程 接 口 、 編 程 模 型 、 代 碼 庫服 務 器 集 群用 戶 管 理 、 計 費 認 證 、 資 源 監(jiān) 控 、 程 序 管 理 多合一 （ Google） 分布式 排版 : /webmoney 7 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 分布式解決的問題 分布式問題由來已久 ， 把多臺機器合并成一臺機器是夢寐以求的目標 編寫程序 ， 需要考慮任務怎么分解 ， 怎么匯總結(jié)果 分發(fā)程序 ， 需要把程序拷貝到不同的機器上 ， 逐一啟動程序 收集結(jié)果 ， 需要把每部分程序的結(jié)果收集起來 ， 并進行匯總 顯示結(jié)果 ， 需要通過統(tǒng)一的界面把結(jié)果輸出給用戶 自動分發(fā)程序 自動啟動程序 自動收集結(jié)果 .java .java .java .java .java .java .java .java 虛擬 超級計算機 排版 : /webmoney 8 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 云計算分布式計算模型 分布式計算是由來已久的問題 計算模型：操作 (CPU)+數(shù)據(jù) (內(nèi)存 /硬盤 ) 并行方法：傳統(tǒng)分布式系統(tǒng)試圖解決任何 CPU訪問任何數(shù)據(jù) CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 中間件承擔多機之間的“總線” 結(jié)束 輸入 開發(fā)者必須將程序邏輯轉(zhuǎn)換成分布式平臺的邏輯 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 CPU 內(nèi)存 硬盤 借助網(wǎng)絡， Hadoop實現(xiàn)了多機之間的“總線” 結(jié)束 輸入 Map Map Map Map Reduce 應用 邏輯 轉(zhuǎn)換 邏輯 分布 執(zhí)行 排版 : /webmoney 9 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 分布式文件系統(tǒng) 分布式文件系統(tǒng)為提供海量存儲空間提供了極大的便利 NameNode負責文件目錄管理 DataNode負責真實的數(shù)據(jù)存儲 排版 : /webmoney 10 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 分布式數(shù)據(jù)庫 數(shù)據(jù)庫關(guān)系模型不再是 PaaS解決的問題 排版 : /webmoney 11 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 提綱 PaaS概述 PaaS核心技術(shù) 相關(guān)實踐 排版 : /webmoney 12 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 中國電信與云計算 PaaS 需求分析 內(nèi)部需求分析 傳統(tǒng)電信系統(tǒng)多用小型機集群 ， 面臨擴展性問題 ， 擴容成本高 海量數(shù)據(jù)分析處理困難：用戶數(shù)據(jù) 、 計費數(shù)據(jù) 、 網(wǎng)管數(shù)據(jù) 外部需求分析 互聯(lián)網(wǎng)信息應用：大規(guī)模數(shù)據(jù)存儲和處理需求 、 快速開發(fā)能力 移動互聯(lián)網(wǎng)應用：瘦客戶端應用開發(fā)需求 科研單位大規(guī)模并行計算需求 外部對電信能力的開放需求 應對策略 打造大規(guī)模分布式處理平臺 運用分布式技術(shù)構(gòu)建新型大規(guī)模集群 ， 解決大型系統(tǒng)的擴展性 為 OSS/BSS等電信運營系統(tǒng)提供大量的存儲空間和并行計算能力 為號百等信息應用 、 移動互聯(lián)網(wǎng) 、 物聯(lián)網(wǎng)應用提供超大服務器集群支撐 建設(shè)電信能力開放平臺 排版 : /webmoney 13 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 相關(guān)工作 -技術(shù)研究及基礎(chǔ)平臺建設(shè) 技術(shù)研究 各種技術(shù)研究報告 中國電信云計算白皮書 云計算技術(shù)手冊 規(guī)范編寫 IaaS服務技術(shù)要求及相關(guān)設(shè)備規(guī)范 平臺搭建 數(shù)百 CPU核的云平臺 ， 域名 部署虛擬化平臺及分布式計算平臺 試點應用 網(wǎng)絡流量矩陣分析 ， IPv4/IPv6協(xié)議轉(zhuǎn)換 ， 餐飲搜索 ， 熱點播報 ，行業(yè)資訊 排版 : /webmoney 14 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 平臺建設(shè)：大規(guī)模分布式服務引擎 電信 系統(tǒng) 典型架構(gòu) 小型機集群 規(guī)模 數(shù)百 臺 關(guān)系型數(shù)據(jù) 結(jié)構(gòu)化數(shù)據(jù)為核心 傳統(tǒng)數(shù)據(jù)處理為主 成本很高 容量可規(guī)劃 互聯(lián)網(wǎng) 系統(tǒng) 典型架構(gòu) X86集群 規(guī)模 數(shù)萬 臺 自有數(shù)據(jù)庫 非結(jié)構(gòu)化數(shù)據(jù)為核心 數(shù)據(jù)挖掘、機器學習 成本相對較低 容量可預見性低 隨著數(shù)據(jù)規(guī)模的增長以及互聯(lián)網(wǎng)應用在電信行業(yè)的發(fā)展，需要引入新的架構(gòu)解決擴展性和建設(shè)成本問題 排版 : /webmoney 15 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 分布式服務引擎 -定位 建設(shè)一個滿足多個應用對底層大規(guī)模數(shù)據(jù)智能處理需求的平臺 出發(fā)點：節(jié)約投資，提高效率，推動創(chuàng)新 電信運營數(shù)據(jù)：位置數(shù)據(jù)、用戶行為數(shù)據(jù)、流量數(shù)據(jù)等 互聯(lián)網(wǎng)數(shù)據(jù)：網(wǎng)頁數(shù)據(jù)、圖像數(shù)據(jù)、視頻數(shù)據(jù) 能力定位：面向億兆級數(shù)據(jù)規(guī)模 提供海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、統(tǒng)計分析、數(shù)據(jù)查詢等服務 為業(yè)務平臺、互聯(lián)網(wǎng) /物聯(lián)網(wǎng)應用提供基本服務組件 系統(tǒng)定位：電信應用的核，互聯(lián)網(wǎng)應用基本組件 服務接口層次化，滿足不同應用需求 設(shè)計定位：抽象公共基礎(chǔ)服務，簡化應用開發(fā) 排版 : /webmoney 16 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 分布式服務引擎 -架構(gòu) 關(guān)系型 /分布式 數(shù)據(jù)庫查詢引擎 特征提取 數(shù)據(jù)獲取 分布式數(shù)據(jù)庫 分布式文件系統(tǒng) 分布式計算 硬件平臺 分布式平臺 統(tǒng)計分析 分類 聚類 預測 關(guān)聯(lián)分析 基礎(chǔ)能力層 （數(shù)據(jù)挖掘、分析） 內(nèi)容分類 信息檢索 位置服務 可視處理 文本處理 圖表服務 服務能力層 （信息收集、處理） ONS系統(tǒng) EPC查詢 流量分析 可視檢索 餐飲搜索 行為分析 應用層 熱點播報 行業(yè)資訊 配置 調(diào)度 監(jiān)控 接入 排版 : /webmoney 17 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 應用 1：移動互聯(lián)網(wǎng)網(wǎng)絡加速 網(wǎng)絡加速融合了 IPv4/IPv6互通 、 內(nèi)容加速及重排等功能 ， 是極富有價值的應用 移動用戶 云計算軟件平臺 (內(nèi)容過濾，頁面重排 ) 自動分布 HTTP請求 內(nèi)部云計算平臺 （加速云） IPv6互聯(lián)網(wǎng) IPv4互聯(lián)網(wǎng) 移動用戶 寬帶用戶 云計算硬件平臺 排版 : /webmoney 18 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 應用 2：網(wǎng)絡流量分析 應用云計算集群技術(shù)實現(xiàn)現(xiàn)有系統(tǒng)難以實現(xiàn)的任務 系統(tǒng)目標 基本的數(shù)據(jù)統(tǒng)計、地域分布、應用分布、流量矩陣 實時全網(wǎng)異常流量檢測 處理任務 各種統(tǒng)計任務的 MapReduce并行化計算 應用主成份分析檢測網(wǎng)絡狀態(tài)異常 核心技術(shù) 全網(wǎng) Netflow流量每天數(shù)十 TB 每秒數(shù)十萬 Flow Record紀錄 數(shù)據(jù)規(guī)模 排版 : /webmoney 19 中國電信 PaaS技術(shù)應用與實踐 企業(yè)機密 嚴禁外傳 應用 3：可視化搜索 利用云計算技術(shù)解決可視化搜索對計算和存儲的高強度需求 運用可視化搜索技術(shù)推動 3G創(chuàng)新應用研發(fā) 系統(tǒng)目標 快速檢索： Locality Sensitive Hashing 底層特征： Color、 Texture、 GIST、 SIFT 檢索模型： Bag of visual words with global context 核心技術(shù) 目標索引數(shù)千萬張圖片，數(shù)十 T的存儲需求 海量的數(shù)百維的高維特征向量，計算和存儲高度密集 快速檢索面臨極大挑戰(zhàn)，普