中國電信云計算技術應用與實踐--PaaS2

中國電信云計算 PaaS技術應用與實踐 云計算：從炒作到實踐 中國電信集團 2014年 9月 14日 排版 : /webmoney 2 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 提綱 PaaS概述 PaaS核心技術 相關實踐 排版 : /webmoney 3 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 PaaS概述 定義 面向互聯(lián)網應用開發(fā)者 ， 把端到端的分布式軟件開發(fā) 、 測試 、 部署 、 運行環(huán)境以及應用程序托管當作服務 ， 通過互聯(lián)網提供給用戶 特點 網絡化的分布式開發(fā)平臺 ， 以 Web服務方式提供給用戶 開發(fā) 、 測試 、 運行環(huán)境在云端 ， 用戶共享云平臺海量存儲 、 超大規(guī)模計算能力 ，開發(fā)環(huán)境維護工作由服務提供商解決 集成帳戶認證 、 數(shù)據(jù)庫 、 消息隊列等配套基礎服務 ， 提高開發(fā)效率 Java、 Python等高級編程語言 ， 易于應用程序開發(fā)者使用 服務形態(tài) 通過互聯(lián)網提供服務 ， 按需提供 ， 按量計費 Google App Engine Microsoft Asure Amazon Hadoop Salesforce F The cloud 排版 : /webmoney 4 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 PaaS發(fā)展 商業(yè)推動 SaaS企業(yè)為提高用戶粘著度 ， 把支撐應用開發(fā)的平臺發(fā)布出來 ，供軟件開發(fā)上自行開發(fā) 、 自由定制 需求推動 高校等科研機構需要臨時性的超大規(guī)模計算能力 大型系統(tǒng)面臨嚴峻的擴展性問題 Google等公司擁有超大規(guī)模服務器集群 ， 需要把海量存儲和大規(guī)模計算資源提供出來 技術推動 把多臺機器虛擬成一臺超級機器的分布式技術日趨成熟和穩(wěn)定 PaaS是一場互聯(lián)網應用軟件開發(fā)革命，體現(xiàn)了互聯(lián)網低成本、高效率和規(guī)?；瘧玫奶匦?，能夠幫助應用程序開發(fā)人員快速定制、開發(fā)滿足特定需求的互聯(lián)網應用，從而大大提高工作效率和執(zhí)行力。 排版 : /webmoney 5 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 提綱 PaaS概述 PaaS核心技術 相關實踐 排版 : /webmoney 6 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 PaaS核心技術 分布式技術：把多臺機器虛擬成一臺性能極強的超級計算機 分布式存儲 、 分布式計算 、 分布式數(shù)據(jù)庫 、 同步機制 、 負載分擔 、任務調度 分布式軟件開發(fā) 、 測試 、 運行工具 編程環(huán)境 SDK、 編程接口 、 代碼庫 、 測試工具 、 運行工具 運營管理系統(tǒng) 用戶管理 、 計費認證 、 資源監(jiān)控 、 應用管理 分 布 式 技 術分 布 式 存 儲 、 分 布 式 計 算 、 分 布 式 數(shù) 據(jù) 庫 、 同步 機 制運 營 管 理 系 統(tǒng)開 發(fā) 環(huán) 境 、 編 程 接 口 、 編 程 模 型 、 代 碼 庫服 務 器 集 群用 戶 管 理 、 計 費 認 證 、 資 源 監(jiān) 控 、 程 序 管 理 多合一 （ Google） 分布式 排版 : /webmoney 7 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 分布式解決的問題 分布式問題由來已久 ， 把多臺機器合并成一臺機器是夢寐以求的目標 編寫程序 ， 需要考慮任務怎么分解 ， 怎么匯總結果 分發(fā)程序 ， 需要把程序拷貝到不同的機器上 ， 逐一啟動程序 收集結果 ， 需要把每部分程序的結果收集起來 ， 并進行匯總 顯示結果 ， 需要通過統(tǒng)一的界面把結果輸出給用戶 自動分發(fā)程序 自動啟動程序 自動收集結果 .java .java .java .java .java .java .java .java 虛擬 超級計算機 排版 : /webmoney 8 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 云計算分布式計算模型 分布式計算是由來已久的問題 計算模型：操作 (CPU)+數(shù)據(jù) (內存 /硬盤 ) 并行方法：傳統(tǒng)分布式系統(tǒng)試圖解決任何 CPU訪問任何數(shù)據(jù) CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 中間件承擔多機之間的“總線” 結束 輸入 開發(fā)者必須將程序邏輯轉換成分布式平臺的邏輯 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 CPU 內存 硬盤 借助網絡， Hadoop實現(xiàn)了多機之間的“總線” 結束 輸入 Map Map Map Map Reduce 應用 邏輯 轉換 邏輯 分布 執(zhí)行 排版 : /webmoney 9 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 分布式文件系統(tǒng) 分布式文件系統(tǒng)為提供海量存儲空間提供了極大的便利 NameNode負責文件目錄管理 DataNode負責真實的數(shù)據(jù)存儲 排版 : /webmoney 10 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 分布式數(shù)據(jù)庫 數(shù)據(jù)庫關系模型不再是 PaaS解決的問題 排版 : /webmoney 11 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 提綱 PaaS概述 PaaS核心技術 相關實踐 排版 : /webmoney 12 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 中國電信與云計算 PaaS 需求分析 內部需求分析 傳統(tǒng)電信系統(tǒng)多用小型機集群 ， 面臨擴展性問題 ， 擴容成本高 海量數(shù)據(jù)分析處理困難：用戶數(shù)據(jù) 、 計費數(shù)據(jù) 、 網管數(shù)據(jù) 外部需求分析 互聯(lián)網信息應用：大規(guī)模數(shù)據(jù)存儲和處理需求 、 快速開發(fā)能力 移動互聯(lián)網應用：瘦客戶端應用開發(fā)需求 科研單位大規(guī)模并行計算需求 外部對電信能力的開放需求 應對策略 打造大規(guī)模分布式處理平臺 運用分布式技術構建新型大規(guī)模集群 ， 解決大型系統(tǒng)的擴展性 為 OSS/BSS等電信運營系統(tǒng)提供大量的存儲空間和并行計算能力 為號百等信息應用 、 移動互聯(lián)網 、 物聯(lián)網應用提供超大服務器集群支撐 建設電信能力開放平臺 排版 : /webmoney 13 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 相關工作 -技術研究及基礎平臺建設 技術研究 各種技術研究報告 中國電信云計算白皮書 云計算技術手冊 規(guī)范編寫 IaaS服務技術要求及相關設備規(guī)范 平臺搭建 數(shù)百 CPU核的云平臺 ， 域名 部署虛擬化平臺及分布式計算平臺 試點應用 網絡流量矩陣分析 ， IPv4/IPv6協(xié)議轉換 ， 餐飲搜索 ， 熱點播報 ，行業(yè)資訊 排版 : /webmoney 14 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 平臺建設：大規(guī)模分布式服務引擎 電信 系統(tǒng) 典型架構 小型機集群 規(guī)模 數(shù)百 臺 關系型數(shù)據(jù) 結構化數(shù)據(jù)為核心 傳統(tǒng)數(shù)據(jù)處理為主 成本很高 容量可規(guī)劃 互聯(lián)網 系統(tǒng) 典型架構 X86集群 規(guī)模 數(shù)萬 臺 自有數(shù)據(jù)庫 非結構化數(shù)據(jù)為核心 數(shù)據(jù)挖掘、機器學習 成本相對較低 容量可預見性低 隨著數(shù)據(jù)規(guī)模的增長以及互聯(lián)網應用在電信行業(yè)的發(fā)展，需要引入新的架構解決擴展性和建設成本問題 排版 : /webmoney 15 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 分布式服務引擎 -定位 建設一個滿足多個應用對底層大規(guī)模數(shù)據(jù)智能處理需求的平臺 出發(fā)點：節(jié)約投資，提高效率，推動創(chuàng)新 電信運營數(shù)據(jù)：位置數(shù)據(jù)、用戶行為數(shù)據(jù)、流量數(shù)據(jù)等 互聯(lián)網數(shù)據(jù)：網頁數(shù)據(jù)、圖像數(shù)據(jù)、視頻數(shù)據(jù) 能力定位：面向億兆級數(shù)據(jù)規(guī)模 提供海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、統(tǒng)計分析、數(shù)據(jù)查詢等服務 為業(yè)務平臺、互聯(lián)網 /物聯(lián)網應用提供基本服務組件 系統(tǒng)定位：電信應用的核，互聯(lián)網應用基本組件 服務接口層次化，滿足不同應用需求 設計定位：抽象公共基礎服務，簡化應用開發(fā) 排版 : /webmoney 16 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 分布式服務引擎 -架構 關系型 /分布式 數(shù)據(jù)庫查詢引擎 特征提取 數(shù)據(jù)獲取 分布式數(shù)據(jù)庫 分布式文件系統(tǒng) 分布式計算 硬件平臺 分布式平臺 統(tǒng)計分析 分類 聚類 預測 關聯(lián)分析 基礎能力層 （數(shù)據(jù)挖掘、分析） 內容分類 信息檢索 位置服務 可視處理 文本處理 圖表服務 服務能力層 （信息收集、處理） ONS系統(tǒng) EPC查詢 流量分析 可視檢索 餐飲搜索 行為分析 應用層 熱點播報 行業(yè)資訊 配置 調度 監(jiān)控 接入 排版 : /webmoney 17 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 應用 1：移動互聯(lián)網網絡加速 網絡加速融合了 IPv4/IPv6互通 、 內容加速及重排等功能 ， 是極富有價值的應用 移動用戶 云計算軟件平臺 (內容過濾，頁面重排 ) 自動分布 HTTP請求 內部云計算平臺 （加速云） IPv6互聯(lián)網 IPv4互聯(lián)網 移動用戶 寬帶用戶 云計算硬件平臺 排版 : /webmoney 18 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 應用 2：網絡流量分析 應用云計算集群技術實現(xiàn)現(xiàn)有系統(tǒng)難以實現(xiàn)的任務 系統(tǒng)目標 基本的數(shù)據(jù)統(tǒng)計、地域分布、應用分布、流量矩陣 實時全網異常流量檢測 處理任務 各種統(tǒng)計任務的 MapReduce并行化計算 應用主成份分析檢測網絡狀態(tài)異常 核心技術 全網 Netflow流量每天數(shù)十 TB 每秒數(shù)十萬 Flow Record紀錄 數(shù)據(jù)規(guī)模 排版 : /webmoney 19 中國電信 PaaS技術應用與實踐 企業(yè)機密 嚴禁外傳 應用 3：可視化搜索 利用云計算技術解決可視化搜索對計算和存儲的高強度需求 運用可視化搜索技術推動 3G創(chuàng)新應用研發(fā) 系統(tǒng)目標 快速檢索： Locality Sensitive Hashing 底層特征： Color、 Texture、 GIST、 SIFT 檢索模型： Bag of visual words with global context 核心技術 目標索引數(shù)千萬張圖片，數(shù)十 T的存儲需求 海量的數(shù)百維的高維特征向量，計算和存儲高度密集 快速檢索面臨極大挑戰(zhàn)，普