開源的SaaS解決方案

SaaS關(guān)鍵技術(shù) 開源解決方案 Copyright 2009NeusoftCorporation 解決方案技術(shù)中心 Part1 IT部署視圖演化及挑戰(zhàn)Part2 動態(tài)基礎(chǔ)設(shè)施Part3 SaaS架構(gòu)關(guān)注技術(shù)Part4 Q A IT系統(tǒng)部署視圖演化 1 N輪視圖演化后架構(gòu) 演化面對的挑戰(zhàn) Part1 IT部署視圖演化及挑戰(zhàn)Part2 動態(tài)基礎(chǔ)設(shè)施Part3 SaaS架構(gòu)關(guān)注技術(shù)Part4 Q A 云計算關(guān)鍵特性 基礎(chǔ)設(shè)施供應(yīng)生命周期 資源池動態(tài)伸縮 Cloud Cloud Part1 IT部署視圖演化及挑戰(zhàn)Part2 動態(tài)基礎(chǔ)設(shè)施Part3 SaaS關(guān)注技術(shù)Part4 Q A SaaS關(guān)鍵特性 高伸縮 多租戶 功能可配置 流程可配置 SaaS架構(gòu)關(guān)注內(nèi)容 數(shù)據(jù)存儲的挑戰(zhàn) 傳統(tǒng)解決方案VS新興解決方案 SQL集群技術(shù) MySQL GoogleMySQLMMM技術(shù) ShardingvsPartition 數(shù)據(jù)切分 SQL 垂直sharding user phr App DAL 水平sharding Phr33 Phr33 App DAL Phr34 讀寫分離 phr phr App DAL 讀 寫 讀 SQL數(shù)據(jù)訪問區(qū)域 DAL 1 mysqlproxy實現(xiàn) 讀寫分離 Read WriteSplitting 基本的原理是讓主數(shù)據(jù)庫處理事務(wù)性查詢 而從數(shù)據(jù)庫處理SELECT查詢 數(shù)據(jù)庫復(fù)制被用來把事務(wù)性查詢導(dǎo)致的變更同步到集群中的從數(shù)據(jù)庫 2 AmoebaAmoeba項目是分布式數(shù)據(jù)庫proxy開發(fā)框架 座落與Client DBServer s 之間 對客戶端透明 具有負載均衡 高可用性 sql過濾 讀寫分離 可路由相關(guān)的query到目標數(shù)據(jù)庫 可并發(fā)請求多臺數(shù)據(jù)庫合并結(jié)果 主要解決 降低數(shù)據(jù)切分帶來的復(fù)雜多數(shù)據(jù)庫結(jié)構(gòu) 提供切分規(guī)則并降低數(shù)據(jù)切分規(guī)則給應(yīng)用帶來的影響 降低db與客戶端的連接數(shù) 讀寫分離3 WebsphereII Case1 Case1 數(shù)據(jù)生成分布規(guī)則 按照20會員每天采集一次監(jiān)控 每次采集10個指標 都為數(shù)值型 計算 按照20萬會員2010年全年的數(shù)據(jù)量 共計生成7 3億條記錄 分布在4個節(jié)點中 每臺設(shè)備1 825億條 共計50GB Sql數(shù)據(jù)擴展問題 Case2 hadoopHBase Hive 2003年Google三篇論文 GFS MapReduce BigtableHbase是一個分布式開源數(shù)據(jù)庫 基于Hadoop分布式文件系統(tǒng) 模仿并提供了基于Google文件系統(tǒng)的Bigtable數(shù)據(jù)庫的所有功能 其目標是處理非常龐大的表 可以用普通的計算機處理超過10億行數(shù)據(jù) 并且有數(shù)百萬列元素組成的數(shù)據(jù)表 MapReduce是分布式計算軟件構(gòu)架 它可以支持大數(shù)據(jù)量的分布式并行處理 Hadoop軟件棧 Table ColumnFamily RowKey 行鍵 Table的主鍵 Table中的記錄按照RowKey排序Timestamp 時間戳 每次數(shù)據(jù)操作對應(yīng)的時間戳 可以看作是數(shù)據(jù)的versionnumberColumnFamily 列簇 Table在水平方向有一個或者多個ColumnFamily組成 一個ColumnFamily中可以由任意多個Column組成 即ColumnFamily支持動態(tài)擴展 無需預(yù)先定義Column的數(shù)量以及類型 所有Column均以二進制格式存儲 用戶需要自行進行類型轉(zhuǎn)換 Case2 hadoopHBase Hive Case2 hadoop Hive SQL與NoSQL整合方案 hadoop Hive 1 DBMS保存全部數(shù)據(jù) 主要完成交易類數(shù)據(jù)的讀寫2 通過同步技術(shù)把DBMS的數(shù)據(jù)同步到NoSQL數(shù)據(jù)庫中3 NoSQL負責完成歷史數(shù)據(jù)的查詢統(tǒng)計分析等工作 NoSQL數(shù)據(jù)庫 MongoDB MongoDB與MySQL混搭 采用MySQL與mongoDB混搭的模式 利用NoSQL數(shù)據(jù)的列可以動態(tài)擴展的優(yōu)勢來避免在關(guān)系數(shù)據(jù)庫為了擴展所采用行轉(zhuǎn)列導(dǎo)致的數(shù)據(jù)爆炸性增長的問題1 面向集合的存儲 適合存儲對象及JSON形式的數(shù)據(jù) 2 動態(tài)查詢 Mongo支持豐富的查詢表達式 3 完整的索引支持 包括文檔內(nèi)嵌對象及數(shù)組 Mongo的查詢優(yōu)化器會分析查詢表達式4 復(fù)制及自動故障轉(zhuǎn)移 不適用 高度事務(wù)性的系統(tǒng)傳統(tǒng)的商業(yè)智能應(yīng)用 SQL數(shù)據(jù)庫擴展的問題 ID 100 ID 200 App DAL ID 300 ID 400 NoSQL數(shù)據(jù)庫擴展 phr phr App DAL phr phr 數(shù)據(jù)緩存工作原理 第一次 從數(shù)據(jù)庫讀取數(shù)據(jù) 并寫入緩存第二次 從緩存讀取數(shù)據(jù) 如果數(shù)據(jù)不存在 那么 在去數(shù)據(jù)庫查詢數(shù)據(jù) 目的 避免磁盤IO提高效率 減輕數(shù)據(jù)庫壓力 開源緩存對比 云平臺緩存方案 客戶端 AppServer Memcache EHCache Memcache Memcache Memcache AppServer EHCache 采用Memcached作為分布式緩存為了保證系統(tǒng)執(zhí)行效率采用ehCache作為二級緩存在ehcache設(shè)置緩存時間 過期后到Memcached組成的緩存池獲得數(shù)據(jù) 該方案也可以采用Terracotta 應(yīng)用服務(wù)服務(wù)區(qū)域 業(yè)務(wù)系統(tǒng)的主要業(yè)務(wù)邏輯運行在應(yīng)用服務(wù)器中 所以 它承擔了更大的壓力 面臨如下挑戰(zhàn) 1 大并發(fā)訪問需要做應(yīng)用服務(wù)器集群2 系統(tǒng)為了更可用性和友好性支持無縫切換 應(yīng)用服務(wù)器session管理 云下有狀態(tài)應(yīng)用方案 memached session 客戶端 AppServer Memcache Memcache Memcache Memcache AppServer memcached session manager具有如下特性 1 支持tomcat6和tomcat72 能夠保持sticky會話和nonesticky會話3 能夠支持tomcat失敗轉(zhuǎn)移4 能夠支持Memcached失敗轉(zhuǎn)移5 實現(xiàn)session序列化6 可以實現(xiàn)session的異步存儲7 Session修改更新Memcached8 JMX管理和監(jiān)控 云下有狀態(tài)應(yīng)用方案 Terracotta 客戶端 AppServer Terracoatt Terracoatt Terracoatt Terracoatt AppServer 1 Terracotta本身支持集群 避免單點故障 雙機或者多機鏡像 2 Terracotta的基礎(chǔ)是分布式數(shù)據(jù)共享和線程協(xié)同3 不是通過對象序列化的方式傳輸 支持Field級別的變更同步4 不需要修改程序5 支持目前主流的中間價 agent agent Webserver區(qū)域 ApachevsNginxvslighttpd反向代理等功能1 作為老牌HttpServer ApacheHttpd在功能表現(xiàn)上令人滿意 配置相對簡單 功能豐富并且穩(wěn)定 可以任意編譯添加所需功能的模塊 2 Nginx作為新興的HttpServer 在性能表現(xiàn)上令人滿意 功能相對豐富 作為功能相對簡單的應(yīng)用前臺HttpServer是可以推薦的 而且HttpServer可以做到動態(tài)更改配置文件 不需要長時間中斷服務(wù) 3 Lighttpd性能表現(xiàn)很好 但是在功能上有很多不穩(wěn)定之處 Webserver靜態(tài)資源分離 靜態(tài)資源 圖片 js腳本 css等 使用單獨的服務(wù)器處理請求 瀏覽器 靜態(tài)資源 靜態(tài)資源 動態(tài)請求 動態(tài)請求 動態(tài)請示 動態(tài)請示 分布式文件作用 SaaS業(yè)務(wù)系統(tǒng)面臨著海量小圖片數(shù)據(jù)的存儲問題 這些圖片數(shù)據(jù)大小在幾K 幾十K不等但數(shù)目非常龐大 處理這些海量數(shù)據(jù)小文件傳統(tǒng)文件系統(tǒng)已經(jīng)不能滿足要求 系統(tǒng)在scaling的過程中都遇到了這樣的問題 磁盤IO過高 備份困難 單點問題 容量和讀寫無法水平擴展 還存在故障的可能 使用分布式存儲技術(shù)來解決圖片數(shù)據(jù)管理和容量擴展等方面的問題 分布式文件系統(tǒng)工作原理 存儲節(jié)點 即StorageCluster 完成文件管理的所有功能 包括存儲 同步和提供存取接口 同時通過對metadata的管理實現(xiàn)了IO的并行和高效訪問 具有云存儲虛擬 自治 高效特點的實驗項目 支持多盤組 異構(gòu)整合 Tracker 即跟蹤器主要負責IO調(diào)度 通過負載均衡方式實現(xiàn)可靠 快速的資源存取 Client可以是以Service的方式對云存儲提供IO服務(wù) MogileDFSVSFastDFS Case3GIS系統(tǒng)地圖柵格數(shù)據(jù)測試 消息隊列 程序解耦消息可靠性到達異步通信提供效率 企業(yè)級消息隊列 1 消息嚴格的排序 2 支持事務(wù)3 信息通過持久化的方式保證安全可靠代表產(chǎn)品 1 ApacheActiveMQ2 JbossMQ3 IBMMQ4 WeblogicJMS適合場景 企業(yè)級應(yīng)用中消息可靠傳輸 互聯(lián)網(wǎng)消息隊列 1 消息不需要嚴格的排序 2 不支持事務(wù)大多數(shù)情況可接受3 讀寫數(shù)據(jù)非?？? 橫向擴展性好代表產(chǎn)品 Kestrel適合場景 1 互聯(lián)網(wǎng)應(yīng)用中消息動態(tài) Case4Kestrel性能表現(xiàn) 負載均衡區(qū)域 http重定向DNS負載均衡反向代理負載均衡IP負載均衡對應(yīng)產(chǎn)品包括 nginxapachehttpdLVS 網(wǎng)絡(luò)第四層工作 F5 硬件 四層 七層 redware 硬件 四層 七層 LVS結(jié)構(gòu) 工作模式 VirtualServerviaNetworkAddressTranslation VS NAT VirtualServerviaIPTunneling VS TUN VirtualServerviaDirectRouting VS DR LVSHA結(jié)構(gòu) Case5熙康數(shù)據(jù)上傳業(yè)務(wù) Case5熙康數(shù)據(jù)上傳業(yè)務(wù) 該架構(gòu)主要分為如下幾個部分 引入LVS主備的負載均衡模式引入基于LVS的Tomcat負載均衡引入ActiveMQ的Master Slave的模式引入基于MMM的MySQL