1-5-分布式應用無銀彈-分布式應用架構(gòu)核心要素的設(shè)計方法探討-董健

分布式應用無銀彈董健 1互聯(lián)網(wǎng)應用/企業(yè)應用那些事 2分布式為彈性應用解困3分布式平臺的核心要素設(shè)計剖析342008奧運首次訂票12306“互聯(lián)網(wǎng)思維”2B應用SaaS避免蓋棺定論問題一直都在托翁法則2008奧運首次訂票12306“互聯(lián)網(wǎng)思維”2B應用SaaS避免蓋棺定論問題一直都在托翁法則“舍得”建設(shè)性改良0~1VS1~100顛覆逆襲企業(yè)應用?capacityplanning?enterprise-scale,carrier-scale?不好的用戶體驗?限定的使用模式 (大型)互聯(lián)網(wǎng)應用??商業(yè)模式衍生出技術(shù)色彩?高用戶量目標?不固定、不可控?快速迭代的沖擊?活難干、沒預算?商業(yè)模式推動技術(shù)變革彈性架構(gòu)?完善、靈巧彈性架構(gòu)?完善、靈巧高效?值得尊敬的兼容性布局彈性可伸縮VS彈性可擁擠彈性的CTO架構(gòu)迭代資資金的彈性VS規(guī)模的彈性彈彈性的開發(fā)人員功功能迭代彈性應用的范疇前端鏈路后端數(shù)據(jù)庫負載均衡運行容器數(shù)據(jù)交換數(shù)據(jù)存儲式平臺內(nèi)部實現(xiàn)需求原理設(shè)計思想具體實現(xiàn)深入了解現(xiàn)有平臺評估自研、改造 1互聯(lián)網(wǎng)應用/企業(yè)應用那些事 2分布式為彈性應用解困3分布式平臺的核心要素設(shè)計剖析34彈性應用面臨的困境OLTPOLTP(1+1=?)并并行/分布式計算、大數(shù)據(jù)會會話型應用(++i)彈性可伸縮高性能高可用高可靠困境中的答案彈性可伸縮高性能高可用高可靠?提升計算節(jié)點個數(shù)??提升計算節(jié)點個數(shù)?同一類任務由超過一個CPU完成?摩爾定律“回歸”計算 通過scaleout解脫單一計算節(jié)點上無法從硬件無限突破的兩分布式存儲?提升存儲節(jié)點個數(shù)?維持單位存儲管理成本?編程范式和API支撐?編程范式和API支撐?最少的知識投資?通用、底層、簡單、輕量?杜絕“分布式”設(shè)計框架編織進日常生活，直到你無從發(fā)現(xiàn)為止”——MarkWeiser運行態(tài)開運行態(tài)?強大的運行容器，應用透明?多線程/進程/機器透明并發(fā)?必殺技：強大的RASP式應用決定如何“分”和“治”有秘訣無銀彈?有秘訣無銀彈?功能和RASP的N?加法變乘法“舍得”?九六四?功能與方案的“舍得”?主動的“舍”?時間/空間上的“舍”?不同應用不同取舍?收放自如的“舍”?不光是智商的問題 1互聯(lián)網(wǎng)應用/企業(yè)應用那些事 2分布式為彈性應用解困 3分布式平臺的核心要素設(shè)計剖析4數(shù)據(jù)協(xié)議話通訊協(xié)議可插拔、可擴展、業(yè)務透明持久化計算資源間統(tǒng)一可插拔、可擴展、業(yè)數(shù)據(jù)協(xié)議話通訊協(xié)議可插拔、可擴展、業(yè)務透明持久化計算資源間統(tǒng)一可插拔、可擴展、業(yè)務透明豐富的數(shù)據(jù)類型存管理服務實例間通信包便捷的編程模型操作系統(tǒng)明編程范式編程范式PC對話DAMap-Reduce批處理、并行計算語言操作請求服務框架初始化應用初始化路由負載均衡議議框架主循環(huán)數(shù)據(jù)協(xié)通訊協(xié)請求服務框架初始化應用初始化路由負載均衡議議框架主循環(huán)數(shù)據(jù)協(xié)通訊協(xié)處理響應應應用服務應用應用框架框架Callback那些事開發(fā)工作量出錯幾率運行時靈活度RASP最小程度的新語義引入配置驅(qū)動一種框架解決多種業(yè)務Map-ReduceBuzword逆向思維，本末倒置簡單粗暴的“分而治之”適合批處理典型的分布式編程模Map-ReduceBuzword逆向思維，本末倒置簡單粗暴的“分而治之”適合批處理請求請求式分布式應用平臺和應用有條件隔離?HTTPSession?容器+運行時VS統(tǒng)一容器請求成本高、并發(fā)弱必備負載均衡請求間同步需第三方支持適合OLTP用架構(gòu)效率用架構(gòu)效率的分布式模型、靈活、高效、個性化的分布式應用架構(gòu)服務服務捷開發(fā)單的異步小程度入侵態(tài)隔離新請求據(jù)協(xié)議議定服務發(fā)現(xiàn)服務衡服務ReliabilityAvailabilityScalability度調(diào)用服務運行態(tài)(平臺)新請求據(jù)協(xié)議議定服務發(fā)現(xiàn)服務衡服務ReliabilityAvailabilityScalability度調(diào)用服務啟啟動動態(tài)服務發(fā)布/禁用PerformancPerformance據(jù)一致性O(shè)OA&MMonitoring路由任務分配者數(shù)據(jù)協(xié)調(diào)者負載均衡動路由、機器、進程、線程、服務路由任務分配者數(shù)據(jù)協(xié)調(diào)者負載均衡動路由、機器、進程、線程、服務應用定制策略配任務點據(jù)驅(qū)動話驅(qū)動應用定制任務分配由和負載信息的共享VSN備份點注冊&數(shù)據(jù)更新121322典型的數(shù)據(jù)一致性問題注冊&數(shù)據(jù)更新121322 1' 1' 2'23'1據(jù)疊加更新注冊&數(shù)據(jù)更新?lián)B加更新1134數(shù)據(jù)的一致性時時間窗口數(shù)據(jù)不一致“噩夢”最需要“秘訣”式系統(tǒng)避的如何同步一寫多讀提高寫性能：開源、節(jié)流寫節(jié)點的高可用：簡單最美高頻負載數(shù)據(jù)的同步策略高可用可識別、可容忍、可修復不會引起擁堵管理數(shù)據(jù)業(yè)務數(shù)據(jù)同步什么調(diào)度器依賴于任務粒度盡力運算調(diào)度器依賴于任務粒度盡力運算CPU100%操作系統(tǒng)內(nèi)核任務虛擬化CPU計算資源/能力虛擬化多集群任務調(diào)度任任務粒度編程模型決定調(diào)度靈活性系統(tǒng)性能統(tǒng)一調(diào)度計統(tǒng)一調(diào)度函數(shù)函數(shù)/方法/服務運行掛起時間片分布式計算框架I/O慢速服務阻塞任務步驟請求多多進程多機單線程多線程 1互聯(lián)網(wǎng)應用/企業(yè)應用那些事 2分布