ArchSummit全球架構師峰會-《分布式實現(xiàn)那些事兒：Pegasus 背后的故事》孫偉杰

i布式實現(xiàn)那些事兒.標題文本..標題文本.標題文本.標題文本.標題文本.標題文本.標題文本.標題文本.標題文本.標題文本.標題文本.標題文本.標題文本.標題文本孫偉杰云存儲工程師!浙江大學碩士畢業(yè)。目前就職C小米，致rCi布式存儲系統(tǒng)Pegasus的研發(fā)工作。熱愛底層技術，熱愛開源，是i布式系統(tǒng)框架rDSN的重?Pegasus的產生?實現(xiàn)中的那些坑?現(xiàn)狀和計劃?總結!外部客戶端壓r太大導致Zookeeper不可用!Zookeeper不可用導致所有RegionServer不可用HBase的不足Pegasus的定位!中心y、iPartitionPegasus寫請求流程Pegasus寫請求流程Pegasus寫請求流程Pegasus寫請求流程Pegasus的讀請求流程圖?實現(xiàn)上的那些坑?現(xiàn)狀和計劃?總結Partition方案Hash排序方案無有無有各表分開存表間資源限制(quota)不容易容易誤操作帶來的影響高概率影響多個業(yè)務低概率影響多個業(yè)務HashSchema的負載均衡個Key請求過熱(難以解決)個Partition請求過熱(無需考慮)?Partition容量i布不均(無需考慮)?Partition個數(shù)i布不均(需要處理)!Primary、Secondary不c享物理機!對C每個表：Primary、Secondary都平均i配!角色切換優(yōu)C數(shù)據(jù)拷貝!根據(jù)Primary的可能流向建立有向圖!Ford-Fulkerson方法：最短路+迭代考慮機架位等信息節(jié)點需要有權重拷貝數(shù)據(jù)時限流!數(shù)據(jù)不依賴DFS“T們有雙機房熱備嗎？”Pegasus的多級冗余策略.滿足多種業(yè)務需求.表級別靈活控o，避ility品可用的一致性協(xié)議的實現(xiàn)A搶臨界區(qū)→無鎖串行y排隊!事件驅v、純異步、無鎖串行y?實現(xiàn)中的那些坑?Deterministic測試?現(xiàn)狀和計劃?總結i布式系統(tǒng)做穩(wěn)定很難問題IO常狀態(tài)?控o程序的執(zhí)行順序控o程序的執(zhí)行順序：消除并行!單節(jié)點串行y：按序執(zhí)行+異步IO事件P隨機delay!節(jié)點間串行y：parallel→concurrent，多隊lP隨機調度!以一定的概率注入錯誤!業(yè)務邏輯assert、添ta局狀態(tài)檢查模塊!發(fā)生異常時：用相同的隨機數(shù)種子重新運行應用case：一致性協(xié)議的單元測試i布式框架rDSN異步編程模型https///Microsoft/rDSN?實現(xiàn)中的那些坑?現(xiàn)狀和計劃?總結tion?b司e上線服務業(yè)務?持續(xù)開源更多s能?RESTfulAPI?多租戶支持?實現(xiàn)中的那些坑?現(xiàn)狀和計劃?總結對C一個好的項目關注業(yè)務?明確業(yè)務需求關注架構一致性、可用性、擴展性、性能關注軟件工程?可維護性、測試、監(jiān)控?PacificA一致性協(xié)議：/en-us/research/publication/pacifica-replication-in-log-based-distributed-storage-systems/?《ArchSummit2016北京》關CPegasus的技術i享：/presentation/3023.標題文本.