冷菠：傳統(tǒng)行業(yè)PG實踐探索

2目錄?02傳統(tǒng)行業(yè)PG實踐探索345“這年頭，但凡少了一個證書都沒法在江湖混了!!!”6開源PG如何殺出重圍:緊跟卷王腳步一起“卷”71.PG能力畫像2.卷“DFX”穩(wěn)定性可靠性彈性韌性擴展性易用性可維護性生態(tài)能力82.1PG探索實踐：從傳統(tǒng)走向開源以傳統(tǒng)架構為底座，融合開源生態(tài)，以傳統(tǒng)架構為底座，融合開源生態(tài)，打造端到端能力：數(shù)據(jù)遷移離線日志插件擴展透明切換全鏈路維護數(shù)據(jù)遷移離線日志插件擴展透明切換全鏈路維護傳統(tǒng)底座：流程+服務+人員+資源端到端能力：自動化->自動駕駛開源生態(tài)：工具集->工具鏈智能風險識別智能風險識別智能SQL建議智能SQL建議智能SQL調優(yōu)智能SQL調優(yōu)智能容量管理智能容量管理智能流量控制智能流量控制“裸奔”“裸奔”2.2PG在傳統(tǒng)行業(yè)實踐利用開源工具探索可靠性、可觀測以及最佳性能實踐：巡檢&優(yōu)化工具利用pg_巡檢&優(yōu)化工具利用pg_profile工具，實現(xiàn)類AWR可觀測性。性能調優(yōu)工具利用pg_gather工具，實現(xiàn)類ADDM性能診斷利器功能。PAF（pgautofailover）作為高可用架構，解決業(yè)務單點故障，確保業(yè)務連續(xù)性。PAF高可用架構保障PostgreSQL業(yè)務連續(xù)性：PrimaryApplicationMointor國SecondaryApplicationMointor國Secondary數(shù)據(jù)讀寫分離數(shù)據(jù)讀寫分離故障健康檢測故障健康檢測故障平滑切換故障平滑切換故障快速轉移故障快速轉移故障快速修復故障快速修復pg_profile：基于快照統(tǒng)計的AWRpg_gather：基于實時統(tǒng)計的AWR+ADDMDBSummary某醫(yī)藥行業(yè)客戶SCM供應鏈庫數(shù)據(jù)10TB+（總共20TB+影響數(shù)據(jù)庫性能，需進行業(yè)務分庫：高可用主從數(shù)據(jù)遷移：PAF集群腦裂重組方案對比遷移方案對比痛點&優(yōu)劣勢數(shù)據(jù)遷移╳遷移數(shù)據(jù)量較大╳數(shù)據(jù)需要導出導入╳傳統(tǒng)遷移工具慢╳較長的業(yè)務中斷時長集群腦裂不需要進行大量數(shù)據(jù)導出導入在主備接近完全數(shù)據(jù)同步前提下，數(shù)據(jù)0丟失業(yè)務中斷時間較短運維操作簡化，效率提升方案亮點8A在線重組業(yè)務連續(xù)操作簡化切換平滑效率提升開源工具鏈/工具集助力PG可觀測行實踐：//32C128G//優(yōu)化建議值checkpoint_completion-->64GBautovacuum_max_workers=6temp_buffers=4MB--128MB某業(yè)務模塊，補齊業(yè)務性能短板：Hint+參數(shù)調優(yōu)+查詢轉換》》╳數(shù)據(jù)量大，百萬/千萬╳單月數(shù)據(jù)分布不均衡╳每月統(tǒng)計數(shù)量集中在月初/月末幾天╳跨月數(shù)據(jù)分布不均衡╳╳數(shù)據(jù)量大，百萬/千萬╳單月數(shù)據(jù)分布不均衡╳每月統(tǒng)計數(shù)量集中在月初/月末幾天╳跨月數(shù)據(jù)分布不均衡╳某些月幾百萬，某些月上千萬╳查詢跨度月大╳跨多月甚至年╳索引selectivity低╳全表掃描》╳硬解析》慢查詢SQL2》╳不排序需要23秒╳只查ID其他條件不變60秒╳只查ID過濾條件為索引字段，主鍵排序22秒╳只查ID過濾條件為索引字段，索引字段排序34秒╳只查ID過濾條件為索引字段，非索引字段排序43秒╳查詢全表總數(shù)23秒性能優(yōu)化結果：SQL執(zhí)行時間降低到1s左右。zdataazdataaSP_SET_PARA_VALUE(1,'BUFFER',16000);SP_SET_PARA_VALUE(1,'BUFFER',19);SP_SET_PARA_VALUE(1,'SESS_POOL_SIZE',128);SP_SET_PARA_VALUE(1,'VM_POOL_SIZE',128);SP_SET_PARA_VALUE(1,'SORT_BUF_SIZE',2048);SP_SET_PARA_VALUE(1,'DICT_BUF_SIZE',1024);SP_SET_PARA_VALUE(1,'RECYCLE',2048);SP_SET_PARA_VALUE(1,'PARALLEL_POLICY',2);SP_SET_PARA_VALUE(1,'MAX_PARALLEL_DEGREE',64);SP_SET_PARA_VALUE(1,'PARALLEL_THRD_NUM',16);慢SQL優(yōu)化對比慢SQL優(yōu)化對比優(yōu)化結果：性能大幅度提升，滿足測試預期：SQL1（150s->1.6s），提升近100倍SQL2（20s->0.1s），提升近200倍0優(yōu)化前