通用廣告引擎的索引設計和性能優(yōu)化

通用廣告引擎的索引設計和性能優(yōu)化阿里媽媽事業(yè)部師陀Agenda背景索引設計和實現(xiàn)遇到的問題下一步工作性能優(yōu)化過程性能優(yōu)化小結Q&A背景廣告引擎的基本狀況層級結構：廣告主->廣告計劃->廣告商品->競價詞背景廣告引擎的基本狀況層級結構：廣告主->廣告計劃->廣告商品->競價詞廣告查詢流程Query解析->倒排查詢->過濾->算分->排序->拼裝結果返回背景廣告引擎的基本狀況層級結構：廣告主->廣告計劃->廣告商品->競價詞在線查詢流程Query解析->倒排查詢->過濾->算分->排序->拼裝結果返回索引數(shù)據(jù)：每天重建全量+實時更新增量背景廣告引擎的基本狀況層級結構：廣告主->廣告計劃->廣告商品->競價詞在線查詢流程Query解析->倒排查詢->過濾->算分->排序->拼裝結果返回索引數(shù)據(jù)：每天重建全量+實時更新增量多條產(chǎn)品線，引擎技術有通用性背景一年前：使用搜索引擎isearch的索引內(nèi)核+自己開發(fā)的輔表結構相對實現(xiàn)復雜，正排讀接口不清晰性能問題背景一年前：使用搜索引擎isearch的索引內(nèi)核+自己開發(fā)的輔表結構相對實現(xiàn)復雜，正排讀接口不清晰性能問題重構：新的通用廣告引擎（一期）索引支持主輔表結構只做廣告引擎需要的功能目標：性能和可維護性索引設計倒排：全量+增量Payload字段可配置增量的多級可回收內(nèi)存池索引設計正排：主/輔表結構多種值類型：bit/int8/int16/…/float/string多種字段類型：單值/固定多值/變長多值定長字段和變長字段的緊密存儲Package表的關聯(lián)字段平鋪索引設計正排：主/輔表結構多種值類型：bit/int8/int16/…/float/string多種字段類型：單值/固定多值/變長多值Package表的關聯(lián)字段平鋪索引設計正排多種值類型：bit/int8/int16/…/float/string多種字段類型：單值/固定多值/變長多值定長字段和變長字段的緊密存儲Package表的關聯(lián)字段平鋪主/輔表+keyId->docId的hash表+DeleteMap索引實現(xiàn)索引實現(xiàn)索引實現(xiàn)索引實現(xiàn)索引實現(xiàn)其他TableWriter的其他成員DeleteMapKeyIdHashTable相關小工具：indexLibPrinter遇到的問題（1）Mmap的得失天然的弱持久化方案利用系統(tǒng)pagecache管理數(shù)據(jù)局部性遇到的問題（1）Mmap的得失天然的弱持久化方案利用系統(tǒng)pagecache管理數(shù)據(jù)局部性臟頁回寫不可控遇到的問題（1）Mmap的得失天然的弱持久化方案利用系統(tǒng)pagecache管理數(shù)據(jù)局部性臟頁回寫不可控短期解決方案@2.6.18內(nèi)核：flush_mmap_pages=0遇到的問題（1）Mmap的得失天然的弱持久化方案利用系統(tǒng)pagecache管理數(shù)據(jù)局部性臟頁回寫不可控短期解決方案@2.6.18內(nèi)核：flush_mmap_pages=0Pagecache換入換出不可控遇到的問題（1）Mmap的得失天然的弱持久化方案利用系統(tǒng)pagecache管理數(shù)據(jù)局部性臟頁回寫不可控短期解決方案@2.6.18內(nèi)核：flush_mmap_pages=0Pagecache換入換出不可控mlock：不符合極端情況的異常處理需求遇到的問題（1）Mmap的得失天然的弱持久化方案利用系統(tǒng)pagecache管理數(shù)據(jù)局部性臟頁回寫不可控短期解決方案@2.6.18內(nèi)核：flush_mmap_pages=0Pagecache換入換出不可控mlock：不符合極端情況的異常處理需求另外的解決方案：使用shm替換mmap，主動控制持久化和故障恢復遇到的問題（2）穩(wěn)定性每天build全量的過程牽涉的系統(tǒng)太多太復雜故障恢復的能力需要加強解決方案：索引重整

+索引壓縮遇到的問題（2）穩(wěn)定性每天build全量的過程牽涉的系統(tǒng)太多太復雜故障恢復的能力