運維 余珂 愛奇藝-愛奇藝基于DPDK的網絡優(yōu)化實踐-下載版

愛奇藝DPDK網絡優(yōu)化實踐愛奇藝技術產品中心余珂Agenda?4層LB(負載均衡)優(yōu)化?7層LB(負載均衡)優(yōu)化面臨問題?低延時用戶體驗?低成本的服務器成本?突發(fā)流量DPDK方案4層LB優(yōu)化：為何LVS不夠快?Kernel是問題所在?資源共享及競爭IRQ暴4層LB優(yōu)化：如何提高性能?KernelBypass?ShareNothing?ZeroCopy?輪詢vs.中斷存池?NUMAaware?HugePage?……4層LB優(yōu)化：DPDK+LVS=DPVS?使用DPDK繞過Kernel?用戶態(tài)IP協(xié)議棧?用戶態(tài)實現(xiàn)LVS功能?返程數(shù)據親和性等難點/iqiyi/dpvs4層LB優(yōu)化：DPVS架構?用戶態(tài)實現(xiàn)?Master/Worker?Lockless?網卡隊列/CPU綁定?跨CPU無鎖通信4層LB優(yōu)化：DPVS功能特性?高可用?集群化、健康檢查?高可擴展?水平擴展LB/RS?輕量級IP棧?無鎖化設計?虛擬接口?Bond/VLAN?安全相關?Synproxy/黑名單/限流4層LB優(yōu)化：DPVS性能數(shù)據?Client:wrk?RS:nginx7層LB優(yōu)化:DPDK+Nginx?需要完整用戶態(tài)TCP/IP協(xié)議棧?開源協(xié)議棧調研：?ODP/OFPFstack解決方案；P?性能考慮？?功能考慮？?社區(qū)是否活躍？?便于開發(fā)、維護？虛擬化網絡優(yōu)化：OVS-DPDK狀態(tài)?對比Legacyovs性能，用ovs-dpdk，可以獲得類似SR-IOV性能ovs-dpdk同neutron，nova集成，解決overlay網絡下時延問題?ovs使用dpdkvhost-user和vhostuserclient(autoreconnect)?Dpdkbonding?usebond4lacp，needsetphyswitch?Use2logicalcoreforpmdthreading?Insamephycoreornot？虛擬化網絡優(yōu)化:問題#1?物理機之間的流量和延時問題?現(xiàn)象：?Glance的image同步或其他大流量?某些共享存儲使用的kernel協(xié)議棧?原因：走物理機的管理網絡報文路徑太長?不同于同在kernel下的ovsdatapath?Userspace的datapatch，從協(xié)議棧，到依賴ovs-vswitchd的loop?解決?非sriov方式?Ovslocalporttap/knidevice->usepurepmdthread+new++isolatedcore?Sriov方式?見后文?單網卡場景使用ovsdpdk后，如何隔離管理網絡和數(shù)據網絡?ovs-dpdkapp重啟導致管理網絡也中斷，重要數(shù)據無法回傳，idrac時間太長?Sriov?Dpdkdpdkbifurcateddriverfori40e?L2L3flowscheduler?Customedixgbedriverfor82599/x540T?SetVFpromiscuousmodeandunicasthashbitmakePFworkasabridge?VlanisolatedthePFVFbifurcateddriverforI40e?ovsdpdk進程重啟的時間優(yōu)化問題?重啟時，hugepage內存初始化占據主要時間?除去vm需要的內存，僅僅從小范圍逐漸擴大查找dpdk需要連續(xù)hugepage內存mapping(4G左右)?重啟時間，從170s降到最快5s未來的挑戰(zhàn)?4層LB(DPVS)：?流量控制，按VIP，源IP等模式進行限流?采樣功能，按VIP，流特征等進行數(shù)據采樣?7層LB(DPDK-Nginx)：?完善基本功能?虛