運(yùn)維 余珂 愛奇藝-愛奇藝基于DPDK的網(wǎng)絡(luò)優(yōu)化實(shí)踐-下載版

愛奇藝DPDK網(wǎng)絡(luò)優(yōu)化實(shí)踐愛奇藝技術(shù)產(chǎn)品中心余珂Agenda?4層LB(負(fù)載均衡)優(yōu)化?7層LB(負(fù)載均衡)優(yōu)化面臨問(wèn)題?低延時(shí)用戶體驗(yàn)?低成本的服務(wù)器成本?突發(fā)流量DPDK方案4層LB優(yōu)化：為何LVS不夠快?Kernel是問(wèn)題所在?資源共享及競(jìng)爭(zhēng)IRQ暴4層LB優(yōu)化：如何提高性能?KernelBypass?ShareNothing?ZeroCopy?輪詢vs.中斷存池?NUMAaware?HugePage?……4層LB優(yōu)化：DPDK+LVS=DPVS?使用DPDK繞過(guò)Kernel?用戶態(tài)IP協(xié)議棧?用戶態(tài)實(shí)現(xiàn)LVS功能?返程數(shù)據(jù)親和性等難點(diǎn)/iqiyi/dpvs4層LB優(yōu)化：DPVS架構(gòu)?用戶態(tài)實(shí)現(xiàn)?Master/Worker?Lockless?網(wǎng)卡隊(duì)列/CPU綁定?跨CPU無(wú)鎖通信4層LB優(yōu)化：DPVS功能特性?高可用?集群化、健康檢查?高可擴(kuò)展?水平擴(kuò)展LB/RS?輕量級(jí)IP棧?無(wú)鎖化設(shè)計(jì)?虛擬接口?Bond/VLAN?安全相關(guān)?Synproxy/黑名單/限流4層LB優(yōu)化：DPVS性能數(shù)據(jù)?Client:wrk?RS:nginx7層LB優(yōu)化:DPDK+Nginx?需要完整用戶態(tài)TCP/IP協(xié)議棧?開源協(xié)議棧調(diào)研：?ODP/OFPFstack解決方案；P?性能考慮？?功能考慮？?社區(qū)是否活躍？?便于開發(fā)、維護(hù)？虛擬化網(wǎng)絡(luò)優(yōu)化：OVS-DPDK狀態(tài)?對(duì)比Legacyovs性能，用ovs-dpdk，可以獲得類似SR-IOV性能ovs-dpdk同neutron，nova集成，解決overlay網(wǎng)絡(luò)下時(shí)延問(wèn)題?ovs使用dpdkvhost-user和vhostuserclient(autoreconnect)?Dpdkbonding?usebond4lacp，needsetphyswitch?Use2logicalcoreforpmdthreading?Insamephycoreornot？虛擬化網(wǎng)絡(luò)優(yōu)化:問(wèn)題#1?物理機(jī)之間的流量和延時(shí)問(wèn)題?現(xiàn)象：?Glance的image同步或其他大流量?某些共享存儲(chǔ)使用的kernel協(xié)議棧?原因：走物理機(jī)的管理網(wǎng)絡(luò)報(bào)文路徑太長(zhǎng)?不同于同在kernel下的ovsdatapath?Userspace的datapatch，從協(xié)議棧，到依賴ovs-vswitchd的loop?解決?非sriov方式?Ovslocalporttap/knidevice->usepurepmdthread+new++isolatedcore?Sriov方式?見后文?單網(wǎng)卡場(chǎng)景使用ovsdpdk后，如何隔離管理網(wǎng)絡(luò)和數(shù)據(jù)網(wǎng)絡(luò)?ovs-dpdkapp重啟導(dǎo)致管理網(wǎng)絡(luò)也中斷，重要數(shù)據(jù)無(wú)法回傳，idrac時(shí)間太長(zhǎng)?Sriov?Dpdkdpdkbifurcateddriverfori40e?L2L3flowscheduler?Customedixgbedriverfor82599/x540T?SetVFpromiscuousmodeandunicasthashbitmakePFworkasabridge?VlanisolatedthePFVFbifurcateddriverforI40e?ovsdpdk進(jìn)程重啟的時(shí)間優(yōu)化問(wèn)題?重啟時(shí)，hugepage內(nèi)存初始化占據(jù)主要時(shí)間?除去vm需要的內(nèi)存，僅僅從小范圍逐漸擴(kuò)大查找dpdk需要連續(xù)hugepage內(nèi)存mapping(4G左右)?重啟時(shí)間，從170s降到最快5s未來(lái)的挑戰(zhàn)?4層LB(DPVS)：?流量控制，按VIP，源IP等模式進(jìn)行限流?采樣功能，按VIP，流特征等進(jìn)行數(shù)據(jù)采樣?7層LB(DPDK-Nginx)：?完善基本功能?虛