4-3-技術(shù)解析：構(gòu)建高效開發(fā)容器云平臺(tái)-陳諤

QCon全球軟件開發(fā)大會(huì)網(wǎng)易蜂巢陳諤22016-4-21從Docker容器技術(shù)到云平臺(tái)Docker容器帶來的而改變?開發(fā)者角色?協(xié)作方式打造容器云的挑戰(zhàn)?產(chǎn)品形態(tài)?技術(shù)棧的成熟度?Docker?kubernetes?OpenStack做一朵更好的云——基于Dev視角關(guān)注提升開發(fā)效率開發(fā)效率提升策略—消除系統(tǒng)復(fù)雜性?容器間互連?復(fù)雜：NAT、端口映射、層級(jí)網(wǎng)絡(luò)?遺留系統(tǒng)遷移的影響?長(zhǎng)連接狀態(tài)問題?基于IP注冊(cè)的服務(wù)發(fā)現(xiàn)?運(yùn)維復(fù)雜度增加?端口沖突?內(nèi)外IP不一致?不利于故障恢復(fù)?IP變化th172.16.138.177172.18.0.1veth172.18.0.2?容器間互連?復(fù)雜：NAT、端口映射、層級(jí)網(wǎng)絡(luò)?遺留系統(tǒng)遷移的影響?長(zhǎng)連接狀態(tài)問題?基于IP注冊(cè)的服務(wù)發(fā)現(xiàn)?運(yùn)維復(fù)雜度增加?端口沖突?內(nèi)外IP不一致?不利于故障恢復(fù)?IP變化th172.16.138.177172.18.0.1veth172.18.0.2th172.16.138.177lanneldlannel08.0.0/16veth172.18.1.2th172.16.138.178vethvethvethth172.16.138.177lanneldlannel08.1.0/16vethvethveth?簡(jiǎn)單：虛擬化扁平二層網(wǎng)絡(luò)?遺留系統(tǒng)兼容性好?控制IP分配??利于故障恢??e.138.178.16.138.177蜂巢的解決方案?VxLAN網(wǎng)絡(luò)，基于OpenstackNeutron?每租戶一張獨(dú)立私有二層網(wǎng)絡(luò)?外網(wǎng)網(wǎng)卡直接掛載?私有網(wǎng)絡(luò)>容器網(wǎng)絡(luò)網(wǎng)絡(luò)性能的挑戰(zhàn)?VxLAN性能?L2Population(避免IP)?RSS(利用多核)?GRO(接收端package合并)?RCO(優(yōu)化checksum開銷)?硬件offloadVMbrvethnamespace1namespace2VMportnamespace1namespace2系統(tǒng)復(fù)雜性-架構(gòu)基礎(chǔ)服務(wù)云端化等服務(wù)抽象為后端服務(wù)，對(duì)Client只暴露一個(gè)URL需使用者介入HAorProxyProxyDBDBDBProxyDB診斷工具穩(wěn)定性風(fēng)險(xiǎn)防定位編編排與集群運(yùn)維化關(guān)于容器運(yùn)行?保持狀態(tài)?網(wǎng)絡(luò)、存儲(chǔ)?是否基于Hypervisor?安全隔離?故障隔離?備份、停機(jī)、遷移、故障恢復(fù)的需求?備份、停機(jī)、遷移、故障恢復(fù)的需求 VMker?Docker遠(yuǎn)程盤支持?容器遷移?在一個(gè)node上掛載云硬盤到指定dir目錄?啟動(dòng)容器，設(shè)置container-home=dir將容器數(shù)據(jù)保存在dir目錄?當(dāng)node宕機(jī)或需要遷移該容器時(shí)?將該容器配置信息copy到新的nodecontainers目錄?掛載云硬盤到新nodedir目錄?執(zhí)行dockerreload后dockerps–a可以看到容器?執(zhí)行dockerstart就可以啟動(dòng)容器，遷移成功關(guān)于容器編排?選擇kubernetes?有狀態(tài)容器支持?多租戶kubernetes存在的問題?多租戶支持共享狀態(tài)，實(shí)現(xiàn)真正的多租戶隔離需要將所有資源隔離。不同租戶不共享node，每個(gè)租戶的認(rèn)證與授權(quán)獨(dú)立(采用不同證書)。?有狀態(tài)支持?原生RC面向無狀態(tài)場(chǎng)景設(shè)計(jì)，當(dāng)Node故障時(shí)會(huì)重建Pod導(dǎo)致狀態(tài)數(shù)據(jù)丟失，需更改kubernetes的恢復(fù)策略進(jìn)行支持。性能?性能問題?任務(wù)隊(duì)列設(shè)計(jì)不合理，所有操作都在隊(duì)列串行執(zhí)行，scheduler、controller等組件均存在此問題。機(jī)制，可有效解決這一問題。?HowtoScale?關(guān)鍵在于擴(kuò)展etcd集群與調(diào)度器，可通過LB聚合多個(gè)etcd集群；按照調(diào)度器空閑情況將租戶調(diào)度請(qǐng)求分散到不同調(diào)度器處理。診斷工具問題排查手段的缺失是影響業(yè)務(wù)可用率的最重要因素之一?在微服務(wù)架構(gòu)下可進(jìn)一步配合日志trace機(jī)制分析調(diào)用鏈rsyslogNodeKafka同時(shí)可接受的日志收集延遲性能管理?單純的資源監(jiān)控不利于性能問題的預(yù)判與診斷?短暫的性能波動(dòng)在常規(guī)監(jiān)控方式下易被平均，性能監(jiān)控至少要細(xì)化到服務(wù)API級(jí)別甚至細(xì)化到代碼接口級(jí)別?必須要與服務(wù)依賴、調(diào)用鏈相結(jié)合才能精確定位性能故障點(diǎn)，發(fā)生故障時(shí)調(diào)用鏈上的節(jié)點(diǎn)常