基于容器的持續(xù)集成與部署方案

1、基于容器的持續(xù)集成與部署方案Agenda數(shù)據(jù)中心現(xiàn)狀數(shù)據(jù)中心 PaaS 功能點(diǎn)數(shù)據(jù)中心 PaaS 選型數(shù)據(jù)中心 PaaS 架構(gòu)數(shù)據(jù)中心構(gòu)建部署流程數(shù)據(jù)中心 PaaS 定制遇到的問題數(shù)據(jù)中心 PaaS 使用情況數(shù)據(jù)中心現(xiàn)狀一個應(yīng)用對應(yīng)一個域， 有 1000+ 個域，各個域間依賴復(fù)雜, 部署發(fā)布困難無統(tǒng)一持續(xù)集成和部署流程多套測試環(huán)境部署升級以及管理復(fù)雜目前支持 VIP 電商業(yè)務(wù)的有物理機(jī) 1w+， 物理機(jī)模式下，資源無法共享，導(dǎo)致物理機(jī)的利用率大部分都比較低，即使在7周年大促的高峰時段，6080% 的物理機(jī)利用率也都低于 10%構(gòu)建 部署測試集空間管理鏡像管理數(shù)據(jù)中心 PaaS 功能點(diǎn)K8s 虛

2、 IP 的概念符合數(shù)據(jù)中心應(yīng)用模型K8s 功能完善開發(fā)工作量相對少K8s 社區(qū)活躍團(tuán)隊已有成員參與 k8s 社區(qū)提交代碼數(shù)據(jù)中心 PaaS 選型數(shù)據(jù)中心 PaaS 架構(gòu)DashboardSecurityImageMangementResourceQuotaLog(fluentd+kafka+ELK)Cloud FrameworkK8s providerSwarm ProviderAny cloud providerMessage(GNATS)Monitor(Prometheus)Service Discorvery(skydns)API ServerService Gateway(nginx+

3、tomcat)數(shù)據(jù)中心構(gòu)建部署測試流程Deploy and RunBuildPackageBake ImageK8s cluster(build)jenkins k8s pluginK8s clientUpload vip registry and ciderTest（VTP)jenkins k8s pluginK8s cluster(deploy)Label package and image 數(shù)據(jù)中心 PaaS 定制 Docker 網(wǎng)絡(luò)創(chuàng)建 veth pair從 IPAM controller 拿到 IP/Tag 設(shè)置到容器中在 stop 容器將容器 IP 保留至 config.json

4、以保證重啟容器 IP 不變數(shù)據(jù)中心 PaaS 定制 - KubernetesJenkins Kubernetes Plugin jenkins slave 容器調(diào)度策略 不同環(huán)境對外域名負(fù)載均衡 gorouter網(wǎng)絡(luò)替換 Flannel+VXLAN, 修改 kubelet 直接使用 Docker 網(wǎng)絡(luò)方案 OVS+VLAN數(shù)據(jù)中心 PaaS 定制 - Kubernetes使用 HAProxy+KeepAlived 替換 kube-proxy 數(shù)據(jù)中心 PaaS 定制 - KubernetesDocker Registry 改造認(rèn)證以及授權(quán)Push Notification 自動觸發(fā)部署鏡像信息

5、存入數(shù)據(jù)庫進(jìn)行 index 以及 search記錄用戶對于 Docker Registry 操作數(shù)據(jù)中心 PaaS 定制 Registry使用 node agent 方式監(jiān)控單個 pod 實(shí)例Promethus 監(jiān)控收集監(jiān)控集群數(shù)據(jù)定制 Promethus 實(shí)現(xiàn)基于 Swarm 的服務(wù)發(fā)現(xiàn)數(shù)據(jù)中心 PaaS 定制 監(jiān)控數(shù)據(jù)中心 PaaS 定制 Log & Alert日志收集處理Fluentd - Kafka - Logstash - ElasticSearch日志告警ElasticAlert(應(yīng)用日志)Devicemapper loopback 性能問題Production 使用 direct

6、-lvmStarting container fails with System error: read parent: connection reset by peer在每個 pod 創(chuàng)建時添加指定環(huán)境變量解決Error response from daemon: Cannot start container (fork/exec /usr/sbin/iptables: cannot allocate memory)Docker log 實(shí)現(xiàn)機(jī)制有問題， 升級 docker 解決Docker registry pull 出現(xiàn) image not found-disable-legacy-re

7、gistry (Docker 1.9+ 支持)碰到的問題Pod 實(shí)例處于 pending 狀態(tài)無法刪除只能通過 docker 命令手動刪除K8s 僵死容器太多，占用太多空間配置 KUBELET_ARGS=-maximum-dead-containers=0 -maximum-dead-containers-per-container=0K8s 1.1.4 ResourceQuota 更新慢代碼監(jiān)控 delete 邏輯慢，更新至 K8s 1.2K8s batch job 正常退出會不斷重啟使用單個 pod 來跑 batch job 類型的任務(wù)cAdvisor 對于 K8s pod 網(wǎng)絡(luò)統(tǒng)計問題node agent 處理網(wǎng)絡(luò)數(shù)據(jù)解決碰到的問題數(shù)據(jù)中心 PaaS 使用情況歷史測試環(huán)境：VM 1000+，實(shí)際使用率50%total VM#Total Mem allocated(Gtotal mem used(GB)stagintaging24881068310沙箱167412228當(dāng)前版本：K8s 1.1.4 + D