容器化技術(shù)在汽車中實(shí)踐

容器化技術(shù)在長(zhǎng)安汽車的實(shí)踐重慶長(zhǎng)安汽車股份有限公司管理創(chuàng)新與IT中心黃俊ThepracticeofcontainerTechnologyinChangan目錄長(zhǎng)安汽車的前世今生“互聯(lián)網(wǎng)+”時(shí)代，積極擁抱容器化技術(shù)12容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan目錄長(zhǎng)安汽車的前世今生“互聯(lián)網(wǎng)+”時(shí)代，積極擁抱容器化技術(shù)12容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan長(zhǎng)安汽車的前世今生1公司簡(jiǎn)介長(zhǎng)安汽車的前身今世與未來(lái)源自1862年上海洋炮局，是中國(guó)近代工業(yè)先驅(qū)1984年進(jìn)入汽車領(lǐng)域，中國(guó)汽車四大車企之一中國(guó)第一自主品牌，產(chǎn)銷突破1000萬(wàn)輛自主第一研發(fā)實(shí)力，連續(xù)3屆6年行業(yè)第一品牌形象：年輕、時(shí)尚、活力、國(guó)際化……愿景與追求：打造世界一流汽車企業(yè)2014年，自主品牌汽車產(chǎn)銷1000萬(wàn)輛長(zhǎng)安汽車魚嘴千億汽車城長(zhǎng)安汽車出口海外第一任總工程師馬格里(英國(guó))第一任總經(jīng)理李鴻章容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan中國(guó)第一家也是至今唯一一家全球研發(fā)布局的汽車企業(yè)容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan公司簡(jiǎn)介長(zhǎng)安汽車的前身今世與未來(lái)產(chǎn)業(yè)布局：11家生產(chǎn)基地30家整車及發(fā)動(dòng)機(jī)工廠容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan公司簡(jiǎn)介過(guò)去，IT是手段……長(zhǎng)安汽車信息化發(fā)展史容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan以業(yè)務(wù)集成為目的，搭建以ERP為核心的生產(chǎn)經(jīng)營(yíng)管理平臺(tái)，實(shí)現(xiàn)了財(cái)務(wù)與業(yè)務(wù)、產(chǎn)供銷的集成，奠定未來(lái)深化應(yīng)用的基礎(chǔ)。綜合集成管理融合集團(tuán)管控協(xié)同創(chuàng)新以支撐CPS/CA-PDS兩大管理體系為重點(diǎn)，夯實(shí)制造、研發(fā)、管理信息化平臺(tái)，為集團(tuán)快速發(fā)展奠定堅(jiān)實(shí)基礎(chǔ)。以一體化管控為核心，推進(jìn)系統(tǒng)標(biāo)準(zhǔn)化、集團(tuán)化，支撐研發(fā)、制造、采購(gòu)一體化，實(shí)現(xiàn)遠(yuǎn)程投放，快速?gòu)?fù)制。以精益管理、三大模式創(chuàng)新為目標(biāo)，開(kāi)展產(chǎn)業(yè)鏈協(xié)同、產(chǎn)品創(chuàng)新，打造世界一流汽車企業(yè)。-2006年2006-2009年2010-2011年2012年-未來(lái)，IT是產(chǎn)品、IT是產(chǎn)業(yè)在互聯(lián)網(wǎng)+的時(shí)代，長(zhǎng)安汽車將依托互聯(lián)網(wǎng)思維，開(kāi)展多緯度創(chuàng)新容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan目錄長(zhǎng)安汽車的前世今生“互聯(lián)網(wǎng)+”時(shí)代，積極擁抱容器化技術(shù)12容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan“互聯(lián)網(wǎng)+”時(shí)代，積極擁抱容器化技術(shù)2構(gòu)建開(kāi)源技術(shù)平臺(tái)，引入互聯(lián)網(wǎng)架構(gòu)，推動(dòng)去IOE平臺(tái)為產(chǎn)品發(fā)展提供基礎(chǔ)技術(shù)支撐產(chǎn)品應(yīng)用為平臺(tái)發(fā)展提供實(shí)踐驗(yàn)證應(yīng)用實(shí)例容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan簡(jiǎn)化流程貫穿開(kāi)發(fā)/測(cè)試/部署各個(gè)階段降低運(yùn)維成本“一鍵發(fā)布”與減少故障處理時(shí)間技術(shù)標(biāo)準(zhǔn)化逐步推廣“標(biāo)準(zhǔn)化”技術(shù)降低IT建設(shè)成本不論采用什么措施，技術(shù)都服務(wù)于業(yè)務(wù)，我們的目標(biāo)“降本增效”Docker為長(zhǎng)安帶來(lái)的好處容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan長(zhǎng)安汽車IT的技術(shù)棧持續(xù)集成Jenkins開(kāi)發(fā)支持瀏覽器技術(shù)

jQuery,Bootstrap動(dòng)態(tài)請(qǐng)求(HAProxy)緩存RedisMySQL/MongoDBGlusterFS/HDFS消息ActiveMQ/RabbitMQ前端展示層負(fù)載均衡/Webserver業(yè)務(wù)邏輯層靜態(tài)資源(Varnish)Web頁(yè)面交互服務(wù)層RESTapiDubboxapiSpring體系MyBatis數(shù)據(jù)訪問(wèn)Spark實(shí)時(shí)計(jì)算Shiro安全CXFSolr/ElasticSearch圖表Flot，jPlot，echarts服務(wù)層存儲(chǔ)層分布式Dubbox/Zookeeper前后技術(shù)框架互聯(lián)網(wǎng)中間件數(shù)據(jù)庫(kù)系統(tǒng)監(jiān)控Zabbix日志收集分析ELK運(yùn)維支持集群管理自動(dòng)化部署配置管理CMDB源碼審查SonarQube單元測(cè)試Junit/JMock容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan長(zhǎng)安汽車IT的技術(shù)棧適合長(zhǎng)安IT的實(shí)際情況集群規(guī)模，人員儲(chǔ)備，實(shí)施難度，推廣難度服務(wù)編排必須解決精確時(shí)序依賴問(wèn)題必須部署在自建機(jī)房?jī)?nèi)(私有云)對(duì)遺留系統(tǒng)改造程度小(成本與推廣)某些項(xiàng)目需要能靈活配置容器的IP允許固定容器IP(可手工指定并重啟/故障遷移時(shí)不變)要支持VMWare遷移過(guò)程足夠“柔性”(網(wǎng)絡(luò)，存儲(chǔ)等基礎(chǔ)設(shè)施)長(zhǎng)安搭建Docker容器平臺(tái)的需求與限制容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan演變的三個(gè)階段引入引入，評(píng)估，小范圍使用探索探尋整合解決方案，如K8s，Mesos初步平臺(tái)化希云cSphere中小等規(guī)模集群實(shí)踐容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChanganDocker組網(wǎng)采用host/bond方式

需要在每個(gè)OS上精確分配映射端口避免沖突Compos服務(wù)編排depends_on只判斷依賴的容器是否已經(jīng)運(yùn)行，無(wú)法解決精確時(shí)序依賴問(wèn)題

將集群部署方案拆分成多個(gè)子方案進(jìn)行部署，半自動(dòng)化最初的實(shí)踐方式容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan集群部署/管理編寫部署/運(yùn)行腳本curl|sh#腳本中可包含composewgetshstartXXXXX.sh#腳本中自行判斷是否為restart容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan最初的實(shí)踐方式編制Docker容器合理編寫dockerfile，盡量壓縮image大小減少節(jié)點(diǎn)的pull時(shí)間Immutableimage，將“變量”盡量從image中移除容器啟動(dòng)時(shí)從分布式配置中心獲取對(duì)應(yīng)環(huán)境的配置文件容器啟動(dòng)成功后自動(dòng)注冊(cè)服務(wù)容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan最初的實(shí)踐方式簡(jiǎn)單，但人工參與太多演變的三個(gè)階段引入引入，評(píng)估，小范圍使用探索探尋整合解決方案，如K8s，Mesos初步平臺(tái)化希云cSphere中小等規(guī)模集群實(shí)踐容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan已有的應(yīng)用需要做大量的改造才能在上面運(yùn)行部署、配置難度高，對(duì)人員技能要求太高圖形化界面不夠完善，主要得依賴命令行工具管理不兼容Docker命令行，需要學(xué)習(xí)全新的命令試用Kubernets時(shí)遇到的困難容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan網(wǎng)絡(luò)只支持Host/Nat網(wǎng)絡(luò)

IP-per-task不能使用于Docker不支持應(yīng)用的升級(jí)回滾在Marathon中，應(yīng)用只支持伸縮，重啟，暫停。對(duì)于應(yīng)用的整體升級(jí)，回滾，需要再做很多額外的工作部署、配置難度高試用Mesos/Marathon時(shí)遇到的困難容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan合適的，才是最好的自由度復(fù)雜度自動(dòng)化容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan演變的三個(gè)階段引入引入，評(píng)估，小范圍使用探索探尋整合解決方案，如K8s，Mesos初步平臺(tái)化希云cSphere中小等規(guī)模集群實(shí)踐容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan圖形化界面完善度高靈活的服務(wù)編排IP-Stick，采用內(nèi)網(wǎng)IP集成度高，可維護(hù)性好希云cShpere容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChanganDocker組網(wǎng)容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan規(guī)劃集群所能使用的IP地址范圍（例如100個(gè)）編排了mysql、redis、mq、zookeeper等中間件集群通過(guò)內(nèi)部域名訪問(wèn)編排了HAProxy負(fù)載均衡集群并固定IP方便設(shè)置安全策略：防火墻，DDOS，WAF等編排了車聯(lián)網(wǎng)業(yè)務(wù)邏輯部分以及管理服務(wù)通過(guò)內(nèi)部域名訪問(wèn)為每個(gè)服務(wù)設(shè)置啟動(dòng)優(yōu)先級(jí)和健康檢查策略實(shí)現(xiàn)了嚴(yán)格的時(shí)序依賴類似linux服務(wù)優(yōu)先級(jí)，數(shù)字越小優(yōu)先級(jí)越高多環(huán)境一鍵部署開(kāi)發(fā)，測(cè)試，預(yù)發(fā)布等環(huán)境生產(chǎn)環(huán)境一鍵升級(jí)保留原有容器IP不變項(xiàng)目編排（以車聯(lián)網(wǎng)為例）容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChanganWebservice層，提供健康檢查URL，并通過(guò)5xx拋出異常服務(wù)層和存儲(chǔ)層，通過(guò)編寫腳本進(jìn)行健康檢查，通過(guò)拋出非0退出碼表示異常。如MySQL主從，Redis集群等，通過(guò)獲取服務(wù)相關(guān)的stats信息進(jìn)行判斷。一旦異常，可通過(guò)重啟或者重新創(chuàng)建嘗試恢復(fù)故障摘除：容器節(jié)點(diǎn)故障后，會(huì)在名字服務(wù)中主動(dòng)摘除，直到恢復(fù)健康，這樣保證了對(duì)外提供服務(wù)的質(zhì)量故障恢復(fù)：重新創(chuàng)建但保留之前所有參數(shù)以及業(yè)務(wù)IP故障處理容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan配置集中化、版本化管理通過(guò)版本，實(shí)現(xiàn)快速配置回滾配置文件修改后批量下發(fā)并立即生效如調(diào)整haproxy或業(yè)務(wù)的timeout時(shí)長(zhǎng)等集群內(nèi)部各個(gè)服務(wù)關(guān)系的配置redis+sentinel配置，zookeeper配置配置管理與分發(fā)容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan規(guī)劃每個(gè)主機(jī)上有規(guī)劃一個(gè)日志目錄，通過(guò)volume映射dockerrun–v/logs/{{.Container.Name}}:/app/logs每個(gè)主機(jī)上部署一個(gè)日志收集的容器dockerrun–v/logs:/logs:ro…定時(shí)遍歷/logs下有哪些新加入的容器，并自動(dòng)收集實(shí)現(xiàn)ELK也都通過(guò)容器來(lái)運(yùn)行，并通過(guò)配置模版關(guān)聯(lián)好通過(guò)RR

+label調(diào)度，使每個(gè)OS都部署一個(gè)loastash-agent”ELK日志中心化管理容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan調(diào)度策略支持cpu、mem、RR、random、label日志agent通過(guò)RoundRobin調(diào)度業(yè)務(wù)層通過(guò)cpu利用率緩存服務(wù)通過(guò)內(nèi)存利用率調(diào)度存儲(chǔ)層軟件使用label+手工的方式調(diào)度負(fù)載均衡通過(guò)label+手工的方式調(diào)度調(diào)度策略容器化技術(shù)在長(zhǎng)安汽車中的實(shí)踐ThepracticeofcontainerTechnologyinChangan第一步，容器化自建系統(tǒng)自行編寫Dockerfile乙方系統(tǒng)可通過(guò)bulidpack第二步，配置