基于容器+虛機(jī)的下一代PaaS云基礎(chǔ)架構(gòu)

1、基于容器+虛機(jī)的下一代PaaS云基礎(chǔ)架構(gòu)Docker + VM + Devops目錄1趨勢(shì)和概念2企業(yè)PaaS 1.0解決方案3企業(yè)PaaS平臺(tái)解決方案4PaaS平臺(tái)特性和業(yè)務(wù)價(jià)值數(shù)字化趨勢(shì)下面臨的新問(wèn)題和新需求系統(tǒng)開(kāi)發(fā)迭代速度快大量移動(dòng)APP，wechat，web多平臺(tái)的開(kāi)發(fā)需求灰度發(fā)布需求/系統(tǒng)升級(jí)頻繁，版本迭代快業(yè)務(wù)模式變化導(dǎo)致的彈性伸縮需求應(yīng)用系統(tǒng)底層無(wú)關(guān)性(私有云，公有云無(wú)關(guān))實(shí)現(xiàn)應(yīng)用的CI/CD數(shù)字化業(yè)務(wù)需求日新月異大量數(shù)字化系統(tǒng)快速產(chǎn)生各部門(mén)獨(dú)立建設(shè)系統(tǒng)- 標(biāo)準(zhǔn)不一，數(shù)據(jù)分散，功能重復(fù)供應(yīng)商多，各自為政- 接口不一，協(xié)調(diào)困難上線周期長(zhǎng)，擴(kuò)容困難- 運(yùn)維人員多；預(yù)估容量大，浪費(fèi)資源

2、盡可能理解業(yè)務(wù)需求設(shè)計(jì)彈性基礎(chǔ)架構(gòu)實(shí)現(xiàn)基礎(chǔ)架構(gòu)解耦 - 在線升級(jí)，彈性擴(kuò)容提供數(shù)據(jù)服務(wù)（DAAS）實(shí)現(xiàn)應(yīng)用程序分離部署(應(yīng)用與配置分離，應(yīng)用與服務(wù)分離)實(shí)現(xiàn)基礎(chǔ)架構(gòu)維護(hù)自動(dòng)化CI/CD上業(yè)務(wù)開(kāi)發(fā)Infra傳統(tǒng)應(yīng)用和數(shù)字化應(yīng)用的需求不同導(dǎo)致技術(shù)要求的變化需求是持續(xù)發(fā)展的是一個(gè)產(chǎn)品，持續(xù)發(fā)展用戶訪問(wèn)量難以預(yù)測(cè)，而且一般是持續(xù)增長(zhǎng)用戶訪問(wèn)的并發(fā)量是萬(wàn)級(jí)、十萬(wàn)、百萬(wàn)在線業(yè)務(wù)，業(yè)務(wù)不能停頓，互聯(lián)網(wǎng)應(yīng)用24小時(shí)服務(wù)，任何時(shí)候中斷服務(wù)都是事故。傳統(tǒng)應(yīng)用特征數(shù)字化應(yīng)用特征需求比較固定是個(gè)項(xiàng)目，完成以后就是運(yùn)維用戶訪問(wèn)量可以預(yù)測(cè)，較為固定用戶訪問(wèn)的并發(fā)量在百級(jí)、千級(jí)非在線業(yè)務(wù)，允許一定時(shí)間的業(yè)務(wù)停頓(比如夜間停

3、機(jī))，包括系統(tǒng)維護(hù)等，敏捷業(yè)務(wù)，敏捷開(kāi)發(fā)持續(xù)集成應(yīng)用平臺(tái)的彈性支持海量并發(fā)業(yè)務(wù)不停頓，灰度發(fā)布，發(fā)布回滾，系統(tǒng)在線升級(jí)。數(shù)字化應(yīng)用技術(shù)要求數(shù)字化應(yīng)用架構(gòu)云原生應(yīng)用開(kāi)發(fā)框架下一代云基礎(chǔ)架構(gòu)平臺(tái)VSPaaS可以解決數(shù)字化應(yīng)用的技術(shù)挑戰(zhàn)幫助企業(yè)運(yùn)用數(shù)字化作為核心手段達(dá)成業(yè)務(wù)變革Help Enterprise Use Digital As The Core To Transform Traditional ITStorageServersNetworkingO/SMiddlewareVirtualizationDataApplicationsRuntimeYou ManageO/S PaaSStora

4、geServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYou Manage由平臺(tái)管理業(yè)務(wù)敏捷性和節(jié)省成本O/S IaaSStorageServersNetworkingMiddlewareVirtualizationDataApplicationsRuntimeYou Manage由平臺(tái)管理5IaaS: 硬件的自動(dòng)化管理，人與機(jī)器的解耦合 獲得效率/提高資源利用率PaaS: 應(yīng)用的自動(dòng)化管理，應(yīng)用與OS的解耦合獲得彈性/簡(jiǎn)化運(yùn)維系統(tǒng)安裝和應(yīng)用部署PaaS云計(jì)算的業(yè)務(wù)價(jià)值分析目前的IT模式勞動(dòng)力成本 (運(yùn)維)硬件成本新

5、的應(yīng)用開(kāi)發(fā)軟件成本電力成本Current IT Spend100%勞動(dòng)力成本 (降低xx%)硬件成本 (降低xx%)新的開(kāi)發(fā)基于虛機(jī)的部署軟件成本(降低xx%)電力成本(降低xx%)基于IaaS的云計(jì)算勞動(dòng)力成本 (降低xx%)硬件成本 (降低xx%)新的開(kāi)發(fā)自動(dòng)化部署軟件成本(降低xx%)電力成本(降低xx%)提升業(yè)務(wù)能力降低每年的運(yùn)作成本到基于PaaS的云計(jì)算PaaS的業(yè)務(wù)價(jià)值在IaaS基礎(chǔ)上共享虛機(jī)計(jì)算資源，進(jìn)一步挖掘IaaS虛機(jī)的計(jì)算能力，再一步提高硬件資源利用率，從而降低硬件成本。在IaaS基礎(chǔ)上直接提供應(yīng)用運(yùn)行平臺(tái)，降低應(yīng)用平臺(tái)的運(yùn)維需求，系統(tǒng)自動(dòng)化的打補(bǔ)丁、應(yīng)用升級(jí)等，降低運(yùn)維的

6、勞動(dòng)力成本。在IaaS基礎(chǔ)上動(dòng)態(tài)的精確計(jì)算業(yè)務(wù)資源，在業(yè)務(wù)空閑時(shí)自動(dòng)釋放并回收平臺(tái)資源以及與之相關(guān)的硬件資源，降低電力成本。通過(guò)PaaS自動(dòng)化的供應(yīng)系統(tǒng)平臺(tái)和應(yīng)用平臺(tái)，對(duì)業(yè)務(wù)應(yīng)用自動(dòng)化的部署，降低應(yīng)用系統(tǒng)上線的部署工作量，加快業(yè)務(wù)上線時(shí)間。談PaaS前需要搞清楚的概念開(kāi)發(fā)與Infra（運(yùn)維）的劃分應(yīng)用與數(shù)據(jù)的區(qū)分應(yīng)用與資源的區(qū)分應(yīng)用與服務(wù)的區(qū)分項(xiàng)目與產(chǎn)品的區(qū)別傳統(tǒng)架構(gòu)PaaS架構(gòu)產(chǎn)品(數(shù)字化應(yīng)用)和項(xiàng)目(傳統(tǒng)應(yīng)用)的區(qū)別產(chǎn)品不是項(xiàng)目傳統(tǒng)應(yīng)用的開(kāi)發(fā)模式：提供一些被認(rèn)為是完整的軟件。一旦開(kāi)發(fā)完成，軟件將移交給維護(hù)部門(mén)，然后，開(kāi)發(fā)組就可以解散掉了?；ヂ?lián)網(wǎng)應(yīng)用(微服務(wù))認(rèn)為認(rèn)為開(kāi)發(fā)組應(yīng)該負(fù)責(zé)產(chǎn)品的整個(gè)

7、生命周期。一個(gè)常見(jiàn)的證明是：Amazon的“你編譯，你運(yùn)維（you build, you run it）”的理念，它要求開(kāi)發(fā)團(tuán)隊(duì)對(duì)軟件產(chǎn)品的整個(gè)生命周期負(fù)責(zé)。這要求開(kāi)發(fā)者每天都關(guān)注軟件產(chǎn)品的運(yùn)行情況，并與用戶聯(lián)系的更緊密，同時(shí)承擔(dān)一些售后支持。成熟的產(chǎn)品會(huì)與業(yè)務(wù)功能進(jìn)行綁定。除了把軟件看成既定功能的集合外，會(huì)進(jìn)一步關(guān)心“軟件如何幫助用戶實(shí)現(xiàn)業(yè)務(wù)功能”這樣的問(wèn)題。采用整體型的架構(gòu)也有其應(yīng)用場(chǎng)景，但是越小的服務(wù)粒度越容易促進(jìn)用戶與服務(wù)運(yùn)營(yíng)商之前的關(guān)系。應(yīng)用，服務(wù)，資源，數(shù)據(jù)的概念和區(qū)分應(yīng)用：開(kāi)發(fā)人員編寫(xiě)的具有執(zhí)行業(yè)務(wù)邏輯功能的代碼服務(wù)：自建或第三方的提供的不具有執(zhí)行業(yè)務(wù)邏輯功能的組件，比如：關(guān)系型

8、數(shù)據(jù)庫(kù)（MySQL，MSSQL等），varnish, redis，Rabbit MQ，也指操作系統(tǒng)提供的服務(wù)如NFS, Sendmail等資源：從籠統(tǒng)的概念講，虛擬機(jī)，docker，網(wǎng)絡(luò)帶寬這些都是資源數(shù)據(jù)：指關(guān)系型數(shù)據(jù)庫(kù)里面的業(yè)務(wù)數(shù)據(jù)，以及應(yīng)用產(chǎn)生的日志等非結(jié)構(gòu)化數(shù)據(jù)容器技術(shù)不是萬(wàn)能的，PaaS也不僅僅只有DockerDocker作為PaaS技術(shù)體系中的核心技術(shù)，是當(dāng)下云技術(shù)中的“當(dāng)紅炸子雞”，有號(hào)稱Docker取代一切之說(shuō)。但是任何技術(shù)都有其局限性，Docker不是萬(wàn)能的；以下列舉典型的Docker錯(cuò)誤使用方式將Docker作為虛擬機(jī)使用Docker內(nèi)應(yīng)用有狀態(tài)Docker內(nèi)部署服務(wù)共享目

9、錄給DockerDocker之間無(wú)限制進(jìn)行通訊使用Docker進(jìn)行漂移使用單層且大尺寸Docker鏡像Docker內(nèi)存儲(chǔ)數(shù)據(jù)Docker中安裝mysqlDocker中安裝VanishDocker中安裝RedisDocker中跑構(gòu)建腳本Docker中War包一層一層的壓下去每次發(fā)布不進(jìn)行Docker銷毀重建所有應(yīng)用都使用Docker實(shí)現(xiàn)Docker中部署有狀態(tài)應(yīng)用正是由于Docker存在的局限性，下一代的PaaS平臺(tái)將構(gòu)建在容器加虛擬機(jī)的混合架構(gòu)上。PaaS平臺(tái)產(chǎn)品選擇企業(yè)級(jí)PaaS平臺(tái)原生支持Spring Cloud微服務(wù)框架；有大量的企業(yè)案例和售后支持Docker PaaS平臺(tái)原生支持Dub

10、bo/Dubbox微服務(wù)框架.基于開(kāi)源軟件集成和二次開(kāi)發(fā)，具有靈活性和自主知識(shí)產(chǎn)權(quán)，可以提供源代碼開(kāi)源CF平臺(tái)Pivotal Cloud Foundry的社區(qū)開(kāi)源版，同樣原生支持Spring Cloud微服務(wù)框架，具有成本低，實(shí)施快捷的特點(diǎn)。企業(yè)PaaS平臺(tái)Cloud FoundryPivotal Cloud Foundry目錄1趨勢(shì)和概念2企業(yè)PaaS 1.0解決方案3企業(yè)PaaS平臺(tái)解決方案4PaaS平臺(tái)特性和業(yè)務(wù)價(jià)值企業(yè)PaaS 1.0平臺(tái)概述PrivateCloudsPublicClouds基礎(chǔ)資源層虛擬機(jī)容器應(yīng)用1應(yīng)用2應(yīng)用服務(wù)層PaaS服務(wù)層容器容器容器服務(wù)1服務(wù)2基于虛擬機(jī)級(jí)服務(wù)

11、故障轉(zhuǎn)移，集群容器管理平臺(tái)：容器配置管理，容器編排，彈性伸縮健康檢查統(tǒng)一監(jiān)控容器/服務(wù)發(fā)現(xiàn)和配置共享日志管理容器/服務(wù)注冊(cè)PaaS管理層容器/虛機(jī)鏡像庫(kù)可視化展現(xiàn)自動(dòng)化運(yùn)維和管理代碼管理和構(gòu)建發(fā)布管理工具管理門(mén)戶負(fù)載均衡服務(wù)綁定多租戶和計(jì)費(fèi)權(quán)限管理企業(yè)PaaS 1.0平臺(tái)的技術(shù)實(shí)現(xiàn)PrivateCloudsPublicClouds基礎(chǔ)資源層Vmware/KVMDocker應(yīng)用1應(yīng)用2應(yīng)用服務(wù)層PaaS服務(wù)層DockerDockerDocker服務(wù)1服務(wù)2基于虛擬機(jī)級(jí)服務(wù)故障轉(zhuǎn)移，集群容器管理-KubernetesCadvisor Influxdb Grafana HeapsterZabbixC

12、onsul（etcd,zookeeper,doozerd）graylog+ELKRegistratorPaaS管理層Git Lab/VmwareRancher/Fabric8Salt StackGit/Artifact/mavenJenkins管理門(mén)戶-自建HA Proxy服務(wù)綁定-自建多租戶和計(jì)費(fèi)-自建Oauth SSO/LDAP企業(yè)PaaS 1.0平臺(tái)的邏輯視圖PC 瀏覽器訪問(wèn)Ops人員Mobile App訪問(wèn)Dev人員動(dòng)態(tài)路由器 (nginx)NATS 消息總線服務(wù)RabbitMQuaa - AuthNVM虛機(jī)/CellDocker應(yīng)用Docker鏡像包WardencontainerDo

13、cker應(yīng)用PaaS 服務(wù)安裝、在線升級(jí)Dev團(tuán)隊(duì)使用組件cadvisor influxdb grafana heapsterPaaS平臺(tái)PaaS運(yùn)行環(huán)境RegistratorWeb瀏覽器Docker應(yīng)用VM虛機(jī)CellGraylog/ELKHA ProxyHA ProxyRedisSession共享GitLabSpringXDmySQLHadoopSSHFSzabbixRedisELK日志JenkinsAPI Gateway動(dòng)態(tài)路由器 (nginx)動(dòng)態(tài)路由器 (nginx)Rancher/shipyardKubernetesRedis推送通知kafkaLDAP集成IaaS/vSphereO

14、auth SSOLDAP服務(wù)器授權(quán)服務(wù)器服務(wù)發(fā)現(xiàn)和配置共享資源調(diào)度consul(etcd,zookeeper,doozerd)監(jiān)控代理監(jiān)控代理Ceph存儲(chǔ)服務(wù)GitArtifactoryIaaS/OpenStackIaaS/AWSVM虛機(jī)/Cell自動(dòng)彈性伸縮提醒服務(wù)Web界面dubbo微服務(wù)zabbixSaltStackservice Broker應(yīng)用監(jiān)控Graylog/ELKOauthSSO服務(wù)應(yīng)用分發(fā)數(shù)據(jù)同步MongoDBdubbo微服務(wù)應(yīng)用監(jiān)控mySQLmaven企業(yè)PaaS 1.0平臺(tái)的典型部署視圖AWSS3負(fù)載均衡服務(wù)00VPCS3S3S3負(fù)載均衡服務(wù)82動(dòng)態(tài)路由器95動(dòng)態(tài)路由器9

15、6NATS83etcd85HM86云控制器90UAA98登錄02日志采集14CC Work93NATS84HM87云控制器91UAA99登錄03日志采集15CC Work94Console DB04UAA DB97NFS88CC DB89PaaS組件池Docker 151Docker 207Docker 308Docker 452Docker 553Docker 654Docker 1009Docker 1110Docker 1211Docker 1355Docker 1456Docker 1506應(yīng)用池服務(wù)池MySQL 17MySQL 29應(yīng)用監(jiān)控185應(yīng)用監(jiān)控285自動(dòng)彈性伸縮185自動(dòng)彈

16、性伸縮285系統(tǒng)監(jiān)控采集36系統(tǒng)監(jiān)控185系統(tǒng)監(jiān)控285Redis1RabbitMQ5RabbitMQ6OPSMySQL 38Docker 757Docker 858Docker 959Docker 660Docker 1761Docker 1862EC2EC2企業(yè)PaaS 1.0平臺(tái)的典型部署視圖私有環(huán)境物理存儲(chǔ)DS1物理服務(wù)器160核1.7T內(nèi)存負(fù)載均衡A00物理服務(wù)器160核1.7T內(nèi)存物理服務(wù)器160核1.7T內(nèi)存物理服務(wù)器160核1.7T內(nèi)存vSwitch0DS2DS3DS4負(fù)載均衡B82動(dòng)態(tài)路由器95動(dòng)態(tài)路由器96NATS83etcd85HM86云控制器90UAA98登錄02日志采

17、集14CC Work93NATS84HM87云控制器91UAA99登錄03日志采集15CC Work94Console DB04UAA DB97NFS88CC DB89PaaS組件池Docker 151Docker 207Docker 308Docker 452Docker 553Docker 654Docker 1009Docker 1110Docker 1211Docker 1355Docker 1456Docker 1506應(yīng)用池服務(wù)池MySQL 17MySQL 29應(yīng)用監(jiān)控185應(yīng)用監(jiān)控285自動(dòng)彈性伸縮185自動(dòng)彈性伸縮285系統(tǒng)監(jiān)控采集36系統(tǒng)監(jiān)控185系統(tǒng)監(jiān)控285Redis1R

18、abbitMQ5RabbitMQ6OPSMySQL 38Docker 757Docker 858Docker 959Docker 660Docker 1761Docker 1862vSphere集群2vSphere集群1PaaS核心技術(shù)Docker使用方法論前面提及由于“泛Docker主義”的泛濫，Docker目前在使用過(guò)程中存在種種問(wèn)題，所以為了更好使用PaaS平臺(tái)，必須從規(guī)范Docker使用做起。Docker發(fā)現(xiàn)不要依賴 IP 地址，而應(yīng)依賴服務(wù)注冊(cè)和域名，避免影響靈活擴(kuò)展應(yīng)使用容器監(jiān)控自動(dòng)發(fā)現(xiàn)機(jī)制，無(wú)自動(dòng)發(fā)現(xiàn)的監(jiān)控配置不利于維護(hù)應(yīng)用與服務(wù)分開(kāi)(內(nèi)置服務(wù)or第三方外置服務(wù))，應(yīng)用應(yīng)部署在d

19、ocker，服務(wù)應(yīng)部署在VM :盡可能小影響原有格局，推動(dòng)部署不要在單個(gè)容器中運(yùn)行一個(gè)以上進(jìn)程 ，方便問(wèn)題定位不要以 root 權(quán)限運(yùn)行Docker內(nèi)進(jìn)程 ，避免安全風(fēng)險(xiǎn)Docker使用方法論 別當(dāng)Docker是虛擬機(jī) Docker構(gòu)建和發(fā)布規(guī)則 鏡像管理規(guī)范 Docker平臺(tái)規(guī)劃Docker內(nèi)禁止存放數(shù)據(jù) :會(huì)導(dǎo)致鏡像越來(lái)越大，aufs的層越積越厚Docker之間禁止相互直接通訊 :多部門(mén)應(yīng)用避免使用同一組Docker禁止在Docker中安裝數(shù)據(jù)庫(kù)Docker中不應(yīng)跑構(gòu)建腳本，避免構(gòu)建結(jié)果的不一致性應(yīng)用的基礎(chǔ)運(yùn)行環(huán)境和war包需分開(kāi)維護(hù) :方便執(zhí)行devops,把運(yùn)行環(huán)境對(duì)發(fā)布結(jié)果的影響降到

20、最低應(yīng)用的程序包和配置文件分開(kāi) :通過(guò)配置文件的更換管理不同環(huán)境的發(fā)布不要分兩部分傳送應(yīng)用程序(構(gòu)建，發(fā)布，運(yùn)行要分清) :避免Docker容量變大，造成問(wèn)題不斷疊加不要使用單層鏡像 :不利于鏡像的分層管理不要從正在運(yùn)行的容器中創(chuàng)建鏡像 :防止攜帶運(yùn)行信息，影響后續(xù)使用不要在鏡像中存儲(chǔ)證書(shū)及使用環(huán)境變量 :鏡像不應(yīng)限定特定環(huán)境不要?jiǎng)?chuàng)建大尺寸鏡像，大鏡像發(fā)布/彈性擴(kuò)展占用帶寬資源多基于PaaS的開(kāi)發(fā)模式AlwaysProductionReadyPaaS平臺(tái)服務(wù)商服務(wù)范圍和職責(zé)PaaS平臺(tái)的搭建Devops發(fā)布Ops應(yīng)用的持續(xù)運(yùn)維PaaS平臺(tái)的功能更新和持續(xù)運(yùn)維在激進(jìn)的想法中，認(rèn)為采用了PaaS平

21、臺(tái)和Devops開(kāi)發(fā)模式后，將不再需要傳統(tǒng)運(yùn)維和Infra運(yùn)維；事實(shí)上只是發(fā)生了轉(zhuǎn)化，大量傳統(tǒng)運(yùn)維和Infra運(yùn)維都將轉(zhuǎn)換為PaaS平臺(tái)服務(wù)商的工作AlwaysProductionReadyPaaS平臺(tái)服務(wù)商服務(wù)范圍和職責(zé)PaaS平臺(tái)搭建 PaaS平臺(tái)運(yùn)維 應(yīng)用實(shí)施發(fā)布應(yīng)用運(yùn)維產(chǎn)品需求調(diào)研產(chǎn)品功能選型產(chǎn)品方案設(shè)計(jì)硬件選型/采購(gòu)IDC建設(shè)服務(wù)器/存儲(chǔ)/網(wǎng)絡(luò)設(shè)備上架子網(wǎng)規(guī)劃Vsphere/OpenStack安裝配置網(wǎng)絡(luò)設(shè)備配置存儲(chǔ)平臺(tái)配置虛擬化平臺(tái)子網(wǎng)規(guī)劃故障轉(zhuǎn)移集群配置K8S/MESOS/Swarm安裝Docker節(jié)點(diǎn)安裝Docker存儲(chǔ)配置Docker集群配置集群網(wǎng)絡(luò)配置可視化容器管理平臺(tái)構(gòu)建

22、容器編排引擎安裝配置權(quán)限管理平臺(tái)安裝配置負(fù)載均衡功能模塊配置服務(wù)發(fā)現(xiàn)及注冊(cè)功能模塊配置監(jiān)控平臺(tái)搭建(自動(dòng)發(fā)現(xiàn)并配置)日志平臺(tái)搭建(自動(dòng)發(fā)現(xiàn)并配置)鏡像/代碼統(tǒng)一管理平臺(tái)搭建功能測(cè)試多租戶/計(jì)費(fèi)功能模塊搭建及配置統(tǒng)一管理平臺(tái)構(gòu)建日常日志分析監(jiān)控分析硬件故障巡查及處理硬件資源擴(kuò)容網(wǎng)絡(luò)資源擴(kuò)容網(wǎng)絡(luò)平臺(tái)級(jí)故障處理/配置/調(diào)優(yōu)存儲(chǔ)平臺(tái)級(jí)故障處理/配置/調(diào)優(yōu)容器平臺(tái)級(jí)故障處理/配置/調(diào)優(yōu)虛擬機(jī)平臺(tái)級(jí)故障處理/配置/調(diào)優(yōu)服務(wù)連接器維護(hù)安全管理服務(wù)發(fā)現(xiàn)平臺(tái)維護(hù)日志和監(jiān)控平臺(tái)管理業(yè)務(wù)環(huán)境編排腳本編寫(xiě)新服務(wù)上線新功能模塊配置各類運(yùn)維報(bào)表生成現(xiàn)有功能使用情況匯總結(jié)合業(yè)務(wù)及監(jiān)控信息進(jìn)行系統(tǒng)性能調(diào)優(yōu)平臺(tái)級(jí)備份參與業(yè)務(wù)系

23、統(tǒng)調(diào)研參與業(yè)務(wù)系統(tǒng)設(shè)計(jì)對(duì)業(yè)務(wù)系統(tǒng)設(shè)計(jì)按平臺(tái)要求提出建議資源（容器和服務(wù)）Sizing網(wǎng)絡(luò)規(guī)劃和實(shí)施容器彈性上限規(guī)劃容器和服務(wù)之間連接設(shè)計(jì)相關(guān)服務(wù)（數(shù)據(jù)庫(kù)）資源管理數(shù)據(jù)庫(kù)Sizing數(shù)據(jù)庫(kù)實(shí)施開(kāi)發(fā)測(cè)試環(huán)境準(zhǔn)備(自動(dòng)編排)基礎(chǔ)鏡像生成(自動(dòng)編排)軟件依賴源搭建生產(chǎn)環(huán)境準(zhǔn)備并確保與開(kāi)發(fā)測(cè)試環(huán)境一致(自動(dòng)編排)生產(chǎn)環(huán)境鏡像生成(自動(dòng)編排)生產(chǎn)環(huán)環(huán)境部署(自動(dòng)編排)UAT支持日常日志分析監(jiān)控分析依業(yè)務(wù)需求進(jìn)行平臺(tái)級(jí)性能調(diào)優(yōu)根據(jù)業(yè)務(wù)需要按規(guī)則對(duì)環(huán)境進(jìn)行自動(dòng)伸縮(自動(dòng)編排)參與業(yè)務(wù)故障排除業(yè)務(wù)系統(tǒng)運(yùn)維報(bào)表生成業(yè)務(wù)系統(tǒng)調(diào)優(yōu)建議生產(chǎn)環(huán)境發(fā)布,故障處理，銷毀，重建Docker應(yīng)用所使用的服務(wù)管理，尤其是數(shù)據(jù)庫(kù)數(shù)據(jù)

24、備份服務(wù)使用PaaS平臺(tái)組件進(jìn)行Devops發(fā)布Dev執(zhí)行版本控制服務(wù)CI Server（Maven）Salt stack集成測(cè)試環(huán)境SIT測(cè)試環(huán)境UAT生產(chǎn)環(huán)境Productionops執(zhí)行Artifact倉(cāng)庫(kù)開(kāi)發(fā)Dev DesktopJenkinsDEVOps使用PaaS平臺(tái)組件進(jìn)行Devops發(fā)布開(kāi)發(fā)測(cè)試(集群A)dockerPaaS service平臺(tái)定時(shí)伸縮應(yīng)用彈性伸縮提醒服務(wù)服務(wù)監(jiān)管控制臺(tái)集中日志管理平臺(tái)監(jiān)管代碼管理GitMySQL數(shù)據(jù)庫(kù)MySQL數(shù)據(jù)庫(kù)MySQL數(shù)據(jù)庫(kù)HAHAdockerdockerdockerdockerdockerdockermySQLServiceBroke

25、rRedisRabbitMQ生產(chǎn)環(huán)境(集群B)應(yīng)用運(yùn)行時(shí)持續(xù)集成Jenkins庫(kù)管理ArtifactorydevPaaS service平臺(tái)定時(shí)伸縮應(yīng)用彈性伸縮提醒服務(wù)服務(wù)監(jiān)管集中日志管理平臺(tái)監(jiān)管MySQL數(shù)據(jù)庫(kù)MySQL數(shù)據(jù)庫(kù)MySQL數(shù)據(jù)庫(kù)HAHAmySQLServiceBrokerRedisRabbitMQ應(yīng)用運(yùn)行時(shí)opsdockerdockerdockerdockerdockerdockerdocker運(yùn)維門(mén)戶2、根據(jù)標(biāo)簽獲取部署應(yīng)用包1、應(yīng)用部署流程3、自動(dòng)部署應(yīng)用、灰度發(fā)布PaaS平臺(tái)核心組件-KubernetesKubernetes是Google開(kāi)源的容器集群管理系統(tǒng)，其提供應(yīng)用

26、部署、維護(hù)、 擴(kuò)展機(jī)制等功能，利用Kubernetes能方便地管理跨機(jī)器運(yùn)行容器化的應(yīng)用，其主要功能如下：使用Docker對(duì)應(yīng)用程序包裝(package)、實(shí)例化(instantiate)、運(yùn)行(run)。以集群的方式運(yùn)行、管理跨機(jī)器的容器。解決Docker跨機(jī)器容器之間的通訊問(wèn)題。Kubernetes的自我修復(fù)機(jī)制使得容器集群總是運(yùn)行在用戶期望的狀態(tài)Kubernetes由Master和Kubelet兩部分組件構(gòu)成，其中Master由API Server、Scheduler以及Registry等組成。Master定義了Kubernetes 集群Master/API Server的主要聲明，包括

27、Pod Registry、Controller Registry、Service Registry、Endpoint Registry、Minion Registry、Binding Registry、RESTStorage以及Client, 是client(Kubecfg)調(diào)用Kubernetes API，管理Kubernetes主要構(gòu)件Pods、Services、Minions、容器的入口。Kubelet是Kubernetes集群中每個(gè)Minion和Master API Server的連接點(diǎn)，Kubelet運(yùn)行在每個(gè)Minion上，是Master API Server和Minion之間的橋

28、梁，接收Master API Server分配給它的commands和work，與持久性鍵值存儲(chǔ)etcd、file、server和http進(jìn)行交互，讀取配置信息。Kubelet的主要工作是管理Pod和容器的生命周期，其包括Docker Client、Root Directory、Pod Workers、Etcd Client、Cadvisor Client以及Health Checker組件，具體工作如下：PaaS平臺(tái)核心組件-RancherRancher是Docker平臺(tái)管理的可視化組件；通過(guò)Rancher和Kubernetes的結(jié)合使用可以實(shí)現(xiàn)對(duì)容器的全面管理使用Rancher來(lái)運(yùn)行Kub

29、ernetes有很多優(yōu)勢(shì)。大多數(shù)情況下能使用戶和IT團(tuán)隊(duì)部署和管理工作更加方便。Rancher自動(dòng)在Kubernetes后端實(shí)現(xiàn)etcd 的HA，并且將所需要的服務(wù)部署到此環(huán)境下的任何主機(jī)中。Rancher在設(shè)置訪問(wèn)控制，可以輕易連接到現(xiàn)有的LDAP和AD基礎(chǔ)構(gòu)架。Rancher還可以自動(dòng)實(shí)現(xiàn)容器聯(lián)網(wǎng)以及為Kubernetes提供負(fù)載均衡服務(wù)。Rancher集成了日志展現(xiàn)和Shell訪問(wèn)，使得Docker管理更人性化PaaS平臺(tái)核心組件Fabric8Fabric8是一個(gè)集成開(kāi)發(fā)平臺(tái)，為基于Kubernetes和Jenkins的微服務(wù)提供持續(xù)發(fā)布。使用Fabric8可以方便實(shí)現(xiàn)對(duì)微服務(wù)的創(chuàng)建和管

30、理工作，提供的服務(wù)有：開(kāi)發(fā)者控制臺(tái)，它提供了一個(gè)單一的頁(yè)面來(lái)創(chuàng)建、編輯、編譯、部署和測(cè)試微服務(wù)。持續(xù)集成和持續(xù)交付，幫助團(tuán)隊(duì)以更快更可靠的方式交付軟件，可以使用以下開(kāi)源軟件： Jenkins ：CICD pipeline Nexus ： 組件庫(kù) Gogs ：git代碼庫(kù) SonarQube ：代碼質(zhì)量維護(hù)平臺(tái) Jenkins Workflow Library ：在不同的項(xiàng)目中復(fù)用 Jenkins Workflow scripts Fabric8.yml ：為每個(gè)項(xiàng)目、存儲(chǔ)庫(kù)、聊天室、工作流腳本和問(wèn)題跟蹤器提供一個(gè)配置文件 ChatOps ：通過(guò)使用 hubot 來(lái)開(kāi)發(fā)和管理，能夠讓你的團(tuán)隊(duì)擁抱

31、DevOps，通過(guò)聊天和系統(tǒng)通知的方式來(lái) approval of release promotion Chaos Monkey ：通過(guò)干掉 pods 來(lái)測(cè)試系統(tǒng)健壯性和可靠性 管理日志 統(tǒng)一集群日志和可視化查看狀態(tài) metris 可查看歷史metrics和可視化 PaaS平臺(tái)核心組件etcd & Registratoretcd是一個(gè)采用HTTP協(xié)議的健/值對(duì)存儲(chǔ)系統(tǒng)，它是一個(gè)分布式和功能層次配置系統(tǒng)，可用于構(gòu)建服務(wù)發(fā)現(xiàn)系統(tǒng)。其很容易部署、安裝和使用，提供了可靠的數(shù)據(jù)持久化特性。Registrator通過(guò)檢查容器在線或者停止運(yùn)行狀態(tài)自動(dòng)注冊(cè)和去注冊(cè)服務(wù)，它目前支持etcd。PaaS平臺(tái)核心組件

32、cAdvisor&InfluxDB&Grafana Google的cAdvisor（Container Advisor）“為容器用戶提供了了解運(yùn)行時(shí)容器資源使用和性能特征的方法”。cAdvisor的容器抽象基于Google的lmctfy容器棧，因此原生支持Docker容器并能夠“開(kāi)箱即用”地支持其他的容器類型。cAdvisor部署為一個(gè)運(yùn)行中的daemon，它會(huì)收集、聚集、處理并導(dǎo)出運(yùn)行中容器的信息。這些信息能夠包含容器級(jí)別的資源隔離參數(shù)、資源的歷史使用狀況、反映資源使用和網(wǎng)絡(luò)統(tǒng)計(jì)數(shù)據(jù)完整歷史狀況的柱狀圖。cAdvisor能夠與InfluxDB和Grafana聯(lián)合起來(lái)使用，它們分別是時(shí)間序列（

33、time series）的數(shù)據(jù)庫(kù)和指標(biāo)的儀表盤(pán)（metrics dashboard），借助它們來(lái)存儲(chǔ)和展現(xiàn)信息。PaaS平臺(tái)核心組件 ZabbixZabbix是一套開(kāi)源的監(jiān)控系統(tǒng)，通過(guò)它的部署可以在PaaS平臺(tái)中實(shí)現(xiàn)對(duì)容器，虛機(jī)，服務(wù)，資源及應(yīng)用的統(tǒng)一監(jiān)控。并通過(guò)定制組件的配合，實(shí)現(xiàn)容器監(jiān)控的自動(dòng)發(fā)現(xiàn)。經(jīng)過(guò)聯(lián)蔚的研發(fā)，目前可以實(shí)現(xiàn)近300種不同類型監(jiān)控其主要功能如下：容器性能監(jiān)控容器可用性監(jiān)控容器自動(dòng)發(fā)現(xiàn)虛擬機(jī)性能及可用性監(jiān)控網(wǎng)絡(luò)資源性能及可用性監(jiān)控主機(jī)資源性能及可用性監(jiān)控存儲(chǔ)資源性能及可用性監(jiān)控服務(wù)資源性能及可用性監(jiān)控?cái)?shù)據(jù)資源性能及可用性監(jiān)控PaaS平臺(tái)等各組件及服務(wù)狀態(tài)監(jiān)控配合業(yè)務(wù)可以從應(yīng)

34、用角度監(jiān)控資源使用情況及服務(wù)狀態(tài)應(yīng)用業(yè)務(wù)流程監(jiān)控ContainerContainerContainerDocker DaemonZabbix ServerEtcdNetworkOther componentsPaaS平臺(tái)核心組件 Salt StackSalt Stack是PaaS平臺(tái)中運(yùn)維人員的核心工作平臺(tái)，通過(guò)它實(shí)現(xiàn)整個(gè)PaaS平臺(tái)部署，軟件安裝，系統(tǒng)配置，用戶管理和驗(yàn)證，平臺(tái)級(jí)調(diào)優(yōu)和平臺(tái)級(jí)運(yùn)維工作。Salt StackPaaS平臺(tái)搭建和運(yùn)維平臺(tái)級(jí)組件的安裝部署平臺(tái)級(jí)軟件的配置管理網(wǎng)絡(luò)配置調(diào)優(yōu)主機(jī)配置調(diào)優(yōu)存儲(chǔ)配置調(diào)優(yōu)新服務(wù)上線應(yīng)用實(shí)施應(yīng)用運(yùn)維開(kāi)發(fā)，測(cè)試，生產(chǎn)環(huán)境準(zhǔn)備基礎(chǔ)鏡像生產(chǎn)軟件依賴源搭建

35、生產(chǎn)環(huán)境鏡像生成生產(chǎn)環(huán)境部署應(yīng)用運(yùn)維應(yīng)用配置管理生產(chǎn)環(huán)境彈性伸縮管理報(bào)表生成應(yīng)用系統(tǒng)級(jí)調(diào)優(yōu)應(yīng)用關(guān)聯(lián)服務(wù)管理PaaS網(wǎng)絡(luò)方案的選型PaaS網(wǎng)絡(luò)要解決的問(wèn)題：跨主機(jī)通訊跨主機(jī)遷移獨(dú)立業(yè)務(wù)IP能否在公有云部署訪問(wèn)控制和隔離性性能保證和優(yōu)化對(duì)現(xiàn)有物理網(wǎng)絡(luò)改動(dòng)和影響較小使用和調(diào)試都比較方便是否必要使用overlay(VxLAN)隧道方案和路由方案的選擇網(wǎng)絡(luò)是基礎(chǔ)架構(gòu)的核心，網(wǎng)絡(luò)的選型將決定PaaS平臺(tái)的核心性能是否滿足業(yè)務(wù)需求Container Network Interface（CNI）陣營(yíng) Kubernetes Weave Macvlan FlannelDocker Libnetwork Conta

36、iner Network Model（CNM）陣營(yíng) Docker Swarm overlay Macvlan & IP network drivers Calico Contiv（from Cisco） Calico Contiv Mesos CNI類型TCPUDPOverlay 網(wǎng)絡(luò)中的兩個(gè)容器之間 (A)913 Mbits/sec1.05 Mbits/secBridge/NAT 網(wǎng)絡(luò)中的兩個(gè)容器之間 (B)1.73 Gbits/sec主機(jī)間 (C)2.06 Gbits/sec1.05 Mbits/sec主機(jī)到另一個(gè)主機(jī)上的 bridge 網(wǎng)絡(luò)模式的容器 (D)1.88 Gbits/sec主

37、機(jī)到本主機(jī)上的容器 (E)20.5 Gbits/sec主機(jī)到另一個(gè)主機(jī)上的 host 網(wǎng)絡(luò)模式的容器 (F)2.02 Gbits/sec1.05 Mbits/sec容器 Overlay 效率 (A/C)44%100%單個(gè) NAT 效率 (D/C)91%兩個(gè) NAT 效率 (B/C)83%Host 網(wǎng)絡(luò)模式效率 (F/C)98%100%詳實(shí)的測(cè)試最終選型：Calico目錄1趨勢(shì)和概念2企業(yè)PaaS 1.0解決方案3企業(yè)PaaS平臺(tái)解決方案4PaaS平臺(tái)特性和業(yè)務(wù)價(jià)值企業(yè)PaaS 平臺(tái)組件概述Object StorageUser Provided.NETSpring BootNode.jsRuby

38、 on RailsPaaS應(yīng)用運(yùn)行時(shí)和運(yùn)維自動(dòng)化系統(tǒng)在線自升級(jí)IaaS基礎(chǔ)設(shè)施自動(dòng)化(CPI)虛機(jī)故障自動(dòng)恢復(fù)物理機(jī)故障自動(dòng)恢復(fù)高可用性區(qū)網(wǎng)絡(luò)隔離自動(dòng)彈性伸縮應(yīng)用安全組APM 應(yīng)用一鍵部署應(yīng)用計(jì)量服務(wù)計(jì)量系統(tǒng)提醒自動(dòng)容器調(diào)度容器故障自動(dòng)恢復(fù)應(yīng)用故障自動(dòng)恢復(fù)多IaaS混合支持虛機(jī)全生命周期管理應(yīng)用灰度發(fā)布應(yīng)用發(fā)布回滾異地雙活日志自動(dòng)采集聚合PaaS應(yīng)用平臺(tái)JavaTomcatGoPHPRubyNode.JSPython.NetWeblogicWebsphereC/C+JettyPlayResinPaaS應(yīng)用通用功能平臺(tái)化Session共享日志分析APM應(yīng)用和配置解耦服務(wù)自動(dòng)安裝、升級(jí)服務(wù)套餐化平

39、臺(tái)定制租戶管理動(dòng)態(tài)路由SSOLDAP集成Build CIPaaS應(yīng)用服務(wù)Spring微服務(wù)框架遠(yuǎn)程文件共享API管理PaaS CI/CDDevOps服務(wù)Spring Boot服務(wù)注冊(cè)和自動(dòng)發(fā)現(xiàn)集中配置管理短路開(kāi)關(guān)和監(jiān)控?cái)?shù)據(jù)消息服務(wù)mySQLMongoDBCassandraNeo4JRedisKafkaRabbitMQRiakCS流服務(wù)移動(dòng)計(jì)算服務(wù)應(yīng)用分發(fā)API Gateway數(shù)據(jù)同步應(yīng)用分析大數(shù)據(jù)服務(wù)Pivotal HadoopGreenPlum服務(wù)EclipseJava插件微軟Studio插件GitHubJenkinsArtifactory運(yùn)維自動(dòng)化門(mén)戶容器集群管理容器引擎容器注冊(cè)系統(tǒng)安全性

40、系統(tǒng)監(jiān)控OpenStackAmazonVMware企業(yè)PaaS 主要功能在任何IaaS上部署、運(yùn)維、更新和彈性伸縮.and more內(nèi)置的和生態(tài)系統(tǒng)的服務(wù)易于增加和定制自動(dòng)檢測(cè)運(yùn)行框架簡(jiǎn)單的Push即可生成應(yīng)用運(yùn)行環(huán)境應(yīng)用程序包(.WAR)Docker鏡像.NET簡(jiǎn)單的服務(wù)綁定敏捷的微服務(wù)易于定制灰度發(fā)布簡(jiǎn)化應(yīng)用部署即時(shí)的動(dòng)態(tài)路由日志流聚合訪問(wèn)控制和策略內(nèi)置的容器化(集裝箱)APM和運(yùn)維指標(biāo)監(jiān)控4個(gè)級(jí)別的高可用性運(yùn)維自動(dòng)化App-Instance Availability ZoneProcessVirtual Machine應(yīng)用相關(guān)的服務(wù)Rabbit MQMySQL HACassandraEl

41、asticsearchJenkins (CI)MemcachedMongoDBNeo4jRedisRiak CS數(shù)據(jù)分析服務(wù)Elastic Hadoop HAWQGemFire XD移動(dòng)支持服務(wù)Push NotificationData SynchAPI Gateway除了提供PaaS平臺(tái)，還提供大量的商業(yè)化服務(wù)，使得應(yīng)用開(kāi)發(fā)只需專注于業(yè)務(wù)邏輯，實(shí)現(xiàn)即時(shí)開(kāi)發(fā)應(yīng)用相關(guān)的運(yùn)維功能統(tǒng)一交由平臺(tái)實(shí)現(xiàn)，把應(yīng)用和運(yùn)維解耦，由平臺(tái)統(tǒng)一運(yùn)維所有應(yīng)用支持多云的環(huán)境，把應(yīng)用和基礎(chǔ)設(shè)施解耦，實(shí)現(xiàn)實(shí)時(shí)跨云彈性伸縮(無(wú)需修改應(yīng)用和配置)企業(yè)PaaS 主要功能運(yùn)維自動(dòng)化嚴(yán)格區(qū)分PaaS和IaaS運(yùn)維通過(guò)PaaS來(lái)驅(qū)動(dòng)Ia

42、aS的運(yùn)維平臺(tái)在線升級(jí)平臺(tái)在線補(bǔ)丁應(yīng)用服務(wù)器在線升級(jí)4重故障自動(dòng)恢復(fù)自動(dòng)彈性伸縮灰度發(fā)布提供策略接口，運(yùn)維模式自動(dòng)化固化后定制實(shí)現(xiàn)全方位監(jiān)控機(jī)制IaaS平臺(tái)層監(jiān)控PaaS部件業(yè)務(wù)邏輯層監(jiān)控基于平臺(tái)的應(yīng)用無(wú)差別監(jiān)控APM(應(yīng)用性能監(jiān)控)容器的監(jiān)控PaaS微服務(wù)框架通過(guò)應(yīng)用框架結(jié)合PaaS來(lái)實(shí)現(xiàn)新的自動(dòng)化運(yùn)維模式通過(guò)框架實(shí)現(xiàn)彈性伸縮通過(guò)框架實(shí)現(xiàn)對(duì)應(yīng)用的調(diào)用監(jiān)控通過(guò)框架實(shí)現(xiàn)故障截流、探測(cè)后自動(dòng)恢復(fù)經(jīng)過(guò)實(shí)踐檢驗(yàn)的成熟09年開(kāi)始的開(kāi)源項(xiàng)目在互聯(lián)網(wǎng)公司經(jīng)過(guò)錘煉：百度、新浪、京東等在大型企業(yè)級(jí)客戶得到超過(guò)一年的應(yīng)用實(shí)踐：招商銀行、中信證券、永輝超市、南方電力大型企業(yè)的最新選擇：平安客戶、臺(tái)積電、上海超算。企業(yè)PaaS 主要優(yōu)勢(shì)如果一個(gè)應(yīng)用故障，PCF會(huì)在一個(gè)新的容器中重啟應(yīng)用3. Resurrector restarts failed VMs應(yīng)用故障進(jìn)程故障虛機(jī)故障機(jī)器組故障PCFABCB1.2.如果進(jìn)程故障了，PCF會(huì)在新的虛機(jī)從重啟這個(gè)進(jìn)程P