京東Openstack實(shí)戰(zhàn)應(yīng)用(純干貨)何雨

京東Openstack實(shí)戰(zhàn)應(yīng)用京東基礎(chǔ)服務(wù)部總監(jiān)何雨heyu@中國(guó)夢(mèng)，我的夢(mèng)夢(mèng)想開(kāi)始的抉擇安裝&部署集群方案穩(wěn)定性/可靠性易用性性能新功能、新特性中國(guó)夢(mèng)，我的夢(mèng)第3頁(yè)—打造中國(guó)第一電商云夢(mèng)想開(kāi)始的抉擇第4頁(yè)自主研發(fā)OR基于開(kāi)源項(xiàng)目研發(fā)？EucalyptusORCloudStackOROpenstack？CentosORUbuntu？KVM

ORXEN？最終選擇：基于開(kāi)源、Openstack、Centos、KVM安裝&部署第5頁(yè)源碼搭建C版（Centos5.4且未集成KVM）D版引入Shell安裝腳本（Centos5.6、半自動(dòng)化）F版引入集群安裝&部署工具（Centos6.0、Chef）Chef增加新功能—支持安裝、部署、升級(jí)、回滾等Chef

Web

Console開(kāi)發(fā)（Centos6.4）安裝&部署第6頁(yè)Multi-host多網(wǎng)絡(luò)控制器br100和public分開(kāi)集群方案第7頁(yè)RabbitMQMySQLControllerNodeCommunicationLoadBalancer(Master/Salve)ClientBrowserPythonClientClusterNodeComputeWorkernova-computenova.virt.driverHypervisor（KVM）NetworkWorkernova-networkLinuxNetworkingnova-schedulernova-apiglance-apikeystoneDashboardglance-registrySQLConnectionRESTAPILoadBalancerRESTAPIAMQPCasts/CallHTTPDashboardLoadBalanceHTTP集群方案第8頁(yè)LoadBalancerRESTAPI方案KeepaliveKeepaliveHaproxyHaproxynova-apinova-apiVIP集群方案第9頁(yè)RabbitMQ集群方案—摘自RabbitMQ官網(wǎng)集群方案第10頁(yè)MySQLDB集群方案MasterMasterSlaveClientKeepaliveVIP自動(dòng)切換M/S同步M/M同步穩(wěn)定性/可靠性第11頁(yè)服務(wù)加入統(tǒng)一監(jiān)控、統(tǒng)一日志異常補(bǔ)償系統(tǒng)穩(wěn)定性/可靠性第12頁(yè)ManageAllVM/HostProcessResource（可隨意Kill任何進(jìn)程）WebUI穩(wěn)定性/可靠性第13頁(yè)P(yáng)rocessResource管理范圍VMHostProjectZoneRegionGlobal穩(wěn)定性/可靠性第14頁(yè)VM自身穩(wěn)定性/可靠性提升KVM、Libvirt自身BugFixedKVM、Libvirt、QEMU——CPU、Memory、Net&DiskI/O調(diào)優(yōu)KVM、Libvirt升級(jí)引入塊存儲(chǔ)、對(duì)象存儲(chǔ)VMImageCloneS32013-10-3S22013-10-2S12013-10-1RecoveryToBackupJSSStorageBackupBackupBackup易用性第15頁(yè)彈性集群易用性第16頁(yè)RabbitMQ我的“兔小姐”，一匹脫韁的野馬MQ加入統(tǒng)一日志使用QDB對(duì)MQ進(jìn)行監(jiān)控、報(bào)警（http://qdb.io/）使用ManagementPlugin管理MQ，將MQ操作界面化MQasaService，對(duì)外提供API調(diào)用性能第17頁(yè)keystone性能改造dashboardkeystonekvs

cacheMySQLRedisnova、glanceRedis合并Table、減少表關(guān)聯(lián)查詢Keystone返回值過(guò)大，去掉冗余字段優(yōu)化代碼、并減少DB訪問(wèn)Keystone提供服務(wù)的性能提升10倍性能第18頁(yè)glance性能改造性能改造之前，所有流量都要經(jīng)過(guò)glance-api（glance-api網(wǎng)絡(luò)帶寬是瓶頸）擴(kuò)展以后流量將分散到每個(gè)compute節(jié)點(diǎn)，得到1：n的性能提升性能第19頁(yè)DB性能改造Computenova-computenova-networkComputenova-computenova-networkComputenova-computenova-networkComputenova-computenova-network……DB改造之前nova組件直接訪問(wèn)DBkeepalivekeepalivehaproxyhaproxyBroodBroodRedisDB封裝DBAsServiceHTTPRequestTCPRequest（Yarpc—自主研發(fā)TCP+msgapck通訊框架）改造之后DB訪問(wèn)性能提升超過(guò)50倍新功能、新特性第20頁(yè)很多新功能、新特性是Openstack目前暫不具備，但又很有必要：VMMigrate（升級(jí)內(nèi)核、OS等）VMResize（可選擇新的flavor進(jìn)行Resize—云主機(jī)，彈性集群）DNSAsAServiceVDI（集成Spice）將物理機(jī)遷移到VM（備份物理機(jī)成Qcow2）定制C