云運(yùn)維的整體理念與實(shí)踐

云運(yùn)維的整體理念與實(shí)踐

什么是運(yùn)維？非運(yùn)維人員眼中的運(yùn)維工作非運(yùn)維人眼中的運(yùn)維運(yùn)維人員眼中的運(yùn)維工作運(yùn)維人眼中的運(yùn)維運(yùn)維價(jià)值化運(yùn)維不是某種職能運(yùn)維也不是某種角色運(yùn)維是通過一系列的規(guī)范化、工具平臺(tái)化、數(shù)據(jù)驅(qū)跨部門合作等手段，從而確保用戶價(jià)值的持續(xù)獲得。運(yùn)維價(jià)值化如今，我們的工作和生活都離不開數(shù)字化，無論是內(nèi)聯(lián)網(wǎng)、互聯(lián)網(wǎng)還是物聯(lián)網(wǎng)，都通過云計(jì)算、大數(shù)據(jù)、智能終端為我們提供各種服務(wù)。在數(shù)字化社會(huì)中，我們既提供內(nèi)容，又消費(fèi)內(nèi)容，信息以前所未有的速度傳播，應(yīng)用不斷地滲透到每個(gè)角落，每個(gè)人都無法離開。運(yùn)維管理-作為數(shù)字化背后的支撐力量，普通民眾可能不太清楚，但近年來運(yùn)維的作用不斷凸顯，受到業(yè)內(nèi)諸多人員的關(guān)注，正式高效、可靠、敏捷的運(yùn)維，支撐數(shù)字化有條不紊的運(yùn)轉(zhuǎn)，讓企業(yè)單位贏得數(shù)字化時(shí)代的成功。隨著“互聯(lián)網(wǎng)+”戰(zhàn)略的深入，運(yùn)維正在進(jìn)入到下一個(gè)時(shí)代，將面臨更加寬泛的領(lǐng)域、更加靈活的場(chǎng)景，根據(jù)廣通軟件研究院的分析，未來的運(yùn)維管理將進(jìn)一步融合互聯(lián)網(wǎng)思維，側(cè)重敏捷化管理，在數(shù)據(jù)中心、云上應(yīng)用、物聯(lián)網(wǎng)三個(gè)領(lǐng)域進(jìn)行發(fā)展，并最終實(shí)現(xiàn)一體化、智能化的敏捷運(yùn)維。云運(yùn)維的背景挑戰(zhàn)更少的設(shè)備維護(hù)需求更快的部署速度更大的承載能力更好的故障處理能力運(yùn)維工作面臨的挑戰(zhàn)運(yùn)維提升的階段開發(fā)，運(yùn)維的三大鴻溝DevOpsDevOps的核心，就是Dev用D的能力延伸到Ops，而Ops則把O的能力傳遞到Dev，兩者相結(jié)合結(jié)合突出重視軟件開發(fā)人員和運(yùn)維人員的溝通合作，通過自動(dòng)化流程來使得軟件構(gòu)建、測(cè)試、發(fā)布更加快捷、頻繁和可靠。大大減少數(shù)據(jù)中心在運(yùn)維方面人力的投入節(jié)省運(yùn)維費(fèi)用支出實(shí)現(xiàn)業(yè)務(wù)的快速自動(dòng)部署減少數(shù)據(jù)中心故障中斷時(shí)間即使在數(shù)據(jù)中心規(guī)模不斷擴(kuò)大的情況下，使用敏捷運(yùn)維的工具就可以完成自動(dòng)化部署，不再需要增加運(yùn)維人員，只不過在運(yùn)維工具監(jiān)控之中增加一些點(diǎn)而已提升數(shù)據(jù)中心的運(yùn)營能力數(shù)據(jù)中心擴(kuò)容在手指間就可以輕松完成，運(yùn)維人員不再需要關(guān)心基礎(chǔ)架構(gòu)的實(shí)現(xiàn)，只需要在敏捷軟件上做業(yè)務(wù)部署即可，底層資源調(diào)配，網(wǎng)絡(luò)配置等均通過軟件實(shí)現(xiàn)自動(dòng)下發(fā)，自動(dòng)互聯(lián)互通;甚至可以做到全年無中斷，敏捷軟件能夠在毫秒級(jí)的時(shí)間內(nèi)發(fā)現(xiàn)異常，并自動(dòng)執(zhí)行切換動(dòng)作，將業(yè)務(wù)轉(zhuǎn)移到備用系統(tǒng)中，確保業(yè)務(wù)不受影響，敏捷軟件還可以對(duì)故障進(jìn)行自愈，嘗試對(duì)故障進(jìn)行隔離，為人員搶修故障設(shè)備贏得時(shí)間DevOps的優(yōu)勢(shì)Puppet公布的2016年DevOps調(diào)查報(bào)告中，根據(jù)全球4600位各IT公司的技術(shù)工作者的提交數(shù)據(jù)統(tǒng)計(jì)，得出高效公司可以完成平均每年1460次部署。與低效組織相比，高效組織的部署頻繁200倍，產(chǎn)品投入使用速度快2555倍，服務(wù)恢復(fù)速度快24倍。在工作內(nèi)容的時(shí)間分配上，低效者要多花22%的時(shí)間用在為規(guī)劃好或者重復(fù)工作上，而高效者卻可以多花29%的時(shí)間用在新的工作上。敏捷運(yùn)維的概念來自于兩個(gè)截然不同的技術(shù)陣營：一方面是敏捷開發(fā)者發(fā)現(xiàn)，雖然產(chǎn)品被很快設(shè)計(jì)出來，但部署卻比較花費(fèi)時(shí)間，手動(dòng)部署和配置也會(huì)引入很多人為錯(cuò)誤。此時(shí)，敏捷開發(fā)團(tuán)隊(duì)希望可以自動(dòng)完成所有重復(fù)性的任務(wù)，當(dāng)然也包括部署在內(nèi)。另一方面來自于一些互聯(lián)網(wǎng)公司，這些公司業(yè)務(wù)增長(zhǎng)飛快，有時(shí)會(huì)在兩個(gè)星期內(nèi)就要增加上千臺(tái)服務(wù)器，單純?nèi)斯さ姆绞酵瓿?，耗費(fèi)了大量人力，運(yùn)維成本太高，這時(shí)他們想到了敏捷設(shè)計(jì)，希望將敏捷設(shè)計(jì)應(yīng)用到運(yùn)維當(dāng)中，實(shí)現(xiàn)敏捷運(yùn)維。敏捷運(yùn)維與傳統(tǒng)的人工運(yùn)維管理完全不同，敏捷運(yùn)維完全自律，按照設(shè)定好的程序去執(zhí)行，確保所有一切內(nèi)容都在控制之內(nèi)，敏捷運(yùn)維引入了自動(dòng)化的東西，拋棄了手動(dòng)操作。敏捷運(yùn)維的概念DevOps的各種工具代碼管理（SCM）：GitHub、GitLab、BitBucket、SubVersion構(gòu)建工具：Ant、Gradle、maven自動(dòng)部署：Capistrano、CodeDeploy持續(xù)集成（CI）：Bamboo、Hudson、Jenkins配置管理：Ansible、Chef、Puppet、SaltStack、ScriptRockGuardRail容器：Docker、LXC、第三方廠商如AWS編排：Kubernetes、Core、ApacheMesos、DC/OS服務(wù)注冊(cè)與發(fā)現(xiàn)：Zookeeper、etcd、Consul腳本語言：python、ruby、shell日志管理：ELK、Logentries系統(tǒng)監(jiān)控：Datadog、Graphite、Icinga、Nagios性能監(jiān)控：AppDynamics、NewRelic、Splunk壓力測(cè)試：JMeter、BlazeMeter、loader.io報(bào)警：PagerDuty、pingdom、廠商自帶如AWSSNSHTTP加速器：Varnish消息總線：ActiveMQ、SQS應(yīng)用服務(wù)器：Tomcat、JBoss、IISWeb服務(wù)器：Apache、Nginx數(shù)據(jù)庫：MySQL、PostgreSQL等關(guān)系型數(shù)據(jù)庫；cassandra、mongoDB、redis等NoSQL數(shù)據(jù)庫項(xiàng)目管理（PM）：Jira、Asana、Taiga、Trello、Basecamp、PivotalTracker敏捷運(yùn)維試圖將人們從復(fù)雜、繁重的工作中解決出來，通過軟件自動(dòng)化管理，滿足數(shù)據(jù)中心的擴(kuò)容要求，于是出現(xiàn)了很多敏捷運(yùn)維的工具。很多人以為只要使用這些工具就是敏捷運(yùn)維了，實(shí)際不是這樣的。就像我們擁有了電腦，會(huì)使用電腦，但不一定會(huì)用電腦完成各種編程，輸出很多的功能軟件。電腦只是一個(gè)工具，我們需要通過給電腦一些指令，才能按照我們的意圖完成。在敏捷運(yùn)維中，軟件工具就是這樣的角色，必須要我們給予它各種處理業(yè)務(wù)的能力，它才能自動(dòng)完成，只要我們?cè)O(shè)計(jì)好了未來數(shù)據(jù)中心故障、擴(kuò)容、業(yè)務(wù)變更遇到的場(chǎng)景，賦予工具自動(dòng)操作的權(quán)利，那么工具就會(huì)按照我們?cè)O(shè)計(jì)的程序去自動(dòng)執(zhí)行。為工具制定各種各樣的自動(dòng)執(zhí)行腳本，是敏捷運(yùn)維的關(guān)鍵，這些腳本關(guān)系到敏捷運(yùn)維的可用性。尤其是在突發(fā)事件的處理上，大規(guī)模業(yè)務(wù)擴(kuò)容上的表現(xiàn)。敏捷運(yùn)維的定義短的反饋周期敏捷原則簡(jiǎn)單勇氣透明承擔(dān)責(zé)任溝通反應(yīng)對(duì)技術(shù)優(yōu)勢(shì)持續(xù)關(guān)注敏捷原則：完全自動(dòng)化的系統(tǒng)構(gòu)建（并非只是啟動(dòng)服務(wù)器，而是重新構(gòu)建一切）通過版本控制系統(tǒng)進(jìn)行配置管理對(duì)監(jiān)控和統(tǒng)計(jì)數(shù)據(jù)的廣泛訪問自愿的“壞了就換”機(jī)制優(yōu)先使用從系統(tǒng)中自動(dòng)抽取文檔針對(duì)硬件隨需而變的態(tài)度添加或者替換服務(wù)器并不是大事件敏捷運(yùn)維聽起來很美好。只要嵌入你的代碼，確保它在服務(wù)器上構(gòu)建，然后更新一個(gè)方法，就可以按照你的思路去完成自動(dòng)運(yùn)維這個(gè)說起來容易，實(shí)際做起來很難。現(xiàn)有的軟件定義數(shù)據(jù)中心仍處于發(fā)展的初級(jí)階段，還沒有這樣一種軟件，可以對(duì)整個(gè)數(shù)據(jù)中心設(shè)備很好地以控制軟件實(shí)現(xiàn)，因?yàn)閿?shù)據(jù)中心里設(shè)備千差萬別，相同設(shè)備軟件版本不同，實(shí)現(xiàn)也會(huì)有差異，這樣從軟件上很難統(tǒng)一管理。即便可以管理，那么什么時(shí)候執(zhí)行什么樣的指令，敏捷軟件工具自己不會(huì)去考慮，依然是由你來完成，這樣就需要將所有可能出現(xiàn)的場(chǎng)景，業(yè)務(wù)的走向部署都需要考慮到，并通過軟件腳本實(shí)現(xiàn)，設(shè)計(jì)得越充分，敏捷軟件工具功能就越強(qiáng)大，當(dāng)然如果依然出現(xiàn)了未知情況，敏捷運(yùn)維也會(huì)失效。但是DevOps面臨的問題運(yùn)維團(tuán)隊(duì)

大數(shù)據(jù)BC-HadoopBC-HugetableBC-RDB…………..IT支撐咪咕統(tǒng)一信息平臺(tái)網(wǎng)絡(luò)性能管理能力開放平臺(tái)…………..云計(jì)算BC-ECBC-EBSBC-Onest…………..蘇研的主要產(chǎn)品分三類，分別有大數(shù)據(jù)，云計(jì)算，IT支撐。產(chǎn)品種類繁多，規(guī)模大，項(xiàng)目數(shù)量多，運(yùn)維團(tuán)隊(duì)面臨巨大挑戰(zhàn)DevOps能力融合的4大核心實(shí)踐OpsDev實(shí)踐2：將開發(fā)嵌入到IT運(yùn)維中（應(yīng)用端到端的管理）實(shí)踐3：向開發(fā)中加入生產(chǎn)反饋（可視化監(jiān)控和運(yùn)維）實(shí)踐1：將開發(fā)延伸至生產(chǎn)中（持續(xù)集成和交付）實(shí)踐4：將It運(yùn)維嵌入至開發(fā)（運(yùn)維分析）實(shí)踐1：持續(xù)集成和交付持續(xù)編譯持續(xù)代碼檢查持續(xù)測(cè)試持續(xù)部署持續(xù)報(bào)告持續(xù)集成體系建設(shè)1制定基本構(gòu)建流程2加強(qiáng)代碼自動(dòng)驗(yàn)證環(huán)節(jié)3加強(qiáng)單元測(cè)試環(huán)節(jié)4加強(qiáng)自動(dòng)化測(cè)試環(huán)節(jié)5加強(qiáng)自動(dòng)部署環(huán)節(jié)實(shí)踐1：持續(xù)集成和交付持續(xù)集成的重要要素：1.統(tǒng)一的代碼庫。2.CI服務(wù)器3.自動(dòng)化測(cè)試和構(gòu)建的腳本4.Slaves解決方案：Jenkins+Git實(shí)踐1：持續(xù)部署的運(yùn)維目標(biāo)1、運(yùn)維角色完全撤出部署事務(wù)，變成審核者。2、平臺(tái)必須由研發(fā)+測(cè)試+運(yùn)維共同建設(shè)、運(yùn)維最好主導(dǎo)。3、運(yùn)維角色轉(zhuǎn)變的第一步。實(shí)踐1：持續(xù)部署的業(yè)務(wù)目標(biāo)實(shí)踐1：快速部署-Docker技術(shù)容器并不包含一個(gè)單獨(dú)的操作系統(tǒng)，而是基于已有的基礎(chǔ)設(shè)施中操作系統(tǒng)提供的功能來運(yùn)行的。將應(yīng)用程序及所有程序的依賴環(huán)境打包到一個(gè)容器中，容器可以運(yùn)行在任何一種Linux服務(wù)器上。這大大地提高了程序運(yùn)行的靈活性和可移植性。虛擬機(jī)是操作系統(tǒng)級(jí)別的資源隔離，容器本質(zhì)上是進(jìn)程級(jí)的資源隔離容器技術(shù)實(shí)現(xiàn)發(fā)展最快和最有代表的是開源Docker技術(shù)。Docker是PaaS提供商dotCloud（后改名為DockerInc）

開源的一個(gè)基于LXC的高級(jí)容器引擎，源代碼托管在Github上,遵從Apache2.0協(xié)議開源。Docker核心在于實(shí)現(xiàn)應(yīng)用與運(yùn)行環(huán)境整體打包以及打包格式統(tǒng)一VirtualMachineDocker實(shí)踐1：持續(xù)部署-基于容器技術(shù)服務(wù)器操作系統(tǒng)應(yīng)用IT基礎(chǔ)架構(gòu)發(fā)展階段1：裸機(jī)時(shí)代基礎(chǔ)架構(gòu)利用率低每臺(tái)服務(wù)器上運(yùn)行一個(gè)應(yīng)用程序：避免一個(gè)應(yīng)用程序中的漏洞影響同一服務(wù)器上其他應(yīng)用程序典型的x86

服務(wù)器部署平均達(dá)到的利用率僅為總?cè)萘康?0%

到15%（美國國際數(shù)據(jù)集團(tuán)(International

Data

Corporation,

IDC)

報(bào)告）物理基礎(chǔ)架構(gòu)成本日益升高為支持不斷增長(zhǎng)的物理基礎(chǔ)架構(gòu)而需要的運(yùn)營、維護(hù)成本穩(wěn)步攀升。大多數(shù)計(jì)算基礎(chǔ)架構(gòu)都必須時(shí)刻保持運(yùn)行，因此耗電量、制冷和設(shè)施成本不隨利用率水平而變化。管理成本不斷攀升服務(wù)器數(shù)量太多難以管理，新服務(wù)器和應(yīng)用的部署時(shí)間長(zhǎng)，硬件維護(hù)需要數(shù)天/周的變更管理準(zhǔn)備和數(shù)小時(shí)的維護(hù)窗口。

故障切換和災(zāi)備困難：兼容性差。系統(tǒng)和應(yīng)用遷移到新的硬件需要和舊系統(tǒng)兼容的硬件系統(tǒng)。服務(wù)器操作系統(tǒng)應(yīng)用操作系統(tǒng)虛擬機(jī)操作系統(tǒng)應(yīng)用虛擬機(jī)操作系統(tǒng)應(yīng)用虛擬機(jī)云平臺(tái)服務(wù)器操作系統(tǒng)IT基礎(chǔ)架構(gòu)發(fā)展階段2：虛擬化時(shí)代以虛擬化技術(shù)為基礎(chǔ)，以虛擬機(jī)為單位，將資源提供給用戶。提高資源利用率將一臺(tái)高性能的服務(wù)器虛擬成多個(gè)虛擬機(jī)，在物理上虛擬機(jī)共享宿主服務(wù)器的硬件資源，而邏輯上各自獨(dú)立，可在各虛擬出的服務(wù)器上運(yùn)行不同的應(yīng)用，各司其職，互不干擾。降低管理、運(yùn)維成本簡(jiǎn)化服務(wù)器的部署、管理和維護(hù)工作，降低管理費(fèi)用通過從物理基礎(chǔ)架構(gòu)抽象應(yīng)用使數(shù)據(jù)中心資源管理和調(diào)度更敏捷，是對(duì)傳統(tǒng)數(shù)據(jù)中心資源管理模式的變革核心技術(shù)計(jì)算虛擬化、SDN、OpenStack管理代表公司亞馬遜aws、VMware、微軟azure、阿里云、華為等服務(wù)器應(yīng)用操作系統(tǒng)應(yīng)用應(yīng)用服務(wù)器操作系統(tǒng)資源統(tǒng)一管理、調(diào)度IT基礎(chǔ)架構(gòu)發(fā)展階段3：以應(yīng)用為中心時(shí)代以分布式應(yīng)用為核心場(chǎng)景，主打應(yīng)用生命周期管理。保證應(yīng)用程序和服務(wù)易發(fā)布、易擴(kuò)展，始終能獲得所需要的資源。問題虛擬機(jī)構(gòu)成的集群仍然難以運(yùn)維，對(duì)于每個(gè)虛擬機(jī)的維護(hù)也并非容易，用戶遇到的問題和直接維護(hù)物理機(jī)集群基本相似用戶需求應(yīng)用能夠獲取資源，快速啟動(dòng)，服務(wù)可以無限擴(kuò)展（不在乎怎樣運(yùn)行及運(yùn)行在哪），服務(wù)失敗時(shí)能被自動(dòng)檢測(cè)并修復(fù)，應(yīng)用易于遷移。數(shù)據(jù)中心操作系統(tǒng)：Datacenter

Operating

System（DCOS）目標(biāo)整合數(shù)據(jù)中心資源，進(jìn)行虛擬池化，開放諸如CPU、內(nèi)存和I/O這些基本資源而不是虛擬機(jī)。就像操作系統(tǒng)將PC的處理器和RAM放入資源池，使其可以為不同的進(jìn)程協(xié)調(diào)分配和釋放資源核心技術(shù)容器集群資源管理、容器代表公司：Google、Mesosphere、Facebook、Twitter等。yelp使用mesosphere大大提高了數(shù)據(jù)中心的性能；yelp每天運(yùn)行大約1700萬獨(dú)立測(cè)試，啟動(dòng)100萬個(gè)容器。分布式“系統(tǒng)”Mesos的結(jié)構(gòu)（1）Master、Slave、Zookeeper、FrameworkMaster通過zookeeper實(shí)現(xiàn)選舉機(jī)制，一個(gè)N個(gè)節(jié)點(diǎn)的zookeeper集群可以在ceil（N/2）個(gè)節(jié)點(diǎn)失效情況下正常工作。Zookeeper分為競(jìng)爭(zhēng)者和觀察者模式：master既是競(jìng)爭(zhēng)者也是觀察者，slave都是觀察者，尋找當(dāng)前主master并與之通信。Master負(fù)責(zé)給各個(gè)不同的框架分配資源并管理任務(wù)的生命周期Slave節(jié)點(diǎn)負(fù)責(zé)利用已有資源執(zhí)行框架下發(fā)任務(wù)Framework分布式應(yīng)用程序（比如marathon），包括組件：框架調(diào)度器和執(zhí)行器。Mesos是Apache下的開源分布式資源管理框架，它被稱為是分布式系統(tǒng)的內(nèi)核，能夠簡(jiǎn)化在一堆共享服務(wù)器池中運(yùn)行任務(wù)的復(fù)雜性。

核心實(shí)現(xiàn)DRF算法：用戶無法通過夸大自己的需求；只能拒絕或接受Mesos提供的資源（Offer）。Mesos的結(jié)構(gòu)（2）框架調(diào)度器在mesosmaster上進(jìn)行注冊(cè)。Mesosmaster從slave節(jié)點(diǎn)獲取資源offer，調(diào)用分配模塊決定將這些資源分給哪個(gè)框架?？蚣苷{(diào)度器從Master接受資源offer。當(dāng)接受到資源offer后，框架調(diào)度器會(huì)檢查offer是否合適。如果合適，接受該offer并向master返回一個(gè)需要在slave上運(yùn)行的的執(zhí)行器列表。Slave節(jié)點(diǎn)分配所請(qǐng)求的資源并運(yùn)行任務(wù)執(zhí)行器，任務(wù)執(zhí)行器在slave節(jié)點(diǎn)上運(yùn)行框架下的任務(wù)?？蚣苷{(diào)度器接收任務(wù)運(yùn)行成功或失敗的通知。基于Mesos的資源分配MarathonMesos集群可以混合運(yùn)行來自Marathon的不同類型的任務(wù)Marathon基于Mesos的任務(wù)調(diào)度為動(dòng)態(tài)調(diào)度，即每個(gè)任務(wù)在執(zhí)行之前是不知道將在哪一臺(tái)服務(wù)器上執(zhí)行和綁定哪一個(gè)端口9臺(tái)服務(wù)器（灰色）組成的Mesos集群上混合運(yùn)行各種Marathon調(diào)度的任務(wù)，其中一臺(tái)服務(wù)器壞掉以后，這臺(tái)服務(wù)器上的任務(wù)就受影響，Marathon可把任務(wù)遷移到其他服務(wù)器上，實(shí)現(xiàn)容錯(cuò)Marathon是基于Mesos來做任務(wù)調(diào)度，Mesos僅負(fù)責(zé)分布式集群資源分配，不負(fù)責(zé)任務(wù)調(diào)度。使用Mesos來管理Docker實(shí)踐1：持續(xù)部署-蘇研DCOS系統(tǒng)

BC-EC（openstack）自動(dòng)化部署工具-FuelOpenStack安裝非常困難,困難主要來自于:開源項(xiàng)目，系統(tǒng)本身開發(fā)時(shí)間短，不夠穩(wěn)定,bug多。配置自由，靈活度高，很難將所有的配置項(xiàng)都試全。Fuel是Mirantis公司開發(fā)的一個(gè)開源的OpenStack套件，具有以下優(yōu)點(diǎn):安裝簡(jiǎn)便:全部通過圖形界面操作。配置靈活:支持Redhat和CentOS,支持Ceph開源存儲(chǔ)軟件。穩(wěn)定可靠:已經(jīng)在多家公司商用。Mirantisfuel從下載,可以下載iso文件。實(shí)踐1：Fuel自動(dòng)部署

BC-EC（openstack）自動(dòng)化部署工具-FuelFuel并不是一個(gè)大的整體，它由幾個(gè)獨(dú)立的組件組成。部分是Fuel特有的，部分是第三方服務(wù)UI

一個(gè)用JaveScript寫的頁面應(yīng)用，主要還是用bootstrap框架Nailgun

提供REST

API

以及部署數(shù)據(jù)管理。

Astute

Nailgun任務(wù)的執(zhí)行者。Cobbler

提供快速網(wǎng)絡(luò)安裝系統(tǒng)Mcollective

一個(gè)構(gòu)建服務(wù)器編排和并行工作執(zhí)行系統(tǒng)的框架OSTF

Openstacktestingframework,提供健康檢查實(shí)踐1：Fuel自動(dòng)部署

BC-EC（openstack）自動(dòng)化部署工具-FuelFuel并不是一個(gè)大的整體，它由幾個(gè)獨(dú)立的組件組成。部分組件是Fuel特有的，部分是第三方服務(wù)UINailgunAstuteCobblerMcollectiveOSTF一個(gè)用JaveScript寫的頁面應(yīng)用，主要還是用bootstrap框架。核心服務(wù)，提供REST

API

以及部署數(shù)據(jù)管理。核心服務(wù)，Nailgun任務(wù)的執(zhí)行者。提供快速網(wǎng)絡(luò)安裝系統(tǒng)。一個(gè)構(gòu)建服務(wù)器編排和并行工作執(zhí)行系統(tǒng)的框架。Openstacktestingframework,提供健康檢查。實(shí)踐1：Fuel自動(dòng)部署

BC-EC（openstack）自動(dòng)化部署工具-Fuel實(shí)踐1：Fuel自動(dòng)部署

BC-EC（openstack）自動(dòng)化部署工具-Fuel實(shí)踐1：Fuel自動(dòng)部署

BC-EC（openstack）自動(dòng)化部署工具-Fuel實(shí)踐1：Fuel自動(dòng)部署

BC-EC（openstack）自動(dòng)化部署工具-Fuel實(shí)踐1：Fuel自動(dòng)部署

BC-EC（openstack）自動(dòng)化部署工具-Fuel實(shí)踐1：Fuel自動(dòng)部署

BC-EC（openstack）自動(dòng)化部署工具-Fuel實(shí)踐1：Fuel自動(dòng)部署實(shí)踐1：持續(xù)部署-H-Control系統(tǒng)實(shí)踐2：實(shí)現(xiàn)用戶操作的可視化實(shí)踐2：蘇研-OP系統(tǒng)運(yùn)用自動(dòng)化運(yùn)維作業(yè)工具，將日常重復(fù)性的運(yùn)維作業(yè)內(nèi)容固化，實(shí)現(xiàn)自動(dòng)化備份、自動(dòng)化分析報(bào)表等功能，提高運(yùn)維效率，使運(yùn)維人員有時(shí)間開展系統(tǒng)優(yōu)化提升工作。固化日常運(yùn)維工作將備份、分析報(bào)表等重復(fù)性、機(jī)械性的日常運(yùn)維作業(yè)固化；自動(dòng)化運(yùn)維作業(yè)工具使用自動(dòng)化運(yùn)維作業(yè)工具，將固化的運(yùn)維工作改為由系統(tǒng)自動(dòng)處理;系統(tǒng)優(yōu)化提升運(yùn)維人員將節(jié)省下來的時(shí)間，用于系統(tǒng)優(yōu)化提升工作；1.如何落實(shí)運(yùn)維流程？2.如何提高運(yùn)維技能？數(shù)據(jù)備份分析報(bào)表數(shù)據(jù)恢復(fù)自動(dòng)化運(yùn)維作業(yè)功能模塊實(shí)踐2：實(shí)現(xiàn)運(yùn)維的自動(dòng)化與可視化工具一：Ansible基于Python研發(fā)。糅合了眾多老牌運(yùn)維工具的優(yōu)點(diǎn)實(shí)現(xiàn)了批量操作系統(tǒng)配置、批量程序的部署、批量運(yùn)行命令等功能。僅需在管理工作站上安裝ansible程序配置被管控主機(jī)的IP信息，被管控的主機(jī)無客戶端。批量維護(hù)工具介紹(1)、連接插件connectionplugins：負(fù)責(zé)和被監(jiān)控端實(shí)現(xiàn)通信；(2)、hostinventory：指定操作的主機(jī)，是一個(gè)配置文件里面定義監(jiān)控的主機(jī)；(3)、各種模塊核心模塊、command模塊、自定義模塊；(4)、借助于插件完成記錄日志郵件等功能；(5)、playbook：劇本執(zhí)行多個(gè)任務(wù)時(shí)，非必需可以讓節(jié)點(diǎn)一次性運(yùn)行多個(gè)任務(wù)。實(shí)踐2：實(shí)現(xiàn)運(yùn)維的自動(dòng)化與可視化工具二：SaltstackSalt，一種全新的基礎(chǔ)設(shè)施管理方式，部署輕松，在幾分鐘內(nèi)可運(yùn)行起來，擴(kuò)展性好，很容易管理上萬臺(tái)服務(wù)器，速度夠快，服務(wù)器之間秒級(jí)通訊。Salt底層采用動(dòng)態(tài)的連接總線,使其可以用于編配,遠(yuǎn)程執(zhí)行,配置管理等等。Salt的拓?fù)涫褂煤?jiǎn)單的server/client模式批量維護(hù)工具介紹實(shí)踐2：實(shí)現(xiàn)運(yùn)維的自動(dòng)化與可視化實(shí)踐2：蘇研-HControl產(chǎn)品實(shí)踐3：構(gòu)建立體化的監(jiān)控體系進(jìn)程業(yè)務(wù)巡檢1）基礎(chǔ)設(shè)施：包括IDC網(wǎng)絡(luò)設(shè)備及X86服務(wù)器，這些設(shè)備的監(jiān)控都是基于廠家的實(shí)現(xiàn)2）基礎(chǔ)服務(wù)標(biāo)準(zhǔn)化：是指CPU、Mem、Disk及系統(tǒng)openfile等通用服務(wù)的監(jiān)控；3）服務(wù)進(jìn)程：各組件服務(wù)進(jìn)程；4）基于業(yè)務(wù)提煉的監(jiān)控項(xiàng)：組件基本進(jìn)程的監(jiān)控并不能滿足監(jiān)控需求；5）重要UI的監(jiān)控6）業(yè)務(wù)巡檢實(shí)踐3：構(gòu)建立體化的監(jiān)控體系停機(jī)費(fèi)用成本=部署頻率*版本迭代失敗概率*平均修復(fù)時(shí)間*斷電的金錢損失實(shí)踐3：云計(jì)算監(jiān)控Cloud

Master實(shí)踐3：云計(jì)算監(jiān)控Cloud

Master通過Ganglia采集物理機(jī)的性能指標(biāo)通過Ceilometer采集虛擬機(jī)的性能指標(biāo)實(shí)踐3：云計(jì)算監(jiān)控Cloud

Master實(shí)踐3：大數(shù)據(jù)監(jiān)控H-Control實(shí)踐3：大數(shù)據(jù)監(jiān)控H-Control云時(shí)代日志的特點(diǎn)系統(tǒng)規(guī)模大單個(gè)資源池服務(wù)器規(guī)模100+以上業(yè)務(wù)模塊多單個(gè)控制節(jié)點(diǎn)服務(wù)進(jìn)程超過20個(gè)日志量大100臺(tái)服務(wù)器規(guī)模資源池，每天日志量達(dá)到3000w條日志數(shù)據(jù)之間相互關(guān)聯(lián)SLA要求比較高云平臺(tái)承載的業(yè)務(wù)越來越多，對(duì)平臺(tái)穩(wěn)定性要求越來高如何在災(zāi)難性事件發(fā)生時(shí)，能夠做好相應(yīng)的準(zhǔn)備如何在第一時(shí)間捕獲到錯(cuò)誤動(dòng)態(tài)如何針對(duì)不同的業(yè)務(wù)邏輯建立保障措施如何利用關(guān)聯(lián)性挖掘有價(jià)值的信息實(shí)踐4：日志的集中化管理IT系統(tǒng)信息服務(wù)器網(wǎng)絡(luò)設(shè)備存儲(chǔ)設(shè)備操作系統(tǒng)應(yīng)用軟件用戶行為用戶行為業(yè)務(wù)信息從ITOperationManagement(ITOM)到ITOperationAnalytics(ITOA)大數(shù)據(jù)技術(shù)應(yīng)用于IT運(yùn)維，通過數(shù)據(jù)分析提升IT運(yùn)維效率

??可用性監(jiān)控

??應(yīng)用性能監(jiān)控

??故障根源分析

??安全審計(jì)Gartner估計(jì)，到2017年15%的大企業(yè)會(huì)積極使用ITOA；而在2014年這一數(shù)字只有5%實(shí)踐4：IT運(yùn)維分析日志管理系統(tǒng)的進(jìn)化日志1.0數(shù)據(jù)庫日志2.0Hadoop或者NoSQL日志3.0實(shí)時(shí)搜索引擎實(shí)踐4：日志的集中化管理日志沒有集中處理登錄服務(wù)器，使用腳本或者命令查看日志被刪除磁盤滿了刪日志黑客刪除日志，抹除入侵痕跡日志只做事后追查沒有實(shí)時(shí)監(jiān)控、分析使用數(shù)據(jù)庫存儲(chǔ)日志無法適應(yīng)TB級(jí)海量日志數(shù)據(jù)庫的schema無法適應(yīng)各種各樣的日志格式無法提供全文檢索Hadoop批處理，不夠及時(shí)查詢慢數(shù)據(jù)離線挖掘，無法做在線分析Storm/SparkHadoop/Storm/Spark都只是一個(gè)開發(fā)框架，不是為日志管理設(shè)計(jì)的，需要大量開發(fā)NoSQL不支持全文檢索對(duì)日志實(shí)時(shí)檢索、分析日志實(shí)時(shí)搜索分析引擎快日志從產(chǎn)生到搜索分析出結(jié)果只有幾秒延時(shí)大每天處理TB級(jí)別的日志量靈活可搜索、分析任何日志云環(huán)境日志管理的實(shí)踐—目標(biāo)功能實(shí)時(shí)數(shù)據(jù)采集存儲(chǔ)+索引查詢/關(guān)聯(lián)搜索實(shí)時(shí)告警圖表展示實(shí)時(shí)動(dòng)態(tài)的采集日志數(shù)據(jù)，可以動(dòng)態(tài)的監(jiān)控到整個(gè)環(huán)境的運(yùn)行狀態(tài)，一旦有緊急情況發(fā)生，可以第一時(shí)間掌握信息。集中管理來自多個(gè)集群的海量日志，對(duì)抓取的日志存儲(chǔ)并建立索引，可以快速的在海量信息中找到感興趣的部分。運(yùn)用簡(jiǎn)單的搜索語法在集中管理的海量日志中查找所需信息，根據(jù)關(guān)鍵詞一鍵查找多個(gè)集群中關(guān)聯(lián)的信息。根據(jù)實(shí)時(shí)采集的日志數(shù)據(jù)，分析日志信息的特征制定告警，對(duì)系統(tǒng)出現(xiàn)的錯(cuò)誤做到第一時(shí)間的掌控，同時(shí)根據(jù)特定業(yè)務(wù)特征，實(shí)現(xiàn)危險(xiǎn)狀態(tài)的預(yù)警。能對(duì)各字段進(jìn)行統(tǒng)計(jì)，值分布，總數(shù)，平均數(shù)等，提供多樣化的圖表支持，柱狀圖，餅圖，折線圖等。利用自研的BC-Logmanager對(duì)非結(jié)構(gòu)化日志的采集、分析為開發(fā)/運(yùn)維人員提供精準(zhǔn)分析、多維度圖表展示、實(shí)時(shí)報(bào)警、數(shù)據(jù)管理、離線處理和數(shù)據(jù)過濾等功能。實(shí)踐4：日志管理軟件Log-Manager云環(huán)境日志管理的實(shí)踐—數(shù)據(jù)流程圖數(shù)據(jù)庫文本文件數(shù)據(jù)流采集客戶端采集客戶端采集客戶端中間數(shù)據(jù)存儲(chǔ)實(shí)時(shí)分析離線分析數(shù)據(jù)挖掘監(jiān)控報(bào)警分布式索引結(jié)果可視化實(shí)踐4：日志管理軟件Log-Manager云環(huán)境日志管理的實(shí)踐—系統(tǒng)結(jié)構(gòu)圖數(shù)據(jù)庫應(yīng)用系統(tǒng)文件InputTcp/UdpInputKafkaInputGelfInput檢索搜索引擎元數(shù)據(jù)數(shù)據(jù)庫Output監(jiān)控系統(tǒng)自定義報(bào)警分析系統(tǒng)其他集成監(jiān)控工具dashboard報(bào)表報(bào)警機(jī)制Journal機(jī)制訪問控制數(shù)據(jù)處理實(shí)時(shí)計(jì)算ServerWebInterface可視化搜索配置新增功能增強(qiáng)功能數(shù)據(jù)推薦數(shù)據(jù)分析集群管理Flume實(shí)踐4：日志管理軟件Log-Manager蘇研IDC研發(fā)測(cè)試區(qū)實(shí)踐蘇研自有IDC已投入使用，穩(wěn)定運(yùn)行近一年時(shí)間。研發(fā)測(cè)試區(qū)100臺(tái)物理機(jī)運(yùn)行著BC-EC，支撐著研發(fā)部近2000臺(tái)研發(fā)用虛擬機(jī)的運(yùn)作，三臺(tái)控制節(jié)點(diǎn)上每天會(huì)產(chǎn)出500G左右的日志數(shù)據(jù)?！刂乒?jié)點(diǎn)抓取客戶端消息隊(duì)列ZookeeperZookeeperZookeeperServer+Web+數(shù)據(jù)庫搜索引擎搜索引擎搜索引擎抓取客戶端抓取客戶端消息隊(duì)列實(shí)踐4：日志管理軟件Log-Manager