構(gòu)建高效的研發(fā)與自動化運(yùn)維

1、 構(gòu)建高效的研發(fā)與自動化運(yùn)維所謂IT運(yùn)維管理的自動化是指通過將日常IT運(yùn)維中大量的重復(fù)性工作，小到簡單的日常檢查、配置變更和軟件安裝，大到整個(gè)變更流程的組織調(diào)度，由過去的手工執(zhí)行轉(zhuǎn)為自動化操作，從而減少乃至消除運(yùn)維中的延遲，實(shí)現(xiàn)“零延時(shí)”的IT運(yùn)維。簡單的說，IT運(yùn)維自動化是指基于流程化的框架，將事件與IT流程相關(guān)聯(lián)，一旦被監(jiān)控系統(tǒng)發(fā)生性能超標(biāo)或宕機(jī)，會觸發(fā)相關(guān)事件以及事先定義好的流程，可自動啟動故障響應(yīng)和恢復(fù)機(jī)制。自動化工作平臺還可幫助IT運(yùn)維人員完成日常的重復(fù)性工作(如備份，殺毒等)，提高IT運(yùn)維效率。同時(shí)，IT運(yùn)維的自動化還要求能夠預(yù)測故障、在故障發(fā)生前能夠報(bào)警，讓IT運(yùn)維人員把故障消除

2、在發(fā)生前，將所產(chǎn)生損失減到最低。運(yùn)維應(yīng)包括如下：環(huán)境定義：開發(fā)環(huán)境、測試環(huán)境、類生產(chǎn)環(huán)境、生產(chǎn)環(huán)境等。部署：能夠?qū)⒉渴鸢行У牟渴鸬讲煌沫h(huán)境。監(jiān)控：能夠監(jiān)控部署后的系統(tǒng)和應(yīng)用。告警：出現(xiàn)問題時(shí)的響應(yīng)和處理機(jī)制。性能優(yōu)化：系統(tǒng)各個(gè)服務(wù)如Nginx/Java/PHP/DB/網(wǎng)絡(luò)的優(yōu)化。SLA保障：通常要和業(yè)務(wù)相關(guān)部門討論確定。服務(wù)治理、任務(wù)調(diào)度、集群協(xié)同、調(diào)用鏈分析、接口質(zhì)量、SQL質(zhì)量、實(shí)時(shí)日志等打包、自動化測試、檢測、灰度發(fā)布、分區(qū)上線、運(yùn)維自動化、配置標(biāo)準(zhǔn)化、指令標(biāo)準(zhǔn)化等分布式框架、存儲&緩存中間件、自動化測試、云搜索、開放平臺、營銷平臺等基礎(chǔ)設(shè)施自建技術(shù)基礎(chǔ)設(shè)施（開源+自研）自動化發(fā)布系

3、統(tǒng)灰度發(fā)布、分區(qū)發(fā)布運(yùn)維配置自動化系統(tǒng)運(yùn)維系統(tǒng)自動發(fā)現(xiàn)、標(biāo)準(zhǔn)化配置原子指令系統(tǒng)支持?jǐn)?shù)百臺服務(wù)器、數(shù)百個(gè)原子腳本操作搜索平臺支持?jǐn)?shù)百個(gè)索引、上億條數(shù)據(jù)推薦計(jì)算平臺支持?jǐn)?shù)億用戶數(shù)據(jù)計(jì)算API自動化測試系統(tǒng)、Mock模擬測試系統(tǒng)支持接口的自動化測試、模擬測試、Web自動化測試API放水系統(tǒng)、SQL防水系統(tǒng)治理系統(tǒng)不合理調(diào)用實(shí)時(shí)日志系統(tǒng)支持Nginx、Tomcat、BI實(shí)時(shí)日志和離線跟蹤分布式開發(fā)框架統(tǒng)一分布式通信配置分發(fā)系統(tǒng)支持配置項(xiàng)、集群服務(wù)發(fā)現(xiàn)MQ分布式消息中間件（推模式IDP、拉模式Kafka）1500w/周一周五，600w/周六日KV分布式緩存系統(tǒng)中間件（Memcached、Redis、Ta

4、ir）億級數(shù)據(jù)緩存、95%命中率LPFS分布式文件中間件（MongoDB）MongoDB、圖片、文件DB數(shù)據(jù)庫分庫分表中間件（MySQL）無限數(shù)據(jù)量擴(kuò)展分布式任務(wù)調(diào)度中間件（Schedule）支持100+服務(wù)、200+/日個(gè)分布式任務(wù)調(diào)度Push統(tǒng)一消息推送平臺每日100w+推送量，推送至Android、iOS、Email、SMS、微信、Comet依賴開源的技術(shù)棧語言：Java(Tomcat/Spring) Shell(運(yùn)維) Nodejs(前端) Android iOS分布式：ActiveMQ Kafka Zookeeper Router服務(wù)發(fā)現(xiàn) Cat存儲：Mysql Mongodb Ta

5、ir Memcached Redis計(jì)算：Solr ElasticSearch Hadoop HBase Storm Spark運(yùn)維：Linux Nginx Puppet Zabbix OpenStack項(xiàng)目管理：Eclipse Git Maven構(gòu)建 Hudson持續(xù)集成 Confluence知識分享 DMS項(xiàng)目管理開發(fā)階段Code/build開發(fā)框架|-web開發(fā)框架Swift|-nodejs前端開發(fā)框架|-ios移動開發(fā)框架|-android開發(fā)框架|-shell腳本自動化分布式中間件|-分布式調(diào)用RPC|-實(shí)時(shí)推送comet|-推消息隊(duì)列IDP|-拉消息隊(duì)列Kafka|-配置系統(tǒng)Zoo

6、keeper|-調(diào)度系統(tǒng)Scheduler存儲中間件|-關(guān)系存儲mysql|-文件存儲mongodb|-KV存儲tair|-二級緩存redis|-一級緩存memcached計(jì)算平臺|-云搜索|-推薦|-大數(shù)據(jù)計(jì)算|-網(wǎng)頁解析|-文本解析|-Word預(yù)覽測試階段Test/ci|-API自動化測試|-API模擬測試Mock|-Web自動化測試Selenium|-微信測試WXTest|-Open測試KATest|-測試環(huán)境發(fā)布上線階段Release/deploy|-發(fā)布系統(tǒng)|-運(yùn)維系統(tǒng)|-代碼檢測Builder運(yùn)維階段運(yùn)維系統(tǒng)Monitor|-自動化系統(tǒng)|-監(jiān)控系統(tǒng)Zabbix|-雷達(dá)日志系統(tǒng)|-P

7、uppet/Mco服務(wù)治理Service|-API放水系統(tǒng)APIWater|-SQL放水系統(tǒng)MonyogSQL|-Router服務(wù)中心|-配置分發(fā)系統(tǒng)|-調(diào)度系統(tǒng)Scheduler|-調(diào)用鏈系統(tǒng)Cat運(yùn)營階段開放平臺|-微信平臺Weixin|-微博平臺Weibo|-電話平臺Jiya|-支付平臺Pay|-開放平臺API|-SEO平臺Resource運(yùn)營平臺Channel|-推送平臺Push|-短信平臺Push|-郵件平臺Mail|-微信平臺Open|-私信平臺MessageCode1、分布式服務(wù)架構(gòu)服務(wù)發(fā)現(xiàn)、通信、控制分布式注冊中心Router：同步調(diào)用RPC服務(wù)協(xié)議：HTTP協(xié)議/心跳檢測服務(wù)

8、發(fā)現(xiàn)：集群信息統(tǒng)一文件Router.conf負(fù)載均衡異步調(diào)用MQ推模式：開發(fā)快、穩(wěn)定、實(shí)時(shí)快拉模式：可回溯、日志收集、數(shù)據(jù)同步分布式任務(wù)調(diào)度Schedule調(diào)度系統(tǒng)分布式事務(wù)控制Swift開發(fā)框架：交易型事務(wù)的一致性2、運(yùn)維研發(fā)的自動化體系運(yùn)維配置標(biāo)準(zhǔn)化3大層次2.1、硬件標(biāo)準(zhǔn)化：-機(jī)器標(biāo)準(zhǔn)化：機(jī)房、機(jī)架位、交換機(jī)、機(jī)器-資源標(biāo)準(zhǔn)化：IP、DNS-配置標(biāo)準(zhǔn)化：機(jī)器配置自動化采集、標(biāo)準(zhǔn)化檢測，KVM化2.2、軟件標(biāo)準(zhǔn)化：-軟件安裝標(biāo)準(zhǔn)化：tomcat jdkmemcachedredis.-Nginx標(biāo)準(zhǔn)化：域名、配置、發(fā)布2.3、項(xiàng)目標(biāo)準(zhǔn)化：-項(xiàng)目配置標(biāo)準(zhǔn)化：S區(qū)、A區(qū)、B區(qū)、C區(qū)-支持多種項(xiàng)目

9、：tomcat、java、nodejs、Python、iosAndroid2.1、硬件標(biāo)準(zhǔn)化自動化采集2.2、軟件標(biāo)準(zhǔn)化統(tǒng)一軟件規(guī)格2.2、軟件標(biāo)準(zhǔn)化自動化安裝卸載2.2、軟件標(biāo)準(zhǔn)化服務(wù)自動管理2.2、Nginx標(biāo)準(zhǔn)化自動配置300域名3、項(xiàng)目發(fā)布自動化體系3.1、代碼發(fā)布系統(tǒng)-灰度發(fā)布-分區(qū)發(fā)布：泳道發(fā)布3.2、配置發(fā)布系統(tǒng)-發(fā)布配置信息-集群協(xié)作：Solr、Kafka3.3、原子指令-系統(tǒng)級操作-系統(tǒng)操作日志4、服務(wù)治理體系服務(wù)健康狀態(tài)檢測分布式任務(wù)調(diào)度（Schedule）調(diào)用鏈分析（Cat）實(shí)時(shí)日志監(jiān)測（雷達(dá)系統(tǒng)）API質(zhì)量治理（APIWater)SQL質(zhì)量治理（Monyog）4.1、服務(wù)健康狀態(tài)檢測4.2、分布式任務(wù)調(diào)度Schedule分布式調(diào)度中心：基于Mina分布式協(xié)調(diào)選擇服務(wù)的單點(diǎn)調(diào)度多點(diǎn)服務(wù)failover長時(shí)間任務(wù)斷點(diǎn)續(xù)傳任務(wù)依賴調(diào)度4.3、調(diào)用鏈分析Cat4.4、實(shí)時(shí)日志監(jiān)測（雷達(dá)系統(tǒng)）實(shí)時(shí)日志查看歷史日志分析用戶或IP追蹤日志統(tǒng)計(jì)4.4