中小企業(yè)IT運(yùn)維的互聯(lián)網(wǎng)之路

1、中小企業(yè)IT運(yùn)維的互聯(lián)網(wǎng)之路技術(shù)創(chuàng)新，變革未來(lái)議程 一、運(yùn)維成長(zhǎng)的道、術(shù)、法 二、運(yùn)維環(huán)境的 A、B、C、D 三、傳統(tǒng)運(yùn)維 To 互聯(lián)網(wǎng)四、平安運(yùn)維的一些實(shí)踐經(jīng)驗(yàn)一、運(yùn)維成長(zhǎng)的道、術(shù)、法 運(yùn)維&不完全定義 運(yùn)維對(duì)象寬泛 數(shù)據(jù)中心存儲(chǔ)、計(jì)算、網(wǎng)絡(luò) 操作系統(tǒng)分布式中間件(平臺(tái)中間件)網(wǎng)絡(luò)出口CDN運(yùn)維職能寬泛 管理 or 技術(shù)運(yùn)維 or 研發(fā)運(yùn)維&不完全定義 運(yùn)維環(huán)境復(fù)雜：與產(chǎn)品息息相關(guān)（vmvare、kvm）與廠商息息相關(guān)（各種廠商、各種運(yùn)營(yíng)商） 與開(kāi)發(fā)息息相關(guān)（面對(duì)開(kāi)發(fā)，你有態(tài)度？） 與組織息息相關(guān)運(yùn)維&不完全定義 Who r u？系統(tǒng)工程師、網(wǎng)絡(luò)工程師、運(yùn)營(yíng)商工程師、 云工程師、What r

2、 u doing？ 技術(shù)專家、管理專員運(yùn)維的道、術(shù)、法 道 掌握基礎(chǔ)原理，不變應(yīng)萬(wàn)變基礎(chǔ)原理在哪里？不變的，很少變的就是基 礎(chǔ)原理操作系統(tǒng)發(fā)行版在變，操作系統(tǒng)內(nèi)核卻穩(wěn)定 網(wǎng)絡(luò)設(shè)備型號(hào)層出不盡，以太網(wǎng)/tcp/ip/http 協(xié)議卻很穩(wěn)定道 大道隱于市而爛熟于心 不別隨意跟風(fēng)，專注于一類 redhat、centos、ubuntuvmvare、kvmcisco、juniper術(shù)術(shù) 術(shù)者多變而不濫取之 法 這個(gè)世界不僅僅只有道與術(shù)，還有法法枯燥乏味而不得其解 道、術(shù)、法，明白之后，下海 二、運(yùn)維環(huán)境的A、B、C、D A，運(yùn)維&運(yùn)營(yíng) 運(yùn)營(yíng)：業(yè)務(wù)相關(guān)，內(nèi)容運(yùn)營(yíng)、活動(dòng)運(yùn)營(yíng)、用戶運(yùn) 營(yíng)，維持產(chǎn)品、服務(wù)生命力

3、?；ヂ?lián)網(wǎng)的運(yùn)營(yíng)屬于 IT，傳統(tǒng)的運(yùn)營(yíng)屬于業(yè)務(wù)。運(yùn)維：偏重技術(shù)，服務(wù)交付、事件處理、監(jiān)控巡 檢，保障系統(tǒng)本身穩(wěn)定性。B，組織環(huán)境 小微組織：保姆式運(yùn)維。所有與電腦相關(guān)的都與 你有關(guān)。亂術(shù)而無(wú)道法，上升空間狹窄。作為一 種業(yè)余興趣是的聊以慰藉。中小組織：創(chuàng)意式運(yùn)維。抱團(tuán)業(yè)務(wù)，承上啟下， 背鍋之最多，受屈之最冤。業(yè)務(wù)驅(qū)動(dòng)-道術(shù)法， 管理重于技術(shù)。平臺(tái)級(jí)工具解決不了或者說(shuō)無(wú)需 解決這些問(wèn)題。大型組織：平臺(tái)級(jí)運(yùn)維。業(yè)務(wù)解耦，平臺(tái)服務(wù)， 專注研發(fā)，術(shù)精道明而法嚴(yán)。C，開(kāi)發(fā)標(biāo)準(zhǔn) 無(wú)統(tǒng)一標(biāo)準(zhǔn)：各種OS，各種中間件，各種配置信息。 例如：中小企業(yè)傳統(tǒng)應(yīng)用，互聯(lián)網(wǎng)游戲行業(yè)自動(dòng)化運(yùn)維難以一步到位抽象自動(dòng)化運(yùn)維平臺(tái)，

4、動(dòng)態(tài)模塊交由小團(tuán)隊(duì)定義。標(biāo)準(zhǔn)架構(gòu)組件：良好標(biāo)準(zhǔn)規(guī)范，從開(kāi)發(fā)語(yǔ)言到架構(gòu)組件。 例如：大型金融公司，互聯(lián)網(wǎng)標(biāo)準(zhǔn)自動(dòng)化運(yùn)維較容易實(shí)現(xiàn)平臺(tái)級(jí)服務(wù)與組件（分布式數(shù)據(jù)庫(kù)、文件系統(tǒng)、負(fù)載均衡）D，傳統(tǒng)vs互聯(lián)網(wǎng)業(yè)務(wù) 傳統(tǒng)：ERP，柜面、交易系統(tǒng)，面向客戶特點(diǎn)：遺留系統(tǒng)、功能穩(wěn)定、監(jiān)管要求、影響面大，互聯(lián)網(wǎng)：2O（out of site），流量入口，渠道系統(tǒng)，面向 用戶如何將用戶轉(zhuǎn)化為客戶。特點(diǎn)：渠道類，新系統(tǒng)、需求多變、版本頻繁、故障影響 可控（分散）在截然不同的業(yè)務(wù)場(chǎng)景下產(chǎn)生了對(duì)運(yùn)維不同的要求，傳統(tǒng)、 互聯(lián)網(wǎng)運(yùn)維 ITIL vs Automation運(yùn)維，共性 系統(tǒng)上線鼓掌的是開(kāi)發(fā)，應(yīng)用宕機(jī)背鍋的是運(yùn)維

5、不出問(wèn)題的運(yùn)維是好運(yùn)維，好到老板不知道你存在業(yè)務(wù)運(yùn)維 平臺(tái)運(yùn)維 領(lǐng)域?qū)＜一ヂ?lián)網(wǎng)業(yè)務(wù)給運(yùn)維帶來(lái)的變化 傳統(tǒng)運(yùn)維方法已無(wú)法滿足互聯(lián)網(wǎng)業(yè)務(wù)飛速變 化要求互聯(lián)網(wǎng)應(yīng)用在傳統(tǒng)環(huán)境中快不起來(lái) 傳統(tǒng)應(yīng)用的穩(wěn)定性被互聯(lián)網(wǎng)打破三、傳統(tǒng)運(yùn)維 To 互聯(lián)網(wǎng) Step1：識(shí)別渠道 互聯(lián)網(wǎng)化的是業(yè)務(wù)渠道變化讓渠道飛起來(lái)，讓核心固然金湯So. 互聯(lián)網(wǎng)化的應(yīng)用是沒(méi)包袱的/p/34c0d4ea007 2民主共和與君主立憲余何Rule2：隔離核心 Restful API 提供原子服務(wù) 隔離Message Queue 實(shí)現(xiàn)異步解耦 防護(hù)核心限速是受控的Rule3：Cloud-Native App 應(yīng)用是否適合在云上運(yùn)行(cloud

6、-native App)？Factor12規(guī)范 平安APP8原則進(jìn)程無(wú)狀態(tài)化，session保存在share pool中 日志是流式事件，而不是文件去中心化，管理進(jìn)程一次性運(yùn)行在復(fù)雜的事物上試圖通過(guò)不做任何改變的將 其管理標(biāo)準(zhǔn)化，實(shí)際上是另一個(gè)過(guò)程復(fù)雜化 的開(kāi)始如果開(kāi)發(fā)不接受遺留系統(tǒng)的任何改變，互聯(lián) 網(wǎng)運(yùn)維將變成“偽”互聯(lián)網(wǎng)運(yùn)維。 Rule4：Chicken Soup for the Soul我會(huì)給你一些工具，你來(lái)承擔(dān)一些責(zé)任，鋪墊。 Dangerous Rule5：Weaken ITIL by Automation 推薦-高效運(yùn)維-“舍本求末的運(yùn)維自動(dòng)化技 術(shù)熱潮”。Shell、Python

7、編程能力是基礎(chǔ) Ansible 批量管理Docker 計(jì)算單元打包合適的工具比選擇無(wú)所不能的工具更重要四、平安運(yùn)維的一些實(shí)踐經(jīng)驗(yàn) 復(fù)雜度 多種類中間件及其海量的管理復(fù)雜度Weblogic、tomcat、apache、nginx、 keepalived無(wú)數(shù)種中間件（介質(zhì)） 2w+ instance （進(jìn)程）OS. . . .OSOSABweblogicCDEweblogicFAnBnweblogicCnProcess different: Logfile ConfigBusiness logic Ip address Domain name Load banlace Fw policy Secu

8、riyinstance 遵循軟件的配置規(guī)范，上承應(yīng)用、下接軟件，將兩者融合進(jìn)來(lái)。 未啟動(dòng)、運(yùn)行前，規(guī)范下的屬性配置文件規(guī)范易變而多樣，具有不可完全預(yù)知啟動(dòng)后、運(yùn)行時(shí)，獨(dú)立的進(jìn)程或進(jìn)程組OS. . . .OSmysqlOSerpABCDEFAnBnCnwlsredisphp libothersSoftware different: A need tomcat 7.0 B need weblogicC need other thing D install MQE install other C libmiddleware 軟件或強(qiáng)或弱的依賴于底層操作系統(tǒng)庫(kù)文件不同軟件對(duì)庫(kù)版本有不同要求，同一個(gè)OS

9、出現(xiàn)沖突軟件安裝無(wú)法簡(jiǎn)單認(rèn)同為文件復(fù)制，看不到“安裝”做了什么軟件類型太多、安裝步驟太多、一次安裝，多次使用，還不沖突 怎么做？2014年前 方案 OSInstance A Instace XSoftware AOS Instance A Instace X Software ASoftware A Instance A Instance XSoftware BInstance A Instance X OS統(tǒng)一軟件使用標(biāo)準(zhǔn)，控制種類 weblogic、tomcat、apache、nginxOS Software A InstanceSoftware BInstance OSOS 統(tǒng)一軟件使用

10、標(biāo)準(zhǔn)，控制種類（ weblogic、tomcat、apache、nginx） 統(tǒng)一實(shí)例使用標(biāo)準(zhǔn)，管理方式一致，提高運(yùn)維管理效率Software InstanceOS統(tǒng)一軟件使用標(biāo)準(zhǔn)，控制種類（ weblogic、tomcat、apache、nginx） 統(tǒng)一實(shí)例使用標(biāo)準(zhǔn)，管理方式一致，提高運(yùn)維管理效率采用大物理機(jī)器，避免虛擬化，提高資源使用率，降低底層組件維護(hù)成本ServerAdminServerAdmin 規(guī)范安裝 統(tǒng)一界面 剖析馴化 解耦隔離software depositoryOSInstallWeb ConsoleCMDBdomesticateControlappOwneragentM

11、anagement InterfaceVFSstart/stopdisable/enableaddip/deleteipEXT3weblogicFATtomcatNFSapacheDeployDirDeployDirDeployDirdeployer ServerAdmin-規(guī)范安裝 僅僅是軟件介質(zhì)規(guī)范安裝目錄 建立軟件倉(cāng)庫(kù)一次編譯多次使用(green) 統(tǒng)一安裝界面-prefix-g(thats is import)-x86 & x86_64-independent請(qǐng)相信，所有依賴全部在獨(dú)立目錄中ServerAdmin-統(tǒng)一界面 定義接口定義管理界面規(guī)范調(diào)用API(適用于一切)(環(huán)境變量、執(zhí)

12、行程序) 規(guī)范通用文件、目錄(配置、日志、應(yīng)用)審計(jì)方式-Return value-Input & output-Object Oriented,OO 封裝、繼承與多態(tài)所有軟件管理方式一致 ServerAdmin-剖析馴化 具體實(shí)現(xiàn)啟停腳本 執(zhí)行文件 環(huán)境變量引用庫(kù)(-prefix獨(dú)立) 配置目錄日志目錄 應(yīng)用目錄配置、使用、裸跑、lsof分析、拆分、link ServerAdmin-部署發(fā)布 開(kāi)放目錄 制定規(guī)則ServerAdmin 操作系統(tǒng)層（解耦、隔離）IP 跟著應(yīng)用走CPU 資源受控IO 內(nèi)存替代磁盤NET/MEM 預(yù)知，未遇ServerAdmin-IP 跟著應(yīng)用走 Listen()

13、主動(dòng)方式配置解決connect() 無(wú)法配置，hack systemCallDefault Route 降級(jí)處理，插入模塊，解決本 機(jī)訪問(wèn)本機(jī)問(wèn)題ServerAdmin-CPU 資源受控 Cpulimit 控制進(jìn)程CPU使用率ServerAdmin-IO 內(nèi)存替代磁盤 Override fsync systemCall之后。犧牲了并不重要的數(shù)據(jù)一致性,解決IO問(wèn)題內(nèi)存即磁盤，壓力測(cè)試報(bào)告印證，在930生產(chǎn) 正式環(huán)境業(yè)務(wù)高峰期，IO瓶頸不再是磁盤， 很可能是應(yīng)用程序的開(kāi)源日志框架。2014后，下一站 Docker Docker輕易解決ServerAdmin馴化過(guò)程Mesos讓計(jì)算資源得到復(fù)用（價(jià)

14、值無(wú)法估量）當(dāng)然，偏地是坑 做什么 Anything isContainerAssign bySchedulerAutomate useAPI Analysis through PALog4ADemo 什么是APP8 互聯(lián)網(wǎng)興起的時(shí)代，APP作為一種服務(wù)發(fā)布，即APP as aService；APP8是將APP構(gòu)建成Service的方法論。遵循APP8規(guī)則的APP在Padis平臺(tái)上方可如魚(yú)得水。APP即純粹邏輯計(jì)算單元，與下層MW、OS解耦，單元間同 構(gòu)無(wú)差異。APP享受到云平臺(tái)帶來(lái)的彈性擴(kuò)展、快速發(fā)布優(yōu)勢(shì)，亦即APP轉(zhuǎn)化為Service。APP8（1） 去中心APP由單個(gè)或多個(gè)Process組成，其中沒(méi)有獨(dú)立于業(yè)務(wù)邏輯的中心管理進(jìn)程。管 理類工作通過(guò)配置文件同構(gòu)或一次性配置動(dòng)作解決。配置配置信息不含有底層資源信息，例如主機(jī)名、IP；配置信息按環(huán)境類型（STG/PRD)管理，拒絕嵌入代碼。容器配置與容器介質(zhì)分離，跟著應(yīng)用走。日志流日志輸出是一條一條的消息輸出流，而不是寫(xiě)文件；日志輸出盡量與文件系統(tǒng)解 耦，可重定向到遠(yuǎn)程日志管理服務(wù)中。無(wú)狀態(tài)APP盡量做到無(wú)狀態(tài)化，將狀態(tài)信息記錄到back-service中，例如將session信 息記錄到集中的cache ser