SRE Google運(yùn)維解密（中文版）

SREGoogle運(yùn)維解密目錄\h第Ⅰ部分概覽\h第1章介紹\h系統(tǒng)管理員模式\hGoogle的解決之道：SRE\hSRE方法論\h確保長(zhǎng)期關(guān)注研發(fā)工作\h在保障服務(wù)SLO的前提下最大化迭代速度\h監(jiān)控系統(tǒng)\h應(yīng)急事件處理\h變更管理\h需求預(yù)測(cè)和容量規(guī)劃\h資源部署\h效率與性能\h小結(jié)\h第2章Google生產(chǎn)環(huán)境：SRE視角\h硬件\h管理物理服務(wù)器的系統(tǒng)管理軟件\h管理物理服務(wù)器\h存儲(chǔ)\h網(wǎng)絡(luò)\h其他系統(tǒng)軟件\h分布式鎖服務(wù)\h監(jiān)控與警報(bào)系統(tǒng)\h軟件基礎(chǔ)設(shè)施\h研發(fā)環(huán)境\h莎士比亞搜索：一個(gè)示范服務(wù)\h用戶(hù)請(qǐng)求的處理過(guò)程\h任務(wù)和數(shù)據(jù)的組織方式\h第Ⅱ部分指導(dǎo)思想\h第3章?lián)肀эL(fēng)險(xiǎn)\h管理風(fēng)險(xiǎn)\h度量服務(wù)的風(fēng)險(xiǎn)\h服務(wù)的風(fēng)險(xiǎn)容忍度\h辨別消費(fèi)者服務(wù)的風(fēng)險(xiǎn)容忍度\h基礎(chǔ)設(shè)施服務(wù)的風(fēng)險(xiǎn)容忍度\h使用錯(cuò)誤預(yù)算的目的注1\h錯(cuò)誤預(yù)算的構(gòu)建過(guò)程\h好處\h第4章服務(wù)質(zhì)量目標(biāo)\h服務(wù)質(zhì)量術(shù)語(yǔ)\h指標(biāo)\h目標(biāo)\h協(xié)議\h指標(biāo)在實(shí)踐中的應(yīng)用\h運(yùn)維人員和最終用戶(hù)各關(guān)心什么\h指標(biāo)的收集\h匯總\h指標(biāo)的標(biāo)準(zhǔn)化\h目標(biāo)在實(shí)踐中的應(yīng)用\h目標(biāo)的定義\h目標(biāo)的選擇\h控制手段\hSLO可以建立用戶(hù)預(yù)期\h協(xié)議在實(shí)踐中的應(yīng)用\h第5章減少瑣事\h瑣事的定義\h為什么瑣事越少越好\h什么算作工程工作\h瑣事繁多是不是一定不好\h小結(jié)\h第6章分布式系統(tǒng)的監(jiān)控\h術(shù)語(yǔ)定義\h為什么要監(jiān)控\h對(duì)監(jiān)控系統(tǒng)設(shè)置合理預(yù)期\h現(xiàn)象與原因\h黑盒監(jiān)控與白盒監(jiān)控\h4個(gè)黃金指標(biāo)\h關(guān)于長(zhǎng)尾問(wèn)題\h度量指標(biāo)時(shí)采用合適的精度\h簡(jiǎn)化，直到不能再簡(jiǎn)化\h將上述理念整合起來(lái)\h監(jiān)控系統(tǒng)的長(zhǎng)期維護(hù)\hBigtableSRE：警報(bào)過(guò)多的案例\hGmail：可預(yù)知的、可腳本化的人工干預(yù)\h長(zhǎng)跑\h小結(jié)\h第7章Google的自動(dòng)化系統(tǒng)的演進(jìn)\h自動(dòng)化的價(jià)值\h一致性\h平臺(tái)性\h修復(fù)速度更快\h行動(dòng)速度更快\h節(jié)省時(shí)間\h自動(dòng)化對(duì)GoogleSRE的價(jià)值\h自動(dòng)化的應(yīng)用案例\hGoogleSRE的自動(dòng)化使用案例\h自動(dòng)化分類(lèi)的層次結(jié)構(gòu)\h讓自己脫離工作：自動(dòng)化所有的東西\h舒緩疼痛：將自動(dòng)化應(yīng)用到集群上線(xiàn)中\(zhòng)h使用Prodtest檢測(cè)不一致情況\h冪等地解決不一致情況\h專(zhuān)業(yè)化傾向\h以服務(wù)為導(dǎo)向的集群上線(xiàn)流程\hBorg：倉(cāng)庫(kù)規(guī)模計(jì)算機(jī)的誕生\h可靠性是最基本的功能\h建議\h第8章發(fā)布工程\h發(fā)布工程師的角色\h發(fā)布工程哲學(xué)\h自服務(wù)模型\h追求速度\h密閉性\h強(qiáng)調(diào)策略和流程\h持續(xù)構(gòu)建與部署\h構(gòu)建\h分支\h測(cè)試\h打包\hRapid系統(tǒng)\h部署\h配置管理\h小結(jié)\h不僅僅只對(duì)Google有用\h一開(kāi)始就進(jìn)行發(fā)布工程\h第9章簡(jiǎn)單化\h系統(tǒng)的穩(wěn)定性與靈活性\h乏味是一種美德\h我絕對(duì)不放棄我的代碼\h“負(fù)代碼行”作為一個(gè)指標(biāo)\h最小API\h模塊化\h發(fā)布的簡(jiǎn)單化\h小結(jié)\h第Ⅲ部分具體實(shí)踐\h第10章基于時(shí)間序列數(shù)據(jù)進(jìn)行有效報(bào)警\hBorgmon的起源\h應(yīng)用軟件的監(jiān)控埋點(diǎn)\h監(jiān)控指標(biāo)的收集\h時(shí)間序列數(shù)據(jù)的存儲(chǔ)\h標(biāo)簽與向量\hBorg規(guī)則計(jì)算\h報(bào)警\h監(jiān)控系統(tǒng)的分片機(jī)制\h黑盒監(jiān)控\h配置文件的維護(hù)\h十年之后\h第11章on-call輪值\h介紹\hon-call工程師的一天\hon-call工作平衡\h數(shù)量上保持平衡\h質(zhì)量上保持平衡\h補(bǔ)貼措施\h安全感\(zhòng)h避免運(yùn)維壓力過(guò)大\h運(yùn)維壓力過(guò)大\h奸詐的敵人—運(yùn)維壓力不夠\h小結(jié)\h第12章有效的故障排查手段\h理論\h實(shí)踐\h故障報(bào)告\h定位\h檢查\h診斷\h測(cè)試和修復(fù)\h神奇的負(fù)面結(jié)果\h治愈\h案例分析\h使故障排查更簡(jiǎn)單\h小結(jié)\h第13章緊急事件響應(yīng)\h當(dāng)系統(tǒng)出現(xiàn)問(wèn)題時(shí)怎么辦\h測(cè)試導(dǎo)致的緊急事故\h細(xì)節(jié)\h響應(yīng)\h事后總結(jié)\h變更部署帶來(lái)的緊急事故\h細(xì)節(jié)\h事故響應(yīng)\h事后總結(jié)\h流程導(dǎo)致的嚴(yán)重事故\h細(xì)節(jié)\h災(zāi)難響應(yīng)\h事后總結(jié)\h所有的問(wèn)題都有解決方案\h向過(guò)去學(xué)習(xí)，而不是重復(fù)它\h為事故保留記錄\h提出那些大的，甚至不可能的問(wèn)題：假如……\h鼓勵(lì)主動(dòng)測(cè)試\h小結(jié)\h第14章緊急事故管理\h無(wú)流程管理的緊急事故\h對(duì)這次無(wú)流程管理的事故的剖析\h過(guò)于關(guān)注技術(shù)問(wèn)題\h溝通不暢\h不請(qǐng)自來(lái)\h緊急事故的流程管理要素\h嵌套式職責(zé)分離\h控制中心\h實(shí)時(shí)事故狀態(tài)文檔\h明確公開(kāi)的職責(zé)交接\h一次流程管理良好的事故\h什么時(shí)候?qū)ν庑际鹿蔦h小結(jié)\h第15章事后總結(jié)：從失敗中學(xué)習(xí)\hGoogle的事后總結(jié)哲學(xué)\h協(xié)作和知識(shí)共享\h建立事后總結(jié)文化\h小結(jié)以及不斷優(yōu)化\h第16章跟蹤故障\hEscalator\hOutalator\h聚合\h加標(biāo)簽\h分析\h未預(yù)料到的好處\h第17章測(cè)試可靠性\h軟件測(cè)試的類(lèi)型\h傳統(tǒng)測(cè)試\h生產(chǎn)測(cè)試\h創(chuàng)造一個(gè)構(gòu)建和測(cè)試環(huán)境\h大規(guī)模測(cè)試\h測(cè)試大規(guī)模使用的工具\(yùn)h針對(duì)災(zāi)難的測(cè)試\h對(duì)速度的渴求\h發(fā)布到生產(chǎn)環(huán)境\h允許測(cè)試失敗\h集成\h生產(chǎn)環(huán)境探針\h小結(jié)\h第18章SRE部門(mén)中的軟件工程實(shí)踐\h為什么軟件工程項(xiàng)目對(duì)SRE很重要\hAuxon案例分析：項(xiàng)目背景和要解決的問(wèn)題\h傳統(tǒng)的容量規(guī)劃方法\h解決方案：基于意圖的容量規(guī)劃\h基于意圖的容量規(guī)劃\h表達(dá)產(chǎn)品意圖的先導(dǎo)條件\hAuxon簡(jiǎn)介\h需求和實(shí)現(xiàn)：成功和不足\h提升了解程度，推進(jìn)采用率\h團(tuán)隊(duì)內(nèi)部組成\h在SRE團(tuán)隊(duì)中培養(yǎng)軟件工程風(fēng)氣\h在SRE團(tuán)隊(duì)中建立起軟件工程氛圍：招聘與開(kāi)發(fā)時(shí)間\h做到這一點(diǎn)\h小結(jié)\h第19章前端服務(wù)器的負(fù)載均衡\h有時(shí)候硬件并不能解決問(wèn)題\h使用DNS進(jìn)行負(fù)載均衡\h負(fù)載均衡：虛擬IP\h第20章數(shù)據(jù)中心內(nèi)部的負(fù)載均衡系統(tǒng)\h理想情況\h識(shí)別異常任務(wù)：流速控制和跛腳鴨任務(wù)\h異常任務(wù)的簡(jiǎn)單應(yīng)對(duì)辦法：流速控制\h一個(gè)可靠的識(shí)別異常任務(wù)的方法：跛腳鴨狀態(tài)\h利用劃分子集限制連接池大小\h選擇合適的子集\h子集選擇算法一：隨機(jī)選擇\h子集選擇算法二：確定性算法\h負(fù)載均衡策略\h簡(jiǎn)單輪詢(xún)算法\h最閑輪詢(xún)策略\h加權(quán)輪詢(xún)策略\h第21章應(yīng)對(duì)過(guò)載\hQPS陷阱\h給每個(gè)用戶(hù)設(shè)置限制\h客戶(hù)端側(cè)的節(jié)流機(jī)制\h重要性\h資源利用率信號(hào)\h處理過(guò)載錯(cuò)誤\h決定何時(shí)重試\h連接造成的負(fù)載\h小結(jié)\h第22章處理連鎖故障\h連鎖故障產(chǎn)生的原因和如何從設(shè)計(jì)上避免\h服務(wù)器過(guò)載\h資源耗盡\h服務(wù)不可用\h防止軟件服務(wù)器過(guò)載\h隊(duì)列管理\h流量拋棄和優(yōu)雅降級(jí)\h重試\h請(qǐng)求延遲和截止時(shí)間\h慢啟動(dòng)和冷緩存\h保持調(diào)用棧永遠(yuǎn)向下\h連鎖故障的觸發(fā)條件\h進(jìn)程崩潰\h進(jìn)程更新\h新的發(fā)布\h自然增長(zhǎng)\h計(jì)劃中或計(jì)劃外的不可用\h連鎖故障的測(cè)試\h測(cè)試直到出現(xiàn)故障，還要繼續(xù)測(cè)試\h測(cè)試最常用的客戶(hù)端\h測(cè)試非關(guān)鍵性后端\h解決連鎖故障的立即步驟\h增加資源\h停止健康檢查導(dǎo)致的任務(wù)死亡\h重啟軟件服務(wù)器\h丟棄流量\h進(jìn)入降級(jí)模式\h消除批處理負(fù)載\h消除有害的流量\h小結(jié)\h第23章管理關(guān)鍵狀態(tài)：利用分布式共識(shí)來(lái)提高可靠性\h使用共識(shí)系統(tǒng)的動(dòng)力：分布式系統(tǒng)協(xié)調(diào)失敗\h案例1：腦裂問(wèn)題\h案例2：需要人工干預(yù)的災(zāi)備切換\h案例3：有問(wèn)題的小組成員算法\h分布式共識(shí)是如何工作的\hPaxos概要：協(xié)議示例\h分布式共識(shí)的系統(tǒng)架構(gòu)模式\h可靠的復(fù)制狀態(tài)機(jī)\h可靠的復(fù)制數(shù)據(jù)存儲(chǔ)和配置存儲(chǔ)\h使用領(lǐng)頭人選舉機(jī)制實(shí)現(xiàn)高可用的處理系統(tǒng)\h分布式協(xié)調(diào)和鎖服務(wù)\h可靠的分布式隊(duì)列和消息傳遞\h分布式共識(shí)系統(tǒng)的性能問(wèn)題\h復(fù)合式Paxos：消息流過(guò)程詳解\h應(yīng)對(duì)大量的讀操作\h法定租約\h分布式共識(shí)系統(tǒng)的性能與網(wǎng)絡(luò)延遲\h快速Paxos協(xié)議：性能優(yōu)化\h穩(wěn)定的領(lǐng)頭人機(jī)制\h批處理\h磁盤(pán)訪(fǎng)問(wèn)\h分布式共識(shí)系統(tǒng)的部署\h副本的數(shù)量\h副本的位置\h容量規(guī)劃和負(fù)載均衡\h對(duì)分布式共識(shí)系統(tǒng)的監(jiān)控\h小結(jié)\h第24章分布式周期性任務(wù)系統(tǒng)\hCron\h介紹\h可靠性\hCron任務(wù)和冪等性\h大規(guī)模Cron系統(tǒng)\h對(duì)基礎(chǔ)設(shè)施的擴(kuò)展\h對(duì)需求的擴(kuò)展\hGoogleCron系統(tǒng)的構(gòu)建過(guò)程\h跟蹤C(jī)ron任務(wù)的狀態(tài)\hPaxos協(xié)議的使用\h領(lǐng)頭人角色和追隨者角色\h保存狀態(tài)\h運(yùn)維大型Cron系統(tǒng)\h小結(jié)\h第25章數(shù)據(jù)處理流水線(xiàn)\h流水線(xiàn)設(shè)計(jì)模式的起源\h簡(jiǎn)單流水線(xiàn)設(shè)計(jì)模式與大數(shù)據(jù)\h周期性流水線(xiàn)模式的挑戰(zhàn)\h工作分發(fā)不均造成的問(wèn)題\h分布式環(huán)境中周期性數(shù)據(jù)流水線(xiàn)的缺點(diǎn)\h監(jiān)控周期性流水線(xiàn)的問(wèn)題\h驚群效應(yīng)\h摩爾負(fù)載模式\hGoogleWorkflow簡(jiǎn)介\hWorkflow是模型—視圖—控制器（MVC）模式\hWorkflow中的執(zhí)行階段\hWorkflow正確性保障\h保障業(yè)務(wù)的持續(xù)性\h小結(jié)\h第26章數(shù)據(jù)完整性：讀寫(xiě)一致\h數(shù)據(jù)完整性的強(qiáng)需求\h提供超高的數(shù)據(jù)完整性的策略\h備份與存檔\h云計(jì)算環(huán)境下的需求\h保障數(shù)據(jù)完整性和可用性：GoogleSRE的目標(biāo)\h數(shù)據(jù)完整性是手段，數(shù)據(jù)可用性是目標(biāo)\h交付一個(gè)恢復(fù)系統(tǒng)，而非備份系統(tǒng)\h造成數(shù)據(jù)丟失的事故類(lèi)型\h維護(hù)數(shù)據(jù)完整性的深度和廣度的困難之處\hGoogleSRE保障數(shù)據(jù)完整性的手段\h24種數(shù)據(jù)完整性的事故組合\h第一層：軟刪除\h第二層：備份和相關(guān)的恢復(fù)方法\h額外一層：復(fù)制機(jī)制\h1Tvs.1E：存儲(chǔ)更多數(shù)據(jù)沒(méi)那么簡(jiǎn)單\h第三層：早期預(yù)警\h確保數(shù)據(jù)恢復(fù)策略可以正常工作\h案例分析\hGmail—2011年2月：從GTape上恢復(fù)數(shù)據(jù)（磁帶）\hGoogleMusic—2012年3月：一次意外刪除事故的檢測(cè)過(guò)程\hSRE的基本理念在數(shù)據(jù)完整性上的應(yīng)用\h保持初學(xué)者的心態(tài)\h信任但要驗(yàn)證\h不要一廂情愿\h縱深防御\h小結(jié)\h第27章可靠地進(jìn)行產(chǎn)品的大規(guī)模發(fā)布\h發(fā)布協(xié)調(diào)工程師\h發(fā)布協(xié)調(diào)工程師的角色\h建立發(fā)布流程\h發(fā)布檢查列表\h推動(dòng)融合和簡(jiǎn)化\h發(fā)布未知的產(chǎn)品\h起草一個(gè)發(fā)布檢查列表\h架構(gòu)與依賴(lài)\h集成\h容量規(guī)劃\h故障模式\h客戶(hù)端行為\h流程與自動(dòng)化\h開(kāi)發(fā)流程\h外部依賴(lài)\h發(fā)布計(jì)劃\h可靠發(fā)布所需要的方法論\h灰度和階段性發(fā)布\h功能開(kāi)關(guān)框架\h應(yīng)對(duì)客戶(hù)端濫用行為\h過(guò)載行為和壓力測(cè)試\hLCE的發(fā)展\hLCE檢查列表的變遷\hLCE沒(méi)有解決的問(wèn)題\h小結(jié)\h第Ⅳ部分管理\h第28章迅速培養(yǎng)SRE加入on-call\h新的SRE已經(jīng)招聘到了，接下來(lái)怎么辦\h培訓(xùn)初期：重體系，而非混亂\h系統(tǒng)性、累積型的學(xué)習(xí)方式\h目標(biāo)性強(qiáng)的項(xiàng)目工作，而非瑣事\h培養(yǎng)反向工程能力和隨機(jī)應(yīng)變能力\h反向工程：弄明白系統(tǒng)如何工作\h統(tǒng)計(jì)學(xué)和比較性思維：在壓力下堅(jiān)持科學(xué)方法論\h隨機(jī)應(yīng)變的能力：當(dāng)意料之外的事情發(fā)生時(shí)怎么辦\h將知識(shí)串聯(lián)起來(lái)：反向工程某個(gè)生產(chǎn)環(huán)境服務(wù)\h有抱負(fù)的on-call工程師的5個(gè)特點(diǎn)\h對(duì)事故的渴望：事后總結(jié)的閱讀和書(shū)寫(xiě)\h故障處理分角色演習(xí)\h破壞真的東西，并且修復(fù)它們\h維護(hù)文檔是學(xué)徒任務(wù)的一部分\h盡早、盡快見(jiàn)習(xí)on-call\hon-call之后：通過(guò)培訓(xùn)的儀式感，以及日后的持續(xù)教育\h小結(jié)\h第29章處理中斷性任務(wù)\h管理運(yùn)維負(fù)載\h如何決策對(duì)中斷性任務(wù)的處理策略\h不完美的機(jī)器\h流狀態(tài)\h將一件事情做好\h實(shí)際一點(diǎn)的建議\h減少中斷\h第30章通過(guò)嵌入SRE的方式幫助團(tuán)隊(duì)從運(yùn)維過(guò)載中恢復(fù)\h第一階段：了解服務(wù)，了解上下文\h確定最大的壓力來(lái)源\h找到導(dǎo)火索\h第二階段：分享背景知識(shí)\h書(shū)寫(xiě)一個(gè)好的事后總結(jié)作為示范\h將緊急事件按類(lèi)型排序\h第三階段：主導(dǎo)改變\h從基礎(chǔ)開(kāi)始\h獲取團(tuán)隊(duì)成員的幫助\h解釋你的邏輯推理過(guò)程\h提出引導(dǎo)性問(wèn)題\h小結(jié)\h第31章SRE與其他團(tuán)隊(duì)的溝通與協(xié)作\h溝通：生產(chǎn)會(huì)議\h議程\h出席人員\hSRE的內(nèi)部協(xié)作\h團(tuán)隊(duì)構(gòu)成\h高效工作的技術(shù)\hSRE內(nèi)部的協(xié)作案例分析：Viceroy\hViceroy的誕生\h所面臨的挑戰(zhàn)\h建議\hSRE與其他部門(mén)之間的協(xié)作\h案例分析：將DFP遷移到F1\h小結(jié)\h第32章SRE參與模式的演進(jìn)歷程\hSRE參與模式：是什么、怎么樣以及為什么\hPRR模型\hSRE參與模型\h替代性支持\hPRR：簡(jiǎn)單PRR模型\h參與\h分析\h改進(jìn)和重構(gòu)\h培訓(xùn)\h“接手”服務(wù)\h持續(xù)改進(jìn)\h簡(jiǎn)單PRR模型的演進(jìn)：早期參與模型\h早期參與模型的適用對(duì)象\h早期參與模型的優(yōu)勢(shì)\h不斷發(fā)展的服務(wù)：框架和SRE平臺(tái)\h經(jīng)驗(yàn)教訓(xùn)\h影響SRE的外部因素\h結(jié)構(gòu)化的解決方案：框架\h新服務(wù)和管理優(yōu)勢(shì)\h小結(jié)\h第Ⅴ部分結(jié)束語(yǔ)\h第33章其他行業(yè)的實(shí)踐經(jīng)驗(yàn)\h有其他行業(yè)背景的資深SRE\h災(zāi)難預(yù)案與演習(xí)\h從組織架構(gòu)層面堅(jiān)持不懈地對(duì)安全進(jìn)行關(guān)注\h關(guān)注任何細(xì)節(jié)\h冗余容量\h模擬以及進(jìn)行線(xiàn)上災(zāi)難演習(xí)\h培訓(xùn)與考核\h對(duì)詳細(xì)的需求收集和系統(tǒng)設(shè)計(jì)的關(guān)注\h縱深防御\h事后總結(jié)的文化HYPERLINK\l"Jiang_Zhong