服務(wù)器反入侵場景的混沌工程實(shí)踐

1、技術(shù)創(chuàng)新，變革未來百萬級服務(wù)器反入侵場景的混沌工程實(shí)踐目錄介紹反入侵洋蔥系統(tǒng)及面臨的挑戰(zhàn)復(fù)雜規(guī)模下的質(zhì)量建設(shè)思路反入侵場景下的混沌實(shí)踐總結(jié)展望什么叫“入侵”未經(jīng)授權(quán)獲取敏感數(shù)據(jù)（如關(guān)系鏈信息， 用戶信息）篡改數(shù)據(jù)（如惡意刪除，給自己充錢，主頁篡改）控制資產(chǎn)（讓服務(wù)器對外發(fā)起ddos、當(dāng)作滲透其它目標(biāo)的跳板、 跑個比特幣挖礦程序等）0day/漏洞/弱口令/爆破管理系統(tǒng)敏感數(shù)據(jù)庫業(yè)務(wù)服務(wù)提權(quán)、掃描、爆破反連從歷史入侵case出發(fā)騰訊云上服務(wù)被植入ddos木馬騰訊某服務(wù)redis端口對外未鑒權(quán)， 被植入木馬外網(wǎng)ssh爆破登陸并植入DDOS木馬DDOS木馬惡意外連通過域名獲取外網(wǎng)ipRedis端口對外

2、Cron文件注入Cron定時執(zhí)行惡意命令，下載挖礦木馬木馬外連國外所有的入侵動作，背后都能看到一條完整的行為鏈路，在鏈路中的關(guān)鍵環(huán)節(jié)層層設(shè)防，是反入侵的基本。反入侵洋蔥系統(tǒng)反入 侵入侵發(fā) 現(xiàn)安全加 固入侵回 溯羅卡定律：凡兩個物體接觸，必會產(chǎn)生轉(zhuǎn)移現(xiàn)象面臨的挑戰(zhàn)盤子大：百萬級服務(wù)器業(yè)務(wù)眾多：各種應(yīng)用/第三方軟件，自研服 務(wù)，安全意識網(wǎng)絡(luò)復(fù)雜：生產(chǎn)環(huán)境，合作區(qū)，騰訊云，隔 離帶反入侵系統(tǒng)的有效性（質(zhì)量）至關(guān)重要復(fù)雜規(guī)模下的質(zhì)量建設(shè)思路指標(biāo)梳理指標(biāo)埋點(diǎn)指標(biāo)分析異常處理場景開發(fā)確定能100%覆蓋所 有異常場景?復(fù)雜規(guī)模下的質(zhì)量建設(shè)思路入侵對抗：藍(lán)軍/tsrc白帽子/黑客模擬入侵撥測故障測試演習(xí)系統(tǒng)質(zhì)

3、量建設(shè)：有 效覆蓋、有效發(fā)現(xiàn)混沌實(shí)驗(yàn)正向系統(tǒng)質(zhì)量建設(shè)“負(fù)反饋”系統(tǒng)質(zhì)量建設(shè) - 實(shí)時質(zhì)量大盤實(shí)時質(zhì)量大盤： 用于實(shí)時表述整個客戶端系統(tǒng)有效覆蓋率的健康度指標(biāo)，以及異 常分類統(tǒng)計(jì)占比輸出；實(shí)時質(zhì)量大盤異常詳情，匯總統(tǒng)計(jì)資產(chǎn)管理實(shí)時資產(chǎn)大盤指標(biāo)埋點(diǎn)指標(biāo)梳理，采集上報(bào)在線數(shù)據(jù)洋蔥agent在線心跳實(shí)時分級分析模型異常分級，指標(biāo)分類發(fā)布平臺/研發(fā)數(shù)據(jù)打通，異常修復(fù)系統(tǒng)質(zhì)量建設(shè) 異常分級分級原則：區(qū)分運(yùn)維關(guān)注和開發(fā)關(guān)注，影響嚴(yán)重程度分級目的：指標(biāo)聚合，突出高風(fēng)險性異常；運(yùn)維關(guān)注部分，可直接打通發(fā)布平臺自動修復(fù)運(yùn)營指標(biāo)梳理定義指標(biāo)分類定義異常分級實(shí)時分析分級 模型需要靠人工介入梳理定義，并持續(xù)更新迭代系統(tǒng)

4、質(zhì)量建設(shè) - 異常自動修復(fù)與輸出實(shí)時大盤數(shù)據(jù)實(shí)時分級分析模型發(fā)布平臺任務(wù)管理Svr性能問題/BUG洋蔥agent綜合報(bào)表展示監(jiān)控告警自動生成修復(fù)任務(wù)任務(wù)下發(fā)指標(biāo)更新研發(fā)同學(xué)運(yùn)維同學(xué)運(yùn)維同學(xué)指標(biāo)新增開發(fā)測試發(fā)布新場景需求混沌實(shí)驗(yàn)：反哺系統(tǒng)質(zhì)量建設(shè)有效覆蓋有效策略 分析模型有效發(fā)現(xiàn)實(shí)時質(zhì)量大盤混沌實(shí)驗(yàn)質(zhì)量建設(shè) 反哺系統(tǒng)反入侵場景下的混沌實(shí)踐混沌實(shí)驗(yàn)有效發(fā)現(xiàn)模擬入侵撥測入侵對抗有效覆蓋故障測試反入侵場景下的混沌實(shí)踐 故障測試方法客戶端agent低版本插件未部署接入切換后端接入分析系統(tǒng)機(jī)器高負(fù)載主機(jī)故障雪進(jìn)程退出主機(jī)故障崩演練反入侵場景下的混沌實(shí)踐 故障測試方法框架agentconnAnalysisT

5、ask-mgr集群化（深圳區(qū)，上海區(qū)，測試區(qū)等）集群化（深圳區(qū)，上海區(qū)，測試區(qū)等）集群化（運(yùn)營區(qū)，測試區(qū)等）AgentAgentSocAgentCpu高負(fù)載工具暫停特定服務(wù)工具Agent組件刪除Agent低版本下發(fā)正常/異常流量發(fā)送所有的服務(wù)器，包括業(yè)務(wù)服務(wù)器，和洋蔥系統(tǒng)后臺服務(wù)器，都安裝有洋蔥agent反入侵洋蔥系統(tǒng)，設(shè)計(jì)有任務(wù)服務(wù)，可以向任意agent下發(fā)任務(wù)執(zhí)行；通過任務(wù)通道，可以下發(fā)任何特定引入故障的工具并執(zhí)行，從而達(dá)到故障注入的效果；反入侵場景下的混沌實(shí)踐 模擬入侵模擬入侵撥測，是混沌實(shí)驗(yàn)在安全場景下，旨在策略場景反向驗(yàn)證，和反入侵系 統(tǒng)質(zhì)量驗(yàn)證的一種實(shí)驗(yàn)方法。模擬入侵撥測，具備以特

6、征：1、覆蓋所有現(xiàn)網(wǎng)提供服務(wù)的策略場景2、黑盒實(shí)驗(yàn)，周期性觸發(fā)，自動化驗(yàn)證測試結(jié)果3、撥測數(shù)據(jù)全鏈路日志染色落地模擬入侵撥測模擬入侵攻擊洋蔥數(shù)據(jù)采集傳輸行為檢測結(jié)果撥測系統(tǒng)策略場景分析入侵行為檢測撥測結(jié)果輸出模擬入侵行為全鏈路旁路實(shí)時質(zhì)量大盤策略優(yōu)化模擬入侵撥測效果與作用： 歷史上發(fā)現(xiàn)現(xiàn)網(wǎng)環(huán)境中，多起測試監(jiān)控未覆蓋場景下，策略和質(zhì)量問題（發(fā)布前未知），挖出了不少引起異常波動的隱患因素入侵對抗入侵對抗，是混沌實(shí)驗(yàn)在安全場景下的一種實(shí)驗(yàn)方法，實(shí)驗(yàn)對整個安全系統(tǒng)的入侵有效發(fā)現(xiàn) 進(jìn)行驗(yàn)證,，目的是檢驗(yàn)在真實(shí)攻擊中縱深防御能力、告警運(yùn)營質(zhì)量、應(yīng)急處置能力，以此發(fā) 現(xiàn)系統(tǒng)入侵?jǐn)?shù)據(jù)采集、策略建設(shè)中的薄弱點(diǎn)和

7、漏水，然后推動系統(tǒng)完善和改進(jìn)。入侵對抗實(shí)驗(yàn)，主要分下面兩個角度：1、內(nèi)部藍(lán)軍演習(xí)對抗（類似實(shí)際入侵，非策略驗(yàn)證）；2、tsrc（白帽子）/實(shí)際入侵入侵對抗：藍(lán)軍/白帽子/黑客以獲取服務(wù)器或數(shù)據(jù)控制權(quán)限為目標(biāo)的完整攻擊演習(xí)，或者實(shí)際入侵行為；入侵對抗閉環(huán)獲取立足點(diǎn)擴(kuò)大控制權(quán)數(shù)據(jù)竊取實(shí)際攻擊行為鏈洋蔥入侵檢測應(yīng)急響應(yīng)數(shù)據(jù)采集傳輸入侵行為檢測檢測結(jié)果入侵告警追溯定性入侵止損供給鏈溯源藍(lán)軍/白帽子攻擊鏈同步新采集檢測需求實(shí)時質(zhì)量大盤策略優(yōu)化入侵對抗閉環(huán)完整驗(yàn)證入侵檢測全流程有效性每次漏水或異常，都能給入侵發(fā)現(xiàn) 帶來新的場景知識和補(bǔ)充有效發(fā)現(xiàn)系統(tǒng)薄弱點(diǎn)和隱患，并能 推動短板補(bǔ)齊總結(jié)與展望總結(jié)回顧本次介紹了反入侵相關(guān)的背景，以及反入侵洋蔥系統(tǒng)在質(zhì)量建設(shè)方面的思路和推進(jìn)方法。從反入侵場景下質(zhì)量建 設(shè)的出發(fā)，看待分布式系統(tǒng)的質(zhì)量建設(shè)，需要從正反兩個方向入手，動態(tài)互補(bǔ)，才能不停推進(jìn)系統(tǒng)的穩(wěn)定和有效；1）正向質(zhì)量建設(shè)：解決可預(yù)知的可能出現(xiàn)異常的監(jiān)控和優(yōu)化，沉淀了復(fù)雜系統(tǒng)規(guī)模下實(shí)時質(zhì)量大盤建設(shè)的思路和方法2）反向質(zhì)量建設(shè)：通過混沌實(shí)驗(yàn)，從系統(tǒng)的目標(biāo)場景觸發(fā)，檢驗(yàn)在故障，或者現(xiàn)實(shí)非預(yù)知情況下，是否能夠完整 的實(shí)現(xiàn)目標(biāo)，從而