2023微步安全AI實踐方案

微步安全AI實踐20242024AIAIAI+M絡(luò)安全AI+M絡(luò)安全AIAIAI簡介AI簡介0101什么是機(jī)器學(xué)習(xí)-檢測模型從開發(fā)到應(yīng)用什么是機(jī)器學(xué)習(xí)-檢測模型從開發(fā)到應(yīng)用人工線性增加開發(fā)時效性差不能覆蓋所有分析1000惡意樣本50條規(guī)則，比如：sh1000惡意樣本50條規(guī)則，比如：shell_exec_E‘cm’)>冰蝎webshell分析師分析師x10Webshell引擎500條規(guī)則10000惡意樣本告警未知樣本應(yīng)用自動化學(xué)習(xí)惡意樣本特征快速學(xué)習(xí)新變種樣本處理海量數(shù)據(jù)自動方案？檢測引擎告警自動方案？檢測引擎告警未知樣本機(jī)器學(xué)習(xí)模型10萬惡意樣本應(yīng)用機(jī)器學(xué)習(xí)簡單分類機(jī)器學(xué)習(xí)簡單分類成熟曲線成熟曲線01知識圖譜01自然語言處理自動駕駛汽車圖像識別人臉識別AI+網(wǎng)絡(luò)安全AI+網(wǎng)絡(luò)安全0202Gartner報告（1）：AI在安全行業(yè)的使用AI被使用在6個方向欺詐身份認(rèn)證，UEBA惡意軟件檢測分析可視化威脅檢測威脅防御?AI被使用在6個方向1.欺詐2.身份認(rèn)證，UEBA?AI被使用在6個方向1.欺詐2.身份認(rèn)證，UEBA3.惡意軟件檢測4.分析可視化5.威脅檢測6.威脅防御

紅框為Gartner指出在安全行業(yè)有應(yīng)用的分支Gartner報告（2）：AI在威脅檢測中的使用Gartner報告（2）：AI在威脅檢測中的使用AI被使用在4個檢測方向網(wǎng)絡(luò)檢測AI檢測模型異常檢測釣魚檢測Gartner報告（3）：AI在安全行業(yè)的落地情況Gartner報告（3）：AI在安全行業(yè)的落地情況 13其他應(yīng)用場景CrowdStrike對AI的定位案例（1）：微軟失陷主機(jī)檢測、失竊用戶權(quán)限檢測案例（1）：微軟失陷主機(jī)檢測、失竊用戶權(quán)限檢測惡意特征

機(jī)器學(xué)習(xí)+UEBA2017陷主機(jī)，應(yīng)用在Exchange服務(wù)器安全檢測2018戶檢測在公司內(nèi)部紅藍(lán)對抗中效果顯著16案例（2）：AzureSentinelFusionDetection案例（2）：AzureSentinelFusionDetection2018開始，微軟使用機(jī)器學(xué)習(xí)識別公有云上多步驟攻擊過程2021推基于多步驟聚合的勒索檢測爆破爆破加密軟件勒索團(tuán)伙加密軟件加密軟件黑客工具失陷主機(jī)通信異常網(wǎng)絡(luò)連接可疑PowerShell命令竊密軟件不阻止連接暗網(wǎng)其他成功案例惡意樣本檢測微軟WindowsDefenderATP使用端+云的惡意軟件檢測，云上建模，端上檢測攻擊鏈路檢測CrowdStrike使用威脅圖技術(shù)，聚合攻擊動作情報生產(chǎn)微步在線使用機(jī)器學(xué)習(xí)+威脅圖進(jìn)行病毒家族識別、攻擊手法分類等Webshell微步在線使用深度學(xué)習(xí)檢測Webshell行為分析騰訊使用UEBA對用戶安全、失陷主機(jī)、橫向移動其他成功方向異常登錄/DGA識別/弱密碼檢測/垃圾郵件識別/釣魚頁面識別/加密流量檢測AI落地挑戰(zhàn)AI落地挑戰(zhàn)0303AI的問題1-迷信盲從，場景不匹配AI的問題1-迷信盲從，場景不匹配對機(jī)器學(xué)習(xí)期望過高，期望機(jī)器學(xué)習(xí)一勞永逸解決問題依賴數(shù)據(jù)依賴規(guī)則依賴場景分析依賴成功案例度學(xué)習(xí)進(jìn)行模型的通用性升級失敗案例：使用機(jī)器學(xué)習(xí)直接識別惡意二進(jìn)制文件

機(jī)器學(xué)習(xí)行為規(guī)則文本規(guī)則情報+哈希

檢測能力構(gòu)成模型AI的問題2–黑白樣本數(shù)據(jù)收集困難AI的問題2–黑白樣本數(shù)據(jù)收集困難惡意 數(shù)百萬樣本樣本多種攻擊行為 攻擊日志惡意 多種協(xié)議多流量 種惡意模式AI的問題3-開發(fā)難度大，周期長AI的問題3-開發(fā)難度大，周期長數(shù)據(jù)收集

數(shù)據(jù)清洗模型上線

數(shù)據(jù)分析 5.訓(xùn)練模型

特征提取AI的問題4-對大數(shù)據(jù)基礎(chǔ)設(shè)施有一定依賴AI的問題4-對大數(shù)據(jù)基礎(chǔ)設(shè)施有一定依賴數(shù)據(jù)存儲ES、MongoDB、HDFS數(shù)據(jù)分析特征工程數(shù)據(jù)計算Spark、Flink、Hive、Python機(jī)器學(xué)習(xí)數(shù)據(jù)存儲ES、MongoDB、HDFS數(shù)據(jù)分析特征工程數(shù)據(jù)計算Spark、Flink、Hive、Python機(jī)器學(xué)習(xí)數(shù)據(jù)采集數(shù)據(jù)采集日志（系統(tǒng)、網(wǎng)絡(luò)、應(yīng)用），文件樣本威脅檢測中使用機(jī)器學(xué)習(xí)的步驟威脅檢測中使用機(jī)器學(xué)習(xí)的步驟完成基礎(chǔ)安全檢測能力，甄別大數(shù)據(jù)+復(fù)雜問題大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè)+人才儲備收集海量惡意樣本和惡意攻擊事件數(shù)據(jù)機(jī)器學(xué)習(xí)ML應(yīng)用展望ML應(yīng)用展望準(zhǔn)確定位準(zhǔn)確定位網(wǎng)安大模型網(wǎng)安大模型MSSecurityCopilotGoogleSec-PaMLMSSecurityCopilot微步AI實踐微步AI實踐0404PE惡意文件檢測PE惡意文件檢測!"#$% &?()*+,在虛擬機(jī)監(jiān)控運行文件行為進(jìn)程行為在虛擬機(jī)監(jiān)控運行文件行為進(jìn)程行為網(wǎng)絡(luò)行為注冊表行為API調(diào)用分析動態(tài)檢測靜態(tài)檢測./0123不執(zhí)行程序0123文件結(jié)構(gòu)分析初級靜態(tài)分析字節(jié)碼分析#$4567字符串分析#$4567圖像分析反匯編分析源碼分析!"#$%&'()%&!"#$%&'()%&01數(shù)據(jù)側(cè)01純化數(shù)據(jù)PE特征優(yōu)化測試數(shù)據(jù)優(yōu)化03加殼專項03多樣化加殼數(shù)據(jù)人工加殼數(shù)據(jù)殼專項分析

模型側(cè)02基于文件結(jié)構(gòu)特征模型02深度學(xué)習(xí)模型多模態(tài)融合04多場景定制方案04多環(huán)境檢測引擎沙箱動態(tài)檢測引擎終端檢測引擎同源性分析引擎PE惡意文件檢測–數(shù)據(jù)PE惡意文件檢測–數(shù)據(jù)使用微步云沙箱和virustotat60+引擎交叉驗證。近幾年至6個月前的數(shù)據(jù)，確保數(shù)據(jù)的流行性和成熟性。對PE文件中的字符串計算杰卡德相似性系數(shù)，篩選數(shù)據(jù)。高質(zhì)量數(shù)據(jù)結(jié)合sophos、elastic、Mandiant的PE特征提取方法。在上述基礎(chǔ)之上增加微步分析師定制的2000余維特征提取優(yōu)化特征多種生產(chǎn)環(huán)境獨立數(shù)據(jù)校驗包括微步云查數(shù)據(jù)、云沙箱數(shù)據(jù)、終端采集數(shù)據(jù)去簽名證書多引擎對比測試人工加殼樣本批量測試測試集校驗使用微步云沙箱和virustotat60+引擎交叉驗證。近幾年至6個月前的數(shù)據(jù)，確保數(shù)據(jù)的流行性和成熟性。對PE文件中的字符串計算杰卡德相似性系數(shù)，篩選數(shù)據(jù)。高質(zhì)量數(shù)據(jù)結(jié)合sophos、elastic、Mandiant的PE特征提取方法。在上述基礎(chǔ)之上增加微步分析師定制的2000余維特征提取優(yōu)化特征多種生產(chǎn)環(huán)境獨立數(shù)據(jù)校驗包括微步云查數(shù)據(jù)、云沙箱數(shù)據(jù)、終端采集數(shù)據(jù)去簽名證書多引擎對比測試人工加殼樣本批量測試測試集校驗60+引擎交叉驗證字符串相似性快速校驗篩選流行、成熟數(shù)據(jù)微步千萬級樣本數(shù)據(jù)源PE惡意文件檢測–模型PE惡意文件檢測–模型線下實驗室數(shù)據(jù)模型驗證結(jié)果：ModelPrecisionRecallFPR字符串：TextCNN0.99180.93420.0063二進(jìn)制圖像：InceptionV30.93730.98470.0613字節(jié)碼：Malconv20.99230.95640.0065結(jié)構(gòu)熵：TextCNN0.97710.86760.0167導(dǎo)入導(dǎo)表0.98660.90420.0111結(jié)構(gòu)特征模型：LightGBM0.99180.98760.0081*以高檢出（Recall）、低誤報（FPR）優(yōu)先原則，結(jié)構(gòu)特征模型LightGBM具有優(yōu)秀性能威脅事件檢測威脅事件檢測事件聚合機(jī)器2登陸漏洞利?事件聚合機(jī)器2登陸漏洞利?下載+執(zhí)?IP執(zhí)?機(jī)器198利?告警組合、機(jī)器學(xué)習(xí)、標(biāo)簽傳遞等技術(shù)對?侵事件進(jìn)?整體打分，做到精準(zhǔn)告警利?機(jī)器學(xué)習(xí)?法給主機(jī)、?件、?戶進(jìn)??為分析，即UEBA事件打分：對?侵事件的威脅程度進(jìn)?打分事件打分單點告警組合告警事件