攻防對抗中的加密惡意流量分析技術

加密是保護隱私的一個重要手段，能夠保護數據不被窺視，阻止攻擊者竊取信息、應用或口令。近年來，流量加密被視為互聯網發(fā)展的一個重要風向標，尤其是2020年新冠肺炎疫情全球蔓延爆發(fā)，遠程居家辦公、遠程教學和遠程會議等一系列場景的高頻次亮相，加劇了對流量加密的需求。通常情況下認為加密即安全，這個觀點具有相對性，在復雜的互聯網環(huán)境中，易遭受外部攻擊，簡單的加密方式無法保障信息的機密性、完整性、可用性等屬性的安全。在面對流量時，攻擊者會借助加密流量實施惡意攻擊，產生更具破壞性的行為。國際研究機構Gartner認為，截至2020年，超過60%的企業(yè)將無法有效解密超文本傳輸安全協(xié)議（HyperTextTransferProtocoloverSecureSocketLayer，HTTPS）流量，而對抗這些威脅的手段將會受制于反解密系統(tǒng)，加密流量中將隱藏超過70%的網絡惡意軟件。根據CybersecurityVentures調查顯示，與2019年企業(yè)每14秒遭受一次勒索軟件攻擊相比，2021年該時間縮短至11秒，這使勒索軟件成為增長最快的網絡犯罪類型。2021年，全球因勒索軟件造成的損失預計達到200億美元，遠高于2015年的3.25億美元。因此，及時、快速地識別、分析加密惡意流量，對提升網絡安全韌性、凈化網絡空間具有重要意義。1研究現狀針對加密流量，目前主流的攻擊分析手段包括解密后分析和不解密分析。由于在解密過程中會受到隱私保護相關法律法規(guī)的嚴格限制，當前，業(yè)界主要使用不解密流量的方法分析攻擊行為，并且在不解密直接從加密流量中檢測惡意流量方面，已經取得了一些研究成果。潘吳斌等人總結了加密流量識別的架構體系，詳述了加密流量識別的類型，如協(xié)議、應用和服務，概述已有加密流量識別技術，并從多個角度進行分析對比；王瑛等人通過建立加密流量檢測框架，運用關鍵技術和相關方法對加密流量監(jiān)測進行了剖析；駱子銘等人介紹了傳輸層安全協(xié)議（TransportLayerSecurity，TLS）的特點和流量識別方法，提出了一種基于機器學習的分布式自動化的加密惡意流量檢測體系，利用多個流量特征進行深入分析，并通過實驗對相關算法的性能做了對比；曾勇等人綜述了多種識別加密惡意流量的方法，包括基于機器學習、密碼學等多領域方法，對識別加密惡意流量有著重要的指導作用。以上專家學者對加密流量的研究都有自己的見解，本文梳理了加密流量識別技術現狀，以惡意流量特征分析為主線，聚焦加密惡意流量特征的多種識別方法，探討前沿技術在加密惡意流量分析領域的應用，為后續(xù)研究工作指出了方向。2惡意流量分類從總體來看，加密流量可以分為加密正常流量和加密異常流量，在絕大多數情況下，加密異常流量又可分為良性的加密異常流量（如某個參數的改動或某種訪問的增加導致的流量異常）和惡意的加密流量，在加密流量的分類中，加密惡意流量是最難也是最具危險性的流量，其中隱藏了許多已知或未知的威脅。通過對流量的細化區(qū)分，能夠有針對性地采取控制措施，有效地識別、分析、阻斷加密惡意流量，對提升網絡安全防護能力具有重大意義。惡意流量按照攻擊行為可歸納為以下3種類型。（1）惡意軟件使用加密通信。這一類主要是指惡意代碼、惡意軟件為逃避安全產品和人工的檢測，使用加密通信來偽裝或隱藏明文流量特征。例如，用加密的方式來偽裝或隱藏攻擊行為的特洛伊木馬、感染式病毒、蠕蟲病毒、惡意下載器等。（2）加密通道側的惡意攻擊行為。這一類主要是指攻擊者利用已建立好的加密通道發(fā)起攻擊。攻擊行為包括掃描探測、暴力破解等。（3）惡意或非法加密應用。這一類主要是指使用加密通信的一些惡意、非法應用。相比按照惡意流量攻擊行為劃分，學術界更側重于根據惡意流量的內容特征、數據流特征及網絡連接行為特征等具體特征進行劃分。不同的特征有各自典型的特點，內容特征包括惡意流量協(xié)議段中特有的值以及負載中含有的特殊字符序列，數據流特征和網絡連接行為特征都是通過對采集的數據進行統(tǒng)計分析得到的，可統(tǒng)稱為統(tǒng)計特征。數據流特征可以從網絡層、傳輸層和應用層的切片中提取，提取過程通常是先計算流量統(tǒng)計值，再從這些統(tǒng)計值中提取惡意流量特征。此外，加密惡意流量的劃分也有根據行業(yè)特點來進行細分的，如物聯網、工業(yè)互聯網、車聯網等，每個行業(yè)會根據自身行業(yè)涉及的流量進行細粒度的劃分?？傊?，加密惡意流量的劃分沒有絕對的標準與統(tǒng)一的規(guī)則，無論哪種劃分方式都離不開惡意流量的特征、行為等關鍵的評判基礎，隨著網絡的不斷演進，技術的不斷發(fā)展，加密惡意流量的監(jiān)測分析手段越來越多樣，誤報率、漏報率等關鍵指標可靠性越來越高，但同時也應該看到，在加密惡意流量監(jiān)測分析方面的研究任重道遠，攻與防相互對立且依存。3關鍵識別技術加密流量中使用何種方法來檢測惡意流量至關重要，其中，特征是分析的關鍵，按照流量產生的路徑，從源端到目的端，從數據產生、封裝到流量傳輸，涉及多種特征，如數據包大小、方向、協(xié)議、流量的分類（服務、應用）等。使用的分析方法包括統(tǒng)計、分類、機器學習及混合方法，在面對復雜多樣、數據種類繁多、終端設備各異的網絡環(huán)境時，需要結合實際情況選取合適的分析方法，從特征分析的特點可分為基于單維的特征和基于多維的特征，單維特征顧名思義是指聚焦數據的某一個特征，而多維特征涉及多個特征，目的均是提高識別的準確性。3.1基于單維特征流量分析3.1.1證書特征證書在網絡中廣泛應用，是進行信息交互的第一道門檻，是保障網絡安全的重要手段之一。服務器證書是安全套接層協(xié)議（SecureSocketLayer，SSL，該協(xié)議位于TCP/IP協(xié)議與各種應用層協(xié)議之間，為數據傳輸提供安全支持）中用來對服務器身份進行驗證的文件，目前，證書頒發(fā)機構按照驗證級別將證書分成3種類型，即域名型（DomainValidation，DV）證書、企業(yè)型（OrganizationValidation，OV）證書和增強型（ExtendedValidation，EV）證書。其相應的服務器身份認證證書就是DVSSL證書、OVSSL證書和EVSSL證書，其中，DVSSL證書是給網站頒發(fā)的證書，審核不是很嚴格，一般免費居多；OVSSL證書一般收費，面向申請的企業(yè)做審核；EVSSL證書指遵循全球統(tǒng)一的嚴格身份驗證標準頒發(fā)的SSL證書，是目前業(yè)界最高安全級別的SSL證書。按照客戶端與服務器會話建立的流程，正常會話會傳輸證書，惡意的會話絕大多數不會傳輸證書或者利用證書來隱藏惡意活動，這給網絡安全帶來了一定的威脅與挑戰(zhàn)。結合本文研究的方向，目前，通過證書來識別加密惡意流量的基本思路是通過比對惡意證書特征庫，快速識別惡意的加密流量。具體來說，在惡意操作過程中依然會用到加解密及信任證書，通過搜集匯總大量已知的惡意流量的證書特征，對其版本號、名稱、簽發(fā)時間等信息做詳細記錄并進行大數據分析，如惡意證書的常見特征包括自簽名、長期的證書有效期及證書擴展數目等，在檢測惡意流量時，通過比對惡意證書特征庫，來驗證其是否為惡意流量。此外，基于證書文本數據進行手工特征提取也是識別惡意證書的熱點研究方向。3.1.2數據包特征除了上述提到的證書特征，數據包特征也是加密惡意流量識別的重要技術，在流量中，數據包屬于較小單位，通過對加密流量中的數據包特征進行提取，能夠實現對加密流量中載荷內容的分類和識別。數據單元統(tǒng)計特征包括數據包大小、到達時間序列和字節(jié)分布等。數據包數量在正常通信和惡意軟件在通信時是不同的，瀏覽網頁時客戶端向服務端的請求數據包通常較少，而服務端回復客戶端的響應數據包非常多，但是惡意軟件完全相反，服務端僅向客戶端發(fā)送少量的控制命令，而客戶端因為進行數據回傳會向服務端發(fā)送大量的數據包。由于數據包體量特征不受數據加密的影響，所以非常適合用于加密流量的檢測。此外，還可以從數據流量大小來看，上下行流量通常情況下存在下行遠大于上行，惡意流量則相反，當出現上行流量比較大時，需要結合網絡情況綜合研判其是良性的流量增長還是惡意的流量攻擊。這種方法較為復雜，有時候需要結合外部的情報分析，但數據包中的信息是豐富且復雜的，某一字段的增加或者更改都可能是一種惡意行為的特征，基于數據包的加密惡意流量特征分析能力也需要更多的技術手段來提升。3.1.3協(xié)議特征為保障網絡安全，搭建了很多互聯網加密協(xié)議，如傳輸層安全協(xié)議TLS、安全外殼協(xié)議（SecureShell，SSH）和安全電子交易協(xié)議（SecureElectronicTransaction，SET）等。其中，TLS協(xié)議是當前業(yè)界常用的加密通信協(xié)議之一，TLS協(xié)議位于傳輸層和應用層之間，用于兩個通信應用程序之間保障其保密性和數據完整性。其相應的基于TLS協(xié)議的加密流量也成為業(yè)界主流，但在增強安全性的同時也帶來了網絡安全風險。很多惡意流量借助TLS協(xié)議隱藏在加密流量中，對網絡和業(yè)務的安全帶來了極大的威脅。TLS協(xié)議是由握手協(xié)議、記錄協(xié)議、更改密文協(xié)議和警報協(xié)議組成。TLS一個握手流程如圖1所示，該流程主要包含clienthello、serverhello、client_key_exchange、encrypted_handshake_message等類型的消息。這幾個階段包括協(xié)議版本協(xié)商、密碼算法協(xié)商、身份認證以及密鑰交換、會話密鑰等信息的確定，目前TLS1.3版本以下在握手階段都是明文傳輸，這也成為了很多攻擊者利用的對象。加密惡意流量通常包括以下3類特征：內容特征、數據流特征和網絡連接行為特征，根據不同的特征可以從流量中識別出來。正常的加密流量和加密惡意流量在密碼算法使用、密鑰長度使用等方面具有很大的區(qū)別。在密碼算法使用上，惡意流量中通常使用已經過時的或者已被證明不再安全的算法，如MD5、RC4等；在密鑰長度使用上，正常的加密流量可能采用基于橢圓曲線的256位密鑰長度，而惡意流量中則使用基于RSA的2048位密鑰長度；在簽名方式上，惡意流量通常采用自簽名的方式，缺乏信任。因此，通過檢測TLS協(xié)議交互的報文信息，根據其特征，可以識別加密惡意流量。圖1TLS握手流程3.2基于多維特征流量分析隨著大數據的不斷發(fā)展，機器學習、深度學習等大數據分析方法得到崛起與普遍應用。利用自動化手段的識別技術可以極大地提升流量識別效率及使用便捷性，同時效果評價指標成為衡量各種方法的重要指標。其主要思想在于模型的選擇、優(yōu)化和特征庫的建立，以及識別效率與準確率、漏報率與誤報率等關鍵指標。理解數據流基本特征是開展機器學習模型算法應用的重要基礎。圖2是常見的數據流特征，數據流中包括版本號、包頭長度、時間戳等多種信息，這些信息均可作為多維特征，利用機器學習的算法把各種特征聚合分析，得到一個好的模型，再通過不斷優(yōu)化模型輸出好的結果。機器學習常用的數據流特征包括時空特征、頭部特征、負載特征和統(tǒng)計特征等，比較流行的方法包括基于支持向量機（SupportVectorMachines，SVM）、隨機森林（利用多棵樹對樣本進行訓練并預測的一種分類器）、卷積神經網絡（ConvolutionalNeuralNetworks，CNN）和提升方法（Boosting算法）等。圖2數據流特征基于時空特征采用的識別方法常見的是CNN，主要目的在于利用深層次的神經網絡來學習原始流量數據的時空特征，時空特征包括流量的時間特征和空間特征，具體包括如數據包到達的時間、傳遞的方向等?；陬^部特征采用的識別方法較多，如基于聚類、CNN和隨機森林等，從小規(guī)模的數據集來看，機器學習和深度學習差異不大，但面對大規(guī)模的數據集時，深度學習表現出較好的優(yōu)勢，也符合深度學習的本質?；谪撦d特征采用的識別方法常見的是CNN、SVM，負載特征較為復雜，主要包括流量包中的有效載荷部分，如將流量數據轉化為可視化的圖像，再使用CNN對圖像進行分類，通過這種方法，可以實現端到端的惡意流量識別，并且能夠滿足實際應用的精度，此外，有的從元數據本身出發(fā)，提取上下文的特征；還有的是利用自然語言處理網絡流量文本語義檢測的方式進行惡意應用檢測?；诮y(tǒng)計特征采用的識別方法常見的是隨機森林和C4.5（C4.5算法是由RossQuinlan開發(fā)的用于產生決策樹的算法），C4.5算法應用較廣，如加密的VoIP（VoiceoverInternetProtocol，基于IP的語音傳輸）包的長度可以用來識別通話中所說的短語，也可以利用C4.5算法分析TLS的6個統(tǒng)計特征（上傳字節(jié)、下載字節(jié)大小等）和HTTPS流中的4個統(tǒng)計特征（用戶代理、請求統(tǒng)一資源定位符等），以識別出惡意應用流量。除了機器學習與深度學習，近年來，集成學習成為大數據分析領域的熱門方法，它屬于機器學習的一種，但又不是一個單獨的機器學習算法，而是通過構建并結合多個機器學習器來完成學習任務。集成學習的代表Boosting算法是從訓練數據集中先訓練得到一個基學習器，再根據基學習的性能調整訓練樣本分布，使得在前一個基學習器中識別錯誤的訓練樣本并在接下來的訓練過程中進行調整。下一次訓練迭代開始時，會使用新的樣本數據集來訓練下一個基學習器，訓練過程結束以基學習器的個數是否達到預定值為準，最后預測結果是所有基學習器預測結果的加權綜合。其算法的典型代表有梯度提升決策樹（GradientBoostingDecisionTree，GBDT）、極端梯度提升（eXtremeGradientBoosting，XGBoost）以及基于決策樹算法的分布式梯度提升框架（LightGradientBoostingMachine，LightGBM）。總之，無論使用哪種機器學習的方法，其核心思想均是圍繞特征展開，通過特征提取、算法模型建立與調優(yōu)，能夠輸出有效的分析結果，最后對結果進行評估。當單一的方法無法滿足復雜環(huán)境下的流量數據分析時，需要使用混合的分析方法，基于混合方法的流量分析流程如圖3所示。流量采集主要是通過鏡像或分光等方式采集出口處的流量；流量清洗及預處理把流量清洗轉換，處理成為符合算法處理的數據流格式，同時也清除一些無效的數據流，提高數據集的質量；惡意特征識別分析則是構建分析模型的核心組件，針對不同的樣本特征，選取合適的多種算法進行惡意流量識別，最后輸出分析結果，其分析結果也會再次助力模型算法不斷優(yōu)化，進一步提升各項評估指標。圖3基于混合方法的流量分析流程4前沿技術隨著網絡安全技術能力的不斷增強，新技術的融合創(chuàng)新，面對大數據環(huán)境下的加密惡意流量分析技術的能力也在大幅提升，雖然現有的一些技術手段也能有效地處理這種惡意流量，但是技術手段體系需要不斷的完善，對惡意流量特征識別精準率需要進一步提升。目前，較為前沿的技術包括密碼學、AI、黑客畫像等，新技術在流量檢測領域的融入讓檢測能力換發(fā)風采。4.1基于密碼學的特征分析利用密碼學來分析加密惡意流量是目前業(yè)界和學術界研究的重點方向?；诿艽a學來分析加密惡意流量有難點，但同時具有前瞻性與可靠性，加密流量本身就涉及密碼技術，通過分析惡意流量中使用密碼技術應用的特征，比對正常流量，能夠有效地識別出惡意流量，為此，研究密碼學中的關鍵技術是有必要的。其中，基于公鑰密碼體制的密文檢索和密文計算是主要研究的熱點，如密文檢索可以通過檢索關鍵詞的方式直接對密文數據進行訪問，通過單個關鍵詞、多個關鍵詞、模糊關鍵詞和區(qū)間檢索識別惡意流量的關鍵詞的方式識別惡意流量。而密文計算是在密文形式數據上的任意計算，其核心包括同態(tài)加密與安全多方計算，主要實現對密文的安全訪問與處理，結合密文檢索技術，在保護用戶數據隱私的前提下，利用檢索加密流量上的惡意關鍵詞的方式識別惡意流量，從而讓惡意流量無所遁形。4.2基于人工智能的特征分析在一定程度上，利用單維及多維特征方法可以識別加密流量中的惡意流量。但這類方法缺乏從全局出發(fā)，結合外部資源如威脅情報、用戶行為分析等更深層次的技術分析，難以最大限度地提取加密流量中的惡意流量。隨著人工智能（ArtificialIntelligence，AI）技術的發(fā)展，通過大量的測試驗證，基于人工智能的加密流量安全檢測將是一種新的技術手段。該技術手段以AI技術賦能惡意流量檢測，通過AI建模、解析和檢測，基于AI的靈活與高效，檢測效果獲得了顯著的提高，充分展現了基于AI的加密惡意流量檢測具有高度的可行性和良好的應用前景。例如，基于人工智能引擎，實時分析網絡全流量，結合威脅情報數據及網絡行為分析技術，深度檢測可疑行為，有助于清晰地掌握攻擊者所處的攻擊鏈階段和成功概率?；贏I的加密惡意流量分析是未來發(fā)展的重要方向，將AI技術與現有網絡不斷融合，例如，引入了TLS/SSL數據流的上下文信息，其中，域名系統(tǒng)（DomainNameSyste