大數(shù)據(jù)下統(tǒng)一審計(jì)技術(shù)框架研究

０引言各大安全廠商將審計(jì)追責(zé)功能集成到各自的安全產(chǎn)品中，將審計(jì)追責(zé)貫穿到各個(gè)安全功能中，根據(jù)安全產(chǎn)品功能不同而形成的審計(jì)追責(zé)功能，大致可分為主機(jī)審計(jì)、網(wǎng)絡(luò)審計(jì)、數(shù)據(jù)庫審計(jì)。隨著信息系統(tǒng)的迅速發(fā)展以及用戶需求的不斷增加，網(wǎng)絡(luò)規(guī)模日益龐大，應(yīng)用系統(tǒng)日益復(fù)雜。同時(shí)，網(wǎng)絡(luò)安全事件層出不窮，使得信息系統(tǒng)面臨著嚴(yán)峻的安全形勢，傳統(tǒng)的單一的防御設(shè)備或者檢測設(shè)備已經(jīng)無法滿足安全需求。有針對性的審計(jì)技術(shù)能夠綜合各方面的安全因素，從整體上動態(tài)反映網(wǎng)絡(luò)安全狀況，并對安全狀況的發(fā)展趨勢進(jìn)行預(yù)測和預(yù)警，為增強(qiáng)網(wǎng)絡(luò)安全性提供可靠的參照依據(jù)。同時(shí)，國內(nèi)各類網(wǎng)絡(luò)安全法和網(wǎng)絡(luò)安全等級保護(hù)標(biāo)準(zhǔn)2.0[2]相繼出臺與發(fā)布，其中明確了，審計(jì)追責(zé)功能不僅成為合規(guī)的需求，也是企業(yè)及組織關(guān)注的重點(diǎn)?？偟膩碚f，一套行之有效的監(jiān)控審計(jì)系統(tǒng)，能夠形成威懾力，降低人為破壞和攻擊的可能性。1日志審計(jì)基本框架應(yīng)用大數(shù)據(jù)存儲分析技術(shù)，采用服務(wù)化、組件化的思想，本文提出一種前后端的日志審計(jì)體系框架，通過前段嵌入應(yīng)用，后端能力輸出的模式構(gòu)建統(tǒng)一安全審計(jì)體系。如圖1所示。圖1審計(jì)系統(tǒng)結(jié)構(gòu)圖在前端，提供2種方式嵌入應(yīng)用：數(shù)據(jù)采集服務(wù)接口，被動接收應(yīng)用系統(tǒng)的事件日志；數(shù)據(jù)采集構(gòu)件，主動嵌入應(yīng)用中，采集應(yīng)用系統(tǒng)的事件日志。在后端，通過部署服務(wù)，結(jié)合前端提取的日志信息，經(jīng)過分析處理后，提供安全審計(jì)能力輸出。在后端服務(wù)中，日志接收服務(wù)接收前端采集提取的應(yīng)用系統(tǒng)日志信息，傳遞給數(shù)據(jù)處理模塊進(jìn)行數(shù)據(jù)處理及存儲；統(tǒng)計(jì)分析服務(wù)通過集成告警行為模式和各類插件式告警規(guī)則，完成告警事件分析、日志快速檢索、日常報(bào)表整理、定制報(bào)表匯總等功能。2數(shù)據(jù)采集審計(jì)系統(tǒng)的審計(jì)日志采集分為被動接收和主動采集兩種方式，被動接收以提供審計(jì)接口，各系統(tǒng)通過調(diào)用審計(jì)接口，上報(bào)日志的方式采集用戶行為日志數(shù)據(jù)；主動采集是通過直接訪問業(yè)務(wù)系統(tǒng)或者既有系統(tǒng)的日志數(shù)據(jù)庫或者文件的方式，主動獲取日志數(shù)據(jù)。2.1數(shù)據(jù)接口收集使用服務(wù)化的方式，提供日志采集接口，為用戶提供日志集中的通道，各數(shù)據(jù)源應(yīng)用通過調(diào)用采集接口服務(wù)的方式，完成數(shù)據(jù)采集過程。此方式的優(yōu)點(diǎn)在于：不侵入應(yīng)用系統(tǒng)，相關(guān)數(shù)據(jù)的準(zhǔn)備由數(shù)據(jù)源系統(tǒng)自行準(zhǔn)備，有利于數(shù)據(jù)源系統(tǒng)開展數(shù)據(jù)責(zé)任授權(quán)及控制擴(kuò)散范圍。同時(shí)，也有利于數(shù)據(jù)采集源與目的系統(tǒng)狀態(tài)的固化，運(yùn)維中系統(tǒng)升級帶來的接口風(fēng)險(xiǎn)較少。缺點(diǎn)在于，由于現(xiàn)有系統(tǒng)狀態(tài)的固化，不利于對現(xiàn)有系統(tǒng)的數(shù)據(jù)采集，對形成數(shù)據(jù)效能存在一定的阻力及風(fēng)險(xiǎn)。2.2數(shù)據(jù)主動采集主動獲取式采集模式，通過數(shù)據(jù)采集系統(tǒng)嵌入設(shè)備應(yīng)用系統(tǒng)中，根據(jù)數(shù)據(jù)源系統(tǒng)，主動適配采集方式及數(shù)據(jù)格式，收集相關(guān)數(shù)據(jù)。此方式的優(yōu)點(diǎn)在于，能夠快速地集成現(xiàn)有數(shù)據(jù)，形成數(shù)據(jù)能力。缺點(diǎn)在于，對于內(nèi)含敏感數(shù)據(jù)的系統(tǒng)，面臨著數(shù)據(jù)擴(kuò)散授權(quán)的風(fēng)險(xiǎn)，若數(shù)據(jù)格式未形成規(guī)范或標(biāo)準(zhǔn)，則不利于系統(tǒng)升級改造。3日志存儲采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫與大數(shù)據(jù)存儲相結(jié)合的方式完成，將數(shù)據(jù)量較小的基礎(chǔ)數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫存儲，將數(shù)據(jù)量大的日志數(shù)據(jù)采用分布式大數(shù)據(jù)技術(shù)存儲。系統(tǒng)采用大數(shù)據(jù)中心的海量安全數(shù)據(jù)的統(tǒng)一存儲。隨著安全基礎(chǔ)數(shù)據(jù)的不斷匯聚，數(shù)據(jù)大小將呈現(xiàn)爆發(fā)式增長，而數(shù)據(jù)共享服務(wù)需要提供快速、高效的數(shù)據(jù)訪問與存儲能力，傳統(tǒng)的集中式數(shù)據(jù)庫顯然不能夠滿足需求。因此，安全大數(shù)據(jù)采用分布式數(shù)據(jù)庫，提供對文本、圖片、關(guān)系型數(shù)據(jù)等類型數(shù)據(jù)的存儲與高效檢索能力，以及分布式冗余存儲能力，節(jié)點(diǎn)動態(tài)擴(kuò)容能力，滿足態(tài)勢數(shù)據(jù)的大容量存儲需求。相比于傳統(tǒng)集中式數(shù)據(jù)庫，分布式數(shù)據(jù)庫具有基于海量數(shù)據(jù)的高性能、高可靠性和動態(tài)擴(kuò)展性的優(yōu)點(diǎn)。在分布式大數(shù)據(jù)系統(tǒng)中，可以隨時(shí)靈活地訪問信息而不必關(guān)心數(shù)據(jù)存放的地點(diǎn)和方法，數(shù)據(jù)不是集中存放在網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)上，節(jié)點(diǎn)之間相互冗余備份，來實(shí)現(xiàn)數(shù)據(jù)服務(wù)的高可用性。從大數(shù)據(jù)架構(gòu)視圖來看，大數(shù)據(jù)設(shè)計(jì)如下圖2所示。圖2大數(shù)據(jù)架構(gòu)視圖采用大數(shù)據(jù)分析架構(gòu)，具有如下特點(diǎn)：一是提供大數(shù)據(jù)的基礎(chǔ)能力，包含大容量存儲能力、快速處理能力、快速檢索能力、智能分析能力等。二是在基礎(chǔ)之上提高使用效率，能夠?yàn)橛脩粼诖髷?shù)據(jù)平臺上開發(fā)數(shù)據(jù)業(yè)務(wù)，包含數(shù)據(jù)倉庫、數(shù)據(jù)可視化、智能分析等功能提高效率，實(shí)現(xiàn)大數(shù)據(jù)中心的核心價(jià)值。三是提升管理效率，將各方面的管理納入體系，為升級、擴(kuò)容、技術(shù)支持等工作降低代價(jià)。四是多用戶安全性，大數(shù)據(jù)中心服務(wù)于多個(gè)安全業(yè)務(wù)，需要用戶安全作為保障，將各個(gè)安全業(yè)務(wù)線流程隔離。4日志分析網(wǎng)絡(luò)行為分析的目的是通過分析用戶及網(wǎng)絡(luò)中的行為模式，從海量日志中分析出具有參考價(jià)值的事件，提醒管理維護(hù)人員注意。在實(shí)際使用過程中，一方面，用戶及網(wǎng)絡(luò)中的行為模式多種多樣，分析方法也完全不同；另一方面，未知的一些威脅行為模式特征無法確定，需在使用過程中累積知識和經(jīng)驗(yàn)，完成針對新的行為模式特征的提取與分析。網(wǎng)絡(luò)行為分析采用插件式的規(guī)則分析方法，一個(gè)分析方法對應(yīng)一類行為模式，通過插件管理程序加載到分析引擎中，輸入日志事件，輸出分析結(jié)果，如圖3所示。圖3基于構(gòu)件化的動態(tài)分析引擎技術(shù)同時(shí)，系統(tǒng)采用離線數(shù)據(jù)分析方法，挖掘網(wǎng)絡(luò)中的異常行為及威脅[3]，并通過追蹤溯源開展責(zé)任認(rèn)定。離線數(shù)據(jù)分析是大數(shù)據(jù)分析的主要分析場景，將海量的數(shù)據(jù)通過大數(shù)據(jù)的分析方法，挖掘出有用的知識后，供用戶查詢和展示。分析方法按照技術(shù)實(shí)現(xiàn)的方案不同，可以分為以下三類：基于行為規(guī)則的審計(jì)，該方法是提取已知異常行為特征，通過對行為特征進(jìn)行邏輯范式描述后寫入審計(jì)規(guī)則知識庫中，在開展審計(jì)活動時(shí)，審計(jì)規(guī)則和標(biāo)準(zhǔn)化日志進(jìn)行模式識別與匹配，發(fā)現(xiàn)可能存在的異常行為?；诮y(tǒng)計(jì)的審計(jì)，該方法的原理是利用統(tǒng)計(jì)學(xué)模型的特點(diǎn)，使用隨機(jī)變量及其概率分布刻畫目標(biāo)對象的行為，通過統(tǒng)計(jì)學(xué)方法描述目標(biāo)對象的行為特點(diǎn)。基于統(tǒng)計(jì)學(xué)的審計(jì)則是在統(tǒng)計(jì)學(xué)上發(fā)現(xiàn)目標(biāo)行為特點(diǎn)偏離一般正常行為的異常行為。基于特征自學(xué)習(xí)的審計(jì)，該方法是利用大數(shù)據(jù)挖掘相關(guān)分析方法，總結(jié)出一般行為間的頻繁模式、關(guān)聯(lián)和相關(guān)性，從總結(jié)出的數(shù)據(jù)規(guī)律間尋找異常行為的方法。系統(tǒng)分析算法管理模塊可綜合容納這三種方法的分析算法，針對不同的分析場景，開展適應(yīng)性、針對性強(qiáng)的審計(jì)分析。5時(shí)間分析在系統(tǒng)中，各類業(yè)務(wù)進(jìn)行的工作越來越復(fù)雜，為了保護(hù)系統(tǒng)的安全，方便監(jiān)控系統(tǒng)運(yùn)行狀況，查看日志并進(jìn)行分析已經(jīng)成為一個(gè)重要手段。管理員可以查看在某時(shí)間段內(nèi)所發(fā)生的事件，也可以通過對各種日志進(jìn)行分析輔助安全保密管理工作。由于日志具有數(shù)據(jù)量大，不容易讀懂的特點(diǎn)，如果僅憑借管理員查看日志記錄的手段，其中所蘊(yùn)含的有用信息也難以發(fā)現(xiàn)。將數(shù)據(jù)挖掘技術(shù)應(yīng)用于日志分析是一個(gè)關(guān)鍵技術(shù)，能夠關(guān)聯(lián)多種類型的日志事件，綜合分析，依據(jù)事先設(shè)定的規(guī)則進(jìn)行匹配，達(dá)到及時(shí)提醒和告警的效果，減輕管理人員的分析負(fù)擔(dān)，如圖4所示。日志事件分析負(fù)責(zé)對篩選后的待審計(jì)信息結(jié)合審計(jì)規(guī)則進(jìn)行分析，從中發(fā)現(xiàn)異常和違規(guī)行為，為采取相應(yīng)安全措施提供依據(jù)。圖4事件分析與告警流程示意圖該流程能夠運(yùn)用于重保任務(wù)和重點(diǎn)監(jiān)控方向的實(shí)時(shí)監(jiān)控，通過設(shè)置重保區(qū)域、對象、智能分析引擎來完成。同時(shí)，可以將實(shí)時(shí)分析結(jié)果用于網(wǎng)絡(luò)安全態(tài)勢呈現(xiàn)。管理員在審計(jì)告警規(guī)則設(shè)置頁面事先設(shè)置關(guān)注的人員、關(guān)注對象、關(guān)注行為后，通過人工設(shè)置與自學(xué)習(xí)調(diào)整等方