數(shù)據(jù)安全實(shí)踐之?dāng)?shù)據(jù)安全日志審計(jì)平臺(tái)

數(shù)據(jù)安全實(shí)踐之?dāng)?shù)據(jù)安全日志審計(jì)平臺(tái)

___1—

刖百

此前分享過(guò)數(shù)據(jù)資產(chǎn)管理的一些實(shí)踐方法，對(duì)于對(duì)數(shù)據(jù)安全來(lái)說(shuō)其實(shí)也是對(duì)

資產(chǎn)的識(shí)別，監(jiān)控，保護(hù)，運(yùn)營(yíng)的循環(huán)過(guò)程。我們要清楚保護(hù)對(duì)象是什么，有什

么風(fēng)險(xiǎn)或者問(wèn)題，然后如何保護(hù)，再持續(xù)提升。對(duì)于數(shù)據(jù)的監(jiān)控其實(shí)是一個(gè)比較

復(fù)雜的事情，數(shù)據(jù)的形式，載體，使用場(chǎng)景千變?nèi)f化，所以很難通過(guò)一種方式解

決所有數(shù)據(jù)場(chǎng)景，數(shù)據(jù)安全日志審計(jì)也只是其中的一種方式。

對(duì)其日志進(jìn)行的分析其實(shí)是一種很常見(jiàn)的應(yīng)用場(chǎng)景，對(duì)應(yīng)用安全來(lái)說(shuō)，WAF,

IDS等產(chǎn)生告警日志是安全人員每天必看的日志。所有許多安全團(tuán)隊(duì)會(huì)將所有安

全產(chǎn)品的日志匯聚到一個(gè)平臺(tái)，從而誕生了安全日志平臺(tái)。我們借鑒了這個(gè)思路，

將數(shù)據(jù)安全的日志匯聚并加以分析就能夠讓安全人員關(guān)注數(shù)據(jù)方面每天的威脅

或者風(fēng)險(xiǎn)。

一、安全日志審計(jì)系統(tǒng)架構(gòu)示意

日志采集，分析處理，告警存儲(chǔ)，以及告警展示，規(guī)則管理等全自研架構(gòu)圖

如下：

部分功能可以利用公司已有基礎(chǔ)服務(wù)，如es+kibana,kafca，統(tǒng)一日志平

臺(tái)等，也可以利用開(kāi)源系統(tǒng)實(shí)現(xiàn)部分功能。數(shù)據(jù)安全日志審計(jì)主要任務(wù)是通過(guò)對(duì)

敏感數(shù)據(jù)接口日志的訪問(wèn)情況進(jìn)行分析，發(fā)現(xiàn)數(shù)據(jù)泄露等安全事件，或識(shí)別潛在

數(shù)據(jù)安全風(fēng)險(xiǎn)，并留存證據(jù)?；镜囊笕缦拢?/p>

＜能自動(dòng)配置規(guī)則

令能根據(jù)規(guī)則匹配敏感字段

令看到告警

令能夠溯源

令設(shè)置白黑名單

。訪問(wèn)量統(tǒng)計(jì)

二、安全日志采集與接入

1.業(yè)務(wù)接口日志T公司基礎(chǔ)服務(wù)日志平臺(tái)T安全日志分析平臺(tái)

應(yīng)用數(shù)據(jù)接口

安全日志審計(jì)

公司基礎(chǔ)服務(wù)安全規(guī)則

平臺(tái)

安全日志空間安全事件記錄

安全日志存儲(chǔ)

2.業(yè)務(wù)接口日志T服務(wù)器本地某目錄T通過(guò)syslog同步到安全日志平臺(tái)

應(yīng)用數(shù)據(jù)接口

安全日志審計(jì)

安全規(guī)則

服務(wù)器log文件平臺(tái)

Syslog服務(wù)器安全事件記錄

安全日志存儲(chǔ)

3.日志格式示例見(jiàn)附錄

三、曰志審計(jì)平臺(tái)功能

1.敏感數(shù)據(jù)定義

重要關(guān)注數(shù)據(jù)，如：身&&份證，手機(jī)號(hào)，銀&&行卡等。

匹配規(guī)則：使用正則，關(guān)鍵字匹配。

業(yè)務(wù)數(shù)據(jù)需根據(jù)業(yè)務(wù)需求進(jìn)行指紋提取。

詳細(xì)介紹請(qǐng)參考：《數(shù)據(jù)安全實(shí)踐之?dāng)?shù)據(jù)資產(chǎn)管理》

2.通用日志審計(jì)規(guī)則

僅舉例一些通用規(guī)則，安全規(guī)則應(yīng)隨公司業(yè)務(wù)場(chǎng)景，泄露情況進(jìn)行調(diào)整，也就是

需要投入大量運(yùn)營(yíng)工作，不斷場(chǎng)景化，細(xì)化的過(guò)程。

(1)頻次緯度：最常見(jiàn)的情況就是頻次過(guò)大，較大頻次是泄露批量數(shù)據(jù)的一種

常見(jiàn)現(xiàn)象，適用于捕捉到對(duì)突發(fā)的非計(jì)劃的安全事件

【1分鐘】單個(gè)賬號(hào)訪問(wèn)接口頻次大于【100】條日志

【I分鐘】單IP訪問(wèn)單個(gè)接口大于［10］個(gè)賬號(hào)

(2)時(shí)間緯度：非工作時(shí)間，或非業(yè)務(wù)時(shí)間的大量訪問(wèn)，針對(duì)員工或者第三方

常用策略

【非工作時(shí)間(1:00-7:00)］單IP訪問(wèn)單個(gè)接口大于［50］條日志

【非工作時(shí)間(1:00-7:00)］單賬號(hào)訪問(wèn)單個(gè)接口大于【50】條日志

(3)數(shù)據(jù)量緯度：往往會(huì)發(fā)現(xiàn)一些對(duì)數(shù)據(jù)控制不嚴(yán)的接口

單個(gè)賬號(hào)對(duì)某一數(shù)據(jù)接口累計(jì)獲取去重后敏感數(shù)據(jù)大于［1000］條

(4)時(shí)間窗口：基于統(tǒng)計(jì)和平均值的告警，發(fā)現(xiàn)突發(fā)的異常行為的常用規(guī)則

統(tǒng)計(jì)單賬號(hào)/IP【每月】平均訪問(wèn)量，該賬號(hào)/IP訪問(wèn)量超過(guò)平均訪問(wèn)次

數(shù)/獲取數(shù)據(jù)數(shù)量【2倍】

統(tǒng)計(jì)單個(gè)系統(tǒng)【每月】單賬號(hào)/IP平均訪問(wèn)量，單個(gè)賬號(hào)/ip訪問(wèn)該系

統(tǒng)超過(guò)平均訪問(wèn)次數(shù)/獲取數(shù)據(jù)數(shù)量【2倍】

3.告警信息查看

(1)告警事件信息與檢索

基本包含的要素，可自行發(fā)揮：時(shí)間，賬號(hào)，userIP,規(guī)則名稱，訪問(wèn)系統(tǒng)，

url,訪問(wèn)類型，匹配多少條日志，詳情

檢索信息：時(shí)間段，賬號(hào),IP,規(guī)則名稱，訪問(wèn)系統(tǒng)，url,訪問(wèn)類型檢索

基本實(shí)現(xiàn)：可以通過(guò)搭建ES+kibana，簡(jiǎn)單實(shí)現(xiàn)，也可以自行開(kāi)發(fā)前端和檢索。

(2)事件與日志

首先，日志審計(jì)平臺(tái)里有兩種數(shù)據(jù)需要明確，事件和日志。

事件：是當(dāng)告警規(guī)則匹配到相關(guān)日志，或一組日志處罰了告警規(guī)則，平臺(tái)產(chǎn)

生一條記錄為事件

曰志：為從系統(tǒng)采集來(lái)的原始日志，一般為JSON格式。告警日志是被告警

規(guī)則匹配到的日志組，和一個(gè)事件關(guān)聯(lián)

事件和日志產(chǎn)生過(guò)程：

日志采集后會(huì)自動(dòng)存儲(chǔ)到一個(gè)es索引內(nèi)，該索引為全量日志索引

告警條件匹配到告警后，會(huì)產(chǎn)生一條事件，該事件存儲(chǔ)一個(gè)es索弓|/mysql

數(shù)據(jù)庫(kù)中，作為事件存儲(chǔ)

同時(shí)將告警追蹤匹配到的日志存入一個(gè)es索引中，為告警日志索引，并在

每個(gè)日志中插入事件ID

4.日志畫(huà)像和決策分析

畫(huà)像和決策分析，應(yīng)用于機(jī)器學(xué)習(xí)算法，可以對(duì)每個(gè)系統(tǒng)和賬號(hào)進(jìn)行風(fēng)險(xiǎn)評(píng)

估。也可以根據(jù)專家經(jīng)驗(yàn)與業(yè)務(wù)方一同判斷和決策系統(tǒng)風(fēng)險(xiǎn)。

(1)系統(tǒng)畫(huà)像

每個(gè)系統(tǒng)的訪問(wèn)情況，可以確定系統(tǒng)的活躍程度，賬號(hào)數(shù)據(jù)能夠幫助評(píng)估

系統(tǒng)權(quán)限是否過(guò)大。

系統(tǒng)列表：系統(tǒng)名稱，urL,月均訪問(wèn)次數(shù)，月均訪問(wèn)數(shù)據(jù)量，賬號(hào)數(shù)

訪問(wèn)某個(gè)系統(tǒng)的賬號(hào)列表：賬號(hào)名，姓名，部門，當(dāng)月訪問(wèn)次數(shù)，當(dāng)月訪問(wèn)

數(shù)據(jù)量

(2)賬號(hào)畫(huà)像

每個(gè)賬號(hào)的訪問(wèn)情況，過(guò)于活躍的賬號(hào)，通常其風(fēng)險(xiǎn)會(huì)比較大，我們還應(yīng)關(guān)

注權(quán)限過(guò)大的賬號(hào)。

賬號(hào)列表：部門，賬號(hào)名，姓名，項(xiàng)目組，當(dāng)月訪問(wèn)總次數(shù)，當(dāng)月訪問(wèn)

總數(shù)據(jù)量

賬號(hào)訪問(wèn)系統(tǒng)列表：系統(tǒng)名稱，URL,業(yè)務(wù)線，當(dāng)月訪問(wèn)此時(shí)，當(dāng)月訪

問(wèn)數(shù)據(jù)量

(3)統(tǒng)計(jì)數(shù)字

系統(tǒng)/URL數(shù)量，按業(yè)務(wù)線

賬號(hào)/URL數(shù)量，按部門

告警top部門，賬號(hào)

訪問(wèn)量top部門，賬號(hào)

5.日志采集自檢測(cè)

該功能主要驗(yàn)證日志采集過(guò)程是否出現(xiàn)錯(cuò)誤，由于日志格式和內(nèi)容都是安全

部和業(yè)務(wù)共同定義的，所以在日志中會(huì)有一些錯(cuò)誤，這個(gè)有助于安全推進(jìn)業(yè)務(wù)方

完善日志質(zhì)量。

新增url接入檢測(cè)，加入系統(tǒng)列表清單：系統(tǒng)名，業(yè)務(wù)線，url,加入時(shí)間，

日訪問(wèn)量，

曰志告警丟失，某個(gè)url連續(xù)［10］日沒(méi)有日志告警：URL上線，下線手動(dòng)

添加/清除功能

異常日志告警：異常日志打標(biāo)后，存儲(chǔ)異常日志庫(kù)，分析異常原因，安全告

警應(yīng)排除這類日志，會(huì)產(chǎn)生誤報(bào)。

四、日志平臺(tái)的應(yīng)用場(chǎng)景

1.數(shù)據(jù)泄露事件溯源

通過(guò)某個(gè)泄露樣本，查找相似的告警事件。初篩后，通過(guò)數(shù)據(jù)傳輸鏈進(jìn)行事

件還原。

結(jié)構(gòu)化數(shù)據(jù)溯源：初篩數(shù)據(jù)結(jié)構(gòu)相似度70%以上，根據(jù)內(nèi)容，行數(shù)等

信息抽樣，匹配度60%的事件。

文件類數(shù)據(jù)溯源：日常事件涉及文件建立指紋庫(kù)，初篩文件指紋相似

70%,通過(guò)文件反查可能涉及的事件。

通過(guò)疑似人員賬號(hào)，查看訪問(wèn)系統(tǒng)接口，數(shù)據(jù)查看，導(dǎo)出的時(shí)間，頻次，下

載文件后的后續(xù)行為。

2.員工數(shù)據(jù)泄露事件取證與事件還原

系統(tǒng)接口的安全日志告警與DLP告警關(guān)聯(lián)：

時(shí)間維度：在同一個(gè)時(shí)間段內(nèi)，有前后關(guān)聯(lián)的事件

人員維度：相同賬號(hào)，相同IP,同部門，同崗位賬號(hào)等

事件維度：相似的異常行為，或者有一定邏輯關(guān)聯(lián)的事件

數(shù)據(jù)維度：數(shù)據(jù)血緣關(guān)聯(lián)行，需要了解業(yè)務(wù)工作流程，數(shù)據(jù)加工時(shí)文件

的關(guān)系和流轉(zhuǎn)過(guò)程。

與DLP結(jié)合內(nèi)容詳見(jiàn)下一章節(jié)。

3.大數(shù)據(jù)場(chǎng)景下數(shù)據(jù)導(dǎo)出行為監(jiān)控

(1)數(shù)據(jù)線上化中的應(yīng)用：

大數(shù)據(jù)在線分析虛擬環(huán)境，許多大數(shù)據(jù)管控機(jī)制，僅允許原始敏感數(shù)據(jù)在線

上進(jìn)行分析，導(dǎo)出數(shù)據(jù)結(jié)果。但是往往在線分析引擎固化了分析環(huán)境和一些分析

邏輯,不能滿足所有數(shù)據(jù)分析需求。所以使用虛擬化環(huán)境提供用戶可以定制化的

在線分析環(huán)境就誕生了，用戶可以自由操作該環(huán)境，最終完成數(shù)分工作，并導(dǎo)出

結(jié)果。安全日志分析平臺(tái)提供了數(shù)據(jù)操作和導(dǎo)出時(shí)的審計(jì)工作。

(2)沙盒環(huán)境中的應(yīng)用：

沙盒環(huán)境會(huì)控制安全域(沙盒)，個(gè)人域(開(kāi)放空間)之間的數(shù)據(jù)交換，數(shù)

據(jù)交換過(guò)程往往會(huì)有較為嚴(yán)格的申請(qǐng)審批流程，需要通過(guò)日志審計(jì)來(lái)保證流程和

安全策略的有效性。

(3)從大數(shù)據(jù)平臺(tái)數(shù)據(jù)導(dǎo)出：

大數(shù)據(jù)平臺(tái)一般會(huì)開(kāi)放數(shù)據(jù)查詢和導(dǎo)出功能，對(duì)查詢和導(dǎo)出功能的日志審計(jì),

可以保證該功能不被濫用，造成數(shù)據(jù)泄露風(fēng)險(xiǎn)。

4.第三方數(shù)據(jù)共享審計(jì)

第三方共享數(shù)據(jù)，防止第三方濫用，泄露數(shù)據(jù)：

一號(hào)多用：同賬號(hào)不同IP的訪問(wèn)

爬蟲(chóng)：有規(guī)律爬去，或者數(shù)據(jù)量遠(yuǎn)超正常業(yè)務(wù)需要

賬號(hào)被盜：數(shù)據(jù)訪問(wèn)量突增，非業(yè)務(wù)時(shí)間的大量訪問(wèn)

日志審計(jì)不能解決所有數(shù)據(jù)共享問(wèn)題，需要配合其他技術(shù)和管理手段:

簽署數(shù)據(jù)安全和保密協(xié)議，建議和法務(wù)一起制定，明確違規(guī)行為，罰則

等

限制訪問(wèn)權(quán)限，強(qiáng)認(rèn)證機(jī)制，數(shù)據(jù)最小化原則。

利用數(shù)據(jù)染色技術(shù)，監(jiān)控所有第三方是否泄露數(shù)據(jù)

此外還有多方安全計(jì)算等不直接提供原始數(shù)據(jù)的方案根治問(wèn)題。

五、日志平臺(tái)的擴(kuò)展

1.公司文件監(jiān)控——與DLP結(jié)合應(yīng)用

(1)DLP基本功能實(shí)現(xiàn)

USB拷貝：條件：終端操作方式=USB拷貝

網(wǎng)盤(pán)上傳：條件：如應(yīng)用程序=baidunetdisk.exe

IM發(fā)送：條件：應(yīng)用程序=\^<±2七6*6

郵件外發(fā):條件:應(yīng)用程序=foxmail.exe，應(yīng)用程序包含ie,chrome,firefox,

域名包含mail,目標(biāo)IP為外網(wǎng)地址

上傳網(wǎng)站：條件：應(yīng)用程序包含ie,chrome,firefox;目標(biāo)IP公網(wǎng)地址

列表：時(shí)間，部門，姓名，文件名稱，數(shù)據(jù)類型，域名，目標(biāo)IP,詳情

代碼到條件：文件類型,目標(biāo)域名：應(yīng)用

git:Java,python.oogit,

程序：TortoiseGit

(2)DLP功能擴(kuò)展：

眾所周知，DLP需要非常強(qiáng)的運(yùn)營(yíng)能力，創(chuàng)建規(guī)則比較復(fù)雜，尤其在應(yīng)用場(chǎng)

景比較繁多的企業(yè)，準(zhǔn)確率和告警人工排杳工作都比較困難。利用安全日志審計(jì)

平臺(tái)可以直接對(duì)接DLP告警日志，并對(duì)日志進(jìn)行二次規(guī)則匹配，使人工成本降

低，大大提升告警效率。

DLP告警日志接口對(duì)接，可根據(jù)日志接口類型進(jìn)行定制開(kāi)發(fā)。

日志審計(jì)平臺(tái)結(jié)合后，告警場(chǎng)景可以根據(jù)需監(jiān)控的場(chǎng)景進(jìn)行精細(xì)化管理，舉例如

下：

USB拷貝：可將1次拷貝事件合并為1條告警事件，并統(tǒng)計(jì)文件數(shù)量，文

件類型。對(duì)接工單系統(tǒng)，降低數(shù)據(jù)備份，更換電腦等場(chǎng)景的風(fēng)險(xiǎn)值。

離職監(jiān)控：人事系統(tǒng)對(duì)接后，自動(dòng)化篩選離職人員告警，提升風(fēng)險(xiǎn)值。(ps:

也可以對(duì)接DLP規(guī)則引擎，自動(dòng)更新離職人員監(jiān)控名單)

2.安全攻防能力擴(kuò)展

安全日志平臺(tái)可以接受不同類型的日志，也可以實(shí)現(xiàn)不能的安全策略從而發(fā)

現(xiàn)更多的風(fēng)險(xiǎn)和異常，嚴(yán)格意義上這個(gè)可能脫離了數(shù)據(jù)安全的范疇,使其逐步演

進(jìn)為一個(gè)安全基礎(chǔ)監(jiān)控平臺(tái)和安全大數(shù)據(jù)平臺(tái)。具體內(nèi)容不再詳述，這里僅提供

一個(gè)思路：

(1)識(shí)別入侵事件

與DNSIog,威脅情報(bào)，網(wǎng)絡(luò)流量的結(jié)合，識(shí)別如：

惡意挖礦

盲打平臺(tái)

病毒木馬

特定賬號(hào)監(jiān)控

(2)識(shí)別安全漏洞

HTTP接口日志里自身含有比較全的請(qǐng)求header和body的內(nèi)容，并且能很方

便的溯源用戶及IP信息，對(duì)發(fā)現(xiàn)安全漏洞和利用者能夠起到輔助作用：

SQL注入

XSS

命令執(zhí)行

特定場(chǎng)景越權(quán)

登錄爆破和撞庫(kù)

總結(jié)

數(shù)據(jù)只有流傳和應(yīng)用才能產(chǎn)生價(jià)值，如果為了安全而限制了數(shù)據(jù)的使用，那

么數(shù)據(jù)也就喪失了其本來(lái)的價(jià)值,所以數(shù)據(jù)注定是千變?nèi)f化的，也是無(wú)處不在的。

在數(shù)據(jù)安全日志審計(jì)中，解決獲取什么日志也是首先要解決的問(wèn)題。筆者始終認(rèn)

為與其面面俱到不如優(yōu)先做最重要事，所以整個(gè)數(shù)據(jù)安全日志審計(jì)的設(shè)計(jì)也是基

于這個(gè)方面出發(fā)，重點(diǎn)對(duì)應(yīng)用接口日志進(jìn)行收集，在企業(yè)實(shí)際應(yīng)用中也可以根據(jù)

實(shí)際情況先外再內(nèi)的方式依次進(jìn)行。

平臺(tái)后續(xù)可以再逐步擴(kuò)展，并與其它安全能力結(jié)合產(chǎn)生更多的價(jià)值，如結(jié)合

DLP對(duì)文件的監(jiān)控。

附錄：日志格式定義示例

序字類

名琳舉例解弊

號(hào)段型

業(yè)務(wù)所在區(qū),適

Io字

業(yè)務(wù)用于業(yè)務(wù)隨雄區(qū)

1CA符(bishsz)

地域,分公司有明壯

I申

差異

?y

0

字應(yīng)用唯?標(biāo)識(shí)，Rfi

系統(tǒng)m

2符Seclogaudit企業(yè)費(fèi)產(chǎn)特理標(biāo)識(shí)

名稱N

中

a

m

e

m

0e

duX這個(gè)掇口是O

模塊

Ie森詢或是導(dǎo)?

3.方P字符申select導(dǎo)出

(or山松n(MO

法

sct項(xiàng)：無(wú)詞)

Io)

Ct

d

字

b

數(shù)黑符標(biāo)圮深埋點(diǎn)接口所

N

4忤名申(vdatabaso1*/databa$Q2**)杳兩的點(diǎn)是圖個(gè).

a

稱ft芍助于關(guān)聯(lián)散據(jù)庫(kù)

m

m

e

字

se

符

系統(tǒng)rv1-192.168.1.V.-

5中標(biāo)足般當(dāng)腦系徙IP

IPer“I

數(shù)

?p

蛾

d

服務(wù)的域名,如果

0字

系統(tǒng)域名上的業(yè)務(wù)是按

6m符"anquan.XXX.com

域名路檜來(lái)區(qū)分需^加

ai申

上路徑.

n

US

MMozilla/5.0(Macintosh;U;Int

瀏覽er字

elMacOSX10_6_8;en-us)Ap標(biāo)記請(qǐng)求來(lái)源的的

7器信A符

pleWebKit/534.50(KHTML,likUserAgent

息e州

9eGecko)"

nt

qu

標(biāo)記請(qǐng)求來(lái)源的re

瀏覽er字

fer,也就是這個(gè)

8器信yR符“http://www.XXX.com"

請(qǐng)求是從哪里過(guò)來(lái)

息ef串

的

er

isin該接口是否對(duì)外

內(nèi)外

Put.如公司內(nèi)部的

9網(wǎng)信0(012)

bli類后臺(tái)接口?供應(yīng)

息

c型商接口等

us

er

字標(biāo)記發(fā)起這次請(qǐng)求

1請(qǐng)求N

符-zhang.XX-的ERP或者UserN

0Usera

申ame,就是賬號(hào)名

m

e

qu

清求字

1erhttp://anquan.XXX.com/memb

的U符埋點(diǎn)的接口URI

1yuer/detail

RI串

rl

請(qǐng)求ge

的GtP