中安威士數(shù)據(jù)安全管理解決方案之大數(shù)據(jù)脫敏項(xiàng)目建設(shè)方案

1、大數(shù)據(jù)脫敏項(xiàng)目建設(shè)方案2016年5月目錄第1章概述1.1. 大數(shù)據(jù)現(xiàn)狀說(shuō)明隨著大數(shù)據(jù)規(guī)模性、多樣性、高速性、真實(shí)性特征的逐步顯現(xiàn)，以及數(shù)據(jù)資產(chǎn)逐漸成為現(xiàn)代商業(yè)社會(huì)的核心競(jìng)爭(zhēng)力，大數(shù)據(jù)對(duì)行業(yè)用戶的重要性也日益突出。世界經(jīng)濟(jì)論壇報(bào)告認(rèn)為，“大數(shù)據(jù)為新財(cái)富，價(jià)值堪比石油”，大數(shù)據(jù)之父維克托則預(yù)測(cè)，數(shù)據(jù)列入企業(yè)資產(chǎn)負(fù)債表只是時(shí)間問(wèn)題。同時(shí)，大數(shù)據(jù)將推動(dòng)國(guó)民經(jīng)濟(jì)各行業(yè)各領(lǐng)域的創(chuàng)新應(yīng)用，電子政務(wù)、電子商務(wù)都將發(fā)生變化，信息資源的戰(zhàn)略重要性空前鼎盛，大數(shù)據(jù)將成為經(jīng)濟(jì)社會(huì)管理決策的基本平臺(tái)。另外，大數(shù)據(jù)也將引領(lǐng)商業(yè)模式的重要?jiǎng)?chuàng)新，傳統(tǒng)商業(yè)模式將開展大數(shù)據(jù)的挖掘，信息服務(wù)商將利用大數(shù)據(jù)開展個(gè)性化服務(wù)，移動(dòng)互聯(lián)網(wǎng)

2、將開辟新型商務(wù)模式。大數(shù)據(jù)所能帶來(lái)的巨大商業(yè)價(jià)值，被認(rèn)為將引領(lǐng)一場(chǎng)足以與20世紀(jì)計(jì)算機(jī)革命匹敵的巨大變革。大數(shù)據(jù)正在對(duì)每個(gè)領(lǐng)域造成影響，在商業(yè)、經(jīng)濟(jì)和其他領(lǐng)域中，決策行為將日益基于數(shù)據(jù)分析，而不再是憑借經(jīng)驗(yàn)和直覺(jué)。大數(shù)據(jù)正在成為政府和企業(yè)競(jìng)爭(zhēng)的新焦點(diǎn)。各大企業(yè)正紛紛投向大數(shù)據(jù)促生的新藍(lán)海。、和共投入超過(guò)15億美元成立各自的軟件智能數(shù)據(jù)管理和分析專業(yè)公司。在大數(shù)據(jù)時(shí)代，商業(yè)生態(tài)環(huán)境在不經(jīng)意間發(fā)生了巨大變化：無(wú)處不在的智能終端、隨時(shí)在線的網(wǎng)絡(luò)傳輸、互動(dòng)頻繁的社交網(wǎng)絡(luò)，讓以往只是網(wǎng)頁(yè)瀏覽者的網(wǎng)民的面孔從模糊變得清晰，企業(yè)也有機(jī)會(huì)進(jìn)行大規(guī)模的精準(zhǔn)化的消費(fèi)者行為研究。大數(shù)據(jù)將成為未來(lái)競(jìng)爭(zhēng)的制高點(diǎn)。1.2

3、. 大數(shù)據(jù)安全現(xiàn)狀分析基于生態(tài)系統(tǒng)的大數(shù)據(jù)平臺(tái)隨著企業(yè)的不斷采用及開源組織的持續(xù)的優(yōu)化、增強(qiáng)，已逐漸成為大數(shù)據(jù)平臺(tái)建設(shè)的標(biāo)準(zhǔn)產(chǎn)品。然而最初的設(shè)計(jì)并未考慮其安全性，這些平臺(tái)專注于發(fā)展數(shù)據(jù)處理能力，忽視了其他能力的發(fā)展，但生態(tài)系統(tǒng)作為一個(gè)分布式系統(tǒng)，承載了豐富的應(yīng)用，集中了海量的數(shù)據(jù)，如何管理和保護(hù)這些數(shù)據(jù)充滿了挑戰(zhàn)，當(dāng)前市場(chǎng)上，大數(shù)據(jù)平臺(tái)在數(shù)據(jù)本身的安全管控方面普遍存在嚴(yán)重缺失和較大的漏洞。從企業(yè)內(nèi)部來(lái)說(shuō)，大數(shù)據(jù)平臺(tái)的安全管控能力缺失，使得平臺(tái)在數(shù)據(jù)存儲(chǔ)、處理以及使用等各環(huán)節(jié)造成數(shù)據(jù)泄露的風(fēng)險(xiǎn)較大，安全風(fēng)險(xiǎn)面廣，且缺乏有效的處理機(jī)制；另一方面，企業(yè)敏感數(shù)據(jù)的所有權(quán)和使用權(quán)缺乏明確界定和管理，可能

4、造成用戶隱私信息的泄露和企業(yè)內(nèi)部數(shù)據(jù)的泄露，直接造成企業(yè)聲譽(yù)和經(jīng)濟(jì)的雙重?fù)p失。從外部來(lái)看，數(shù)據(jù)即價(jià)值，大數(shù)據(jù)平臺(tái)中復(fù)雜、敏感、全面的數(shù)據(jù)無(wú)疑會(huì)吸引更多的潛在攻擊者。同時(shí)，數(shù)據(jù)的大量匯集，使得黑客成功攻擊一次就能獲得更多數(shù)據(jù)，極大降低了黑客的進(jìn)攻成本。因此，大數(shù)據(jù)將有可能成為網(wǎng)絡(luò)攻擊的顯著目標(biāo)。大數(shù)據(jù)平臺(tái)安全能力的嚴(yán)重缺失和風(fēng)險(xiǎn)的普遍存在，導(dǎo)致大數(shù)據(jù)平臺(tái)本身是脆弱的，對(duì)企業(yè)數(shù)據(jù)安全造成了極大的風(fēng)險(xiǎn)，對(duì)企業(yè)來(lái)說(shuō)是難以忽視的風(fēng)險(xiǎn)點(diǎn)。第2章建設(shè)目的通過(guò)本項(xiàng)目實(shí)施，可以實(shí)現(xiàn)如下目標(biāo)：1 、針對(duì)大數(shù)據(jù)敏感數(shù)據(jù)信息，設(shè)計(jì)并落實(shí)敏感數(shù)據(jù)安全解決方案，實(shí)現(xiàn)敏感數(shù)據(jù)的模糊化，確保敏感數(shù)據(jù)信息安全可靠；2、通過(guò)大數(shù)

5、據(jù)平臺(tái)安全方案的建設(shè)，填補(bǔ)大數(shù)據(jù)平臺(tái)數(shù)據(jù)安全防護(hù)方面的空缺，有效降低大數(shù)據(jù)安全管控方面的風(fēng)險(xiǎn)。第3章項(xiàng)目范圍大數(shù)據(jù)平臺(tái)范圍：本項(xiàng)目范圍適用于基于開源架構(gòu)的大數(shù)據(jù)平臺(tái)環(huán)境，包括、等大數(shù)據(jù)組件。第4章建設(shè)原則大數(shù)據(jù)安全方案設(shè)計(jì)建設(shè)應(yīng)遵循實(shí)用性、前瞻性、兼容性原則，其中：適用性原則：必須適用實(shí)際大數(shù)據(jù)環(huán)境，能夠與大數(shù)據(jù)平臺(tái)順利結(jié)合，發(fā)揮安全管控效用；前瞻性原則：平臺(tái)架構(gòu)設(shè)計(jì)具有良好的前瞻性和擴(kuò)展性，充分考慮未來(lái)大數(shù)據(jù)新技術(shù)的發(fā)展；兼容性原則：大數(shù)據(jù)安全平臺(tái)應(yīng)兼容基于的各版本的要求，包括發(fā)布版和開源版本。安全性原則：系統(tǒng)采取全面的安全保護(hù)措施，采用嚴(yán)格的訪問(wèn)控制機(jī)制、系統(tǒng)冗余機(jī)制、數(shù)據(jù)保密機(jī)制等，保證

6、安全平臺(tái)的安全性。第5章大數(shù)據(jù)安全建設(shè)方案5.1. 大數(shù)據(jù)脫敏方案5.1.1. 大數(shù)據(jù)脫敏設(shè)計(jì)架構(gòu)大數(shù)據(jù)平臺(tái)脫敏及模糊化模塊主要包括兩大功能：敏感數(shù)據(jù)發(fā)現(xiàn)和敏感數(shù)據(jù)脫敏。架構(gòu)設(shè)計(jì)如下圖所示：K硬化能 脫及楣功顆里數(shù)據(jù)黯現(xiàn)敏感敷盤脫«1敏感數(shù)據(jù)發(fā)現(xiàn)：通過(guò)設(shè)置敏感數(shù)據(jù)發(fā)現(xiàn)策略，平臺(tái)自動(dòng)識(shí)別敏感數(shù)據(jù)，發(fā)現(xiàn)敏感數(shù)據(jù)后產(chǎn)生報(bào)警，保障數(shù)據(jù)在產(chǎn)生階段安全。敏感數(shù)據(jù)發(fā)現(xiàn)功能包括如下內(nèi)容：敏感信息規(guī)則庫(kù)建立關(guān)系型數(shù)據(jù)檢測(cè)敏感內(nèi)容描述檢測(cè)敏感數(shù)據(jù)脫敏：針對(duì)平臺(tái)、大數(shù)據(jù)存儲(chǔ)組件結(jié)合用戶權(quán)限提供動(dòng)態(tài)數(shù)據(jù)脫敏功能，保障敏感數(shù)據(jù)訪問(wèn)安全，同時(shí)基于大數(shù)據(jù)安全分析技術(shù)，發(fā)現(xiàn)敏感數(shù)據(jù)訪問(wèn)的異常行為，并提供敏感數(shù)據(jù)視圖

7、，實(shí)現(xiàn)全局化數(shù)據(jù)管理和對(duì)各種類別敏感數(shù)據(jù)脫敏的精細(xì)化管理。數(shù)據(jù)脫敏及模糊化功能模塊是在數(shù)據(jù)庫(kù)層面對(duì)數(shù)據(jù)進(jìn)行屏蔽、加密、隱藏、審計(jì)或封鎖訪問(wèn)途徑的方式。該模塊作為一個(gè)網(wǎng)關(guān)形式部署，所有需要進(jìn)行敏感數(shù)據(jù)動(dòng)態(tài)脫敏的應(yīng)用系統(tǒng)需通過(guò)該產(chǎn)品實(shí)現(xiàn)對(duì)數(shù)據(jù)庫(kù)的訪問(wèn)。數(shù)據(jù)脫敏：當(dāng)應(yīng)用程序請(qǐng)求通過(guò)敏感數(shù)據(jù)脫敏模塊時(shí)，對(duì)其進(jìn)行實(shí)時(shí)篩選，并依據(jù)用戶角色、職責(zé)和其他定義規(guī)則對(duì)敏感數(shù)據(jù)進(jìn)行脫敏處理。脫敏的方式包括如下幾種形式：數(shù)據(jù)替換-以虛構(gòu)數(shù)據(jù)代替真值；截?cái)?、加密、隱藏或使之無(wú)效-以“無(wú)效”或*代替真值；隨機(jī)化-以隨機(jī)數(shù)據(jù)代替真值；偏移-通過(guò)隨機(jī)移位改變數(shù)字?jǐn)?shù)據(jù)；訪問(wèn)預(yù)警：在大數(shù)據(jù)應(yīng)用正常訪問(wèn)行為模型自學(xué)習(xí)基礎(chǔ)上，進(jìn)行應(yīng)

8、用異常行為分析、發(fā)現(xiàn)及告警功能強(qiáng)化應(yīng)用安全管控，保證數(shù)據(jù)安全。5.1.2. 大數(shù)據(jù)脫敏工作原理通過(guò)認(rèn)證授權(quán)服務(wù)進(jìn)行認(rèn)證登錄后，使用方式對(duì)大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行操作，根據(jù)控制、規(guī)則策略、防火墻網(wǎng)絡(luò)阻斷等技術(shù)手段，達(dá)到模糊化要求，再分配給業(yè)務(wù)、運(yùn)維人員使用。數(shù)據(jù)倉(cāng)庫(kù)DriverI Pamcilec Optimizer Executor J用戶接口層：用戶接口主要有三個(gè)：，和。其中最常用的是，啟動(dòng)的時(shí)候，會(huì)同時(shí)啟動(dòng)一個(gè)副本。是的客戶端，用戶連接至。在啟動(dòng)模式的時(shí)候，需要指出所在節(jié)點(diǎn)，并且在該節(jié)點(diǎn)啟動(dòng)。是通過(guò)瀏覽器訪問(wèn)。本方案采用客戶端的方式對(duì)進(jìn)行操作。數(shù)據(jù)脫敏平臺(tái)：客戶端通過(guò)數(shù)據(jù)脫敏平臺(tái)登錄后，對(duì)進(jìn)

9、行操作。通過(guò)脫敏策略配置，使用戶可訪問(wèn)數(shù)據(jù)進(jìn)行脫敏，通過(guò)數(shù)據(jù)異常行為分析、發(fā)現(xiàn)，進(jìn)行數(shù)據(jù)訪問(wèn)告警，保護(hù)敏感數(shù)據(jù)安全，并在前端進(jìn)行視圖展示。數(shù)據(jù)存儲(chǔ)：將元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，連接到這些數(shù)據(jù)庫(kù)（，）的模式分為三種：?jiǎn)斡脩裟Ｊ?、多用戶模式、遠(yuǎn)程服務(wù)器模式。元數(shù)據(jù)包括、表名、表的列及類型、存儲(chǔ)空間、分區(qū)、表數(shù)據(jù)所在的目錄等。完成的查詢語(yǔ)句的詞法分析、語(yǔ)法分析、編譯、優(yōu)化及查詢計(jì)劃的生成。生成的查詢計(jì)劃存儲(chǔ)在中，并由調(diào)用執(zhí)行。環(huán)境:的數(shù)據(jù)存儲(chǔ)在中，針對(duì)大部分的查詢請(qǐng)求，內(nèi)部自動(dòng)轉(zhuǎn)換為任務(wù)執(zhí)行。5.1.3. 大數(shù)據(jù)敏感數(shù)據(jù)發(fā)現(xiàn). 建立大數(shù)據(jù)敏感數(shù)據(jù)規(guī)則防止敏感信息泄漏威脅的首要步驟是定義企業(yè)

10、敏感信息，通過(guò)建立敏感信息樣本庫(kù)，定義企業(yè)的敏感信息的具體特征。敏感信息庫(kù)內(nèi)置企業(yè)各類敏感信息的識(shí)別規(guī)則，包括但不限于：身份證號(hào)碼手機(jī)號(hào)碼生日信用卡號(hào)碼敏感信息規(guī)則應(yīng)支持如下兩類數(shù)據(jù)存儲(chǔ)機(jī)制：結(jié)構(gòu)化數(shù)據(jù)，如存儲(chǔ)在數(shù)據(jù)庫(kù)中的客戶或員工記錄等；半結(jié)構(gòu)化數(shù)據(jù)，半結(jié)構(gòu)化數(shù)據(jù)具有一定的結(jié)構(gòu)性。例如：是一種典型的半結(jié)構(gòu)化數(shù)據(jù)模型。同時(shí)敏感信息規(guī)則應(yīng)支持用戶自定義各類敏感信息規(guī)則以便在不同應(yīng)用場(chǎng)景中允許用戶進(jìn)行規(guī)則擴(kuò)展。. 大數(shù)據(jù)敏感數(shù)據(jù)檢測(cè)脫敏系統(tǒng)支持對(duì)大數(shù)據(jù)平臺(tái)存儲(chǔ)的結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)庫(kù)、表進(jìn)行敏感數(shù)據(jù)掃描探測(cè)，并對(duì)每個(gè)數(shù)據(jù)表進(jìn)行抽樣數(shù)據(jù)匹配，基于敏感信息庫(kù)來(lái)檢測(cè)存儲(chǔ)在大數(shù)據(jù)平臺(tái)的敏感數(shù)

11、據(jù)如：客戶信息、交易數(shù)據(jù)等。脫敏系統(tǒng)將數(shù)據(jù)庫(kù)中的包含敏感信息的表和字段標(biāo)記出來(lái)以實(shí)現(xiàn)各類高級(jí)數(shù)據(jù)安全功能。例如利用敏感數(shù)據(jù)標(biāo)記實(shí)現(xiàn)以下需求：用戶數(shù)據(jù)庫(kù)表中含有很多客戶信息（如用戶姓名、身份證號(hào)、賬號(hào)、手機(jī)號(hào)等），實(shí)現(xiàn)定義規(guī)則：只向外傳輸姓名，不作為信息泄密事件姓名、賬號(hào)和電話等信息同時(shí)向外泄露，則就認(rèn)定為信息泄露事件。數(shù)據(jù)檢測(cè)支持在給定數(shù)據(jù)行的任意列組合的基礎(chǔ)上進(jìn)行檢測(cè)。例如，接受單一姓名、賬號(hào)、電話的檢測(cè)，也能夠接受“姓名”和“身份證號(hào)碼”字段的組合，因此可以靈活、方便地進(jìn)行敏感數(shù)據(jù)的檢測(cè)。. 大數(shù)據(jù)敏感內(nèi)容檢測(cè)描述用戶管理人員采用內(nèi)容描述匹配來(lái)輔助建立敏感數(shù)據(jù)樣本庫(kù)。內(nèi)容描述

12、匹配具有高度準(zhǔn)確性，對(duì)結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)同樣適用，它通過(guò)用戶輸入關(guān)鍵字、模式匹配、文件類型、文件大小、發(fā)送人、接收人、用戶名和網(wǎng)絡(luò)協(xié)議等各類條件，來(lái)實(shí)現(xiàn)敏感信息的檢測(cè)。1 .關(guān)鍵字檢測(cè)支持多種模式的關(guān)鍵字檢測(cè)：支持“*”和“？”通配符檢測(cè)；支持忽略大小寫檢測(cè)；支持多文種關(guān)鍵字檢測(cè)；支持多關(guān)鍵字檢測(cè)。支持支持臨近關(guān)鍵字匹配，通過(guò)定義某一跨度范圍內(nèi)的關(guān)鍵字對(duì)等，達(dá)到減少誤報(bào)。2 .正則表達(dá)式檢測(cè)敏感數(shù)據(jù)往往具有一些特征，表現(xiàn)為一些特定字符之間的組合，這用正則表達(dá)式來(lái)進(jìn)行規(guī)則定義。系統(tǒng)支持基于正則表達(dá)式的檢測(cè)，實(shí)現(xiàn)對(duì)“規(guī)則字符串”過(guò)濾與檢查。3 .數(shù)據(jù)標(biāo)識(shí)符檢測(cè)支持?jǐn)?shù)據(jù)標(biāo)識(shí)符檢測(cè)。像身份證號(hào)碼、手

13、機(jī)號(hào)、銀行卡號(hào)、駕照號(hào)等數(shù)據(jù)標(biāo)示符都是敏感數(shù)據(jù)重要特征，這些數(shù)據(jù)標(biāo)識(shí)符具有特定用處、特定格式、特定校驗(yàn)方式。支持多種類型的數(shù)據(jù)標(biāo)識(shí)符模板，包括如下類型身份證號(hào)碼、銀行卡號(hào)、駕照、十進(jìn)制地址、十六進(jìn)制地址等。同時(shí)提供了相應(yīng)的接口，用戶可以基于實(shí)際情況自行編輯自己需要的數(shù)據(jù)標(biāo)識(shí)符校驗(yàn)器，如話單、詳單等。5.1.4. 大數(shù)據(jù)脫敏技術(shù)方案. 大數(shù)據(jù)脫敏設(shè)計(jì)思路數(shù)據(jù)脫敏是在用戶層面對(duì)數(shù)據(jù)進(jìn)行屏蔽、隱藏或封鎖訪問(wèn)途徑，從而達(dá)到敏感數(shù)據(jù)保護(hù)的目的。1、首先需要配置對(duì)于某個(gè)用戶、某一數(shù)據(jù)庫(kù)的表、歹I，確認(rèn)采用何種脫敏方式；2、用戶的指令在被數(shù)據(jù)倉(cāng)庫(kù)解析執(zhí)行之前，會(huì)首先進(jìn)行脫敏判斷。如果對(duì)該用戶來(lái)

14、說(shuō)，其訪問(wèn)的某些數(shù)據(jù)被配置了脫敏方式，那么數(shù)據(jù)倉(cāng)庫(kù)僅會(huì)將脫敏后的數(shù)據(jù)返回給用戶，從而保證了原始數(shù)據(jù)對(duì)用戶的不可見。流程見下圖所示：UI. 大數(shù)據(jù)脫敏技術(shù)原理分析大數(shù)據(jù)脫敏模塊位于應(yīng)用程序和大數(shù)據(jù)平臺(tái)之間,保護(hù)存儲(chǔ)在大數(shù)據(jù)平臺(tái)中的敏感數(shù)據(jù)。脫敏模塊截取發(fā)送到大數(shù)據(jù)平臺(tái)的訪問(wèn)請(qǐng)求，并送到規(guī)則引擎進(jìn)行處理。脫敏模塊提供配置管理工具，管理敏感數(shù)據(jù)脫敏的策略配置并建立連接和安全規(guī)則。敏感數(shù)據(jù)動(dòng)態(tài)脫敏模塊通過(guò)改寫應(yīng)用系統(tǒng)發(fā)送的訪問(wèn)請(qǐng)求實(shí)現(xiàn)敏感數(shù)據(jù)動(dòng)態(tài)脫敏，處理流程如下：1、數(shù)據(jù)脫敏模塊偵聽并轉(zhuǎn)發(fā)應(yīng)用程序發(fā)送到大數(shù)據(jù)平臺(tái)訪問(wèn)請(qǐng)求。2、當(dāng)應(yīng)用程序發(fā)送一個(gè)請(qǐng)求到大數(shù)據(jù)平臺(tái)時(shí)，動(dòng)態(tài)數(shù)據(jù)屏蔽模塊收到該

15、請(qǐng)求并識(shí)別發(fā)起請(qǐng)求的程序名、用戶名、語(yǔ)法等信息，根據(jù)規(guī)則引擎的策略配置來(lái)確定轉(zhuǎn)發(fā)該請(qǐng)求到大數(shù)據(jù)平臺(tái)前需執(zhí)行的動(dòng)作。3、數(shù)據(jù)脫敏模塊根據(jù)規(guī)則對(duì)應(yīng)用程序發(fā)送的語(yǔ)法、語(yǔ)法進(jìn)行改寫，并發(fā)送修改后的請(qǐng)求發(fā)送到大數(shù)據(jù)平臺(tái)中。4、大數(shù)據(jù)平臺(tái)處理該請(qǐng)求，并發(fā)送回給應(yīng)用程序的結(jié)果。. 大數(shù)據(jù)解析引擎技術(shù)實(shí)現(xiàn)數(shù)據(jù)解析引擎的實(shí)現(xiàn)機(jī)制如下：1 、網(wǎng)絡(luò)協(xié)議解析：對(duì)網(wǎng)絡(luò)流量進(jìn)行應(yīng)用層解析；2、語(yǔ)法智能分析：對(duì)應(yīng)用層訪問(wèn)協(xié)議中的大數(shù)據(jù)訪問(wèn)請(qǐng)求語(yǔ)法進(jìn)行智能識(shí)別；3、安全策略智能匹配：依據(jù)策略中的語(yǔ)法特征對(duì)流量中的請(qǐng)求訪問(wèn)語(yǔ)句進(jìn)行匹配識(shí)別；4、請(qǐng)求語(yǔ)句改寫：對(duì)符合安全策略智能匹配的請(qǐng)求語(yǔ)句，按照用戶配置的模糊化策

16、略進(jìn)行語(yǔ)句重寫；5 、協(xié)議轉(zhuǎn)發(fā):將改寫后的請(qǐng)求語(yǔ)句重新構(gòu)建成網(wǎng)絡(luò)流量，并轉(zhuǎn)發(fā)至大數(shù)據(jù)平臺(tái)數(shù)據(jù)解析引擎的實(shí)現(xiàn)機(jī)制。其中核心功能是通過(guò)開發(fā)脫敏算法，根據(jù)不用的用戶和組、角色、權(quán)限、資源（、）定制開發(fā)不同的模糊化脫敏規(guī)則。用戶執(zhí)行查詢，通過(guò)用戶名、權(quán)限、模糊化算法進(jìn)行匹配，最終返回請(qǐng)求結(jié)果。authorizef)Check脫敏算法Result. 大數(shù)據(jù)脫敏方法數(shù)據(jù)脫敏方法可根據(jù)用戶需求的不同而進(jìn)行定制，我們?cè)谙到y(tǒng)中默認(rèn)提供了最常見的兩種脫敏方法示例如下：方法一：隨機(jī)值替換脫敏本方式采用隨機(jī)值替換（字母變?yōu)殡S機(jī)字母，數(shù)字變?yōu)殡S機(jī)數(shù)字）的方式來(lái)改變查詢返回的結(jié)果，該方案的優(yōu)點(diǎn)是可以在一定程

17、度上保留數(shù)據(jù)的格式，且用戶在不知情的情況下無(wú)法發(fā)現(xiàn)查詢返回的數(shù)據(jù)是經(jīng)過(guò)脫敏操作的。方法二：特殊字符替換脫敏與隨機(jī)值替換不同，該方式在處理待脫敏的數(shù)據(jù)時(shí)是采用特殊字符（如“*”）替換的方式，該方式更好的隱藏敏感數(shù)據(jù)，但缺點(diǎn)是用戶無(wú)法得知原數(shù)據(jù)的格式，在涉及到一些數(shù)據(jù)統(tǒng)計(jì)工作的時(shí)候會(huì)有影響。在實(shí)際使用過(guò)程中，多種脫敏方法經(jīng)常需要配合使用，對(duì)一張數(shù)據(jù)表中不同資源使用不同的脫敏方法進(jìn)行數(shù)據(jù)脫敏，示例如下:脫敏前:0：(AK：hive2：/geteihdvH|-l0000/>最醍CX”睛Ournry.t】但：.a匚tIcnfrore/wits：Jtfi鳴logthrMt!Hinterrupted,

18、slnctqu*iyisdone!+-T.-+*p11Country|<11Wit|Mticm|3U5*dr»id|createhfot«110-28.B肌的FRindwsupddtEhntv151,7.1USMidraidIupdiPMiir10,200.3B.77los1cr»it«w(*",L4.5usMUU.MXL1WLL-一一一T二一一三一一一T一十brdwt.l也ztwdCl.WWMWzordi脫敏后:67阪珀丫目露際鼠二;遍；對(duì)KI®Enry<Htnv衣三Iqn的門與；c«:t1nglogtMeM代

19、weerupted,sincequery1sdone1，*，4t,£+，A，*，M，修|修,&-，jjOI_d|qaction430.2355800.現(xiàn).9966324泡工*1卜”*1IIIVWMULI1-an'*,rdwi*"jan*”(j101W*3NULL卜iIcreit*KoteupdattKottupdatfKotetreat£N<n«updat*T*g|HULL一彳6remMWmd(n.flnqwndq)-在這個(gè)示例中，我們對(duì)此表的三個(gè)字段分別用不同的脫敏方法進(jìn)行了處理:第一個(gè)字段采用隨機(jī)數(shù)替換，替換范圍為前地址前兩個(gè)值

20、。第二個(gè)字段采用特殊字符替換，替換范圍為所有字符。第三個(gè)字段采用特殊字符替換，替換范圍為第3-6個(gè)字符. 大數(shù)據(jù)脫敏方法適用場(chǎng)景目前脫敏方法支持的常用操作主要有：查看表結(jié)構(gòu)帶常用條件的查詢，如H數(shù)據(jù)分組，等查詢結(jié)果的分組統(tǒng)計(jì)目前脫敏方法不支持操作主要有：多表查詢子查詢（嵌套查詢）用查詢結(jié)果創(chuàng)建新表. 大數(shù)據(jù)敏感策略配置敏感策略管理模塊，主要實(shí)現(xiàn)模糊規(guī)則管理、敏感資產(chǎn)管理、脫敏場(chǎng)景規(guī)則管理。如下圖所示：模糊規(guī)則管理，主要實(shí)現(xiàn)對(duì)不同敏感數(shù)據(jù)類型進(jìn)行模糊規(guī)則設(shè)置管理，模糊化規(guī)則如下表描述：峭耕瞭型適用數(shù)據(jù)基說(shuō)時(shí)可頻字得昌騰3電話一理銀行帳號(hào)等以婀拉伯?dāng)?shù)更為莊林的內(nèi)容時(shí)亙,

21、白朝、時(shí)間畫時(shí)時(shí)間增加一Wi通，時(shí)間岫朦字符審翻全都內(nèi)容為囿定內(nèi)容字將肆音撻匹百哈定模雌內(nèi)容為圓企內(nèi)容列自明發(fā)期用理隨機(jī)交換同1上的字段內(nèi)容的畦翻字符審一麥持1曬酊曬身份證號(hào)，只時(shí)最后的順序號(hào)出廳蝌EF第1期§；方臬舐娥學(xué)郵轉(zhuǎn)內(nèi)容昔溢由孚辜蒯字符事數(shù)字翻為數(shù)字、字即孰為字母r其他保持原樣不孌NUMBER支持筒里的條件的制理.>=<<=等條件殳理河割字段模翱熊、所搬可設(shè)定對(duì)年，月、日、時(shí)、分、秒進(jìn)行順懶撕字符曷將前應(yīng)字踣轉(zhuǎn)換為設(shè)定字蒼1 .敏感資產(chǎn)管理，實(shí)現(xiàn)對(duì)敏感數(shù)據(jù)和疑似敏感數(shù)據(jù)的庫(kù)表字段進(jìn)行梳理、敏感確認(rèn)過(guò)程以及對(duì)已有敏感數(shù)據(jù)資產(chǎn)的維護(hù)管理，另外還涉及各類數(shù)據(jù)庫(kù)敏

22、感數(shù)據(jù)資產(chǎn)對(duì)應(yīng)的庫(kù)表的管理。2 .脫敏場(chǎng)景管理，由于不同用戶和數(shù)據(jù)處理情況需求，對(duì)于同樣的數(shù)據(jù)源需要設(shè)置不同的脫敏規(guī)則，需要定義出相應(yīng)脫敏場(chǎng)景。3 .脫敏規(guī)則管理，實(shí)現(xiàn)在不同脫敏場(chǎng)景定義敏感數(shù)據(jù)資產(chǎn)的相應(yīng)脫敏模糊化規(guī)則。脫敏策略管理頁(yè)面:序號(hào)崛許一沫K眥當(dāng)腳磕EO門口8001脫超K法I題法1猊段法1先毒,法1撓幗法1睨敦:法1詼國(guó)：*法1使用中50W蛆勵(lì)$1捌鋤KM1愀fin法1翱lEViMl幌般HI卻融靖施1悔IK濟(jì)1停用中W如0恒脫£.£屏|.玄1歸般住上程墟M.去1坨收法博.就M去1緯時(shí)廷1使剛中OOOD4HZMWjSI脫.港】周觸一法(XMK沖脫數(shù)修法1割近法1發(fā)數(shù)

23、法加加5M清2捌厘1即瓜OOOOS脫匍法睨.注氏敕K注如上圖所示，在管理頁(yè)面中可根據(jù)需求定制、保存脫敏算法，并且可以“停用”“使用”的配置選擇是否激活算法，操作靈活，管理便捷。. 大數(shù)據(jù)敏感數(shù)據(jù)視圖在大數(shù)據(jù)應(yīng)用正常訪問(wèn)行為模型自學(xué)習(xí)基礎(chǔ)上，進(jìn)行應(yīng)用異常行為分析、發(fā)現(xiàn)、告警及相關(guān)操作審計(jì)功能，便于管理員及時(shí)發(fā)現(xiàn)大數(shù)據(jù)平臺(tái)中可能存在的風(fēng)險(xiǎn)點(diǎn)及攻擊行為，強(qiáng)化應(yīng)用安全管控，保證數(shù)據(jù)安全。操作審計(jì)頁(yè)面：A操作日再審計(jì)算gLOGJDAPP.NAMEUSER.NAMEAPP_GROUPU5ER_GR0UPIPLOG.IDAPP_NOO0D11WMS1使明中段后餐y眄歸DQQD1*尊苕揍選,iS

24、flrM0QQQ)，號(hào)flie瓜尊百揍:去二i-DOQ01號(hào)flie一肋粳00001tsaetrsi，砧際茫使IR中脫即E法1+導(dǎo)修祥送mm,I1上U14111liH14nt-K*第如上圖所示，在“操作日志審計(jì)”頁(yè)面中可看到與已使用的脫敏策略相關(guān)的審計(jì)內(nèi)容信息。5.2. 大數(shù)據(jù)安全系統(tǒng)配置部署5.2.1. 系統(tǒng)部署架構(gòu)立于大數(shù)據(jù)平臺(tái)。其中數(shù)據(jù)脫敏網(wǎng)關(guān)部署為集群方式,最少部署兩臺(tái)服務(wù)器,本次大數(shù)據(jù)安全平臺(tái)的脫敏網(wǎng)關(guān)、安全基線掃描服務(wù)器工作模式都是獨(dú)通過(guò)負(fù)載均衡設(shè)備對(duì)外提供服務(wù)，整體拓?fù)淙缦?大數(shù)據(jù)平臺(tái)運(yùn)維用戶大數(shù)據(jù)應(yīng)用核心交換機(jī)圖例 以太網(wǎng)絡(luò)訪問(wèn)數(shù)據(jù)流（出）訪問(wèn)數(shù)據(jù)流（入）新增硬件設(shè)備負(fù)載均衡橫向擴(kuò)展集群數(shù)據(jù)脫敏網(wǎng)關(guān)集群5.2.2.硬件設(shè)備清單接入交換機(jī)HIVE安全基線掃描服務(wù)器Hbase NameNode DataNode大數(shù)據(jù)平臺(tái)示例應(yīng)用模塊主機(jī)型號(hào)主機(jī)數(shù)量配置內(nèi)存配置存儲(chǔ)網(wǎng)絡(luò)接口備注大數(shù)據(jù)安全 管控平臺(tái)- 數(shù)據(jù)脫敏網(wǎng)關(guān)X86服務(wù)器2臺(tái)（標(biāo)配）8*2.4或更高3 641硬盤萬(wàn)兆網(wǎng)卡，4個(gè)需提供支 持萬(wàn)兆接 口的交換 機(jī)業(yè)務(wù)用戶5.2.3.軟件清單應(yīng)用模塊操作系統(tǒng)應(yīng)用軟件其他軟件備注大數(shù)據(jù)安全管控平臺(tái)-數(shù)據(jù)脫敏網(wǎng)關(guān)6.564自主開發(fā)大數(shù)據(jù)脫敏軟件開源2.6穩(wěn)定版5.2.4. 兼容性設(shè)計(jì)本項(xiàng)目數(shù)據(jù)模糊化和平臺(tái)組件安全解決方案兼容各類商業(yè)、開源大數(shù)