0923 大數(shù)據(jù)安全前十大挑戰(zhàn)

大數(shù)據(jù)平安前十大挑戰(zhàn)

杭州安恒信息技術(shù)

楊永清Ppt制作：周吉大數(shù)據(jù)平安－前十大挑戰(zhàn)1.分布式編程框架中的平安計算2.非關(guān)系數(shù)據(jù)存儲的平安最正確實踐3.數(shù)據(jù)存儲平安和事務日志平安4.終端輸入驗證/過濾5.實時平安監(jiān)控6.隱私保護的數(shù)據(jù)挖掘和分析的可擴展性和可組合性7.加密強制數(shù)據(jù)中心平安8.細粒度的訪問控制9.細粒度的審計10.數(shù)據(jù)起源1：分布式編程框架中的平安計算分布式編程框架存儲并行計算處理海量數(shù)據(jù)方式第一階段，每個塊的Mapper讀取數(shù)據(jù)，執(zhí)行一些計算，并輸出一個鍵/值對的列表Reducer結(jié)合了屬于每個不同的鍵的值，并輸出該結(jié)果。有兩個主要的攻擊防范措施：1、加固mappers2、當存在不可信mapper時保護數(shù)據(jù)1：分布式編程框架中的平安計算－用例標題內(nèi)容用例不可信的mappers可以被改變來窺探請求，改變MapReduce的腳本，或改變結(jié)果。數(shù)據(jù)映射器可能包含有意或無意的泄漏。1：分布式編程框架中的平安計算－用例主要場景mappers的威脅模型計算工作節(jié)點失靈基礎設施的攻擊偽數(shù)據(jù)節(jié)點2：非關(guān)系數(shù)據(jù)存儲的平安最正確實踐每個NoSQL數(shù)據(jù)庫的建立是為了應對分析世界形成的不同的挑戰(zhàn)，平安從來沒有在設計階段處理。使用NoSQL數(shù)據(jù)庫的開發(fā)人員通常在中間件中嵌入平安。NoSQL數(shù)據(jù)庫在數(shù)據(jù)庫中不提供顯示強制平安的任何支持。然而，NoSQL數(shù)據(jù)庫在集群方面對平安實踐的魯棒性帶來了額外的挑戰(zhàn)。2：非關(guān)系數(shù)據(jù)存儲的平安最正確實踐－用例對廣泛使用的NoSQL數(shù)據(jù)庫使用威脅建模技術(shù)做詳細威脅分析導出的威脅樹表明，NoSQL數(shù)據(jù)庫相比傳統(tǒng)的RDB來說只有一個非常薄的安全層。在一般情況下，NoSQL數(shù)據(jù)庫的安全理念，依賴于外部執(zhí)行機制。為了減少安全事故，公司必須檢查中間件的安全策略，同時加固NoSQL數(shù)據(jù)庫本身，在不影響其操作功能的情況下使其能夠比得上安全的RDB。分析提供為服務（AaaS）情況下，幾個用戶共享框架。當前的NoSQL的安全機制，幾乎是不可能分隔共享框架的內(nèi)部NoSQL數(shù)據(jù)庫的不同的云用戶有關(guān)的敏感數(shù)據(jù)。122：非關(guān)系數(shù)據(jù)存儲的平安最正確實踐－建模建模事務完整性低效的授權(quán)機制松懈的身份驗證機制注入攻擊敏感性缺乏一致性內(nèi)部攻擊2：非關(guān)系數(shù)據(jù)存儲的平安最正確實踐－建模本數(shù)據(jù)的完整性需要通過應用程序或中間件層實施。在存儲和傳輸中使用密文。NoSQL的架構(gòu)應該支持可插拔認證模塊以具備環(huán)境需求的所有級別安全實施?？缂和ㄐ乓矐摰玫礁玫目刂?，使每個節(jié)點都可以驗證其他參與節(jié)點的信任級別適當?shù)娜罩緳C制和模糊測試方法數(shù)據(jù)標記技術(shù)2：非關(guān)系數(shù)據(jù)存儲的平安最正確實踐－實現(xiàn)1將NoSQL隱藏在中間件的安全包裝下或使用像Hadoop框架來訪問NoSQL，可以在NoSQL外圍創(chuàng)建一個虛擬的安全層2作為脆弱的NoSQL數(shù)據(jù)的一種替代，加密提供了更好的保護。3：數(shù)據(jù)存儲和事務日志平安新的機制需要阻止非授權(quán)訪問并保持持續(xù)可用性。自動分層解決方案不要求追蹤數(shù)據(jù)的存儲位置，而這對數(shù)據(jù)存儲平安提出了新的挑戰(zhàn)。3：數(shù)據(jù)存儲和事務日志平安－用例自動分層存儲系統(tǒng)將很少使用的數(shù)據(jù)存儲到一個較低（更便宜）的層次來節(jié)省廠商的錢。然而，這個數(shù)據(jù)可能由不經(jīng)常訪問的重要信息（如研發(fā)成果）組成。由于較低的層次往往將安全簡化，公司應仔細研究分層策略。元數(shù)據(jù)，即文本日志，引入了另一個需要加以保護的維度。日志中毒攻擊將有可能導致數(shù)據(jù)不一致和用戶之間的糾紛。3：數(shù)據(jù)存儲和事務日志平安－建模建模保密性和完整性出處可用性一致性勾結(jié)攻擊回退攻擊爭議3：數(shù)據(jù)存儲和事務日志平安－分析機密性和完整性，可以用強大的加密技術(shù)和消息摘要來實現(xiàn)?？梢杂脕斫粨Q簽名的消息摘要，以解決潛在的糾紛。通過定期審計和哈希鏈或持久認證詞典〔PAD〕可以解決用戶的新鮮度和可串行寫。平安不可信的數(shù)據(jù)倉庫〔SUNDR〕可以用來檢測復制一致性攻擊和可串行化。兩個“無鎖〞的協(xié)議，線性和并發(fā)，已經(jīng)被提議解決單寫多讀〔SWMR〕的問題。然而，SWMR情況相關(guān)的問題，超出了本文的范圍。播送加密和密鑰輪換可以用來提高可擴展性。研究人員已經(jīng)提議處理出處問題[22]的技術(shù)。通過可恢復證明〔POR〕或可證明的數(shù)據(jù)占有〔PDP〕以很高的概率,提高數(shù)據(jù)的可用性。勾結(jié)攻擊方面，只要用戶不交換私人密鑰，基于策略的加密系統(tǒng)〔PBES〕可以成功地保證無勾結(jié)的環(huán)境。如果用戶愿意交換自己的私人密鑰不交換解密的內(nèi)容，仲裁解密系統(tǒng)可防止勾結(jié)攻擊。如果用戶愿意交換解密的內(nèi)容，數(shù)字版權(quán)管理可以防止勾結(jié)攻擊。最近兩個不可抵賴性協(xié)議已經(jīng)被提議解決有爭議的問題，。分析3：數(shù)據(jù)存儲和事務日志平安－實現(xiàn)

23需要關(guān)注3個問題隱私保護加密數(shù)據(jù)的安全操作動態(tài)數(shù)據(jù)操作14：終端輸入驗證/過濾我們怎么能信任數(shù)據(jù)？我們怎樣才能驗證，輸入數(shù)據(jù)源是不是惡意？我們又如何從我們收集的數(shù)據(jù)中過濾惡意輸入？4：終端輸入驗證/過濾－建模對手可能篡改收集數(shù)據(jù)的設備，或可能篡改在設備上運行的數(shù)據(jù)收集應用程序，提供惡意輸入到一個中央數(shù)據(jù)收集系統(tǒng)。操縱輸入源對手可能會危害良性源傳輸?shù)街醒胧占到y(tǒng)的數(shù)據(jù)〔例如，通過執(zhí)行中間人攻擊或重放攻擊〕。對手可能會對一個數(shù)據(jù)采集系統(tǒng)執(zhí)行ID克隆攻擊〔如Sybil攻擊〕12344：終端輸入驗證/過濾－分析1防止入侵者生成并發(fā)送惡意輸入到中央收集系統(tǒng)的解決方案2如果對手成功輸入惡意數(shù)據(jù)，在中央系統(tǒng)檢測和過濾惡意輸入的解決方案。4：終端輸入驗證/過濾－實現(xiàn)識別Sybil攻擊和ID欺騙攻擊，然后找出符合本錢效益的方式來減輕攻擊采取最大的小心來開發(fā)平安的數(shù)據(jù)采集平臺和應用，特別考慮BYOD情景中，將運行在不可信設備上。

在中央收集系統(tǒng)開發(fā)算法來檢測并過濾惡意輸入

5：實時平安監(jiān)控使用相同的根底設施來數(shù)據(jù)分析監(jiān)控大數(shù)據(jù)根底架構(gòu)本身可以利用大數(shù)據(jù)技術(shù)大量誤報兩個主要的角度挑戰(zhàn)5：實時平安監(jiān)控－建?！總€組件的安全性～安全集成這些組件●生態(tài)系統(tǒng)安全性●規(guī)避攻擊和數(shù)據(jù)中毒攻擊●其他障礙（法律法規(guī)等）5：實時平安監(jiān)控－實現(xiàn)Hadoop中沒有內(nèi)置的平安監(jiān)控和分析工具，不同的Hadoop供給商正在開發(fā)和宣布前端系統(tǒng)監(jiān)控Hadoop的請求實時監(jiān)控的解決方案和框架〔如NIST的平安內(nèi)容自動化協(xié)議〔SCAP〕〕正在慢慢進入大數(shù)據(jù)領(lǐng)域?qū)崟r流：Storm〔〕和ApacheKafka6：隱私保護的數(shù)據(jù)挖掘和分析的可擴展性和可組合性－建模123●大數(shù)據(jù)存儲所在公司的內(nèi)部員工可以濫用她的訪問級別和侵犯隱私政策●一個不受信任的合作伙伴可以濫用他們對數(shù)據(jù)的訪問權(quán)限來推斷用戶的私人信息●共享數(shù)據(jù)可以被重新識別6：隱私保護的數(shù)據(jù)挖掘和分析的可擴展性和可組合性－分析通過連續(xù)監(jiān)控來進行濫用的檢測和阻止差分隱私差分隱私6：隱私保護的數(shù)據(jù)挖掘和分析的可擴展性和可組合性－實現(xiàn)靜態(tài)數(shù)據(jù)加密，訪問控制和授權(quán)機制；軟件補丁責任別離和訪問日志紀錄匿名數(shù)據(jù)可以重新識別7：加密強制數(shù)據(jù)中心平安有兩個根本不同的方式來控制不同的實體〔如個人，組織和系統(tǒng)〕對數(shù)據(jù)的可見性。第一種方法通過限制訪問底層系統(tǒng)來控制數(shù)據(jù)的可見性，如操作系統(tǒng)或虛擬機。第二種方法數(shù)據(jù)本身封裝在加密的保護殼中。7：加密強制數(shù)據(jù)中心平安－用例從源頭去限定數(shù)據(jù)的可見性正變得越來越重要對加密數(shù)據(jù)進行索引，分析和有意義的處理。確保數(shù)據(jù)的完整性。7：加密強制數(shù)據(jù)中心平安－建模

建模使用加密的密碼強制訪問控制方法，對手應該不能通過看密文識別對應的明文對于搜索和過濾加密數(shù)據(jù)的加密協(xié)議，對手除了相應的謂詞是否滿足應該不能再學到任何東西對于加密協(xié)議，用于對加密數(shù)據(jù)的計算中，對手不能通過看密文來識別相應的明文數(shù)據(jù)對于加密協(xié)議，確保數(shù)據(jù)來自確定來源的完整性

7：加密強制數(shù)據(jù)中心平安－分析1234●基于身份和屬性的加密方法使用加密技術(shù)進行強制訪問控制●oneh和Waters構(gòu)建一個公鑰系統(tǒng)，支持比較查詢，子查詢和此類查詢的任意結(jié)合。●2021年，Gentry建成首個全同態(tài)加密方案●群簽名使個別實體簽上自己的數(shù)據(jù)，但對公眾來說只能看到組信息。只有受信任的第三方，可以查出個人的身份。7：加密強制數(shù)據(jù)中心平安－實現(xiàn)目前實現(xiàn)基于身份/屬性加密方案和群簽名的算法使用橢圓曲線組，支持雙線性配對圖。這使得組元素的表示稍大。此外，配對操作是計算昂貴的。Gentry原來構(gòu)建完全同態(tài)加密〔FHE〕方案采用多項式環(huán)的理想格。雖然格子構(gòu)建并不十分低效，F(xiàn)HE的計算開銷還遠遠實用。研究正在進行，以找到更簡單的結(jié)構(gòu)，效率的提高和局部同態(tài)方案滿足特定的功能。8：細粒度訪問控制粗粒度的訪問機制的問題是，本來可以共享的數(shù)據(jù)常常被歸到一個更嚴格的類別以保證良好的平安性。細粒度的訪問控制使數(shù)據(jù)管理者可以更精確地共享數(shù)據(jù)，而不影響保密。8：細粒度訪問控制－建模跟蹤單個數(shù)據(jù)元素的保密要求跟蹤用戶的角色和權(quán)限正確實施強制訪問控制的保密要求8：細粒度訪問控制－分析盡可能在根底設施層實現(xiàn)，并適應標準和實踐給定域選擇其所需的適當?shù)牧６人?：細粒度訪問控制－實現(xiàn)實施細粒度的平安訪問，需要跨越大數(shù)據(jù)生態(tài)系統(tǒng)的元素。跟數(shù)據(jù)一起用于跟蹤訪問限制的協(xié)議是必要的，應該在存儲系統(tǒng)中實現(xiàn)，如HDFS和NoSQL數(shù)據(jù)庫。ApacheAccumulo是支持成熟的，單元級的訪問控制的NoSQL數(shù)據(jù)庫。9：細粒度審計合規(guī)性要求〔例如，PCI，薩班斯-奧克斯利法案〕，要求金融企業(yè)提供細粒度的審計記錄。銷售公司要訪問個人的社交媒體信息來優(yōu)化在線廣告的部署。9：細粒度審計－建模及時獲取審計信息信息的的完整性，審計信息沒有被篡改所需的審計信息的完全性t授權(quán)審計信息的訪問主要因素9：細粒度審計－實現(xiàn)取證或SIEM工具收集，分析和處理這些信息從單個組件級別開始實施創(chuàng)立審核層/Orchestrator10：數(shù)據(jù)起源－用例幾個關(guān)鍵的平安應用要求數(shù)字記錄，例如，有關(guān)其產(chǎn)生的詳細情況。例子包括金融公司檢測內(nèi)幕交易或確定研究調(diào)查的數(shù)據(jù)