云存儲中數(shù)據(jù)完整性驗證綜述

1、云存儲中數(shù)據(jù)完整性驗證綜述摘要：隨著大數(shù)據(jù)時代的到來，越來越多的人享受著云效勞帶來的便利。相應的，大量的用戶隱私數(shù)據(jù)存儲在云上，確保云上數(shù)據(jù)的平安性與隱私性至關重要。由于數(shù)據(jù)文件存儲在遠程節(jié)點上，用戶失去了對數(shù)據(jù)的絕對控制權，如何判斷云上數(shù)據(jù)是否被不老實的云效勞供給商篡改或損壞等需要提供數(shù)據(jù)完整性驗機制去檢驗。本文主要是對數(shù)據(jù)完整性證明機制PDP，POR協(xié)議的各個現(xiàn)有方案進行歸類，比照各個方案的優(yōu)缺點，并介紹當前需要解決的問題。雖然現(xiàn)有方案已經(jīng)解決了大數(shù)據(jù)完整性驗證的問題，但方案的效率性和平安性仍有待提高。如何設計出平安、高效和支持動態(tài)審計的數(shù)據(jù)完整性驗證協(xié)議是我們亟需要解決的重要問題。關鍵詞

2、：PDP；POR；審計協(xié)議；云存儲1 引言云計算是一種計算方式，它依賴于共享計算資源，而不是本地效勞器或個人設備來處理應用程序。在云計算模式下，大量的計算工作由云計算數(shù)據(jù)中心的計算機集群來完成，用戶只需要在客戶端下利用網(wǎng)絡就可以完成各種計算工作。對企業(yè)來說，云計算使資源共享和空間利用效率最大化，降低了運維本錢和風險。對用戶來說，云計算讓我們以最小的花銷和最快的速度得到我們想要的結(jié)果。在云存儲系統(tǒng)中，用戶可以隨時訪問、處理和共享遠程效勞器上的數(shù)據(jù)。我們在享受云計算給我們帶來的極大便利的同時，云存儲的平安性1 李暉,孫文海,李鳳華,王博洋. 公共云存儲效勞數(shù)據(jù)平安及隱私保護技術綜述J/OL. 計算

3、機研究與開展,2021,51(07):1397-1409. (2021-07-04)2021-09-01. 1和隱私性2 薛矛,薛巍,舒繼武,劉洋. 一種云存儲環(huán)境下的平安存儲系統(tǒng)J/OL. 計算機學報,2021,38(05):987-998. (2021-09-04)2021-09-01.2引起了我們的密切關注。在云存儲系統(tǒng)中用戶存儲在云中的數(shù)據(jù)可能遭到其他用戶或云計算提供商的篡改或損壞。由于用戶失去了對存儲在遠程節(jié)點上數(shù)據(jù)的絕對控制權，無法判斷遠程節(jié)點上的數(shù)據(jù)是否被修改等。這就需要云存儲系統(tǒng)提供數(shù)據(jù)完整性證明機制驗證其云端數(shù)據(jù)的完整性。通常，數(shù)據(jù)的機密性可通過數(shù)據(jù)加密、匿名機制等機制來確保

4、3 Li Ning-Hui,Li Tian-Cheng,Venkatasubramanian S.t-closeness:Privacy beyond k-anonymity and l-diversity/ Proceedings of the IEEE 23th International Conference on Data Engineering(ICDE2007).Istanbul,Turkey,2007:106-115.3。數(shù)據(jù)完整性證明機制能及時地識別云中損壞數(shù)據(jù)的行為4 Ateniese G,Burns R,Curtmola R.Provable data possession

5、 at untrusted stores/Proceedings of the 14th ACM Conference on Computer and Communications Security(CCS 2007).Alexandria,USA,2007:598-6094。本文主要是對數(shù)據(jù)完整性證明機制的各個現(xiàn)有方案進行歸類，比照各個方案的優(yōu)缺點，并介紹數(shù)據(jù)完整性的最新研究進展和面臨的挑戰(zhàn)。2概述云存儲是一種數(shù)據(jù)遠程維護、管理和備份的效勞。該效勞允許用戶在線存儲文件，以便他們可以通過互聯(lián)網(wǎng)從任何位置訪問它們。在云存儲模式下，用戶不需要下載數(shù)據(jù)就可以跨多個遠程節(jié)點管理數(shù)據(jù)，備份數(shù)據(jù)以及添加新

6、節(jié)點或刪除現(xiàn)有節(jié)點。從智能 到平板電腦，從筆記本到臺式機，我們每天都使用各種各樣的設備，每個設備間切換文件可能很麻煩和復雜。但是在云存儲效勞中，無論是移動設備還是計算機我們都可以連接任意互聯(lián)網(wǎng)訪問我們的數(shù)據(jù)，并且支持數(shù)據(jù)在所有設備上同步。尤其對企業(yè)來說，將機密或敏感數(shù)據(jù)存儲在云中通常比在本地存儲更平安。使用云存儲效勞，數(shù)據(jù)被加密存儲5 Rafaeli S, Hutchison D. A survey of key management for secure group communicationJ. ACM Computing Surveys (CSUR), 2003, 35(3): 309-

7、329.5在云中，未經(jīng)授權的用戶無法訪問文件。無論我們是想要共享單個文件還是大量文件，云存儲效勞可以讓我們和任意用戶輕松共享文件。2.1 數(shù)據(jù)存儲模型云存儲環(huán)境下數(shù)據(jù)完整性證明所采用的數(shù)據(jù)存儲模型由用戶、不可信的云效勞供給商及可信第三方審計機構組成6 Wang Qian,Wang Cong,Li Jin,et al.Enabling public verifiability and data dynamics for storage security in cloud computing/Proceedings of the 14th European Symposium on Researc

8、h in Computer Security.Saint Malo,France,2021:355-370.6。用戶可以按照自己的需求向云效勞供給商隨意請求效勞，將數(shù)據(jù)存儲在效勞器中，而不保存本地副本。云效勞供給商為用戶提供數(shù)據(jù)存儲和計算效勞，擁有快速的計算能力和大量的存儲空間。如果效勞器修改了客戶端數(shù)據(jù)的任何局部，客戶端都應該能夠檢測到?？尚诺牡谌綄徲嫏C構可以替代用戶對遠程節(jié)點中存儲的數(shù)據(jù)進行完整性驗證，大大減輕了用戶在驗證階段的計算負擔。云存儲模型使得用戶只需要少量信息即可驗證數(shù)據(jù)的完整性。2.2 云存儲系統(tǒng)標準一個合格的云存儲系統(tǒng)應該滿足這樣的標準：1高效的計算能力和交互能力，低存儲開

9、銷。2系統(tǒng)允許第三方可信審計無限次進行數(shù)據(jù)完整性驗證。3無狀態(tài)認證，驗證過程無需保存任何驗證狀態(tài)7 Shacham H, Waters B. Compact proofs of retrievabilityC/Asiacrypt. 2021, 5350: 90-107.7。4公開驗證，為了緩解用戶在存儲和計算上的壓力，云環(huán)境下的數(shù)據(jù)完整性驗證機制最好能支持公開認證，允許任意的第三方來替代用戶來完成數(shù)據(jù)完整性驗證。3 數(shù)據(jù)完整性證明機制遠程數(shù)據(jù)完整性檢查在云存儲中是至關重要的。它可以讓客戶端驗證他們的外包數(shù)據(jù)是否保存完整，而不需要下載整個數(shù)據(jù)。同時，為了降低驗證方的開銷，完整性驗證協(xié)議必須是高效

10、的。數(shù)據(jù)完整性驗證機制根據(jù)是否對數(shù)據(jù)文件采用了容錯預處理分為數(shù)據(jù)持有性證明PDP機制8 Ateniese G, Burns R, Curtmola R, et al. Provable data possession at untrusted. storesC/Proceedings of the 14th ACM conference on Computer and communications security. Acm, 2007: 598-609.8(Provable Data Possession,PDP)和數(shù)據(jù)可恢復性證明POR機制9 Shacham H, Waters B. Co

11、mpact proofs of retrievabilityC/Asiacrypt. 2021, 5350: 90-107.9(Proofs of Retrievability,POR)。這兩種完整性驗證機制均采用抽樣8的策略概率性的驗證數(shù)據(jù)的完整性，PDP機制能快速識別遠程節(jié)點上的數(shù)據(jù)是否被損壞，POR機制不僅能識別遠程節(jié)點上的數(shù)據(jù)是否損壞，而且還能恢復已損壞的數(shù)據(jù)當發(fā)現(xiàn)數(shù)據(jù)的損壞程度小于某一閾值時,通過容錯機制恢復損壞數(shù)據(jù)，大于那么返回給用戶數(shù)據(jù)失效的結(jié)論。以下將分別介紹PDP機制和POR機制的各個現(xiàn)有方案的優(yōu)缺點。3.1 根本知識遠程數(shù)據(jù)完整性驗證協(xié)議有兩個平安要求：支持公開驗證。對第三

12、方驗證者的隱私保護。數(shù)據(jù)完整性證明機制由Setup和Challenge兩個階段組成，通過采用抽樣的策略對存儲在云中的數(shù)據(jù)文件發(fā)起完整性驗證。審計協(xié)議的核心算法由系統(tǒng)建立算法、挑戰(zhàn)應答算法和驗證算法組成。下面將介紹這些算法： 系統(tǒng)建立算法該算法對應機制的Setup階段。數(shù)據(jù)擁有者輸入系統(tǒng)的平安參數(shù)，算法輸出該擁有者的公私鑰對。接著數(shù)據(jù)擁有者將原文件進行分塊，執(zhí)行數(shù)據(jù)塊標簽生成算法，用其私鑰為每個文件生成同態(tài)驗證標簽homomorphic verifiable tag，簡稱HVT集合，作為認證元數(shù)據(jù)。最后數(shù)據(jù)擁有者將HVT 和對應的文件塊一起加密并存儲在云效勞器上，并將其公鑰發(fā)送給第三方審計。 挑

13、戰(zhàn)應答算法該算法是審計機制的核心算法。第三方審計機構通過向效勞器發(fā)送隨機數(shù)據(jù)塊索引的驗證請求發(fā)起挑戰(zhàn)challenge，效勞器利用被請求的數(shù)據(jù)塊索引和對應的同態(tài)標簽生成證據(jù)proof，并將其返回。 驗證算法該算法用來驗證響應的正確性。該算法由用戶或第三方審計機構運行，輸入數(shù)據(jù)擁有者的公鑰，挑戰(zhàn)請求和證據(jù)返回驗證正確或錯誤。由于審計機構是以一定概率驗證數(shù)據(jù)完整性的，所以如果審計機設想以更高的概率確認數(shù)據(jù)是否完整可以反復屢次發(fā)起挑戰(zhàn)請求并驗證。3.2 數(shù)據(jù)持有性證明機制為了驗證遠程節(jié)點上數(shù)據(jù)的完整性， Ateniese等人8首先提出了PDP機制，以確保在不可信任的云效勞器上數(shù)據(jù)的完整性。他們提出了

14、一個靜態(tài)的基于RSA簽名機制的采用概率性的策略來完成完整性驗證的方案。由于RSA簽名機制的同態(tài)特性，云效勞器可以將證據(jù)聚集成一個小的值，這大大降低了通信開銷。他們還提出了一個支持公開驗證的版本，允許任何第三方對云效勞器發(fā)起挑戰(zhàn)驗證數(shù)據(jù)的持有性。在該方案中，由于任何第三方都可以驗證數(shù)據(jù)的完整性，因此極大地擴展了PDP協(xié)議的應用程序領域。但是，由于對數(shù)據(jù)塊索引的依賴，這些方案對動態(tài)操作中的重放攻擊是不平安的，且并不適合于并行和分布式系統(tǒng)上的多云存儲效勞。為了讓用戶可以對遠程節(jié)點上存儲的數(shù)據(jù)進行插入、刪除和修改等操作，審計機制要求提供動態(tài)操作。Erway等人11 Erway C,Kupccu A,P

15、apamathou C,et al.Dynamic provable data possession/Proceedings of the 16th ACM Conference on Computer and Communications Security(CCS2021).Chicago,USA,2021:213-222.11提出了用動態(tài)數(shù)據(jù)結(jié)構來組織數(shù)據(jù)塊來實現(xiàn)動態(tài)操作的PDP機制。該方案DPDP-基于Merkle哈希樹使用一個經(jīng)過身份驗證的跳躍表來驗證數(shù)據(jù)的完整性。但該方案并沒有構建分布式的Merkle樹，并不支持在多云效勞器下存儲數(shù)據(jù)，而且其認證路徑過長，每次認證都需要大量的輔助信息

16、，大大增加了計算和通信開銷。該方案與Ateniese等人8提出的原PDP機制相比，有相同的檢測概率。之后，Erway等人11利用RSA樹8構建了一個DPDP機制DPDP-，該方案提高了數(shù)據(jù)完整性的檢測概率，但也相應提高了云效勞器的計算開銷。Wang等人12 C. Wang, Q. Wang, K. Ren, W. Lou, Ensuring Data Storage Security in Cloud Computing, Proc. 17th Intl Workshop Quality of Service (IWQoS 09), pp. 1-9, 2021-July.12提出了另外一種支持

17、數(shù)據(jù)插入的全動態(tài)操作的PDP機制12，該機制采用Merkle認證哈希樹來確保數(shù)據(jù)塊在位置上的正確性，而數(shù)據(jù)塊值那么通過BLS簽名機制來確保。執(zhí)行動態(tài)更新操作時，在更新節(jié)點的同時，需要將輔助認證信息返回給數(shù)據(jù)擁有者，數(shù)據(jù)擁有者重新生成根節(jié)點的哈希值。之后，更新后的數(shù)據(jù)存儲在第三方審計機構中的根哈希值。相比Erway等人11使用的跳表數(shù)據(jù)結(jié)構組織數(shù)據(jù)，Merkle認證哈希樹具有更簡單的數(shù)據(jù)結(jié)構。該方案雖然引入了第三方審計機構代替數(shù)據(jù)擁有者對遠程節(jié)點上的數(shù)據(jù)進行完整性驗證，但卻存在著隱私泄露的風險。通過n次挑戰(zhàn)請求后，惡意的第三方有可能獲取數(shù)據(jù)擁有者存儲在遠程節(jié)點上的文件塊內(nèi)容和元驗證數(shù)據(jù)。然后惡意

18、的第三方可以通過解方程組來獲得塊索引，也可以獲得塊索引所對應的簽名標簽。為了解決這個問題，Wang等人13 C. Wang, Q. Wang, K. Ren, and W. Lou, “Privacy-Preserving Public Auditing for Data Storage Security in Cloud Computing,Proc. IEEE INFOCOM, pp. 525-533, 2021.13通過在證據(jù)上附加一個隨機數(shù)來保護隱私，使得第三方審計機構無法知道數(shù)據(jù)內(nèi)容并支持對多個用戶的批量審計。然而，由于大量的數(shù)據(jù)標記，他們的審計協(xié)議可能會在效勞器上造成大量的存儲開銷

19、。雖然在上述已提出各種審計協(xié)議，但這些方案并不支持混合云存儲下數(shù)據(jù)的完整性驗證。上述各種PDP方案都是在同態(tài)驗證標簽上構建的，通過同態(tài)驗證標簽效勞器可以根據(jù)單個響應值生成多個文件塊的標簽。但是，在混合云存儲中，來自多個云效勞供給商的響應并不能合并成單個值。由于缺乏同態(tài)響應，客戶端必須反復調(diào)用PDP協(xié)議來驗證存儲在多個云效勞器中的文件塊的完整性8。而且客戶端還需要知道文件塊確實定位置。在這種情況下，驗證過程將大大增加了客戶端的通信開銷和計算本錢。為了解決這個問題，Zhu等人14 Y. Zhu, H. Wang, Z. Hu, G.-J. Ahn, H. Hu, S.S. Yau, Coopera

20、tive Provable Data Possession, 2021.14提出了一個基于同態(tài)可驗證響應和分層的哈希索引結(jié)構的分布式PDPCPDP方案。該方案支持對多個云效勞器進行批量審計，支持公開驗證，任何人不僅僅是客戶端都可以驗證數(shù)據(jù)的完整性并且對數(shù)據(jù)隱私保護。與非分布式PDP方案相比，降低了計算本錢和通信開銷。之后，Zhu等人15 Y. Zhu, H. Wang, Z. Hu, G.-J. Ahn, H. Hu, and S.S. Yau, “Dynamic Audit Services for Integrity Verification of Outsourced Storages

21、in Clouds, Proc. ACM Symp. Applied Computing, W.C. Chu, W.E.Wong, M.J. Palakal, and C.-C. Hung, eds., pp. 1550-1557, 2021.15將其擴展成支持混合云存儲數(shù)據(jù)的動態(tài)審計。下面表1列出上述幾種PDP協(xié)議的比擬。表1 幾種PDP協(xié)議的比擬ProtocolPublic verificationPrivacyDynamicMulti-cloud8NoNoNoNoDPDP-NoNoYesNoDPDP-NoNoYesNo12YesNoYesNo13YesYesYesNo14YesYesNo

22、Yes15YesYesYesYes3.3 數(shù)據(jù)可恢復性證明機制上述各種PDP協(xié)議只能快速驗證遠程節(jié)點上數(shù)據(jù)完整性而不能對已損壞數(shù)據(jù)進行一定程度上的恢復。POR協(xié)議對文件采用容錯預處理既能實現(xiàn)數(shù)據(jù)的完整性驗證也能恢復已損壞數(shù)據(jù)。Juels等人16 Juels A, Kaliski Jr B S. PORs: Proofs of retrievability for large filesC/Proceedings of the 14th ACM conference on Computer and communications security. Acm, 2007: 584-597.16提出了

23、一種基于哨兵的數(shù)據(jù)可恢復性證明機制POR機制，該機制不僅能判斷遠程節(jié)點上的數(shù)據(jù)是否已損壞，并且可以恢復一定程度的數(shù)據(jù)失效。在該方案中，一些被稱為“哨兵的檢驗數(shù)據(jù)塊被隨機嵌入到數(shù)據(jù)文件中用來檢測數(shù)據(jù)，一旦遠程節(jié)點上的某數(shù)據(jù)塊損壞也會損壞到對應檢驗塊。云效勞器是無法識別這些檢驗數(shù)據(jù)塊的。但由于這些檢驗塊存儲在客戶端，對數(shù)據(jù)進行驗證客戶端必然要進行大量計算工作來生成數(shù)據(jù)的標簽，而且只能進行有限次驗證且不支持公開驗證和動態(tài)操作。雖然之后又有很多人17 K. D. Bowers, A. Juels, and A. Oprea. Proofs of retrievability: theory and i

24、mplementation. In CCSW, pages 4354, 2021.17,18 D. Cash, A. Kupc u, and D. Wichs. Dynamic proofs of retrievability via oblivious ram. In Eurocrypt, 2021.18,19 Y. Dodis, S. P. Vadhan, and D. Wichs. Proofs of retrievability via hardness amplification. In TCC, pages 109127, 2021.19,20 E. Stefanov, M. va

25、n Dijk, A. Juels, and A. Oprea. Iris: a scalable cloud file system with efficient integrity checks. In ACSAC, pages 229238, 2021.20不斷改良方案，但均沒有實現(xiàn)動態(tài)更新證據(jù)的操作。只有21 Z. Mo, Y. Zhou, and S. Chen. A dynamic proof of retrievability (por) scheme with o(log n) complexity. In ICC12, pages 912916, 2021.21,22 Q. W

26、ang, C. Wang, J. Li, K. Ren, and W. Lou. Enabling public verifiability and data dynamics for storage security in cloud computing. In ESORICS, 2021.22,23 Q. Zheng and S. Xu. Fair and dynamic proofs of retrievability. In CODASPY, 2021.23提出的方案實現(xiàn)了較弱的動態(tài)更新操作。為了解決上述問題，Shacham等人7,27 Shacham H,Waters B.Compa

27、ct proofs of retrievability.Journal of Cryptology,2021,26(3):442-483.27提出了基于BLS簽名的可公開驗證的POR審計協(xié)議。該方案使用了公開可驗證的可驗證的同態(tài)驗證器，這些驗證器是由BLS簽名構建的，并且在隨機預言機模型中被證明是平安的24 Li J, Tan X, Chen X, et al. An efficient proof of retrievability with public auditing in cloud computingC/Intelligent Networking and Collaborativ

28、e Systems (INCoS), 2021 5th International Conference on. IEEE, 2021: 93-98.24，允許無限次發(fā)起挑戰(zhàn)請求。由于在初始化階段引入了數(shù)據(jù)容錯預處理，所以并不支持數(shù)據(jù)的動態(tài)操作而且也不具有對數(shù)據(jù)擁有者數(shù)據(jù)的隱私保護。隨后，Wang等人12提出利用Reed-Solomon糾錯碼26 Wicker S B,Bhargava V K.Reed-Solomon Codes and Their Applications.New York,USA:IEEE Press,1999.26的線性特征來支持局部動態(tài)操作，但不支持插入操作。該方案可

29、以檢測出遠程節(jié)點中數(shù)據(jù)是否損壞，并獲取在遠程節(jié)點上數(shù)據(jù)發(fā)生錯誤的位置。但是該機制并不支持公開驗證且只能進行有限次的數(shù)據(jù)完整性檢測，也不能保證數(shù)據(jù)擁有者的數(shù)據(jù)隱私。之后，Li、Wang等人29 Wang Q, Wang C, Li J, Ren K, Lou W. Enabling public verifiability and data dynamics for storage security in cloud computing. In:Proc. of the 14th European Sym. on Research in Computer Security(ESORICS). B

30、erlin,Heidelberg: Springer-Verlag, 2021. 355370. doi: 10.1007/978-3-642-04444-1_22.29又提出了基于BLS簽名和Merkle哈希樹的允許數(shù)據(jù)動態(tài)變化的可公開驗證的POR協(xié)議。后來，Li、Wang等人30 Wang Q, Wang C, Ren K, Lou W, Li J. Enabling public verifiability and data dynamics for storage security in cloud computing.IEEE Trans. on Parallel and Distr

31、ibuted Systems, 2021,22(5):847859. doi: 10.1109/TPDS.2021.183.30利用聚合簽名技術31 Boneh D, Gentry C, Lynn B, Shacham H. Aggregate and verifiably encrypted signatures from bilinear maps. In: Advances in CryptologyEUROCRYPT 2003. Berlin, Heidelberg: Springer-Verlag, 2003. 416432. doi: 10.1007/3-540-39200-9_2

32、6.31將協(xié)議29擴展為允許對多個數(shù)據(jù)擁有者的數(shù)據(jù)進行批量審計的協(xié)議，但依舊沒有對數(shù)據(jù)擁有者的隱私進行隱私保護。為了解決上述問題，Chen等人25 Chen B and Curtmola R.Robust dynamic remote data checking for public clouds/Proceedings of the 2021 ACM Conference on Computer and Communications Security(CCS2021).New York,USA,2021:1043-1045.25對Wang的機制進行了優(yōu)化，考慮采用Cauchy Reed-So

33、lomon線性編碼28 Plank J S, Xu L. Optimizing Cauchy Reed-Solomon codes for fault-tolerant network storage applicationsC/Network Computing and Applications, 2006. NCA 2006. Fifth IEEE International Symposium on. IEEE, 2006: 173-180.28代替Reed-Solomon糾錯碼來進行數(shù)據(jù)的容錯預處理。該方案有效地提高了損壞數(shù)據(jù)恢復的效率，但因為對數(shù)據(jù)的更新操作需要云效勞器重新生成所有的

34、輔助容錯信息，導致云效勞器端的計算開銷增大。下面表2列出上述幾種POR協(xié)議的比擬。表2 幾種POR協(xié)議的比擬ProtocolPublic verificationPrivacyDynamicInfinite validation16NoNoNoNo27YesNoNoYes12YesNoYesNo252930YesNoYesYes雖然上述有的協(xié)議已經(jīng)實現(xiàn)動態(tài)更新操作，但是并不支持插入操作。如今，如何構建一個全動態(tài)操作的POR協(xié)議仍然是一個公開問題。4需要解決的問題從上述的各種PDP和POR協(xié)議可以看出，驗證遠程節(jié)點上數(shù)據(jù)的完整性對于大數(shù)據(jù)時代來說是必要的。隨著大數(shù)據(jù)時代的到來，新的需求不斷被提出，數(shù)據(jù)完整性驗證機制也不斷在改良。從上述各種數(shù)據(jù)完整性驗證協(xié)議來看，我們主要需要解決的問題有3個：跨云動態(tài)數(shù)據(jù)完整性證明機制在實際場景中，用戶可能會向多個云效勞供給商請求存儲數(shù)據(jù)。雖然上述Zhu等人14,15,32 Zhu Yan,Wang Huai-Xi,Hu Ze-Xing,et al.Efficient provable data possession for hybrid clouds/Proceedings of the 17th ACM Conference on Computer and Communication