《大數(shù)據(jù)存儲技術(shù)與應用》 課件 項目二-任務三 淺析數(shù)據(jù)安全

《大數(shù)據(jù)存儲技術(shù)與應用》大數(shù)據(jù)存儲技術(shù)與應用項目二淺析大數(shù)據(jù)存儲技術(shù)任務三

淺析數(shù)據(jù)安全大數(shù)據(jù)存儲架構(gòu)？嵌入式存儲架構(gòu)，應用場景？云存儲架構(gòu)？大數(shù)據(jù)在醫(yī)療領域的應用？回顧任務引入-數(shù)據(jù)丟失8月5日，前沿數(shù)控在微博上發(fā)表長文《騰訊云給一家創(chuàng)業(yè)公司帶來的災難》，文章中表示，“2018年7月20日，我們近千萬元級的平臺數(shù)據(jù)全部丟失，包括經(jīng)過長期推廣導流積累起來的精準注冊用戶以及內(nèi)容數(shù)據(jù)，這瞬間將一家創(chuàng)業(yè)公司摧毀”。任務描述:本節(jié)任務要求從備份策略入手，通過系統(tǒng)學習，對大數(shù)據(jù)時代的數(shù)據(jù)安全有一個初步的認識，為后續(xù)項目實踐打下基礎。任務教學目標：了解文件系統(tǒng)的核心了解訪問文件的流程了解日志文件系統(tǒng)XFS文件系統(tǒng)任務概要教學內(nèi)容數(shù)據(jù)備份策略文件級備份與塊級備份Rsync介紹一二三快照技術(shù)四數(shù)據(jù)備份策略知識點一（一）為什么要備份計算機本身也是一個相當不可靠的機器受到惡意攻擊人為操作失誤132（二）數(shù)據(jù)備份方式手動備份U盤光盤（二）數(shù)據(jù)備份方式使用備份程序下載一個備份程序。有免費提供的程序和要購買的程序，但都提供了許多相同的基本功能。使用購買的程序備份數(shù)據(jù)比手動備份好的其中一個優(yōu)點是定時和自動化選項。這使可以不用擔心數(shù)據(jù)備份工作。（三）備份的常見策略與關(guān)鍵技術(shù)全部備份即把硬盤或數(shù)據(jù)庫內(nèi)的所有文件、文件夾或數(shù)據(jù)作一次性的復制。0102指對上一次全部備份或增量備份后更新的數(shù)據(jù)進行備份。03差異備份提供運行完整備份后變更的文件的備份。增量備份差異備份（三）備份的常見策略與關(guān)鍵技術(shù)系統(tǒng)處于停機或維護狀態(tài)下的備份。這種情況下，備份的數(shù)據(jù)與系統(tǒng)中此時段的數(shù)據(jù)完全一致。系統(tǒng)處于正常運轉(zhuǎn)狀態(tài)下的備份。這種情況下，由于系統(tǒng)中的數(shù)據(jù)可能隨時在更新，備份的數(shù)據(jù)相對于系統(tǒng)的真實數(shù)據(jù)可有一定滯后。冷備份熱備份對系統(tǒng)的一部分進行備份選擇式備份文件級備份與塊級備份知識點二（一）文件級備份與塊備份概念塊級是指以扇區(qū)為基礎，一個或多個連續(xù)的扇區(qū)組成一個塊，也叫物理塊。它是在文件系統(tǒng)與塊設備（例如：磁盤驅(qū)動器）之間。塊級概念（一）文件級備份與塊備份概念物理塊（驅(qū)動層）磁盤驅(qū)動器（扇區(qū)）邏輯塊（文件系統(tǒng)如：NTFS，EXT4，XFS，JFS）132文件級概念：文件級是指文件系統(tǒng)，單個文件可由一個或多個邏輯塊組成，且邏輯塊之間是不連續(xù)分布。邏輯塊大于或等于物理塊整數(shù)倍。塊備份備份是以磁盤塊為基本單位將數(shù)據(jù)從主機復制到備機。也就是說每次備份數(shù)據(jù)都是以一個扇區(qū)(512B)為單位來進行備份。文件備份文件備份是以文件為基本單位將數(shù)據(jù)從主機復制到備機。同樣，我們是以一個完整的文件來做為備份單位的。而大小是由文件本身來決定。（二）備份模式的區(qū)別備份機制塊備份塊備份避免了當文件出現(xiàn)一個小的改動的時候，就需要對整個文件做備份，只是會去做改動部分的備份，有效的提高了備份效率，節(jié)省了備份時間。文件備份文件備份模式下，文件即使一個很小的改變，也需將整個文件備份。這樣如果一個文件很大的情況下，就會大幅度的降低備份效率，增加磁盤開銷和備份時間。（二）備份模式的區(qū)別高效性塊備份塊備份可以做到高效的實時備份，這種寫入操作都是基于磁盤扇區(qū)的，所以，很快就能被識別。文件備份文件備份是很難做到實時備份的，因為它的每次修改都是基于文件的，而文件的哪部分被修改，系統(tǒng)很難實時捕獲到。（二）備份模式的區(qū)別實時性塊備份塊備份是在文件系統(tǒng)之下對數(shù)據(jù)進行復制，所以它不受文件系統(tǒng)限制，可以支持各種文件系統(tǒng)包括RAW分區(qū)。文件備份文件備份是以單個文件為單位對數(shù)據(jù)進行復制，所以它受文件系統(tǒng)限制，僅能對部分支持的文件系統(tǒng)做備份，不支持RAW分區(qū)。（二）備份模式的區(qū)別支持度Rsync介紹知識點三rsync是類unix系統(tǒng)下的數(shù)據(jù)鏡像備份工具——remotesync。一款快速增量備份工具RemoteSync，遠程同步支持本地復制，或者與其他SSH、rsync主機同步。sync概念（一）rsync介紹（二）sync特點可以鏡像保存整個目錄樹和文件系統(tǒng)?？梢院苋菀鬃龅奖３衷瓉砦募臋?quán)限、時間、軟硬鏈接等。無須特殊權(quán)限即可安裝。第一次同步時rsync會復制全部內(nèi)容，但在下一次只傳輸修改過的文件。rsync在傳輸數(shù)據(jù)的過程中可以實現(xiàn)壓縮及解壓縮操作，因此可以使用更少的帶寬?？梢允褂胹cp、ssh等方式來傳輸文件，當然也可以通過直接的socket連接。支持匿名傳輸，以方便進行網(wǎng)站鏡象。（三）sync配置概述配置文件/etc/rsyncd.confpath=/home/backup///需要做鏡像的目錄readonly=yes//只讀hostsallow=192.168.1.1,10.10.10.10//允許主機hostsdeny=0.0.0.0/0//禁止主機logfile=/var/log/rsyncd.log//日志記錄文件的存放位置快照技術(shù)知識點四快照的作用主要是能夠進行在線數(shù)據(jù)恢復，當存儲設備發(fā)生應用故障或者文件損壞時可以進行及時數(shù)據(jù)恢復，將數(shù)據(jù)恢復成快照產(chǎn)生時間點的狀態(tài)?？煺盏淖饔茫ㄒ唬┛煺占夹g(shù)概念與作業(yè)基于文件系統(tǒng)式基于子系統(tǒng)式的基于卷管理器/虛擬化式（二）快照的三種基本形式即寫即拷貝即寫即拷快照可以在每次輸入新數(shù)據(jù)或已有數(shù)據(jù)被更新時生成對存儲數(shù)據(jù)改動的快照。分割鏡像快照分割鏡像快照引用鏡像硬盤組上所有數(shù)據(jù)。每次應用運行時，都生成整個卷的快照，而不只是新數(shù)據(jù)或更新的數(shù)據(jù)。（三）快照的兩種類型進行冷快照拷貝是保證系統(tǒng)可以被完全恢復的最安全的方式。在進行任何大的配置變化或維護過程之前和之后，一般都需要進行冷拷貝，以保證完全的恢復原狀（rollback）。冷快照拷貝暖快照拷貝利用服務器的掛起功能。當執(zhí)行掛起行動時，程序計數(shù)器被停止，所有的活動內(nèi)存都被保存在引導硬盤所在的文件系統(tǒng)中的一個臨時文件（.vmss文件）中，并且暫停服務器應用。暖快照拷貝發(fā)生的所有的寫操作都立即應用在一個虛硬盤上，以保持文件系統(tǒng)的高度的一致性。服務器提供讓持續(xù)的虛擬硬盤處于熱備份模式的工具，以通過添加REDO日志文件在硬盤子系統(tǒng)層上復制快照拷貝。熱快照拷貝（四）快照的三種使用方法（五）快照與鏡像、復制的區(qū)別鏡像、快照和復制是三種不同的功能。鏡像是通過從一個I/O創(chuàng)建兩個I/O來復制數(shù)據(jù)。復制是通過網(wǎng)絡傳輸數(shù)據(jù)對象（文件）任務小結(jié)1.系統(tǒng)角色不同，備份需求也不同，針對個人電腦常用：手動備份、備份到云端。2.在企業(yè)里常見的備份策略有：全部備份、增量備份、差異備份、冷備份、熱備份。3.塊備份是以磁盤塊為基本單位將數(shù)據(jù)從主機復制到備機。4.文件備份是以文件為基本單位將數(shù)據(jù)從主機復制到備機。5.rsync是類unix系統(tǒng)下的數(shù)據(jù)鏡像備份工具——remotesync。6.快照的作用主要是能夠進行在線數(shù)據(jù)恢復，當存儲設備發(fā)生應用故障或者文件損壞時可以進行及時數(shù)據(jù)恢復，將數(shù)據(jù)恢復成快照產(chǎn)生時間點的狀態(tài)。課外研讀大數(shù)據(jù)標準獨立學習到今天，我們國家已經(jīng)有12項大數(shù)據(jù)國家標準正式獲批發(fā)布。我們可以通過研讀《GB/T386