Linux教學培訓課件：第6章 存儲結構與管理硬盤

存儲結構與管理硬盤任課教師：XXX課程概述一切從“/”開始EverythingStartsWith"/"01物理設備的命名規(guī)則NamingRulesForPhysicalDevices02文件系統(tǒng)與數(shù)據(jù)資料FileSystemAndData03掛載硬件設備MountHardwareDevice04添加硬盤設備AddHardDiskDevice05添加交換分區(qū)AddSwapPartition06磁盤容量配額DiskCapacityQuota07VDO（虛擬數(shù)據(jù)優(yōu)化）VDO(VirtualDataOptimization)08軟硬方式鏈接HardAndSoftLink09前言0301從Linux系統(tǒng)中的文件存儲結構開始，講述文件系統(tǒng)層次標準（FilesystemHierarchyStandard，F(xiàn)HS）、udev硬件命名規(guī)則以及硬盤設備的原理。02詳細分析Linux系統(tǒng)中最常見的Ext3、Ext4與XFS文件系統(tǒng)的不同之處，著重練習硬盤設備分區(qū)、格式化以及掛載等常用的硬盤管理操作，以便熟練掌握文件系統(tǒng)的使用方法。03在打下堅實的理論基礎并完成一些相關的實踐練習后，我們將進一步完整地部署交換（SWAP）分區(qū)、配置quota磁盤配額服務、使用VDO（虛擬數(shù)據(jù)優(yōu)化）技術，以及掌握ln命令帶來的軟硬鏈接。一切從“/”開始EverythingStartsWith"/"PARTONE一切從“/”開始0501在Windows操作系統(tǒng)中，想要找到一個文件，要依次進入該文件所在的磁盤分區(qū)（也叫盤符），然后再進入該分區(qū)下的具體目錄，最終找到這個文件。02但是在Linux系統(tǒng)中并不存在C、D、E、F等盤符，Linux系統(tǒng)中的一切文件都是從“根”目錄（/）開始的，并按照文件系統(tǒng)層次標準（FHS）采用倒樹狀結構來存放文件，以及定義了常見目錄的用途。03另外，Linux系統(tǒng)中的文件和目錄名稱是嚴格區(qū)分大小寫的。例如，root、rOOt、Root、rooT均代表不同的目錄，并且文件名稱中不得包含斜杠（/）。/root根目錄//bin/boot/dev/etc/home/var/lib/usr/media/tmp……/root/Desktop/root/Media…………/usr/bin/usr/lib……Linux系統(tǒng)中的文件存儲結構Linux系統(tǒng)中常見的目錄名稱以及相應內(nèi)容06目錄名稱應放置文件的內(nèi)容/boot開機所需文件—內(nèi)核、開機菜單以及所需配置文件等/dev以文件形式存放任何設備與接口/etc配置文件/home用戶主目錄/bin存放單用戶模式下還可以操作的命令/lib開機時用到的函數(shù)庫，以及/bin與/sbin下面的命令要調(diào)用的函數(shù)/sbin開機過程中需要的命令/media用于掛載設備文件的目錄/opt放置第三方的軟件/root系統(tǒng)管理員的家目錄/srv一些網(wǎng)絡服務的數(shù)據(jù)文件目錄/tmp任何人均可使用的“共享”臨時目錄/proc虛擬文件系統(tǒng)，例如系統(tǒng)內(nèi)核、進程、外部設備及網(wǎng)絡狀態(tài)等/usr/local用戶自行安裝的軟件/usr/sbinLinux系統(tǒng)開機時不會使用到的軟件/命令/腳本

/usr/share幫助與說明文件，也可放置共享文件/var主要存放經(jīng)常變化的文件，如日志/lost+found當文件系統(tǒng)發(fā)生錯誤時，將一些丟失的文件片段存放在這里路徑07絕對路徑（absolutepath）從根目錄（/）開始寫起的文件或目錄名稱。例如：首先坐飛機來到中國，到了北京后出首都機場，坐機場快軌到三元橋，然后換乘10號線到潘家園站，出站后坐34路公交車到農(nóng)光里，下車后路口左轉。1路徑相對路徑（relativepath）相對于當前路徑的寫法。例如：前面路口左轉。2如何定位到某個文件，分為絕對路徑與相對路徑。物理設備的命名規(guī)則PARTTWONamingRulesForPhysicalDevices常見的硬件設備及其文件名稱09硬件設備文件名稱IDE設備/dev/hd[a-d]SCSI/SATA/U盤/dev/sd[a-z]Virtio設備/dev/vd[a-z]軟驅/dev/fd[0-1]打印機/dev/lp[0-15]光驅/dev/cdrom鼠標/dev/mouse磁帶機/dev/st0或/dev/ht0常見的硬件設備及其文件名稱1001由于現(xiàn)在的IDE設備已經(jīng)很少見了，所以一般的硬盤設備都是以“/dev/sd”開頭。而一臺主機上可以有多塊硬盤，因此系統(tǒng)采用a～z來代表26塊不同的硬盤（默認從a開始分配），而且硬盤的分區(qū)編號也很有講究：主分區(qū)或擴展分區(qū)的編號從1開始，到4結束；邏輯分區(qū)從編號5開始。02/dev目錄中sda設備之所以是a，并不是由插槽決定的，而是由系統(tǒng)內(nèi)核的識別順序來決定的，而恰巧很多主板的插槽順序就是系統(tǒng)內(nèi)核的識別順序，因此才會被命名為/dev/sda。大家以后在使用iSCSI網(wǎng)絡存儲設備時就會發(fā)現(xiàn)，明明主板上第二個插槽是空著的，但系統(tǒng)卻能識別到/dev/sdb這個設備—就是這個道理。03分區(qū)的數(shù)字編碼不一定是強制順延下來的，也有可能是手工指定的。設備文件名稱11/dev/sda5hd表示IDE設備sd表示SCSI設備硬件設備文件所在的目錄分區(qū)的順序號，以數(shù)字1、2、3……表示硬盤的順序號，以字母a、b、c……表示設備文件名稱sd存儲設備/dev/目錄保存的應當是硬件設備文件12設備文件名稱a系統(tǒng)中同類接口中第一個被識別到的設備35這個設備是一個邏輯分區(qū)4“/dev/sda5”表示的就是“這是系統(tǒng)中第一塊被識別到的硬件設備中分區(qū)編號為5的邏輯分區(qū)的設備文件”扇區(qū)12主引導記錄（MasterBootRecord，MBR）分區(qū)1分區(qū)2分區(qū)3分區(qū)4結束符446字節(jié)64字節(jié)161616162硬盤設備是由大量的扇區(qū)組成的，每個扇區(qū)的容量為512字節(jié)。其中第一個扇區(qū)最重要，它里面保存著主引導記錄與分區(qū)表信息。第一個扇區(qū)中的數(shù)據(jù)信息硬盤分區(qū)的規(guī)劃13第1個主分區(qū)/dev/sda1第一塊SCSI硬盤設備/dev/sda擴展分區(qū)第2個主分區(qū)/dev/sda2第1個邏輯分區(qū)/dev/sda5第2個邏輯分區(qū)/dev/sda6注：所謂擴展分區(qū)，嚴格地講它不是一個實際意義的分區(qū)，而僅僅是一個指向其他分區(qū)的指針，這種指針結構將形成一個單向鏈表。因此擴展分區(qū)自身不能存儲數(shù)據(jù)，用戶需要在其指向的對應分區(qū)（稱之為邏輯分區(qū)）上進行操作。文件系統(tǒng)與數(shù)據(jù)資料FileSystemAndDataPARTTHREE常見的文件系統(tǒng)1501Ext2最早可追溯到1993年，是Linux系統(tǒng)的第一個商業(yè)級文件系統(tǒng)，它基本沿襲了UNIX文件系統(tǒng)的設計標準。但由于不包含日志讀寫功能，數(shù)據(jù)丟失的可能性很大，因此能不用就不用，或者頂多建議用于SD存儲卡或U盤。02Ext3Ext3能夠在系統(tǒng)異常宕機時避免文件系統(tǒng)資料丟失，并能自動修復數(shù)據(jù)的不一致與錯誤。然而，當硬盤容量較大時，所需的修復時間也會很長，而且也不能100%地保證資料不會丟失。03Ext4Ext3的改進版本，它支持的存儲容量高達1EB（1EB=1,073,741,824GB），且能夠有無限多的子目錄。Ext4文件系統(tǒng)能夠批量分配block（塊），從而極大地提高了讀寫效率。04XFS高性能的日志文件系統(tǒng)，可以快速地恢復可能被破壞的文件，而且強大的日志功能只需花費極低的計算和存儲性能。它支持的最大存儲容量為18EB，這幾乎滿足了所有需求。文件系統(tǒng)數(shù)據(jù)資料16該文件的訪問權限（read、write、execute）該文件的大?。╯ize）該文件的最后一次訪問時間（Atime）該文件的創(chuàng)建或內(nèi)容修改時間（Ctime）該文件的所有者與所屬組（owner、group）該文件的修改時間（Mtime）123456文件的特殊權限（SUID、SGID、SBIT）該文件的真實數(shù)據(jù)地址（point）78Linux只是把每個文件的權限與屬性記錄在inode中，而且每個文件占用一個獨立的inode表格，該表格的大小默認為128字節(jié)存儲文件內(nèi)容的block塊1701情況1文件很小（1KB），但依然會占用一個block，因此會潛在地浪費3KB。02情況2文件很大（5KB），那么會占用兩個block（5KB?4KB后剩下的1KB也要占用一個block）。存儲文件內(nèi)容的block塊18文件的實際大小與占用空間用戶界面內(nèi)核硬件層VFS的架構示意圖掛載硬件設備MountHardwareDevicePARTFOUR掛載硬件設備20mount命令用于掛載文件系統(tǒng)，格式為“mount文件系統(tǒng)掛載目錄”。掛載是在使用硬件設備前所執(zhí)行的最后一步操作。mount命令df命令用于查看已掛載的磁盤空間使用情況，英文全稱為“diskfree”，語法格式為“df-h”。df命令umount命令用于卸載設備或文件系統(tǒng)，英文全稱為“unmount”，語法格式為“umount[設備文件/掛載目錄]”。umount命令mount命令中的參數(shù)以及作用21參數(shù)作用-a掛載所有在/etc/fstab中定義的文件系統(tǒng)-t指定文件系統(tǒng)的類型用于掛載信息的指定填寫格式中，各字段所表示的意義22字段意義設備文件一般為設備的路徑+設備名稱，也可以寫通用唯一識別碼（UUID）掛載目錄指定要掛載到的目錄，需在掛載前創(chuàng)建好格式類型指定文件系統(tǒng)的格式，比如Ext3、Ext4、XFS、SWAP、iso9660（此為光盤設備）等權限選項若設置為defaults，則默認權限為rw、suid、dev、exec、auto、nouser、async是否備份若為1則開機后使用dump進行磁盤備份，為0則不備份是否自檢若為1則開機后自動進行磁盤自檢，為0則不自檢添加硬盤設備AddHardDiskDevicePARTFIVE添加硬盤設備24首先需要在虛擬機中模擬添加入一塊新的硬盤存儲設備，然后再進行分區(qū)、格式化、掛載等操作，最后通過檢查系統(tǒng)的掛載狀態(tài)并真實地使用硬盤來驗證硬盤設備是否成功添加。選擇添加硬件類型選擇硬盤設備類型在虛擬機系統(tǒng)中添加硬件設備添加硬盤設備25設置硬盤的最大使用空間設置磁盤文件的文件名和保存位置選擇“創(chuàng)建新虛擬磁盤”選項添加硬盤設備26查看虛擬機硬件設置信息01在虛擬機中模擬添加了硬盤設備后就應該能看到抽象后的硬盤設備文件了。02按照前文講解的udev服務命名規(guī)則，第二個被識別的SATA設備應該會被保存為/dev/sdb，這個就是硬盤設備文件了。添加硬盤設備27fdisk命令用于新建、修改及刪除磁盤的分區(qū)表信息，英文全稱為“formatdisk”，語法格式為“fdisk磁盤名稱”。fdisk命令du命令用查看分區(qū)或目錄所占用的磁盤容量大小，英文全稱為“diskusage”，語法格式為“du-sh目錄名稱”。du命令參數(shù)作用m查看全部可用的參數(shù)n添加新的分區(qū)d刪除某個分區(qū)信息l列出所有可用的分區(qū)類型t改變某個分區(qū)的類型p查看分區(qū)表信息w保存并退出q不保存直接退出fdisk命令中的參數(shù)以及作用添加交換分區(qū)PARTSIXAddSwapPartition添加交換分區(qū)29通過在硬盤中預先劃分一定的空間，然后把內(nèi)存中暫時不常用的數(shù)據(jù)臨時存放到硬盤中，以便騰出物理內(nèi)存空間讓更活躍的程序服務來使用的技術，其設計目的是為了解決真實物理內(nèi)存不足的問題。交換（SWAP）分區(qū)交換分區(qū)的創(chuàng)建過程與前文講到的掛載并使用存儲設備的過程非常相似。在對/dev/sdb存儲設備進行分區(qū)操作前，有必要先說一下交換分區(qū)的劃分建議：在生產(chǎn)環(huán)境中，交換分區(qū)的大小一般為真實物理內(nèi)存的1.5～2倍。磁盤容量配額DiskCapacityQuotaPARTSEVEN磁盤容量配額31硬件資源是固定且有限的，如果某些用戶不斷地在Linux系統(tǒng)上創(chuàng)建文件或者存放電影，硬盤空間總有一天會被占滿。針對這種情況，root管理員就需要使用磁盤容量配額服務來限制某位用戶或某個用戶組針對特定文件夾可以使用的最大硬盤空間或最大文件個數(shù)，一旦達到這個最大值就不再允許繼續(xù)使用?？梢允褂胵uota技術進行磁盤容量配額管理，從而限制用戶的硬盤可用容量或所能創(chuàng)建的最大文件個數(shù)。quota技術還有軟限制和硬限制的功能。當達到軟限制時會提示用戶，但仍允許用戶在限定的額度內(nèi)繼續(xù)使用。軟限制當達到硬限制時會提示用戶，且強制終止用戶的操作。硬限制磁盤容量配額32xfs_quota命令用于管理設備的磁盤容量配額，語法格式為“xfs_quota[參數(shù)]配額文件系統(tǒng)”。xfs_quota命令edquota命令用于管理系統(tǒng)的磁盤配額，英文全稱為“editquota”，語法格式為“edquota[參數(shù)]用戶名”。edquota命令edquota命令中可用的參數(shù)以及作用參數(shù)作用-u對某個用戶進行設置-g對某個用戶組進行設置-p復制原有的規(guī)則到新的用戶/組-t限制寬限期限VDO（虛擬數(shù)據(jù)優(yōu)化）VDO(VirtualDataOptimization)PARTEIGHTVDO（虛擬數(shù)據(jù)優(yōu)化）3401VDO（VirtualDataOptimize，虛擬數(shù)據(jù)優(yōu)化）是一種通過壓縮或刪除存儲設備上的數(shù)據(jù)來優(yōu)化存儲空間的技術。02VDO是紅帽公司收購了Permabit公司后獲取的新技術，并與2019-2020年前后，多次在RHEL7.5/7.6/7.7上進行測試，最終隨RHEL8系統(tǒng)正式公布。03VDO技術的關鍵就是對硬盤內(nèi)原有的數(shù)據(jù)進行刪重操作，它有點類似于我們平時使用的網(wǎng)盤服務，在第一次正常上傳文件時速度特別慢，在第二次上傳相同的文件時僅作為一個數(shù)據(jù)指針，幾乎可以達到“秒傳”的效果，無須再多占用一份空間，也不用再漫長等待。04除了刪重操作，VDO技術還可以對日志和數(shù)據(jù)庫進行自動壓縮，進一步減少存儲浪費的情況。VDO針對各種類型文件的壓縮效果35文件名描述類型原始大?。↘B）實際占用空間（KB）dickens狄更斯文集英文原文99539948mozillaMozilla的1.0可執(zhí)行文件可執(zhí)行程序5002033228mr醫(yī)用resonanse圖像圖片97369272nci結構化的化學數(shù)據(jù)庫數(shù)據(jù)庫3276710168oofficeOpenOffice1.01DLL可執(zhí)行程序60085640osdb基準測試用的MySQL格式示例數(shù)據(jù)庫數(shù)據(jù)庫98499824reymont瓦迪斯瓦夫·雷蒙特的圖書PDF64716312sambasamba源代碼src源碼2110011768sao星空數(shù)據(jù)天文格式的bin文件70817036webster辭海HTML4048740144xmlXML文件HTML52202180x-ray透視醫(yī)學圖片醫(yī)院數(shù)據(jù)82758260特殊情況3601公司服務器上已有的dm-crypt之類的技術是可以與VDO技術兼容的，但記得要先對卷進行加密再使用VDO。因為加密會使重復的數(shù)據(jù)變得有所不同，因此刪重操作無法實現(xiàn)。要始終記得把加密層放到VDO之下。02VDO技術不可疊加使用，1TB的物理存儲提升成10TB的邏輯存儲沒問題，但是再用10TB翻成100TB就不行了。VDO技術拓撲圖軟硬方式鏈接HardAndSoftLinkPARTNIGHT軟硬方式鏈接38也叫符號鏈接（symboliclink），僅僅包含所鏈接文件的名稱和路徑，很像一個記錄地址的標簽。軟鏈接（softlink）硬鏈接（hardlink）可以將它理解為一個“指向原始文件block的指針”，系統(tǒng)會創(chuàng)建出一個與原來一模一樣的inode信