分布式檔案系統(tǒng)設(shè)計與操作課件

分散式系統(tǒng)分散式檔案系統(tǒng)1分散式系統(tǒng)分散式檔案系統(tǒng)1大綱系統(tǒng)設(shè)計檔案服務(wù)介面目錄服務(wù)介面命名通透檔案共享系統(tǒng)實作檔案與目錄結(jié)構(gòu)服務(wù)形式2大綱系統(tǒng)設(shè)計2大綱快取快取機制快取一致性檔案複製基本概念複製方法摘要3大綱快取3系統(tǒng)設(shè)計分散式檔案系統(tǒng)的重點就是將各部電腦的儲存裝置整合在一起分散式檔案系統(tǒng)架構(gòu)中有兩個重要的概念檔案服務(wù)(fileservice)檔案伺服器(fileserver)分散式檔案系統(tǒng)必須讓使用者感覺上是在使用傳統(tǒng)的集中式檔案系統(tǒng)典型的分散式檔案系統(tǒng)服務(wù)可以分為兩部份檔案服務(wù)目錄服務(wù)4系統(tǒng)設(shè)計分散式檔案系統(tǒng)的重點就是將各部電腦的儲存裝置整合在一檔案系統(tǒng)檔案系統(tǒng)的工作就是如何快速找出一個檔案的實際位置，以維護整個檔案目錄的架構(gòu)。檔案會有一些附加屬性：檔案的擁有者、檔案大小、建檔日期與取用權(quán)限等。有些檔案服務(wù)能夠讓使用者可以自己更改或新增。分散式檔案系統(tǒng)中保護檔案的作法與集中式檔案系統(tǒng)相同。都是使用存取控制清單(AccessControlList,ACL)，每一個檔案都有一份清單，記錄所有可以使用檔此檔案的使用者。5檔案系統(tǒng)檔案系統(tǒng)的工作就是如何快速找出一個檔案的實際位置，以檔案是否可以被修改對於檔案系統(tǒng)設(shè)計的困難度影響也很大。修改檔案時必須備份以防止意外發(fā)生。有些分散式檔案系統(tǒng)只提供建立新檔和讀取檔案兩種操作，設(shè)計上也比較簡單，通常也很容易支援檔案快取和檔案複製。6檔案是否可以被修改對於檔案系統(tǒng)設(shè)計的困難度影響也很大。修改檔檔案服務(wù)介面分散式檔案系統(tǒng)是使用存取控制清單來記錄所有可以使用此檔案的使用者檔案服務(wù)可分為上兩類傳／下載模式，系統(tǒng)只提供讀取檔案和寫入檔案遠端存取模式，伺服端提供大量的檔案操作功能7檔案服務(wù)介面分散式檔案系統(tǒng)是使用存取控制清單來記錄所有可以使上傳／下載模式示意圖檔案檔案當客戶端確定寫入檔案時，檔案才回傳給伺服端檔案傳到客戶端客戶端伺服端所有修改動作皆在客戶端完成8上傳／下載模式示意圖檔案檔案當客戶端確定寫入檔案時，檔案才回遠端存取模式示意圖檔案伺服端客戶端修改檔案是藉由大量的操作訊息通知伺服端，由伺服端代為完成9遠端存取模式示意圖檔案伺服端客戶端修改檔案是藉由大量的操作訊目錄服務(wù)介面目錄服務(wù)介面主要是提供建立與刪除目錄、檔案命名與改名、檔案搬移等功能集中式檔案系統(tǒng)中的目錄介面可在目錄下建立子目錄而形成樹狀結(jié)構(gòu)在分散式環(huán)境下檔案很可能分散在不同電腦上，所以分散式檔案系統(tǒng)的目錄結(jié)構(gòu)又更為複雜10目錄服務(wù)介面目錄服務(wù)介面主要是提供建立與刪除目錄、檔案命名與集中式檔案系統(tǒng)示意圖ABCDE伺服器11集中式檔案系統(tǒng)示意圖ABCDE伺服器11分散式檔案系統(tǒng)示意圖ABCDE12110伺服器Ａ伺服器Ｂ計數(shù)器12分散式檔案系統(tǒng)示意圖ABCDE12110伺服器Ａ伺服器Ｂ目錄服務(wù)介面是否要讓所有客戶端都看到相同的目錄結(jié)構(gòu)是設(shè)計分散式目錄服務(wù)時一個重要議題基本上有兩種做法一種做法是讓客戶端看到相同的目錄結(jié)構(gòu)另一種做法是讓客戶端看到不同的目錄結(jié)構(gòu)13目錄服務(wù)介面是否要讓所有客戶端都看到相同的目錄結(jié)構(gòu)是設(shè)計分散分散式目錄服務(wù)示意圖檔案伺服器1客戶端1客戶端1(c)顯示不同的目錄結(jié)構(gòu)ABCDEFGABCDEFGABCDEFGABCDEFGABCD客戶端2客戶端2EFG檔案伺服器2(a)兩部檔案伺服器(b)顯示相同的目錄結(jié)構(gòu)根目錄根目錄根目錄根目錄14分散式目錄服務(wù)示意圖檔案伺服器1客戶端1客戶端1(c)顯示不命名命名是邏輯與實質(zhì)物體間之對映使用者所處理的是由檔案名稱所代表之理輯資料物體，而系統(tǒng)則是直接操作儲存於磁軌上的實質(zhì)資料區(qū)段。使用者通常以一個文字名稱來使用一個檔案。該文字名稱對映至一個低階的數(shù)值識別字，而識別字再對映至磁碟區(qū)段。此種多層次之對映提供使用者一種檔案抽象化概念，而將檔案實際上如何及在何處儲存之細節(jié)均隱藏起來。15命名命名是邏輯與實質(zhì)物體間之對映15命名通透性命名通透性就是檔案的命名（包含路徑）是否會影響檔案系統(tǒng)的設(shè)計分散式檔案系統(tǒng)中設(shè)計目錄結(jié)構(gòu)有以下二種考量位置通透性檔案路徑並不會顯示出檔案伺服器的實際位置檔案之命名不應(yīng)洩漏該檔案實質(zhì)儲存地點位置獨立性當檔案實際所在位置搬移時，不必更改檔案路徑也可以使用原本的檔案當檔案實質(zhì)儲存地點改變時，該檔案之名稱並不需要改變16命名通透性命名通透性就是檔案的命名（包含路徑）是否會影響檔案命名通透性在分散式檔案系統(tǒng)中實作檔案和目錄命名有三種常用的方法掛載遠端檔案系統(tǒng)到本地端檔案目錄結(jié)構(gòu)中NFS:NetworkFileSystem電腦名稱加上路徑名稱:“/server/user/file1”，也就是「電腦名稱/路徑名稱」系統(tǒng)將所有資源整合起來，使用統(tǒng)一的目錄結(jié)構(gòu)，讓所有電腦看到的會是相同的目錄結(jié)構(gòu)17命名通透性在分散式檔案系統(tǒng)中實作檔案和目錄命名有三種常用的方檔案存取與保護預(yù)防磁碟實體上的資料損毀最常見的方法就是定期地備份整個檔案系統(tǒng)中的資料。檔案存取權(quán)限的管制對於檔案，讀取、寫入以及執(zhí)行等使用權(quán)限的設(shè)定。18檔案存取與保護預(yù)防磁碟實體上的資料損毀18檔案存取最常使用的檔案存取方法有下列三種：循序存取利用檔案指標從頭開始往後移動，便可循序讀取整個檔案內(nèi)容。檔案結(jié)尾（endoffile） 讀或?qū)憴n案開頭（beginoffile）檔案指標（filepointer）19檔案存取最常使用的檔案存取方法有下列三種：檔案結(jié)尾（end檔案存取(續(xù))檔案存取的方法隨機存取 檔案由多個大小固定的區(qū)塊所組成，可直接將檔案指標移動到某個特定的區(qū)塊，並一次讀取整個區(qū)塊。區(qū)塊區(qū)塊區(qū)塊區(qū)塊區(qū)塊檔案指標檔案開頭檔案結(jié)尾20檔案存取(續(xù))檔案存取的方法區(qū)塊區(qū)塊區(qū)塊區(qū)塊區(qū)塊檔案指標檔案檔案存取(續(xù))檔案存取的方法索引存取針對檔案事先做好的索引結(jié)構(gòu)來進行讀取。姓名指標王二李四張三編號性別年齡2476男1221檔案存取(續(xù))檔案存取的方法姓名指標王二李四張三編存取權(quán)限檔案系統(tǒng)會加以管制的幾種檔案存取權(quán)限：讀取(Read)寫入(Write)執(zhí)行(Execute)擴展(Append)刪除(Delete)表列(List)將一個檔案可能會進行的存取權(quán)限分門別類之後，便可以針對各個不同的存取作控管。22存取權(quán)限檔案系統(tǒng)會加以管制的幾種檔案存取權(quán)限：22存取群組減少存取的方式讀取(Read)修改(Write)執(zhí)行(Execute)將使用者分類，同一類使用者擁有相同的存取權(quán)限。如Unix系列的作業(yè)系統(tǒng)分為：擁有者（Owner）群組（Group）其他（Other）23存取群組減少存取的方式23存取群組(續(xù))檔案的存取控制列表索引檔案名稱檔案擁有者所屬團體其他使用者其他資訊檔案指標0view.gifRWXR-…1test.exeRWXRWR…2config.binRWXRWXRWX………n24存取群組(續(xù))檔案的存取控制列表索引檔案名稱檔案擁有者所屬檔案共享集中式檔案系統(tǒng)中允許檔案共享，但需要能預(yù)防讀寫發(fā)生問題。並且利用檔案指標來達成分散式檔案系統(tǒng)只要客戶端沒有檔案快取的機制、並且將檔案的操作都集中到同一部伺服器中處理，就可模擬成集中式檔案系統(tǒng)的操作方式當檔案被多個客戶端同時進行修改時，檔案伺服器可以用資源的互斥機制作同步的控管，每一次只能有一個客戶端將修改的資料寫入磁碟。因此會導(dǎo)致延遲。25檔案共享集中式檔案系統(tǒng)中允許檔案共享，但需要能預(yù)防讀寫發(fā)生問檔案共享在分散式檔案系統(tǒng)中，對於檔案共享問題所提出的幾種解決方法UNIX語意Session語意(交談?wù)Z意)Immutable語意不可分割交易26檔案共享在分散式檔案系統(tǒng)中，對於檔案共享問題所提出的幾種解決UNIX語意UNIX系統(tǒng)中所採用的策略檔案存取直接對應(yīng)到磁碟實體儲存位置上其他使用者可立即從實體區(qū)塊中看到修改後的結(jié)果當共享檔案被某個使用者修改時，檔案系統(tǒng)設(shè)計上是以資源(Resource)的互斥(MutualExclusion)作為實際上的應(yīng)用檔案系統(tǒng)每次都只會有一個使用者將修改的資料寫入實體磁碟區(qū)競爭情形下會導(dǎo)致延遲及不可預(yù)期的結(jié)果27UNIX語意UNIX系統(tǒng)中所採用的策略27Session語意(交談?wù)Z意)當共享檔案被某個使用者修改時，結(jié)果不會立即反應(yīng)給其他的使用者，只有當該使用者將檔案關(guān)閉並重新開啟(完成一個Session後)才會反映該修改的結(jié)果檔案存取對應(yīng)到暫時的映像(image)其他使用者不可立即從實體區(qū)塊中看到修改後的結(jié)果問題先將檔案資料回存的使用者可能會失去其所修改的結(jié)果(遭後者覆蓋)沒對共享之檔案修改做任何保護動作28Session語意(交談?wù)Z意)當共享檔案被某個使用者修改Immutable語意檔案在被建立者宣告為共享後，任何使用者皆不可修改其中的內(nèi)容檔案的名稱亦不可被重複使用這種語意在分散式系統(tǒng)中比較自然分散式系統(tǒng)的檔案共享基本上就是只允許唯讀但是允許檔案取代功能29Immutable語意檔案在被建立者宣告為共享後，任何使用當有兩個客戶端同時要取代同一個檔案時當一個客戶端要取代檔案，而這個檔案正被其他客戶端讀取警告讀取的客戶端乾脆不理，讓客戶端從快取中讀取直到問題發(fā)生為止30當有兩個客戶端同時要取代同一個檔案時30不可分割交易該筆交易中不能被相關(guān)交易中斷當客戶端要操作檔案時，會先已開始交易的訊息通知伺服器要利用不可分割交易的功能接著是對檔案的一些讀取與寫入的操作。完全執(zhí)行完畢完全不曾執(zhí)行過31不可分割交易該筆交易中不能被相關(guān)交易中斷31集中式檔案系統(tǒng)示意圖ＡＢＣdedefg行程1.寫入f2.寫入g3.讀取defg原始的檔案32集中式檔案系統(tǒng)示意圖ＡＢＣdedefg行程1.寫入f2.寫入分散式檔案系統(tǒng)示意圖defgＡ2.寫入defg客戶端1de檔案伺服器deＢ客戶端21.讀取de3.讀取de33分散式檔案系統(tǒng)示意圖defgＡ2.寫入defg客戶端1de檔系統(tǒng)實作在實作分散式檔案系統(tǒng)時，必需考慮以下的問題檔案目錄架構(gòu)服務(wù)形式快取檔案取代檔案一致性34系統(tǒng)實作在實作分散式檔案系統(tǒng)時，必需考慮以下的問題34目錄結(jié)構(gòu)分割可分為主要分割存有作業(yè)系統(tǒng)及相關(guān)系統(tǒng)檔案供電腦啟動延伸分割可再細分為數(shù)個邏輯分割，主要是用來儲存使用者的檔案。每個磁碟的分割都有裝置目錄或卷表用來記錄此分割中的所有目錄及檔案資訊。35目錄結(jié)構(gòu)分割可分為35單層目錄在一個分割中，使用者可以建立多個目錄，在每個目錄中也可以放置多個檔案，這樣利用目錄結(jié)構(gòu)來儲存檔案，稱為單層目錄。分割bindevsbinbootetc檔案檔案檔案檔案檔案36單層目錄在一個分割中，使用者可以建立多個目錄，在每個目錄中也雙層目錄單層目錄結(jié)構(gòu)未考慮到多使用者共用的檔案系統(tǒng)，故採用雙層目錄。分割／根目錄KevinTom檔案Frankbindevbindevbindev使用者目錄檔案檔案檔案檔案檔案37雙層目錄單層目錄結(jié)構(gòu)未考慮到多使用者共用的檔案系統(tǒng)，故採用雙樹狀目錄雙層目錄結(jié)構(gòu)可視為簡單的樹狀結(jié)構(gòu)，但缺乏使用上的彈性。大多數(shù)的作業(yè)系統(tǒng)都是以樹狀目錄結(jié)構(gòu)的檔案系統(tǒng)為基礎(chǔ)。目錄中還可以再建立子目錄，子目錄與檔案也可以並存於同一個目錄中。系統(tǒng)實作時需注意到：檔案與目錄的區(qū)分，因為檔案與子目錄可以同時存在於同一個目錄之下。38樹狀目錄雙層目錄結(jié)構(gòu)可視為簡單的樹狀結(jié)構(gòu)，但缺乏使用上的彈性樹狀目錄(續(xù))分割／根目錄binhomebootetcMikeJasonDocssnmp檔案檔案檔案檔案檔案39樹狀目錄(續(xù))分割／根目錄binhomebootetcMik非循環(huán)圖狀目錄共用目錄可以任意存在於檔案系統(tǒng)中。利用符號鏈結(jié)（symboliclink）連結(jié)到共用目錄。保護機制當一個使用者讀取某個檔案時，必須將該檔案鎖定（Lock）。必須定期搜尋檔案系統(tǒng)中的無效符號鏈結(jié)，然後將其刪除並回收磁碟空間。40非循環(huán)圖狀目錄共用目錄40非循環(huán)圖形目錄(續(xù))分割／根目錄boothomeetcMikeJasonDocsutility檔案檔案檔案41非循環(huán)圖形目錄(續(xù))分割／根目錄boothomeetcMik一般圖狀目錄最大問題檔案搜尋時，必須判斷該目錄是否已經(jīng)被搜尋過，以避免無窮迴圈。分割／根目錄binhomeetcMikeJasonutility檔案檔案檔案42一般圖狀目錄最大問題分割／根目錄binhomeetcMike目錄存取指令在某些檔案系統(tǒng)中，目錄也是被當成一般檔案來處理，只是會另外加上一個可供分辨的特殊字元。存取指令搜尋新增檔案刪除檔案更改檔名43目錄存取指令在某些檔案系統(tǒng)中，目錄也是被當成一般檔案來處理，目錄與檔案路徑若所要存取的檔案不在同一層目錄中，就必須加上目錄路徑的參數(shù)。目錄路徑可分為兩種絕對路徑從磁碟的分割代號（或根目錄）開始。相對路徑以現(xiàn)行目錄作為參考位置對所要指定目錄的相對位置。44目錄與檔案路徑若所要存取的檔案不在同一層目錄中，就必須加上目目錄存取保護為了安全性的考量針對不同的使用者或是群組作存取權(quán)限上的控管。目錄的存取保護實作上的問題必須考慮是否也實作在其子目錄中。若父目錄與子目錄設(shè)定不同，要如何取捨。45目錄存取保護為了安全性的考量45檔案系統(tǒng)掛載一個檔案系統(tǒng)必須經(jīng)過安裝才能開始運作。作業(yè)系統(tǒng)中給予檔案系統(tǒng)一個名稱，以及連結(jié)上此檔案系統(tǒng)的掛載點（mountingpoint）。透過之前所給予的掛載點，便可以讀取到其中的目錄結(jié)構(gòu)。掛載的檔案系統(tǒng)甚至可以是網(wǎng)路上其他電腦中的檔案系統(tǒng)。46檔案系統(tǒng)掛載一個檔案系統(tǒng)必須經(jīng)過安裝才能開始運作。46檔案與目錄結(jié)構(gòu)解決檔案與目錄結(jié)構(gòu)的有兩種做法將檔案服務(wù)和目錄服務(wù)整合在一起，由單一個伺服器作檔案及目錄服務(wù)，所有使用者都與這個伺服器溝通檔案服務(wù)與目錄服務(wù)分開在不同的伺服器，當有檔案操作的要求時，先跟提供目錄服務(wù)的伺服器查詢，再利用這個編號資料跟檔案伺服器溝通47檔案與目錄結(jié)構(gòu)解決檔案與目錄結(jié)構(gòu)的有兩種做法47檔案與目錄結(jié)構(gòu)系統(tǒng)如果是使用目錄服務(wù)與檔案服務(wù)分開的做法，系統(tǒng)可以有二種做法查詢的方式反覆查詢的方式主動查詢的方式系統(tǒng)採用快取的機制，把最近查詢的檔案資訊儲存在快取中，之後如有對相同檔案的操作，即可馬上回應(yīng)檔案資訊48檔案與目錄結(jié)構(gòu)系統(tǒng)如果是使用目錄服務(wù)與檔案服務(wù)分開的做法，反覆查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢/Ａ/Ｂ/Ｃ/g.txt回應(yīng)/B/C/回應(yīng)檔案資訊49反覆查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢/主動查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢/C/g.txt回應(yīng)檔案資訊查詢/B/C/g.txt查詢/Ａ/Ｂ/Ｃ/g.txt50主動查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢回應(yīng)服務(wù)形式檔案服務(wù)可分為兩類具備狀態(tài)服務(wù)不具狀態(tài)服務(wù)51服務(wù)形式檔案服務(wù)可分為兩類51具備狀態(tài)服務(wù)具備狀態(tài)檔案伺服器(statefulfileservice)從其磁碟中擷取一些關(guān)於檔案之資訊，將之儲存於其記憶體中，並交給用戶一個關(guān)聯(lián)的識別名稱，該名稱對用戶及開啟檔案而言均是獨有的一項具備狀態(tài)服務(wù)之特徵為於一個會議期間，用戶與伺服器間之關(guān)聯(lián)性質(zhì)。在關(guān)閉檔案時或藉由廢置空間回收(garbage-collection)機構(gòu)，伺服器便可再取回用戶不再使用之主記憶體空間。在具備狀態(tài)服務(wù)之方法中，開啟用戶之資訊保存在伺服器的主記憶體中，此方式即為容錯之主要重點所在。AFS是一個具備狀態(tài)的檔案服務(wù)52具備狀態(tài)服務(wù)具備狀態(tài)檔案伺服器(statefulfile不具狀態(tài)服務(wù)不具狀態(tài)檔案伺服器(statelessfileservice)藉著提出獨立的要求來避免此項狀態(tài)資訊。亦即在每項要求中指定檔案及完整地指明所要求檔案中之位置。伺服器並不需要在主記憶體中保存一個已開啟檔案的表格，但通常為提高效率均會如此做。每項檔案運作均獨立完成且非會議之一部份，故開啟或關(guān)閉運作完全是多餘的。由讀取及寫入動作來取代遠程訊息(或取代快取記憶體之查尋)。用戶最後的關(guān)閉動作也僅屬於局部之運作。NFS是一個不具備狀態(tài)的檔案服務(wù)53不具狀態(tài)服務(wù)不具狀態(tài)檔案伺服器(statelessfil具／不具備狀態(tài)服務(wù)的優(yōu)點比較表具備狀態(tài)服務(wù)的優(yōu)點不具狀態(tài)服務(wù)的優(yōu)點檔案操作訊息較短容錯能力較佳系統(tǒng)效能較佳不需特殊的開檔和關(guān)檔可預(yù)讀資訊伺服器不用維護狀態(tài)紀錄如一的操作較容易達成可開檔案數(shù)目無限可將檔案上鎖客戶端當機不影響系統(tǒng)運作54具／不具備狀態(tài)服務(wù)的優(yōu)點比較表具備狀態(tài)服務(wù)的優(yōu)點不具狀態(tài)服務(wù)快取傳統(tǒng)的集中式檔案系統(tǒng)中，採用快取是為了降低磁碟I/O次數(shù)，以此達到提昇系統(tǒng)效能的目的分散式檔案系統(tǒng)中，採用快取主要是降低網(wǎng)路傳輸?shù)呢摀?dān)55快取傳統(tǒng)的集中式檔案系統(tǒng)中，採用快取是為了降低磁碟I/O快取機制快取的基本想法是將伺服器或客戶端的主記憶體或是客戶端磁碟當成快取，把最近使用過的檔案存入使用快取降低伺服器的磁碟I/O次數(shù)和網(wǎng)路傳輸?shù)呢摀?dān)客戶端和伺服端較常採用主記憶體當作快取主記憶體快取會比磁碟快取有效率得多。使用主記憶體當快取，客戶端就可以不需要磁碟伺服端用主記憶體當快取可減少磁碟I/O次數(shù)56快取機制快取的基本想法是將伺服器或客戶端的主記憶體或是客戶端客戶端／伺服器的架構(gòu)伺服器主記憶體伺服器磁碟客戶端主記憶體客戶端磁碟（選擇性的）網(wǎng)路57客戶端／伺服器的架構(gòu)伺服器伺服器磁碟客戶端客戶端磁碟網(wǎng)路57快取機制採用快取有二個衍生的問題必須解決快取的基本單位是什麼如何處理快取被填滿的問題58快取機制採用快取有二個衍生的問題必須解決58快取一致性處理快取一致性的問題大致有四種方法中控伺服端統(tǒng)一處理同步的問題關(guān)寫關(guān)檔時才傳送更新訊息給伺服端延寫延遲傳送更新訊息給伺服端寫穿每次寫檔立即傳送更新訊息給伺服端59快取一致性處理快取一致性的問題大致有四種方法59檔案複製檔案複製功能可以增加分散式系統(tǒng)的可靠性系統(tǒng)效能雖然系統(tǒng)必須提供更多的儲存空間來存放這些多餘的檔案複本，但是在許多的分散式系統(tǒng)中仍會提供檔案複製的功能60檔案複製檔案複製功能可以增加分散式系統(tǒng)的60檔案複製的基本概念提供檔案複製的服務(wù)主要理由如下複製檔案到不同電腦存放可以增加系統(tǒng)的可靠性系統(tǒng)中若某部檔案伺服器毀損，因檔案已經(jīng)備份到另一部檔案伺服器，所以程式仍然能使用檔案可以分擔(dān)檔案伺服器的負擔(dān)檔案複製的服務(wù)可增加系統(tǒng)的可靠性及系統(tǒng)效能61檔案複製的基本概念提供檔案複製的服務(wù)主要理由如下61複製方法有三種處理檔案複製的方法程式自行處理檔案複製延遲式的檔案複製利用群組的方式達到檔案複製功能檔案複製時，目錄伺服器會記錄檔案在各個伺服器上取得的檔案識別代號，讓客戶端或系統(tǒng)知道這些檔案被複製到什麼地方62複製方法有三種處理檔案複製的方法62各種檔案複製形式客戶端式的檔案複製延遲式的檔案複製群組式的檔案複製63各種檔案複製形式客戶端式的檔案複製63目錄伺服器上的複製檔案識別代號表dis.txtpda.txt1.331.521.221.873.224.11檔案名稱檔案識別代號FS1FS2FS364目錄伺服器上的複製檔案識別代號表dis.txtpda.txt客戶端式的檔案複製FS1FS2FS3客戶端檔案伺服器65客戶端式的檔案複製FS1FS2FS3客戶端檔案伺服器65延遲式的檔案複製FS1FS2FS3客戶端檔案伺服器66延遲式的檔案複製FS1FS2FS3客戶端檔案伺服器66群組式的檔案複製FS1FS2FS3客戶端群組67群組式的檔案複製FS1FS2FS3客戶端群組67TheEnd68TheEnd68演講完畢，謝謝觀看！演講完畢，謝謝觀看！69分散式系統(tǒng)分散式檔案系統(tǒng)70分散式系統(tǒng)分散式檔案系統(tǒng)1大綱系統(tǒng)設(shè)計檔案服務(wù)介面目錄服務(wù)介面命名通透檔案共享系統(tǒng)實作檔案與目錄結(jié)構(gòu)服務(wù)形式71大綱系統(tǒng)設(shè)計2大綱快取快取機制快取一致性檔案複製基本概念複製方法摘要72大綱快取3系統(tǒng)設(shè)計分散式檔案系統(tǒng)的重點就是將各部電腦的儲存裝置整合在一起分散式檔案系統(tǒng)架構(gòu)中有兩個重要的概念檔案服務(wù)(fileservice)檔案伺服器(fileserver)分散式檔案系統(tǒng)必須讓使用者感覺上是在使用傳統(tǒng)的集中式檔案系統(tǒng)典型的分散式檔案系統(tǒng)服務(wù)可以分為兩部份檔案服務(wù)目錄服務(wù)73系統(tǒng)設(shè)計分散式檔案系統(tǒng)的重點就是將各部電腦的儲存裝置整合在一檔案系統(tǒng)檔案系統(tǒng)的工作就是如何快速找出一個檔案的實際位置，以維護整個檔案目錄的架構(gòu)。檔案會有一些附加屬性：檔案的擁有者、檔案大小、建檔日期與取用權(quán)限等。有些檔案服務(wù)能夠讓使用者可以自己更改或新增。分散式檔案系統(tǒng)中保護檔案的作法與集中式檔案系統(tǒng)相同。都是使用存取控制清單(AccessControlList,ACL)，每一個檔案都有一份清單，記錄所有可以使用檔此檔案的使用者。74檔案系統(tǒng)檔案系統(tǒng)的工作就是如何快速找出一個檔案的實際位置，以檔案是否可以被修改對於檔案系統(tǒng)設(shè)計的困難度影響也很大。修改檔案時必須備份以防止意外發(fā)生。有些分散式檔案系統(tǒng)只提供建立新檔和讀取檔案兩種操作，設(shè)計上也比較簡單，通常也很容易支援檔案快取和檔案複製。75檔案是否可以被修改對於檔案系統(tǒng)設(shè)計的困難度影響也很大。修改檔檔案服務(wù)介面分散式檔案系統(tǒng)是使用存取控制清單來記錄所有可以使用此檔案的使用者檔案服務(wù)可分為上兩類傳／下載模式，系統(tǒng)只提供讀取檔案和寫入檔案遠端存取模式，伺服端提供大量的檔案操作功能76檔案服務(wù)介面分散式檔案系統(tǒng)是使用存取控制清單來記錄所有可以使上傳／下載模式示意圖檔案檔案當客戶端確定寫入檔案時，檔案才回傳給伺服端檔案傳到客戶端客戶端伺服端所有修改動作皆在客戶端完成77上傳／下載模式示意圖檔案檔案當客戶端確定寫入檔案時，檔案才回遠端存取模式示意圖檔案伺服端客戶端修改檔案是藉由大量的操作訊息通知伺服端，由伺服端代為完成78遠端存取模式示意圖檔案伺服端客戶端修改檔案是藉由大量的操作訊目錄服務(wù)介面目錄服務(wù)介面主要是提供建立與刪除目錄、檔案命名與改名、檔案搬移等功能集中式檔案系統(tǒng)中的目錄介面可在目錄下建立子目錄而形成樹狀結(jié)構(gòu)在分散式環(huán)境下檔案很可能分散在不同電腦上，所以分散式檔案系統(tǒng)的目錄結(jié)構(gòu)又更為複雜79目錄服務(wù)介面目錄服務(wù)介面主要是提供建立與刪除目錄、檔案命名與集中式檔案系統(tǒng)示意圖ABCDE伺服器80集中式檔案系統(tǒng)示意圖ABCDE伺服器11分散式檔案系統(tǒng)示意圖ABCDE12110伺服器Ａ伺服器Ｂ計數(shù)器81分散式檔案系統(tǒng)示意圖ABCDE12110伺服器Ａ伺服器Ｂ目錄服務(wù)介面是否要讓所有客戶端都看到相同的目錄結(jié)構(gòu)是設(shè)計分散式目錄服務(wù)時一個重要議題基本上有兩種做法一種做法是讓客戶端看到相同的目錄結(jié)構(gòu)另一種做法是讓客戶端看到不同的目錄結(jié)構(gòu)82目錄服務(wù)介面是否要讓所有客戶端都看到相同的目錄結(jié)構(gòu)是設(shè)計分散分散式目錄服務(wù)示意圖檔案伺服器1客戶端1客戶端1(c)顯示不同的目錄結(jié)構(gòu)ABCDEFGABCDEFGABCDEFGABCDEFGABCD客戶端2客戶端2EFG檔案伺服器2(a)兩部檔案伺服器(b)顯示相同的目錄結(jié)構(gòu)根目錄根目錄根目錄根目錄83分散式目錄服務(wù)示意圖檔案伺服器1客戶端1客戶端1(c)顯示不命名命名是邏輯與實質(zhì)物體間之對映使用者所處理的是由檔案名稱所代表之理輯資料物體，而系統(tǒng)則是直接操作儲存於磁軌上的實質(zhì)資料區(qū)段。使用者通常以一個文字名稱來使用一個檔案。該文字名稱對映至一個低階的數(shù)值識別字，而識別字再對映至磁碟區(qū)段。此種多層次之對映提供使用者一種檔案抽象化概念，而將檔案實際上如何及在何處儲存之細節(jié)均隱藏起來。84命名命名是邏輯與實質(zhì)物體間之對映15命名通透性命名通透性就是檔案的命名（包含路徑）是否會影響檔案系統(tǒng)的設(shè)計分散式檔案系統(tǒng)中設(shè)計目錄結(jié)構(gòu)有以下二種考量位置通透性檔案路徑並不會顯示出檔案伺服器的實際位置檔案之命名不應(yīng)洩漏該檔案實質(zhì)儲存地點位置獨立性當檔案實際所在位置搬移時，不必更改檔案路徑也可以使用原本的檔案當檔案實質(zhì)儲存地點改變時，該檔案之名稱並不需要改變85命名通透性命名通透性就是檔案的命名（包含路徑）是否會影響檔案命名通透性在分散式檔案系統(tǒng)中實作檔案和目錄命名有三種常用的方法掛載遠端檔案系統(tǒng)到本地端檔案目錄結(jié)構(gòu)中NFS:NetworkFileSystem電腦名稱加上路徑名稱:“/server/user/file1”，也就是「電腦名稱/路徑名稱」系統(tǒng)將所有資源整合起來，使用統(tǒng)一的目錄結(jié)構(gòu)，讓所有電腦看到的會是相同的目錄結(jié)構(gòu)86命名通透性在分散式檔案系統(tǒng)中實作檔案和目錄命名有三種常用的方檔案存取與保護預(yù)防磁碟實體上的資料損毀最常見的方法就是定期地備份整個檔案系統(tǒng)中的資料。檔案存取權(quán)限的管制對於檔案，讀取、寫入以及執(zhí)行等使用權(quán)限的設(shè)定。87檔案存取與保護預(yù)防磁碟實體上的資料損毀18檔案存取最常使用的檔案存取方法有下列三種：循序存取利用檔案指標從頭開始往後移動，便可循序讀取整個檔案內(nèi)容。檔案結(jié)尾（endoffile） 讀或?qū)憴n案開頭（beginoffile）檔案指標（filepointer）88檔案存取最常使用的檔案存取方法有下列三種：檔案結(jié)尾（end檔案存取(續(xù))檔案存取的方法隨機存取 檔案由多個大小固定的區(qū)塊所組成，可直接將檔案指標移動到某個特定的區(qū)塊，並一次讀取整個區(qū)塊。區(qū)塊區(qū)塊區(qū)塊區(qū)塊區(qū)塊檔案指標檔案開頭檔案結(jié)尾89檔案存取(續(xù))檔案存取的方法區(qū)塊區(qū)塊區(qū)塊區(qū)塊區(qū)塊檔案指標檔案檔案存取(續(xù))檔案存取的方法索引存取針對檔案事先做好的索引結(jié)構(gòu)來進行讀取。姓名指標王二李四張三編號性別年齡2476男1290檔案存取(續(xù))檔案存取的方法姓名指標王二李四張三編存取權(quán)限檔案系統(tǒng)會加以管制的幾種檔案存取權(quán)限：讀取(Read)寫入(Write)執(zhí)行(Execute)擴展(Append)刪除(Delete)表列(List)將一個檔案可能會進行的存取權(quán)限分門別類之後，便可以針對各個不同的存取作控管。91存取權(quán)限檔案系統(tǒng)會加以管制的幾種檔案存取權(quán)限：22存取群組減少存取的方式讀取(Read)修改(Write)執(zhí)行(Execute)將使用者分類，同一類使用者擁有相同的存取權(quán)限。如Unix系列的作業(yè)系統(tǒng)分為：擁有者（Owner）群組（Group）其他（Other）92存取群組減少存取的方式23存取群組(續(xù))檔案的存取控制列表索引檔案名稱檔案擁有者所屬團體其他使用者其他資訊檔案指標0view.gifRWXR-…1test.exeRWXRWR…2config.binRWXRWXRWX………n93存取群組(續(xù))檔案的存取控制列表索引檔案名稱檔案擁有者所屬檔案共享集中式檔案系統(tǒng)中允許檔案共享，但需要能預(yù)防讀寫發(fā)生問題。並且利用檔案指標來達成分散式檔案系統(tǒng)只要客戶端沒有檔案快取的機制、並且將檔案的操作都集中到同一部伺服器中處理，就可模擬成集中式檔案系統(tǒng)的操作方式當檔案被多個客戶端同時進行修改時，檔案伺服器可以用資源的互斥機制作同步的控管，每一次只能有一個客戶端將修改的資料寫入磁碟。因此會導(dǎo)致延遲。94檔案共享集中式檔案系統(tǒng)中允許檔案共享，但需要能預(yù)防讀寫發(fā)生問檔案共享在分散式檔案系統(tǒng)中，對於檔案共享問題所提出的幾種解決方法UNIX語意Session語意(交談?wù)Z意)Immutable語意不可分割交易95檔案共享在分散式檔案系統(tǒng)中，對於檔案共享問題所提出的幾種解決UNIX語意UNIX系統(tǒng)中所採用的策略檔案存取直接對應(yīng)到磁碟實體儲存位置上其他使用者可立即從實體區(qū)塊中看到修改後的結(jié)果當共享檔案被某個使用者修改時，檔案系統(tǒng)設(shè)計上是以資源(Resource)的互斥(MutualExclusion)作為實際上的應(yīng)用檔案系統(tǒng)每次都只會有一個使用者將修改的資料寫入實體磁碟區(qū)競爭情形下會導(dǎo)致延遲及不可預(yù)期的結(jié)果96UNIX語意UNIX系統(tǒng)中所採用的策略27Session語意(交談?wù)Z意)當共享檔案被某個使用者修改時，結(jié)果不會立即反應(yīng)給其他的使用者，只有當該使用者將檔案關(guān)閉並重新開啟(完成一個Session後)才會反映該修改的結(jié)果檔案存取對應(yīng)到暫時的映像(image)其他使用者不可立即從實體區(qū)塊中看到修改後的結(jié)果問題先將檔案資料回存的使用者可能會失去其所修改的結(jié)果(遭後者覆蓋)沒對共享之檔案修改做任何保護動作97Session語意(交談?wù)Z意)當共享檔案被某個使用者修改Immutable語意檔案在被建立者宣告為共享後，任何使用者皆不可修改其中的內(nèi)容檔案的名稱亦不可被重複使用這種語意在分散式系統(tǒng)中比較自然分散式系統(tǒng)的檔案共享基本上就是只允許唯讀但是允許檔案取代功能98Immutable語意檔案在被建立者宣告為共享後，任何使用當有兩個客戶端同時要取代同一個檔案時當一個客戶端要取代檔案，而這個檔案正被其他客戶端讀取警告讀取的客戶端乾脆不理，讓客戶端從快取中讀取直到問題發(fā)生為止99當有兩個客戶端同時要取代同一個檔案時30不可分割交易該筆交易中不能被相關(guān)交易中斷當客戶端要操作檔案時，會先已開始交易的訊息通知伺服器要利用不可分割交易的功能接著是對檔案的一些讀取與寫入的操作。完全執(zhí)行完畢完全不曾執(zhí)行過100不可分割交易該筆交易中不能被相關(guān)交易中斷31集中式檔案系統(tǒng)示意圖ＡＢＣdedefg行程1.寫入f2.寫入g3.讀取defg原始的檔案101集中式檔案系統(tǒng)示意圖ＡＢＣdedefg行程1.寫入f2.寫入分散式檔案系統(tǒng)示意圖defgＡ2.寫入defg客戶端1de檔案伺服器deＢ客戶端21.讀取de3.讀取de102分散式檔案系統(tǒng)示意圖defgＡ2.寫入defg客戶端1de檔系統(tǒng)實作在實作分散式檔案系統(tǒng)時，必需考慮以下的問題檔案目錄架構(gòu)服務(wù)形式快取檔案取代檔案一致性103系統(tǒng)實作在實作分散式檔案系統(tǒng)時，必需考慮以下的問題34目錄結(jié)構(gòu)分割可分為主要分割存有作業(yè)系統(tǒng)及相關(guān)系統(tǒng)檔案供電腦啟動延伸分割可再細分為數(shù)個邏輯分割，主要是用來儲存使用者的檔案。每個磁碟的分割都有裝置目錄或卷表用來記錄此分割中的所有目錄及檔案資訊。104目錄結(jié)構(gòu)分割可分為35單層目錄在一個分割中，使用者可以建立多個目錄，在每個目錄中也可以放置多個檔案，這樣利用目錄結(jié)構(gòu)來儲存檔案，稱為單層目錄。分割bindevsbinbootetc檔案檔案檔案檔案檔案105單層目錄在一個分割中，使用者可以建立多個目錄，在每個目錄中也雙層目錄單層目錄結(jié)構(gòu)未考慮到多使用者共用的檔案系統(tǒng)，故採用雙層目錄。分割／根目錄KevinTom檔案Frankbindevbindevbindev使用者目錄檔案檔案檔案檔案檔案106雙層目錄單層目錄結(jié)構(gòu)未考慮到多使用者共用的檔案系統(tǒng)，故採用雙樹狀目錄雙層目錄結(jié)構(gòu)可視為簡單的樹狀結(jié)構(gòu)，但缺乏使用上的彈性。大多數(shù)的作業(yè)系統(tǒng)都是以樹狀目錄結(jié)構(gòu)的檔案系統(tǒng)為基礎(chǔ)。目錄中還可以再建立子目錄，子目錄與檔案也可以並存於同一個目錄中。系統(tǒng)實作時需注意到：檔案與目錄的區(qū)分，因為檔案與子目錄可以同時存在於同一個目錄之下。107樹狀目錄雙層目錄結(jié)構(gòu)可視為簡單的樹狀結(jié)構(gòu)，但缺乏使用上的彈性樹狀目錄(續(xù))分割／根目錄binhomebootetcMikeJasonDocssnmp檔案檔案檔案檔案檔案108樹狀目錄(續(xù))分割／根目錄binhomebootetcMik非循環(huán)圖狀目錄共用目錄可以任意存在於檔案系統(tǒng)中。利用符號鏈結(jié)（symboliclink）連結(jié)到共用目錄。保護機制當一個使用者讀取某個檔案時，必須將該檔案鎖定（Lock）。必須定期搜尋檔案系統(tǒng)中的無效符號鏈結(jié)，然後將其刪除並回收磁碟空間。109非循環(huán)圖狀目錄共用目錄40非循環(huán)圖形目錄(續(xù))分割／根目錄boothomeetcMikeJasonDocsutility檔案檔案檔案110非循環(huán)圖形目錄(續(xù))分割／根目錄boothomeetcMik一般圖狀目錄最大問題檔案搜尋時，必須判斷該目錄是否已經(jīng)被搜尋過，以避免無窮迴圈。分割／根目錄binhomeetcMikeJasonutility檔案檔案檔案111一般圖狀目錄最大問題分割／根目錄binhomeetcMike目錄存取指令在某些檔案系統(tǒng)中，目錄也是被當成一般檔案來處理，只是會另外加上一個可供分辨的特殊字元。存取指令搜尋新增檔案刪除檔案更改檔名112目錄存取指令在某些檔案系統(tǒng)中，目錄也是被當成一般檔案來處理，目錄與檔案路徑若所要存取的檔案不在同一層目錄中，就必須加上目錄路徑的參數(shù)。目錄路徑可分為兩種絕對路徑從磁碟的分割代號（或根目錄）開始。相對路徑以現(xiàn)行目錄作為參考位置對所要指定目錄的相對位置。113目錄與檔案路徑若所要存取的檔案不在同一層目錄中，就必須加上目目錄存取保護為了安全性的考量針對不同的使用者或是群組作存取權(quán)限上的控管。目錄的存取保護實作上的問題必須考慮是否也實作在其子目錄中。若父目錄與子目錄設(shè)定不同，要如何取捨。114目錄存取保護為了安全性的考量45檔案系統(tǒng)掛載一個檔案系統(tǒng)必須經(jīng)過安裝才能開始運作。作業(yè)系統(tǒng)中給予檔案系統(tǒng)一個名稱，以及連結(jié)上此檔案系統(tǒng)的掛載點（mountingpoint）。透過之前所給予的掛載點，便可以讀取到其中的目錄結(jié)構(gòu)。掛載的檔案系統(tǒng)甚至可以是網(wǎng)路上其他電腦中的檔案系統(tǒng)。115檔案系統(tǒng)掛載一個檔案系統(tǒng)必須經(jīng)過安裝才能開始運作。46檔案與目錄結(jié)構(gòu)解決檔案與目錄結(jié)構(gòu)的有兩種做法將檔案服務(wù)和目錄服務(wù)整合在一起，由單一個伺服器作檔案及目錄服務(wù)，所有使用者都與這個伺服器溝通檔案服務(wù)與目錄服務(wù)分開在不同的伺服器，當有檔案操作的要求時，先跟提供目錄服務(wù)的伺服器查詢，再利用這個編號資料跟檔案伺服器溝通116檔案與目錄結(jié)構(gòu)解決檔案與目錄結(jié)構(gòu)的有兩種做法47檔案與目錄結(jié)構(gòu)系統(tǒng)如果是使用目錄服務(wù)與檔案服務(wù)分開的做法，系統(tǒng)可以有二種做法查詢的方式反覆查詢的方式主動查詢的方式系統(tǒng)採用快取的機制，把最近查詢的檔案資訊儲存在快取中，之後如有對相同檔案的操作，即可馬上回應(yīng)檔案資訊117檔案與目錄結(jié)構(gòu)系統(tǒng)如果是使用目錄服務(wù)與檔案服務(wù)分開的做法，反覆查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢/Ａ/Ｂ/Ｃ/g.txt回應(yīng)/B/C/回應(yīng)檔案資訊118反覆查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢/主動查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢/C/g.txt回應(yīng)檔案資訊查詢/B/C/g.txt查詢/Ａ/Ｂ/Ｃ/g.txt119主動查詢方式示意圖客戶端/Ａ//Ｂ//Ｃ/目錄伺服器查詢回應(yīng)服務(wù)形式檔案服務(wù)可分為兩類具備狀態(tài)服務(wù)不具狀態(tài)服務(wù)120服務(wù)形式檔案服務(wù)可分為兩類51具備狀態(tài)服務(wù)具備狀態(tài)檔案伺服器(statefulfileservice)從其磁碟中擷取一些關(guān)於檔案之資訊，將之儲存於其記憶體中，並交給用戶一個關(guān)聯(lián)的識別名稱，該名稱對用戶及開啟檔案而言均是獨有的一項具備狀態(tài)服務(wù)之特徵為於一個會議期間，用戶與伺服器間之關(guān)聯(lián)性質(zhì)。在關(guān)閉檔案時或藉由廢置空間回收(garbage-collection)機構(gòu)，伺服器便可再取回用戶不再使用之主記憶體空間。在具備狀態(tài)服務(wù)之方法中，開啟用戶之資訊保存在伺服器的主記憶體中，此方式即為容錯之主要重點所在。AFS是一個具備狀態(tài)的檔案服務(wù)121具備狀態(tài)服務(wù)具備狀態(tài)檔案伺服器(statefulfile不具狀態(tài)服務(wù)不具狀態(tài)檔案伺服器(statelessfileservice)藉著提出獨立的要求來避免此項狀態(tài)資訊。亦即在每項要求中指定檔案及完整地指明所要求檔案中之位置。伺服器並不