google file system發(fā)件人上走9遍

FileTheFileSanjayGhemawat,HowardGobioff,andShun-TakgrantedwithoutfeeprovidedthatcopiesarenotmadeordistributedforprofitorcommercialCopyright2003ACM1-58113-757-5/03/0010...$5.00.面，并且列出了我們的micro-benarks以及真實應用性能指標。計約定和設計參數(shù)比如I/O操作以及blocksize（塊大小），都需要重新。讀操作通常要幾百k的數(shù)據(jù)，每次 GFS提供了常見的文件系統(tǒng)的接口，雖然他沒有實現(xiàn)一些標準的API比如POSIX。文件是通過pathname來通過 write等文件操作。另外，GFS有snapshot，recordappend等操作。snapshort創(chuàng)建一個文件或者一個 的。snapshot和recordappend在后邊的3.4和3.3節(jié)有單獨講述。chunkserver和可以運行在同一個機器上。份，不過用戶對于不同的文件namespace區(qū)域，指定不同的級別。vnode層相關。常用的數(shù)據(jù)cache到了內存里。單個客戶端不會通過master來做文件的數(shù)據(jù)讀寫?？蛻舳酥皇菃杕aster它應當那一個chunkserver進行操作。chunkindex作為cache的關鍵索引字。戶端-master的交互完成的。chunksize來說，（內部分段fragment）這可能是一個最大的缺陷了。超多的chunk的文件的。64個字節(jié)，因為保存文件名的時候是使用前綴壓縮的機制?？煽?，高效，靈活的通過增加master機器的內存就可以了。所有的chunk的位置，并且使用普通心跳信息監(jiān)視chunkserver的狀態(tài)。百臺機器的組成的集群中，這樣的發(fā)生chunserver的變動實在是太平常了。忽然改了名字，那么master上保存這個資料啥用處也沒有。現(xiàn)細節(jié)在本的其他部分實現(xiàn)。返回一個過期的數(shù)據(jù)。當一個熱ader嘗試和master聯(lián)系，它會立刻得到的chunk位置。更改順序就是首先由master分配的chunkprimary決定更改的序列?？蛻舳讼騧asterchunk的令牌位置以及其他所有副本的位置。如果沒有得文件區(qū)雖然一致，但是是不確定的（2.7節(jié)講述的一樣）。我們的網(wǎng)絡拓撲圖是很簡單的，所以，”距離”IP地址進行推算。因此，1M通常理想情況下小于80ms。者并發(fā)操作的情況下，unixO_APPEND寫文件操作。個操作需要在下一個chunk重試。（增加操作嚴格限制在1/4最大chunk大小，來保證的chunk的副本。的寫操作，不需要知道chunk是剛從現(xiàn)存的chunk上創(chuàng)建的。平衡所有chunkserver之間的附在，回收未使用的。我們現(xiàn)在討論每一個小節(jié)。 不要求一個在父的寫鎖，因為這并沒有一個需要保護的””inode-like的數(shù)據(jù)結構。在名字上的讀鎖已經(jīng)足夠來保護父不被刪除。這種鎖機制帶來一個好處就是在同一個下允許并發(fā)改動。比如，在同一個下的多個文件創(chuàng)建可以并行執(zhí)行；每一個要求一個在名上的讀鎖，并且要求在一個文件名上的寫鎖。在名上的 剩余空間chunkserver上的chunk，這樣會平衡磁盤空間使用。都報告自己的chunk集合，并且master回復在master的元數(shù)據(jù)中已經(jīng)不存在的chunk標記。chunkserver隨即釋放和刪除這些chunk的副本。 啟動的服務器，并且重試這個請求。6.2.2節(jié)講述了啟動過程。在我們的很松散的系統(tǒng)上，設計更復雜的冗余機制。個新的mastermaster（gfs-test）,DNS的別名，可以由于master改動到別的機器上執(zhí)行而更改實際地點。進一步說，master的”進程”，提供了對文件系統(tǒng)的只讀操作，即使當當前的master失效的時候會指揮剛才報錯的chunkserver刪掉它剛才錯誤的副本。們只需要額外的多一小部分相關數(shù)據(jù)進行checksum檢查。GFS客戶端代碼通過每次把操找和比較不需要附加的I/O，checksum的計算可以和I/O操作同時進行。出這個損壞的block。內使用的集群的性能數(shù)據(jù)。小型 1G鏈路連接的。重復256次，每一個客戶端最終1GB數(shù)據(jù)。chunkserver總共有32GB內存，這樣我們預期有最多10%的Linuxbuffercache 。我們的結果應當和冷cache的結果一致。80%降低到75%的原因是由于者的增多，導致多個者同時從一個相同chunkserver得3個chunkserver12.5MB/s的輸入連接。AB18TB和52TB的文件數(shù)據(jù)。chunkserverchunk位置信息。AB只用到了380MB/s查找cache在namespace的數(shù)據(jù)結構來進一步提高性能。6.25MB/s恢復到容錯另一個chunkserver失效的情況。XY是生產(chǎn)數(shù)據(jù)處理的。寫請求或者重新均衡chunk分布等等。用集群Y的生產(chǎn)系統(tǒng)，是為GFS做了更的調優(yōu)。讀寫XYXYXY0000讀寫XYXYXY默認刪除（如同unixopen操作中的”w”模式）。XYpread()替換掉mmapcopy動作來解決這個問題。進行冗余，因此要比xFS或者Swift花費的。web范圍的一個有力工具。在這里我們想感謝對GFS和本 OperatingSystemPrinciples,pages109–126,CopperMountainResort,Colorado,December1995.(IOPADS’99),pages10–22,Atlanta,Georgia,May1999.I/Odatarates.ComputerSystems,4(4):405–436,1991.October1998.TransactionsonComputerSystems,6(1):51–81,February1988.Principles,pages226–238,PacificGrove,CA,October1991.DavidA.Patterson,GarthA.Gibson,andRandyH.Katz.Acaseforredundantarraysofclusters.InProceedingsoftheFirstUSENIXConferenceonFileandStorageProceedingsoftheFifthNASAGoddardSpaceFlightCenterConferenceonMassStorageSystemsand,Coll