2024谷歌Bigtable：結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng)

Bigtable盡管需求各異Bigtable還是成功

實現(xiàn)了可擴展性和高性能BigtableBigtable層Google基礎(chǔ)架構(gòu)5節(jié)介紹了被FinanceOrkutWritelyGoogleEarth使用Bigtable來處理各種要求苛刻的工作負載，

提高Bigtable的性能7節(jié)規(guī)定Bigtable第11節(jié)介紹int64

5

1t3t5和t6。

分組到連續(xù)的行中/index.htmlcom.google.maps/index.html

family:qualifier表*T=);,CNN);r1.Delete(\hanchor:);

*stream；stream=圖Bigtable

Bigtable

Bigtable可以與MapReduce[12]一起使用Google開發(fā)的用作MapReduce作業(yè)的輸入源和輸出目標。據(jù)子集2顯示了使用RowMutation抽象來執(zhí)行一系列更新的C++代碼（為了使示例簡短對Apply的調(diào)用對Webtable執(zhí)行原子突變\h

GoogleSSTableBigtableSSTable

MasterTabletTabletTablet和過期TabletGFS每個tablet服務(wù)器管理一組tablet（通常每個tablet服務(wù)器有10到tablet。BigtableChubby[8]Chubby

Bigtable集群存儲許多表tablet組成tablet包含

不可4第一級是存儲在Chubby中的一個文件128MBMETADATAlo?

METADATA

后才能更改它們1Chubby務(wù)器集以及tablet服務(wù)器的當前分配情況tablet未分配tablettablettablet器會通過向tablet服務(wù)器發(fā)送tablet加載請求來分配tablet。

掃描遇到尚未分配的tablettablet添加到未分配tablet集中tablet有資格進行tablet分配。tabletservertabletChubby（Chubbytabletserver就會嘗試重新獲取其文件的獨占鎖tabletserver器可以更快地重新分配其tablet

METADATA現(xiàn)有tablet的集合僅在創(chuàng)建或刪除tabletablet以形成tablettablettabletmaster載的tablet的一部分。

memtableSSTableGFStablet

SSTable期執(zhí)行合并壓縮來限制此類文件的數(shù)量SSTable和memtable的內(nèi)容SSTable入的SSTable和memtable。SSTable服務(wù)器時當Bigtable

每個SSTable塊（其大小SSTable壓縮方案Bentley和16KBMB/sGzip（3141Webtable

5.3節(jié)所述的GFS同一物理日志中不同tablet的突變,tablet服務(wù)器死機時tablet每個服務(wù)器通常只加載少量原始服務(wù)器的tablettablet該tablet來自原始提交日志志文件將被讀取100次（每個服務(wù)器一次）。

SSTable進行垃圾收集tablet的SSTable都注冊在METADATA表中服務(wù)器通過對SSTable集進行標記和清除垃圾收集[25]來刪除過時的SSTable，其中METADATA表包含根集。

組成的GFS單元400GBIDE硬盤。

個tablet服務(wù)器上讀取或?qū)懭氪蠹s1GB的數(shù)據(jù)。除了SSTable緩存之外，

小相等的范圍N個客戶端

R

帶寬足以使平板服務(wù)器CPU飽和解析和Bigtable（memGFS到

GFSRPCBigtable

0 >

1：Bigtabletablet100網(wǎng)絡(luò)上每1000個64KB大塊

（200TB維護TB作業(yè)（Eart（表2提供了一些表格的數(shù)據(jù)

GB）\h（/psearchID

BigtableChubby

代碼中

即監(jiān)控便對于RPC的一個示例，METADATABigtableChubby約

而Bigtable的目標是直接?持客戶端CAN[29]Chord[32]Tapestry[37Pastry[30]對于來說的RealApplicationCluster[27使用GFS[4[33BigtableDB2而不是基于行的存儲C?Store[134]以及SybaseIQ[15,36]等商業(yè)產(chǎn)品，MonetDB/X100[38]性組不?持CPU緩存級優(yōu)化BigtableC?Store

,（1（2（3

CalderBigtableDanAguayoSameerAjmaniZhifengChen、BillC