GemFire數(shù)據(jù)存儲(chǔ).pptx

GemFire 數(shù)據(jù)存儲(chǔ),GemFire 中國(guó)社區(qū)發(fā)起人 楊旭鈞(微信號(hào)：theseusyang),數(shù)據(jù)存儲(chǔ),數(shù)據(jù)存儲(chǔ)可用于如下的緩存類型: Cached regions. 從緩存region中持久化/溢出數(shù)據(jù)。See Using Disk for Backup and Overflow in the GemFire Enterprise Developers Guide. Servers client subscription queues. 溢出訂閱消息隊(duì)列來(lái)維持內(nèi)存利用率. See Overflowing the Client Queue to Disk in the GemFire Enterprise Developers Guide. Gateway messaging queues.持久化消息隊(duì)列用于HA高可用.這些隊(duì)列通常是溢出隊(duì)列. See Gateway Queue Persistence in the GemFire Enterprise Developers Guide. 你可以在緩存級(jí)別上定義磁盤存儲(chǔ). 每一個(gè)磁盤存儲(chǔ)可供多個(gè)region和隊(duì)列來(lái)使用.,磁盤存儲(chǔ)的使用,每一個(gè)成員都有自己的磁盤存儲(chǔ). 對(duì)于每一個(gè)磁盤存儲(chǔ)來(lái)說(shuō), 你可以定義何時(shí)和怎樣存儲(chǔ)數(shù)據(jù)到磁盤中. 你也能夠?yàn)槎鄠€(gè)region和queue存儲(chǔ)數(shù)據(jù). 下圖顯示了一個(gè)緩存服務(wù)器有region A、B和X。Region A和B使用磁盤存儲(chǔ)D，RegionX和客戶端訂閱隊(duì)列使用磁盤存儲(chǔ)R GemFire寫入磁盤存儲(chǔ)的信息 成員列表、狀態(tài)信息, 例如運(yùn)行、離線和時(shí)間戳 寫入磁盤存儲(chǔ)中的Region列表 對(duì)于每個(gè)region來(lái)說(shuō): Region 加載和容量管理屬性, 在啟動(dòng)時(shí)可快速加載 Region 數(shù)據(jù)操作,磁盤存儲(chǔ)文件名稱和擴(kuò)展,示例,Example files for Disk Stores persistDS1 and overflowDS1 bash-2.05$ ls -tlra persistData1/ total 8 -rw-rw-r- 1 jpearson users 188 Mar 4 06:17 BACKUPpersistDS1.if drwxrwxr-x 2 jpearson users 512 Mar 4 06:17 . -rw-rw-r- 1 jpearson users 0 Mar 4 06:18 BACKUPpersistDS1_1.drf -rw-rw-r- 1 jpearson users 38 Mar 4 06:18 BACKUPpersistDS1_1.crf drwxrwxr-x 8 jpearson users 512 Mar 4 06:20 bash-2.05$ bash-2.05$ ls -ltra overflowData1/ total 1028 drwxrwxr-x 8 jpearson users 512 Mar 4 06:20 -rw-rw-r- 1 jpearson users 0 Mar 4 06:21 DRLK_IFoverflowDS1.lk -rw-rw-r- 1 jpearson users 0 Mar 4 06:21 BACKUPoverflowDS1.if -rw-rw-r- 1 jpearson users 1073741824 Mar 4 06:21 OVERFLOWoverflowDS1_1.crf drwxrwxr-x 2 jpearson users 512 Mar 4 06:21 . Default Disk Store Files for Persistent Region bash-2.05$ ls -tlra total 106 drwxrwxr-x 8 jpearson users 1024 Mar 8 14:51 -rw-rw-r- 1 jpearson users 1010 Mar 8 15:01 defTest.xml drwxrwxr-x 2 jpearson users 512 Mar 8 15:01 backupDirectory -rw-rw-r- 1 jpearson users 0 Mar 8 15:01 DRLK_IFDEFAULT.lk -rw-rw-r- 1 jpearson users 107374183 Mar 8 15:01 BACKUPDEFAULT_1.drf -rw-rw-r- 1 jpearson users 966367641 Mar 8 15:01 BACKUPDEFAULT_1.crf -rw-rw-r- 1 jpearson users 172 Mar 8 15:01 BACKUPDEFAULT.if drwxrwxr-x 3 jpearson users 512 Mar 8 15:01 .,磁盤存儲(chǔ)oplog文件,在創(chuàng)建時(shí), 每一個(gè)oplog文件利用 max-oplog-size初始化，大小在crf 和 drf 文件之間切分. 當(dāng) oplog關(guān)閉時(shí), GemFire 回收未用完的文件空間. 當(dāng)一個(gè)oplog文件用完之后, GemFire 會(huì)自動(dòng)關(guān)閉它，同時(shí)使用下一個(gè)序列號(hào)創(chuàng)建新的log文件. 這個(gè)被稱為oplog滾動(dòng). 你也能夠通過(guò)API強(qiáng)制調(diào)用一個(gè)oplog滾動(dòng)， DiskStore.forceRoll. 在壓縮磁盤存儲(chǔ)之前做這個(gè)操作，將滾動(dòng)到最新的oplog進(jìn)行壓縮. 日志壓縮能夠改變磁盤存儲(chǔ)文件的名稱. 文件序列號(hào)經(jīng)常被替換, 一些現(xiàn)有的日志被刪除或替換成最新的log日志文件. 如果oplog文件已經(jīng)用完, GemFire怎樣處理是否開(kāi)啟自動(dòng)壓縮功能: 如果自動(dòng)壓縮開(kāi)啟, GemFire 在文件目錄中創(chuàng)建一個(gè)新的oplog文件, 如果超過(guò)規(guī)定大小,則記錄一個(gè)告警信息: Even though the configured directory size limit has been exceeded a new oplog will be created. The current limit is of XXX. The current space used in the directory is YYY. 因此當(dāng)自動(dòng)壓縮開(kāi)啟時(shí), dir-size 并不限制磁盤空間的使用. GemFire 將執(zhí)行自動(dòng)壓縮, 來(lái)清空空間, 但是系統(tǒng)可能超過(guò)磁盤的配置限制. 如果自動(dòng)壓縮禁用, GemFire不創(chuàng)建新的oplog文件, 后續(xù)的操作將被阻塞,同時(shí)GemFire 記錄日志錯(cuò)誤: Disk is full and rolling is disabled. No space can be created.,壓縮磁盤存儲(chǔ)log文件,當(dāng)緩存操作被添加到磁盤存儲(chǔ)上時(shí), 任何現(xiàn)存的操作記錄都將淘汰, 同時(shí)GemFire將其標(biāo)記為垃圾. 例如，當(dāng)你創(chuàng)建一個(gè)條目時(shí), 創(chuàng)建操作被添加到存儲(chǔ)上. 如果你更新條目, 更新操作將被添加，同時(shí)創(chuàng)建操作變?yōu)槔涗? GemFire 并不刪除垃圾記錄, 但是在每個(gè)操作日志中，它跟蹤垃圾百分比, 同時(shí)一個(gè)提供刪除垃圾記錄、壓縮日志文件的機(jī)制. GemFire 通過(guò)拷貝所有非垃圾記錄到當(dāng)前日志來(lái)壓縮舊垃圾日志，同時(shí)丟棄舊文件. 當(dāng)記錄日志時(shí), oplogs按需滾動(dòng)，進(jìn)行壓縮。 你可以配置自動(dòng)壓縮任何已關(guān)閉的操作日志，當(dāng)垃圾內(nèi)容達(dá)到一個(gè)特定百分比時(shí)，可人工請(qǐng)求磁盤存儲(chǔ)的壓縮. 對(duì)于在線磁盤存儲(chǔ)，當(dāng)前的操作日志并不進(jìn)行壓縮操作，無(wú)論垃圾的比率是多少.,在線壓縮和離線壓縮,在線壓縮 當(dāng)垃圾超過(guò)了文件配置大小的比率時(shí)，舊 log 文件將進(jìn)行在線壓縮。當(dāng)這個(gè)操作被更新的操作所替代時(shí)，這個(gè)記錄將變成垃圾。在壓縮過(guò)程中，非垃圾記錄被添加到當(dāng)前的日志中，新的緩存操作按順序進(jìn)行排列。 在線壓縮并不阻塞當(dāng)前的系統(tǒng)操作。 Automatic 當(dāng) auto-compact 置為 true時(shí), GemFire自動(dòng)壓縮每一個(gè)oplog，當(dāng)它的壓縮內(nèi)容超過(guò)了 compaction-threshold時(shí)。 自動(dòng)壓縮可能自動(dòng)執(zhí)行壓縮動(dòng)作, 你也可以禁用自動(dòng)壓縮，執(zhí)行人工壓縮，來(lái)節(jié)省時(shí)間和提高性能。 Manual 為了運(yùn)行手動(dòng)壓縮, 設(shè)置 allow-force-compaction 為 true. GemFire將按需進(jìn)行文件壓縮. 缺省情況下它是禁用的. 當(dāng)系統(tǒng)運(yùn)行時(shí)，在任何時(shí)間你都能運(yùn)行手動(dòng)壓縮. Oplogs 基于compaction-threshold 進(jìn)行壓縮，. 用戶可進(jìn)行如下操作: 通過(guò)API為單個(gè)在線存儲(chǔ)進(jìn)行日志壓縮： myCache.getDiskStore(“myDiskStore“).forceCompaction(); 此方法滾動(dòng)oplogs日志，然后進(jìn)行壓縮. gemfire compact-all-disk-stores 使用命令行，在分布式系統(tǒng)中壓縮所有在線磁盤存儲(chǔ)： 保證 gemfire 調(diào)用能夠找到 perties 文件. 離線壓縮 離線壓縮是手動(dòng)壓縮的一種. 所有的日志文件會(huì)盡可能壓縮，而不考慮有多少垃圾存在. 離線壓縮創(chuàng)建了一個(gè)新的日志文件，對(duì)于已經(jīng)壓縮的日志進(jìn)行記錄. 使用下列命令壓縮離線的磁盤存儲(chǔ). gemfire compact-disk-store myDiskStoreName /firstDir /secondDir maxOplogSize=maxMegabytesForOplog 你必須提供磁盤存儲(chǔ)的所有目錄. 如果沒(méi)有指定oplog最大值, GemFire則使用缺省值. 離線壓縮會(huì)消耗大量?jī)?nèi)存. 在運(yùn)行時(shí)，如果報(bào)出內(nèi)存溢出錯(cuò)誤 java.lang.OutOfMemory , 你則需要增加內(nèi)存堆的大小。 離線壓縮和在線壓縮的方式大致相同，但是沒(méi)有壓縮時(shí)的緩存操作。因?yàn)闆](méi)有當(dāng)前的日志文件，壓縮將創(chuàng)建新的日志文件開(kāi)始?jí)嚎s,手動(dòng)壓縮的性能考慮,如果你關(guān)閉了自動(dòng)壓縮，在繁忙時(shí)，你能夠提升性能，同時(shí)運(yùn)行手動(dòng)壓縮，系統(tǒng)負(fù)載更低。 在應(yīng)用執(zhí)行大量的數(shù)據(jù)操作之后，你能通過(guò)調(diào)用API的方式來(lái)執(zhí)行。 在系統(tǒng)使用率低的時(shí)候，可以執(zhí)行 gemfire compactalldiskstores 命令. 為了實(shí)施這個(gè)策略，所需的磁盤空間要足夠大，用來(lái)容納非壓縮磁盤數(shù)據(jù)。通過(guò)系統(tǒng)監(jiān)控來(lái)防止磁盤空間過(guò)量使用. 你可能只運(yùn)行離線壓縮. 因此，需設(shè)置allowforcecompaction為 false ，避免存儲(chǔ)手動(dòng)在線壓縮的所需信息. 目錄大小限制 在壓縮時(shí)，如果已經(jīng)達(dá)到了磁盤目錄大小限制: 對(duì)于自動(dòng)化壓縮, 系統(tǒng)記錄警告, 但是并不停止 對(duì)于手動(dòng)壓縮, 操作停止，同時(shí)返回 DiskAccessException 異常錯(cuò)誤, 記錄系統(tǒng)已經(jīng)超出了磁盤空間的限制,示例,磁盤存儲(chǔ)壓縮 bash-2.05$ ls -ltra backupDirectory total 28 -rw-rw-r- 1 jpearson users 3 Apr 7 14:56 BACKUPds1_3.drf -rw-rw-r- 1 jpearson users 25 Apr 7 14:56 BACKUPds1_3.crf drwxrwxr-x 3 jpearson users 1024 Apr 7 15:02 -rw-rw-r- 1 jpearson users 7085 Apr 7 15:06 BACKUPds1.if -rw-rw-r- 1 jpearson users 18 Apr 7 15:07 BACKUPds1_4.drf -rw-rw-r- 1 jpearson users 1070 Apr 7 15:07 BACKUPds1_4.crf drwxrwxr-x 2 jpearson users 512 Apr 7 15:07 . bash-2.05$ gemfire validate-disk-store ds1 backupDirectory /root: entryCount=6 /partitioned_region entryCount=1 bucketCount=10 Disk store contains 12 compactable records. Total number of region entries in this disk store is: 7 bash-2.05$ gemfire compact-disk-store ds1 backupDirectory Offline compaction removed 12 records. Total number of region entries in this disk store is: 7 bash-2.05$ ls -ltra backupDirectory total 16 -rw-rw-r- 1 jpearson users 3 Apr 7 14:56 BACKUPds1_3.drf -rw-rw-r- 1 jpearson users 25 Apr 7 14:56 BACKUPds1_3.crf drwxrwxr-x 3 jpearson users 1024 Apr 7 15:02 -rw-rw-r- 1 jpearson users 0 Apr 7 15:08 BACKUPds1_5.drf -rw-rw-r- 1 jpearson users 638 Apr 7 15:08 BACKUPds1_5.crf -rw-rw-r- 1 jpearson users 2788 Apr 7 15:08 BACKUPds1.if drwxrwxr-x 2 jpearson users 512 Apr 7 15:09 . bash-2.05$,配置磁盤存儲(chǔ),你可以不用配置任何的磁盤存儲(chǔ)來(lái)保存數(shù)據(jù)條目到磁盤. 這將使用GemFire的缺省磁盤存儲(chǔ). 缺省的名稱為DEFAULT ，同時(shí)在初始化的時(shí)候，使用所有的磁盤存儲(chǔ)設(shè)置都是缺省的.,磁盤存儲(chǔ)API,DiskStoreFactory 用于配置和創(chuàng)建一個(gè)磁盤存儲(chǔ)，同時(shí)使用 DiskStore API 來(lái)管理它. com.g