GemFire數(shù)據(jù)存儲.pptx

GemFire 數(shù)據(jù)存儲,GemFire 中國社區(qū)發(fā)起人 楊旭鈞(微信號：theseusyang),數(shù)據(jù)存儲,數(shù)據(jù)存儲可用于如下的緩存類型: Cached regions. 從緩存region中持久化/溢出數(shù)據(jù)。See Using Disk for Backup and Overflow in the GemFire Enterprise Developers Guide. Servers client subscription queues. 溢出訂閱消息隊(duì)列來維持內(nèi)存利用率. See Overflowing the Client Queue to Disk in the GemFire Enterprise Developers Guide. Gateway messaging queues.持久化消息隊(duì)列用于HA高可用.這些隊(duì)列通常是溢出隊(duì)列. See Gateway Queue Persistence in the GemFire Enterprise Developers Guide. 你可以在緩存級別上定義磁盤存儲. 每一個(gè)磁盤存儲可供多個(gè)region和隊(duì)列來使用.,磁盤存儲的使用,每一個(gè)成員都有自己的磁盤存儲. 對于每一個(gè)磁盤存儲來說, 你可以定義何時(shí)和怎樣存儲數(shù)據(jù)到磁盤中. 你也能夠?yàn)槎鄠€(gè)region和queue存儲數(shù)據(jù). 下圖顯示了一個(gè)緩存服務(wù)器有region A、B和X。Region A和B使用磁盤存儲D，RegionX和客戶端訂閱隊(duì)列使用磁盤存儲R GemFire寫入磁盤存儲的信息 成員列表、狀態(tài)信息, 例如運(yùn)行、離線和時(shí)間戳 寫入磁盤存儲中的Region列表 對于每個(gè)region來說: Region 加載和容量管理屬性, 在啟動時(shí)可快速加載 Region 數(shù)據(jù)操作,磁盤存儲文件名稱和擴(kuò)展,示例,Example files for Disk Stores persistDS1 and overflowDS1 bash-2.05$ ls -tlra persistData1/ total 8 -rw-rw-r- 1 jpearson users 188 Mar 4 06:17 BACKUPpersistDS1.if drwxrwxr-x 2 jpearson users 512 Mar 4 06:17 . -rw-rw-r- 1 jpearson users 0 Mar 4 06:18 BACKUPpersistDS1_1.drf -rw-rw-r- 1 jpearson users 38 Mar 4 06:18 BACKUPpersistDS1_1.crf drwxrwxr-x 8 jpearson users 512 Mar 4 06:20 bash-2.05$ bash-2.05$ ls -ltra overflowData1/ total 1028 drwxrwxr-x 8 jpearson users 512 Mar 4 06:20 -rw-rw-r- 1 jpearson users 0 Mar 4 06:21 DRLK_IFoverflowDS1.lk -rw-rw-r- 1 jpearson users 0 Mar 4 06:21 BACKUPoverflowDS1.if -rw-rw-r- 1 jpearson users 1073741824 Mar 4 06:21 OVERFLOWoverflowDS1_1.crf drwxrwxr-x 2 jpearson users 512 Mar 4 06:21 . Default Disk Store Files for Persistent Region bash-2.05$ ls -tlra total 106 drwxrwxr-x 8 jpearson users 1024 Mar 8 14:51 -rw-rw-r- 1 jpearson users 1010 Mar 8 15:01 defTest.xml drwxrwxr-x 2 jpearson users 512 Mar 8 15:01 backupDirectory -rw-rw-r- 1 jpearson users 0 Mar 8 15:01 DRLK_IFDEFAULT.lk -rw-rw-r- 1 jpearson users 107374183 Mar 8 15:01 BACKUPDEFAULT_1.drf -rw-rw-r- 1 jpearson users 966367641 Mar 8 15:01 BACKUPDEFAULT_1.crf -rw-rw-r- 1 jpearson users 172 Mar 8 15:01 BACKUPDEFAULT.if drwxrwxr-x 3 jpearson users 512 Mar 8 15:01 .,磁盤存儲oplog文件,在創(chuàng)建時(shí), 每一個(gè)oplog文件利用 max-oplog-size初始化，大小在crf 和 drf 文件之間切分. 當(dāng) oplog關(guān)閉時(shí), GemFire 回收未用完的文件空間. 當(dāng)一個(gè)oplog文件用完之后, GemFire 會自動關(guān)閉它，同時(shí)使用下一個(gè)序列號創(chuàng)建新的log文件. 這個(gè)被稱為oplog滾動. 你也能夠通過API強(qiáng)制調(diào)用一個(gè)oplog滾動， DiskStore.forceRoll. 在壓縮磁盤存儲之前做這個(gè)操作，將滾動到最新的oplog進(jìn)行壓縮. 日志壓縮能夠改變磁盤存儲文件的名稱. 文件序列號經(jīng)常被替換, 一些現(xiàn)有的日志被刪除或替換成最新的log日志文件. 如果oplog文件已經(jīng)用完, GemFire怎樣處理是否開啟自動壓縮功能: 如果自動壓縮開啟, GemFire 在文件目錄中創(chuàng)建一個(gè)新的oplog文件, 如果超過規(guī)定大小,則記錄一個(gè)告警信息: Even though the configured directory size limit has been exceeded a new oplog will be created. The current limit is of XXX. The current space used in the directory is YYY. 因此當(dāng)自動壓縮開啟時(shí), dir-size 并不限制磁盤空間的使用. GemFire 將執(zhí)行自動壓縮, 來清空空間, 但是系統(tǒng)可能超過磁盤的配置限制. 如果自動壓縮禁用, GemFire不創(chuàng)建新的oplog文件, 后續(xù)的操作將被阻塞,同時(shí)GemFire 記錄日志錯(cuò)誤: Disk is full and rolling is disabled. No space can be created.,壓縮磁盤存儲log文件,當(dāng)緩存操作被添加到磁盤存儲上時(shí), 任何現(xiàn)存的操作記錄都將淘汰, 同時(shí)GemFire將其標(biāo)記為垃圾. 例如，當(dāng)你創(chuàng)建一個(gè)條目時(shí), 創(chuàng)建操作被添加到存儲上. 如果你更新條目, 更新操作將被添加，同時(shí)創(chuàng)建操作變?yōu)槔涗? GemFire 并不刪除垃圾記錄, 但是在每個(gè)操作日志中，它跟蹤垃圾百分比, 同時(shí)一個(gè)提供刪除垃圾記錄、壓縮日志文件的機(jī)制. GemFire 通過拷貝所有非垃圾記錄到當(dāng)前日志來壓縮舊垃圾日志，同時(shí)丟棄舊文件. 當(dāng)記錄日志時(shí), oplogs按需滾動，進(jìn)行壓縮。 你可以配置自動壓縮任何已關(guān)閉的操作日志，當(dāng)垃圾內(nèi)容達(dá)到一個(gè)特定百分比時(shí)，可人工請求磁盤存儲的壓縮. 對于在線磁盤存儲，當(dāng)前的操作日志并不進(jìn)行壓縮操作，無論垃圾的比率是多少.,在線壓縮和離線壓縮,在線壓縮 當(dāng)垃圾超過了文件配置大小的比率時(shí)，舊 log 文件將進(jìn)行在線壓縮。當(dāng)這個(gè)操作被更新的操作所替代時(shí)，這個(gè)記錄將變成垃圾。在壓縮過程中，非垃圾記錄被添加到當(dāng)前的日志中，新的緩存操作按順序進(jìn)行排列。 在線壓縮并不阻塞當(dāng)前的系統(tǒng)操作。 Automatic 當(dāng) auto-compact 置為 true時(shí), GemFire自動壓縮每一個(gè)oplog，當(dāng)它的壓縮內(nèi)容超過了 compaction-threshold時(shí)。 自動壓縮可能自動執(zhí)行壓縮動作, 你也可以禁用自動壓縮，執(zhí)行人工壓縮，來節(jié)省時(shí)間和提高性能。 Manual 為了運(yùn)行手動壓縮, 設(shè)置 allow-force-compaction 為 true. GemFire將按需進(jìn)行文件壓縮. 缺省情況下它是禁用的. 當(dāng)系統(tǒng)運(yùn)行時(shí)，在任何時(shí)間你都能運(yùn)行手動壓縮. Oplogs 基于compaction-threshold 進(jìn)行壓縮，. 用戶可進(jìn)行如下操作: 通過API為單個(gè)在線存儲進(jìn)行日志壓縮： myCache.getDiskStore(“myDiskStore“).forceCompaction(); 此方法滾動oplogs日志，然后進(jìn)行壓縮. gemfire compact-all-disk-stores 使用命令行，在分布式系統(tǒng)中壓縮所有在線磁盤存儲： 保證 gemfire 調(diào)用能夠找到 perties 文件. 離線壓縮 離線壓縮是手動壓縮的一種. 所有的日志文件會盡可能壓縮，而不考慮有多少垃圾存在. 離線壓縮創(chuàng)建了一個(gè)新的日志文件，對于已經(jīng)壓縮的日志進(jìn)行記錄. 使用下列命令壓縮離線的磁盤存儲. gemfire compact-disk-store myDiskStoreName /firstDir /secondDir maxOplogSize=maxMegabytesForOplog 你必須提供磁盤存儲的所有目錄. 如果沒有指定oplog最大值, GemFire則使用缺省值. 離線壓縮會消耗大量內(nèi)存. 在運(yùn)行時(shí)，如果報(bào)出內(nèi)存溢出錯(cuò)誤 java.lang.OutOfMemory , 你則需要增加內(nèi)存堆的大小。 離線壓縮和在線壓縮的方式大致相同，但是沒有壓縮時(shí)的緩存操作。因?yàn)闆]有當(dāng)前的日志文件，壓縮將創(chuàng)建新的日志文件開始壓縮,手動壓縮的性能考慮,如果你關(guān)閉了自動壓縮，在繁忙時(shí)，你能夠提升性能，同時(shí)運(yùn)行手動壓縮，系統(tǒng)負(fù)載更低。 在應(yīng)用執(zhí)行大量的數(shù)據(jù)操作之后，你能通過調(diào)用API的方式來執(zhí)行。 在系統(tǒng)使用率低的時(shí)候，可以執(zhí)行 gemfire compactalldiskstores 命令. 為了實(shí)施這個(gè)策略，所需的磁盤空間要足夠大，用來容納非壓縮磁盤數(shù)據(jù)。通過系統(tǒng)監(jiān)控來防止磁盤空間過量使用. 你可能只運(yùn)行離線壓縮. 因此，需設(shè)置allowforcecompaction為 false ，避免存儲手動在線壓縮的所需信息. 目錄大小限制 在壓縮時(shí)，如果已經(jīng)達(dá)到了磁盤目錄大小限制: 對于自動化壓縮, 系統(tǒng)記錄警告, 但是并不停止 對于手動壓縮, 操作停止，同時(shí)返回 DiskAccessException 異常錯(cuò)誤, 記錄系統(tǒng)已經(jīng)超出了磁盤空間的限制,示例,磁盤存儲壓縮 bash-2.05$ ls -ltra backupDirectory total 28 -rw-rw-r- 1 jpearson users 3 Apr 7 14:56 BACKUPds1_3.drf -rw-rw-r- 1 jpearson users 25 Apr 7 14:56 BACKUPds1_3.crf drwxrwxr-x 3 jpearson users 1024 Apr 7 15:02 -rw-rw-r- 1 jpearson users 7085 Apr 7 15:06 BACKUPds1.if -rw-rw-r- 1 jpearson users 18 Apr 7 15:07 BACKUPds1_4.drf -rw-rw-r- 1 jpearson users 1070 Apr 7 15:07 BACKUPds1_4.crf drwxrwxr-x 2 jpearson users 512 Apr 7 15:07 . bash-2.05$ gemfire validate-disk-store ds1 backupDirectory /root: entryCount=6 /partitioned_region entryCount=1 bucketCount=10 Disk store contains 12 compactable records. Total number of region entries in this disk store is: 7 bash-2.05$ gemfire compact-disk-store ds1 backupDirectory Offline compaction removed 12 records. Total number of region entries in this disk store is: 7 bash-2.05$ ls -ltra backupDirectory total 16 -rw-rw-r- 1 jpearson users 3 Apr 7 14:56 BACKUPds1_3.drf -rw-rw-r- 1 jpearson users 25 Apr 7 14:56 BACKUPds1_3.crf drwxrwxr-x 3 jpearson users 1024 Apr 7 15:02 -rw-rw-r- 1 jpearson users 0 Apr 7 15:08 BACKUPds1_5.drf -rw-rw-r- 1 jpearson users 638 Apr 7 15:08 BACKUPds1_5.crf -rw-rw-r- 1 jpearson users 2788 Apr 7 15:08 BACKUPds1.if drwxrwxr-x 2 jpearson users 512 Apr 7 15:09 . bash-2.05$,配置磁盤存儲,你可以不用配置任何的磁盤存儲來保存數(shù)據(jù)條目到磁盤. 這將使用GemFire的缺省磁盤存儲. 缺省的名稱為DEFAULT ，同時(shí)在初始化的時(shí)候，使用所有的磁盤存儲設(shè)置都是缺省的.,磁盤存儲API,DiskStoreFactory 用于配置和創(chuàng)建一個(gè)磁盤存儲，同時(shí)使用 DiskStore API 來管理它. com.g