優(yōu)化AIX7內(nèi)存性能第一部分內(nèi)存概述和內(nèi)存參數(shù)的調(diào)優(yōu)

1、譽天 cisco / linux認證社區(qū) aix 7 內(nèi)存性能第 1 部分內(nèi)存概述和內(nèi)存參數(shù)的調(diào)優(yōu)簡介作為系統(tǒng)管理員， 您應該已經(jīng)對內(nèi)存的基本知識非常熟悉了，如物理內(nèi)存和虛擬內(nèi)存之間的區(qū)別。您可能還不很清楚 aix? 7 中的虛擬內(nèi)存管理器（vmm）是如何工作的，以及它與性能調(diào)優(yōu)之間的關系如何。在 aix 7 中，還有必要考慮虛擬內(nèi)存的影響以及在工作負載分區(qū) （wpar）中如何使用和應用它。 本文將介紹一些可以用來優(yōu)化系統(tǒng)的監(jiān)視工具，概述一些比較重要的 aix 7 內(nèi)存管理功能，包括虛擬內(nèi)存管理器是如何工作的以及動態(tài)可變的頁面大小的影響。通過將這些增強功能的實現(xiàn)應用于系統(tǒng)環(huán)境，可以在系統(tǒng)中優(yōu)化

2、內(nèi)存性能。 盡管您可能會發(fā)現(xiàn)， 與其他子系統(tǒng)相比， 內(nèi)存的調(diào)優(yōu)更為困難， 但是收到的效果往往更加顯著。 根據(jù)所運行的系統(tǒng)的類型， 可能還有一些應該在系統(tǒng)中采用的特定的調(diào)優(yōu)建議。為了幫助說明這些內(nèi)容，我將使用一個特定的示例并討論設置這些參數(shù)的一些最佳實踐。在某些情況下，動態(tài)地調(diào)整一兩個參數(shù)可能會使系統(tǒng)的總體性能產(chǎn)生顯著的變化。無論要對哪個子系統(tǒng)進行調(diào)優(yōu)， 有一個方面是相同的， 即始終應該將系統(tǒng)調(diào)優(yōu)看作一個正在進行的過程。開始對系統(tǒng)進行監(jiān)視的最佳時間是在首次將系統(tǒng)應用到生產(chǎn)環(huán)境中并正常運行時 （而不是等到用戶抱怨系統(tǒng)性能非常糟糕的時候）。必須在系統(tǒng)正常運行的時候建立系統(tǒng)運行狀態(tài)的基準， 這樣在系統(tǒng)

3、可能不正常時才能確認是否真的有問題。另外，應該一次僅進行一項更改， 應該在更改之后盡快捕捉并分析數(shù)據(jù)，以便判斷更改的影響（如果有影響的話）。 內(nèi)存概述本節(jié)概述與 aix 7 有關的內(nèi)存知識。我們將介紹 aix 7 如何使用虛擬內(nèi)存來尋址比系統(tǒng)物理內(nèi)存更大的內(nèi)存。還將解釋 vmm 的工作方式以及它如何處理各種請求。 任何有關內(nèi)存和 aix 7 的討論都必須先介紹 vmm 。 有時候，令 aix 新手感到吃驚的是 vmm 處理系統(tǒng)的所有內(nèi)存請求，而不僅僅是虛擬內(nèi)存本身。在訪問 ram 時，vmm 需要分配空間，即使是在系統(tǒng)中有足夠的物理內(nèi)存的情況下。它實現(xiàn)分頁空間的預分配過程。通過使用這種方法，

4、vmm 在幫助管理實際內(nèi)存方面扮演了重要的角色，而不僅是在虛擬內(nèi)存方面。 下面說明它的工作原理。 在 aix 7 中，將所有的虛擬內(nèi)存段劃分為若干個頁面。在 aix 7 中，每個頁面的默認大小為 4kb， 但是可以根據(jù)使用的處理器環(huán)境在不同的范圍內(nèi)調(diào)整。 power5+ 或更高版本的處理器也可以使用 64kb 、16mb 和 16gb 的頁面大小。 power4 架構也可以支持 16mb 的頁面大小。16mb 的頁面稱為大頁面， 16gb 稱為超大頁面， 它們用于內(nèi)存需求非常大的應用程序。 在 power6 中， 引入了可變頁面大小支持 （vpss ），這意味著當應用程序需要更大的內(nèi)存塊時，系

5、統(tǒng)將使用更大的頁面。 可以在 os 中同時使用不同的頁面大小，不同的應用程序使用不同的頁面大小。另外，可以動態(tài)地改變頁面大小，這會收集 4kb 頁面以形武漢譽天. 獨家授權cisco / rhce 培訓 譽天 cisco / linux認證社區(qū) 64kb 的頁面。 這讓應用程序能夠訪問更大的內(nèi)存塊，而不是許多小內(nèi)存塊， 從而提高性能。 頁面大小可以動態(tài)地從 4kb 改為 64kb 。 可以使用 vmo 調(diào)優(yōu)工具管理 vpss 的調(diào)優(yōu)。 所分配的頁面可以位于 ram 或者分頁空間（存儲在磁盤上的虛擬內(nèi)存）。 vmm 還維護一個稱為空閑列表 的對象，此對象定義為未分配的頁幀。它們用于處理缺頁的情況

6、。通常存在非常少的未分配頁面 （可以自行配置） ，vmm 使用這些頁面來騰出空間并為其重新分配頁幀。使用 vmm 的頁面置換算法來選擇要重新分配頁幀的虛擬內(nèi)存頁面。這種分頁算法決定對當前位于 ram 中的哪些虛擬內(nèi)存頁面的頁幀進行回收，并放回到空閑列表中。 aix 7 使用所有可用的內(nèi)存， 除了那些配置為未分配并用作空閑列表的內(nèi)存之外。 要重申的是，vmm 的目的是管理 ram 和虛擬頁面的分配。由此可以看出，它的目標是幫助最大限度地縮短缺頁響應時間，并在可能的情況下減少虛擬內(nèi)存的使用。由于要在 ram 和分頁空間之間進行選擇，在 ram 可用的情況下，大多數(shù)人顯然都更希望使用物理內(nèi)存。vmm

7、 還將虛擬內(nèi)存段劃分為兩個不同的類別。它們是使用計算內(nèi)存的工作段和使用文件內(nèi)存的持久段。 了解這兩個類別之間的區(qū)別是非常重要的，因為這有助于實現(xiàn)系統(tǒng)的最優(yōu)化。 計算內(nèi)存當進程對計算信息進行實際處理時，將使用計算內(nèi)存。 這些工作段是臨時的 （暫時的），當進程終止或者頁面被偷取時， 這些工作段將不復存在。 它們沒有對應的持久磁盤存儲位置。在許多情況下， 當一個進程終止時， 會釋放其物理內(nèi)存和分頁空間。在監(jiān)視系統(tǒng)的過程中， 當可用頁面數(shù)量出現(xiàn)較大的峰值時，可以發(fā)現(xiàn)這種情況。 當空閑的物理內(nèi)存較少時，可以將最近沒有使用過的程序從 ram 轉移到分頁空間，以幫助釋放物理內(nèi)存，從而完成更多的實際工作。 文

8、件內(nèi)存與計算內(nèi)存不同， 文件內(nèi)存使用持久段并在磁盤上有持久存儲位置。數(shù)據(jù)文件或者可執(zhí)行程序通常都映射到持久段，而不是工作段。數(shù)據(jù)文件可以與文件系統(tǒng)相關，如 jfs、jfs2 或 nfs 。它們一直都位于內(nèi)存中，直到文件被卸載、頁面被偷取或者取消到文件的鏈接。在將數(shù)據(jù)文件復制到 ram 中之后，vmm 控制何時對這些頁面進行覆蓋或者使用它們存儲其他數(shù)據(jù)。在可以選擇的情況下，大多數(shù)人更希望將文件內(nèi)存換出到磁盤，而不是換出計算內(nèi)存。 當進程引用磁盤上的某個頁面時， 必須將其換入，這可能會導致將其他頁面換出。 vmm 一直在后臺運行， 嘗試使用前面介紹的頁面置換算法偷取最近沒有引用過的頁幀。它還幫助檢

9、測系統(tǒng)顛簸， 當內(nèi)存量非常低并且不斷地換入和換出頁面以支持處理時，可能會出現(xiàn)系統(tǒng)顛簸。vmm 實際上采用一種內(nèi)存負載控制算法，它可以檢測系統(tǒng)是否出現(xiàn)顛簸并嘗試解決這種情況。 如果不加以處理， 系統(tǒng)顛簸可能會導致系統(tǒng)停滯，因為內(nèi)核過分地關注于為頁面騰出空間，而不是完成任何有實際意義的工作。 活動內(nèi)存擴展武漢譽天. 獨家授權cisco / rhce 培訓 譽天 cisco / linux認證社區(qū) 7 還可以利用 power7 cpu 提供活動內(nèi)存擴展（ame ）。 ame 壓縮內(nèi)存中的數(shù)據(jù)， 這樣就可以在內(nèi)存中保存更多的數(shù)據(jù)，還可以減少在裝載數(shù)據(jù)時換出到磁盤的頁面數(shù)量。 ame 的配置針對各個 l

10、par ， 因此可以為數(shù)據(jù)庫分區(qū)啟用它，以便在內(nèi)存中保存更多從磁盤讀取的數(shù)據(jù)，同時對 web 服務器禁用它 （對于 web 服務器，存儲在內(nèi)存中的信息經(jīng)常要換出）。 為了避免壓縮所有信息， 內(nèi)存劃分為兩個池， 一個壓縮的池和一個不壓縮的池。 aix 7 會根據(jù)邏輯分區(qū)的工作負載和配置自動地調(diào)整這兩個池的大小。用壓縮率定義壓縮量， 例如如果分配給 lpar 的內(nèi)存量是 2048mb ，可以指定壓縮率為 2.0 ，那么有效的內(nèi)存容量就是 4096mb 。 因為不同的應用程序和環(huán)境能夠采用不同的壓縮率（例如，使用大量文本的應用程序可以受益于比較高的壓縮率） ，可以使用 amepat 命令進行監(jiān)視，判

11、斷對于給定的工作負載可能實現(xiàn)的壓縮率。 在運行正常應用程序的同時， 在后臺以一定的時間間隔 （以分鐘為單位）運行 amepat 一定的次數(shù)。這會提供在 lpar 中使用的壓縮率的建議。 在 清單 1 中可以看到一個示例。清單 1. 獲取活動內(nèi)存擴展統(tǒng)計數(shù)據(jù)command invoked : amepat 1 1 date/time of invocation : fri aug 13 11:43:45 cdt 2010 total monitored time : 1 mins 5 secs total samples collected : 1 system configuration: -

12、 partition name : l488pp065_pub processor implementation mode : power7 number of logical cpus : 4 processor entitled capacity : 0.25 processor max. capacity : 1.00 true memory : 2.00 gb smt threads : 4 shared processor mode : enabled-uncapped active memory sharing : disabled active memory expansion

13、: disabled system resource statistics: current - - cpu util (phys. processors) 0.04 4% 武漢譽天. 獨家授權cisco / rhce 培訓 譽天 cisco / linux認證社區(qū) memory size (mb) 1628 79% true memory in-use (mb) 1895 93% pinned memory (mb) 1285 63% file cache size (mb) 243 12% available memory (mb) 337 16% active memory expans

14、ion modeled statistics : - modeled expanded memory size : 2.00 gb achievable compression ratio :2.10 expansion modeled true modeled cpu usage factor memory size memory gain estimate - - - - 1.00 2.00 gb 0.00 kb 0% 0.00 0% 1.14 1.75 gb 256.00 mb 14% 0.00 0% active memory expansion recommendation: - t

15、he recommended ame configuration for this workload is to configure the lparwith a memory size of 1.75 gb and to configure a memory expansion factor of 1.14. this will result in a memory gain of 14%. with this configuration, the estimated cpu usage due to ame is approximately 0.00 physical processors

16、, and the estimated overall peak cpu resource required forthe lpar is 0.04 physical processors. note: amepats recommendations are based on the workloads utilization levelduring the monitored period. if there is a change in the workloads utilizationlevel or a change in workload itself, amepat should

17、be run again. amepat 報告的活動內(nèi)存擴展 cpu 使用量只是估計值。根據(jù)工作負載不同， ame 實際的 cpu 使用量可能更低或更高。 可以使用 svmon 工具監(jiān)視 lpar 中當前的壓縮情況，見 清單 2 。 清單 2. 使用 svmon 獲取壓縮統(tǒng)計數(shù)據(jù)# svmon -g -o summary=longame,unit=mb unit: mb active memory expansion - size inuse free dxmsz ucminuse cminuse tmsz tmfr 1024.00 607.91 142.82 274.96 388.56 21

18、9.35 512.00 17.4 武漢譽天. 獨家授權cisco / rhce 培訓 譽天 cisco / linux認證社區(qū) cpfr txf cxf cr 106.07 18.7 2.00 1.46 2.50 在這里，dxmsz 欄非常重要， 它表示擴展內(nèi)存的赤字。 當無法達到指定的壓縮率， 系統(tǒng)開始使用無法通過壓縮節(jié)省出的內(nèi)存時，就會出現(xiàn)赤字。 因此，應該注意不要指定過高的壓縮率。 ame 的另一個重要問題是，vmstat 等大多數(shù)工具顯示的內(nèi)存大小通常是擴展內(nèi)存的大小（即配置的內(nèi)存乘以壓縮率），而不是實際內(nèi)存大小。 要想查明在不壓縮的情況下可用的實際內(nèi)存，應該在不同工具的輸出中尋找真實

19、內(nèi)存大小。 回頁首調(diào)優(yōu)我們來研究一些可以用來調(diào)優(yōu) vmm 以優(yōu)化系統(tǒng)性能的工具。下面是一個環(huán)境示例，我們要在其中使用某種方法進行參數(shù)調(diào)優(yōu)。我要介紹一些需要注意的關鍵參數(shù)。 在 aix 7 中，由 vmo 工具負責 vmm 系統(tǒng)的可調(diào)參數(shù)的所有配置。它替代 aix 5 中的 vmtune 工具。 更改頁面大小可以最直接地提高性能，這是因為 translation lookaside buffer (tlb) 現(xiàn)在可以映射到更大的虛擬內(nèi)存范圍，從而提高 tlb 的命中率。例如，對于高性能計算（hpc ）或 oracle ? 數(shù)據(jù)庫，無論是在線事務處理（oltp ）還是數(shù)據(jù)倉庫應用程序，都可以受益于

20、大頁面的使用。 這是因為 oracle 使用大量的虛擬內(nèi)存，特別是對于其系統(tǒng)全局區(qū)域（sga ），這個區(qū)域用于緩存表數(shù)據(jù)和其他東西。 清單 3 中的命令分配 16777216 字節(jié)以提供 128 個大頁面。 清單 3. 分配字節(jié)# vmo -r -o lgpg_size=16777216 lgpg_regions=128 如果希望與 hpc 和數(shù)據(jù)庫應用程序中常用的共享內(nèi)存結合使用大頁面，還需要設置 v_pnshm 值：# vmo -p -o v_pinshm=1 。 最重要的 vmo 設置是 minperm 和 maxperm 。將這些參數(shù)設置為適合自己系統(tǒng)的值，以確保針對計算內(nèi)存或者文件內(nèi)

21、存進行優(yōu)化。在大多數(shù)情況下， 并不希望換出工作段， 因為這樣做會導致系統(tǒng)進行不必要的頁面換出，會降低性能。 以前，它的工作方式非常簡單：如果文件頁面數(shù)量（numperm%）大于 maxperm% ，那么頁面置換過程僅偷取文件頁武漢譽天. 獨家授權cisco / rhce 培訓 譽天 cisco / linux認證社區(qū) minperm 時， 可以偷取文件頁面和計算頁面。如果它的值介于兩者之間，那么僅偷取文件頁面， 除非重新分頁的文件頁面的數(shù)量大于計算頁面。還有另一種考慮方法，如果 numperm 大于 maxperm ，就開始偷取持久的存儲?；谶@種原理，以前調(diào)整 minperm 和 maxpe

22、rm 參數(shù)的方法是，將 maxperm 設置為小于 20，將 minperm 設置為小于等于 10。通常使用這種方法來優(yōu)化數(shù)據(jù)庫服務器。 現(xiàn)在調(diào)優(yōu)方法完全不一樣了。新的方法將 maxperm 設置為一個比較高的值（例如，大于 80）， 并確保將 lru_file_repage 參數(shù)設置為 0。lru_file_repage 是在帶 ml4 的 aix version 5.2 和 aix version 5.3 的 ml1 中首次引入的。這個參數(shù)表示是否應該考慮 vmm 重分頁計數(shù)，以及它應該偷取什么類型的內(nèi)存。默認設置為 1，所以需要更改它。當將這個參數(shù)設置為 0 時， 它告訴 vmm 希望僅

23、偷取文件頁面， 而不是計算頁面。如果 numperm 小于 minperm 或者大于 maxperm ，那么情況會發(fā)生變化， 這正是希望將 maxperm 設置得較高而將 minperm 設置得較低的原因。我們不要忘記一個事實：對這些值進行調(diào)優(yōu)的主要原因是希望保護計算內(nèi)存?；氐角懊娴氖纠?oracle 使用它自己的緩存，同時使用 aix 7 文件緩存只會產(chǎn)生混亂，所以希望停止它。在這個場景中，如果降低 maxperm ，那么會錯誤地停止正在運行的應用程序緩存程序。 清單 4 設置這些關鍵的調(diào)優(yōu)參數(shù)。 清單 4. 設置調(diào)優(yōu)參數(shù)vmo -p -o minperm%=5 vmo -p -o max

24、perm%=90 vmo -p -o maxclient%=90 盡管您已經(jīng)習慣于更改這些參數(shù)，但是現(xiàn)在只需保持 strict_maxperm 和 strict_maxclient 的默認值即可。如果將 strict_maxperm 改為 1，那么它將對可用于持久文件緩存的內(nèi)存量設置硬限制。 通過將 maxperm 值作為緩存的上限實現(xiàn)這一點?，F(xiàn)在，沒有必要這樣做，因為并不希望使用 aix 7 文件緩存，所以更改 lru_file_repage 參數(shù)是更有效的調(diào)優(yōu)方法。 還有兩個重要的參數(shù)需要注意，它們是 minfree 和 maxfree。如果空閑列表中的頁面數(shù)降低到低于 minfree 參

25、數(shù)， 那么 vmm 開始偷取頁面 （僅僅是為了把頁面添加到空閑列表中），這樣做并不好。 它將繼續(xù)進行這種操作， 直到空閑列表至少包含 maxfree 參數(shù)中指定的頁面數(shù)。 在較早版本的 aix 中，當 minfree 設置為默認值 120 時， 常常會看到空閑列表為 120 或者更低，這會導致進行不必要的分頁； 更糟糕的是，這會阻塞那些需要空閑幀的線程，因為這個值設置得過低了。 為了解決這個問題， 在 aix version 5.3 中，將 minfree 和 maxfree 的默認值分別提高到了 960 和 1088。如果正在運行 aix version 5.2 或者更低的版本，建議采用下面

26、的設置，可以使用 清單 5 中的命令手動更改。 武漢譽天. 獨家授權cisco / rhce 培訓 譽天 cisco / linux認證社區(qū) 5. 手動設置minfree和maxfree參數(shù)vmo -p -o minfree=960 vmo -p -o maxfree=1088 配置可變頁面大小支持vpss 通過使用默認的 4kb 頁面大小起作用。假設給應用程序分配了 16 個 4kb 的塊，當前所有的塊都在使用， 那么它們被提升為一個 64kb 的塊。重復執(zhí)行這個過程， 處理應用程序正在使用的連續(xù) 16 個 4kb 塊的所有序列。 兩個可配置參數(shù)控制 vpss 的運行方式。第一個參數(shù)啟用多種

27、頁面大小支持。通過 vmo 配置的 vmm_support 可調(diào)項設置 vpss 的運行方式。0 值表示只支持 4kb 和 16mb 的頁面大小。1 值允許 vmm 使用處理器支持的所有頁面大小。2 值允許 vmm 對每個段使用多種頁面大小，這是所有全新安裝的默認設置。 在啟用多種頁面大小支持的情況下，vmm_default_pspa 參數(shù)控制提升為 64kb 頁面需要多少個連續(xù)的 4kb 頁面。 一些應用程序（尤其是使用大量內(nèi)存的應用程序） 使用 64kb 頁面大小可能性能更好，即使它們不使用完整的 64kb 頁面。 在這種情況下，可以使用 vmm_default_pspa 參數(shù)指定提升需要

28、的 4kb 頁面數(shù)小于 16 個，表示為百分數(shù)形式。 默認值 0 表示需要 16 個頁面。50 表示只需要 8 個頁面。 0 值表示把所有 4kb 頁面提升為 64kb 頁面。 回頁首結束語 如前所述，在對 aix 7 進行優(yōu)化或監(jiān)視之前，必須建立一個基準。在進行調(diào)優(yōu)之后，必須捕捉數(shù)據(jù)并分析更改的結果。如果沒有這類信息， 就無法真正了解調(diào)優(yōu)工作的實際效果。在本系列的第 1 部分中， 我們討論了使用 vmm 提升系統(tǒng)內(nèi)存容量的效果。還對一個 oracle 系統(tǒng)進行了調(diào)優(yōu)以優(yōu)化內(nèi)存子系統(tǒng)的使用。研究了一些重要的內(nèi)核參數(shù)、它們的作用以及如何對它們進行調(diào)優(yōu)，包括如何最適當?shù)厥褂每勺冺撁娲笮≈С帧?第

29、2 部分重點關注系統(tǒng)監(jiān)視的細節(jié)，以確定內(nèi)存瓶頸并分析趨勢和結果。第 3 部分重點關注分頁空間和對 vmm 進行調(diào)優(yōu)以盡可能提高性能的其他方法。 參考資料 學習武漢譽天. 獨家授權cisco / rhce 培訓 譽天 cisco / linux認證社區(qū) memory affinity support： 通過ibm system p ? and aix 信息中心了解關于 aix 內(nèi)存的更多信息。?ibm redbooks ： “database performance tuning on aix ” 幫助系統(tǒng)設計人員、系統(tǒng)管理員和數(shù)據(jù)庫管理員設計、規(guī)劃、實現(xiàn)、維護、監(jiān)視和優(yōu)化 aix 上的 rel

30、ational database management system (rdmbs) ，從而實現(xiàn)最佳性能。?power to the people（developerworks，2004 年 5 月） ：閱讀這篇文章，以了解 ibm 在芯片制造方面的歷史。?aix 中的處理器關聯(lián)（developerworks，2006 年 11 月） ：使用進程關聯(lián)設置對線程進行綁定或取消綁定，這有助于找到麻煩的掛起或死鎖問題的原因。通過閱讀這篇文章了解如何使用處理器關聯(lián)對進程進行限制，讓進程只在指定的 cpu 上運行。?cpu monitoring and tuning （2002 年 3 月） ：了解如何使用標準的 aix 工具幫助判斷cpu 瓶頸。?operating system and device management：ibm 的這份文檔向用戶和系統(tǒng)管理員提供全面的系統(tǒng)管理和設備管理信息，可以幫助您在執(zhí)行各種任務時選擇適當?shù)倪x項，比如系統(tǒng)備份和恢復系統(tǒng)、管理物理和邏輯存儲以及調(diào)整分頁空間。?nmon 性能：分析 aix 和 linux? 性能的免費工具（developerworks，2006 年 2 月） ：這個免費工具可以在一個屏幕上提供大量的信息。?nmon analyser 生成 aix