Windows內(nèi)存管理機(jī)制

Windows2000/XP內(nèi)存管理機(jī)制馮秋 2004-9-27TOC\o"1-1"\h\z\u概述 1地址空間的布局 1地址轉(zhuǎn)換機(jī)制 2用戶空間內(nèi)存分配方式 4系統(tǒng)內(nèi)存分配 5缺頁處理 5工作集 6物理內(nèi)存管理 7其他內(nèi)存相關(guān)機(jī)制 8概述Windows2000/XP內(nèi)存管理器位于Ntoskrnl.exe文件中，硬件抽象層中沒有內(nèi)存管理器的任何部分.內(nèi)存管理器是徹底可重入的,支持多進(jìn)程并發(fā)執(zhí)行。內(nèi)存管理器組成部分:一組執(zhí)行體系統(tǒng)服務(wù)程序：用于虛擬內(nèi)存的分配、回收和管理。一個(gè)轉(zhuǎn)換無效和訪問錯(cuò)誤陷阱處理程序:用于解決硬件檢測(cè)到的內(nèi)存管理異樣，并代表進(jìn)程將虛擬頁面裝入內(nèi)存.運(yùn)行在六個(gè)不同的核心態(tài)系統(tǒng)線程上下文中的幾個(gè)關(guān)鍵組件:16（一個(gè)內(nèi)核創(chuàng)建的系統(tǒng)線程)調(diào)用一次。-—進(jìn)程/23,完成進(jìn)程和內(nèi)核線程堆棧的換入和換出操作。17，將修改鏈表上的臟頁寫回到適當(dāng)?shù)捻撐募?——映射頁面寫入器:17，將映射文件中臟頁寫回磁盤。18，負(fù)責(zé)系統(tǒng)高速緩存和頁面文件的擴(kuò)大和縮小。0，將空閑鏈表中的頁面清零。地址空間的布局Win32環(huán)境下，324GB的虛擬內(nèi)存。默認(rèn)情況下，將一半（2GB）分配給用戶進(jìn)程，另一半（2GB）分配給操作系統(tǒng)。Windows2000/XPAdvancedServer版本和Windows2000/XPDataCenter版本支持一個(gè)引導(dǎo)選項(xiàng)Boot.ini/3GB標(biāo)識(shí)激活，允許用戶擁有3GB地址空間，留1GB給操作系統(tǒng)。對(duì)待要訪問整個(gè)3GB地址空間的進(jìn)程，進(jìn)程映像文件必需在映像頭設(shè)置IMAGE—FILE-LARGE—ADDRESS—AWARE3個(gè)GB經(jīng)過指定鏈接標(biāo)識(shí)/LARGEADDRESSAWARE相鏈接,3GB用戶方式地址空間。2GBWindows2000/XP用戶地址空間分布—-NULL指針分配的分區(qū)：0x0～0xFFFF——進(jìn)程私有地址空間：0x10000～0x7FFEFFFF—-64KB拒絕訪問區(qū)域:0x7FFF0000~0x7FFFFFFF,阻止線程跨過用戶/系統(tǒng)邊界傳送緩沖區(qū)。Windows2000/XP用戶地址空間系統(tǒng)變量—-MmHighestUserAddres（對(duì)待x862GB用戶空間為0x7FFEFFF）——MmUserProbeAddress：描述最高用戶地址＋1性能計(jì)數(shù)器：Windows2000/XP中可利用性能計(jì)數(shù)器得到系統(tǒng)虛擬內(nèi)存的使用信息,和單個(gè)進(jìn)程地址空間的使用情況.x86系統(tǒng)地址空間分布——0x80000000～0x9FFFFFFF：引導(dǎo)系統(tǒng)（Ntoskrnl.exe和Hal.dll）和非分頁緩沖池初始部分的系統(tǒng)代碼。——0xA0000000~0xA3FFFFFF:系統(tǒng)映射視圖（Win32k。sys）或者會(huì)話空間。——0xA4000000～0xBFFFFFFF:附加系統(tǒng)頁表項(xiàng)(PTE）或附加系統(tǒng)高速緩存.—-0xC0000000～0xC03FFFFF：進(jìn)程頁表和頁名目，描述虛擬地址映射的結(jié)構(gòu).--0xC0400000～0xC07FFFFF:超空間和進(jìn)程工作集列表。——0xC0800000~0xC0BFFFFF：未使用區(qū)域，不行訪問.—-0xC0C00000～0xC0FFFFFF：系統(tǒng)工作集鏈表，描述系統(tǒng)工作集的工作集鏈表數(shù)據(jù)結(jié)構(gòu)。—-0xC1000000~0xE0FFFFFF：系統(tǒng)高速緩存，用來映射在系統(tǒng)高速緩存中打開的文件的虛擬空間.——0xE1000000～0xEAFFFFFF:分頁緩沖池，可分頁系統(tǒng)內(nèi)存堆.——0xEB000000~0xFFBDFFFF：系統(tǒng)頁表項(xiàng)和非分頁緩沖池。--0xFFBE0000～0xFFFFFFFF：系統(tǒng)性故障轉(zhuǎn)儲(chǔ)信息和硬件抽象層（HAL）使用區(qū)域。會(huì)話空間：用來映射一個(gè)用戶的會(huì)話信息?！M(jìn)程創(chuàng)建時(shí)，會(huì)將會(huì)話空間映射到屬于該進(jìn)程會(huì)話的頁面。-—會(huì)話是由進(jìn)程和其他系統(tǒng)對(duì)象組成,每個(gè)會(huì)話有私有的GUI數(shù)據(jù)結(jié)構(gòu)，以及Win32子系統(tǒng)進(jìn)程（Csrss。exe)和登錄進(jìn)程(Winlogon。exe）的拷貝?！獣?huì)話管理器進(jìn)程(Smss。exe）負(fù)責(zé)創(chuàng)建新的會(huì)話。地址轉(zhuǎn)換機(jī)制用戶應(yīng)用程序以32位虛擬地址方式編址，每個(gè)虛擬地址與一個(gè)稱作“頁表項(xiàng)的結(jié)構(gòu)有關(guān)，它包含了虛擬地址映射的物理地址。虛擬地址變換x86系統(tǒng)利用二級(jí)頁表結(jié)構(gòu)實(shí)現(xiàn)虛擬地址向物理地址的變換。x8632（10bi(10bi字節(jié)索引（12bit)。虛擬地址變換的根本步驟:——內(nèi)存管理的硬件設(shè)備定位當(dāng)前進(jìn)程的頁名目；——頁名目索引指出頁名目項(xiàng)在頁名目中的位置虛擬地址所需頁表的位置；——頁表索引指出頁表項(xiàng)在頁表中的位置置；--當(dāng)頁表項(xiàng)指向的頁面有效時(shí)，字節(jié)索引指明物理頁內(nèi)所需數(shù)據(jù)的地址；若所指頁面無效，則交由內(nèi)存管理器的故障處理程序處理.頁名目,其物理地址被保存在核心進(jìn)程（KPROCESS)塊中。進(jìn)程切換時(shí)，操作系統(tǒng)設(shè)置一個(gè)專用的CPU寄存器來通知硬件設(shè)備新進(jìn)程頁名目所在地址.頁名目是由頁名目項(xiàng)（PDE）組成，每個(gè)頁名目項(xiàng)4字節(jié)。x864GB虛擬1024張頁表,10位。進(jìn)程頁表與系統(tǒng)頁表進(jìn)程頁表是每個(gè)進(jìn)程私有的，而系統(tǒng)頁表被所有進(jìn)程共享.當(dāng)進(jìn)程創(chuàng)建時(shí)，系統(tǒng)空間的頁名目項(xiàng)初始化為指向現(xiàn)存的系統(tǒng)頁表，但各個(gè)進(jìn)程的系統(tǒng)空間不徹底相同。當(dāng)系統(tǒng)頁表更新時(shí)，內(nèi)存管理器不會(huì)立刻更新所有進(jìn)程頁名目，而是當(dāng)進(jìn)程訪問新的虛擬地址時(shí)才更新進(jìn)程頁名目.性能監(jiān)視器中的空閑系統(tǒng)頁表項(xiàng)計(jì)數(shù)器表示了可用系統(tǒng)頁表項(xiàng)的數(shù)目，也可在HKLM\SYSTEM\CurrentControlSet\Control\SessionManager\MemoryManagement\SystemPages中設(shè)置需要的頁表項(xiàng)數(shù)量。頁表項(xiàng)有效的頁表項(xiàng)有兩個(gè)主要的域：(1）包含數(shù)據(jù)的物理頁面的頁框號(hào)，或內(nèi)存中某頁面的物理地址的頁框號(hào);(2）一些描述頁的狀態(tài)和保護(hù)限制的標(biāo)志位?！?訪問位：某頁首次被讀寫時(shí),置為“1”--修改位：某頁首次被寫時(shí),置為“1”—-0時(shí),1時(shí)，對(duì)應(yīng)頁可讀寫——多處理器的x86經(jīng)被一個(gè)運(yùn)行在多個(gè)處理器上的線程寫入。x86中（非PAE系統(tǒng)，映射4GB地址空間需要1024張頁表，每個(gè)頁表含1024410bit。快表TLBx86提供了關(guān)聯(lián)存儲(chǔ)器數(shù)組形式的高速緩存,稱為快表。它是一個(gè)向量，其存儲(chǔ)單元能被同時(shí)讀取并與目標(biāo)值比較。對(duì)應(yīng)頁的保護(hù)類型和狀態(tài)。將常用的虛擬地址記錄在快表項(xiàng)中，削減了對(duì)內(nèi)存的訪問，加快了虛擬地址到物理地址的變換。.當(dāng)一個(gè)頁表項(xiàng)由無效變?yōu)橛行r(shí)，內(nèi)存管理器會(huì)調(diào)用內(nèi)核例程將新頁表項(xiàng)裝入快表，x86中，裝入快表不需要軟件干預(yù)。用戶空間內(nèi)存分配方式首先介紹兩個(gè)與內(nèi)存分配相關(guān)的數(shù)據(jù)結(jié)構(gòu)（虛擬地址描述符和區(qū)域?qū)ο蠓N管理應(yīng)用程序內(nèi)存的方式。虛擬地址描述符（VAD）,用來描述進(jìn)程地址空間狀態(tài)。當(dāng)進(jìn)程保留地址空間,VAD來保存分配請(qǐng)求所,需找到一個(gè)包含被訪問地址的VAD,利用所得信息填充頁表項(xiàng)。區(qū)域?qū)ο髤^(qū)域?qū)ο笤赪in32中也稱文件映射對(duì)象，表示能夠被兩個(gè)或多個(gè)進(jìn)程共享的內(nèi)存塊，也可被映射到頁文件或外存文件。主要作用--將可執(zhí)行映像裝入內(nèi)存-—訪問高速緩存文件中的數(shù)據(jù)——將文件映射到進(jìn)程地址空間，不必進(jìn)行文件I/O32位指針組成:指向數(shù)據(jù)控制區(qū)域的指針、指向共享的高速緩存映射的指針、指向映像控制區(qū)域的指針。CreatFileMapping函數(shù)能夠創(chuàng)建區(qū)域?qū)ο?；OpenFileMapping打開出名字的區(qū)域;可經(jīng)過句柄繼承或句柄復(fù)制訪問區(qū)域?qū)ο?；設(shè)備驅(qū)動(dòng)程序可使用ZwOpenSection，ZwMapViewOfSection,ZwUnmapOfSection函數(shù)操縱區(qū)域?qū)ο蟆Ｒ皂摓閱挝坏奶摂M內(nèi)存分配方式適宜于大型對(duì)象或結(jié)構(gòu)數(shù)組Win32VirtualAlloc和VirtualAllocEx函數(shù)實(shí)現(xiàn)的.應(yīng)用程序能夠同時(shí)進(jìn)行保留和提交,也能夠先保留地址空間，當(dāng)需要時(shí)再向地址空間提交物理頁面,這樣能夠削減內(nèi)存的使用。VirtualFree或VirtualFreeEx函數(shù)用來回收頁面或釋放地址空間.回收的內(nèi)存仍然被保留，而釋放的內(nèi)存是空閑的。內(nèi)存映射文件適宜于大型數(shù)據(jù)流文件以及多個(gè)進(jìn)程之間的數(shù)據(jù)共享內(nèi)存映射文件用來保留一個(gè)地址區(qū)域，并將磁盤文件提交給該區(qū)域，用于3個(gè)目的-—加載和執(zhí)行。exe和.dll文件，可節(jié)省應(yīng)用程序啟動(dòng)所需時(shí)間——訪問磁盤數(shù)據(jù)文件，削減文件I/O——實(shí)現(xiàn)多個(gè)進(jìn)程間的數(shù)據(jù)共享利用區(qū)域?qū)ο髮?shí)現(xiàn)這些功能,由于區(qū)域?qū)ο竽軌蜴溄拥酱蜷_的磁盤文件（映射文件)，或已提交的內(nèi)存（提供共享內(nèi)存）.進(jìn)程要訪問格外大的區(qū)域?qū)ο驧apViewOfFile函數(shù)映射區(qū)域?qū)ο蟮囊徊糠?區(qū)域視圖）,并指定映射范圍。堆功能內(nèi)存堆的應(yīng)用程序內(nèi)存管理方式適宜于大量的小型內(nèi)存申請(qǐng)堆管理器用來分配和回收可變內(nèi)存，其函數(shù)位于Ntdll.dll和Ntoskrnl。exe中。進(jìn)程啟動(dòng)時(shí)有一個(gè)缺省堆，通常為 1MB，它在進(jìn)程生命周期中不能被釋放;而HeapCreat函數(shù)創(chuàng)建的私有堆能夠用HeapDestroy來釋放.從缺省堆中分配內(nèi)存時(shí)，先調(diào)用GetProcessHeap函數(shù)得到句柄,再調(diào)用HeapAllocHeapFree來分配和回收內(nèi)存塊.系統(tǒng)內(nèi)存分配系統(tǒng)初始化時(shí)，創(chuàng)建了兩種動(dòng)態(tài)大小的內(nèi)存緩沖池來分配系統(tǒng)內(nèi)存，ExAllocatePool函數(shù)可從緩沖池中分配和回收內(nèi)存：—-非分頁緩沖池：由長(zhǎng)駐物理內(nèi)存的系統(tǒng)虛擬地址區(qū)域組成.—-分頁緩沖池：系統(tǒng)空間中能夠被分頁和換出的虛擬內(nèi)存區(qū)域。;4頁緩沖池在非分頁緩沖池已漫且不允許分配失敗時(shí)使用。35個(gè)/HKLM\SYSTEM\CurrentControlSet\Control\SessionManager\MemoryManagement的NonpagedPoolSize和PagedPoolSize值轉(zhuǎn)變緩沖池大小.快速內(nèi)存分配機(jī)制—-后備鏈表：僅包含固定長(zhǎng)度的塊，因此不必查找適宜分配大小的空閑內(nèi)存。ExInitializeNpagedLookasideList和ExInitializePagedLookasideList函數(shù)依據(jù)頻繁分配的數(shù)據(jù)結(jié)構(gòu)大小創(chuàng)建后備鏈表.缺頁處理對(duì)無效頁面的一次訪問稱為缺頁錯(cuò)誤，由內(nèi)存管理故障處理程序解決.四個(gè)根本類型的無效頁表項(xiàng)頁文件：所需頁沒有駐留在內(nèi)存,而是駐留在頁文件中，并引發(fā)頁面調(diào)入操作.請(qǐng)求零頁:所需頁是零頁面,此時(shí)會(huì)給進(jìn)程工作集添加一個(gè)由零初始化的頁。轉(zhuǎn)換:所需頁面在內(nèi)存中的后備鏈表、修改鏈表或修改尚未寫入鏈表。此時(shí)從鏈表中刪除此頁,并添加到工作集。未知：頁表項(xiàng)為0，或頁表不存在。此時(shí)需檢查VAD以確定虛擬地址是否被提交。一個(gè)特例——原型頁表項(xiàng)區(qū)域?qū)ο蟮谝淮伪粍?chuàng)建時(shí),同時(shí)創(chuàng)建原型頁表項(xiàng)，它用于實(shí)現(xiàn)頁面共享。當(dāng)共享頁面為有效時(shí)，進(jìn)程頁表項(xiàng)和原型頁表項(xiàng)都指向包含數(shù)據(jù)的物理頁。當(dāng)共享頁面無效時(shí)，進(jìn)程頁表項(xiàng)指向原型頁表項(xiàng),而原型頁表項(xiàng)描述被訪問的頁面的狀態(tài)（活動(dòng)/有效、轉(zhuǎn)換、修改尚未寫入、請(qǐng)求零頁、頁文件、映射文件6種）頁面調(diào)入I/O（頁或映射文件)I/O。頁面調(diào)入I/O操作是同步的，線程會(huì)一直等待I/O完成.當(dāng)進(jìn)行調(diào)頁I/O,I/O結(jié)束時(shí)頁面調(diào)度程序必需識(shí)別如下情況：沖突頁錯(cuò)誤、頁面從虛擬地址空間中被刪除、頁面保護(hù)限制發(fā)生變化、原型頁表項(xiàng)引發(fā)錯(cuò)誤。沖突頁錯(cuò)誤頁錯(cuò)誤。頁面調(diào)度程序檢測(cè)到?jīng)_突頁錯(cuò)誤時(shí),會(huì)對(duì)頁框號(hào)數(shù)據(jù)庫項(xiàng)中的特定事件發(fā)出等待操I/O頁文件虛擬存儲(chǔ)器在磁盤上的部分稱為頁文件.內(nèi)存＝物理內(nèi)存＋頁文件。性能計(jì)數(shù)器能夠檢查被提交的進(jìn)程私有內(nèi)存使用情況私有內(nèi)存中有多少常駐內(nèi)存，多少在頁文件中.Windows2000/XP16個(gè)頁文件。系統(tǒng)啟動(dòng)時(shí)，會(huì)話管理器進(jìn)程讀取頁文件鏈表，并檢查HKLM\SYSTEM\CurrentControlSet\Control\SessionManager\MemoryManagement\PagingFiles20MB頁文件。系統(tǒng)運(yùn)行期間不能刪除打開的頁文件。系統(tǒng)進(jìn)程為每個(gè)頁文件都維持一個(gè)打開的句柄，Ntdll.dllNtCreatePagingfile系統(tǒng)服務(wù)程序可增加一個(gè)新頁文件。工作集工作集即在物理內(nèi)存中保持的虛擬頁面的子集，分進(jìn)程工作集和系統(tǒng)工作集。頁面調(diào)度策略取頁策略:內(nèi)存管理器利用請(qǐng)求式頁面調(diào)度算法及簇方式將頁面裝入內(nèi)存斷時(shí)，將出錯(cuò)頁面和它附近的一些頁面裝入內(nèi)存,這樣可削減讀取外存的次數(shù).置頁策略:中放置虛擬頁面的最佳位置.存中刪去來為新的頁面騰出空間。多處理器系統(tǒng)中,采納局部先進(jìn)先出(FIFO)策略，而單處理器系統(tǒng)中，采納最近最久未使用（LRU）替換策略.工作集管理系統(tǒng)初始時(shí)，所有進(jìn)程缺省的工作集最大最小值相同。有“增大調(diào)度優(yōu)先級(jí)”權(quán)限的進(jìn)程可用SetProcessWorkingSet函數(shù)來更改缺省值，但不能超過內(nèi) 核變量MmMaximumWorkingSetSize中的最大值.當(dāng)物理內(nèi)存變得很低時(shí)，工作集管理器自動(dòng)修剪工作集,以增加可用空閑內(nèi)存數(shù)量。有一系列內(nèi)核控制變量描述工作集擴(kuò)展和修剪，但這些值是確定的，不能被注冊(cè)值調(diào)整。平衡集管理器和交換程序衡集管理器線程環(huán)境下的一個(gè)例程.平衡集管理器等待兩個(gè)事件對(duì)象——1秒周期計(jì)時(shí)器到期后產(chǎn)生事件，并經(jīng)歷以下4步平衡集管理器每被喚醒4次就喚醒交換程序；檢查后備鏈表，必要時(shí)調(diào)整其深度；查找處于CPU饑餓狀態(tài)而需提升其優(yōu)先級(jí)的線程；調(diào)用工作集管理器?！獌?nèi)部工作集管理器事件，即工作集需要調(diào)整時(shí)交換程序:即KeSwapProcessOrStack例程，用來查找一段時(shí)間內(nèi)一直處于等待狀態(tài)的線程,將其內(nèi)核堆棧轉(zhuǎn)移以收回物理內(nèi)存。系統(tǒng)工作集5高速緩存頁面；分頁緩沖池;Ntoskrnl。exe中可分頁的代碼和數(shù)據(jù);設(shè)備驅(qū)動(dòng)程序中可分頁的代碼和數(shù)據(jù)；系統(tǒng)映射視圖。系統(tǒng)工作集最大最小值是在系統(tǒng)初始化時(shí)計(jì)算的,基于物理內(nèi)存數(shù)量和系統(tǒng)是professionalserver。物理內(nèi)存管理頁框號(hào)數(shù)據(jù)庫用來描述物理內(nèi)存中各頁面的狀態(tài),有效頁表項(xiàng)指向頁框號(hào)數(shù)據(jù)庫中的項(xiàng)，頁框號(hào)數(shù)據(jù)庫項(xiàng)又指回此頁表。原型頁框號(hào)指回原型頁表項(xiàng)。頁面可處于活動(dòng)、過渡、后備、修改、修改不寫入、空閑、零初始化和損壞不行用8種狀態(tài)，除活動(dòng)和過渡之外,6種組成了鏈表。動(dòng)態(tài)頁鏈表一頁并零初始化，若也為空，則從后備鏈表中選取一頁并零初始化.-—零頁鏈表是由零頁線程（優(yōu)先級(jí)為0）從空閑鏈表中移過來的,當(dāng)空閑鏈表中有88個(gè)以上頁時(shí)激活零頁線程。當(dāng)不需要零初始化頁面時(shí)，首先訪問空閑鏈表，若為空,則訪問后備鏈表.當(dāng)進(jìn)程放棄一個(gè)頁面時(shí)，假若頁面未修改過,則加入后備鏈表；假若修改過,則加入修改鏈表。束時(shí)，頁面加入空閑鏈表。當(dāng)修改頁鏈表太大,或零初始化和后備鏈表的大小低于最小值時(shí)，喚醒“修改頁面寫回器"線程，將頁面寫回外存，并將頁面移入后備鏈表。修改頁面寫回器由兩個(gè)系統(tǒng)線程組成，優(yōu)先級(jí)都為17-—MiModifiedPageWriter：將修改頁寫回頁文件——MiMappedPageWriter：將修改頁寫入映射文件觸發(fā)修改頁面寫回器的事件——修改頁面數(shù)量大于內(nèi)核變量MmModifiedPageMaximum指定值——可利用頁數(shù)量小于內(nèi)核變量MmMinimumFreePages指定值——MiMappedPagesTooOldEvent事件：該事件在預(yù)定的數(shù)秒后（缺省為300秒，可用注冊(cè)值修改）產(chǎn)生,將映射頁面寫入外存若頁面寫入外存時(shí)正在被另一線程共享，則I/O完成后不會(huì)將此頁移入后備鏈表。頁框號(hào)數(shù)據(jù)結(jié)構(gòu)頁框號(hào)數(shù)據(jù)庫項(xiàng)是定長(zhǎng)的,不同頁框號(hào)類型，包含的域也不同（參見圖4－28）幾個(gè)根本的域—-頁表項(xiàng)地址：指向此頁頁表項(xiàng)的虛擬地址——訪問計(jì)數(shù)：對(duì)此頁的訪問數(shù)量——類型：該頁框號(hào)表示的頁面狀態(tài)（8種)-—標(biāo)識(shí)：包含修改狀態(tài)、原型頁表項(xiàng)、奇偶校驗(yàn)錯(cuò)誤、正在讀取或?qū)懭氲刃畔ⅰ！跏柬摫眄?xiàng)的內(nèi)容--頁表項(xiàng)的頁框號(hào):指向該頁面頁表項(xiàng)的頁表頁的物理頁號(hào)其他內(nèi)存相關(guān)機(jī)制鎖內(nèi)存能夠經(jīng)過兩種方式將頁面鎖在內(nèi)存中-—設(shè)備驅(qū)動(dòng)程序調(diào)用核心態(tài)函數(shù)MmProbeAndLockPages，MmLockPagableCodeSect