版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、Inspur groupVMware虛擬化技術培訓2008-12-252培訓目標培訓目標清楚虛擬化概念和VMware虛擬化產品特點了解VMware虛擬化產品的技術特性會簡單安裝配置虛擬機了解VMware高級特性及實現(xiàn)原理,為進一步掌握打下基礎3內容內容概述 1、什么是虛擬化 2、VMWARE公司及VI產品介紹ESX技術內幕部署虛擬機資源管理高級特性4一種讓IT系統(tǒng)組合、優(yōu)化共享資源,自動滿足業(yè)務需求的解決方案業(yè)務信息技術(IT)供給需求 什么是虛擬化?什么是虛擬化? 5Virtualize IT虛擬化類型虛擬化類型虛擬化就是將底層硬件的功能抽象化虛擬化就是將底層硬件的功能抽象化在不同層面實現(xiàn)在
2、不同層面實現(xiàn)存儲網(wǎng)絡服務器/操作系統(tǒng)應用系統(tǒng)6管理成本管理成本IT和用戶生產效率和用戶生產效率硬件更新硬件更新/舊的應用遷移舊的應用遷移我如何簡化日常工作我如何簡化日常工作?當前當前IT所面臨的挑戰(zhàn):所面臨的挑戰(zhàn):“用更少的資源干出更多的活用更少的資源干出更多的活”員工員工維護維護開發(fā)開發(fā)資源利用率低下資源利用率低下電力、冷卻和機房空間有限電力、冷卻和機房空間有限計劃內和計劃外停機時間越計劃內和計劃外停機時間越來越少來越少我如何提高利用率?我如何提高利用率?系統(tǒng)系統(tǒng)利用率利用率100%0%開發(fā)和部署周期開發(fā)和部署周期有限的有限的IT資源資源 各種不同的業(yè)務需求各種不同的業(yè)務需求我如何有效地擴展
3、?我如何有效地擴展?靈活性靈活性業(yè)務需求業(yè)務需求IT響應響應時間時間Growth7為什么要虛擬化?為什么要虛擬化?周五我們就需要一臺Web服務器!今晚你就要為我升級內存!停下你手里的所有活計,馬上修復網(wǎng)絡!服務器到貨需要3個星期?!我覺得你現(xiàn)在就應該把這件事做好!你曾經(jīng)許諾今天就給我添加一臺服務器!8為什么要虛擬化?為什么要虛擬化?服務器蔓延:特別是一個操作系統(tǒng)運行一個應用的情況支持過時操作系統(tǒng)和應用整合沒有服務水準(SLA)定義的應用/或者提高服務水準解決機房環(huán)境問題:散熱、電力、冷卻和占地面積提高整個計算平臺的平均利用率讓災難恢復系統(tǒng)不再遠離x86平臺降低支持老舊服務器和應用的成本簡化平臺
4、和基礎架構提高數(shù)據(jù)中心的靈活性:快速部署,智能、動態(tài)資源調配提高安全性9那些應用環(huán)境需要虛擬化?那些應用環(huán)境需要虛擬化?v 測試測試/開發(fā)環(huán)境開發(fā)環(huán)境v 老舊的老舊的NT服務器和應用服務器和應用v 文件和打印服務器文件和打印服務器v 服務器資源利用率不高的服務器資源利用率不高的Web和應用服務器和應用服務器v 郵件郵件/即時消息服務器即時消息服務器v 防火墻服務器防火墻服務器v 數(shù)據(jù)庫服務器數(shù)據(jù)庫服務器 10VMware 公司一覽公司一覽成立時間成立時間員工總數(shù)員工總數(shù)用戶數(shù)用戶數(shù)關鍵合作伙伴關系關鍵合作伙伴關系渠道合作伙伴數(shù)渠道合作伙伴數(shù)客戶概要信息客戶概要信息運營結構運營結構1998約約3
5、,000EMC 的獨立子公司(的獨立子公司( 2003年被收購年被收購)超過超過 400 萬萬3,000+AMD、Dell、HP、IBM、Intel5萬個企業(yè)客戶,其中萬個企業(yè)客戶,其中財富財富 100 強強中的中的 100 家公司家公司11VMware的使命的使命將工業(yè)標準服務器和桌面計算環(huán)境轉化為虛擬計算環(huán)境12虛擬機特征:虛擬機特征: 分區(qū) 隔離 封裝 獨立于硬件13什么是什么是VMware Infrastructure 3 (VI3) VMware Infrastructure 3 是一個功能豐富的套件,它提供創(chuàng)建快速響應數(shù)據(jù)中心所需的效率、可用性和動態(tài)管理功能,并且這些功能是經(jīng)過生產
6、驗證的 其中包括VMware ESX Server 3.5和VirtualCenter 2.5 浪潮銷售產品版本為ESX 3.5 U2 和VirtualCenter 2.5 U3 2008年12月底NF295D2出廠全部預裝ESX Server 3i 14VMware Infrastructure 3產品包括VI3VI3基礎版基礎版VI3VI3標準版標準版VI3VI3企業(yè)版企業(yè)版(以前稱為“入門版”)適用于小型企業(yè)或分公司的虛擬化適用于任何工作負載的高可用性基礎架構虛擬化套件適用于動態(tài)數(shù)據(jù)中心的企業(yè)級基礎架構虛擬化套件ESX 或或 ESX i VMFS Virtual SMP 是是是Virtu
7、alCenter Agent是是是Consolidated Backup是是是Update Manager是是是VMware HA是是VMotion是Storage VMotion是VMware DRS是VirtualCenter Server1、作為獨立許可產品提供。 2、按每臺服務器授予許可權且獨立于 VMware Infrastructure 3 版本。3、Consolidated Backup、 Update Manager、VMware HA、VMotion、 Storage VMotion、 VMware DRS等產品基于 VirtualCenter Server。ESX Serv
8、er 3i是VMware的企業(yè)級免費虛擬基礎架構軟件,它具有ESX 3 的全部功能,不同的是它只有32MB大小,而ESX Server 3至少要2GB空間,且3i沒有服務器控制臺。一臺集成了ESX Server 3i的服務器,可直接部署在虛擬化環(huán)境,通過Virtual Center對其進行管理。 15名詞解釋名詞解釋VMotion:遷移,以零停機時間遷移虛擬機,將正在運行的虛擬機從一臺物理服務器移動至另一臺物理服務器,而不影響最終用戶。也可以冷遷移,冷遷移可以改變數(shù)據(jù)存儲的位置。DRS(Distributed Resource Scheduler ):Vmware 分布式資源調度程序(DRS)
9、跨聚合到邏輯資源池中的硬件資源集合來動態(tài)地分配和平衡計算容量。 HA:當服務器發(fā)生故障時,受影響的虛擬機將在群集中留有備用容量的其他主機上自動重啟。 Consolidated Backup:一個集中式備份工具,該工具可利用集中式代理服務器并可降低 VMware ESX 生產主機上的負載。Update Manager:進行自動修補和更新,從而簡化對虛擬基礎架構的管理,也可以對選定的 Windows 和 Linux 虛擬機進行升級。 16ESX3i與與ESX3.5的區(qū)別的區(qū)別2022-4-14Inspur group服務控制臺服務控制臺API/SDKVirtualCenterESX 3iAPI/S
10、DKVirtualCenter遠程遠程 CLI(腳本編制)(腳本編制)CIM(硬件管理)(硬件管理)VI ClientVI ClientESX Server 3本地管理遠程管理ESX Server 3i是VMware的企業(yè)級免費虛擬基礎架構軟件,它具有ESX 3 的全部功能,不同的是它只有32MB大小,而ESX Server 3至少要2GB空間,且3i沒有服務器控制臺。一臺集成了ESX Server 3i的服務器,可直接部署在虛擬化環(huán)境,通過Virtual Center對其進行管理。 17內容內容概述 1、什么是虛擬化 2、VMWARE公司及VI產品介紹ESX技術內幕部署虛擬機資源管理高級特性
11、18ESX技術內幕技術內幕ESX服務器體系結構兼容性檢查VirtualCenter 用戶界面虛擬SMP 軟件許可模式管理框架19ESX服務器內幕服務器內幕 什么讓ESX服務器如此強大? 是是VMKernel而不是而不是Linux 20ESX服務器的體系結構服務器的體系結構21VMM:虛擬機監(jiān)控器:虛擬機監(jiān)控器22CPU管理管理 要虛擬化處理器,虛擬機監(jiān)控器(VMM)將VMkernel從Ring 0置換到Ring 1新型的新型的Intel和和AMD CPU將會改善這種結構將會改善這種結構VMkernel123OS 內核內核0用戶應用用戶應用VMkernel動態(tài)地安排虛擬機和服務控制臺使用處理器動
12、態(tài)地安排虛擬機和服務控制臺使用處理器的時間片的時間片 按比例分配共享CPU的時間片 使用基于NUMA技術的內存和進程管理 支持多核、超線程,包括對SMP虛擬機進行動態(tài)伸縮23周期性的負載均衡調節(jié)器周期性的負載均衡調節(jié)器在CPU之間調節(jié)負載在CPU之間移動虛擬機以保證負載均衡在SMP環(huán)境中避免單一CPU被過度使用調度管理指定哪臺虛擬機應該在哪個CPU上運行每20毫秒檢查所有CPU一次虛擬機可以在不同時候運行在不同CPU上取決于CPU負載和虛擬機遷移情況VMKernelSchedulerMemory Mgmt.Periodic Load Balancer24VMware虛擬虛擬SMP是VI3標準版
13、和企業(yè)版的一部分允許單個虛擬機占用2到4個物理CPU好處:增強虛擬機的性能在虛擬機上運行計算密集型應用測試開發(fā)的應用系統(tǒng)在多處理器系統(tǒng)上的表現(xiàn)與多核以及超線程處理器兼容25內存管理內存管理 內存過量使用技術增強了利用率將配置好的虛擬機內存整合,可以安全地超越物理內存容量運行虛擬機內存漂移技術(Ballooning)動態(tài)地將不活躍虛擬機當中的內存轉移到活躍虛擬機當中使用人為壓縮不活躍虛擬機中的內存,強迫他們使用自己的磁盤交換區(qū)域,將實際內存提供給活躍的虛擬機使用透明頁共享技術節(jié)省了內存眾多虛擬機相同的內存頁只保留一份VMkernel將內存內容置換到磁盤是最后一種手段透明內存頁面共享透明內存頁面共
14、享內存漂移內存漂移26網(wǎng)絡管理網(wǎng)絡管理 虛擬交換機是一個物理802.3以太網(wǎng)交換機的軟件模擬缺省端口數(shù)量是24目前的最大限制是1016虛擬交換機可以連接一個或者多個物理網(wǎng)卡每臺虛擬機最多可以設置4個虛擬網(wǎng)卡,每個網(wǎng)卡都有自己的MAC地址通過配置,虛擬交換機可以發(fā)送接收具有VLAN標示的數(shù)據(jù)包27存儲管理存儲管理 表現(xiàn)為表現(xiàn)為SCSI磁盤磁盤 LSI或或者者 BusLogic SCSI控制器控制器 (最多最多4*15)虛擬磁盤可以映射到:虛擬磁盤可以映射到:本地磁盤的虛擬磁盤文件在SAN中的虛擬磁盤文件在SAN中的裸LUN一個SCSI裸設備VMkernel包含包含TCP/IP協(xié)協(xié)議棧議棧可用于訪
15、問iSCSI和NAS設備28虛擬機文件系統(tǒng)虛擬機文件系統(tǒng) (VMFS) VMFS為虛擬機訪問高性能磁盤所優(yōu)化的簡捷、快速的數(shù)據(jù)存儲結構VMFS卷用來存儲虛擬磁盤、VMkernel的交換文件、休眠的狀態(tài)文件、重做日志,以及VirtualCenter的虛擬機模版采用大數(shù)據(jù)塊存儲結構優(yōu)化虛擬機性能支持大的分區(qū)(達2TB)VMFS有兩個專門為在SAN環(huán)境中存儲虛擬機而設計的特別屬性VMFS是一個可多主機訪問的文件系統(tǒng):是一個可多主機訪問的文件系統(tǒng):卷實現(xiàn)了文件鎖機制,使得它在SAN環(huán)境中可以被多臺ESX服務器訪問VMFS只對系統(tǒng)性能有微弱的影響:只對系統(tǒng)性能有微弱的影響:從虛擬機發(fā)出的SCSI命令可直
16、接發(fā)送到物理設備上29裸設備映射裸設備映射(RDM) q 物理兼容模式物理兼容模式 SAN快照軟件快照軟件 SAN復制軟件復制軟件 SAN管理軟件管理軟件q 虛擬兼容模式虛擬兼容模式 虛擬機快照虛擬機快照 虛擬機群集虛擬機群集 30多路徑多路徑 - Multipathing可配置延遲的自動化故障切換任意時刻有一條活動路徑連接到任意LUN通過改變狀態(tài),可以激活或者禁止某個故障切換路徑2個故障切換策略MRU 最近使用過的 (缺省策略)繼續(xù)使用上一次活動的路徑Fixed 首選路徑 當首選路徑可用時,切換到該路徑可以為每一個LUN設置首選和活動路徑FC SwitchStorageSP1SP2ESX S
17、erverHBAHBAFC Switch31存儲技術比較存儲技術比較技術協(xié)議傳輸接口性能Fiber Channel(SAN)FC/SCSI數(shù)據(jù)塊方式訪問數(shù)據(jù)塊方式訪問 數(shù)據(jù)數(shù)據(jù)/LUNFC HBA高高 (由于采用專用網(wǎng)由于采用專用網(wǎng)絡絡)iSCSIIP/SCSI據(jù)塊方式訪問據(jù)塊方式訪問 數(shù)據(jù)數(shù)據(jù)/LUNiSCSI HBA中中 (取決于取決于LAN網(wǎng)絡網(wǎng)絡的設計整合的設計整合)NASIP/NFS文件文件(不直接訪不直接訪問問LUN)NIC and IP 交換機交換機中中(取決于取決于LAN網(wǎng)絡網(wǎng)絡的設計整合的設計整合)Fiber OpticsFiber ChannelSCSILAN Hardwa
18、reIPNFS/SMBLAN HardwareIPSCSISANiSCSINAS32SAN組成部分組成部分33iSCSI組成部分組成部分FC SwitchESX ServeriSCSI HBAESX ServerNICiSCSI StorageSPIP網(wǎng)絡網(wǎng)絡SCSI TargetSCSI InitiatorIQN iSCSI Qualified Name; a unique ID for initiators and targetsSoftware initiator34NAS組成部分組成部分FC SwitchESX ServerNFS ServerNICIP NetworkNAS devi
19、ceVirtual Switch with IP storage Port/pubDirectory for ESX ServerVirtual SwitchNIC35存儲技術功能比較存儲技術功能比較類型啟動虛擬機啟動ESX 服務器VMotionVMFSRDM虛擬機集群HA / DRSFCYYYYYYYiSCSIYYYYYNYNASYNYNNNY36資源管理資源管理 資源由VMkernel管理由虛擬機所有人管理由虛擬機管理員管理處理器處理器SMP負載均衡負載均衡超線程超線程多核處理器多核處理器虛擬虛擬SMP最小速率最小速率最大速率最大速率處理器榜定處理器榜定共享分配共享分配內存內存頁面共享頁面
20、共享內存漂移內存漂移使用使用VMkernel交換交換最大容量最大容量最小容量最小容量共享分配共享分配磁盤磁盤共享分配共享分配網(wǎng)卡網(wǎng)卡NIC捆綁捆綁流量控制流量控制37操作系統(tǒng)看到的是什么操作系統(tǒng)看到的是什么從Windows設備管理界面看到虛擬的設備38虛擬機文件虛擬機文件核心文件nvram (非易失性內存 - non-volatile RAM)vmware.log.vmx (虛擬機配置文件).vmdk (虛擬磁盤文件).vswp (內存交換文件).vmsd (快照數(shù)據(jù))與某個虛擬機相關的文件都存放在文件系統(tǒng)中的特定文件夾里面 NFSVMFS39封裝封裝這兩個文件代表整這兩個文件代表整個虛擬機個
21、虛擬機客戶虛擬機的配置文件客戶虛擬機的配置文件40支持什么服務器和操作系統(tǒng)?支持什么服務器和操作系統(tǒng)? 支持什么支持什么I/O和網(wǎng)絡驅動?和網(wǎng)絡驅動? 支持什么存儲設備?支持什么存儲設備?請察看請察看ESX Server 3.x的系統(tǒng)兼容性列表(的系統(tǒng)兼容性列表(OS+System)?。?!支持什么樣的備份軟件?支持什么樣的備份軟件?請察看請察看ESX Server 3.x的的I/O兼容性列表!兼容性列表!請察看請察看ESX Server 3.x的的Storage / SAN系兼容性列表!系兼容性列表!請察看請察看ESX Server 3.x的備份軟件兼容性列表!的備份軟件兼容性列表!41這些兼
22、容列表在哪里?這些兼容列表在哪里?所有所有VMware Infrastructure文檔都在:文檔都在: http:/ 安全地、集中化管理安全地、集中化管理用戶的虛擬架構 通過在服務器之間動態(tài)移動虛擬機來優(yōu)化來優(yōu)化服務器的利用率服務器的利用率 采用標準化的虛擬機模版迅速部署新的服迅速部署新的服務器務器 增強業(yè)務連續(xù)性,并且增強業(yè)務連續(xù)性,并且消除計劃內停機VMware VirtualCenter VMware虛擬架構管理軟件虛擬架構管理軟件43通過通過VirtualCenter進行訪問和控制進行訪問和控制直接訪問和控制,無直接訪問和控制,無 VirtualCenterActive Direct
23、ory/ LDAP 服務器服務器VirtualCenter數(shù)據(jù)庫數(shù)據(jù)庫集中管理集中管理44虛擬架構虛擬架構(VI) Client訪問VirtualCenter 使用VC全部功能直接訪問ESX主機 單一ESX主機管理Web Access Client訪問VirtualCenter 管理多臺虛擬機直接訪問ESX主機只能管理該主機上的虛擬機VirtualCenter服務器服務器ESX 3.xVIClientVIClientVirtualCenter服務器服務器ESX 3.0Web ClientWeb ClientwebCenter (Apache Tomcat 服務) 安裝在這里ESX 3.x用戶界
24、面用戶界面 45軟件許可簡介軟件許可簡介 缺省情況下,在VirtualCenter主機上面安裝和配置License服務器也可以安裝在現(xiàn)有的FlexNet license服務器,或者與VirtualCenter獨立的主機系統(tǒng)之上集中管理的軟件許可可以被跟蹤,并且按2個處理器的增量動態(tài)分配或中心分配軟件許可一旦配置完成,VirtualCenter和ESX服務器在License服務器不可用的情況下(最長14天)也可以全功能運行ESX Server 3.X 系統(tǒng)License服務器(Windows應用)VirtualCenter 2.0 服務器License文件46基于主機的軟件許可基于主機的軟件許可
25、適用于沒有適用于沒有VirtualCenter的小型環(huán)境的小型環(huán)境需要在每一臺需要在每一臺ESX服務器上配置軟件許可文件,沒有集中管理服務器上配置軟件許可文件,沒有集中管理的優(yōu)點的優(yōu)點允許允許ESX功能的配置和改變完全獨立于功能的配置和改變完全獨立于License服務器服務器但是,需要手工進行軟件許可的分配和跟蹤但是,需要手工進行軟件許可的分配和跟蹤可以和與集中的、利用可以和與集中的、利用VirtualCenter功能的軟件許可并存功能的軟件許可并存ESX Server 3.5 系統(tǒng)License文件License文件License文件47對對SNMP的支持的支持SNMP管理主機獲取變量,使得
26、用戶可以監(jiān)控主機服務器和它們上面的虛擬機各種項目參數(shù),了解它們如何使用各種資源的系統(tǒng)狀態(tài) (主機) CPU個數(shù),內存容量,ESX服務器是否加載系統(tǒng)資源使用情況 (主機)被服務控制臺使用的內存容量被某個特定虛擬機所使用的主機CPU資源被某個特定虛擬機使用的主機內存資源沒有被使用的主機內存資源主機磁盤上的數(shù)據(jù)使用情況,包括數(shù)據(jù)讀寫次數(shù)和數(shù)量48虛擬機的虛擬機的SNMP支持支持虛擬機配置虛擬機配置文件的訪問路徑運行在虛擬機上的操作系統(tǒng)配置給虛擬機使用的內存容量虛擬機能看到哪些磁盤控制器虛擬機能看到哪些網(wǎng)卡虛擬機能看到哪些軟驅虛擬機能看到哪些光驅49內容內容概述 1、什么是虛擬化 2、VMWARE公司
27、及VI產品介紹ESX技術內幕部署虛擬機資源管理高級特性50如何部署虛擬機如何部署虛擬機安裝ESX Server 3.5 安裝VC建立虛擬機網(wǎng)絡配置511、ESX3.5安裝安裝將將ESX Server 3.5安裝光盤放入光安裝光盤放入光驅,光驅引導出現(xiàn)以下界面驅,光驅引導出現(xiàn)以下界面 ,回車開始安裝回車開始安裝521、 ESX3.5安裝安裝Skip進行下一步進行下一步531、 ESX3.5安裝安裝出現(xiàn)安裝歡迎畫面出現(xiàn)安裝歡迎畫面541、 ESX3.5安裝安裝進行分區(qū)進行分區(qū)551、 ESX3.5安裝安裝網(wǎng)絡設置網(wǎng)絡設置561、 ESX3.5安裝安裝時區(qū)設置時區(qū)設置571、 ESX3.5安裝安裝
28、ROOT密碼設置密碼設置581、 ESX3.5安裝安裝安裝完成后重啟正常啟動安裝完成后重啟正常啟動591、VC安裝安裝下一步下一步602、 VC安裝安裝選擇安裝類型選擇安裝類型612、 VC安裝安裝部署選項部署選項622、 VC安裝安裝其他設置與安裝過程其他設置與安裝過程632、 VC安裝安裝安裝成功安裝成功642、 VC安裝安裝本地登陸本地登陸VC653、安裝虛擬機、安裝虛擬機建立數(shù)據(jù)中心建立數(shù)據(jù)中心663、安裝虛擬機、安裝虛擬機在數(shù)據(jù)中心新建群集或添加主機在數(shù)據(jù)中心新建群集或添加主機673、安裝虛擬機、安裝虛擬機新建群集選項新建群集選項683、安裝虛擬機、安裝虛擬機添加主機添加主機693、
29、安裝虛擬機、安裝虛擬機新建虛擬機新建虛擬機703、安裝虛擬機、安裝虛擬機正常安裝操作方式安裝使用正常安裝操作方式安裝使用714、網(wǎng)絡配置介紹、網(wǎng)絡配置介紹VMware有三種網(wǎng)絡接口類型 1、虛擬機 虛擬機中要虛擬網(wǎng)卡即應用要使用的網(wǎng)卡的端口 2、VMKERNEL 建立自動遷移和VMOTION,iscsi控制存儲路徑,ipsan控制存儲路徑 3、服務控制臺 ESX 主機的控制端口注:安裝VM ESX后會自動創(chuàng)建1和3,2要手動建立VMKERNEL端口724、網(wǎng)絡配置介紹、網(wǎng)絡配置介紹73服務控制臺網(wǎng)絡端口添加介紹服務控制臺網(wǎng)絡端口添加介紹建議每臺ESX主機使用兩個控制臺端口,避免出現(xiàn)單點故障,無
30、法連接74服務控制臺網(wǎng)絡端口添加介紹服務控制臺網(wǎng)絡端口添加介紹75服務控制臺網(wǎng)絡端口添加介紹服務控制臺網(wǎng)絡端口添加介紹76服務控制臺網(wǎng)絡端口添加介紹服務控制臺網(wǎng)絡端口添加介紹77內容內容概述 1、什么是虛擬化 2、VMWARE公司及VI產品介紹ESX技術內幕部署虛擬機資源管理概念預留、限制、份額;資源池高級特性78資源管理資源管理 資源由VMkernel管理由虛擬機所有人管理由虛擬機管理員管理處理器處理器SMP負載均衡負載均衡超線程超線程多核處理器多核處理器虛擬虛擬SMP最小速率最小速率最大速率最大速率處理器榜定處理器榜定共享分配共享分配內存內存頁面共享頁面共享內存漂移內存漂移使用使用VMke
31、rnel交換交換最大容量最大容量最小容量最小容量共享分配共享分配磁盤磁盤共享分配共享分配網(wǎng)卡網(wǎng)卡NIC捆綁捆綁流量控制流量控制79虛擬機資源分配虛擬機資源分配缺省情況下,所有虛擬機都會收到: q 平等分配給每個虛擬CPU的物理CPU共享時間片q 平等分配給每MB虛擬內存的共享物理內存預留的主機資源預留的主機資源q 為虛擬機分配更多或更少的資源 q 為特定虛擬機指定優(yōu)先級80預留和限制預留和限制(Reservations and Limits) q 適用于CPU和內存資源q 預留是一種最低資源保證 q 只有CPU預留資源在不使用的時候可以被其它虛擬機使用(預留內存不可以)q 缺省情況下,預留的值
32、為零 q 限制是對一臺虛擬機的CPU和內存資源定義的使用上限q 表示為MHz或者MBq 缺省狀態(tài)下無限制81預留和限制預留和限制(Reservations and Limits) 82份額份額(Shares) q 為一臺虛擬機指定相對優(yōu)先級或重要性q 只有在發(fā)生資源競爭的情況下執(zhí)行 q 防止虛擬機獨占資源q 保證可預測的資源共享q 通常分為三級:High、Normal和Low (比例為4 : 2 : 1)q 可以改變?yōu)槠渌祋 新的虛擬機上電會影響其它所有虛擬機的共享狀態(tài)83份額份額(Share)是如何工作的?是如何工作的?Shares值值改變 Shares值新虛擬機上電虛擬機下電如果有競爭,
33、每臺虛擬機保證得到1/3的資源如果有競爭,虛擬機B保證得到3/5的資源如果有競爭,虛擬機B保證得到1/2的資源如果有競爭,虛擬機B保證得到3/5的資源84準入控制準入控制預留資源必須滿足如果現(xiàn)有資源的剩余值小于要啟動的虛擬機的預留資源值,則該虛擬機無法啟動內存 = 2GBReservation = 512Limit = 1GBReservation = 1GBLimit = 1GBReservation = 1GBLimit = 1GBX85資源池資源池 是VirtualCenter對象庫中的一個對象用來控制為虛擬機所用的CPU和內存資源總和可以和訪問控制和許可聯(lián)合使用群集Cluster資源池
34、Resource poolCluster容量容量 =根資源池根資源池:5 x (4.8 GHz, 4 GB)= (24 GHz, 20 GB) Resource Pool 1(CPU = 16 GHz, Mem = 12 GB)VMVMVMVMResource Pool 2(3 GHz, 3 GB)VMVMVM86資源池屬性資源池屬性份額(Shares)Low, Normal, High 預留限制可擴展的預留不選 系統(tǒng)認為只有該資源池剩余的資源可用選中 系統(tǒng)認為該資源池和其所有上級資源池內的剩余資源均可用87資源池準入控制資源池準入控制 在下面任何一種情況下都會進行準入控制:創(chuàng)建一個資源池,一
35、臺虛擬機上電,或者改變資源池的設置參數(shù)如果沒有選擇可擴展預留選項:管理服務器檢查資源池是否有足夠的資源來滿足該資源池和虛擬機對最低預留的要求如果選擇了可擴展預留選項:如果有足夠的資源,執(zhí)行操作如果沒有足夠的資源,管理服務器在一個上級資源池(父級或者祖級)中檢查是否有可用資源。如果有,執(zhí)行操作。否則,不執(zhí)行操作。88可擴展預留可擴展預留 圖示圖示89資源池準入控制資源池準入控制 圖示圖示90資源池概念圖示資源池概念圖示ClusterPool 1Pool 2VM AVM CVM BVM DShares=8000Shares=2000Shares=2000Shares=4000Shares=8000
36、Shares=400091資源池概念圖示資源池概念圖示ClusterPool 1Pool 2VM AVM CVM BVM DShares=8000Shares=2000Shares=2000Shares=4000Shares=8000Shares=4000VM EShares=200092內容內容概述 1、什么是虛擬化 2、VMWARE公司及VI產品介紹ESX技術內幕部署虛擬機資源管理概念預留、限制、份額;資源池高級特性VMotion、DRS、HA、虛擬機集群、VCB、 Converter等93遷移遷移VMotion94VMotion遷移遷移VMotion遷移是在虛擬機上電狀態(tài)下移動它提高總體
37、硬件的利用率消除計劃內停機與VirtualCenter配合使用 95VMotion條件條件 主機主機q 激活VMotion功能的源和目的ESX服務器主機q 源和目的ESX服務器主機必須:可以看到所有SAN的LUN (FC或iSCSI)或者被虛擬機使用的NAS設備一個千兆以太網(wǎng)段訪問同一個物理網(wǎng)段兼容的CPU新型CPU發(fā)布后,會有新的VMotion兼容性說明 96CPU 限制限制CPU特征特征需要精確匹配嗎?需要精確匹配嗎?時鐘頻率,緩存大小,超線程以及核的數(shù)量不必 由ESX服務器虛擬化并調度Intel對AMD,P3對P4對 Opteron是的 相近,但是本質上存在很多不同的指令集和一些細小、不
38、知的差別SSE3指令集對非SSE3指令集是的 多媒體指令集被應用層直接調用虛擬化硬件協(xié)助(VT對非VT)是的 但是僅限于64位的虛擬機沒有eXecute / eXecute Disable (Nx/XD)位是的 但是可以對每臺虛擬機或者ESX服務器主機進行定制97VMotion對對64位虛擬機的支持位虛擬機的支持32位虛擬機64位虛擬機VMotion (上電狀態(tài))對與VMotion兼容的32位和64位CPU完全支持 (Intel到Intel或者 AMD到AMD).對與VMotion兼容的64位CPU完全支持 (Intel到Intel或者 AMD到AMD)冷遷移 (下電狀態(tài))對與VMotion兼
39、容的32位和64位CPU完全支持,不必考慮CPU之間的兼容性 (Intel到AMD沒有問題!)對與VMotion兼容的64位CPU完全支持 (Intel到AMD沒有問題!)98VMotion是如何工作的?是如何工作的?準備在目標主機上(ESX 2)部署新的虛擬機用戶正在訪問位于ESX 1上面的虛擬機A,并且準備VMotion到ESX 2ESX 2VM AESX 1共享存儲99VMotion是如何工作的?是如何工作的?ESX 2VM AESX 1VM A準備在目標主機上(ESX 2)部署新的虛擬機將源主機上虛擬機A的內存拷貝到目標主機上,變化的內存內容保存在位圖之中Memory BitmapMe
40、mory共享存儲100VMotion是如何工作的?是如何工作的?ESX 2VM AESX 1VM A準備在目標主機上(ESX 2)部署新的虛擬機將源主機上虛擬機A的內存拷貝到目標主機上,變化的內存內容保存在位圖之中掛起源主機上面的虛擬機A,將內存位圖拷貝到目標主機上Memory BitmapMemory Bitmap共享存儲101VMotion是如何工作的?是如何工作的?ESX 2VM AESX 1VM A準備在目標主機上(ESX 2)部署新的虛擬機將源主機上虛擬機A的內存拷貝到目標主機上,變化的內存內容保存在位圖之中掛起源主機上面的虛擬機A,將內存位圖拷貝到目標主機上在目標主機上恢復虛擬機A
41、運行Memory Bitmap共享存儲102VMotion是如何工作的?是如何工作的?ESX 2VM AESX 1VM A準備在目標主機上(ESX 2)部署新的虛擬機將源主機上虛擬機A的內存拷貝到目標主機上,變化的內存內容保存在位圖之中掛起源主機上面的虛擬機A,將內存位圖拷貝到目標主機上在目標主機上恢復虛擬機A運行當系統(tǒng)訪問修改的內存時,使用源主機中的“Demand page” (“Background page” 就是源主機中遺留的內容拷貝到目標主機中,直到內存內容全部成功拷貝)Memory BitmapBackground PageDemand Page共享存儲103VMotion是如何工
42、作的?是如何工作的?ESX 2ESX 1VM A準備在目標主機上(ESX 2)部署新的虛擬機將源主機上虛擬機A的內存拷貝到目標主機上,變化的內存內容保存在位圖之中掛起源主機上面的虛擬機A,將內存位圖拷貝到目標主機上在目標主機上恢復虛擬機A運行當系統(tǒng)訪問修改的內存時,使用源主機中的“Demand page” (“Background page” 就是源主機中遺留的內容拷貝到目標主機中,直到內存內容全部成功拷貝)從源主機中刪除虛擬機A共享存儲104群集群集(Clusters) DRS和/或HA105群集群集(Clusters) 簡介簡介v 一群ESX服務器主機以及和它們相關聯(lián)的、定義了共享資源的虛
43、擬機v 可以選擇激活DRS和/或HA功能v 無需特殊軟件許可就可以創(chuàng)建106DRS如何工作?如何工作? 虛擬機初始運行位置虛擬機初始運行位置在資源池中上電虛擬機在資源池中上電虛擬機建議運行主機建議運行主機 (優(yōu)先級列優(yōu)先級列表表) 動態(tài)平衡動態(tài)平衡監(jiān)視關鍵虛擬機、資源池和主機監(jiān)視關鍵虛擬機、資源池和主機將有資格的資源賦予資源池和虛擬將有資格的資源賦予資源池和虛擬機機建議遷移建議遷移DRS的目的 在主機和群集之間平衡虛擬機負載 強化資源策略的精確度 (預留、限制和份額)對虛擬機運行位置進行約束 關聯(lián)(Affinity)和反關聯(lián)定(Anti-affinity)規(guī)則 VMotion兼容性(CPU類型
44、、SAN和LAN的連通性)107DRS讓事情變得簡單讓事情變得簡單108DRS 自動化級別自動化級別在虛擬機啟動時,自動地進行初始運行位置的確認,并且在虛擬機運行時進行動態(tài)平衡自動化級別虛擬機初始位置確定動態(tài)平衡手動手動手動半自動自動手動全自動自動自動109DRS群集設置群集設置反關聯(lián)規(guī)則(Anti-affinity) 在不同的主機上運行不同的虛擬機動機:高可用,集群應用關聯(lián)規(guī)則(Affinity)在同一臺主機上運行不同的虛擬機動機:明確運行位置,性能考慮110資源池和資源池和DRS要做與不要做的事情要做與不要做的事情正確使用預留和份額份額通常是更靈活的策略工具使用份額隔離虛擬機資源,而不必使
45、用硬分區(qū)隔離使用預留來保證應用服務質量保持一定的空余容量不要讓預留資源占滿整個群集資源要為主機維護和重新平衡預留資源空間需要接納故障主機上面的虛擬機的空間(使用DRS)如果一臺主機是一個群集的成員,不要直接在該主機上修改資源參數(shù)111什么是什么是VMware HA?集成的、可擴展的VMware虛擬機故障切換解決方案是VI3 Enterprise的一部分 (可選的VirtualCenter功能)與VMotion和DRS集成通過在ESX服務器主機中進行自動故障切換,為虛擬機提供高可用性每個群集最多支持16個ESX主機(新版本將支持32個ESX主機)通過VI Client配置、管理和監(jiān)控可以為特定虛
46、擬機定制行為方式112什么是什么是VMware HA?113什么是什么不是什么是什么不是VMware HA?它是它是如果一臺ESX發(fā)生故障,運行在它上面的虛擬機將會在同一群集中的另外ESX主機上重新啟動故障由服務控制臺網(wǎng)卡上運行的心跳服務進行檢測它它不利用不利用VMotion不對虛擬機故障提供保護不對虛擬機故障提供保護不能跨群集不能跨群集(Cluster)或數(shù)據(jù)中心或數(shù)據(jù)中心(DataCenter)運行運行114HA與與VirtualCenter的關系的關系115VMware HA選項選項故障主機數(shù)量- Host Failures指定可以進行故障切換的主機數(shù)量,希望這些主機上的虛擬機可以在其它
47、主機上重新啟動準入控制 Admission Control如果虛擬機違反了可用性規(guī)則,或者超出了資源限制,則不啟動虛擬機即使虛擬機違反了可用性規(guī)則,或者超出了資源限制,也會在其它主機上啟動虛擬機(但不保證啟動成功,會有一個警告信息)116規(guī)劃規(guī)劃VMware HA準入控制在群集中保留足夠的空閑資源進行故障切換每臺主機都應該有一定的CPU和內存空余資源每臺虛擬機都有最小內存和CPU需求規(guī)劃準入控制指定可以實施故障切換的主機的數(shù)量如果N臺大型主機故障,也能保證虛擬機可以重新布置到其它主機上重新啟動定義最壞的情況 最大故障主機數(shù)量和需要重新分配的虛擬機數(shù)量和大小117容量規(guī)劃容量規(guī)劃舉例:假定一個同
48、構的群集這是一個保守的規(guī)劃高級用戶希望制定他們自己的規(guī)劃,避免嚴格的準入控制檢查VM 1VM 2VM 3VM 6VM 5故障切換容量規(guī)劃:故障切換容量規(guī)劃:1臺主機故障臺主機故障VM 4118容量規(guī)劃容量規(guī)劃VM 1VM 2VM 3VM 4故障切換容量規(guī)劃:故障切換容量規(guī)劃:2臺主機故障臺主機故障如果故障主機的數(shù)量超過了配置的空余容量優(yōu)先級高的虛擬機將首先被切換和啟動會生成一個警告信息119重新啟動優(yōu)先級重新啟動優(yōu)先級可選的重新啟動優(yōu)先級選項,以虛擬機為單位設置隔離響應120隔離響應隔離響應主機在網(wǎng)絡中被隔離Pings發(fā)生問題的節(jié)點,隔離并驗證地址故障響應:下電還是繼續(xù)運行?VMware HA
49、等待15秒鐘,然后決定該主機被隔離下電 NAS和iSCSI缺省是下電 最安全的方式VMVMVMVMVMVM121與與DRS集成集成HA和VirtualCenter下電的虛擬機不被視為一個故障 下電的和有特殊標示的虛擬機將不會被切換VMotion有短暫的危險時間窗口(遷移時主機發(fā)生故障);HA可以在原來的、目的或者其它合適的主機上重新啟動虛擬機HA和DRSHA的首要優(yōu)先級是重新啟動故障主機上的的虛擬機DRS將決定和優(yōu)化重新啟動的虛擬機的位置 (它的優(yōu)先級是保持整個群集的負載平衡)DRS + HA = 主動主動 + 被動反應方案被動反應方案122高可用解決方案(虛擬機集群)高可用解決方案(虛擬機集
50、群)MSCS123VI3集群解決方案集群解決方案124目前,VMware只測試和支持微軟的集群服務 (MSCS)運行在自己的虛擬機環(huán)境中但是在實際應用中,Veritas VCS和Oracle RAC都有成功案例VI3集群解決方案集群解決方案125q 只能為操作系統(tǒng)和應用系統(tǒng)的崩潰提供保護措施q 訪問共享的SAN存儲或者共享的本地存儲主機內部的集群:主機內部的集群:Cluster in a box126主機之間集群:主機之間集群:Cluster-Across-Boxesq 可以為操作系統(tǒng)、應用系統(tǒng)和硬件崩潰提供報或措施可以為操作系統(tǒng)、應用系統(tǒng)和硬件崩潰提供報或措施q 使用使用RDM (Raw D
51、evice Mappings)q 需要共享的需要共享的SAN存儲存儲 不能使用NAS和iSCSI存儲技術127物理到虛擬機群:物理到虛擬機群:Physical to Virtual Clusterq 低成本的低成本的N+1冗余設計冗余設計q 需要共享的需要共享的SAN存儲存儲 q 不能使用NAS和iSCSI存儲技術q 在物理主機上不能運行多路經(jīng)軟件128群集:注意事項與限制群集:注意事項與限制v 只有只有2GB FC HBA和特定驅動程序在支持列表當中和特定驅動程序在支持列表當中v 只支持只支持32為虛擬機為虛擬機 (不支持不支持64為虛擬機為虛擬機).v 只支持只支持2節(jié)點的群集節(jié)點的群集v
52、 不支持在不支持在iSCSI盤陣或盤陣或NFS上的上的iSCSI群集群集v 群集不支持網(wǎng)卡捆綁干線技術群集不支持網(wǎng)卡捆綁干線技術v 虛擬機的啟動磁盤必須位于本地存儲上虛擬機的啟動磁盤必須位于本地存儲上v 不支持在不支持在SAN中啟動中啟動ESX服務器服務器v 群集虛擬機不能成文群集虛擬機不能成文VMware群集群集(DRS或或HA)的一部分的一部分v 不能使用不能使用VMotion遷移運行群集軟件的虛擬機遷移運行群集軟件的虛擬機129數(shù)據(jù)備份數(shù)據(jù)備份VCB標準備份技術 什么是VCB?VCB是如何工作的?恢復方法目前方案存在的問題VCB集成130標準備份技術標準備份技術 備份服務器VM1 ESX
53、服務器VM2VM3AGENT服務控制臺AGENTAGENTAGENT文件系統(tǒng)級別文件系統(tǒng)級別備份備份完整虛擬機備份完整虛擬機備份 存儲設備(磁帶、磁盤)LAN, SAN, SCSI只通過只通過LAN優(yōu)點:優(yōu)點:像物理主機一樣備份和恢復加上完整虛擬機備份功能易于實施 并提高備份能力131裸設備映射裸設備映射(RDM) ESX服務器VM2VM3VM1VMFSVMDKVMDKVMDKNTFSLUN 1NTFSLUN 2EXT3LUN 3服務控制臺裸設備映射裸設備映射RDMSANEXT3LUN 3NTFSLUN 1NTFSLUN 2SAN 快照快照備份服務器LAN SCSISAN優(yōu)點:優(yōu)點:消除ESX
54、服務器備份負擔發(fā)揮現(xiàn)有SAN技術與標準存儲模式配合良好132當前備份模式存在的問題當前備份模式存在的問題基于客戶機代理基于客戶機代理(Agent)的備份模式的備份模式備份的負載累加到生產主機之上備份的負載累加到生產主機之上備份每臺虛擬機消耗主機5% CPU是可以接受的但是,當20臺虛擬機同時開始備份的時候對于虛擬架構來講,備份負載具有很大的負面影對于虛擬架構來講,備份負載具有很大的負面影響響大量消耗磁盤和網(wǎng)絡I/O即使通過服務控制臺備份磁盤映像也會降低系統(tǒng)即使通過服務控制臺備份磁盤映像也會降低系統(tǒng)性能性能133當前備份模式存在的問題當前備份模式存在的問題基于基于RDM的備份模式的備份模式需要需
55、要SAN磁盤陣列快照軟件磁盤陣列快照軟件并非所有陣列廠商都支持,或者非常昂貴失去失去VMFS的優(yōu)點的優(yōu)點如磁盤的利用效率高,跨LUN,將虛擬機視為文件等在沒有更多昂貴工具支持的情況下,在沒有更多昂貴工具支持的情況下,SAN磁盤陣列快照只磁盤陣列快照只是一個主機崩潰一致性的拷貝是一個主機崩潰一致性的拷貝不提供文件系統(tǒng)和應用級別的數(shù)據(jù)一致性快照134解決方案:整合備份解決方案:整合備份VCBVCB的目標v 利用VMware的獨特技術提高文件系統(tǒng)級別的備份性能v 將備份負載從ESX服務器上卸載下來v 不需要SAN磁盤陣列相關的軟件v 對于最終用戶來講,易于實現(xiàn) 是簡化整個企業(yè)備份體系架構復雜度的開始
56、135VCB的效果的效果 ESXVM2VM3VM1VMFSVMDKServiceConsoleSANVMDK達到什達到什么效果么效果備份代理備份代理服務器服務器(BackupProxy)VMDKvmkernelLAN SCSISAN136VM2VM3VM1ServiceConsolevmkernel備份代理備份代理服務器服務器(BackupProxy)VCBVCB如何工作?如何工作? ESXVMFSVMDKSANVMDK發(fā)生了什么發(fā)生了什么VMDKVMDKREDOSYNCBLOCKLISTPREPOSTSAN第三方備份軟件第三方備份軟件137VM2VM3VM1ServiceConsolevmk
57、ernel備份代理備份代理服務器服務器(BackupProxy)VCBVCB如何工作?如何工作? ESXVMFSVMDKSANVMDK輸出完整的輸出完整的虛擬機虛擬機VMDKVMDKREDOSYNCBLOCKLIST2GB2GB2GBPREPOSTSAN138如何恢復?如何恢復?目前還沒有基于備份代理的恢復工具選項:在每一臺虛擬機中安裝備份軟件代理,將文件直接恢復到這些虛擬機中建立安裝備份軟件代理的專門恢復虛擬機,將數(shù)據(jù)恢復到這些虛擬機當中,然后手工移動文件到目標虛擬機中要恢復整個虛擬機,將它們恢復到服務控制臺可以訪問的的文件系統(tǒng)中,然后將它們輸入到VMFS中為什么這個版本部提供恢復功能?備份
58、操作每天都會進行,但是很少執(zhí)行恢復操作 我們希望改善當前面臨的主要問題 備份139整合備份和恢復方法整合備份和恢復方法集中恢復在備份代理服務器中安裝備份軟件代理分組恢復在ESX服務器上的一組虛擬機選擇一臺安裝備份軟件代理自我服務式恢復在每一臺虛擬機上安裝備份軟件代理140恢復方法的比較恢復方法的比較恢復方法優(yōu)點缺點集中式維護的備份軟件代理數(shù)量最少系統(tǒng)管理員需要介入到每一個文件恢復操作當中分組式恢復操作可以按組指定;易于在備份軟件代理數(shù)量和恢復的操作難度方面達成妥協(xié)依然達不到自我服務方式的恢復操作自我服務式自我服務方式的恢復,無需管理員介入需要在每一臺虛擬機中安裝備份軟件代理141幾個要記住的要
59、點幾個要記住的要點VCB不能替代備份軟件備份軟件是VCB API的主要使用者VCB與現(xiàn)有備份架構整合與現(xiàn)有備份架構整合目前還沒有與Linux完全整合在版本1.0中,只支持對Windows操作系統(tǒng)的文件級備份完整虛擬機輸出支持任何類型的操作系統(tǒng)142VCB集成集成 VMware已經(jīng)與下列產品集成:已經(jīng)與下列產品集成:Veritas NetBackupSymantec BackupExecTivoli Storage ManagerLegato Networker這些只是基本集成 命令行,運行前/后腳本。沒有與備份軟件進行深入整合注意:一些備份軟件廠商在VMware之外提供他們自己的整合產品143
60、VCB的軟、硬件需求的軟、硬件需求q VCB備份代理服務器(實機)必須運行 Microsoft Windows 2003 SP1或以上版本q 光纖通道SAN。VCB備份代理服務器需要訪問SAN當中的LUNq VCB支持的備份軟件q 備份硬件,例如磁帶庫q 一個或多個ESX服務器3.x系統(tǒng)144 多路徑多路徑 VCB備份代理服務器目前不支持任何備份代理服務器目前不支持任何多路徑軟件多路徑軟件145VCB系統(tǒng)的概貌系統(tǒng)的概貌146 備份什么?備份什么?q 虛擬機內的內容虛擬機內的內容q ESX服務器服務控制臺服務器服務控制臺備份系統(tǒng)主要組成部分備份系統(tǒng)主要組成部分q 備份客戶機備份客戶機 (備份軟
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度家庭廚師私人定制合同3篇
- 二零二五年度家電行業(yè)人才培養(yǎng)合作合同3篇
- 2025版黃沙石子與水泥制品生產合作協(xié)議3篇
- 二零二五年度房產股東投資管理合作協(xié)議書范本3篇
- 2025年度泥工施工與新型保溫隔熱材料研發(fā)合同范本2篇
- 白俄羅斯文化之旅(西安外國語大學)學習通測試及答案
- 2025年度煤礦地質勘探與資源開發(fā)合同樣本2篇
- 二零二五年度兼職崗位知識產權保護合同范本3篇
- 2025年度標的額為500萬元的加油站股權轉讓合同3篇
- 二零二五年度房產中介勞動合同模板與解析3篇
- 五年級上冊小數(shù)乘法豎式計算練習400題及答案
- 電廠鍋爐爐膛煙道內部作業(yè)三措兩案
- 收費站(所)事故隱患排查清單
- 駕駛證學法減分(學法免分)題庫及答案(200題完整版)
- 四川省宜賓市敘州區(qū)2023-2024學年七年級上學期期末數(shù)學試題(含答案)
- 高績效教練的讀書心得分享
- 論同性婚姻是否應該合法化問題
- 軟管出廠檢測報告
- 修路方案預案
- 公司業(yè)務流程與工作流程介紹
- 產業(yè)經(jīng)濟學-第八章-產業(yè)關聯(lián)
評論
0/150
提交評論