版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
《服務(wù)器虛擬化技術(shù)與應(yīng)用》工業(yè)和信息化“十三五”人才培養(yǎng)規(guī)劃教材第9章高可用性與容錯(cuò)人民郵電出版社《服務(wù)器虛擬化技術(shù)與應(yīng)用》工業(yè)和信息化“十三五”人才培養(yǎng)規(guī)劃1能力CAPACITY要求了解vSphere高可用性和容錯(cuò)的基礎(chǔ)知識。掌握創(chuàng)建和使用vSphereHA群集的方法。學(xué)會配置和使用vSphereFT。從總體上了解vSphere可用性。能力CAPACITY要求了解vSphere高可用性和容錯(cuò)的2vSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用vSphereHA群集vSphereFT基礎(chǔ)配置和使用vSphereFTvSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用v39.1vSphere可用性概述主要的可用性功能減少常見維護(hù)操作的計(jì)劃停機(jī)時(shí)間。在發(fā)生故障的情況下提供自動恢復(fù)。提供獨(dú)立于硬件、操作系統(tǒng)和應(yīng)用程序的高可用性。9.1vSphere可用性概述主要的可用性功能減少常見維49.1vSphere可用性概述減少計(jì)劃停機(jī)時(shí)間避免常見維護(hù)操作的停機(jī)。排除計(jì)劃維護(hù)時(shí)間段。無須干擾用戶和服務(wù),隨時(shí)執(zhí)行維護(hù)。防止非計(jì)劃停機(jī)共享存儲。NIC組合。支持單個(gè)網(wǎng)卡故障的容錯(cuò)。存儲多路徑。高可用性(HighAvailability)。容錯(cuò)(FaultTolerance)。避免計(jì)劃停機(jī)與非計(jì)劃停機(jī)9.1vSphere可用性概述減少計(jì)劃停機(jī)時(shí)間避免計(jì)劃停59.1vSphere可用性概述vSphereHA保護(hù)應(yīng)用程序可用性的方式通過重啟群集中其他主機(jī)上的虛擬機(jī)來防范服務(wù)器故障。通過持續(xù)監(jiān)控虛擬機(jī)并在檢測到故障的情況下對其重新設(shè)置來防范應(yīng)用程序故障。通過在仍能訪問其數(shù)據(jù)存儲的其他ESXi主機(jī)上重啟受影響的虛擬機(jī),來防范數(shù)據(jù)存儲可訪問性故障。如果虛擬機(jī)所在的主機(jī)在管理網(wǎng)絡(luò)或vSAN網(wǎng)絡(luò)上被隔離,則可以通過重啟這些虛擬機(jī)防止虛擬機(jī)被網(wǎng)絡(luò)隔離。vSphereHA提供快速恢復(fù)9.1vSphere可用性概述vSphereHA保護(hù)應(yīng)69.1vSphere可用性概述vSphereHA與其他的群集解決方案的不同之處無須在應(yīng)用程序或虛擬機(jī)中安裝特定的軟件,所有工作負(fù)載都受到vSphereHA的保護(hù)??梢詫SphereHA與vSphereDRS組合使用來防范數(shù)據(jù)存儲可訪問性故障。vSphereHA相對于傳統(tǒng)故障切換解決方案的優(yōu)勢最小化設(shè)置。降低硬件成本和設(shè)置。提高應(yīng)用程序的可用性。與DRS和vMotion集成。vSphereHA提供快速恢復(fù)9.1vSphere可用性概述vSphereHA與其他79.1vSphere可用性概述vSphereFT提供更高級別的可用性,防止任何虛擬機(jī)發(fā)生主機(jī)故障時(shí)丟失數(shù)據(jù)、事務(wù)或連接,確保業(yè)務(wù)運(yùn)行不中斷,保持連續(xù)可用性。通過確保主虛擬機(jī)和輔助虛擬機(jī)的狀態(tài)在虛擬機(jī)的指令執(zhí)行中的任何時(shí)間點(diǎn)都相同,vSphereFT能夠提供連續(xù)的可用性。如果運(yùn)行主虛擬機(jī)的主機(jī)或運(yùn)行輔助虛擬機(jī)的主機(jī)發(fā)生故障,則會立即進(jìn)行透明的故障切換。vSphereFT提供連續(xù)可用性9.1vSphere可用性概述vSphereFT提供更89.1vSphere可用性概述使用vCenterHA保護(hù)vCenterServerAppliance防止主機(jī)和硬件故障.防止vCenterServerAppliance故障。vCenterHA保護(hù)vCenterServerAppliance。必須保證PSC的高可用性。使用嵌入式PSC部署主動(Active)節(jié)點(diǎn)。至少部署兩個(gè)PSC實(shí)例,并將它們置于負(fù)載平衡器后面。使用VMwareServiceLifecycleManager保護(hù)vCenterServervCenterServer本身的可用性由VMwareServiceLifecycleManager提供。如果vCenter服務(wù)失敗,VMwareServiceLifecycleManager會重新啟動它。保證vCenterServer的可用性9.1vSphere可用性概述使用vCenterHA保9vSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用vSphereHA群集vSphereFT基礎(chǔ)配置和使用vSphereFTvSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用v109.2vSphereHA基礎(chǔ)首選主機(jī)和從屬主機(jī)每個(gè)群集通常只有一個(gè)首選主機(jī)。所有其他主機(jī)都是從屬主機(jī)。群集中的首選主機(jī)職責(zé)監(jiān)控從屬主機(jī)的狀態(tài)。監(jiān)控所有受保護(hù)虛擬機(jī)的電源狀態(tài)。管理群集主機(jī)和受保護(hù)虛擬機(jī)的列表。充當(dāng)群集的vCenterServer管理接口,并報(bào)告群集運(yùn)行狀況。群集中的從屬主機(jī)職責(zé)主要通過在本地運(yùn)行虛擬機(jī)監(jiān)控其運(yùn)行時(shí)狀態(tài)。向首選主機(jī)報(bào)告狀態(tài)更新。vSphereHA的工作原理9.2vSphereHA基礎(chǔ)首選主機(jī)和從屬主機(jī)vSph11vSphereHA基礎(chǔ)主機(jī)故障類型故障(Failure)——主機(jī)停止運(yùn)行。隔離(Isolation)——主機(jī)與網(wǎng)絡(luò)隔離。分區(qū)(Partition)——主機(jī)失去與首選主機(jī)的網(wǎng)絡(luò)連接。主動式(Proactive)HA故障當(dāng)主機(jī)組部件發(fā)生故障時(shí),會出現(xiàn)主動式HA故障,并導(dǎo)致冗余損失或非災(zāi)難性故障。如果發(fā)生主動式HA故障,則可以自動執(zhí)行vSphereWebClient的vSphere可用性部分提供的修復(fù)操作。vSphereHA的工作原理vSphereHA基礎(chǔ)主機(jī)故障類型vSphereHA的工129.2vSphereHA基礎(chǔ)主機(jī)故障的響應(yīng)方式主機(jī)隔離響應(yīng)。虛擬機(jī)依賴關(guān)系。虛擬機(jī)重啟的考慮因素文件可訪問性。虛擬機(jī)與主機(jī)的兼容性。資源預(yù)留。主機(jī)限制。功能限制。vSphereHA的工作原理9.2vSphereHA基礎(chǔ)主機(jī)故障的響應(yīng)方式vSph139.2vSphereHA基礎(chǔ)虛擬機(jī)和應(yīng)用程序監(jiān)控如果在設(shè)置的時(shí)間內(nèi)未收到VMwareTools檢測信號,虛擬機(jī)監(jiān)控(VMMonitoring)將重啟特定的虛擬機(jī)。如果未收到正在運(yùn)行的應(yīng)用程序的檢測信號,則應(yīng)用程序監(jiān)控(ApplicationMonitoring)可以重啟虛擬機(jī)。虛擬機(jī)組件保護(hù)用于檢測數(shù)據(jù)存儲可訪問性故障,并為受影響的虛擬機(jī)提供自動恢復(fù)。數(shù)據(jù)存儲可訪問性故障類型有以下兩種。PDL(PermanentDeviceLoss)——永久設(shè)備丟失。APD(AllPathsDown)——全部路徑異常。vSphereHA的工作原理9.2vSphereHA基礎(chǔ)虛擬機(jī)和應(yīng)用程序監(jiān)控vSp149.2vSphereHA基礎(chǔ)網(wǎng)絡(luò)分區(qū)(NetworkPartitions)發(fā)生管理網(wǎng)絡(luò)故障時(shí),群集中的一部分主機(jī)可能無法通過管理網(wǎng)絡(luò)與其他主機(jī)進(jìn)行通信,一個(gè)群集中就可能會出現(xiàn)多個(gè)分區(qū)。已分區(qū)的群集會導(dǎo)致虛擬機(jī)保護(hù)和群集管理功能的降級。數(shù)據(jù)存儲檢測信號首選主機(jī)使用數(shù)據(jù)存儲檢測信號來判斷從屬主機(jī)是否發(fā)生故障,是否位于網(wǎng)絡(luò)分區(qū),是否處于網(wǎng)絡(luò)隔離狀態(tài)。如果從屬主機(jī)已停止數(shù)據(jù)存儲檢測信號,則認(rèn)為其發(fā)生故障了,其虛擬機(jī)在別處重啟。vSphereHA的工作原理9.2vSphereHA基礎(chǔ)網(wǎng)絡(luò)分區(qū)(Network159.2vSphereHA基礎(chǔ)概述vSphereHA使用準(zhǔn)入控制來確保在主機(jī)出現(xiàn)故障時(shí)為虛擬機(jī)恢復(fù)預(yù)留足夠的資源。準(zhǔn)入控制對資源使用進(jìn)行限制,任何可能違反這些限制的操作都是不允許的。可能被禁止的操作包括打開虛擬機(jī)電源、遷移虛擬機(jī)、增加虛擬機(jī)的CPU或內(nèi)存預(yù)留等。vSphereHA準(zhǔn)入控制的基礎(chǔ)是允許群集容忍多少主機(jī)故障仍然能夠保證故障切換。主機(jī)故障切換容量可以通過3種方式進(jìn)行設(shè)置。群集資源百分比插槽策略(Slotpolicy)專用故障切換主機(jī)。vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)概述vSphereHA的169.2vSphereHA基礎(chǔ)群集資源百分比準(zhǔn)入控制群集資源百分比可執(zhí)行的準(zhǔn)入控制計(jì)算群集中所有已啟動的虛擬機(jī)的總資源需求。計(jì)算可用于虛擬機(jī)的主機(jī)資源總量。計(jì)算群集的當(dāng)前CPU故障切換容量和當(dāng)前內(nèi)存故障切換容量。確定當(dāng)前CPU故障切換容量或當(dāng)前內(nèi)存故障切換容量是否低于相應(yīng)的配置故障切換容量。計(jì)算當(dāng)前故障切換容量CPU組件值是對已啟動的虛擬機(jī)的CPU預(yù)留計(jì)算總和。內(nèi)存組件值是對每個(gè)已啟動的虛擬機(jī)的內(nèi)存預(yù)留(加上內(nèi)存開銷)計(jì)算總和。vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)群集資源百分比準(zhǔn)入控制vS179.2vSphereHA基礎(chǔ)群集資源百分比準(zhǔn)入控制使用群集資源百分比準(zhǔn)入控制的示例vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)群集資源百分比準(zhǔn)入控制vS189.2vSphereHA基礎(chǔ)插槽策略準(zhǔn)入控制插槽策略執(zhí)行準(zhǔn)入控制的方式計(jì)算插槽大小。插槽是內(nèi)存和CPU資源的邏輯表示。確定群集中每個(gè)主機(jī)可以容納多少個(gè)插槽。確定群集的當(dāng)前故障切換容量。確定當(dāng)前故障切換容量是否低于配置的故障切換容量。插槽大小計(jì)算——插槽大小由CPU和內(nèi)存兩個(gè)組件組成。使用插槽來計(jì)算當(dāng)前的故障切換容量確定每個(gè)主機(jī)的可用于虛擬機(jī)的CPU和內(nèi)存資源。確定每個(gè)主機(jī)可以支持的最大插槽數(shù)量。通過確定發(fā)生故障仍然有足夠的插槽來滿足所有已啟動的虛擬機(jī)的主機(jī)數(shù)量(從最大值開始)來計(jì)算當(dāng)前故障切換容量。vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)插槽策略準(zhǔn)入控制vSphe199.2vSphereHA基礎(chǔ)插槽策略準(zhǔn)入控制使用插槽策略準(zhǔn)入控制的示例vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)插槽策略準(zhǔn)入控制vSphe209.2vSphereHA基礎(chǔ)專用故障切換主機(jī)準(zhǔn)入控制述通過專用故障切換主機(jī)準(zhǔn)入控制,當(dāng)主機(jī)發(fā)生故障時(shí),vSphereHA會嘗試在任何指定的故障切換主機(jī)上重新啟動其虛擬機(jī)。要確保故障切換主機(jī)上的備用容量可用,將無法啟動虛擬機(jī)或使用vMotion將虛擬機(jī)遷移到故障切換主機(jī)。如果使用這種準(zhǔn)入控制并指定多個(gè)故障切換主機(jī),則DRS不會為在故障切換主機(jī)上運(yùn)行的虛擬機(jī)強(qiáng)制執(zhí)行虛擬機(jī)關(guān)聯(lián)規(guī)則。vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)專用故障切換主機(jī)準(zhǔn)入控制述219.2vSphereHA基礎(chǔ)將vSphereHA與DRS一起使用這種組合將自動故障切換與負(fù)載平衡相結(jié)合,可以將虛擬機(jī)移動到不同的主機(jī)后形成資源更加平衡的群集。在啟用了DRS和vSphereHA準(zhǔn)入控制的群集中,虛擬機(jī)可能不會從進(jìn)入維護(hù)模式的主機(jī)撤離。如果為群集創(chuàng)建DRS關(guān)聯(lián)性規(guī)則,則可以指定vSphereHA在虛擬機(jī)故障切換期間應(yīng)用該規(guī)則的方式。虛擬機(jī)-虛擬機(jī)反關(guān)聯(lián)性規(guī)則——強(qiáng)制指定的虛擬機(jī)在故障切換操作期間保持分開。虛擬機(jī)-主機(jī)關(guān)聯(lián)性規(guī)則——在故障切換操作期間將指定的虛擬機(jī)放置在特定主機(jī)或特定的主機(jī)組的成員上。vSphereHA互操作性9.2vSphereHA基礎(chǔ)將vSphereHA與D229.2vSphereHA基礎(chǔ)將vSphereHA與vSAN配合使用組合使用vSphereHA與vSAN的ESXi主機(jī)要求所有群集的ESXi主機(jī)必須是版本5.5或更高版本。群集必須至少有3臺ESXi主機(jī)。vSphereHA與vSAN的網(wǎng)絡(luò)差異容量預(yù)留設(shè)置vSphereHA互操作性
啟用vSAN禁用vSANvSphereHA使用的網(wǎng)絡(luò)vSAN存儲網(wǎng)絡(luò)管理網(wǎng)絡(luò)檢測信號數(shù)據(jù)存儲掛載到一臺以上主機(jī)的任何數(shù)據(jù)存儲,但不是vSAN數(shù)據(jù)存儲掛載到一臺以上主機(jī)的任何數(shù)據(jù)存儲聲明隔離的主機(jī)隔離地址不可ping通,vSAN存儲網(wǎng)絡(luò)不可訪問隔離地址不可ping通,管理網(wǎng)絡(luò)無法訪問9.2vSphereHA基礎(chǔ)將vSphereHA與v239.2vSphereHA基礎(chǔ)其他vSphereHA互操作性問題虛擬機(jī)組件保護(hù)VMCP不支持vSphereFaultTolerance。VMCP不檢測或響應(yīng)位于vSAN數(shù)據(jù)存儲上的文件的可訪問性問題。VMCP不檢測或響應(yīng)位于虛擬卷數(shù)據(jù)存儲上的文件的可訪問性問題。VMCP不能防止不可訪問的裸設(shè)備映射(RDM)。IPv6群集僅包含ESXi6.0或更高版本的主機(jī)。群集中所有主機(jī)的管理網(wǎng)絡(luò)必須配置為同一IP版本(IPv6或IPv4)。vSphereHA使用的網(wǎng)絡(luò)隔離地址必須與群集管理網(wǎng)絡(luò)使用的IP版本相匹配。不能在使用vSAN的vSphereHA群集中使用IPv6。環(huán)回地址類型不能用于管理網(wǎng)絡(luò)。vSphereHA互操作性9.2vSphereHA基礎(chǔ)其他vSphereHA互24vSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用vSphereHA群集vSphereFT基礎(chǔ)配置和使用vSphereFTvSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用v259.3創(chuàng)建和使用vSphereHA群集所有主機(jī)必須獲得vSphereHA許可。群集必須至少包含兩個(gè)主機(jī)。所有主機(jī)必須配置靜態(tài)IP地址。所有主機(jī)必須至少有一個(gè)共同的管理網(wǎng)絡(luò)。要確保任何虛擬機(jī)可以在群集中的任何主機(jī)上運(yùn)行,所有主機(jī)都必須具有訪問相同虛擬機(jī)網(wǎng)絡(luò)和數(shù)據(jù)存儲的權(quán)限。要使虛擬機(jī)監(jiān)控(VMMonitoring)工作,必須安裝VMwareTools。vSphereHA支持IPv4和IPv6。要使虛擬機(jī)組件保護(hù)工作,主機(jī)必須啟用所有路徑下降(APD)超時(shí)功能。要使用虛擬機(jī)組件保護(hù),群集必須包含ESXi6.0主機(jī)或更高版本。只有包含ESXi6.0或更高版本主機(jī)的vSphereHA群集才能用于啟用VMCP。vSphereHA群集的要求9.3創(chuàng)建和使用vSphereHA群集所有主機(jī)必須獲得269.3創(chuàng)建和使用vSphereHA群集創(chuàng)建vSphereHA群集的準(zhǔn)備工作確定群集的節(jié)點(diǎn)。準(zhǔn)備虛擬網(wǎng)絡(luò)。準(zhǔn)備共享存儲。創(chuàng)建vSphereHA群集要使群集可用于vSphereHA,必須首先創(chuàng)建一個(gè)空群集。在將主機(jī)添加到群集之前,可以啟用和配置vSphereHA,但是沒有主機(jī)成員的群集不能完全運(yùn)行,并且某些群集設(shè)置不可用。創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集創(chuàng)建vSpher279.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置打開vSphere可用性頁面創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere289.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置設(shè)置故障和響應(yīng)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere299.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置查看vSphereHA配置進(jìn)度創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere309.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置查看HA首選主機(jī)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere319.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置查看HA從屬主機(jī)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere329.3創(chuàng)建和使用vSphereHA群集完善vSphereHA群集的冗余配置查看默認(rèn)的管理網(wǎng)絡(luò)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集完善vSpher339.3創(chuàng)建和使用vSphereHA群集完善vSphereHA群集的冗余配置增加一個(gè)管理網(wǎng)絡(luò)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集完善vSpher349.3創(chuàng)建和使用vSphereHA群集完善vSphereHA群集的冗余配置重新配置vSphereHA創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集完善vSpher359.3創(chuàng)建和使用vSphereHA群集完善vSphereHA群集的冗余配置發(fā)現(xiàn)vSphereHA檢測信號數(shù)據(jù)存儲沒有冗余創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集完善vSpher369.3創(chuàng)建和使用vSphereHA群集禁用準(zhǔn)入控制vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集禁用準(zhǔn)入控制vS379.3創(chuàng)建和使用vSphereHA群集在主機(jī)上運(yùn)行虛擬機(jī)vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集在主機(jī)上運(yùn)行虛擬389.3創(chuàng)建和使用vSphereHA群集發(fā)現(xiàn)虛擬機(jī)仍在運(yùn)行vSphereHA功能測試給出主機(jī)狀態(tài)異常和vSphereHA正在故障切換的提示9.3創(chuàng)建和使用vSphereHA群集發(fā)現(xiàn)虛擬機(jī)仍在運(yùn)399.3創(chuàng)建和使用vSphereHA群集主機(jī)A出現(xiàn)故障vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集主機(jī)A出現(xiàn)故障v409.3創(chuàng)建和使用vSphereHA群集虛擬機(jī)已經(jīng)遷移到主機(jī)B上vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集虛擬機(jī)已經(jīng)遷移到419.3創(chuàng)建和使用vSphereHA群集主機(jī)B成為首選主機(jī)vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集主機(jī)B成為首選主429.3創(chuàng)建和使用vSphereHA群集發(fā)現(xiàn)當(dāng)前vSphereHA群集的問題vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集發(fā)現(xiàn)當(dāng)前vSph439.3創(chuàng)建和使用vSphereHA群集主機(jī)A變?yōu)閺膶僦鳈C(jī)vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集主機(jī)A變?yōu)閺膶僦?49.3創(chuàng)建和使用vSphereHA群集測試:發(fā)現(xiàn)請求超時(shí),接著就是無法訪問,這是虛擬機(jī)被關(guān)閉;后面有一個(gè)較大的延時(shí),表明虛擬機(jī)正在恢復(fù);最后又能正常訪問,延時(shí)都不超過1ms,這說明恢復(fù)成功。vSphereHA功能測試請求超時(shí)。請求超時(shí)。來自192.168.1.111的回復(fù):無法訪問目標(biāo)主機(jī)。來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=1999msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=128請求超時(shí)。來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=1289.3創(chuàng)建和使用vSphereHA群集測試:發(fā)現(xiàn)請求超459.3創(chuàng)建和使用vSphereHA群集主機(jī)故障響應(yīng)設(shè)置如何響應(yīng)vSphereHA群集中發(fā)生的主機(jī)故障。配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集主機(jī)故障響應(yīng)配置469.3創(chuàng)建和使用vSphereHA群集主機(jī)隔離響應(yīng)設(shè)置如何響應(yīng)vSphereHA群集中發(fā)生的主機(jī)隔離。配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集主機(jī)隔離響應(yīng)配置479.3創(chuàng)建和使用vSphereHA群集配置VMCP響應(yīng)設(shè)置APD故障響應(yīng)配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集配置VMCP響應(yīng)489.3創(chuàng)建和使用vSphereHA群集配置VMCP響應(yīng)設(shè)置PDL故障響應(yīng)配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集配置VMCP響應(yīng)499.3創(chuàng)建和使用vSphereHA群集設(shè)置虛擬機(jī)監(jiān)控打開虛擬機(jī)和應(yīng)用程序監(jiān)控,并設(shè)置vSphereHA群集的監(jiān)控敏感度。配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集設(shè)置虛擬機(jī)監(jiān)控配509.3創(chuàng)建和使用vSphereHA群集設(shè)置主動式HA故障和響應(yīng)配置主動式HA配置當(dāng)提供程序通知vCenter其運(yùn)行狀況降級時(shí)主動式HA的響應(yīng)方式。9.3創(chuàng)建和使用vSphereHA群集設(shè)置主動式HA故519.3創(chuàng)建和使用vSphereHA群集選擇準(zhǔn)入控制策略避免資源碎片。故障切換資源的靈活性。群集的異構(gòu)。運(yùn)行環(huán)境。配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇準(zhǔn)入控制策略529.3創(chuàng)建和使用vSphereHA群集設(shè)置基本控制策略設(shè)置準(zhǔn)入控制配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集設(shè)置基本控制策略539.3創(chuàng)建和使用vSphereHA群集選擇群集資源百分比查看HA群集的摘要信息配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇群集資源百分549.3創(chuàng)建和使用vSphereHA群集選擇群集資源百分比調(diào)整預(yù)留資源的百分比配置準(zhǔn)入控制提示配置的資源不足9.3創(chuàng)建和使用vSphereHA群集選擇群集資源百分559.3創(chuàng)建和使用vSphereHA群集選擇插槽策略查看默認(rèn)的插槽策略配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置569.3創(chuàng)建和使用vSphereHA群集選擇插槽策略插槽計(jì)算數(shù)據(jù)配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置579.3創(chuàng)建和使用vSphereHA群集選擇插槽策略找出CPU和內(nèi)存資源占用最多的虛擬機(jī)配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置589.3創(chuàng)建和使用vSphereHA群集選擇插槽策略更改插槽大小策略配置準(zhǔn)入控制查看調(diào)整后的插槽參數(shù)9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置599.3創(chuàng)建和使用vSphereHA群集選擇插槽策略更改虛擬機(jī)的CPU預(yù)留配置準(zhǔn)入控制計(jì)算和查看需要多個(gè)插槽的虛擬機(jī)9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置609.3創(chuàng)建和使用vSphereHA群集選擇插槽策略查看故障切換前的插槽數(shù)據(jù)配置準(zhǔn)入控制查看故障切換后的插槽數(shù)據(jù)9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置619.3創(chuàng)建和使用vSphereHA群集選擇專用故障切換主機(jī)添加故障切換主機(jī)配置準(zhǔn)入控制設(shè)置專用故障切換主機(jī)9.3創(chuàng)建和使用vSphereHA群集選擇專用故障切換629.3創(chuàng)建和使用vSphereHA群集選擇插槽策略選擇檢測信號數(shù)據(jù)存儲選擇策略自動選擇可從以下主機(jī)訪問的數(shù)據(jù)存儲。僅使用指定列表中的數(shù)據(jù)存儲。使用指定列表中的數(shù)據(jù)存儲并根據(jù)需要自動補(bǔ)充。設(shè)置檢測信號數(shù)據(jù)存儲配置檢測信號數(shù)據(jù)存儲9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置639.3創(chuàng)建和使用vSphereHA群集自定義個(gè)別虛擬機(jī)的vSphereHA設(shè)置通過設(shè)置替代項(xiàng)來自定義個(gè)別虛擬機(jī)的HA設(shè)置9.3創(chuàng)建和使用vSphereHA群集自定義個(gè)別虛擬機(jī)64vSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用vSphereHA群集vSphereFT基礎(chǔ)配置和使用vSphereFTvSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用v659.4vSphereFT基礎(chǔ)vSphereFT的工作原理vSphereFT的工作原理9.4vSphereFT基礎(chǔ)vSphereFT的工作669.4vSphereFT基礎(chǔ)舊版FT的工作原理vSphereFT的工作原理9.4vSphereFT基礎(chǔ)舊版FT的工作原理vSph679.4vSphereFT基礎(chǔ)需要始終可用的應(yīng)用程序,尤其是用戶希望在硬件故障期間保持持久客戶端連接的應(yīng)用程序。不能通過任何其他方式實(shí)現(xiàn)群集功能的自定義應(yīng)用程序。可以通過自定義群集解決方案提供高可用性,但這些解決方案太復(fù)雜,很難進(jìn)行配置和維護(hù)的情況。按需容錯(cuò)(On-DemandFaultTolerance)。vSphereFT的應(yīng)用場合9.4vSphereFT基礎(chǔ)需要始終可用的應(yīng)用程序,尤689.4vSphereFT基礎(chǔ)FT不支持的vSphere功能快照。StoragevMotion。鏈接克隆。虛擬機(jī)組件保護(hù)(VMCP)。虛擬卷數(shù)據(jù)存儲?;诖鎯Φ牟呗怨芾怼/O篩選器。vSphereFT互操作性9.4vSphereFT基礎(chǔ)FT不支持的vSphere699.4vSphereFT基礎(chǔ)與FT不兼容的功能和設(shè)備物理裸磁盤映射(RDM)。由物理或遠(yuǎn)程設(shè)備支持的CD-ROM或虛擬軟盤設(shè)備。USB和聲音設(shè)備。網(wǎng)卡直通(NICpassthrough)。熱插拔設(shè)備。串行或并行端口。啟用了3D的視頻設(shè)備。虛擬EFI固件。虛擬機(jī)通信接口(VMCI)。將FT功能與DRS配合使用僅當(dāng)啟用EVC(增強(qiáng)型vMotion兼容性)功能時(shí),才可將vSphereFT與DRS配合使用,這將使容錯(cuò)虛擬機(jī)受益于更好的初始放置位置。vSphereFT互操作性9.4vSphereFT基礎(chǔ)與FT不兼容的功能和設(shè)備v70vSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用vSphereHA群集vSphereFT基礎(chǔ)配置和使用vSphereFTvSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用v719.5配置和使用vSphereFTvSphereFT的網(wǎng)絡(luò)要求運(yùn)行容錯(cuò)虛擬機(jī)的每臺主機(jī)上必須配置兩個(gè)不同的網(wǎng)絡(luò)交換機(jī),分別用于vMotion流量和FT日志記錄流量。每臺主機(jī)建議最少使用兩個(gè)物理網(wǎng)卡,一個(gè)網(wǎng)卡專門用于FT日志記錄,另一個(gè)則專門用于vMotion。使用專用的10Gb網(wǎng)絡(luò)用于FT日志記錄,并確認(rèn)網(wǎng)絡(luò)滯后時(shí)間非常短。vSphereFT的群集要求創(chuàng)建vSphereHA群集并啟用HA功能。為確保冗余和最大程度的容錯(cuò)保護(hù),群集中應(yīng)至少有3臺主機(jī)。vSphereFT的要求9.5配置和使用vSphereFTvSphereFT729.5配置和使用vSphereFTvSphereFT的主機(jī)要求主機(jī)必須使用受支持的CPU。主機(jī)必須獲得FT的許可。主機(jī)必須已通過FT認(rèn)證。配置每臺主機(jī)時(shí)都必須在BIOS中啟用硬件虛擬化(HV)。vSphereFT的虛擬機(jī)要求沒有不受支持的設(shè)備連接到虛擬機(jī)。不兼容的vSphere功能一定不能與容錯(cuò)虛擬機(jī)一起運(yùn)行。虛擬機(jī)文件(VMDK文件除外)必須存儲在共享存儲中。開啟FT功能后,容錯(cuò)虛擬機(jī)的預(yù)留內(nèi)存設(shè)置為虛擬機(jī)的內(nèi)存大小。vSphereFT的限制沒有不受支持的設(shè)備連接到虛擬機(jī)。不兼容的vSphere功能一定不能與容錯(cuò)虛擬機(jī)一起運(yùn)行。vSphereFT的要求9.5配置和使用vSphereFTvSphereFT739.5配置和使用vSphereFTvSphereFT的限制群集中的主機(jī)上允許的最大容錯(cuò)虛擬機(jī)(包括主虛擬機(jī)和輔助虛擬機(jī))數(shù)量默認(rèn)值為4;跨主機(jī)上所有容錯(cuò)虛擬機(jī)聚合的最大vCPU數(shù)量默認(rèn)值為8。單個(gè)容錯(cuò)虛擬機(jī)支持的vCPU數(shù)量vSphereStandard和Enterprise最多允許2個(gè),而vSphereEnterprisePlus最多允許4個(gè)。每個(gè)容錯(cuò)虛擬機(jī)最多使用16個(gè)虛擬磁盤。vSphereFT的要求9.5配置和使用vSphereFTvSphereFT749.5配置和使用vSphereFT用于vMotion流量的交換機(jī)為支持FT的ESXi主機(jī)配置網(wǎng)絡(luò)9.5配置和使用vSphereFT用于vMotion流759.5配置和使用vSphereFT啟用FT日志記錄流量的服務(wù)為支持FT的ESXi主機(jī)配置網(wǎng)絡(luò)設(shè)置IP地址9.5配置和使用vSphereFT啟用FT日志記錄流量769.5配置和使用vSphereFTvSphereFT必須在vSphereHA群集環(huán)境中使用。為每臺主機(jī)配置網(wǎng)絡(luò)連接后,創(chuàng)建vSphereHA群集并向其中添加主機(jī)。例中使用之前已創(chuàng)建好的vSphereHA群集(名為DRS-HA_Cluster)。創(chuàng)建vSphereHA群集9.5配置和使用vSphereFTvSphereFT779.5配置和使用vSphereFT虛擬機(jī)啟用FT的前提條件虛擬機(jī)所駐留的主機(jī)并未獲得使用該功能的許可證。虛擬機(jī)所駐留的主機(jī)處于維護(hù)模式或待機(jī)模式。虛擬機(jī)已斷開連接或被孤立(無法訪問其.vmx文件)。用戶沒有打開此功能的權(quán)限。為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT虛擬機(jī)啟用FT的前提789.5配置和使用vSphereFT啟用FT功能的過程檢查出來的FT兼容性問題為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟用FT功能的過程為799.5配置和使用vSphereFT啟用FT功能的過程檢查出來的FT兼容性警告為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟用FT功能的過程為809.5配置和使用vSphereFT啟用FT功能的過程選擇用于放置輔助虛擬機(jī)文件的數(shù)據(jù)存儲選擇用于放置輔助虛擬機(jī)的主機(jī)為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟用FT功能的過程為819.5配置和使用vSphereFT啟用FT功能的過程主虛擬機(jī)輔助虛擬機(jī)為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟用FT功能的過程為829.5配置和使用vSphereFT啟用FT功能的過程在vSphereHA群集中同時(shí)查看主、輔助虛擬機(jī)為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟用FT功能的過程為839.5配置和使用vSphereFT啟用FT功能的過程系統(tǒng)重置虛擬機(jī)的內(nèi)存限制為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟用FT功能的過程為849.5配置和使用vSphereFT輔助虛擬機(jī)放置虛擬機(jī)的容錯(cuò)狀態(tài)為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT輔助虛擬機(jī)放置為虛擬859.5配置和使用vSphereFT啟動容錯(cuò)虛擬機(jī)打開電源故障先后啟動主虛擬機(jī)和輔助虛擬機(jī)為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟動容錯(cuò)虛擬機(jī)為虛擬869.5配置和使用vSphereFT啟動容錯(cuò)虛擬機(jī)發(fā)現(xiàn)主虛擬機(jī)和輔助虛擬機(jī)已經(jīng)加電運(yùn)行為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟動容錯(cuò)虛擬機(jī)為虛擬879.5配置和使用vSphereFT啟動容錯(cuò)虛擬機(jī)主虛擬機(jī)的操作菜單輔助虛擬機(jī)的操作菜單為虛擬機(jī)啟用FT功能9.5配置和使用vSphereFT啟動容錯(cuò)虛擬機(jī)為虛擬889.5配置和使用vSphereFT測試故障切換輔助虛擬機(jī)成功接管主虛擬機(jī)原主虛擬機(jī)變?yōu)檩o助虛擬機(jī)(狀態(tài)未知)測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT測試故障切換測試虛擬899.5配置和使用vSphereFT測試故障切換新的輔助虛擬機(jī)(未打開電源)新的輔助虛擬機(jī)(已打開電源)測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT測試故障切換測試虛擬909.5配置和使用vSphereFT測試故障切換新的主虛擬機(jī)容錯(cuò)狀態(tài)測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT測試故障切換測試虛擬919.5配置和使用vSphereFT測試故障切換測試故障切換的事件測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT測試故障切換測試虛擬929.5配置和使用vSphereFT測試重新啟動輔助虛擬機(jī)通過觸發(fā)輔助虛擬機(jī)發(fā)生故障來測試主虛擬機(jī)提供的FT功能。執(zhí)行“測試重新啟動輔助虛擬機(jī)”命令觸發(fā)輔助虛擬機(jī)的故障導(dǎo)致輔助虛擬機(jī)終止運(yùn)行,主虛擬機(jī)由于沒有關(guān)聯(lián)的虛擬機(jī)支持,處于不受保護(hù)狀態(tài)。輔助虛擬機(jī)恢復(fù)運(yùn)行,而主虛擬機(jī)也將重回受保護(hù)狀態(tài)。測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT測試重新啟動輔助虛擬939.5配置和使用vSphereFT實(shí)際測試FT功能測試準(zhǔn)備調(diào)整虛擬機(jī)放置主虛擬機(jī)所在的主機(jī)只運(yùn)行該虛擬機(jī)測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT實(shí)際測試FT功能測試949.5配置和使用vSphereFT實(shí)際測試FT功能測試準(zhǔn)備啟動虛擬機(jī)遠(yuǎn)程控制臺測試虛擬機(jī)的FT功能虛擬機(jī)的遠(yuǎn)程控制臺界面9.5配置和使用vSphereFT實(shí)際測試FT功能測試959.5配置和使用vSphereFT實(shí)際測試FT功能模擬主機(jī)故障輔助虛擬機(jī)接管主虛擬機(jī)原主虛擬機(jī)變?yōu)檩o助虛擬機(jī)(狀態(tài)未知)測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT實(shí)際測試FT功能測試969.5配置和使用vSphereFT實(shí)際測試FT功能模擬主機(jī)故障虛擬機(jī)FT狀況更改測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT實(shí)際測試FT功能測試979.5配置和使用vSphereFT實(shí)際測試FT功能模擬主機(jī)故障測試:發(fā)現(xiàn)只有有限的幾次網(wǎng)絡(luò)延時(shí)較大,還有一次請求超時(shí),其他延時(shí)都不超過1ms,這說明整個(gè)故障切換期間,網(wǎng)絡(luò)連接比較穩(wěn)定,沒有中斷虛擬機(jī)運(yùn)行。不過,比虛擬機(jī)實(shí)時(shí)遷移的延時(shí)波動更大一下,這是因?yàn)殡p機(jī)熱備消耗的資源更多。測試虛擬機(jī)的FT功能來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=49msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=32msTTL=128請求超時(shí)。來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=552msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=1msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=1msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=2msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=76msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=1289.5配置和使用vSphereFT實(shí)際測試FT功能測試989.5配置和使用vSphereFT實(shí)際測試FT功能恢復(fù)故障主機(jī)輔助虛擬機(jī)(已關(guān)閉電源)輔助虛擬機(jī)(已打開電源)測試虛擬機(jī)的FT功能9.5配置和使用vSphereFT實(shí)際測試FT功能測試999.5配置和使用vSphereFT遷移輔助虛擬機(jī)遷移輔助虛擬機(jī)(只能遷移計(jì)算機(jī)資源,不能遷移存儲)虛擬機(jī)的容錯(cuò)管理9.5配置和使用vSphereFT遷移輔助虛擬機(jī)虛擬機(jī)1009.5配置和使用vSphereFT遷移輔助虛擬機(jī)掛起FT功能虛擬機(jī)的容錯(cuò)管理關(guān)閉FT功能9.5配置和使用vSphereFT遷移輔助虛擬機(jī)虛擬機(jī)101THANKSTHANKS102《服務(wù)器虛擬化技術(shù)與應(yīng)用》工業(yè)和信息化“十三五”人才培養(yǎng)規(guī)劃教材第9章高可用性與容錯(cuò)人民郵電出版社《服務(wù)器虛擬化技術(shù)與應(yīng)用》工業(yè)和信息化“十三五”人才培養(yǎng)規(guī)劃103能力CAPACITY要求了解vSphere高可用性和容錯(cuò)的基礎(chǔ)知識。掌握創(chuàng)建和使用vSphereHA群集的方法。學(xué)會配置和使用vSphereFT。從總體上了解vSphere可用性。能力CAPACITY要求了解vSphere高可用性和容錯(cuò)的104vSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用vSphereHA群集vSphereFT基礎(chǔ)配置和使用vSphereFTvSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用v1059.1vSphere可用性概述主要的可用性功能減少常見維護(hù)操作的計(jì)劃停機(jī)時(shí)間。在發(fā)生故障的情況下提供自動恢復(fù)。提供獨(dú)立于硬件、操作系統(tǒng)和應(yīng)用程序的高可用性。9.1vSphere可用性概述主要的可用性功能減少常見維1069.1vSphere可用性概述減少計(jì)劃停機(jī)時(shí)間避免常見維護(hù)操作的停機(jī)。排除計(jì)劃維護(hù)時(shí)間段。無須干擾用戶和服務(wù),隨時(shí)執(zhí)行維護(hù)。防止非計(jì)劃停機(jī)共享存儲。NIC組合。支持單個(gè)網(wǎng)卡故障的容錯(cuò)。存儲多路徑。高可用性(HighAvailability)。容錯(cuò)(FaultTolerance)。避免計(jì)劃停機(jī)與非計(jì)劃停機(jī)9.1vSphere可用性概述減少計(jì)劃停機(jī)時(shí)間避免計(jì)劃停1079.1vSphere可用性概述vSphereHA保護(hù)應(yīng)用程序可用性的方式通過重啟群集中其他主機(jī)上的虛擬機(jī)來防范服務(wù)器故障。通過持續(xù)監(jiān)控虛擬機(jī)并在檢測到故障的情況下對其重新設(shè)置來防范應(yīng)用程序故障。通過在仍能訪問其數(shù)據(jù)存儲的其他ESXi主機(jī)上重啟受影響的虛擬機(jī),來防范數(shù)據(jù)存儲可訪問性故障。如果虛擬機(jī)所在的主機(jī)在管理網(wǎng)絡(luò)或vSAN網(wǎng)絡(luò)上被隔離,則可以通過重啟這些虛擬機(jī)防止虛擬機(jī)被網(wǎng)絡(luò)隔離。vSphereHA提供快速恢復(fù)9.1vSphere可用性概述vSphereHA保護(hù)應(yīng)1089.1vSphere可用性概述vSphereHA與其他的群集解決方案的不同之處無須在應(yīng)用程序或虛擬機(jī)中安裝特定的軟件,所有工作負(fù)載都受到vSphereHA的保護(hù)??梢詫SphereHA與vSphereDRS組合使用來防范數(shù)據(jù)存儲可訪問性故障。vSphereHA相對于傳統(tǒng)故障切換解決方案的優(yōu)勢最小化設(shè)置。降低硬件成本和設(shè)置。提高應(yīng)用程序的可用性。與DRS和vMotion集成。vSphereHA提供快速恢復(fù)9.1vSphere可用性概述vSphereHA與其他1099.1vSphere可用性概述vSphereFT提供更高級別的可用性,防止任何虛擬機(jī)發(fā)生主機(jī)故障時(shí)丟失數(shù)據(jù)、事務(wù)或連接,確保業(yè)務(wù)運(yùn)行不中斷,保持連續(xù)可用性。通過確保主虛擬機(jī)和輔助虛擬機(jī)的狀態(tài)在虛擬機(jī)的指令執(zhí)行中的任何時(shí)間點(diǎn)都相同,vSphereFT能夠提供連續(xù)的可用性。如果運(yùn)行主虛擬機(jī)的主機(jī)或運(yùn)行輔助虛擬機(jī)的主機(jī)發(fā)生故障,則會立即進(jìn)行透明的故障切換。vSphereFT提供連續(xù)可用性9.1vSphere可用性概述vSphereFT提供更1109.1vSphere可用性概述使用vCenterHA保護(hù)vCenterServerAppliance防止主機(jī)和硬件故障.防止vCenterServerAppliance故障。vCenterHA保護(hù)vCenterServerAppliance。必須保證PSC的高可用性。使用嵌入式PSC部署主動(Active)節(jié)點(diǎn)。至少部署兩個(gè)PSC實(shí)例,并將它們置于負(fù)載平衡器后面。使用VMwareServiceLifecycleManager保護(hù)vCenterServervCenterServer本身的可用性由VMwareServiceLifecycleManager提供。如果vCenter服務(wù)失敗,VMwareServiceLifecycleManager會重新啟動它。保證vCenterServer的可用性9.1vSphere可用性概述使用vCenterHA保111vSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用vSphereHA群集vSphereFT基礎(chǔ)配置和使用vSphereFTvSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用v1129.2vSphereHA基礎(chǔ)首選主機(jī)和從屬主機(jī)每個(gè)群集通常只有一個(gè)首選主機(jī)。所有其他主機(jī)都是從屬主機(jī)。群集中的首選主機(jī)職責(zé)監(jiān)控從屬主機(jī)的狀態(tài)。監(jiān)控所有受保護(hù)虛擬機(jī)的電源狀態(tài)。管理群集主機(jī)和受保護(hù)虛擬機(jī)的列表。充當(dāng)群集的vCenterServer管理接口,并報(bào)告群集運(yùn)行狀況。群集中的從屬主機(jī)職責(zé)主要通過在本地運(yùn)行虛擬機(jī)監(jiān)控其運(yùn)行時(shí)狀態(tài)。向首選主機(jī)報(bào)告狀態(tài)更新。vSphereHA的工作原理9.2vSphereHA基礎(chǔ)首選主機(jī)和從屬主機(jī)vSph113vSphereHA基礎(chǔ)主機(jī)故障類型故障(Failure)——主機(jī)停止運(yùn)行。隔離(Isolation)——主機(jī)與網(wǎng)絡(luò)隔離。分區(qū)(Partition)——主機(jī)失去與首選主機(jī)的網(wǎng)絡(luò)連接。主動式(Proactive)HA故障當(dāng)主機(jī)組部件發(fā)生故障時(shí),會出現(xiàn)主動式HA故障,并導(dǎo)致冗余損失或非災(zāi)難性故障。如果發(fā)生主動式HA故障,則可以自動執(zhí)行vSphereWebClient的vSphere可用性部分提供的修復(fù)操作。vSphereHA的工作原理vSphereHA基礎(chǔ)主機(jī)故障類型vSphereHA的工1149.2vSphereHA基礎(chǔ)主機(jī)故障的響應(yīng)方式主機(jī)隔離響應(yīng)。虛擬機(jī)依賴關(guān)系。虛擬機(jī)重啟的考慮因素文件可訪問性。虛擬機(jī)與主機(jī)的兼容性。資源預(yù)留。主機(jī)限制。功能限制。vSphereHA的工作原理9.2vSphereHA基礎(chǔ)主機(jī)故障的響應(yīng)方式vSph1159.2vSphereHA基礎(chǔ)虛擬機(jī)和應(yīng)用程序監(jiān)控如果在設(shè)置的時(shí)間內(nèi)未收到VMwareTools檢測信號,虛擬機(jī)監(jiān)控(VMMonitoring)將重啟特定的虛擬機(jī)。如果未收到正在運(yùn)行的應(yīng)用程序的檢測信號,則應(yīng)用程序監(jiān)控(ApplicationMonitoring)可以重啟虛擬機(jī)。虛擬機(jī)組件保護(hù)用于檢測數(shù)據(jù)存儲可訪問性故障,并為受影響的虛擬機(jī)提供自動恢復(fù)。數(shù)據(jù)存儲可訪問性故障類型有以下兩種。PDL(PermanentDeviceLoss)——永久設(shè)備丟失。APD(AllPathsDown)——全部路徑異常。vSphereHA的工作原理9.2vSphereHA基礎(chǔ)虛擬機(jī)和應(yīng)用程序監(jiān)控vSp1169.2vSphereHA基礎(chǔ)網(wǎng)絡(luò)分區(qū)(NetworkPartitions)發(fā)生管理網(wǎng)絡(luò)故障時(shí),群集中的一部分主機(jī)可能無法通過管理網(wǎng)絡(luò)與其他主機(jī)進(jìn)行通信,一個(gè)群集中就可能會出現(xiàn)多個(gè)分區(qū)。已分區(qū)的群集會導(dǎo)致虛擬機(jī)保護(hù)和群集管理功能的降級。數(shù)據(jù)存儲檢測信號首選主機(jī)使用數(shù)據(jù)存儲檢測信號來判斷從屬主機(jī)是否發(fā)生故障,是否位于網(wǎng)絡(luò)分區(qū),是否處于網(wǎng)絡(luò)隔離狀態(tài)。如果從屬主機(jī)已停止數(shù)據(jù)存儲檢測信號,則認(rèn)為其發(fā)生故障了,其虛擬機(jī)在別處重啟。vSphereHA的工作原理9.2vSphereHA基礎(chǔ)網(wǎng)絡(luò)分區(qū)(Network1179.2vSphereHA基礎(chǔ)概述vSphereHA使用準(zhǔn)入控制來確保在主機(jī)出現(xiàn)故障時(shí)為虛擬機(jī)恢復(fù)預(yù)留足夠的資源。準(zhǔn)入控制對資源使用進(jìn)行限制,任何可能違反這些限制的操作都是不允許的。可能被禁止的操作包括打開虛擬機(jī)電源、遷移虛擬機(jī)、增加虛擬機(jī)的CPU或內(nèi)存預(yù)留等。vSphereHA準(zhǔn)入控制的基礎(chǔ)是允許群集容忍多少主機(jī)故障仍然能夠保證故障切換。主機(jī)故障切換容量可以通過3種方式進(jìn)行設(shè)置。群集資源百分比插槽策略(Slotpolicy)專用故障切換主機(jī)。vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)概述vSphereHA的1189.2vSphereHA基礎(chǔ)群集資源百分比準(zhǔn)入控制群集資源百分比可執(zhí)行的準(zhǔn)入控制計(jì)算群集中所有已啟動的虛擬機(jī)的總資源需求。計(jì)算可用于虛擬機(jī)的主機(jī)資源總量。計(jì)算群集的當(dāng)前CPU故障切換容量和當(dāng)前內(nèi)存故障切換容量。確定當(dāng)前CPU故障切換容量或當(dāng)前內(nèi)存故障切換容量是否低于相應(yīng)的配置故障切換容量。計(jì)算當(dāng)前故障切換容量CPU組件值是對已啟動的虛擬機(jī)的CPU預(yù)留計(jì)算總和。內(nèi)存組件值是對每個(gè)已啟動的虛擬機(jī)的內(nèi)存預(yù)留(加上內(nèi)存開銷)計(jì)算總和。vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)群集資源百分比準(zhǔn)入控制vS1199.2vSphereHA基礎(chǔ)群集資源百分比準(zhǔn)入控制使用群集資源百分比準(zhǔn)入控制的示例vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)群集資源百分比準(zhǔn)入控制vS1209.2vSphereHA基礎(chǔ)插槽策略準(zhǔn)入控制插槽策略執(zhí)行準(zhǔn)入控制的方式計(jì)算插槽大小。插槽是內(nèi)存和CPU資源的邏輯表示。確定群集中每個(gè)主機(jī)可以容納多少個(gè)插槽。確定群集的當(dāng)前故障切換容量。確定當(dāng)前故障切換容量是否低于配置的故障切換容量。插槽大小計(jì)算——插槽大小由CPU和內(nèi)存兩個(gè)組件組成。使用插槽來計(jì)算當(dāng)前的故障切換容量確定每個(gè)主機(jī)的可用于虛擬機(jī)的CPU和內(nèi)存資源。確定每個(gè)主機(jī)可以支持的最大插槽數(shù)量。通過確定發(fā)生故障仍然有足夠的插槽來滿足所有已啟動的虛擬機(jī)的主機(jī)數(shù)量(從最大值開始)來計(jì)算當(dāng)前故障切換容量。vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)插槽策略準(zhǔn)入控制vSphe1219.2vSphereHA基礎(chǔ)插槽策略準(zhǔn)入控制使用插槽策略準(zhǔn)入控制的示例vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)插槽策略準(zhǔn)入控制vSphe1229.2vSphereHA基礎(chǔ)專用故障切換主機(jī)準(zhǔn)入控制述通過專用故障切換主機(jī)準(zhǔn)入控制,當(dāng)主機(jī)發(fā)生故障時(shí),vSphereHA會嘗試在任何指定的故障切換主機(jī)上重新啟動其虛擬機(jī)。要確保故障切換主機(jī)上的備用容量可用,將無法啟動虛擬機(jī)或使用vMotion將虛擬機(jī)遷移到故障切換主機(jī)。如果使用這種準(zhǔn)入控制并指定多個(gè)故障切換主機(jī),則DRS不會為在故障切換主機(jī)上運(yùn)行的虛擬機(jī)強(qiáng)制執(zhí)行虛擬機(jī)關(guān)聯(lián)規(guī)則。vSphereHA的準(zhǔn)入控制9.2vSphereHA基礎(chǔ)專用故障切換主機(jī)準(zhǔn)入控制述1239.2vSphereHA基礎(chǔ)將vSphereHA與DRS一起使用這種組合將自動故障切換與負(fù)載平衡相結(jié)合,可以將虛擬機(jī)移動到不同的主機(jī)后形成資源更加平衡的群集。在啟用了DRS和vSphereHA準(zhǔn)入控制的群集中,虛擬機(jī)可能不會從進(jìn)入維護(hù)模式的主機(jī)撤離。如果為群集創(chuàng)建DRS關(guān)聯(lián)性規(guī)則,則可以指定vSphereHA在虛擬機(jī)故障切換期間應(yīng)用該規(guī)則的方式。虛擬機(jī)-虛擬機(jī)反關(guān)聯(lián)性規(guī)則——強(qiáng)制指定的虛擬機(jī)在故障切換操作期間保持分開。虛擬機(jī)-主機(jī)關(guān)聯(lián)性規(guī)則——在故障切換操作期間將指定的虛擬機(jī)放置在特定主機(jī)或特定的主機(jī)組的成員上。vSphereHA互操作性9.2vSphereHA基礎(chǔ)將vSphereHA與D1249.2vSphereHA基礎(chǔ)將vSphereHA與vSAN配合使用組合使用vSphereHA與vSAN的ESXi主機(jī)要求所有群集的ESXi主機(jī)必須是版本5.5或更高版本。群集必須至少有3臺ESXi主機(jī)。vSphereHA與vSAN的網(wǎng)絡(luò)差異容量預(yù)留設(shè)置vSphereHA互操作性
啟用vSAN禁用vSANvSphereHA使用的網(wǎng)絡(luò)vSAN存儲網(wǎng)絡(luò)管理網(wǎng)絡(luò)檢測信號數(shù)據(jù)存儲掛載到一臺以上主機(jī)的任何數(shù)據(jù)存儲,但不是vSAN數(shù)據(jù)存儲掛載到一臺以上主機(jī)的任何數(shù)據(jù)存儲聲明隔離的主機(jī)隔離地址不可ping通,vSAN存儲網(wǎng)絡(luò)不可訪問隔離地址不可ping通,管理網(wǎng)絡(luò)無法訪問9.2vSphereHA基礎(chǔ)將vSphereHA與v1259.2vSphereHA基礎(chǔ)其他vSphereHA互操作性問題虛擬機(jī)組件保護(hù)VMCP不支持vSphereFaultTolerance。VMCP不檢測或響應(yīng)位于vSAN數(shù)據(jù)存儲上的文件的可訪問性問題。VMCP不檢測或響應(yīng)位于虛擬卷數(shù)據(jù)存儲上的文件的可訪問性問題。VMCP不能防止不可訪問的裸設(shè)備映射(RDM)。IPv6群集僅包含ESXi6.0或更高版本的主機(jī)。群集中所有主機(jī)的管理網(wǎng)絡(luò)必須配置為同一IP版本(IPv6或IPv4)。vSphereHA使用的網(wǎng)絡(luò)隔離地址必須與群集管理網(wǎng)絡(luò)使用的IP版本相匹配。不能在使用vSAN的vSphereHA群集中使用IPv6。環(huán)回地址類型不能用于管理網(wǎng)絡(luò)。vSphereHA互操作性9.2vSphereHA基礎(chǔ)其他vSphereHA互126vSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用vSphereHA群集vSphereFT基礎(chǔ)配置和使用vSphereFTvSphere可用性概述vSphereHA基礎(chǔ)創(chuàng)建和使用v1279.3創(chuàng)建和使用vSphereHA群集所有主機(jī)必須獲得vSphereHA許可。群集必須至少包含兩個(gè)主機(jī)。所有主機(jī)必須配置靜態(tài)IP地址。所有主機(jī)必須至少有一個(gè)共同的管理網(wǎng)絡(luò)。要確保任何虛擬機(jī)可以在群集中的任何主機(jī)上運(yùn)行,所有主機(jī)都必須具有訪問相同虛擬機(jī)網(wǎng)絡(luò)和數(shù)據(jù)存儲的權(quán)限。要使虛擬機(jī)監(jiān)控(VMMonitoring)工作,必須安裝VMwareTools。vSphereHA支持IPv4和IPv6。要使虛擬機(jī)組件保護(hù)工作,主機(jī)必須啟用所有路徑下降(APD)超時(shí)功能。要使用虛擬機(jī)組件保護(hù),群集必須包含ESXi6.0主機(jī)或更高版本。只有包含ESXi6.0或更高版本主機(jī)的vSphereHA群集才能用于啟用VMCP。vSphereHA群集的要求9.3創(chuàng)建和使用vSphereHA群集所有主機(jī)必須獲得1289.3創(chuàng)建和使用vSphereHA群集創(chuàng)建vSphereHA群集的準(zhǔn)備工作確定群集的節(jié)點(diǎn)。準(zhǔn)備虛擬網(wǎng)絡(luò)。準(zhǔn)備共享存儲。創(chuàng)建vSphereHA群集要使群集可用于vSphereHA,必須首先創(chuàng)建一個(gè)空群集。在將主機(jī)添加到群集之前,可以啟用和配置vSphereHA,但是沒有主機(jī)成員的群集不能完全運(yùn)行,并且某些群集設(shè)置不可用。創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集創(chuàng)建vSpher1299.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置打開vSphere可用性頁面創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere1309.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置設(shè)置故障和響應(yīng)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere1319.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置查看vSphereHA配置進(jìn)度創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere1329.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置查看HA首選主機(jī)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere1339.3創(chuàng)建和使用vSphereHA群集vSphereHA群集的基本配置查看HA從屬主機(jī)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集vSphere1349.3創(chuàng)建和使用vSphereHA群集完善vSphereHA群集的冗余配置查看默認(rèn)的管理網(wǎng)絡(luò)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集完善vSpher1359.3創(chuàng)建和使用vSphereHA群集完善vSphereHA群集的冗余配置增加一個(gè)管理網(wǎng)絡(luò)創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集完善vSpher1369.3創(chuàng)建和使用vSphereHA群集完善vSphereHA群集的冗余配置重新配置vSphereHA創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集完善vSpher1379.3創(chuàng)建和使用vSphereHA群集完善vSphereHA群集的冗余配置發(fā)現(xiàn)vSphereHA檢測信號數(shù)據(jù)存儲沒有冗余創(chuàng)建一個(gè)vSphereHA群集9.3創(chuàng)建和使用vSphereHA群集完善vSpher1389.3創(chuàng)建和使用vSphereHA群集禁用準(zhǔn)入控制vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集禁用準(zhǔn)入控制vS1399.3創(chuàng)建和使用vSphereHA群集在主機(jī)上運(yùn)行虛擬機(jī)vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集在主機(jī)上運(yùn)行虛擬1409.3創(chuàng)建和使用vSphereHA群集發(fā)現(xiàn)虛擬機(jī)仍在運(yùn)行vSphereHA功能測試給出主機(jī)狀態(tài)異常和vSphereHA正在故障切換的提示9.3創(chuàng)建和使用vSphereHA群集發(fā)現(xiàn)虛擬機(jī)仍在運(yùn)1419.3創(chuàng)建和使用vSphereHA群集主機(jī)A出現(xiàn)故障vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集主機(jī)A出現(xiàn)故障v1429.3創(chuàng)建和使用vSphereHA群集虛擬機(jī)已經(jīng)遷移到主機(jī)B上vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集虛擬機(jī)已經(jīng)遷移到1439.3創(chuàng)建和使用vSphereHA群集主機(jī)B成為首選主機(jī)vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集主機(jī)B成為首選主1449.3創(chuàng)建和使用vSphereHA群集發(fā)現(xiàn)當(dāng)前vSphereHA群集的問題vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集發(fā)現(xiàn)當(dāng)前vSph1459.3創(chuàng)建和使用vSphereHA群集主機(jī)A變?yōu)閺膶僦鳈C(jī)vSphereHA功能測試9.3創(chuàng)建和使用vSphereHA群集主機(jī)A變?yōu)閺膶僦?469.3創(chuàng)建和使用vSphereHA群集測試:發(fā)現(xiàn)請求超時(shí),接著就是無法訪問,這是虛擬機(jī)被關(guān)閉;后面有一個(gè)較大的延時(shí),表明虛擬機(jī)正在恢復(fù);最后又能正常訪問,延時(shí)都不超過1ms,這說明恢復(fù)成功。vSphereHA功能測試請求超時(shí)。請求超時(shí)。來自192.168.1.111的回復(fù):無法訪問目標(biāo)主機(jī)。來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間=1999msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=128請求超時(shí)。來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=128來自192.168.1.136的回復(fù):字節(jié)=32時(shí)間<1msTTL=1289.3創(chuàng)建和使用vSphereHA群集測試:發(fā)現(xiàn)請求超1479.3創(chuàng)建和使用vSphereHA群集主機(jī)故障響應(yīng)設(shè)置如何響應(yīng)vSphereHA群集中發(fā)生的主機(jī)故障。配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集主機(jī)故障響應(yīng)配置1489.3創(chuàng)建和使用vSphereHA群集主機(jī)隔離響應(yīng)設(shè)置如何響應(yīng)vSphereHA群集中發(fā)生的主機(jī)隔離。配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集主機(jī)隔離響應(yīng)配置1499.3創(chuàng)建和使用vSphereHA群集配置VMCP響應(yīng)設(shè)置APD故障響應(yīng)配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集配置VMCP響應(yīng)1509.3創(chuàng)建和使用vSphereHA群集配置VMCP響應(yīng)設(shè)置PDL故障響應(yīng)配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集配置VMCP響應(yīng)1519.3創(chuàng)建和使用vSphereHA群集設(shè)置虛擬機(jī)監(jiān)控打開虛擬機(jī)和應(yīng)用程序監(jiān)控,并設(shè)置vSphereHA群集的監(jiān)控敏感度。配置vSphereHA故障響應(yīng)9.3創(chuàng)建和使用vSphereHA群集設(shè)置虛擬機(jī)監(jiān)控配1529.3創(chuàng)建和使用vSphereHA群集設(shè)置主動式HA故障和響應(yīng)配置主動式HA配置當(dāng)提供程序通知vCenter其運(yùn)行狀況降級時(shí)主動式HA的響應(yīng)方式。9.3創(chuàng)建和使用vSphereHA群集設(shè)置主動式HA故1539.3創(chuàng)建和使用vSphereHA群集選擇準(zhǔn)入控制策略避免資源碎片。故障切換資源的靈活性。群集的異構(gòu)。運(yùn)行環(huán)境。配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇準(zhǔn)入控制策略1549.3創(chuàng)建和使用vSphereHA群集設(shè)置基本控制策略設(shè)置準(zhǔn)入控制配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集設(shè)置基本控制策略1559.3創(chuàng)建和使用vSphereHA群集選擇群集資源百分比查看HA群集的摘要信息配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇群集資源百分1569.3創(chuàng)建和使用vSphereHA群集選擇群集資源百分比調(diào)整預(yù)留資源的百分比配置準(zhǔn)入控制提示配置的資源不足9.3創(chuàng)建和使用vSphereHA群集選擇群集資源百分1579.3創(chuàng)建和使用vSphereHA群集選擇插槽策略查看默認(rèn)的插槽策略配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置1589.3創(chuàng)建和使用vSphereHA群集選擇插槽策略插槽計(jì)算數(shù)據(jù)配置準(zhǔn)入控制9.3創(chuàng)建和使用vSphereHA群集選擇插槽策略配置1599.3創(chuàng)建和使用vSph
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025-2030全球故障安全制動器行業(yè)調(diào)研及趨勢分析報(bào)告
- 2025年度鋼釘鐵釘產(chǎn)品專利授權(quán)與銷售合同2篇
- 2024年趣味化學(xué)知識競賽題庫及答案(共170題)
- 委托房地產(chǎn)中介服務(wù)合同書
- 2025年度個(gè)人設(shè)備租賃借款合同模板6篇
- 科技驅(qū)動下的康復(fù)治療新方法研究
- 二零二五年度車輛租賃合同補(bǔ)充協(xié)議范本- 商務(wù)接送服務(wù)4篇
- 2025版新編國際商務(wù)日語談判培訓(xùn)效果評估合同2篇
- 2025年度文化遺址蟲害防治與文物保護(hù)服務(wù)協(xié)議4篇
- 技術(shù)與文化的融合企業(yè)創(chuàng)新的雙翼
- 紀(jì)委辦案安全培訓(xùn)課件
- 超市連鎖行業(yè)招商策劃
- 醫(yī)藥高等數(shù)學(xué)智慧樹知到課后章節(jié)答案2023年下浙江中醫(yī)藥大學(xué)
- 城市道路智慧路燈項(xiàng)目 投標(biāo)方案(技術(shù)標(biāo))
- 初中英語-Unit2 My dream job(writing)教學(xué)設(shè)計(jì)學(xué)情分析教材分析課后反思
- 【公司利潤質(zhì)量研究國內(nèi)外文獻(xiàn)綜述3400字】
- 工行全國地區(qū)碼
- 新疆2022年中考物理試卷及答案
- 地暖工程監(jiān)理實(shí)施細(xì)則
- 頂部板式吊耳計(jì)算HGT-20574-2018
- 《內(nèi)證觀察筆記》
評論
0/150
提交評論