VMware服務(wù)器虛擬化解決方案詳細(xì)_第1頁(yè)
VMware服務(wù)器虛擬化解決方案詳細(xì)_第2頁(yè)
VMware服務(wù)器虛擬化解決方案詳細(xì)_第3頁(yè)
VMware服務(wù)器虛擬化解決方案詳細(xì)_第4頁(yè)
VMware服務(wù)器虛擬化解決方案詳細(xì)_第5頁(yè)
免費(fèi)預(yù)覽已結(jié)束,剩余18頁(yè)可下載查看

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、虛擬化解決目 錄一、VMware解決方案概述VMware服務(wù)器整合解決方案隨著企業(yè)的成長(zhǎng),IT部門必須快速地提升運(yùn)算能力一以不同操作環(huán)境的新服務(wù) 器形式而存在。因此而產(chǎn)生的服務(wù)器數(shù)量激增則需要大量的資金和人力去運(yùn)作,管 理和升級(jí)。IT部門需要:提升系統(tǒng)維護(hù)的效率快速部署新的系統(tǒng)來(lái)滿足商業(yè)運(yùn)行的需要找到減少相關(guān)資產(chǎn),人力和運(yùn)作成本的方法VMWARE服務(wù)器整合為這些挑戰(zhàn)提供了解決方案。虛擬構(gòu)架提供前所未有的負(fù)載隔離,為所有系統(tǒng)運(yùn)算和I/O設(shè)計(jì)的微型資源控 制。虛擬構(gòu)架完美地結(jié)合現(xiàn)有的管理軟件并在共享存儲(chǔ)(SAN)上改進(jìn)投資回報(bào)率。 通過(guò)把物理系統(tǒng)整合到有VMWARE虛擬構(gòu)架的數(shù)據(jù)中心上去,企業(yè)體驗(yàn)

2、到:更少的硬件和維護(hù)費(fèi)用空閑系統(tǒng)資源的整合提升系統(tǒng)的運(yùn)作效率性價(jià)比高,持續(xù)的產(chǎn)品環(huán)境整合IT基礎(chǔ)服務(wù)器運(yùn)行IT基礎(chǔ)應(yīng)用的服務(wù)器大多數(shù)是Intel構(gòu)架的服務(wù)器這一類的應(yīng)用通常表現(xiàn)為文件和打印服務(wù)潛,活動(dòng)目錄,網(wǎng)頁(yè)服務(wù)器,防火 墻,NAT/DHCP服務(wù)器等。雖然大多數(shù)服務(wù)器系統(tǒng)資源的利用率在10% 15%,但是構(gòu)架,安全和兼容性方面的問(wèn)題導(dǎo)致必須指定不同的物理平臺(tái)來(lái)運(yùn)行它們。管理,安裝補(bǔ)丁和添加安全策略將花去大量的時(shí)間。另外,服務(wù)器的衍生組件 將導(dǎo)致設(shè)備,動(dòng)力和散熱方面的成本上升。因?yàn)榈头?wù)器的利用率,低CPU的合并和中等I/O的要求,IT基礎(chǔ)服務(wù)器首選 作為虛擬化和相關(guān)整合的候選者。虛擬化使得企

3、業(yè)能實(shí)現(xiàn):達(dá)到甚至超過(guò)每個(gè)CPU, 4個(gè)負(fù)載的整合比率更便宜的硬件和運(yùn)作成本在服務(wù)器管理方面的重大改進(jìn),包含添加,移動(dòng),變更,預(yù)制和重置基礎(chǔ)應(yīng)用將變得更強(qiáng)壯和災(zāi)難抵御能力整合重要應(yīng)用服務(wù)器根據(jù)5個(gè)不同的企業(yè)使用服務(wù)器軟件來(lái)大幅降低成本的實(shí)例,VMWARE出具了一 份研究報(bào)告。使用服務(wù)器TCO模型來(lái)分類和計(jì)算成本,我們分析顯示VWARE服務(wù)器軟件幫助 這些企業(yè)實(shí)現(xiàn):減少28%53%的硬件成本減少72%79%的運(yùn)作成本減少29%64%的綜合成本客戶目標(biāo):整合空閑服務(wù)港和存儲(chǔ)資源,為新項(xiàng)目重新部署這些資源提升運(yùn)作效率改進(jìn)服務(wù)潛的管理靈活性通過(guò)零當(dāng)機(jī)維護(hù)改善服務(wù)等級(jí) 標(biāo)準(zhǔn)化環(huán)境和改進(jìn)安全災(zāi)難狀態(tài)下,減

4、少恢復(fù)時(shí)間 更少冗余的情況下,確保高可用性更有效的適應(yīng)動(dòng)態(tài)商業(yè)的需求高級(jí)備份策略在技術(shù)支持和培訓(xùn)方面降低成本刀片服務(wù)器上的VMWARE軟件性能優(yōu)化新的諸如IBM刀片中心和HP ProLiant刀片P系列的刀片服務(wù)器長(zhǎng)期致力于滿足 企業(yè)IT主管的整合需求。刀片平臺(tái)提供改良的服務(wù)器管理性能和使運(yùn)作參數(shù)最優(yōu)化,例如減少預(yù)制,復(fù) 雜線纜,動(dòng)力和散熱等方面的開(kāi)支,并節(jié)省機(jī)房空間。帶虛擬中心的VMWARE ESX服務(wù)器部署在刀片平臺(tái)上能改進(jìn)刀片的使用率和刀片 效價(jià)比。除此之外,在預(yù)制新的軟件服務(wù)和維護(hù)現(xiàn)有的服務(wù)時(shí),VMWARE軟件提供更 大的靈活性和響應(yīng)能力。部署在刀片服務(wù)器上的VMWARE虛擬中心通過(guò)管

5、理虛擬和實(shí) 體主機(jī),讓用戶連續(xù)的整合負(fù)載,進(jìn)而優(yōu)化硬件使用率和降低成本。虛擬構(gòu)架把可用的硬件看成普通的資源池,因此,在資源規(guī)劃分配階段能確保 靈活性。在某一負(fù)載達(dá)到峰值的情況下,任務(wù)能輕松地重新分配。預(yù)制一個(gè)新的負(fù) 載無(wú)須部署一個(gè)新的刀片。除此之外,虛擬構(gòu)架幫助我們降低購(gòu)買新刀片底座的成 本。有了 VMWARE您能:靈活而恰當(dāng)?shù)目刂颇?dāng)前的運(yùn)算能力由于更高的系統(tǒng)利用率,節(jié)省超過(guò)35%的運(yùn)作成本使您的基礎(chǔ)構(gòu)架能實(shí)現(xiàn)按需動(dòng)態(tài)預(yù)制,高可用性和靈活管理VMware商業(yè)連續(xù)性解決方案每年成百上千的全球數(shù)據(jù)中心遭遇重大的服務(wù)中斷。這些商業(yè)運(yùn)行將受到用戶 錯(cuò)誤,病毒,硬件故障和自然災(zāi)害等問(wèn)題的影響。當(dāng)前商業(yè)

6、連續(xù)性處于企業(yè)IT策略 的最前沿,并且從管理層到CEO的所有人都非常重視它。成功的商業(yè)連續(xù)性策略元素包含:應(yīng)用程序可用計(jì)劃包含監(jiān)控和平臺(tái)冗余的預(yù)防措施數(shù)據(jù)保護(hù)災(zāi)難恢復(fù)策略有效的人員計(jì)劃使用虛擬構(gòu)架,IT管理員能改進(jìn)商業(yè)連續(xù)性的所有方面,例如:由于主備服務(wù)器之間的硬件獨(dú)立性,使得災(zāi)難恢復(fù)更快而花費(fèi)不多排除計(jì)劃內(nèi)的硬件當(dāng)機(jī),并明顯的減少計(jì)劃內(nèi)的軟件當(dāng)機(jī)管理所有虛擬機(jī)和監(jiān)控宿主機(jī)的單點(diǎn)控制技術(shù)為了實(shí)現(xiàn)捕捉和恢復(fù),完全的把主機(jī)壓縮到文件里去簡(jiǎn)化和可重復(fù)的自動(dòng)程序基于虛擬機(jī)的集群冗余簡(jiǎn)化為了實(shí)現(xiàn)高可用性,企業(yè)使用中間軟件例如微軟和Veritas的集群軟件,把兩 臺(tái)服務(wù)器綁定在一個(gè)熱備環(huán)境。即使運(yùn)行在服務(wù)

7、器上的應(yīng)用程序有集群感知能力, 萬(wàn)一主服務(wù)器遭遇硬件或軟件錯(cuò)誤,這樣的安排仍然會(huì)導(dǎo)致非應(yīng)用程序當(dāng)機(jī)。冗余 能消除單點(diǎn)失敗。隨著IT對(duì)企業(yè)運(yùn)作而言變得更加重要,高水平的服務(wù)普遍成為企業(yè)的需求,越 來(lái)越多的應(yīng)用則被要求高度可用。然而,為了實(shí)現(xiàn)如上所述的高可用性集群,就像 很多服務(wù)器運(yùn)行應(yīng)用一樣,企業(yè)需要預(yù)備和管理兩次。有了虛擬化,IT管理員能在運(yùn)行重要應(yīng)用的實(shí)體機(jī)和同等配置的虛擬機(jī)上創(chuàng)建 集群。在待機(jī)狀態(tài)下,虛擬機(jī)并不消耗計(jì)算機(jī)資源,并且能以非常高的比例整合到 一個(gè)或幾個(gè)實(shí)體平臺(tái)上去。結(jié)果,企業(yè)無(wú)須在硬件數(shù)量或管理和安裝補(bǔ)丁上投入雙 倍的人力和物力,從而實(shí)現(xiàn)高可用性。冗余的方式將由2N變?yōu)镹+1。

8、實(shí)體到虛擬的集群和實(shí)體到實(shí)體的集群一樣都支持同樣的集群軟件。同時(shí),節(jié) 省的成本能為更多的負(fù)載實(shí)現(xiàn)高可用性并簽署更多的高水平服務(wù)協(xié)議。無(wú)須原硬件的數(shù)據(jù)恢復(fù)大多數(shù)企業(yè)IT部門使用常用的備份軟件,例如Tivoli Storage Manager, Legato Networker,或者Veritas NetBackup來(lái)創(chuàng)建數(shù)據(jù)和應(yīng)用程序備份。既然備份策略能 抵御用戶錯(cuò)誤和某些情況下的軟硬件故障,比較長(zhǎng)的恢復(fù)時(shí)間和多恢復(fù)點(diǎn)是能被接 受的。然而,為了獲得備份所帶來(lái)的好處,企業(yè)必須確保數(shù)據(jù)確實(shí)能被恢復(fù)。業(yè)余備份,專業(yè)恢復(fù)為了測(cè)試數(shù)據(jù)恢復(fù),IT管理員需要為每個(gè)已備份的主機(jī)提供一臺(tái)測(cè)試的失敗轉(zhuǎn) 移服務(wù)器,安

9、裝操作系統(tǒng),安裝備份代理,嘗試在測(cè)試失敗轉(zhuǎn)移服務(wù)器上調(diào)整 Windows注冊(cè)表和其他系統(tǒng)配置。如果系統(tǒng)調(diào)整成功,備份服務(wù)器和備份代理才能被 用來(lái)測(cè)試數(shù)據(jù)恢復(fù)。預(yù)制新的服務(wù)器和調(diào)整Windows注冊(cè)表是一個(gè)漫長(zhǎng)的手工過(guò)程并且有時(shí)并不可 能。這樣,在不同的失敗轉(zhuǎn)移服務(wù)器實(shí)現(xiàn)數(shù)據(jù)恢復(fù)是存在疑問(wèn)的。這些問(wèn)題將被虛擬失敗轉(zhuǎn)移硬件給解決了。此外,操作系統(tǒng)安裝,備份代理的 安裝和Windows注冊(cè)表的調(diào)整只需做一次。此后,一個(gè)完整的已配置的VM模板將被 存儲(chǔ)在VM模板庫(kù)內(nèi)。Vmware軟件能確保企業(yè):為災(zāi)難后的測(cè)試和恢復(fù),消除硬件資源方面的障礙避免系統(tǒng)和備份代理的安裝,用虛擬機(jī)模板來(lái)縮短恢復(fù)周期用標(biāo)準(zhǔn)的虛擬

10、化硬件,使得災(zāi)難恢復(fù)更加可靠和可重復(fù)失敗轉(zhuǎn)移服務(wù)器的整合和自動(dòng)化對(duì)于關(guān)聯(lián)在存儲(chǔ)域網(wǎng)(SAN)上重要應(yīng)用的部署,企業(yè)災(zāi)難恢復(fù)策略通常包含一 個(gè)災(zāi)難恢復(fù)的熱站,這個(gè)站點(diǎn)有在主備之間的完全同步的數(shù)據(jù)復(fù)制。這種策略提供 很少的恢復(fù)點(diǎn)對(duì)象(PRO) o然而,出于恢復(fù)時(shí)間對(duì)象(RTO)的考慮,恢復(fù)時(shí)間非常 依賴于除了數(shù)據(jù)恢復(fù)之外的恢復(fù)實(shí)體服務(wù)器,操作系統(tǒng),系統(tǒng)參數(shù)和應(yīng)用程序的能 力。為了維持較少的恢復(fù)時(shí)間對(duì)象(RTO),硬件和系統(tǒng)的同一配置需要被維護(hù)在失 敗轉(zhuǎn)移站點(diǎn)上。這樣的配置無(wú)論在初始資本投入階段還是在項(xiàng)目運(yùn)作,升級(jí),維護(hù) 和支持階段費(fèi)用都是很昂貴的。這種方案的兩個(gè)明顯缺點(diǎn)在于預(yù)制了太多的新服務(wù)器以及

11、通常沒(méi)有可能為數(shù)據(jù) 恢復(fù)去調(diào)整Windows注冊(cè)表和對(duì)不同的失敗轉(zhuǎn)移服務(wù)器的其他系統(tǒng)參數(shù)進(jìn)行配置部署在整個(gè)企業(yè)內(nèi)的虛擬構(gòu)架能確保企業(yè):避免在失敗轉(zhuǎn)移站點(diǎn)上停滯不前在主備站點(diǎn)上,從服務(wù)器整合角度來(lái)減少投入成本使恢復(fù)過(guò)程自動(dòng)化,并實(shí)現(xiàn)存儲(chǔ)管理軟件的集成改進(jìn)恢復(fù)過(guò)程的可靠性VMware測(cè)試和開(kāi)發(fā)解決方案CIO們一直處于如何進(jìn)一步縮短企業(yè)應(yīng)用程序開(kāi)發(fā)和部署周期的壓力之下。在預(yù) 算范圍內(nèi),及時(shí)提供高質(zhì)量的軟件從來(lái)就不是件容易的事。基于現(xiàn)代的多層體系和 操作系統(tǒng),瀏覽器和防火墻的多版本,任務(wù)變得更加復(fù)雜了。在軟件開(kāi)發(fā)過(guò)程中的一些問(wèn)題包括:對(duì)有限硬件資源的爭(zhēng)奪 不匹配的開(kāi)發(fā)和生產(chǎn)環(huán)境不恰當(dāng)?shù)碾A段使得部署新應(yīng)

12、用程序更具風(fēng)險(xiǎn)分布式的開(kāi)發(fā)團(tuán)隊(duì)之間的交流問(wèn)題遷移開(kāi)發(fā)和測(cè)試環(huán)境到虛擬構(gòu)架在更低的缺陷方面即刻得到明顯的改進(jìn)。VMWARE軟件把完整的測(cè)試平臺(tái)應(yīng)用程序和數(shù)據(jù)壓縮到文件內(nèi)。這些文件能在實(shí) 體主機(jī)之間被輕易的存儲(chǔ),暫停,還原和傳遞。由于通過(guò)VMWARE軟件的隔離擔(dān)保, 多虛擬測(cè)試平臺(tái)能運(yùn)行在同一個(gè)實(shí)體主機(jī)上而不互相影響。此外,虛擬構(gòu)架有許多 為測(cè)試和開(kāi)發(fā)環(huán)境而設(shè)計(jì)的特定功能,例如系統(tǒng)快照,系統(tǒng)級(jí)的調(diào)試支持等有了 VMWARE軟件,企業(yè)開(kāi)發(fā)部門能:把單一的實(shí)體平臺(tái)劃分成一打隔離的開(kāi)發(fā)環(huán)境精確的復(fù)制多模塊產(chǎn)品環(huán)境到虛擬機(jī)上去在不同的團(tuán)隊(duì)之間共享全部的環(huán)境在開(kāi)發(fā)和測(cè)試周期內(nèi),剔除反復(fù)配置的工作使一些以前需

13、要手動(dòng)干預(yù)的測(cè)試過(guò)程自動(dòng)化在單一的實(shí)體平臺(tái)上模擬復(fù)雜的網(wǎng)絡(luò)應(yīng)用在同一物理硬件上運(yùn)行多操作系統(tǒng)VMWARE虛擬軟件能在單一的物理平臺(tái)上無(wú)限多的運(yùn)行完全隔離的系統(tǒng)環(huán)境。如果你是:一個(gè)運(yùn)行兩個(gè)以上分別運(yùn)行不同版本W(wǎng)indows或Linux系統(tǒng)的桌面主機(jī)程 序員 建立跨平臺(tái)分布式軟件的開(kāi)發(fā)者 由于構(gòu)建系統(tǒng)軟件和驅(qū)動(dòng)程序需要,而導(dǎo)致每次程序崩潰都要重啟主機(jī)的 開(kāi)發(fā)人員頻繁地為測(cè)試,開(kāi)發(fā),試驗(yàn)而更改X86服務(wù)器和桌面資源的多微軟系統(tǒng)的 工程管理員在有限硬件資源配置的多系統(tǒng)上測(cè)試和檢驗(yàn)產(chǎn)品的質(zhì)量監(jiān)測(cè)工程師 由于缺少硬件資源而無(wú)法精確的再生客戶環(huán)境的技術(shù)支持專家 在不同的系統(tǒng)上運(yùn)行核心級(jí)調(diào)試的程序員需要在不同

14、現(xiàn)場(chǎng)。檢測(cè)產(chǎn)品的外表,質(zhì)地和功能的質(zhì)檢工程師單一實(shí)體平臺(tái)上配置開(kāi)發(fā)環(huán)境現(xiàn)代企業(yè)軟件應(yīng)用從屬于協(xié)議設(shè)計(jì),系統(tǒng)環(huán)境,版本沖突和硬件依賴的各種變 化。如果所有都不是多層應(yīng)用的話,大多數(shù)需要能在產(chǎn)品和開(kāi)發(fā)下,帶分布式連通 和配置的多個(gè)主機(jī),這樣必將導(dǎo)致大量的基于X86平臺(tái)上的開(kāi)發(fā)和測(cè)試應(yīng)用,例如 網(wǎng)頁(yè)服務(wù)器,應(yīng)用服務(wù)潛或者數(shù)據(jù)庫(kù)難于管理。這些經(jīng)常被限定在一個(gè)固定的操作 系統(tǒng)和軟件版本上,這樣使得他們得占據(jù)一個(gè)很大的空間。二、VMware虛擬化實(shí)施方案設(shè)計(jì)需求分析為了提高X86架構(gòu)服務(wù)港上的信息系統(tǒng)高可用性,保證信息系統(tǒng)的業(yè)務(wù)連續(xù)性, 保證后臺(tái)數(shù)據(jù)的安全性,我們應(yīng)用VMware vSphere部署全新的

15、虛擬化架構(gòu)。VMware vSphere是業(yè)界首款云計(jì)算操作系統(tǒng),它利用虛擬化的強(qiáng)大能力將數(shù)據(jù) 中心轉(zhuǎn)換為顯著簡(jiǎn)化的云計(jì)算基礎(chǔ)架構(gòu),使IT組織能夠利用內(nèi)部和外部資源,安全 和低風(fēng)險(xiǎn)地提供新一代靈活可靠的IT服務(wù)。VMware vSphere顯著降低了資本和運(yùn) 營(yíng)成本,在加強(qiáng)IT服務(wù)交付控制的同時(shí),還保留了在任何類型的操作系統(tǒng)、應(yīng)用程 序和硬件、使用內(nèi)部托管或外部資源之間選擇的靈活性。有了為內(nèi)部和外部云計(jì)算提 供基礎(chǔ)的VMware vSphere,并使用聯(lián)邦和標(biāo)準(zhǔn)來(lái)連接內(nèi)部和外部云計(jì)算基礎(chǔ)架構(gòu), 各種規(guī)模的組織都能實(shí)現(xiàn)云計(jì)算的全部?jī)?yōu)勢(shì)。圖表1虛擬化云平臺(tái)的設(shè)計(jì)結(jié)構(gòu)作為成熟的虛擬化技術(shù),VMwar

16、e vSphere對(duì)整體應(yīng)用體系架構(gòu)設(shè)計(jì)的改變很大, 單從虛擬架構(gòu)角度來(lái)看,可以大致分為基礎(chǔ)架構(gòu)服務(wù)層、應(yīng)用程序服務(wù)層和虛擬應(yīng)用 程序?qū)印5珡墓芾磉\(yùn)維的角度來(lái)看,又可以分為基礎(chǔ)架構(gòu)管理層、虛擬資源管理層和 自動(dòng)化服務(wù)管理層。方案拓?fù)鋱D方案構(gòu)成部分詳細(xì)說(shuō)明該方案所涉及軟贏件清單1.1.1 3. 1軟件需求VMware vSphere 4、 VMware vCenter server 4、 Lab manager 4。主要功能包括 HA> vMotion、DRS、Fault Tolerance DPM> Storage vMotion、 vStorage Thin Provisioni

17、ng (精簡(jiǎn)配置)、Data Recovery> Update Manager> vShieldZone> Host Profile、vNetwork 等等。1.1.2 硬件需求20臺(tái)IBM服務(wù)器、1臺(tái)普通PC Server>共享存儲(chǔ)、FC SANIBM X3850配置至少為4顆4核CPU, 32G內(nèi)存,配置雙硬盤RAID1,雙光纖HBA 卡IBMX3650配置至少為2顆4核CPU, 16G內(nèi)存,配置雙硬盤RAID1,雙光纖HBA 卡方案結(jié)構(gòu)描述2.4.1 基礎(chǔ)架構(gòu)服務(wù)層基礎(chǔ)架構(gòu)服務(wù)層是整個(gè)虛擬架構(gòu)的重要支撐,主要是將物理的資源,包括計(jì)算資 源、存儲(chǔ)資源和網(wǎng)絡(luò)資源進(jìn)行虛

18、擬化,提供一些虛擬化的基本單元,為整個(gè)架構(gòu)的虛 擬化做好鋪墊,一般稱為:vCompute vStorage和vNetwork。這部分的要點(diǎn)如下:對(duì)于vCompute,主要包括:計(jì)算資源的分配粒度;包括內(nèi)存和CPU的分配方式。能夠進(jìn)行分配的粒度越細(xì),往往效率越高,所以,內(nèi)存可以分配細(xì)化到MB, CPU分配可以細(xì)化到MHzo計(jì)算資源的動(dòng)態(tài)調(diào)度;包括DRS和DPM。DRS (Distributed ResourceScheduler)就是分布式資源調(diào)度,虛擬機(jī)能夠在不同的物理服務(wù)器之間根據(jù) 負(fù)載的均衡進(jìn)行自動(dòng)調(diào)度,這是資源(CPU和內(nèi)存)動(dòng)態(tài)調(diào)度的重要指標(biāo)。DPM(Distributed Power

19、 Manager)是電源的動(dòng)態(tài)管理模塊,也是最近虛擬化領(lǐng)域的重要技術(shù)。DPM可以讓服務(wù)器在負(fù)載較低的時(shí)候進(jìn)行進(jìn)一步的動(dòng)態(tài)整 合,從而大量節(jié)能。Hypervisor是服務(wù)器虛擬化的基石;目前,瘦Hypervisor已經(jīng)成為虛擬化 行業(yè)的重要趨勢(shì),通過(guò)Hypervisor的瘦化,可以降低虛擬化本身的超載, 降低虛擬化本身的資源消耗,從而提升整個(gè)虛擬化系統(tǒng)的性能。對(duì)于vStorage,主要包括:VMware vStorage Virtual Machine File System (VMFS);虛擬化平臺(tái)中集 群文件系統(tǒng)是構(gòu)建虛擬化高可用的重要基礎(chǔ)技術(shù),通過(guò)虛擬化集群文件系 統(tǒng),可以確保進(jìn)行虛擬環(huán)境

20、交叉訪問(wèn)時(shí),保證數(shù)據(jù)的完整性和可靠性。卷增長(zhǎng);卷的動(dòng)態(tài)成長(zhǎng)可以實(shí)現(xiàn)磁盤卷的在線擴(kuò)展,為服務(wù)器虛擬化提供強(qiáng) 大的存儲(chǔ)虛擬支持能力,滿足存儲(chǔ)卷的按需擴(kuò)展。Storage vMotion:可以實(shí)現(xiàn)存儲(chǔ)遷移時(shí)應(yīng)用不需要停機(jī),這是存儲(chǔ)虛擬化 和服務(wù)器虛擬化結(jié)合的范例,成為服務(wù)器虛擬化的標(biāo)準(zhǔn)配置功能。Thin Provisioning ; (vStorage精簡(jiǎn)配置)的具體實(shí)現(xiàn)見(jiàn)下圖,最大的好 處是提高存儲(chǔ)的利用率,降低存儲(chǔ)的成本超過(guò)50%。圖表2 vStorage精簡(jiǎn)配置示意圖對(duì)于vNetwork,主要包括:虛擬網(wǎng)卡;是為了滿足同一服務(wù)器上多個(gè)虛擬機(jī)而建立的,是服務(wù)潛虛擬化 的重要基石,今天市場(chǎng)上的虛擬

21、化軟件都可以提供這個(gè)能力。vNetwork虛擬交換機(jī);可以在虛擬機(jī)和物理機(jī)之間提供第2層連接性,其 功能包括:虛擬局域網(wǎng)分段(有助于簡(jiǎn)化網(wǎng)絡(luò))、流量隔離以及改進(jìn)的可管理性內(nèi)置的網(wǎng)卡綁定(有助于提高可用性)以及物理網(wǎng)絡(luò)資源的負(fù)載平衡 流速限制,有助于增強(qiáng)對(duì)物理網(wǎng)絡(luò)流量的控制 vNetwork分布式交換機(jī);主要是進(jìn)一步簡(jiǎn)化虛擬化環(huán)境中的網(wǎng)絡(luò)管理而實(shí) 現(xiàn)的,可在數(shù)據(jù)中心級(jí)別提供集中和聚合的虛擬網(wǎng)絡(luò),從而簡(jiǎn)化并增強(qiáng)虛擬 機(jī)網(wǎng)絡(luò)。2.4.2 應(yīng)用程序服務(wù)層應(yīng)用程序服務(wù)器層是為虛擬化平臺(tái)上應(yīng)用系統(tǒng)的可用性、安全性和可擴(kuò)展性進(jìn) 行服務(wù)的,是整個(gè)虛擬化架構(gòu)中最為重要的組成部分之一。因此,這個(gè)層次的服務(wù) 也相當(dāng)

22、豐富,也需要相當(dāng)成熟的經(jīng)驗(yàn)才能保證整個(gè)虛擬化的成功;換句話說(shuō),只有 虛擬化平臺(tái)足夠強(qiáng)壯,才能夠作為云計(jì)算的基礎(chǔ)架構(gòu)平臺(tái)。應(yīng)用程序的可用性主要包括:vMotion;平臺(tái)管理模塊要能提供VMotion功能,可以方便的時(shí)間虛擬機(jī)不 停機(jī)的從一臺(tái)PC服務(wù)器遷移到另外一臺(tái),從而避免“多個(gè)雞蛋放到一個(gè)籃 子”可能造成的顧慮。下面的圖示大概描述了 vMotion功能實(shí)現(xiàn);圖表3 vMotion實(shí)現(xiàn)原理平臺(tái)管理要能提供高可用解決方案,如HA、FT容錯(cuò)功能,確保虛擬機(jī)的可用性。下面圖示了 HA和FT功能機(jī)理;圖表4 VMware HA功能小意圖使用VMware HA實(shí)現(xiàn)經(jīng)濟(jì)高效、獨(dú)立于硬件和操作系統(tǒng)的應(yīng)用程序可

23、用性。圖表5 VMware Fault Tolerance容錯(cuò)技術(shù)功能示意圖使用VMware Fault Tolerance (容錯(cuò)技術(shù))可以實(shí)現(xiàn)完整的業(yè)務(wù)連續(xù)性,當(dāng)有 硬件發(fā)生故障之時(shí),可以保障業(yè)務(wù)系統(tǒng)的連續(xù)運(yùn)行,而不需要中斷應(yīng)用系統(tǒng)。VMware Fault Tolerance (容錯(cuò)技術(shù))提供了迄今為止,最高級(jí)別的業(yè)務(wù)連續(xù)性保 障,可以花費(fèi)最小的代價(jià)得到最高的可靠性要求。NIC/HBA卡的Teaming也是服務(wù)器虛擬化的最基本需求,就是通過(guò)多網(wǎng)卡和 多HBA卡,保證網(wǎng)絡(luò)和存儲(chǔ)訪問(wèn)的冗余性,一旦任何網(wǎng)卡或者HBA卡故障, 都不會(huì)引起虛擬機(jī)的服務(wù)中斷;當(dāng)然,虛擬平臺(tái)的備份和恢復(fù)也是需要考慮的

24、,要能兼容傳統(tǒng)的備份和容災(zāi) 方案,包括 VERITAS、Legato> IBM、HP、CA、Commvault 等的備份方案等。應(yīng)用程序的安全性包括:盡量壓縮Hypervisor本身的代碼,容量降低到50MB以下,以降低Hypervisor本身受攻擊的可能性;VMsafe;提供Hypervisor級(jí)的病毒防范接口,允許第三方廠商進(jìn)行開(kāi)發(fā)接 口,從底層直接進(jìn)行病毒的防范和截殺。下圖示例了 VMsafe API的方式提供 第三方安全接口的示例;圖表6 VMsafe實(shí)現(xiàn)機(jī)理示意圖vSheild Zone:提供動(dòng)態(tài)安全防火墻,確保系統(tǒng)在虛擬化平臺(tái)上遷移時(shí),安 全策略能夠動(dòng)態(tài)遷移,確保系統(tǒng)安全的靈

25、活性。下圖是動(dòng)態(tài)防火墻vSheild Zone的實(shí)現(xiàn)機(jī)理示意。圖表7 vSheild Zone實(shí)現(xiàn)機(jī)理示意圖VMware Distributed Resource Scheduler (DRS);動(dòng)態(tài)地實(shí)現(xiàn)服務(wù)器資源 負(fù)載平衡,以根據(jù)業(yè)務(wù)優(yōu)先級(jí)向正確的應(yīng)用程序提供正確的資源,從而讓?xiě)?yīng) 用程序可以根據(jù)需要壓縮或增長(zhǎng)。圖表8 VMware DRS動(dòng)態(tài)資源調(diào)配示意圖VMware Data Recovery為小型環(huán)境中的虛擬機(jī)提供簡(jiǎn)單、經(jīng)濟(jì)高效、無(wú)代理的備份和恢復(fù)。圖表 9 VMware Data Recovery 備份機(jī)制VMware Data Recovery備份模塊具有以下一些特性:虛擬機(jī)的無(wú)代

26、理、基于磁盤的備份和恢復(fù);虛擬機(jī)或文件級(jí)別的恢復(fù);增量備份和消除重復(fù)數(shù)據(jù)以節(jié)約磁盤空間;為虛擬機(jī)提供快速、簡(jiǎn)單和完整的數(shù)據(jù)保護(hù):通過(guò)vCenter實(shí)現(xiàn)集中式管理;經(jīng)濟(jì)高效的存儲(chǔ)管理。應(yīng)用程序的可擴(kuò)展性包括:CPU、內(nèi)存的熱添加和磁盤、網(wǎng)絡(luò)等設(shè)備的熱添 加和刪除,從而確保整個(gè)虛擬化平臺(tái)具有足夠的彈性。這也成為虛擬化平臺(tái) 靈活性的重要指標(biāo),許多應(yīng)用場(chǎng)景都可以從這個(gè)特性中獲益。圖表10虛擬機(jī)的可擴(kuò)展性2.4.3 虛擬應(yīng)用程序?qū)覸Mware vSphere包括對(duì)vApp的支持,vApp是包含一個(gè)或多個(gè)虛擬機(jī)的邏輯 實(shí)體,它使用行業(yè)標(biāo)準(zhǔn)開(kāi)放虛擬化格式來(lái)指定和封裝多層應(yīng)用程序的所有組件,以 及與該應(yīng)用程序

27、相關(guān)聯(lián)的操作策略和服務(wù)級(jí)別。圖表11 vApp功能示意圖虛擬應(yīng)用程序?qū)又饕菓?yīng)用的打包模式的變革,傳統(tǒng)的應(yīng)用必須要進(jìn)行安裝才 可以使用,通過(guò)VMware虛擬化技術(shù),用戶可以更為便捷的部署應(yīng)用,比如將應(yīng)用系 統(tǒng)當(dāng)作文件的方式進(jìn)行訪問(wèn)。這實(shí)際上有兩個(gè)趨勢(shì),一是應(yīng)用本身的虛擬化,二是 應(yīng)用虛擬設(shè)備化。應(yīng)用的虛擬化就是讓任何應(yīng)用都能通過(guò)單個(gè)或一組文件進(jìn)行封 裝,便于應(yīng)用的遷移和快速部署;應(yīng)用的設(shè)備虛擬化就是將應(yīng)用開(kāi)發(fā)限制到某一特 點(diǎn)環(huán)境,完成的應(yīng)用通過(guò)虛擬機(jī)的方式提供給用戶,方便了用戶的快速部署使用, 減少了用戶安裝過(guò)程出現(xiàn)的問(wèn)題。當(dāng)然,并不是要求應(yīng)用都必須進(jìn)行這兩種改造才 可以運(yùn)行在虛擬化平臺(tái)上,實(shí)

28、際上應(yīng)用可以和原來(lái)的應(yīng)用方式完全一樣運(yùn)行在虛擬 平臺(tái)上,應(yīng)用的用戶甚至都不知道該應(yīng)用是運(yùn)行在實(shí)體服務(wù)器還是虛擬機(jī)里面。只 所以要進(jìn)行應(yīng)用虛擬化,就是想進(jìn)一步簡(jiǎn)化應(yīng)用的運(yùn)行維護(hù)。2. 4. 4 VMware異地容災(zāi)技術(shù)(可選部分)容災(zāi)部分不包含在本期項(xiàng)目之中,在這里僅作為一個(gè)備選項(xiàng),希望用戶專家和領(lǐng) 導(dǎo)了解虛擬化的容災(zāi)技術(shù)。當(dāng)前基于容災(zāi)的設(shè)計(jì)是以業(yè)務(wù)連續(xù)性為目標(biāo)的,這就意味著如果某一套系統(tǒng)發(fā) 生災(zāi)難,容災(zāi)中心需要能夠自動(dòng)的啟動(dòng)并且連續(xù)工作,VMware平臺(tái)上的應(yīng)用都是包 含操作系統(tǒng)整體,并且是以文件形式存在且脫離具體硬件的,所以容災(zāi)的設(shè)計(jì)和實(shí) 現(xiàn)并不需要類似以往的復(fù)雜的物理環(huán)境搭建。不論是各生產(chǎn)

29、系統(tǒng)還是容災(zāi)中心,只 要是具備虛擬化能力的數(shù)據(jù)中心,都可以方便的部署異地虛擬化容災(zāi)。以下就介紹 VMware的容災(zāi)技術(shù)。VMWARE容災(zāi)系統(tǒng)與傳統(tǒng)的容災(zāi)系統(tǒng)一樣也是涉及到兩個(gè)關(guān)鍵的參數(shù):RPO和RTO1. RTO, Recover Time Object,恢復(fù)時(shí)間指標(biāo),是指當(dāng)災(zāi)難發(fā)生后,生產(chǎn)系統(tǒng) 需要多長(zhǎng)時(shí)間能夠恢復(fù)生產(chǎn),它是衡量企業(yè)在災(zāi)難發(fā)生后多長(zhǎng)時(shí)間能重新開(kāi)始運(yùn)轉(zhuǎn) 的指標(biāo)。2. RPO, Recover Point Object,恢復(fù)點(diǎn)指標(biāo),是指災(zāi)難發(fā)生后,容災(zāi)系統(tǒng)能把 數(shù)據(jù)恢復(fù)到災(zāi)難發(fā)生前的哪一個(gè)時(shí)間點(diǎn)的數(shù)據(jù),它是衡量企業(yè)在災(zāi)難發(fā)生后會(huì)丟失 多少生產(chǎn)數(shù)據(jù)的指標(biāo)。據(jù)國(guó)際標(biāo)準(zhǔn)SHARE 78

30、的定義,災(zāi)難恢復(fù)解決方案可根據(jù)以上的主要問(wèn)題所達(dá)到的程度而分為七級(jí),即從低到高有七種不同層次的災(zāi)難恢復(fù)解決方案,具體可根據(jù) 企業(yè)數(shù)據(jù)的重要性以及需要恢復(fù)的速度和程度,來(lái)設(shè)計(jì)選擇并實(shí)現(xiàn)災(zāi)難恢復(fù)計(jì)劃。一個(gè)完善的容災(zāi)系統(tǒng)主要包括三個(gè)層次:數(shù)據(jù)容災(zāi),應(yīng)用容災(zāi)和網(wǎng)絡(luò)容災(zāi):兩 個(gè)級(jí)別:本地高可用性(HA、Fault Tolerance或者備份),異地容災(zāi)。1 .數(shù)據(jù)容災(zāi)就是指建立一個(gè)異地的數(shù)據(jù)系統(tǒng),該系統(tǒng)是本地關(guān)鍵應(yīng)用數(shù)據(jù)的一 個(gè)同步或異步復(fù)制。2 .應(yīng)用容災(zāi)是在數(shù)據(jù)容災(zāi)的基礎(chǔ)上,在異地建立一套完整的與本地生產(chǎn)系統(tǒng)相 當(dāng)?shù)膫浞輵?yīng)用系統(tǒng)(可以是互為備份),在災(zāi)難情況下,遠(yuǎn)程系統(tǒng)迅速接管業(yè)務(wù)運(yùn) 行。3 .網(wǎng)絡(luò)

31、容災(zāi)是指在災(zāi)難發(fā)生后,當(dāng)應(yīng)用系統(tǒng)完成正確的遷移后,將訪問(wèn)應(yīng)用系 統(tǒng)的網(wǎng)絡(luò)流量正確的導(dǎo)向遠(yuǎn)程的容災(zāi)系統(tǒng)。4 .本地高可用性可通過(guò)高可靠性的集中存儲(chǔ),高可靠性的虛擬計(jì)算體系為客戶 提供本地高可用性。應(yīng)用級(jí)別的容災(zāi)可通過(guò)VMWARE體系實(shí)現(xiàn),具有如下特點(diǎn):對(duì)物理主機(jī)及虛擬機(jī)的完整保護(hù):與VMware ESX Server完全集成;7X24小時(shí)備份及可用性,集成VMware ESX Server提供持續(xù)可用性;通過(guò)最新的完整備份,從虛擬機(jī)恢復(fù)系統(tǒng)及服務(wù);利用VMware Convert er為不同規(guī)格的服務(wù)潛提供快速恢復(fù);三個(gè)簡(jiǎn)單步驟,10分鐘完成物理主機(jī)到虛擬機(jī)(P2V)轉(zhuǎn)換,可實(shí)現(xiàn)在線P2V 轉(zhuǎn)換

32、,立即啟動(dòng)備份服務(wù)港直接升級(jí)到遠(yuǎn)程容災(zāi)機(jī)制;直接將完整VMware系統(tǒng)及數(shù)據(jù)復(fù)制到災(zāi)備中心,有效利用硬件資源;利用存儲(chǔ)的Snapmirror技術(shù)最大化網(wǎng)絡(luò)效率,實(shí)現(xiàn)存儲(chǔ)級(jí)別的硬件級(jí)數(shù)據(jù)傳 輸。VMware實(shí)現(xiàn)異地?cái)?shù)據(jù)中心容災(zāi)的解決方案主要是提供Site Recovery Manager (SRM)產(chǎn)品,Site Recovery Manager可自動(dòng)執(zhí)行并簡(jiǎn)化災(zāi)難恢復(fù)計(jì)劃的管理和執(zhí) 行工作,幫助您擺脫傳統(tǒng)災(zāi)難恢復(fù)中的諸多不便。由于VMware Site Recovery Manager省去了復(fù)雜的手動(dòng)恢復(fù)步驟,能夠?qū)謴?fù)計(jì)劃執(zhí)行無(wú)中斷測(cè)試,并且可以 自動(dòng)執(zhí)行恢復(fù)過(guò)程,因此能夠在整個(gè)數(shù)據(jù)中心高效

33、地進(jìn)行災(zāi)難恢復(fù)。VMware Site Recovery Manager還有助于進(jìn)行數(shù)據(jù)中心的計(jì)劃內(nèi)故障切換,例如數(shù)據(jù)中心遷移。VMware Site Recovery Manager 與 VMware Infrastructure> VMware VirtualCenter及其它主要存儲(chǔ)供應(yīng)商提供的存儲(chǔ)備份軟件緊密集成,讓災(zāi)難恢復(fù) 變得快捷、可靠、經(jīng)濟(jì),而且便于管理。這樣,災(zāi)難恢復(fù)便不存在任何風(fēng)險(xiǎn)和后顧 之憂,還可將所有重要的系統(tǒng)和應(yīng)用程序納入保護(hù)之列。圖表12 VMware SRM容災(zāi)示意圖災(zāi)難恢復(fù)管理利用存儲(chǔ)供應(yīng)商認(rèn)證的集成功能,查找并顯示受存儲(chǔ)備份保護(hù)的虛擬機(jī);直接在 Virtu

34、alCenter中創(chuàng)建及管理恢復(fù)計(jì)劃;利用定制腳本擴(kuò)展恢復(fù)計(jì)劃;監(jiān)視遠(yuǎn)程站點(diǎn)的 可用性,并提示用戶可能會(huì)發(fā)生的站點(diǎn)故障;存儲(chǔ)、查看和導(dǎo)出測(cè)試結(jié)果,并在 VirtualCenter中執(zhí)行故障切換;利用基于角色的訪問(wèn)控制方法來(lái)控制對(duì)恢復(fù)計(jì)劃的 訪問(wèn)。無(wú)中斷測(cè)試?yán)么鎯?chǔ)快照功能執(zhí)行恢復(fù)測(cè)試,而不會(huì)丟失備份數(shù)據(jù);將虛擬機(jī)連接至現(xiàn)有的 隔離網(wǎng)絡(luò),以便進(jìn)行測(cè)試;自動(dòng)執(zhí)行恢復(fù)計(jì)劃;定制針對(duì)不同測(cè)試情況的恢復(fù)計(jì)劃;完 成故障切換測(cè)試之后,自動(dòng)清除測(cè)試環(huán)境。自動(dòng)執(zhí)行故障切換只要按一下按鈕,用戶即可從VirtualCenter中執(zhí)行恢復(fù)計(jì)劃;利用領(lǐng)先的存 儲(chǔ)供應(yīng)商為其備份平臺(tái)創(chuàng)建的適配器,自動(dòng)提升備份的數(shù)據(jù)存儲(chǔ)區(qū)

35、,以便在恢復(fù)情 況下使用;執(zhí)行用戶定義的腳本,并可在恢復(fù)過(guò)程中暫停;重新配置虛擬機(jī)的IP地 址,使其與故障切換站點(diǎn)的網(wǎng)絡(luò)配置相符;在VirtualCenter中管理和監(jiān)視恢復(fù)計(jì) 劃的執(zhí)行情況。方案帶來(lái)的好處2. 5. 1大大降低TCO通過(guò)服務(wù)潛整合,控制和減少物理服務(wù)器的數(shù)量,明顯提高每個(gè)物理服務(wù) 器及其CPU的資源利用率,從而降低硬件成本。降低運(yùn)營(yíng)和維護(hù)成本,包括數(shù)據(jù)中心空間、機(jī)柜、網(wǎng)線,耗電量,冷氣空 調(diào)和人力成本等。經(jīng)過(guò)目前統(tǒng)計(jì),2路CPU的服務(wù)器約85臺(tái)左右,基本上都是IBM的服務(wù)器,借 鑒DELL官方提供的功率的參考:部署虛擬化前部署虛擬化前類型服務(wù)器數(shù)量額定功率服務(wù)器數(shù)量額定功率2

36、 顆 CPU85550W20675W因此,部署VMware虛擬化方案之前,每年的電費(fèi)支出是:虛擬化前電費(fèi)支出=X元/度X (85X千瓦)X24小時(shí)/天X365天/年=萬(wàn)/年部署VMware虛擬化方案之后,每年的電費(fèi)支出是:虛擬化后電費(fèi)支出=X元/度X (20X千瓦)X24小時(shí)/天X365天/年=萬(wàn)/年通過(guò)部署VMware虛擬化方案,數(shù)據(jù)中心服務(wù)器直接電力消耗每年的電費(fèi)節(jié)約為:萬(wàn) /年一萬(wàn)/年=萬(wàn)/年。數(shù)據(jù)中心冷卻系統(tǒng)的電力消耗一般來(lái)說(shuō),數(shù)據(jù)中心消耗的電能絕大部分全部變成了熱能,因此,服務(wù)器硬件 的額定功率基本相當(dāng)于熱能輸出功率。此外,根據(jù)在惠普公司實(shí)驗(yàn)室做出的結(jié)果, 每1瓦的散熱需要消耗瓦的電

37、能來(lái)進(jìn)行冷卻。(我們將此定義為負(fù)載參數(shù)L)?;谝?上數(shù)據(jù),數(shù)據(jù)中心的冷卻能耗可進(jìn)行如下推算:部署VMware虛擬化方案之前,數(shù)據(jù)中心服務(wù)器的冷卻成本為:虛擬化前冷卻電費(fèi)支出=乂元/度XXX (85X千瓦)XX24小時(shí)/天X365天/年= 萬(wàn)元/年虛擬化后冷卻電費(fèi)支出=乂元/度XXX (20X千瓦)XX24小時(shí)/天X365夭/年= 萬(wàn)元/年虛擬化后冷卻電費(fèi)節(jié)約=萬(wàn)元/年一萬(wàn)元/年=萬(wàn)元/年虛擬化后總體電費(fèi)節(jié)約=萬(wàn)元/年+萬(wàn)元/年=萬(wàn)元/年。此項(xiàng)支出節(jié)約僅為直接的電力資源節(jié)省,還不包括周邊設(shè)備減少帶來(lái)的電力資 源節(jié)約(如:UPS、交換機(jī)等設(shè)備的減少)。2.5.2 提高運(yùn)營(yíng)效率加快新服務(wù)器和應(yīng)用的部署,大大降低服務(wù)器重建和應(yīng)用加載時(shí)間。主動(dòng)地提前規(guī)劃資源增長(zhǎng),這樣對(duì)客戶和應(yīng)用的需求響應(yīng)快速,不需要象 以前那樣,需要長(zhǎng)時(shí)間的采購(gòu)流程,然后進(jìn)行嘗試。不需要象以前那樣,硬件維護(hù)需要數(shù)天/周的變更管理準(zhǔn)備和1 - 3小時(shí)維 護(hù)窗口,現(xiàn)在可以進(jìn)行快速的硬件維護(hù)和升級(jí)。所有單機(jī)的應(yīng)用,在部署了虛擬化后,將不再出現(xiàn)單點(diǎn)故障,確保了應(yīng)用 的7X24小時(shí)不間斷的運(yùn)轉(zhuǎn)。2.5.3 提高服務(wù)水平幫助您的企業(yè)建立業(yè)務(wù)和IT資源之間的關(guān)系,使IT和業(yè)務(wù)優(yōu)先級(jí)對(duì)應(yīng)。將所有服務(wù)器作為大的資源統(tǒng)一進(jìn)行管理,并按需進(jìn)行資源調(diào)配。2.5.4 舊硬件和操作系統(tǒng)

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論