最全的云計算平臺設計方案_第1頁
最全的云計算平臺設計方案_第2頁
最全的云計算平臺設計方案_第3頁
最全的云計算平臺設計方案_第4頁
最全的云計算平臺設計方案_第5頁
已閱讀5頁,還剩47頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、1 .云計算參考架構在私有云當中,主要包含以下幾個組件:物理基礎架構、虛擬化層、服務自動化層、服務門戶、安全體系、云API和可集成的其它功能。(如圖私有云參考架構)工T也略帕+WLjLrTTB-圖3.4私有云參考架構a) 物理基礎架構物理架構的定義是組成私有云的各種計算資源,包括存儲、計算服務器、網絡,無論是云還是傳統(tǒng)的數據中心,都必須基于一定的物理架構才能運行。在私有云參考架構中的物理基礎架構其表現形式應當是以資源池模式出現,也就是說,所有的物理基礎架構應當是統(tǒng)一被管,且任一設備可以看成是無狀態(tài),或者說并不與其它的可以被私有云根據最終用戶的需求,和預先定制好資源,或者是上層應用存在緊耦合關系

2、,的策略,對其進行改變。b) 虛擬化層虛擬化是實現私有云的前提條件,通過虛擬化的方式,可以讓計算資源運行超過以前更多的負載,提升資源利用率。虛擬化讓應用和物理設備之間采用松耦合部署,物理資源狀態(tài)的變更不影響到虛擬化的邏輯計算資源。且可以根據物力基礎資源變化而動態(tài)調整,提升整體的靈活性。c)服務自動化層服務自動化層實現了對計算資源操作的自動化處理。它可以集中的監(jiān)控目前整體計算資源的狀態(tài),比如性能、可用性、故障、事件匯總等等,并通過預先定義的自動化工作流進行相關的處理。服務自動化層是計算資源與云計算服務門戶相關聯的重要部件,服務自動化層擁有自動化配置和部署功能,可以進行服務模板的制定,并將服務內容

3、和選擇方式在云計算服務門戶上注冊,用戶可以通過服務門戶上的服務目錄來選擇相應的計算資源請求,由服務自動化層實現服務交付。d)云API云應用開發(fā)接口提供了一組方法,讓云服務門戶和不同的服務自動化層進行聯系,通過云API,可以在一個私有云當中接入多個不同地方的計算資源池,包括不同架構的計算資源,并通過各自的服務自動化體系去進行服務交互。e)云服務門戶云服務門戶是用戶使用私有云計算資源的接口,云服務門戶上提供了所有可用服務的目錄,并提供了完善的服務申請流程,用戶可以執(zhí)行申請、變更、退回等計算資源使用服務。云服務門戶收到最終用戶的請求時,將根據預先定義好的策略對該請求進行立刻供應、預留或者排隊。不同的

4、用戶通過同一個云服務門戶當中,將會看到只屬于自己的應用、計算資源和服務目錄,這是云計算當中的多租戶技術,用戶使用的資源在后臺集中,但是在前端是完全的邏輯分離,有眾多的安全保護措施來確保隔離。f) 安全體系在私有云當中,具有完整的安全體系,包括物理資源、虛擬化平臺、系統(tǒng)安全、應用安全和用戶訪問安全,每個層次都有相關的安全監(jiān)控和控制,確保最終用戶的應用運行穩(wěn)定可靠。g) 集成私有云當中可以集成其它更多的功能,以達到更好的服務效果。如服務級別管理,提供更好的服務質量。容量管理,為私有云的服務能力和擴展趨勢作出建議。計量和收費,真正實現按使用付費。2.1 虛擬化數據中心參考架構2.1.1 虛擬化數據中

5、心藍圖詠S軍聾科虛抵化數梃中心圖-虛擬化數據中心如圖“圖-虛擬化數據中心“所示,在整個虛擬化數據中心當中包括了虛擬化平臺,虛擬化數據中心管理,虛擬化數據中心備份,虛擬化數據中心運維,虛擬化數據中心安全,總共5個組成部分。通過對每個組成部分的功能進行詳細劃分,我們可以得到虛擬化數據中心的參考架構圖(圖3.8虛擬化數據中心架構圖)。虛擬化數據中心運維C行飄1,(Mtit%建、快蠟)t航尋蟒油虛按化數據中心安全虛擬化數據中心潸理Eut理皆2域一受葩/管理;營功部詈!j容管理:;資源分,R*-1.laMnMMnmiaiMtBnnl4kviHl'IHMIJ*!0#«>»

6、s-鼻癡無曦事>>,.da.>k'嗎rH.1K.m-s.b>m->*a.1al*>>a>a.-k-a.44.b.虛擬化平臺置現集中管理(網絡貿源,««資如存儲提海)VIIi所存置翻址投牝網用如壅光/一41一一二JL一一船超一中一心a計算皆源虛掇化數據中心將伊圖-虛擬化數據中心架構圖虛擬化平臺:虛擬化數據中心的基礎和應用運行平臺,實現所有計算資源的池化,能夠實現共享、動態(tài)、集中監(jiān)控、集中管理、擴展和高可用的特性。虛擬化數據中心管理:虛擬化數據中心的管理平臺不但可以實現對底層基礎架構的管理,同時也可以實現對虛擬化資源的管理

7、,并且可以在統(tǒng)一的管理平臺上實現跨地域,多數據中心的管理。虛擬化數據中心運維:虛擬化數據中心運維平臺是確保虛擬化數據中心進行自動化操作的關鍵平臺,也是和未來的有云門戶進行接口的平臺。虛擬化數據中心備份:通過虛擬化備份平臺的建設,對整個數據中心中的應用、數據實現集中的備份和恢復,確保當出現系統(tǒng)故障、誤操作等情況下的應用系統(tǒng)可用性和可恢復。虛擬化數據中心安全:集中的虛擬化數據中心安全,根據不同用戶、不同管理員的使用權限和角色,對其能夠訪問的系統(tǒng),能夠執(zhí)行的操作進行詳細的定義。2.1.2 虛擬化中心計算平臺 虛擬化平臺組成帚諾平臺年滿足膜虬化管求的違事尋慟空間個存儲時魚償佬的肥化丸持中

8、可另造支持書種防證冏存華羊網中三三就4MpeIT萊中啟捽化平白Cx俾絡平臺X那中笫性能量,可也/值同培里常鵬”7*啊迂科q活性t必立的安生比珞t號為,*-計野半白僑匯行日三七”力心戶11個更富的重期機嬖自出4靈港的疝鼻即能力中電玩Ytn心支小鼎力噂才而爆"干什/賣r;4虛擬化數據中心基礎架構平臺是面向業(yè)務系統(tǒng)以虛擬化技術為核心的一體化架構平臺。它主要包含:統(tǒng)一計算資源層:無狀態(tài)的計算資源節(jié)點,各個計算節(jié)點能夠透明的添加,調配,更改或刪除,并且不影響應用系統(tǒng)的正常運行;單個計算節(jié)點應具備更好的虛擬化技術支持能力,優(yōu)化的CPU和MEM配比,充分保證虛擬技術對物理資源的充分利用;多協(xié)議支持

9、能力,要又FC、iSCSI和NFS協(xié)議均具備良好的撥接端口和支持能力;精簡的連接架構,網絡交換架構要控制在二層之內,做到一次布線的多協(xié)議,多鏈路支持能力;圖形化的管理界面,能實施動態(tài)監(jiān)控和管理各個模塊單元;開放的體系架構,能夠連接第三方的統(tǒng)一網絡和統(tǒng)一存儲及虛擬化資源層。統(tǒng)一網絡資源層:與虛擬交換機環(huán)境一體化的網絡交換環(huán)境,能實現虛擬機提供的平滑漂移;端到端的網絡QoS保障,能動態(tài)調節(jié)虛擬機的網絡負載;可支持跨地域的二層網絡交換架構,同步狀態(tài)下能支持100KM的同城數據中心間實現一體化資源池體系;能與現有的網絡結構充分融合,應由業(yè)界領導的網絡廠商的核心產品構成,充分保障兼容性和用戶投資。統(tǒng)一存

10、儲資源層:多協(xié)議支持能力,要同時具備FC、iSCSI和NFS的穩(wěn)定支持能力;動態(tài)的I/O資源調整能力,通過分層存儲(企業(yè)級閃存磁盤,光纖通道磁盤和SATA磁盤)自動化的調度其上的虛擬機所處的位置,使虛擬機在存儲資源層具備透明的I/O隨需調整能力;存儲級的虛擬環(huán)境快照和克隆能力,要能支持虛擬機環(huán)境的快照和克隆技術,對虛擬化環(huán)境提供高效的保障環(huán)境;針對虛擬化環(huán)境的存儲消重技術,充分利用虛擬化環(huán)境下大量數據重復的特點進行消重支持,更高效的利用存儲資源;與虛擬資源層緊密結合的復制和災備技術,從數據層充分保障虛擬化環(huán)境的備份,復制和災備體系的穩(wěn)定和高效實現。虛擬化資源層:穩(wěn)定可靠的虛擬化操作系統(tǒng),具備安

11、全高效的內核,充分保障虛擬化操作系統(tǒng)層的穩(wěn)定可靠運行;極小的性能消耗,最大限度的把物理資源有效的提供給虛擬機進行使用;個體封裝,各個虛擬機之間獨立運行,互不影響;高可用的支持支持能力,保障虛擬化的業(yè)務應用系統(tǒng)可以按需實現容錯,漂移,冷備等不同層次的高可用能力;開放性的支持能力,對統(tǒng)一計算平臺、統(tǒng)一網絡平臺和統(tǒng)一存儲平臺的第三方環(huán)境具備良好的兼容性和支持能力,并得到充分的測試認證。在各個統(tǒng)一資源層的基礎上通過開放的API接口,構建一體化的監(jiān)控部署工具進行統(tǒng)一管理,其目標就是構建一套有機結合在一起的,可以快速靈活部署和調用的虛擬化數據中心基礎架構體系。虛擬化平臺統(tǒng)一網絡與計算統(tǒng)i存儲打網押電拿除某

12、統(tǒng)t!期事怔仲版菜攜懵壽林圖-虛擬化數據中心基礎架構平臺組成圖 虛擬化平臺功能特性能夠按照虛擬化數據中心基礎架構平臺要求整個平臺能夠端到端的靈活調整資源部署,業(yè)務部署的要求快速的添加和調用資源部署;在這個平臺上運行的應用業(yè)務系統(tǒng)能夠實時調節(jié)計算、網絡和存儲資源配置,而且對應用用戶完全透明沒有影響;因此該平臺應該具備以下功能特點:為應用業(yè)務系統(tǒng)提供可快速部署、調配的資源池體系,滿足虛擬機的部署和資源靈活調整需求;與虛擬化層技術緊密結合在一起,使虛擬化層的管理工具可以直接快速的調用底層資源;一體化的監(jiān)控和部署環(huán)境,能夠對統(tǒng)一計算平臺、統(tǒng)一網絡平臺和統(tǒng)一存儲存儲的各個層資源進行一體化的

13、監(jiān)控和快速部署及調整;統(tǒng)一計算平臺的各個計算單元應具備無狀態(tài)的屬性特點,滿足透明的實時變更、添加和調整計算資源的需要;統(tǒng)一網絡平臺應具備多協(xié)議的穩(wěn)定支持能力,具備面向虛擬化層的QoS保障能力,具備一致的網絡性能和安全規(guī)則部署能力;統(tǒng)一存儲平臺應具備穩(wěn)定的多協(xié)議支持能力,具備面向虛擬化層的I/O實時調節(jié)能力,具備完整的與虛擬化技術緊密結合的存儲備份、復制與恢復技術能力;經過嚴格測試認證和預先集成的體系架構,有效避免各個層面的潛在風險,并最大限度的發(fā)揮虛擬化平臺的優(yōu)勢;在空間、能耗和維護成本上應比傳統(tǒng)的物理架構具備明顯的優(yōu)勢;能夠提供面向SLA的服務級別保障,使用戶的整個IT資源平滑的向ITaaS

14、架構過渡;提供統(tǒng)一的支持服務體系,幫助用戶快速準確的解決問題。 虛擬化平臺擴展性虛擬化數據中心基礎架構平臺要能夠滿足用戶業(yè)務應用系統(tǒng)實施變更和快速增長的需求,因此要求整個平臺能夠具有非常靈活和高效的擴展能力:模塊化的快速部署能力,可一體化的添加計算、網絡和存儲資源,并與原有虛擬化基礎平臺能夠形成統(tǒng)一的資源體系;按需獨立橫向擴展計算資源、網絡資源或存儲資源的能力,滿足各個層面資源擴展的需求;具備跨地域的資源融合能力,可以將位于不同地理位置的虛擬化基礎架構平臺融合為統(tǒng)一的虛擬資源池架構,滿足用戶構建雙活或多活數據中心及未來云架構數據中心的需求。 虛擬化平臺性能虛擬化數據

15、中心基礎架構平臺必須能夠充分發(fā)揮虛擬化技術的性能,支持業(yè)界領先的虛擬化技術軟件所需要的各種功能,并能夠在最大程度上發(fā)揮虛擬化技術的優(yōu)勢。在穩(wěn)定可靠的前提條件下,整個統(tǒng)一虛擬化基礎架構平臺應具備足夠的靈活性以滿足用戶業(yè)務應用系統(tǒng)對不同規(guī)模和性能的要求。例如:應具備小型、中型、大型的平臺建設規(guī)模,它們之間的性能和容量不同,但又在一定的范圍內靈活可調,同時具備統(tǒng)一在一起融合管理的能力。按照目前用戶的普遍規(guī)律來劃分:小型規(guī)模應滿足50個左右的業(yè)務應用系統(tǒng)或500個左右的虛擬桌面環(huán)境;中型規(guī)模應滿足200個左右的業(yè)務應用系統(tǒng)或1000個左右的虛擬桌面環(huán)境;大型規(guī)模應滿足800個左右的業(yè)務應用系統(tǒng)或300

16、0個左右的虛擬桌面環(huán)境。 與現有環(huán)境融合虛擬化數據中心基礎架構平臺是用戶今后部署和運維業(yè)務應用系統(tǒng)的主要資源平臺,同時它又是全面面向虛擬化技術緊密集成的資源平臺,所以它需要完善的支持好虛擬化技術所需的各種支撐,而虛擬化資源層則需要盡量豐富的支持用戶現有的應用部署環(huán)境。以用戶現有環(huán)境為例,Intel平臺上的Windows環(huán)境和Linux環(huán)境的支持是十分必要的。另外還應該提供有效的工具和服務能夠為用戶提供所需的從物理環(huán)境到虛擬化環(huán)境下的應用遷移服務。在用戶今后的使用過程中還應提供相應的規(guī)劃、部署、運維等方面的最佳實踐建議。 虛擬化平臺高可用虛擬化數據中心基礎架構平臺至少

17、需要具備“5個9”或更高的高可用性,還應該能夠用戶需求擴展相應的保護和安全手段,滿足用戶邁向“永不停頓”的云計算數據中心的需求。至少應該從以下層面綜合考慮:產品層次的高可用性:冗余的產品模塊和結構,在發(fā)生局部硬件故障時不影響產品正常使用或可以實時更換修復;架構層次的高可用性:計算,網絡和存儲控制節(jié)點都是冗余的體系架構,充分保障整個系統(tǒng)的高可用性;管理層次的高可用性:管理控制節(jié)點和路徑均有冗余保障,充分實現管理架構的高可用性;提供不同層級的應用和數據保護能力:根據用戶的SLA模型,結合備份恢復,快照,克隆,歸檔,壓縮,消重,同步異步復制,災備技術,多路徑負載均衡技術,等等方面的技術保障,來實現不

18、同級別,比如:小時級別、分鐘級別或秒級別的高可用業(yè)務保護能力;提供不同層級的安全訪問控制能力:能實現針對不同需求用戶的功能分層管理,在虛擬化的動態(tài)數據中心中也要實時保障整個系統(tǒng)認證的穩(wěn)定可靠,保障權限分配系統(tǒng)的安全和高效運行,實時監(jiān)控異常狀態(tài),并能夠進行處理和恢復。2.1.3 虛擬化數據中心管理 虛擬化數據中心管理挑戰(zhàn)隨著虛擬化技術在數據中心的實現,虛擬化數據中心到私有云以及公有云的過程中,傳統(tǒng)的IT管理方式已經被徹底改變。虛擬化轉變了IT基礎架構的管理方式。服務器成了動態(tài)軟件文件,網絡成為了可以靈活調度的資源,存儲由單一的陣列和磁盤變成了透明共享的存儲空間。IT管理者可按需使用

19、基礎架構資源池以更高的速度和效率加以配置、管理和保護。企業(yè)可以按最高的可用性和服務級別無縫交付應用程序,而沒有傳統(tǒng)IT解決方案的高昂成本和復雜性。1T架構復雜度【T管理成本IT管理效率1,k系統(tǒng)虛擬化程度越來越離2.基于虛擬化平臺的企業(yè)內部應用系統(tǒng)越來越多3業(yè)務系統(tǒng)對分布式虛擬數據中心的需求4面對私有云和公有詼的耨變1數據中心管理成本不斷增長2虛擬化管理的TOO3,云計算平臺的管理依賴于第二方公司的產品1業(yè)務事統(tǒng)府IT服務的交H要求超來越高2虛擬化數據中心的業(yè)務流程亟待完善3.1丁管理服務級別要求的提高圖-虛擬化數據中心管理挑戰(zhàn):但是伴隨著數據中心虛擬化程度的深入,用戶將會面臨越來越多的管理瓶

20、頸(如圖-虛擬化數據中心管理挑戰(zhàn)):IT架構復雜度提高隨著IT系統(tǒng)虛擬化程度越來越高,面臨的虛擬化管理也越來越復雜;基于虛擬化平臺的企業(yè)內部應用系統(tǒng)越來越多,使得虛擬數據平臺的壓力變的多樣化,同時多樣的應用對虛擬化平臺資源的交付要求也有差異;業(yè)務系統(tǒng)的發(fā)展使得對分布式虛擬數據中心的需求也提上了日程;用戶將要面對的是私有云和公有云的轉變,如何保證目前虛擬化數據中心可以平滑的過渡到未來發(fā)展的私有云到公有云,這種轉變要求目前的架構具有可靠地彈性管理。IT管理成本增加的趨勢毫無疑問,虛擬化將用戶從傳統(tǒng)的管理方式過渡到虛擬化之后,面對大量的虛擬資源,虛擬服務器,虛擬存儲,要求數據中心管理成本必須得到控制

21、,不能夠隨著虛擬機數量的增多以及其他要控制的虛擬對象的增多而無謂的增加管理人員的開支,管理軟件的購買等成本消耗上。虛擬化管理的TCO要達到更高的水平,就必須依賴于虛擬化架構上的管理手段,而不能依賴于將虛擬化平臺甚至私有云架構放到第三方昂貴的管理軟件產品中去。IT管理效率業(yè)務應用系統(tǒng)對IT服務的交付要求越來越高,同時虛擬化數據中心的業(yè)務流程亟待完善,面對提高IT管理效率壓力的同時,還要保障IT管理服務的級別。 虛擬化數據中心管理參考架構仰,窗皖;Y1眠善一嫡卻一,的疏一-'璘源值此涓的獷展情2 il,位iMLje;3 MU;小NN乂仙的UM-LHrJ除打他"抖4

22、晌為機口IY了溝5 自川化加出HIM;一6 小一單U限一電近格助嚏出除界7 1.心'1711燈耘I;78 ,機P心|“功回,";甘9 Clhii10 I出硼。I,打幣牝.III'匕能我舊,業(yè)圖-虛擬化數據中心管理參考架構虛擬化數據中心的管理系統(tǒng)建立包含多個方面的內容,從上圖(圖-虛擬化數據中心管理參考架構)可以看出,虛擬化數據中心管理虛擬化數據中心面對的管理主要關注以上五個部分的內容:虛擬化數據中心資源池管理:針對虛擬化數據中心當中基礎架構的管理,能夠實現對服務器、網絡、存儲的統(tǒng)一和融合管理,能夠實現對異構資源的管理。虛擬化資源管理:在虛擬化數據中心當中,所有的計算資

23、源都是虛擬化的方式體現,以邏輯單元的模式對應用提供服務,虛擬化數據中心管理系統(tǒng)應當實現對虛擬化資源的集中管理,包括自動發(fā)現,統(tǒng)一監(jiān)控,自動化配置,資源調配,虛擬服務器部署等。高可用性管理:關鍵性業(yè)務在虛擬化平臺上的運行必須要有高可用平臺的保證,虛擬化中心管理平臺需要能夠為應用提供數據遷移、復制和容災等方面的管理功能。服務級別管理:虛擬化數據中心的資源將通過標準化服務的模式提供,管理系統(tǒng)應當能夠提供流程自動化管理,ITIL管理和CMDB聯合。豐富的API接口:虛擬化數據中心管理平臺需要具有豐富的API接口,為用戶提供標準化的、開放的用戶業(yè)務系統(tǒng)開發(fā)接口,實現與用戶現有系統(tǒng)的對接和擴展。1 資源池

24、管理對于虛擬化數據中心的基礎部分,是由基礎平臺的計算資源,網絡資源和存儲資源共同組成的,對于不同的資源,管理員必須實現統(tǒng)一的資源管理才能夠對各種資源做更好的調度和分配。統(tǒng)一的基礎架構管理平臺應當提供了對于資源池的統(tǒng)一管理和資源的自動化靈活配置等多種有效的虛擬數據中心管理功能。包括:統(tǒng)一的對各組成元素的管理,減少多個服務器,網絡和存儲配置的管理工具從單個管理點管理單個的虛擬化中心計算平臺和跨地域的計算平臺,實現變更的合規(guī)性管理整合的控制面板基于策略的配置和更改管理深度可見性,可以從虛擬層到物理層的深度定位可以對整個系統(tǒng)的硬件和應用進行監(jiān)控可與第三方企業(yè)管理解決方案集成1 虛擬化資源管理通過采用虛

25、擬化資源的管理平臺,IT管理員可大幅改進對虛擬環(huán)境的控制:提供集中的虛擬資源控制和實現虛擬基礎架構各個級別的可視性。通過前瞻性的資源管理更好的發(fā)揮每個物理資源的性能。能夠實現資源清單搜索,使得包括虛擬機、主機、數據存儲區(qū)和網絡在內的整個虛擬化資源在虛擬化中心中的任何位置唾手可得。存儲映射和報告可傳達有關存儲使用、連接和配置的信息。可定制的拓撲視圖為您提供存儲基礎架構的可視性,并可幫助進行存儲問題的診斷和故障排除。性能圖表通過可實時或按指定時間間隔查看的更詳細統(tǒng)計數據和圖表,監(jiān)視虛擬機、資源池和服務器的利用率及可用性。主機配置文件標準化并簡化您配置和管理虛擬主機配置的方式。捕獲經過驗證的已知配置

26、(包括網絡、存儲和安全設置)的藍圖,并將其應用于多臺主機以簡化設置。主機配置文件策略還可以監(jiān)視遵從性。能效完全支持資源動態(tài)調度,可持續(xù)監(jiān)視同一個個資源群集中的利用率,并在群集只需較少資源時將主機置于備用狀態(tài)以減少能耗。提供一個功能強大的編排引擎,使您可以使用即時可用的工作流來自動執(zhí)行多個任務,或使用輕松的拖放式界面來組裝工作流,從而簡化管理。具有資源整合指導功能,可指導您逐步完成整合過程,包括自動發(fā)現多臺服務器、執(zhí)行性能分析、轉換,以及智能化地在適當主機上放置虛擬機。虛擬資源管理可以實現大規(guī)模管理,隨著用戶虛擬化的不斷深入,和應用的不斷增多,單臺管理服務器需要管理成百上千臺服務器,而且虛擬資源

27、管理服務器應當可以通過鏈接模式進行擴展,可以跨越多個數據中心進行管理,并管理更多的虛擬資源。虛擬資源管理服務器的鏈接模式應當利用在整個基礎架構中復制的角色、權限和許可證,實現可擴展的體系結構和跨多個虛擬化數據中心實例的可視性,使您可以同時登錄、查看和搜索所有虛擬化數據中心的資源清單。虛擬機的資源管理。將處理器和內存資源分配給運行于同一物理服務器上的多個虛擬機。建立針對CPU、內存、磁盤和網絡帶寬的最小、最大和按比例的資源份額。在虛擬機運行的同時修改分配。使應用程序能夠動態(tài)獲得更多資源以適應峰值性能需要。動態(tài)資源分配。實現跨資源池的持續(xù)監(jiān)視利用率,并根據業(yè)務需要和不斷變化的優(yōu)先事務的預定義規(guī)則,

28、在多個虛擬機之間智能地分配可用資源。高能效的資源優(yōu)化。持續(xù)地監(jiān)視整個虛擬資源池群集中的資源需求和能耗。當群集只需較少的資源時,它將整合工作負載并將主機置于備用模式以減少能耗。當工作負載的資源需求增加時,將已關閉的主機恢復在線,以確保滿足服務級別要求。與標準化目錄管理系統(tǒng)集成。實現基于現有的身份驗證機制實現訪問控制。定制角色和權限。利用用戶定義的角色增強安全性和靈活性。擁有適當權限的用戶可以創(chuàng)建定制角色,如夜班操作員或備份管理員。通過為用戶分配這些定制角色,可限制對由虛擬機、資源池和服務器組成的整個資源庫的訪問權限。導出報告以進行事件審核跟蹤。保留對重大配置更改和發(fā)起這些更改的管理員的記錄。跟蹤

29、。1 高可用管理虛擬化數據中心管理平臺的高可用性管理包括對管理服務器本身的高可用管理和對管理資源中的應用高可用。虛擬化資源高可用管理可擴展數據中心的可用性,虛擬化資源高可用管理能深入了解所有數據中心的服務器組件,并且非常易于配置和部署。能夠自動重啟虛擬機。提供一個易于使用、經濟高效的故障切換解決方案。精確的訪問控制,利用可配置、分層的組定義和精確的權限來保護環(huán)境。集成硬件監(jiān)視可在硬件的主要組件(如風扇、主板和電源)發(fā)生故障時發(fā)出警報,從而提供物理和虛擬服務器運行情況的綜合視圖,預防和快速解決問題。警報和通知支持新的實體、指標和事件,如特定于數據存儲區(qū)及虛擬機的警報。這些警報可觸發(fā)新的自動化工作

30、流以補救和防范問題。1 服務流程管理客戶業(yè)務的快速變化對IT部門提出了更高的要求,如何能快速響應業(yè)務推出新的IT系統(tǒng);如何保證IT系統(tǒng)安全、穩(wěn)定的運行;如何提高服務效率和服務質量等問題成為目前IT部門主要面臨的壓力。而服務流程管理和自動化服務可以使用戶更好地使用動態(tài)資源池中的資源,使管理方更好地管理動態(tài)資源,提供服務。服務流程管理系統(tǒng)應當從兩個部分來進行功能建設,一個是面向服務使用用戶,另一個是面向服務的管理功能,主要包括以下內容:面向服務用戶:VDC管理:創(chuàng)建、配置、調整、刪除VDC,支持對虛擬設備管理;資源申請:通過Web界面申請資源環(huán)境、時間周期、SLA要求、環(huán)境配置等;計費管理:根據V

31、DC查詢得到分配資源的使用情況、計費、結算管理等;監(jiān)控管理:查詢VDC的運行狀態(tài),實施監(jiān)控資源狀態(tài);用戶管理:建立用戶、授權管理、密碼管理等;日志管理:運行日志的查詢、分析和審計管理等面向服務管理:客戶管理:多租戶管理,服務滿意度、服務投訴、SLA/OLA管理;計費管理:費率、服務包、折扣等定義,結算、收費、提醒等管理;監(jiān)控管理:VDC、虛擬設備、物理設備監(jiān)控;報表管理:固定報表、動態(tài)報表、統(tǒng)計分析、儀表盤等;平臺管理:資產配置管理、資源分配管理、服務交付管理等;系統(tǒng)日志:系統(tǒng)日志、安全日志、自定義日志管理;服務流程管理系統(tǒng)的系統(tǒng)架構應該考慮到其核心組件的驅動、擴展和組件擴充能力,同時,整體系

32、統(tǒng)應該有分層設計的特點,具體內容如下:核心組件能力驅動管理組件:具有統(tǒng)一驅動知識庫管理功能,可支持多廠家虛擬化技術及管理平臺接入;(目前完成VmwareApi、Vizioncore管理平臺接入)采控服務組件:完成服務項運行狀態(tài)信息采集、實現服務項操作控制功能;策略控制組件:可設定規(guī)則、設定性能指標閾值,觸發(fā)不同任務及工作流;利用該組件可實現資源池預警、服務項資源動態(tài)分配、服務等級保障等工作流引擎:圖形化方式預定義工作流,可實現自動或人工任務單流轉。平臺分層設計資產管理:對物理設備資產信息進行信息手工錄入、自動采集,信息變更采集對比提醒;資源池管理:資源池分類管理、資源池容量及性能管理服務管理:

33、完成服務目錄、服務項定義,服務模版包括配置模版、部署模版、SLA模版交付管理:對服務用戶VDC及其服務項實例進行管理,完成基礎架構云服務交付交付、維護通過服務流程管理系統(tǒng),業(yè)務部門和用戶可以方便的進行計算資源的申請、和運行、回收及再利用(如圖-資源申請流程)若考架構JlTf8»A錄法律雇務|沏財務管理停機,呼升級丫1匚清壬的霎衷和交現貸繳的輪力W.臺同慎息已到貨切登聯gT新的代掙新性管砰nn變更管理偌力普理VKV9后硒晌流黃稗配E依據庫U和狀態(tài)1CMOB批,仃資源的狀態(tài),甌交村和支持圖-資源服務流程資源的申請確保業(yè)務部門和用戶可以方便地申請IT服務和資源,通過將服務目錄與資源請求管理

34、流程集成在一起來實現,服務目錄作為一個工具在創(chuàng)建、管理、服務定價和與IT工作整合方面變得越來越重要。應該讓業(yè)務部門和用戶可以基于他們的業(yè)務需求和預算情況從服務目錄中選擇合適的服務和對應的成本。對于每個產品和服務,保證恰當的服務級別,審批流程以及相關的成本。通過從一開始就為客戶設定好期望可以減少IT與業(yè)務部門之間的不一致,這些期望包括實現請求的時間,所要執(zhí)行和審批的流程以及實現請求所需的費用。同業(yè)務部門和用戶約定從服務目錄中選擇服務,而這些服務是IT定義和維護的標準的產品和服務的集合。這樣作也可以保證IT必須選擇標準化的產品和服務,以便通過減少因為購買非標準的,沒有經過測試或審批的產品所帶來的風

35、險。允許業(yè)務部門和用戶很容易的找到、請求他們所需要的服務和跟蹤服務的處理狀況,這樣作可以提高請求實現處理情況的透明度(跟蹤從提交到完成的請求狀態(tài),也跟蹤資源的使用狀況,相關的成本和基于服務級別協(xié)議交付的治理)。為了提高客戶的滿意度,IT可以提供服務報表,發(fā)布對業(yè)務經理和用戶來說有意義的指標,來展示服務的執(zhí)行情況(如完成一個服務請求所用的平均時間),表明IT部門如何完成所承諾的服務內容(如滿足承諾的服務請求完成時間的能力)。資源的交付在完成資源申請后,IT部門將根據確定的服務能力和要求轉換為虛擬化架構可提供的資源配置,并通過自動化和程序化的管理快速的為客戶提供資源,并對交付的虛擬化資源進行追蹤和

36、記錄。根據當前的IT運維模式,建議以以下三種方式進行虛擬化資源的交付:對同當前運行虛擬機有相同配置要求和業(yè)務應用要求的,可使用Clone的方式復制虛機,客戶化后交付;對配置和能力要求有相應模板對應的虛機,可從模板轉換為虛機進行交付。模板的定義應符合能力及安全基線的要求,并隨時根據相關管理要求進行更新。對不符合以上兩種情況的,可使用自動定制化的方式創(chuàng)建虛擬機,并進行客戶化配置和按照要求進行標準化配置,如安全加固要求、防病毒要求,認證授權配置及審計配置等,然后進行交付。資源的運行及維護用戶可通過IT運維管理流程和機制來支撐當前的IT運行和維護,主要包括:事件管理問題管理變更管理配置管理能力管理所交

37、付虛擬化資源的運行維護可集成在當前統(tǒng)一的IT運維管理中統(tǒng)一進行管理,考慮到虛擬化架構的特殊性,可在以上各管理流程中增加虛擬化架構的各服務屬性。資源的回收及利用資源的回收和利用主要同業(yè)務應用的運行周期相對應,對下線業(yè)務應用和不再使用的業(yè)務應用停止虛擬機,釋放相應的CPU、內存、網絡及存儲資源,同時根據業(yè)務和合規(guī)性要求對退網的虛擬機文件進行歸檔和保留。虛擬化資源回收和利用的審批可在流程管理系統(tǒng)中進行,資源回收和利用的工作流可通過工作流系統(tǒng)進行管理。1 管理平臺擴展一個有效的成功的虛擬化數據中心管理平臺必須同時是一個開放的,具有完善接口的平臺。每個企業(yè)面臨的應用不同,如何將這些業(yè)務系統(tǒng)和虛擬化平臺的

38、管理聯系起來,是衡量一個虛擬化數據中心管理平臺的重要部分。能與系統(tǒng)管理產品Web服務API的集成可保護您的投資,讓您可以自由選擇如何管理您的環(huán)境。是可擴展的管理平臺,且擁有龐大的合作伙伴體系,對操作系統(tǒng)和應用程序的兼容性很強?;谶@種開放性,使得虛擬化數據中心的管理可以和企業(yè)現有管理平臺很好的結合起來。2.1.4虛擬化數據中心備份a.a 虛擬化數據中心備份挑戰(zhàn)根據IDC的統(tǒng)計表明,在虛擬化環(huán)境下,備份系統(tǒng)遇到了新的挑戰(zhàn),在有限的資源中,在更少的時間內,如何備份大量的重復的數據。與傳統(tǒng)的備份環(huán)境不同,虛擬化環(huán)境下的計算資源,不再是有大量的空閑時間,平均資源利用率不到30%,而是由于單個物理服務器

39、上運行大量的虛擬環(huán)境,資源利用率達到80%甚至更高。傳統(tǒng)備份軟件消耗大量的處理器,這種備份機制在傳統(tǒng)的物理服務器使用模式下可以應用,但是在虛擬化環(huán)境下,將會由于占用的處理器資源過大而帶來問題,影響應用的性能和服務級別。同時,由于虛擬化環(huán)境下,備份的內VimivlVirtualVirtualS«rv*rAS*rv«rBStrvtrC80%resourceutilizationVirtualenvironment.:Highoverall&«rv*rutilizationandkittlebandwidthforbackup容會包括虛擬化系統(tǒng)的系統(tǒng)文件等,在每

40、次對虛擬文件鏡像進行備份時,會存在大量的冗余數據,如果不進行重復數據的刪除,大量的系統(tǒng)文件占用的空間將被浪費,同時,在備份過程中,由于占用大量的帶寬,也會對應用的性能帶來影響。所以,我們需要一種新的備份機制,能夠占用更少的處理器資源,同時能夠利用更少的空間去存儲更大的數據。ProcesssendlessStoremoredatlessspaceainMorefficient重復數據消除工作是一種特殊的數據壓縮技術,能夠消除掉在備份過程中冗余的部分,或者是重復的部分。在消重的過程中,重復數據會被刪除,只保留唯一的一份數據存儲下來,重復數據的備份僅僅是增加一個引用指針。消重能夠大大降低備份過程中所

41、需要的存儲空間。a.a 虛擬化數據中心備份參考架構在虛擬化數據中心中,備份系統(tǒng)的參考架構如下圖所示(圖-備份參考架構)源端去亙口除端公重管阡控捌層介斷層圖-備份參考架構參考架構由三層組成:.管理層集中的管理服務器來進行整個備份和恢復系統(tǒng)的管理,包括配置、策略、匯報,介質管理,客戶備份目錄管理,恢復目錄索引管理等。.介質層備份介質可以使磁盤、虛擬帶庫(利用磁盤模擬磁帶)和磁帶,是用來存儲備份數據,用來進行恢復使用。.客戶端通常包括虛擬服務器、應用平臺(如SqlServer,Oracle,.NetWeb服務器)等客戶端是備份數據的源端,其產生的數據將交由備份系統(tǒng)備份到備份介質上,用來進行應用回滾和

42、災難恢復。-并行數據中心備份架構)在并行數據中心中,參考架構如下圖所示(圖應現VMsVDI疑白白。,怦機加成用|I"道w忙直密之出言瞳中心L詒%.請制.報告-企質】存儲復制I廢視介質和罐加圖-并行數據中心備份架構虛擬化數據中心備份設計原則.統(tǒng)一的備份管理架構,提供簡便的操作管理界面;并提供強大的備份報表功能,制定和不斷完善備份策略。.確定虛擬環(huán)境的備份策略,采用不同的備份技術,實現多樣化的備份方式,以提供多種數據恢復策略,從而增強備份系統(tǒng)的可用性。.設計快速有效的備份數據恢復機制,實現備份系統(tǒng)在業(yè)務系統(tǒng)允許的異常時間內進行數據完整無丟失的恢復。.基于disk為主的備份介

43、質,結合數據重復刪除技術及數據傳輸技術在最短的時間里,安全地把數據保存在異地。.制定完善的備份數據保存策略,實現備份數據的異地存放,從而達到系統(tǒng)的容災目的。.支持虛擬環(huán)境的統(tǒng)一應用接口(APIs).1.5虛擬化數據中心運維隨著虛擬化架構的建立,系統(tǒng)架構中不但存在物理設備,還將存在大量的虛擬設備,如虛擬機、虛擬磁盤、虛擬CPU等。虛擬化動態(tài)架構的易擴展和變化的特性可能造成虛擬機大量蔓延,出現違反公司法規(guī)的操作,對日常的運維管理造成巨大挑戰(zhàn)。虛擬化運行維護主要從運行監(jiān)控和IT運維流程的角度確定保證交付和支持有效的虛擬化資源的正常運行的技術能力。因此,為了簡化運維管理工作,降低運維管理的復雜性,提高

44、運維管理效率和運維管理質量,必須要建立對虛擬化環(huán)境的運維管理系統(tǒng),建立集中管理系統(tǒng),實現設備性能監(jiān)控、故障告警、配置管理和軟件管理等功能,簡化運維管理工作、提高運維管理效率的自動化手段。運維組織和角色定義虛擬化組織架構虛擬化運維組織基本可分為三級(如圖-運維組織),流程管理系統(tǒng)人員為0線,負責基礎架構的監(jiān)控和初步的事件判斷和處理;應用管理員、數據庫管理員、系統(tǒng)管理員、網絡管理員、存儲管理員、備份管理員、虛擬化管理員等為1線人員,負責處理0線人員升級的請求和問題處理;IT運維團隊為2線人員,負責處理無法解決的故障問題。應用系統(tǒng)數據座,存慵.網絡.虛擔化等。線AServiceDesk圖-運維組織I

45、T運維團隊人員分配其中IT運維團隊的人員根據其角色和職能的不同,又可以分為業(yè)務部門,IT管理層,IT運維經理和系統(tǒng)工程師,其具體的工作內容如下表所示:角色職能業(yè)務部門(用戶)向IT部門提出資源申請與IT部門充分溝通,詳細描述業(yè)務要求和設計實現向IT部門共同確定IT的服務和資源要求IT管理層虛擬化資源請求的審批物理資源請求的審批同業(yè)務部門領導的溝通和協(xié)調IT運維經理對當前虛擬化配置人員進行指導將虛擬化架構的管理集成到當前的IT服務管理流程中協(xié)調和組織虛擬化架構規(guī)劃定義虛擬化架構相關變更的指南推動虛擬化架構開發(fā)和維護的預測負責虛擬化架構的供給,使用和維護負責協(xié)調同其他職能團隊的協(xié)作.負責協(xié)調1商的

46、支持維護和更新虛擬化決策標準,評估虛擬化備選對象的資源需求協(xié)調和解決與應用相關的虛擬化問題協(xié)助虛擬化架構管理經理進行虛機的開發(fā)預測,負責開發(fā)和維護虛擬化架構的預測負責日常的虛擬化架構容量和資源管理發(fā)起新虛擬化架構模塊的申請根據事件和問題管理流程,處理能力和性能相關問題根據變更管埋流程評估虛擬化架構的變更系統(tǒng)工程師負責開發(fā)和維護虛擬化架構設計,包括:虛擬化架構圖安裝和配置手冊集成計劃設計遷移計劃設計測試計劃設計同網絡和存儲管理員合作構建虛擬化架構的實例,使虛擬化架構的功能正常運行支持設計、配置、安裝和發(fā)布流程補丁管理和對虛擬化環(huán)境的影響評估開發(fā)和維護虛擬化架構運維手冊指導流程管理系統(tǒng)小組的虛擬化

47、支持工作協(xié)助問題和事件管理流程解決相關虛擬化問題開發(fā)軟件和硬件升級計劃完成新虛擬化架構模塊安裝后的配置工作創(chuàng)建新的虛擬機負責P2V遷移在虛擬機完成生命周期后負責刪除虛擬機管理虛擬化架構的數據存儲空間管理快照開發(fā)和維護虛擬化中心的角色協(xié)助服務水平管理確定虛擬化架構的維護窗口協(xié)助事件和問題管理流程解決虛擬化架構的相關問題安裝和測試虛擬化補丁確認虛擬化架構有有效的監(jiān)控手段來進行監(jiān)控管理負責執(zhí)行配置管理流程的虛擬化架構的配置項管理虛擬化運維內容:IT運維通過標準化的,策略化的,自動化的運維體系建立,對虛擬化數據中心的各種IT操作進行標準化定義,降低IT操作的風險,提升整體的IT維護效率,

48、并確保IT服務的質量,具體的運維系統(tǒng)內容如圖(圖-虛擬化運維內容)所示:r性能升假瑰折控制產速護,分配利人制用分析置頊物理變曼,狀息慢配置和位置補丁升線等管理宓故贈聿通過監(jiān)蹤件.M控.確房弟堆件指質量,說收集“處理相見求出防鑿球"建立期務成率橫酣提供附勢決笛克打標格的成攝化黃商的中聞交有和回收漁得防止曲粒機要聚X少安全風除圖-虛擬化運維內容容量管理為更好支撐系統(tǒng)運行維護,需要系統(tǒng)運行現狀,評估虛擬化基礎資源的支撐能力,分析虛擬化資源的趨勢特點,對將來需要及資源的預期進行測算,制定容量規(guī)劃,使得虛擬化資源可以在有效范圍運行,提升運維的控制能力和準確性,使系統(tǒng)建設規(guī)劃可以按需分配。虛擬化

49、容量管理涉及如下關鍵因素:性能分析資源趨勢分析資源的分配及利用率分析虛擬化能力管理可分為以下幾個層面:整個虛擬化數據中心的容量動態(tài)資源組內部的容量虛擬化服務器的容量虛擬機的容量虛擬化容量管理的服務要求虛擬化能力管理的服務參照服務目錄如下:性能分析:定義性能分析的內容及周期資源分配及利用率分析:定義資源分配和分配資源使用率分析的內容及周期能力趨勢分析:定義性能和資源使用率趨勢分析的內容和周期容量管理流程通過評估后,建立容量管理流程并交付容量管理規(guī)劃流程圖。容量指標定義協(xié)助客戶有效掌握虛擬化資源運行支撐能力,設定容量指標用于衡量虛擬化架構的支持能力,以進一步持續(xù)優(yōu)化容量管理。對象包含如下:虛擬數據

50、中心動態(tài)資源組虛擬化服務器虛擬機容量管理報告為有效的監(jiān)控虛擬化資源的使用和利用率,需定期的生成各種虛擬化架構的能力報告,以便掌握虛擬化架構的當前運行能力和使用效率,并對資源的使用進行趨勢分析,掌握可擴主要內容展的能力,并按需求提供虛擬化資源。協(xié)助客戶定義和交付虛擬化容量管理報告,如下所示:性能使用報告資源分配及利用率分析報告資源使用趨勢分析報告配置管理虛擬化配置管理通過發(fā)現,控制,維護和確認虛擬化環(huán)境的所有配置項(CI)及其關系構建虛擬化架構的配置管理數據庫,并根據變更需求進行更新,保證并統(tǒng)一集成到當前的配置管理流程中。虛擬化增加如下配置管理屬性:虛擬環(huán)境的特殊配置屬性虛擬資產的配置除具有原物

51、理環(huán)境的資產屬性外,還需對虛擬機增加如下屬性:虛擬機的服務起始時間虛擬機申請的服務期虛擬機的宿主機虛擬化配置服務管理的服務要求虛擬化配置管理的服務要求參照服務目錄的定義CMDB建立:收集虛擬環(huán)境的CI信息建立配置管理數據庫配置變更:當虛擬化環(huán)境發(fā)生變更后,更新配置管理數據庫中相關配置項的時限c)變更管理虛擬化變更管理以標準的方式和過程快速有效的處理虛擬化環(huán)境的變更請求,統(tǒng)一集成到當前的變更管理流程中,協(xié)助客戶增加/修改,定義管理屬性。虛擬化變更類型虛擬化變更的類型主要包括:虛擬化架構的物理變更虛擬機狀態(tài)變更虛擬機配置和位置變更虛擬資產的變更補丁升級管理定義虛擬化變更流程設定變更的請求、批準、實

52、施的人員角色定義變更請求發(fā)起變更請求驗證變更請求確認變更請求實施集成配置管理更新虛擬化變更的服務要求(OLA)虛擬化變更管理的服務要求參照服務目錄的定義平臺供應交付:定義確定業(yè)務需求后和經過審批后,交付滿足業(yè)務要求的虛擬機及相關資源的時限系統(tǒng)配置變更:定義根據業(yè)務要求和經審批后,對現有虛擬化系統(tǒng)更改配置并交付滿足業(yè)務要求的虛擬機及相關資源的時限資源釋放:定義根據業(yè)務要求和經審批后,對現有虛擬化系統(tǒng)退網處理并釋放相關資源的時限d)事件管理虛擬化事件管理跟蹤所有虛擬化環(huán)境故障事件,維護相應記錄,及時處理等內容,統(tǒng)集成到當前的事件管理流程中。虛擬化增加事件管理屬性如下:虛擬化事件來源虛擬化事件來源主

53、要包括:安裝在虛擬機和虛擬化服務器上的監(jiān)控軟件vCenter發(fā)出的警告(Alarm)及事件(Event)虛擬化硬件平臺告警和時間虛擬化事件類別在事件管理中增加虛擬化事件類別,子類可定義為:DataCenterCluster虛擬化服務器虛擬機虛擬網絡虛擬存儲虛擬化事件分級與處理流程目前可提供嚴重錯誤、警告和一般信息三級虛擬化事件告警,虛擬化事件分級可按同當前的分級標準映射,統(tǒng)一進行事件管理。建立虛擬化事件處理流程:定義事件處理角色和職責虛擬化事件收集與分類虛擬化事件升級虛擬化事件解決輸入問題管理數據庫虛擬化事件管理的服務要求(OLA)虛擬化事件管理服務要求定義如下內容:服務時間:定義接受和處理故

54、障的工作時間響應時間:定義收到故障事件后進行響應的時間要求故障處理時限:定義故障發(fā)生后必須處理并解決的時間,如不能解決則升級處理問題轉換:定義如果時間處理超過時限,是否轉換成問題故障/事件報告:定義故障統(tǒng)計報告的周期及內容e)問題管理虛擬化問題管理通過故障事件、問題和錯誤的收集和記錄,預防已知虛擬化問題出現,減少對業(yè)務影響,并統(tǒng)一集成到當前的問題管理流程中,在當前的問題管理流程中增加虛擬化問題分類,知識庫建立,其他屬性可集成到當前問題管理流程中。設計問題管理流程:定義問題管理人員角色和職責識別故障事件、問題和錯誤問題根源分析問題影響分析輸入知識數據庫虛擬化問題管理的服務參照服務目錄如下:服務時間:定義接受和處理問題的工作時間響應時間:定義收到問題請求后進行響應的時間要求問題處理時限:定義問題產生后必須處理并解決的時間,如不能解決則升級處理問題根源分析及處理報告:定義問題處理后的根源分析和問題處理過程方法以及和保留總結方式問題報告:定義問題統(tǒng)計報告的周期及內容f)服務等級管理虛擬化服務等級管理持續(xù)監(jiān)控虛擬化平臺運行性能與客戶體驗,確保虛擬應用持續(xù)穩(wěn)定的滿足業(yè)務需求,提升虛擬化服務等級質量,集成到當前的服務等級管理流程中,增加虛擬化服務等級管理屬性。建立虛擬化服務器等級管理體系,內容包括:建

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論