版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
大連市智慧交通云計算中心解決方案
目錄智慧交通云計算中心總體設計...........................................................1.1總體設計方案.......................................................................................11。1。1設計原則......................................................................................11。1.2支撐平臺技術架構設計...........................................................................21。1.3支撐平臺網(wǎng)絡拓撲設計...........................................................................21。1.4通過云操作系統(tǒng)實現(xiàn)云計算中心運營管理..........................................................31。1。5層次清晰的云計算中心部署架構設計..............................................................41。2項目技術路線.......................................................................................41。2.1X86系統(tǒng)架構...................................................................................41.2。2資源池化.......................................................................................61。2.3彈性擴展.......................................................................................81。2。4智能化云管理.................................................................................91。2。5充分考慮利舊.................................................................................92。云計算建設方案.......................................................................102.1網(wǎng)絡子系統(tǒng)建設......................................................................................102.2計算資源池建設......................................................................................112.2。1計算資源池定位.................................................................................112.2。2X86虛擬化實現(xiàn).................................................................................162.2。3計算資源池總體設計............................................................................202。2.4計算資源池建設方案............................................................................242。2。5選型建議......................................................................................252。3存儲資源池建設.....................................................................................262.3.1數(shù)據(jù)類型分析.....................................................................................262.3。2存儲網(wǎng)絡設計..................................................................................272.3.3統(tǒng)一存儲平臺設計................................................................................302.4數(shù)據(jù)庫子系統(tǒng)建設.....................................................................................362。4.1構建高性能集群數(shù)據(jù)庫系統(tǒng)......................................................................362.4.2集群數(shù)據(jù)庫建設方案...............................................................................372.5云計算資源管理平臺建設...............................................................................382.6云平臺安全體系建設.................................................................................392。6。1安全技術體系設計.............................................................................402。6.2安全管理體系設計...............................................................................402.7云平臺災備子系統(tǒng)建設................................................................................402.7.1本地數(shù)據(jù)備份....................................................................................402。7.2異地數(shù)據(jù)級容災................................................................................412。8機房子系統(tǒng)........................................................................................412。8.1機房基礎設施建設方案..........................................................................412。8.2總述...........................................................................................442.8.3主設備配置清單.................................................................................462.8.4機房整體規(guī)劃.....................................................................................472。8.5空調系統(tǒng).......................................................................................492。8。6機柜微環(huán)境系統(tǒng)................................................................................522.8。7電氣系統(tǒng)設計..................................................................................552。8。8裝修系統(tǒng)設計.................................................................................622。8。9安防系統(tǒng)設計.................................................................................642.8。10消防系統(tǒng)設計..................................................................................67
1.智慧交通云計算中心總體設計1.1總體設計方案1.1.1設計原則先進性智慧交通云計算中心的建設采用業(yè)界主流的云計算理念,廣泛采用虛擬化、分布式存儲、分布式計算等先進技術與應用模式,并與電子政務業(yè)務相結合,確保先進技術與模式應用的有效與適用??蓴U展性政務云計算中心的計算、存儲、網(wǎng)絡等基礎資源需要根據(jù)業(yè)務應用工作負荷的需求進行伸縮。在系統(tǒng)進行容量擴展時,只需增加相應數(shù)量的硬件設備,并在其上部署、配置相應的資源調度管理軟件和業(yè)務應用軟件,即可實現(xiàn)系統(tǒng)擴展.成熟性智慧交通云計算中心建設,要考慮采用成熟各種技術手段,實現(xiàn)各種功能,保證云計算中心的良好運行,滿足業(yè)務需要.開放性與兼容性智慧交通云計算中心采用開放性架構體系,能夠兼容業(yè)界通用的設備及主流的操作系統(tǒng)、虛擬化軟件、應用程序,從而使得政務云計算中心大大降低開發(fā)、運營、維護等成本??煽啃灾腔劢煌ㄔ朴嬎阒行男杼峁┛煽康挠嬎恪⒋鎯?、網(wǎng)絡等資源。系統(tǒng)需要在硬件、網(wǎng)絡、軟件等方面考慮適當冗余,避免單點故障,保證政務云計算中心可靠運行。安全性智慧交通云計算中心與省政務外網(wǎng)、區(qū)縣政務外網(wǎng)及互聯(lián)網(wǎng)分別連接,必須防范網(wǎng)絡入侵攻擊、病毒感染;同時,政務云計算中心的資源共享給不同的系統(tǒng)使用,必須保證它們之間不會發(fā)生數(shù)據(jù)泄漏。因此,政務云計算中心應該在各個層面進行完善的安全防護,確保信息的安全和私密性。多業(yè)務性智慧交通云計算中心的規(guī)劃設計中,充分考慮了需要支撐多用戶、多業(yè)務的特征,保證基礎資源在不同的應用和用戶間根據(jù)需求自動動態(tài)調度的同時,使得不同的業(yè)務能夠彼此隔離,保證多種業(yè)務的同時良好運行.自主可控智慧交通云計算中心的建設在產(chǎn)品選型中,優(yōu)先選擇自主可控的軟硬件產(chǎn)品,一方面保證整個云計算中心的安全,另一方面也能夠促進本地信息化產(chǎn)業(yè)鏈的發(fā)展。1.1.2支撐平臺技術架構設計圖支撐平臺技術架構支撐平臺總體技術架構設計如上,整個架構從下往上包括云計算基礎設施層、云計算平臺資源層、云計算業(yè)務數(shù)據(jù)層、云計算管理層和云計算服務層。其中:云計算基礎設施層:主要包括云計算中心的物理機房環(huán)境;云計算平臺資源層:在云計算中心安全的物理環(huán)境基礎上,采用虛擬化、分布式存儲等云計算技術,實現(xiàn)服務器、網(wǎng)絡、存儲的虛擬化,構建計算資源池、存儲資源池和網(wǎng)絡資源池,實現(xiàn)基礎設施即服務。云計算業(yè)務數(shù)據(jù)層:主要為實現(xiàn)業(yè)務數(shù)據(jù)的安全存儲,同時針對云平臺的各個虛擬機鏡像數(shù)據(jù)和模板數(shù)據(jù)進行共享存儲,支持虛擬機的動態(tài)遷移和數(shù)據(jù)的遷移;實現(xiàn)部門間數(shù)據(jù)共享與交換;實現(xiàn)業(yè)務應用接入.云計算管理層:通過自主可控的云計算操作系統(tǒng),實現(xiàn)云計算中心的服務管理及業(yè)務管理的協(xié)調統(tǒng)一,提高運維及運營的效率.云計算服務層:是云計算中心與最終用于交互的接口和平臺,通過該平臺能夠實現(xiàn)云計算中心統(tǒng)一對外提供服務,為客戶人員提供整體的云應用和服務.支撐平臺通過統(tǒng)一的云服務平臺對外提供服務。1.1.3支撐平臺網(wǎng)絡拓撲設計圖云計算中心拓撲架構圖支撐平臺建設基于以物理分區(qū)為基本單元的設計理念,整個云計算中心可分為:核心交換區(qū)、管理區(qū)、DMZ區(qū)、業(yè)務應用區(qū)以及云存儲區(qū).其中:核心交換區(qū):負責核心網(wǎng)絡交換;管理區(qū):對云計算平臺進行整體管理,單獨建設一套管理網(wǎng)絡;DMZ區(qū):考慮云計算中心整體安全性,設置專門的DMZ區(qū),承載各業(yè)務部門的業(yè)務應用系統(tǒng)的WEB發(fā)布,同時支撐云計算中心互聯(lián)網(wǎng)的接入,該區(qū)可采用全虛擬機進行支撐或者采用虛擬機和物理服務器共同支撐;業(yè)務應用區(qū)包括兩部分:數(shù)據(jù)庫邏輯分區(qū)和應用系統(tǒng)邏輯分區(qū)。其中:數(shù)據(jù)庫邏輯分區(qū)用高端八路物理機支撐;應用系統(tǒng)邏輯分區(qū)采用虛擬化和物理服務器支撐,根據(jù)具體的業(yè)務應用特點決定支撐平臺選用虛擬機還是物理服務器.數(shù)據(jù)庫分區(qū):主要建設支撐各應用系統(tǒng)的結構化數(shù)據(jù)數(shù)據(jù)庫,考慮到數(shù)據(jù)庫數(shù)據(jù)量的龐大和系統(tǒng)對數(shù)據(jù)的訪問I/O吞吐,該區(qū)建議采用高端物理機進行支撐;業(yè)務應用邏輯分區(qū):主要根據(jù)業(yè)務部門的不同業(yè)務需求及業(yè)務部門對平臺安全級別要求的不同,采用虛擬機和物理服務器共同支撐。未來,隨著云計算中心業(yè)務量的增加和復雜度的增加,可以按照相同的架構進行節(jié)點的擴展,達到整個云計算平臺的可擴展性和很好的伸縮性。1.1.4通過云操作系統(tǒng)實現(xiàn)云計算中心運營管理圖云計算中心邏輯架構圖整個云計算中心設計采用業(yè)務區(qū)域的理念.業(yè)務區(qū)域(即以服務器集群為核心的物理資源區(qū)域,不同的業(yè)務區(qū)域設備配置可以不同)是系統(tǒng)的基本硬件組成單元,整個系統(tǒng)共包括若干個業(yè)務區(qū)域.系統(tǒng)規(guī)模的擴大可以通過增加業(yè)務區(qū)域方式,使得整個系統(tǒng)具有很好的可擴展性。業(yè)務區(qū)域的業(yè)務網(wǎng)絡交換機通過萬兆方式上聯(lián)到核心交換區(qū),通過核心交換區(qū)與其他業(yè)務區(qū)域和域外系統(tǒng)互聯(lián)。在每個業(yè)務區(qū)域內,通過云資源管理平臺的云計算運營中心節(jié)點實現(xiàn)在X86業(yè)務節(jié)點上部署Hypervisor,并形成一個或多個獨立的邏輯資源池,提供給應用使用;通過云計算虛擬化管理中心在邏輯資源池內可實現(xiàn)資源的共享和動態(tài)分配。每個業(yè)務區(qū)域包括:云計算虛擬化管理中心節(jié)點、業(yè)務節(jié)點、業(yè)務網(wǎng)絡、管理網(wǎng)絡、心跳網(wǎng)絡、本地鏡像存儲;業(yè)務區(qū)域根據(jù)各自的業(yè)務需要訪問FC存儲或并行存儲等業(yè)務數(shù)據(jù)存儲區(qū)域。云計算平臺配置多臺云計算服務門戶節(jié)點,為最終用戶的系統(tǒng)管理員提供自助門戶服務。采用以上設計理念,使得整個系統(tǒng)具有超高的可擴展性,可使整個系統(tǒng)擴展到上千臺物理服務器規(guī)模。1.1.5層次清晰的云計算中心部署架構設計圖云計算中心部署架構圖依據(jù)云計算中心建設的總體需求,勾畫整個項目的部署架構,指導項目整體建設。云計算中心部署主要包括幾個層面:計算資源池的構建、業(yè)務數(shù)據(jù)的分區(qū)規(guī)劃、共享存儲的設計等。從整個部署架構來看:計算資源池的構建主要采用高端多核心X86服務器作為服務器基礎支撐,通過虛擬化技術實現(xiàn)底層物理資源的虛擬化,通過云資源管理平臺進行虛擬機的創(chuàng)建、動態(tài)分配、遷移及管理,形成統(tǒng)一的計算資源池??紤]到云計算的安全性、可靠性及重要性,在本方案中數(shù)據(jù)庫分區(qū)采用物理機支撐,以夠保證整個數(shù)據(jù)庫的穩(wěn)定、高I/O吞吐和訪問,主要通過高端X86高性能服務器通過集群技術進行部署,支撐相關業(yè)務數(shù)據(jù)的存儲和管理。共享存儲設計的存儲數(shù)據(jù)主要包括重要業(yè)務數(shù)據(jù)和虛擬機鏡像數(shù)據(jù),其中:重要業(yè)務數(shù)據(jù)主要通過Oracle/DB2/SQLServer/MySQL等數(shù)據(jù)庫進行數(shù)據(jù)管理,結構化數(shù)據(jù)存儲利用高端私有云存儲設備來支撐,在未來需要對存儲容量進行擴展時可方便的橫向縱向擴展;虛擬機鏡像數(shù)據(jù)主要存放在共享存儲部分,通過共享存儲設備來支撐虛擬機鏡像數(shù)據(jù)的存放,共享存儲建議使用并行存儲系統(tǒng)來支撐.1.2項目技術路線本項目建設云計算中心的基本技術路線主要包括:X86系統(tǒng)架構、資源池化、彈性擴展、智能化云管理以及充分考慮利舊.1.2.1X86系統(tǒng)架構基于X86平臺的服務器使用IntelXeon或者AMDOpteron作為處理器,也就是通常所說的PC服務器.近年來,IntelXeon和AMDOpteron的性能獲得巨大的提高,大量的先進技術和工藝先后被Intel/AMD引人其處理器的設計和制造中,比如,64位計算、直連結構、內嵌內存控制器、多核(目前,IntelXeon最多可以做到10核;AMDOpteron可以做到16核)、硬件輔助虛擬化技術(IntelVT、AMD-V)、32nm等等。在國際權威測試機構TPC組織發(fā)布的結果中,采用X86架構服務器價格/性能比最佳.X86服務器主要優(yōu)勢表現(xiàn)在界面友好,系統(tǒng)安裝、網(wǎng)絡裝置、客戶機設置簡易,設置、管理系統(tǒng)直觀、方便,系統(tǒng)擴展靈活等優(yōu)點,對構建大型應用集群具有較好的優(yōu)勢。同時,基于X86架構的服務器因為其開放的架構,開放的生態(tài)系統(tǒng),使其具有較低的運維成本,這也是傳統(tǒng)小型機等封閉系統(tǒng)所不能比擬的。此外,從可靠性的角度,在云計算環(huán)境下,通常大量采用虛擬化、分布式、并行計算等模式,有力的保證了計算系統(tǒng)的可靠性。同時,基于X86架構的服務器因為其開放的架構,開放的生態(tài)系統(tǒng),使其具有較低的運維成本,這也是傳統(tǒng)小型機等封閉系統(tǒng)所不能比擬的.此外,從可靠性的角度,在云計算環(huán)境下,通常大量采用虛擬化、分布式、并行計算等模式,有力的保證了計算系統(tǒng)的可靠性。國內外幾大互聯(lián)網(wǎng)巨頭,Google、Amazon、百度、阿里巴巴等,無不大量采用X86架構的設備,支撐海量的互聯(lián)網(wǎng)檢索和訪問.X86架構的服務器已經(jīng)成為構建云計算中心虛擬化平臺的最佳選擇。X86服務器相對于小型機的優(yōu)勢如下表所示:表表X86服務器與RISC架構小型機的區(qū)別特性小型機X86服務器軟件層操作系統(tǒng)Unix為主Unix、Linux、windows全部支持支持應用的數(shù)量較少很多操作數(shù)大小64位32位、64位全部支持可管理性管理成本很高較低是否支持易購買的零部件否是故障排除難度高低是否有國產(chǎn)廠商提供很少很多可靠性是否能夠提供冗余是是性能價格比和可擴展性性能高高價格很高較低可擴展性低高top500中的數(shù)量很少絕大多數(shù)總之,X86服務器相對于RISC架構的小型機其優(yōu)勢如下:性能價格比高X86服務器目前已經(jīng)成為高性能計算機的發(fā)展方向,世界上top500排行榜的高性能計算機系統(tǒng)絕大多數(shù)是由性價比更好的X86服務器組成的集群系統(tǒng),小型機系統(tǒng)則很少。可擴展性好X86服務器可以通過原有預留的擴展接口進行無縫的擴展,且相關擴展接口都是業(yè)界通用的,非專用接口,這是小型機系統(tǒng)所無法做到的.X86服務器組成的集群系統(tǒng)擴展成本更低,可以實現(xiàn)按需擴展??晒芾硇院肵86服務器復雜度小于小型機,通常管理一個X86服務器組成的集群系統(tǒng)要比管理一個小型機系統(tǒng)要簡單得多,這也同時意味著培養(yǎng)一個小型機的管理人才將耗費大量的費用和支出。維護與升級更容易X86服務器都是采用了標準的硬件設備,那就意味著這些設備可以輕松地拿到,在關鍵時候客戶即使沒有硬件廠商的提供也可以自行配置出臨時的解決辦法,使用通用的X86架構服務器不會輕易受制于服務器制造商;然而,小型機的每個配件都是專用的,那就意味著用戶在一些關鍵的業(yè)務上需要等待小型機廠商的服務響應時間,受制于小型機設備制造商,將自己的工作帶向了被動。對應用系統(tǒng)的更多的支持小型機系統(tǒng)只能支持相對較少的操作系統(tǒng)和64位軟件,而X86服務器可以支持大部分主流操作系統(tǒng)并且可以支持同時存在多種操作系統(tǒng),也支持32位和64位的軟件系統(tǒng),在X86服務器上可運行的軟件是小型機系統(tǒng)的成百上千倍。1.2.2資源池化資源池化就是將計算資源、存儲資源、網(wǎng)絡資源通過虛擬化技術,將構成相應資源的眾多物理設備組合成一個整體,形成相應的計算資源池、存儲資源池、網(wǎng)絡資源池,提供給上層應用軟件.資源虛擬化是對上層應用屏蔽底層設備或架構的資源封裝手段,是實現(xiàn)云計算資源池化的重要技術基礎。虛擬化技術由來已久,所謂虛擬化是相對于物理實體而言的,即將真實存在的物理實體,通過切分或(和)聚合的封裝手段形成新的表現(xiàn)形態(tài).聚合封裝是將多個物理實體通過技術手段封裝為單一虛擬映像/實例,可用于完成某個業(yè)務。例如SMP、計算集群(Cluster、負載均衡集群() LoadBalance)、RAID技術、虛擬存儲、端口匯聚(porttrunk)、交換機堆疊(stack)等。切分封裝是將單個物理實體通過技術手段封裝為多個虛擬映像/實例,可用于執(zhí)行不同業(yè)務。例如主機虛擬化、存儲分區(qū)、虛擬局域網(wǎng)(VLAN)等.其中:SMP、計算集群、負載均衡、主機虛擬化等屬于計算虛擬化的范疇;存儲分區(qū)、RAID技術、虛擬存儲等屬于存儲虛擬化的范疇;虛擬局域網(wǎng)(VLAN)、交換機堆疊、端口匯聚等則屬于網(wǎng)絡虛擬化的范疇.對于虛擬化技術也可以組合使用,以靈活地滿足各種應用環(huán)境。例如:存儲分區(qū)可以是對單個磁盤,也可以是針對RAID磁盤組;虛擬化主機通過負載均衡又可以實現(xiàn)應用單一映像。虛擬化技術的一個重要結果是降低IT架構中部件之間的依賴關系,以計算虛擬化為例,集群、主機虛擬化等計算虛擬化技術實現(xiàn)了應用軟件與物理基礎設施解耦合,這個過程類似與從C/S架構到B/S架構,繼而發(fā)展為多層體系結構的發(fā)展,都是由于原有的體系發(fā)展出現(xiàn)瓶頸或問題而出現(xiàn)的。C/S架構到B/S架構是通過應用計算與客戶端的解耦合,在客戶端與數(shù)據(jù)庫之間增加了webserver這樣的中間層,減少了客戶端和數(shù)據(jù)庫的處理壓力。圖C/S架構到B/S架構轉化圖B/S結構到多層體系結構是通過數(shù)據(jù)處理與webserver的解耦,在webserver之間增加applicationserver,減少了webserver的處理壓力。圖B/S結構到多層體系結構轉化圖C/S結構到B/S多層體系結構的發(fā)展,優(yōu)化了應用處理的過程,提高了應用系統(tǒng)的處理能力,而且也解決了應用系統(tǒng)的擴展能力,使大規(guī)模應用處理成為可能。云計算平臺的計算虛擬化技術形式眾多,所要解決的問題也各不相同。例如:集群技術使得應用處理獲得了更大的處理能力;主機虛擬化技術則是提高服務器處理能力的利用率。圖集群技術及主機虛擬技術優(yōu)勢圖但是從最終的效果而言都是分離了應用軟件與物理基礎設施,解除或弱化了它們之間的耦合,從而也就削弱了各自的技術發(fā)展所受到的相互限制,拓展了技術發(fā)展的空間和靈活性.圖傳統(tǒng)數(shù)據(jù)中心向云計算中心遷移示意圖1.2.3彈性擴展云計算中心要實現(xiàn)所提供服務的質量,動態(tài)的資源調度是必不可少的?,F(xiàn)有數(shù)據(jù)中心的IT基礎架構采用固態(tài)配置,靈活性很差,當業(yè)務發(fā)展超出預期時,無法及時根據(jù)業(yè)務需求調整資源供給,難以滿足業(yè)務快速增長的需求。而且系統(tǒng)資源擴展需要一定的周期,在此過程中,業(yè)務系統(tǒng)將處于高危運行狀態(tài),造成服務質量下降。而為了應用峰值而擴展的資源在正常情況下,將處于低負荷狀態(tài),造成資源浪費。而云計算中心要避免這樣的情況出現(xiàn),就必須要實現(xiàn)動態(tài)的資源調度,實現(xiàn)業(yè)務系統(tǒng)資源配備的按需調整,結合管理系統(tǒng)的資源監(jiān)控,根據(jù)業(yè)務負載等情況,調整業(yè)務資源配給,保障業(yè)務系統(tǒng)的資源供給,滿足其運行需要,也就保障了業(yè)務的服務質量。云計算中心弱化了應用軟件與底層物理資源依賴關系,使得物理資源能夠更加靈活地向優(yōu)化系統(tǒng)性能、提高可靠性、提高易用性、提高運維效率等方面發(fā)展,使得動態(tài)資源調度成為可能,從而為上層的應用軟件提供更好的服務質量。而提高底層的計算、存儲、網(wǎng)絡等物理資源的耦合性,對于解決上述問題具有關鍵作用。首先通過對計算資源、存儲資源、網(wǎng)絡資源進行優(yōu)化配給,提高資源能力的耦合性,則可以更好地提高云計算平臺的整體性能。然后智能化地根據(jù)用戶需要封裝、分配資源,形成虛擬應用平臺,用戶在簡單地部署自己的應用或數(shù)據(jù)后,應用系統(tǒng)即可投入使用。利用整合了計算、存儲、網(wǎng)絡等方面資源的運維專家系統(tǒng),只需基于虛擬應用平臺對物理資源的使用分析,即可動態(tài)地對其所用物理資源進行優(yōu)化調整,以提高用戶應用的運行效率和服務質量。在云計算中心,運維人員無需過分關心上層應用的情況,只需基于虛擬應用平臺對物理資源的使用分析,進行資源優(yōu)化調整,保證云計算中心的穩(wěn)定高效即可。圖云計算中心彈性擴展示例圖1.2.4智能化云管理云計算中心具有IaaS、PaaS、SaaS等眾多的服務模型,提供計算服務、存儲服務、乃至整合各種資源的綜合性服務,其資源的構成更加復雜、規(guī)模更加龐大.為了提高易用性和可維護性,各種資源構成之間的關系復雜。為了保證云計算中心的服務質量,對于眾多用戶資源配給的調整也要求更精準的、更及時。這些要求已經(jīng)不是依靠運維人員的能力所能滿足的,需要采用更加智能化的自適應運維管理。云計算中心運維管理要適應云服務對資源管理所提出的新需求:緊耦合的資源管理云計算中心采用資源綜合管理,即將系統(tǒng)中的計算、存儲、網(wǎng)絡等資源視為整體系統(tǒng),實施統(tǒng)一管理,這有利于優(yōu)化整體性能、精確定位問題、是實現(xiàn)動態(tài)資源調度的重要因素。多維度的資源管理云計算中心的資源具有多種視圖,例如物理資源視圖、虛擬資源視圖、虛擬組織視圖,因此,云管理也應該是多維的。1.2.5充分考慮利舊項目建設應充分考慮利舊,建設新系統(tǒng)并將業(yè)務系統(tǒng)遷移至新系統(tǒng)之后,先前采購的設備應繼續(xù)利用,避免浪費已有投資。主要包括以下幾個方面:服務器設備:經(jīng)過性能和穩(wěn)定性衡量之后,可以用來做對性能要求較低的前置機或者在云計算分區(qū)中添加一個利舊服務器組成的云區(qū)域,承擔重要性稍差的業(yè)務系統(tǒng);存儲設備:可以用來做容災,以充實存儲空間;網(wǎng)絡設備:經(jīng)過性能和穩(wěn)定性衡量之后,可以用來和新購網(wǎng)絡設備一起組成云計算中心的網(wǎng)絡體系。2.云計算建設方案2.1網(wǎng)絡子系統(tǒng)建設網(wǎng)絡拓撲方案一般有三層組網(wǎng)方案和二層組網(wǎng)方案.傳統(tǒng)的網(wǎng)絡設計方案中,通常采用三層方案。三層方案將云計算中心基礎網(wǎng)絡分成核心、匯聚和接入三層架構。通常情況下,核心與匯聚之間通過路由技術進行流量的控制,匯聚層設備可以部署安全模塊作為業(yè)務分區(qū)的邊界網(wǎng)關,匯聚層以下普遍采用二層接入,運行STP/MSTP等協(xié)議來降低二層環(huán)路帶來的隱患.三層結構的優(yōu)點在于:網(wǎng)絡分區(qū)清晰,以匯聚層設備區(qū)分業(yè)務部署,易于擴展、管理和維護;匯聚層可以靈活控制縱向網(wǎng)絡的收斂比,不同性能要求的區(qū)域按照不同的規(guī)劃進行設計,降低核心設備的端口壓力;布線方式清晰、靈活,不會出現(xiàn)集中布線帶來的散熱、維護等問題;因接入層設備采用低端產(chǎn)品,匯聚層設備可按照收斂比靈活控制成本,整體組網(wǎng)成本相對較低。三層結構的缺點在于:組網(wǎng)結構復雜,需要部署MSTP和VRRP等冗余協(xié)議;在匯聚層收斂比較大,性能容易出現(xiàn)瓶頸;三層結構在部署時,網(wǎng)關部署在匯聚層,匯聚層以上采用路由協(xié)議進行流量控制,而路由收斂較慢,路由路徑及節(jié)點增多,管理難度加大;匯聚層以下使用二層,仍然存在出現(xiàn)環(huán)路的風險;從整體規(guī)劃上,三層結構較復雜。隨著信息技術的不斷發(fā)展,高端交換機的轉發(fā)性能和接入密度都在不斷的提高,因此匯聚層高端交換機設備具備足夠的能力直接提供高密度的千兆接入和萬兆上行能力,從而精簡大量的接入層設備,使網(wǎng)絡架構趨向于扁平化.在核心與匯聚接入層設備之間運行二層交換,vlan配置靈活,并可通過新一代交換機虛擬化功能替代傳統(tǒng)的STP/MSTP,通過vlan映射業(yè)務分區(qū),網(wǎng)絡結構簡潔、清晰。二層結構的優(yōu)點在于:扁平化組網(wǎng),簡化網(wǎng)絡拓撲,減少了單點故障和性能瓶頸,易于管理、維護;二層組網(wǎng)均采用高端設備,能夠搭建一套具備極高轉發(fā)性能的云計算中心高端網(wǎng)絡,同時高端設備的可靠性更高,能夠為云計算中心應用保駕護航;新一代高端交換機設備支持虛擬化技術,能夠消除大量的環(huán)路設計,消除STP/MSTP等協(xié)議帶來的運維、管理的復雜性;適合于大規(guī)模、集中部署,且高性能需求較高的云計算中心。根據(jù)云計算服務器數(shù)量多、擴展速度快、可靠性要求較低、網(wǎng)絡結構獨立的幾個特點,將服務器群接入網(wǎng)絡物理采用二層網(wǎng)絡設計,在邏輯上虛擬成一層考慮。根據(jù)二層組網(wǎng)原則,本項目組網(wǎng)邏輯架構拓撲如下圖所示。圖組網(wǎng)邏輯架構拓撲2.2計算資源池建設2.2.1計算資源池定位2.2.1.1計算資源池特性由于云計算中心需要處理前端進來的海量數(shù)據(jù),因此需要大量的計算機節(jié)點。傳統(tǒng)的超級計算中心強調整體的計算能力,當前的互聯(lián)網(wǎng)數(shù)據(jù)中心強調密度、帶寬等因素.而云計算中心,特別是作為物聯(lián)網(wǎng)后端處理中心的物理網(wǎng)云計算中心需要的是強大的“處理能力”這個,“處理能力”包含了計算能力、傳輸能力,甚至存儲能力。畢竟云計算中心不同于傳統(tǒng)的超級計算中心,不是長時間運行同一個計算程序,而是要同時處理成千上萬個服務請求,要求響應時間很短、對通信帶寬和存儲容量有巨大的需求。因此,云計算中心需要具有高通量特征的計算機系統(tǒng)。其次,對云計算運營者來講,在提供可靠服務的前提下,通過大量先進技術降低總體擁有成本是云計算中心基礎架構建設的核心目標。因此,構建云計算中心的一個重要標準就是利用標準化的、性價比高的通用部件或者產(chǎn)品。因為,只有標準化、商品化的部件才有眾多的采購來源,并因為其開放性,從而具有較低的運營成本。再次,云計算平臺的重要特征之一是實現(xiàn)資源的抽象和封裝、構建動態(tài)化、彈性化的計算資源池,而虛擬化技術和分布式數(shù)據(jù)存儲、分析技術是實現(xiàn)達到這一目標的重要手段。因此,計算子系統(tǒng)應該在虛擬化和分布式數(shù)據(jù)存儲模型兩個方面有較好的解決方案。最后,除了具有通用性、標準化、資源池化等特征之外,計算子系統(tǒng)還應該具有易管理、低能耗的特征,從而大大降低云計算中心的能耗、降低運維成本.2.2.1.2主要技術路線1)計算虛擬化技術計算虛擬化技術是實現(xiàn)云計算中心資源池化的關鍵技術之一,是實現(xiàn)高可用、彈性擴展云計算平臺的技術基礎。計算虛擬化是一個抽象層,是對上層應用屏蔽底層計算設備的資源封裝手段,將構成計算資源的眾多物理設備組合成一個整體,形成計算資源池,提供給上層應用軟件,從而提供更高的IT資源利用率和靈活性。計算虛擬化技術將真實存在的物理計算資源,通過切分或(和)聚合的封裝手段形成新的表現(xiàn)形態(tài)。聚合封裝是將多個物理實體通過技術手段封裝為單一虛擬映像/實例,可用于完成某個業(yè)務。就計算資源而言,通常采用計算集群(Cluster)、負載均衡集群(LoadBalance)等。切分封裝是將單個物理實體通過技術手段封裝為多個虛擬映像/實例,可用于執(zhí)行不同業(yè)務。通常采用主機虛擬化,如VmwareESX、Xen、MSHyper-V等產(chǎn)品。無論是計算集群(Cluster、負載均衡集群) (LoadBalance),還是主機虛擬化,都屬于計算資源虛擬化技術,多種虛擬化技術也可以組合使用,使得計算資源池的使用更加靈活.2)基于X86架構的計算平臺云計算中心采用標準的X86架構服務器作為“云"的節(jié)點機?;赬86平臺的服務器使用IntelXeon或者AMDOpteron作為處理器,也就是通常所說的PC服務器。X86架構的服務器使用標準化、商業(yè)化的部件,從而成為構建大型云計算中心的最佳選擇。近年來,IntelXeon和AMDOpteron的性能獲得巨大的提高,大量的先進技術和工藝先后被Intel/AMD引人其處理器的設計和制造中,比如,64位計算、直連結構、內嵌內存控制器、多核(目前,IntelXeon最多可以做到10核;AMDOpteron可以做到16核)、硬件輔助虛擬化技術(IntelVT、AMD-V)、32nm制程等等。在國際權威的測試機構TPC組織發(fā)布的結果中,采用X86架構的服務器價格/性能比最佳.從性能角度,4顆IntelXeon7560的tpmC值就可達到24顆POWER7的23%。最后,基于X86架構的服務器因為其開放的架構,開放的生態(tài)系統(tǒng),使其具有較低的運維成本,這也是小型機等封閉系統(tǒng)所不能比擬的。從可靠性的角度,在云計算環(huán)境下,通常大量采用虛擬化、分布式、并行計算等模式,有力的保證了計算系統(tǒng)的可靠性.全球幾大互聯(lián)網(wǎng)巨頭,Google、Amazon、百度、阿里巴巴等,無不大量采用X86架構的設備,支撐海量的互聯(lián)網(wǎng)檢索和訪問。并行計算技術高性能并行處理技術主要包括基于共享內存的OpenMP和多線程以及基于分布式消息傳遞的MPI,其中MPI技術可擴展性強、計算效率高,是目前業(yè)界最流行的高性能并行處理技術.MPI和OpenMP等并行處理技術的能力可以很好的滿足物聯(lián)網(wǎng)計算密集類應用的高性能處理需求。圖:并行計算思想:分而治之Map/Reduce分布式計算Hadoop系統(tǒng)是Apache開源組織的一個分布式計算開源框架,在很多大型網(wǎng)站上都已經(jīng)得到了應用,如亞馬遜、Facebook和Yahoo等等。Hadoop設計了用來在由通用計算設備組成的大型集群上執(zhí)行分布式應用的框架,利用了分布式文件系統(tǒng)的備份恢復機制保證了系統(tǒng)的高可靠性,為用戶提供了一個全新的穩(wěn)定的存儲系統(tǒng)和分析系統(tǒng)。其主要部分是模擬Google的GFS和Map/Reduce框架完成的,下圖顯示了Hadoop的體系結構,存儲系統(tǒng)是用HDFS實現(xiàn)的,而分析系統(tǒng)使用Map/Reduce實現(xiàn)。Hadoop的工程本身還包括其它子系統(tǒng),如HBase、ZooKeeper等.圖:HADOOP的體系結構5)可重構計算技術根據(jù)摩爾定律,CPU處理能力每18個月翻一倍,過去30年都是按照這個速度在不斷提高。在此過程中解決了一個又一個的技術難題,如時鐘頻率、超標量架構、流水線技術等,使處理能力得到了極大地提高。然而根據(jù)吉爾德定律,在未來25年,主干網(wǎng)的帶寬每6個月增長一倍,換句話說,也可以理解為需要處理的內容的增長速度是CPU處理能力的3倍,也就是說在信息處理系統(tǒng)的建設中,系統(tǒng)規(guī)模將會呈現(xiàn)持續(xù)上升,而不會因為CPU的發(fā)展而有所緩解。基于可重構計算技術來實現(xiàn)特殊應用的加速是目前主流的方案。云計算技術在提供傳統(tǒng)計算手段之外,還應該針對具體應用需求,提供眾核協(xié)處理器、GPU計算和FPGA三種可重構計算模式,適應不同類型應用的需求。例如在網(wǎng)絡數(shù)據(jù)處理、音視頻信息處理等方面,即可針對應用處理要求,選用相應的可重構計算模式,以提高處理能力,降低系統(tǒng)規(guī)模的過快增長。6)主機虛擬化技術主機虛擬化技術是實現(xiàn)資源池化的重要手段之一。近年來,X86架構上的主機虛擬化技術逐漸成熟,涌現(xiàn)出不少技術和產(chǎn)品,VMwareESX、Xen、微軟Hyper-V就是其中的代表。作為第一個(1998年)將主機虛擬化技術引入X86平臺的廠商,VMware目前在X86平臺的虛擬化市場上處于領先地位,ESX的最新版本是6.0。作為與ESX相類似(同屬裸金屬架構)的Hypervisor和ESX的競爭者,Xen和Hyper—V也越來越強大。Xen是劍橋大學于2005年發(fā)布的一個開源的Hypervisor,已被吸收到Redhat、SuSE、OracleVM中。Xen已經(jīng)于2007年被Citrix收購,但目前仍然作為一個開源項目由Citrix維護,代表著開源社區(qū)的力量。目前,Xen的最新版本是4.0.1,而CitrixXenServer的最新版本是5。6。微軟于2008年發(fā)布了自己的Hypervisor——Hyper—V,目前已經(jīng)更新到Hyper—Vr2版本。2.2.2X86虛擬化實現(xiàn)X86服務器虛擬化,就是在硬件和操作系統(tǒng)之間引入虛擬化層,如下圖.虛擬化層允許多個操作系統(tǒng)實例同時運行在一臺物理服務器上,動態(tài)分區(qū)和共享所有可用的物理資源,包括:CPU、內存、存儲和I/O設備。隨著服務器和臺式機的計算能力急劇增加,虛擬化技術應用廣泛普及,很多用戶已經(jīng)在開發(fā)/測試、服務器整合、數(shù)據(jù)中心優(yōu)化和業(yè)務連續(xù)性方面證實了虛擬化的效用。虛擬架構已經(jīng)可以將操作系統(tǒng)和應用從硬件上分離出來,打包成獨立的、可移動的虛擬機,從來帶來極大的靈活性。例如:可以通過虛擬架構,讓服務器24小時*365天運行,避免因為備份或服務器維護而帶來的停機。對于X86虛擬化,有兩種常見的架構:寄居架構和裸金屬架構.寄居架構:將虛擬化層運行在操作系統(tǒng)之上,當作一個應用來運行,對硬件的支持很廣泛。裸金屬架構:直接將虛擬化層運行在X86的硬件系統(tǒng)上,可以直接訪問硬件資源,無需通過操作系統(tǒng)實現(xiàn)硬件訪問,因此效率更高。2.2.2.1虛擬化層虛擬化層是運行在虛擬機監(jiān)控器(VMM,VirtualMachineMonitor)上面、負責管理所有虛擬機的軟件。如下圖所示,虛擬化層就是Hypervisor(管理程序)直接運行在硬件上,因此,Hypervisor的功能極大地取決于虛擬化架構和實現(xiàn)。運行在Hypervisor(管理程序)上的每個VMM進行了硬件抽取,負責運行傳統(tǒng)的操作系統(tǒng)。每個VMM必須進行分區(qū)和CPU、內存和I/O設備的共享,從而實現(xiàn)系統(tǒng)的虛擬化。圖:HYPERVISOR通過VMM管理虛擬機2.2.2.2CPU虛擬化根據(jù)最初設計,X86上的操作系統(tǒng)需要直接運行在裸機上,因此默認擁有和控制所有的硬件.如下圖所示,X86架構提供了四種特權級別Ring0、1、2和3,通過這四種級別來控制和管理對硬件的訪問。通常,用戶級的應用一般運行在Ring3級別,操作系統(tǒng)需要直接訪問內存和硬件,需要在Ring0執(zhí)行它的特權指令。為了虛擬X86架構,需要在操作系統(tǒng)下面運行虛擬化層,由虛擬化層來創(chuàng)建和管理虛擬機,進行共享資源分配.而有些敏感指令不能很好的進行虛擬化,它們在Ring0以外級別執(zhí)行時,會出現(xiàn)不同的結果。如何在運行時捕獲和翻譯這些敏感指令成為X86虛擬化的一大挑戰(zhàn),使得X86架構虛擬化最初難以實現(xiàn).圖:X86架構虛擬化前的特權級別到目前為止,有三種典型的技術來解決X86虛擬化的難題:完全虛擬化;操作系統(tǒng)幫助下的虛擬化,即半虛擬化;硬件幫助的虛擬化。2.2.2.2.1完全虛擬化完全虛擬化技術翻譯核心指令來代替那些不能虛擬化的指令,通過翻譯后的指令直接訪問虛擬硬件.同時,所有用戶級指令還是可以直接在CPU上執(zhí)行來確保虛擬化的性能.每個VMM為每個虛擬機提供完整的硬件支持服務,包括虛擬BIOS、虛擬設備和虛擬內存管理。完全虛擬化實現(xiàn)后,客戶操作系統(tǒng)可以通過虛擬化層從物理硬件上完全抽取出來,客戶操作系統(tǒng)感知不到是否發(fā)生虛擬化,完全不需進行修改。完全虛擬化是迄今為止唯一不需硬件或操作系統(tǒng)協(xié)助來進行敏感和特權指令虛擬化的技術,Hypervisor(管理程序)可以翻譯所有的操作系統(tǒng)特權指令,并保存在緩存里備用,而用戶級指令完全可以全速直接執(zhí)行。完全虛擬化提供了最好的虛擬機隔離和安全性,簡化了客戶操作系統(tǒng)遷移和移植能力。2.2.2.2.2半虛擬化半虛擬化需要修改操作系統(tǒng)內核,替換掉不能虛擬化的指令,通過超級調用(Hypercall)直接和底層的虛擬化層Hypervisor來通訊,Hypervisor同時也提供了超級調用接口來滿足其他關鍵內核操作,比如內存管理、中斷和時間保持,如下圖所示:圖:操作系統(tǒng)協(xié)助的X86架構虛擬化半虛擬化和全虛擬化不同,全虛擬化不需要修改上面的操作系統(tǒng),敏感的操作系統(tǒng)指令可直接處理。半虛擬化的價值在于降低了虛擬化的損耗,基于Xen的虛擬化是半虛擬化的代表,可通過修改Linux的內核來實現(xiàn)CPU和內存的虛擬化,通過定制的操作系統(tǒng)驅動來實現(xiàn)I/O的虛擬化。2.2.2.2.3硬件輔助虛擬化硬件廠商面對虛擬化投入了大量的精力來開發(fā)新的特性用以簡化虛擬化技術應用。第一代的虛擬化增強包括IntelVirtualizationTechnology(VT-x)和AMD的AMD-V,這兩種技術都為CPU增加了新的執(zhí)行模式root模式,可以讓VMM運行在root模式下,而root模式位于Ring0的下面。如下圖所示,特權和敏感指令自動在Hypervisor上執(zhí)行??蛻舨僮飨到y(tǒng)的狀態(tài)保存在VT-x(VirtualMachineControlStructure,虛擬機控制結構)中或AMD-v(VirtualMachineControlBlock,虛擬機控制塊)。支持IntelVT和AMD-V的CPU從2006年開始推向市場。圖:硬件輔助的X86架構虛擬化2.2.2.3內存虛擬化除了CPU虛擬化,下一個關鍵是內存虛擬化,通過內存虛擬化共享物理系統(tǒng)內存,動態(tài)分配給虛擬機。虛擬機的內存虛擬化很像現(xiàn)在的操作系統(tǒng)支持的虛擬內存方式,應用程序看到鄰近的內存地址空間,這個地址空間無需和下面的物理機器內存直接對應,操作系統(tǒng)保持著虛擬頁到物理頁的映射?,F(xiàn)在所有的X86CPU都包括了一個稱為內存管理的模塊MMU(MemoryManagementUnit)和TLB(TranslationLookasideBuffer),通過MMU和TLB來優(yōu)化虛擬內存的性能.圖:內存虛擬化為了在一臺機器上運行多個虛擬機,需要增加一個新的內存虛擬化層,也就是說,必須虛擬MMU來支持客戶操作系統(tǒng).客戶操作系統(tǒng)繼續(xù)控制虛擬地址到客戶內存物理地址的映射,但是客戶操作系統(tǒng)不能直接訪問實際機器內存.VMM負責映射客戶物理內存到實際機器內存,它通過影子頁表來加速映射。VMM使用TLB硬件來映射虛擬內存直接到機器內存,從而避免了每次訪問進行兩次翻譯.當客戶操作系統(tǒng)更改了虛擬內存到物理內存的映射表,VMM也會更新影子頁表來啟動直接查詢。MMU虛擬化引入了虛擬化損耗,第二代的硬件輔助虛擬化將支持內存的虛擬化輔助,從而大大降低因此而帶來的虛擬化損耗,讓內存虛擬化更高效。2.2.2.4設備和I/O虛擬化最后一個模塊是設備和I/O虛擬化,也就是如何管理和路由物理設備和虛擬設備之間的I/O請求。圖:設備和I/O虛擬化基于軟件的I/O虛擬化和管理為設備管理帶來了新的特性和功能,讓設備的管理更容易。就拿網(wǎng)絡為例,通過虛擬網(wǎng)卡和交換機可以在一臺物理機上不同虛擬機之間建立虛擬網(wǎng)絡,而這不會在物理網(wǎng)絡上產(chǎn)生任何的流量;允許多個物理網(wǎng)卡綁定成一個虛擬機網(wǎng)卡,提供了很好的容錯能力,同時保持了同一MAC地址。I/O虛擬化的關鍵是保持虛擬化優(yōu)勢的同時,盡量降低虛擬化給CPU造成的負擔。Hypervisor虛擬化物理硬件,為每臺虛擬機提供一套標準的虛擬設備,如上圖所示。這些虛擬設備高效模擬常見的物理硬件,將虛擬機的請求發(fā)送到物理硬件.該硬件標準化的過程也讓虛擬機標準化,讓虛擬機更容易在各種平臺上自由移動,而無需關心下面實際的物理硬件類型.2.2.3計算資源池總體設計2.2.3.1設計原則可靠性云計算中心作為一種公共IT基礎設施,就如同水和電一樣,成為人們生活的必須,因此,云計算中心能否可靠運轉成為云計算中心設計方案最重要的目標。高性能為了滿足高并發(fā)、高吞吐率的訪問,云計算中心的基礎平臺必須有足夠的處理能力.動態(tài)化云計算中心需要負載多種業(yè)務,而各種業(yè)務的壓力峰值出現(xiàn)的時機可能不同,因此,云計算中心基礎平臺就需要做到動態(tài)可伸縮,從而保證按需平衡資源供給??蓴U展必須保證計算子系統(tǒng)具有高可擴展的能力,從而保護投資,作為分期建設。自動化實際上,自動化是數(shù)據(jù)中心永恒的追求目標,更高的自動化意味著更低的運維成本。節(jié)能降耗大型數(shù)據(jù)中心需要大量的電力,計算子系統(tǒng)作為電力消耗的大頭,需要有切實的措施保證節(jié)能.2.2.3.2整體架構大連市交通云計算中心通過虛擬化技術,將物理的計算資源虛擬成計算資源池,以支撐上層業(yè)務應用.如下圖所示:圖:計算資源池示意圖如上圖,本項目建設的計算資源池同樣包括兩部分區(qū)域的計算資源池,一部分是GNC區(qū)計算資源池,另一部分是CEGN區(qū)計算資源池.計算資源池主要由基于X86架構的服務器設備組成。根據(jù)基礎平臺總體架構以及網(wǎng)絡架構設計中對功能區(qū)的劃分原則,將計算設備按照需要實現(xiàn)的功能劃分為多個功能分區(qū),支撐不同的上層業(yè)務應用,同時也對應不同的安全和管理功能。根據(jù)基礎平臺所承擔的大連市交通云計算中心應用系統(tǒng)的特點和未來3—5年的業(yè)務規(guī)劃,可以把計算資源池分為數(shù)據(jù)庫區(qū)、大數(shù)據(jù)量系統(tǒng)支撐區(qū)、DMZ區(qū)、業(yè)務應用邏輯資源區(qū)、Web服務發(fā)布區(qū)、管理區(qū)。每個區(qū)域部署的位置見如上計算資源池示意圖。其中,數(shù)據(jù)庫區(qū)和大數(shù)據(jù)量系統(tǒng)支撐區(qū)用物理機的形式進行支撐.數(shù)據(jù)庫區(qū)因為數(shù)據(jù)庫應用對業(yè)務并發(fā)量以及安全性等的要求,建議使用X86服務器集群架構進行支撐,而且選用8路X86高性能服務器以支撐。大連市交通云計算中心支撐各委辦局的業(yè)務應用系統(tǒng),交通、社保、醫(yī)療等相關領域存在若干業(yè)務壓力較大的應用系統(tǒng),這些應用系統(tǒng)不適用于通過切分提高資源利用率實現(xiàn)而的虛擬化分區(qū)以支撐,因此這些應用系統(tǒng)也要用物理機支撐,同時考慮節(jié)能降耗等因素,考慮用高性能X86刀片服務器支撐。另外的業(yè)務應用邏輯資源區(qū)、Web服務發(fā)布區(qū)和DMZ區(qū)通過虛擬化技術以支撐。Hypervisor通過主機虛擬化技術,將物理計算資源進行精細切分,可以有效提高計算資源的利用率,通常適用于這些業(yè)務邏輯計算應用等。業(yè)務資源邏輯區(qū)、Web服務發(fā)布區(qū)和DMZ區(qū)基于X86架構機架式服務器,通過部署云操作系統(tǒng)的虛擬化管理中心模塊,基于Xen、Vmware等主流虛擬化技術,提供基本的虛擬機管理、監(jiān)控、分配和使用功能,提供資源靜態(tài)分配及動態(tài)調度管理功能,如下圖所示:圖:虛擬化管理中心管理區(qū)基于雙路X86服務器進行構建,部署具備HA架構的云操作系統(tǒng),基于云管理平臺的虛擬組織功能,可以根據(jù)計算資源池上運行的應用之間的關聯(lián)關系,形成虛擬數(shù)據(jù)中心,為大連市交通各委辦局用戶提供更好的使用體驗.如下圖:圖:云管理平臺2.2.3.3實現(xiàn)功能本項目建設的云計算中心計算資源池相關分區(qū)主要可實現(xiàn)如下五方面功能:按需自助服務大連市交通相關委辦局用戶可以根據(jù)需要通過云計算服務門戶自助獲取云計算資源,如服務器的使用時間和網(wǎng)絡存儲,這個過程對本項目云計算服務提供者來說可不需人工干預.廣泛網(wǎng)絡接入云計算能力可以通過網(wǎng)絡獲取,并利用標準的機制來促進對各種胖或瘦的客戶平臺的使用。本項目相關委辦局用戶可以通過包括移動電話、平板電腦、筆記本電腦和工作站等多樣化的終端通過網(wǎng)絡使用云計算服務.資源池本項目建設的計算資源池是一個遵循多租戶模型,為眾多委辦局用戶按需分配和重分配物理的以及虛擬的資源的資源池。用戶可以獲取并使用池中的資源包括:存儲、計算、內存和網(wǎng)絡帶寬.快速彈性獲取資源在某些情況下,計算資源可以自動地被獲取和釋放,以快速的滿足用戶的需求.對于用戶,在任何時間都可以無限制地獲取任意數(shù)量的資源。服務可測量云計算運營中心自動控制和優(yōu)化資源的使用,其機制是根據(jù)測量,并在某些抽象級別上影響分配給不同類型服務資源的數(shù)量(如存儲、計算、帶寬、活動用戶數(shù)等).資源的利用率可以被測量、控制和報告,無論是提供者還是使用者,都可以獲得服務使用方面的透明度。尤其是從服務提供者的角度,可以通過可計量的服務,準確衡量需要的計算資源量以及未來的需要量,有利于信息化整體規(guī)劃。2.2.4計算資源池建設方案智能高速公路支撐平臺建設可用若干臺X86服務器組成虛擬計算資源平臺。業(yè)務節(jié)點為能承載更多的虛擬機并保證虛擬機性能,建議配置4路處理器,每顆處理器核心數(shù)盡可能多、主頻盡可能高,同時配置大容量內存,配置4個千兆自適應網(wǎng)口(電口),用于業(yè)務與管理.同時還考慮兩方面:高可用性:即承載某臺虛擬機的物理節(jié)點如果出現(xiàn)故障需要維護,那么需要進行虛擬機動態(tài)遷移,將故障節(jié)點承載的虛擬機動態(tài)遷移到核心應用邏輯資源分區(qū)中其他正常工作的物理節(jié)點上以實現(xiàn)高可用性,保證應用系統(tǒng)的不中斷;彈性擴展:即考慮到未來3—5年內部分部門會上新的應用系統(tǒng),從而需要新的虛擬機資源,到時核心應用邏輯資源分區(qū)還有資源可彈性分配給新的應用系統(tǒng)。業(yè)務節(jié)點放置在業(yè)務區(qū)機柜中。為保證虛擬化動態(tài)遷移時的系統(tǒng)性能,業(yè)務區(qū)域內的若干臺業(yè)務承載節(jié)點建議按照每個邏輯分區(qū)5~10臺物理節(jié)點的劃分方式分為相應數(shù)目的邏輯分區(qū).2.2.5選型建議天闊A620r-G是一款2U雙路路64位機架式服務器,該機型支持AMDOpteron6200、6300系列處理器,采用HT3.0直連架構。四通道DDR3ECC內存技術,內存容量最大可達1TB。A840r—G采用4U機架式設計,優(yōu)良的外觀工藝水平,模塊化設計,智能散熱系統(tǒng)和監(jiān)控系統(tǒng),大大提升了機器可靠性、易用性。能穩(wěn)定運行Windows,Redhat,Vmware等多種主流操作系統(tǒng),是能適應核心級應用的新一代服務器,具有處理速度快、可用性強、易管理、可靠性高等特點。系統(tǒng)還提供多種獨特功能部件,包括熱插拔大功率高效電源,熱插拔風扇冗余模組,智能故障指示系統(tǒng)等。TC6600是一款10U14片融合架構刀片服務器,實現(xiàn)了高性能、高密度、可伸縮、方案靈活的產(chǎn)品設計要求。TC6600刀片系統(tǒng)目前支持基于IntelGrantley平臺。即E5-2600V3系列的雙路計算刀片、IntelE7—4800V2的四路計算刀片、AMD6300系列的四路計算刀片,單箱刀片可支持高達14片半高計算節(jié)點或7片全高計算節(jié)點;可通過模塊化設計,為計算刀片提供多種網(wǎng)絡接口:系統(tǒng)可支持1Gb以太網(wǎng)絡,10G以太網(wǎng),8G或16GFC網(wǎng)絡,100G高速網(wǎng)絡。對于系統(tǒng)的關鍵部件和功能模塊,TC6600采用冗余設計,實現(xiàn)了企業(yè)級的RAS特性,可滿足關鍵應用的需求。曙光“龍芯操作風險管理系統(tǒng)(OperaFirm)”是基于龍芯軟硬件一體的系統(tǒng)設備,是同類中唯一全國產(chǎn)自主知識產(chǎn)權安全產(chǎn)品.OperaFirm是一款采用全新設計理念的新一代運維堡壘機系統(tǒng),可以實現(xiàn)強認證身份管理、細粒度訪問控制、全面的操作追蹤、自適應的口令托管和完備的合規(guī)報表等功能,支持UNIX、LINUX、WINDOWS 服務器以及各類網(wǎng)絡設備.OperaFirm可廣泛應用于政府、公檢法司、軍工、部隊、金融、能源、運營商、交通和互聯(lián)網(wǎng)等對數(shù)據(jù)安全要求較高的領域.曙光XData大數(shù)據(jù)一體機將數(shù)據(jù)存儲單元和處理單元分離,通過構架高效的服務中間件,將底層采用無共享(shared—nothing)結構的數(shù)據(jù)存儲節(jié)點,聚合成一個單一的數(shù)據(jù)處理系統(tǒng)映像,達到較高的數(shù)據(jù)讀寫并發(fā)度,計算并發(fā)度,以及良好的系統(tǒng)擴展性,可靠性和可維護性.XData可廣泛的應用在電信數(shù)據(jù)統(tǒng)計分析,互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)的日志和用戶行為分析,物聯(lián)網(wǎng)/傳感器網(wǎng)絡的數(shù)據(jù)監(jiān)控和追蹤分析,以及金融交易數(shù)據(jù)的離線統(tǒng)計和挖掘等眾多領域。XData向用戶提供統(tǒng)一的類SQL的客戶端編程接口,向下管理分布在不同存儲模塊上的多種類型的數(shù)據(jù),并提供簡易的用戶管理界面。XData系統(tǒng)的核心技術包括自動的服務注冊和負載均衡,可擴展的數(shù)據(jù)劃分和分布策略,高效的批量數(shù)據(jù)加載,通用的并行查詢分析和處理引擎,結構化和非結構化數(shù)據(jù)的統(tǒng)一訪問,不同類型數(shù)據(jù)之間的聯(lián)合查詢和檢索,以及全方位的系統(tǒng)故障和恢復處理等多項技術.DBstor100備份存儲系統(tǒng)可以針對多平臺的復雜IT環(huán)境提供企業(yè)級數(shù)據(jù)保護,幫助你應付所有的挑戰(zhàn).DBstor100靈活的模塊化結構,有著無可匹敵的靈活性和可靠性,一個系統(tǒng)就可滿足客戶目前和將來的需求,大大降低了配置成本和TCO。DBstor100虛擬帶庫備份存儲系統(tǒng),支持高速、高效、大容量的虛擬磁帶庫(VTL)功能;支持SmartDisk技術并與重復數(shù)據(jù)刪除技術的有機結合;備份策略的自動化管理;完善的介質控制功能;多應用及異構操作系統(tǒng)支持;多種數(shù)據(jù)庫,操作系統(tǒng),應用程序在線備份;容量可根據(jù)需求進行配置,滿足客戶多種需求;支持簡單遠程容災。2.3存儲資源池建設2.3.1數(shù)據(jù)類型分析存儲資源池主要用于大連市交通云計算中心所有相關的業(yè)務數(shù)據(jù)、統(tǒng)計數(shù)據(jù)等重要數(shù)據(jù)存儲于存儲。按照數(shù)據(jù)類型主要可以分為兩類,即結構化數(shù)據(jù)和非結構化數(shù)據(jù)。2.3.1.1結構化數(shù)據(jù)結構化數(shù)據(jù)即行數(shù)據(jù),存儲在數(shù)據(jù)庫里,可以用二維表結構來邏輯表達實現(xiàn)的數(shù)據(jù)。2.3.1.2非結構化數(shù)據(jù)相對于結構化數(shù)據(jù)而言,不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結構化數(shù)據(jù),包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等。非結構化數(shù)據(jù)庫是指其字段長度可變,并且每個字段的記錄又可以由可重復或不可重復的子字段構成的數(shù)據(jù)庫,用它不僅可以處理結構化數(shù)據(jù)(如數(shù)字、符號等信息)而且更適合處理非結構化數(shù)據(jù)(全文文本、圖像、聲音、影視、超媒體等信息)。非結構化WEB數(shù)據(jù)庫主要是針對非結構化數(shù)據(jù)而產(chǎn)生的,與以往流行的關系數(shù)據(jù)庫相比,其最大區(qū)別在于它突破了關系數(shù)據(jù)庫結構定義不易改變和數(shù)據(jù)定長的限制,支持重復字段、子字段以及變長字段并實現(xiàn)了對變長數(shù)據(jù)和重復字段進行處理和數(shù)據(jù)項的變長存儲管理,在處理連續(xù)信息(包括全文信息)和非結構化信息(包括各種多媒體信息)中有著傳統(tǒng)關系型數(shù)據(jù)庫所無法比擬的優(yōu)勢.統(tǒng)一大數(shù)據(jù)存儲平臺具備如下特性:必須具有高性能、高可靠性和足夠的容錯特性,提供多種信息保護、共享、管理方案,以保證信息的高可用性;必須擁有足夠的系統(tǒng)擴充性,以支持目前的數(shù)據(jù)容量,同時還要考慮未來業(yè)務的發(fā)展;具備多平臺、企業(yè)級連接能力,便于主機的選型和系統(tǒng)的整合;滿足作數(shù)據(jù)遠程鏡像備份(容災)的要求.2.3.2存儲網(wǎng)絡設計隨著計算機網(wǎng)絡技術的飛速發(fā)展,網(wǎng)絡存儲方式也隨之發(fā)展,但由于商業(yè)企業(yè)規(guī)模不同,對網(wǎng)絡存儲的需求也應有所不同,選擇不當?shù)木W(wǎng)絡存儲技術,往往會使得企業(yè)在網(wǎng)絡建設中盲目投資不需要的設備,或者造成企業(yè)的網(wǎng)絡性能低下,影響企業(yè)信息化發(fā)展,因此了解相關網(wǎng)絡存儲知識,選擇適當網(wǎng)絡存儲方式是非常重要的.2.3.2.1存儲網(wǎng)絡種類目前高端服務器所使用的專業(yè)存儲方案有DAS、NAS、SAN幾種,下面介紹其相關網(wǎng)絡存儲知識.2.3.2.1.1直接附加存儲直接附加存儲(DAS)是指將存儲設備通過SCSI接口直接連接到一臺服務器上使用.DAS購置成本低,配置簡單,使用過程和使用本機硬盤并無太大差別,對于服務器的要求僅僅是一個外接的SCSI口,因此對于小型企業(yè)很有吸引力。但是DAS也存在諸多問題:服務器本身容易成為系統(tǒng)瓶頸;服務器發(fā)生故障,數(shù)據(jù)不可訪問;對于存在多個服務器的系統(tǒng)來說,設備分散,不便管理。同時多臺服務器使用DAS時,存儲空間不能在服務器之間動態(tài)分配,可能造成相當?shù)馁Y源浪費;數(shù)據(jù)備份操作復雜。2.3.2.1.2網(wǎng)絡附加存儲網(wǎng)絡附加存儲(NAS)是一種帶有瘦服務器的存儲設備。這個瘦服務器實際是一臺網(wǎng)絡文件服務器。NAS設備直接連接到TCP/IP網(wǎng)絡上,網(wǎng)絡服務器通過TCP/IP網(wǎng)絡存取管理數(shù)據(jù).NAS作為一種瘦服務器系統(tǒng),易于安裝和部署,管理使用也很方便。同時由于可以允許客戶機不通過服務器直接在NAS中存取數(shù)據(jù),因此對服務器來說可以減少系統(tǒng)開銷。NAS為異構平臺使用統(tǒng)一存儲系統(tǒng)提供了解決方案。由于NAS只需要在一個基本的磁盤陣列柜外增加一套瘦服務器系統(tǒng),對硬件要求很低,軟件成本也不高,甚至可以使用免費的LINUX解決方案,成本只比直接附加存儲略高。NAS存在的主要問題是:由于存儲數(shù)據(jù)通過普通數(shù)據(jù)網(wǎng)絡傳輸,因此易受網(wǎng)絡上其它流量的影響。當網(wǎng)絡上有其它大數(shù)據(jù)流量時會嚴重影響系統(tǒng)性能;由于存儲數(shù)據(jù)通過普通數(shù)據(jù)網(wǎng)絡傳輸,因此容易產(chǎn)生數(shù)據(jù)泄漏等安全問題;存儲只能以文件方式訪問,而不能像普通文件系統(tǒng)一樣直接訪問物理數(shù)據(jù)塊,因此會在某些情況下嚴重影響系統(tǒng)效率,比如大型數(shù)據(jù)庫就不能使用NAS。2.3.2.1.3存儲區(qū)域網(wǎng)存儲區(qū)域網(wǎng)(SAN)是一種專門為存儲建立的獨立于TCP/IP網(wǎng)絡之外的專用網(wǎng)絡。目前一般的SAN提供4Gb/S到16Gb/S的傳輸數(shù)率,同時SAN網(wǎng)絡獨立于數(shù)據(jù)網(wǎng)絡存在,因此存取速度很快,另外SAN一般采用高端的RAID陣列,使SAN的性能在幾種專業(yè)存儲方案中傲視群雄。SAN由于其基礎是一個專用網(wǎng)絡,因此擴展性很強,不管是在一個SAN系統(tǒng)中增加一定的存儲空間還是增加幾臺使用存儲空間的服務器都非常方便。通過SAN接口的磁帶機,SAN系統(tǒng)可以方便高效的實現(xiàn)數(shù)據(jù)的集中備份.SAN作為一種新興的存儲方式,是未來存儲技術的發(fā)展方向,但是,它也存在一些缺點:價格昂貴,不論是SAN陣列柜還是SAN必須的光纖通道交換機價格都是十分昂貴的,就連服務器上使用的光通道卡的價格也是不容易被小型商業(yè)企業(yè)所接受的;需要單獨建立光纖網(wǎng)絡,異地擴展比較困難。2.3.2.2存儲網(wǎng)絡選擇大連市交通云計算中心的數(shù)據(jù)主要包括結構化數(shù)據(jù)和非結構化數(shù)據(jù),在本項目存儲系統(tǒng)設計時采用兩種存儲網(wǎng)絡模式來對不同數(shù)據(jù)提供高效的數(shù)據(jù)存儲。FC存儲網(wǎng)絡:所有服務器通過FC網(wǎng)絡連接到FC存儲系統(tǒng),F(xiàn)C存儲系統(tǒng)向所有服務器提供塊設備級共享存儲系統(tǒng)。同時為了保證系統(tǒng)的可靠性,存儲網(wǎng)(FC網(wǎng)絡)采用雙路徑設計。如下圖所示:圖:采用FC存儲模式的業(yè)務區(qū)域目前,業(yè)界的FCSAN存儲網(wǎng)絡通常有兩種組網(wǎng)方案:采用大型的FCSAN交換設備,可提供8Gps的全雙工光纖端口的線速互聯(lián),但是價格較高。采用業(yè)務區(qū)域的方法,根據(jù)業(yè)務特點劃分物理資源池。業(yè)務區(qū)域內配置2臺SAN交換機,實現(xiàn)服務器與SAN存儲設備的8Gbps端到端互聯(lián);業(yè)務區(qū)域之間采用級聯(lián)的方式實現(xiàn)弱連接(非線速互聯(lián)),業(yè)務資源池之間實現(xiàn)松耦合.這樣可以大大降低云平臺構建成本。大數(shù)據(jù)存儲模式:采用存儲服務器,通過海量存儲區(qū)的匯聚交換機萬兆上鏈至核心交換機,實現(xiàn)與業(yè)務網(wǎng)段的互聯(lián)互通,供各個業(yè)務分區(qū)訪問.海量存儲系統(tǒng)對外提供萬兆以太網(wǎng)接口,用于存儲訪問。海量存儲系統(tǒng)可以通過萬兆上聯(lián)的方式連接到業(yè)務網(wǎng)核心交換機,服務器通過業(yè)務網(wǎng)絡,以NFS、CIFS、私有協(xié)議的方式訪問海量存儲系統(tǒng)。大數(shù)據(jù)存儲系統(tǒng)向所有服務器提供文件級高性能共享存儲系統(tǒng)。如下圖所示:圖:采用大數(shù)據(jù)存儲模式的業(yè)務區(qū)域根據(jù)存儲對象的不同特性,將存儲系統(tǒng)集中并分離為結構化數(shù)據(jù)存儲和非結構化數(shù)據(jù)(包括照片、視頻等數(shù)據(jù))存儲兩大模塊,每個模塊采用高性能、虛擬化、擴展性能強的獨立存儲系統(tǒng)進行支持.2.3.3統(tǒng)一存儲平臺設計2.3.3.1統(tǒng)一存儲平臺定位現(xiàn)有數(shù)據(jù)中心采用的存儲設備種類繁多:存儲介質包括磁盤、磁帶、SSD(固態(tài)硬盤)、光盤等,其接口類型包括FC、SAS、SATA、SCSI、IDE/ATA等;海量存儲設備包括磁盤陣列、磁帶庫、光盤塔等,其接口類型又包括FC、IP、IB、SAS、SCSI等;磁盤存儲設備按照使用模式又可以分為塊設備、網(wǎng)絡文件系統(tǒng)(NAS)等;存儲網(wǎng)絡類型則包括FC-SAN、IP-SAN、IB—SAN等。然而,隨著存儲系統(tǒng)容量需求從GB、TB發(fā)展到現(xiàn)在的PB級,磁盤從MB、GB發(fā)展到TB級,傳統(tǒng)存儲系統(tǒng)由于先天的技術限制,在發(fā)展上產(chǎn)生諸多問題,建設統(tǒng)一存儲平臺,可以解決如下問題:解決數(shù)據(jù)安全性惡化的問題傳統(tǒng)存儲設備保護數(shù)據(jù)最常用的手段就是引入RAID技術,尤其是RAID5,可以在數(shù)據(jù)安全性和容量利用率之間獲得較好的平衡,并且具有良好的性能。RAID的數(shù)據(jù)安全性的基礎是數(shù)據(jù)異或(XOR)校驗運算,因此數(shù)據(jù)恢復過程要產(chǎn)生較高的存儲I/O,會對系統(tǒng)性能產(chǎn)生一定影響,然而RAID技術產(chǎn)生時磁盤容量較?。∕B、GB級),因此RAID尤其是RAID5的數(shù)據(jù)恢復過程較短,對數(shù)據(jù)校驗所帶來的數(shù)據(jù)安全性產(chǎn)生的影響很小,對于性能的影響也在可接受的范圍,因此被廣泛使用。然而,現(xiàn)在磁盤容量已經(jīng)達到TB級別,因此RAID5的數(shù)據(jù)恢復過程大幅提高,從而大幅度提高了數(shù)據(jù)恢復過程產(chǎn)生次生破壞的可能性,進而使數(shù)據(jù)安全性惡化.因而,傳統(tǒng)存儲的安全性和性能都面臨巨大的挑戰(zhàn)。解決單系統(tǒng)縱向擴展能力有限的問題傳統(tǒng)存儲設備只具有局部的縱向擴展(scale-in能力,即通過增加磁盤擴展存儲設備)的容量,通過增加控制器的cache擴展存儲設備的性能.這種縱向擴展是有局限性的,受存儲設備的擴展能力的制約,而且性能擴展的影響很小,并不足以滿足高速發(fā)展的應用系統(tǒng)對存儲性能的需求.而且這種性能擴展對應用系統(tǒng)有較大影響,因為擴展過程是需要存儲設備離線的,在擴展過程中,應用系統(tǒng)不能使用存儲設備。解決負載不平衡造成性能瓶頸的問題為了獲得更好的存儲性能,可以通過增加存儲設備(如另一臺磁盤陣列)的方式來擴展匯聚帶寬.但是在存儲設備中,特定數(shù)據(jù)被存放在指定的LUN中,且只能通過指定的控制器訪問到,因此即使擴展了存儲設備,并不能提高特定數(shù)據(jù)的訪問速度。解決存儲空間利用率低的問題據(jù)統(tǒng)計,在實際使用中,存儲設備的空間利用率不到50%。因為:首先,在選擇存儲設備的容量,或者從現(xiàn)有存儲設備中申請存儲空間時,其容量需求都是來自于對應用系統(tǒng)的預估,因此存在著較大誤差,而存儲設備所提供的存儲空間(LUNs)一旦分配給某個應用系統(tǒng)或用戶,就處于獨占狀態(tài),未來即使該存儲空間有空閑容量,其它的應用系統(tǒng)或用戶不能使用,造成較大的浪費.其次,由于存儲系統(tǒng)多采用RAID5技術,為了獲得最佳的讀寫性能,RAID卷組的配置為7D+1P,即每個RAID卷組有相當于1塊磁盤的空間用于存儲XOR校驗數(shù)據(jù),則實際容量利用率只有7/8,同樣會造成一定的浪費??傊?,統(tǒng)一存儲平臺要達到存儲的數(shù)據(jù)管理目標,其特性如下:可靠性數(shù)據(jù)集中到統(tǒng)一存儲平臺中,必然對系統(tǒng)設備的可靠性提出更高的要求。同時需要建立數(shù)據(jù)備份、容災系統(tǒng)進行配合,提高數(shù)據(jù)安全性??蓴U展性網(wǎng)絡時代業(yè)務發(fā)展的不確定性和數(shù)據(jù)的高速膨脹,對獨立于計算資源池之外的統(tǒng)一存儲平臺,必然提出高可擴展性的要求.這種擴展性并非是簡單的容量擴展,同時還必須包括數(shù)據(jù)處理能力、數(shù)據(jù)交換帶寬和數(shù)據(jù)管理功能的擴展。兼容性雖然統(tǒng)一存儲平臺已分離于計算資源池之外,但今天主機系統(tǒng)對數(shù)據(jù)的使用方式,仍舊以文件系統(tǒng),數(shù)據(jù)庫系統(tǒng)為主要手段。統(tǒng)一存儲平臺要適應各種主機系統(tǒng)的數(shù)據(jù)I/O要求,就必須要能夠兼容各種操作系統(tǒng)、文件系統(tǒng)、數(shù)據(jù)庫系統(tǒng)等各種傳統(tǒng)數(shù)據(jù)管理手段??晒芾硇灾С指鞣N主流的管理協(xié)議和管理架構,能夠與網(wǎng)絡、計算機等各種設備統(tǒng)一管理和集中管理,能夠在各種復雜的環(huán)境中實現(xiàn)方便統(tǒng)一的設備和數(shù)據(jù)管理功能.性能能夠根據(jù)不同應用類型要求提供帶寬、IOPS(IOPerSeco
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二四年度新型鋁材特種定制購銷合同范本3篇
- 二零二五年度車輛抵押借款合同(含車輛保險理賠)4篇
- 二零二五版城市景觀照明工程設計施工合同范本4篇
- 專項服務協(xié)議知識產(chǎn)權維護說明一
- 二零二五年度家電租賃服務合同與2025年度維修維護保障合同4篇
- 2024年企業(yè)主要負責人安全培訓考試題(培優(yōu)A卷)
- 二零二五年度環(huán)保型變壓器研發(fā)、生產(chǎn)及安裝合作合同3篇
- 23年-24年項目管理人員安全培訓考試題【完整版】
- 2023年-2024年項目安全培訓考試題附完整答案【歷年真題】
- 二零二五版房地產(chǎn)租賃合同擔保及售后服務保障范本4篇
- 初級中學語文教師資格考試學科知識與教學能力試題及解答參考(2024年)
- 《帶一本書去讀研:研究生關鍵學術技能快速入門》筆記
- 人教版八年級數(shù)學下冊舉一反三專題17.6勾股定理章末八大題型總結(培優(yōu)篇)(學生版+解析)
- 2024屆上海高考語文課內古詩文背誦默寫篇目(精校版)
- DL-T5024-2020電力工程地基處理技術規(guī)程
- 2024年度-美團新騎手入門培訓
- 初中數(shù)學要背誦記憶知識點(概念+公式)
- 駕照體檢表完整版本
- 農(nóng)產(chǎn)品農(nóng)藥殘留檢測及風險評估
- 農(nóng)村高中思想政治課時政教育研究的中期報告
- 20100927-宣化上人《愣嚴咒句偈疏解》(簡體全)
評論
0/150
提交評論