版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
GB/T××××—××××PAGE8GB/T××××—××××PAGEXXXVII聯(lián)合發(fā)布中華人民共和國住房和城鄉(xiāng)建設部中華人民共和國質量監(jiān)督檢驗檢疫總局2018-××-××實施2018-××-××發(fā)布云計算系統(tǒng)設備工程技術標準TechnicalcodeforCloudComputingSystemDevicesEngineering(征求意見稿)GB/T××××-××××聯(lián)合發(fā)布中華人民共和國住房和城鄉(xiāng)建設部中華人民共和國質量監(jiān)督檢驗檢疫總局2018-××-××實施2018-××-××發(fā)布云計算系統(tǒng)設備工程技術標準TechnicalcodeforCloudComputingSystemDevicesEngineering(征求意見稿)GB/T××××-××××中華人民共和國國家標準UDC1
Contents1Generalprovisions 12Termsandsymbols 22.1Terms 22.2Symbols 33Generaltechnicalrequirements 43.1Generalarchitecture 43.2Functionalrequirements 44Engineeringdesign 64.1Generalrequirements 64.2Serviceparameters 64.3Networkarchitecture 64.4Resourcepooldivision 74.5Devicesconfiguration 84.6Bandwidthandtrafficestimation 104.7Managementfunctionrequirements 104.8Equipmentslayout 115Constructionrequirements 125.1Requirementsofequipmentroomandenvironment 125.2Installationrequirements 126Engineeringacceptance 146.1Checkingbeforeacceptance 146.2Requirmentsofengineeringacceptance 156.3Commissioningandcompletionacceptance 15Explanationofwordinginthiscode 17Listofquotedstandards 18Addition:Explanationofprovisions 19
1總則1.0.1為統(tǒng)一和規(guī)范各行業(yè)進行的云計算系統(tǒng)設備工程建設,使云計算系統(tǒng)設備工程符合國家相關政策,做到技術先進、安全可靠、經(jīng)濟合理、節(jié)能環(huán)保,編制本標準。1.0.2本標準適用于云計算基礎設施的新建、擴建、改建工程建設。1.0.3工程建設應遵守國家有關云計算系統(tǒng)設備的相關要求,貫徹國家的基本建設方針政策,堅持工程建設的科學性、合理性和公正性。1.0.4工程建設應選用出具合格檢驗報告、符合國家有關技術要求的材料和設備。1.0.5在我國抗震設防烈度7烈度及以上地區(qū)進行電信網(wǎng)絡建設時應滿足抗震設防的要求,使用的主要電信設備應符合YD5083《電信設備抗地震性能檢測規(guī)范》的規(guī)定。1.0.6工程建設應進行多方案比較,提高經(jīng)濟效益,降低工程造價。1.0.7工程建設應遵循開放性的原則,系統(tǒng)應滿足標準化要求、具備可在線擴充的能力。1.0.8云計算系統(tǒng)設備工程建設除應符合本標準的規(guī)定外,尚應符合國家現(xiàn)行有關標準的規(guī)定。
2術語和符號2.1術語2.1.1云計算(cloudcomputing)一種通過網(wǎng)絡將可伸縮、彈性的共享物理和虛擬資源池以按需自服務的方式供應和管理的模式。2.1.2云計算基礎設施(cloudcomputinginfrastructure)由硬件資源和資源抽象控制組件構成的支撐云計算的基礎設施,包括為云服務客戶提供計算、存儲、網(wǎng)絡、安全資源所需的軟硬件設備及云管理平臺。2.1.3資源池(resourcepool)一組物理資源或虛擬資源的集合,可以從池中獲取資源,也可將資源回收到池中。資源包括物理機、虛擬機、物理網(wǎng)絡設備、虛擬網(wǎng)絡設備和IP地址等。2.1.4虛擬化(virtualization)虛擬化是指計算機元件在虛擬設備的基礎上而不是物理設備的基礎上運行。虛擬化技術可以提高硬件利用率,簡化軟件的重新配置過程。2.1.5虛擬機(virtualmachine)一種虛擬的數(shù)據(jù)處理系統(tǒng),是在某個特定用戶的獨占使用下,但其功能是通過共享真實數(shù)據(jù)處理系統(tǒng)的各種資源得以實現(xiàn)的。2.1.6宿主機(hostmachine)指為虛擬機提供硬件環(huán)境的物理服務器。2.1.7虛擬化集群(virtualcluster)由一定數(shù)量物理服務器及承載其上的虛擬機構成,同一集群內(nèi)的虛擬機間能夠支持負載均衡、在線遷移、故障切換等多種高可用性功能。2.1.8虛擬機模板(virtualmachinetemplate)配置虛擬機所需的元數(shù)據(jù)集合,包括CPU數(shù)量、內(nèi)存大小和磁盤大小等。2.1.9虛擬機鏡像(virtualmachineimage)虛擬機對應的文件系統(tǒng)鏡像,包括操作系統(tǒng)及虛擬機運行需要的軟件。2.1.10虛擬機快照(virtualmachinesnapshot)某時刻虛擬機狀態(tài)的記錄。2.1.11虛擬機克?。╲irtualmachineclone)對原始的虛擬機完全獨立的一個拷貝,不與原始的虛擬機共享任何資源,可以獨立運行。2.1.12對象存儲(objectstorage)以對象作為存儲單元,并提供對象級訪問接口的云存儲。2.1.13文件存儲(filestorage)文件存儲是指通過以太網(wǎng)與服務器連接,服務器通過NFS、CIFS、HTTP、FTP等標準協(xié)議進行數(shù)據(jù)訪問的存儲系統(tǒng),數(shù)據(jù)通過以太網(wǎng)與服務器連接,數(shù)據(jù)有打包/解包過程。2.1.14塊存儲(blockstorage)塊存儲是指通過SCSI/SAS或FCSAN與服務器連接,服務器直接通過SCSI/SAS或FC協(xié)議控制和訪問數(shù)據(jù)的存儲系統(tǒng)。2.2符號英文縮寫英文名稱中文名稱AZAvailabilityZone可用區(qū)CIFSCommonInternetFileSystem通用Internet文件系統(tǒng)CPUCentralProcessingUnit中央處理器CRMCustomerrelationshipmanagement客戶關系管理DDOSDistributedDenialofService分布式拒絕服務FCSANFiberChannelStorageAreaNetwork光纖通道存儲區(qū)域網(wǎng)絡FTPFile
Transfer
Protocol文件傳輸協(xié)議GPUGraphicsProcessingUnit圖形處理器HAHostAggregate主機組HTTPHypertextTransferProtocol超文本傳輸協(xié)議IBInfiniBand無限帶寬IaaSInfrastructureasaService基礎設施即服務IOPSInput/OutputOperationsPerSecond每秒讀寫操作次數(shù)IPInternetProtocol網(wǎng)絡之間互聯(lián)協(xié)議IPSIntrusion
Prevention
System
入侵防御系統(tǒng)IPSANIPStorageAreaNetworkIP通道存儲區(qū)域網(wǎng)絡IPSecInternetProtocolSecurityInternet協(xié)議安全性LANLocalAreaNetwork局域網(wǎng)RAIDRedundantArrayofIndependentDisks獨立冗余磁盤陣列SANStorageAreaNetwork存儲區(qū)域網(wǎng)絡SATASerialAdvancedTechnologyAttachment串行高級技術附件SASSerialAttachedSCSI串行連接SCSISCSISmallComputerSystemInterface小型計算機系統(tǒng)接口SDNSoftwareDefinedNetwork軟件定義網(wǎng)絡SLAService-LevelAgreement服務等級協(xié)議TCPTransmissionControlProtocol傳輸控制協(xié)議vCPUVirtualCentralProcessingUnit虛擬處理器VLANVirtualLocalAreaNetwork虛擬局域網(wǎng)VxLANVirtualExtensibleLAN虛似擴展局域網(wǎng)VPNVirtualPrivateNetwork虛擬專用網(wǎng)絡WAFWebApplicationFirewallWed應用防火墻
3總體技術要求3.1總體架構3.1.1云計算基礎設施總體架構應包括資源池、云管理平臺及安全體系(圖3.1.1),資源池應采用分布式架構、模塊化設計,應具備良好的系統(tǒng)可擴展能力。圖3.1.1云計算基礎設施總體架構圖3.1.2資源池應包括對外提供計算資源、存儲資源、網(wǎng)絡資源、安全資源服務所需的服務器、存儲、網(wǎng)絡設備、虛擬化軟件等相關軟硬件。3.1.3資源池節(jié)點數(shù)量較少時,宜采用一級云管理平臺;資源池節(jié)點達到一定規(guī)模時,可部署兩級云管理平臺,每個資源池節(jié)點建設區(qū)域云管理平臺,并通過綜合云管理平臺對多個區(qū)域云管理平臺進行統(tǒng)一管理。3.1.4云計算基礎設施應具備物理和環(huán)境安全、網(wǎng)絡和通信安全、設備和計算安全、應用和數(shù)據(jù)安全以及管理安全等防護手段,應符合GB/T22239.2《信息安全技術網(wǎng)絡安全等級保護基本要求第2部分:云計算安全擴展要求》的相關要求。3.2功能要求3.2.1云計算基礎設施應根據(jù)用戶需求,以不同服務模板的形式為不同類型的用戶提供計算、存儲網(wǎng)絡和安全資源;應支持基于網(wǎng)絡按需使用和按需付費,支持自助服務、快速部署和資源動態(tài)彈性擴展。3.2.2資源池應滿足以下功能要求:1提供共享或獨享的物理和虛擬計算資源。2提供對象存儲或文件存儲資源。3提供物理或虛擬網(wǎng)絡資源。4提供訪問控制、入侵防范、安全審計、惡意代碼防范、漏洞掃描等安全資源。3.2.3云管理平臺應提供資源管理、調度管理、服務管理、門戶和接口管理功能;綜合云管理平臺應負責管理全局資源,并負責跨區(qū)域管理平臺的資源管理和調度管理;區(qū)域云管理平臺應負責管理本地計算、存儲、網(wǎng)絡和安全等資源。
4工程設計4.1一般要求4.1.1云計算基礎設施應根據(jù)業(yè)務需求進行整體規(guī)劃與統(tǒng)一建設,近期建設規(guī)模與遠期發(fā)展規(guī)劃應協(xié)調一致,系統(tǒng)應滿足性能穩(wěn)定、安全可靠、兼容性好、擴展性強、綠色節(jié)能等要求。4.1.2云計算基礎設施軟硬件架構應充分考慮系統(tǒng)運行的安全策略和機制,應采用多種技術手段提供完善的安全技術保障。4.1.3云計算基礎設施應根據(jù)業(yè)務需求劃分不同安全域,使具有相同等級保護要求的邏輯區(qū)域共享防護手段,并應依據(jù)域間互聯(lián)安全要求以及安全防護需求,設置相應的訪問控制策略和安全防護手段。4.1.4云計算基礎設施的計算資源、存儲資源、網(wǎng)絡資源、安全資源以及云管理平臺應結合業(yè)務需求及現(xiàn)網(wǎng)運行數(shù)據(jù)進行資源模型抽象,實現(xiàn)對軟硬件資源的合理配置及優(yōu)化。4.1.5云計算基礎設施的軟硬件設備應支持IPv6,宜采用標準化設計的部件。4.1.6云計算基礎設施的關鍵設備應具備高可靠性,重要部件負載分擔、關鍵部件熱備份,具備故障自動倒換功能。4.1.7云計算基礎設施的虛擬化軟件應具備與不同廠商的服務器、網(wǎng)絡、存儲等硬件設備兼容的能力。4.1.8云計算基礎設施采用的軟硬件應便于安裝、升級,并具有友好的用戶管理界面。4.2業(yè)務參數(shù)4.2.1新建云計算基礎設施時,業(yè)務參數(shù)應根據(jù)市場業(yè)務發(fā)展策略、用戶規(guī)模和用戶行為預測確定;工程擴建時,業(yè)務參數(shù)應結合現(xiàn)網(wǎng)運行數(shù)據(jù)確定。4.2.2計算資源業(yè)務參數(shù)應包括虛擬機模型、虛擬機數(shù)量、單vCPU與單物理CPU核處理能力比值、物理機模型、物理機數(shù)量等。4.2.3存儲資源業(yè)務參數(shù)應包括存儲容量、數(shù)據(jù)可靠性、并發(fā)連接數(shù)、訪問時延、網(wǎng)絡帶寬等。4.2.4網(wǎng)絡資源業(yè)務參數(shù)應包括網(wǎng)絡帶寬、IP地址需求、網(wǎng)絡接入方式等。4.2.5安全資源業(yè)務參數(shù)應包括吞吐量、并發(fā)連接數(shù)等。4.3網(wǎng)絡架構4.3.1資源池南北向流量為主時,宜采用樹型網(wǎng)絡架構,可分為核心層、匯聚層和接入層(圖4.3.1),各層交換機宜采用堆疊方式部署。圖4.3.1資源池樹型網(wǎng)絡架構圖4.3.2資源池東西向流量為主時,宜采用葉脊型網(wǎng)絡架構(圖4.3.2),葉交換機應與資源池外部網(wǎng)絡、防火墻和負載均衡等功能設備、服務器實現(xiàn)網(wǎng)絡互通,脊交換機應與葉交換機實現(xiàn)全互聯(lián)。圖4.3.2資源池葉脊型網(wǎng)絡架構圖4.3.3服務器應以集群為單位進行橫向部署,可采用FCSAN、IP網(wǎng)絡、IB網(wǎng)絡方式連接共享存儲及備份資源。4.4資源池分區(qū)4.4.1資源池可根據(jù)業(yè)務需求將資源按Region、AZ、HA的層次結構進行分區(qū),具體應符合以下原則:1可按照地域概念將資源池劃分為邏輯隔離的Region。2可由一個或多個機房組成物理隔離的AZ,不同AZ應具有獨立的電力供應設備。3可根據(jù)安全域、硬件規(guī)格、節(jié)點用途等維度劃分不同HA。4.4.2各層次資源區(qū)域之間的網(wǎng)絡互聯(lián)應滿足以下要求:1Region之間應通過高帶寬鏈路互聯(lián)。2同一Region的AZ間應通過高帶寬、低時延鏈路互聯(lián),宜支持在線遷移。4.4.3HA可由多個服務器集群組成,服務器集群可分為虛擬化計算集群、物理服務器集群、存儲服務器集群、網(wǎng)絡功能虛擬化集群等。4.5設備配置4.5.1云計算基礎設施中設備選型和設備配置應充分考慮業(yè)務場景、性能指標、簽約服務等級、設備造價和運營維護需求等因素綜合取定,設備種類不宜過多。4.5.2云管理平臺計算和存儲資源應獨立配置,不宜與用戶租用的計算和存儲資源共用。4.5.3資源池設備CPU忙時利用率、內(nèi)存利用率、網(wǎng)絡帶寬利用率、吞吐能力和會話處理能力的利用率不宜大于70%。4.5.4服務器設備配置選型應滿足以下要求:1應綜合考慮機房空間、電源、空調等條件選用x86架構的機架式或刀片服務器。2服務器宜選用性價比較高的多核、多緩存CPU處理器,CPU應支持硬件輔助虛擬化技術。3業(yè)務對圖形處理、浮點運算或并行計算有較高要求時,可增配GPU圖形處理器,配置數(shù)量和性能應根據(jù)業(yè)務需求確定。4服務器內(nèi)存和CPU核的配置比例應根據(jù)實際業(yè)務需求確定。5服務器冗余系數(shù)應綜合考慮服務器故障、資源碎片、彈性擴容、遷移等因素。4.5.5資源池中宿主機數(shù)量應按下列公式計算:(4.5.5-1)(4.5.5-2)(4.5.5-3)PAGE16式中:Ncore——物理CPU核數(shù);Nvm——虛擬機需求數(shù);Nvcpu——每虛擬機vCPU平均數(shù);P——單vCPU與單物理CPU核處理能力比值;PR1、PR2——系統(tǒng)冗余系數(shù);Nmem——宿主機內(nèi)存值;Nvmem——每虛擬機內(nèi)存平均值;Acore——單臺宿主機配置的CPU核數(shù);Amem——單臺宿主機配置的內(nèi)存值;N——宿主機臺數(shù)。4.5.6云管理平臺的管理服務器數(shù)量應按下列公式計算:(4.5.6-1)(4.5.6-2)式中:M——管理平臺物理服務器臺數(shù);Bcore——單臺物理服務器配置的CPU核數(shù);Fi——每個功能需要的物理服務器CPU核數(shù),i=1…n,n為管理平臺功能模塊數(shù)量;Ni——第i項功能需要處理的網(wǎng)元數(shù)量,如虛擬機臺數(shù),物理機臺數(shù)等;Pi——第i項功能處理單一網(wǎng)元處理能力;P0——單物理CPU核的處理能力;PR——系統(tǒng)冗余系數(shù)。4.5.7存儲設備配置應滿足以下要求:1計算資源區(qū)應根據(jù)業(yè)務存儲需求配置不同類型的存儲。2磁盤陣列應配置雙控制器和多路徑管理軟件,緩存容量、磁盤容量和IOPS應滿足業(yè)務需求。3采用x86架構服務器部署存儲軟件組成的存儲系統(tǒng),服務器硬盤配置應滿足存儲容量及IOPS要求。4.5.8用于存儲資源服務的存儲容量應按下列公式計算:(4.5.8)式中:S——存儲容量;SR——業(yè)務數(shù)據(jù)量;SS——系統(tǒng)管理數(shù)據(jù)量;R——系統(tǒng)冗余系數(shù);RR——可靠性冗余RAID系數(shù);Rp——其他數(shù)據(jù)冗余保護帶來的冗余系數(shù)。4.5.9云管理平臺的存儲容量應按下列公式計算:(4.5.9)式中:Ms——管理平臺存儲容量;Si——每個管理功能的存儲容量,Si應按本標準公式(4.5.7)計算,i=1…n,n為管理平臺功能模塊數(shù)量。4.5.10存儲資源區(qū)系統(tǒng)并發(fā)連接數(shù)應按下列公式計算:(4.5.10)式中:Pc——并發(fā)連接數(shù);Au——總用戶數(shù);Pu——用戶在線并發(fā)度;Ta——每用戶平均線程數(shù)。4.5.11網(wǎng)絡設備配置及功能應滿足以下要求:1網(wǎng)絡設備應具有良好的突發(fā)流量緩存能力并支持優(yōu)先級控制,宜具備線速轉發(fā)能力。2交換機應綜合流量收斂比、端口數(shù)量和速率、網(wǎng)絡吞吐量等因素進行配置,各層交換機功能及配置原則應滿足以下要求:核心交換機、匯聚交換機和脊交換機均應支持基本二層功能以及設備集群、堆疊、跨機框鏈路捆綁等二層增強功能,應支持基于VxLAN組網(wǎng)和三層交換功能。核心交換機、匯聚交換機和脊交換機應具備較強的背板處理能力,宜為雙主控、插槽式機箱設備。接入交換機應支持基本二層功能以及設備集群、堆疊、鏈路捆綁等二層增強功能。葉交換機應符合接入交換機功能要求,宜支持基于VxLAN組網(wǎng)功能;與資源池外部網(wǎng)絡互聯(lián)時,應支持三層交換功能。3防火墻、負載均衡等功能設備應綜合網(wǎng)絡吞吐量、TCP連接數(shù)、端口數(shù)量和速率等因素進行配置,可根據(jù)業(yè)務需求采用硬件或軟件方式部署;應支持網(wǎng)絡虛擬化功能,應支持硬件多租戶或軟件實例方式部署。4.5.12安全設備配置及功能應滿足以下要求:1安全設備的選型和配置應與業(yè)務需求相匹配,并與資源池的網(wǎng)絡安全等級及安全域劃分相適應。2安全設備應支持多租戶技術,可采用硬件或軟件方式部署。3入侵檢測設備應結合端口需求、并發(fā)連接數(shù)、最大檢測率、每秒新建連接數(shù)等指標綜合選擇。4入侵防御設備應結合端口需求、并發(fā)連接數(shù)等指標綜合選擇,應支持旁路功能,支持對網(wǎng)絡蠕蟲、木馬后門、緩沖區(qū)溢出、間諜軟件等各種攻擊行為進行檢測及防御。4.5.13備份介質應根據(jù)業(yè)務的重要性、恢復時間等要求綜合選擇,在線備份應采用磁盤陣列、分布式存儲作為備份介質,離線備份應采用磁帶庫作為備份介質。4.5.14備份容量應根據(jù)業(yè)務需求及備份策略確定。4.5.15虛擬化軟件及虛擬化管理軟件配置應滿足以下要求:1虛擬化軟件選型應匹配業(yè)務場景,應兼容主流操作系統(tǒng)和設備驅動程序,應結合可靠性、兼容性、價格等因素選擇商用軟件或開源軟件。2虛擬化軟件宜提供兩種虛擬化產(chǎn)品支持,許可數(shù)量應與需要部署的服務器數(shù)量相匹配。3虛擬化管理軟件應與虛擬化軟件版本匹配,許可數(shù)量應與資源池節(jié)點數(shù)量及規(guī)模相匹配。4.6帶寬及流量計算4.6.1計算資源所需網(wǎng)絡出口帶寬應按下列公式計算。(4.6.1)式中:B——網(wǎng)絡帶寬;BVM——單虛擬機平均出口帶寬;BM——單物理機平均出口帶寬;NVM——虛擬機數(shù)量;NM——物理機數(shù)量;CVM——忙時虛擬機并發(fā)率;CM——忙時物理機并發(fā)率。4.6.2存儲資源所需網(wǎng)絡出口帶寬應按下列公式計算:(4.6.2)式中:B——網(wǎng)絡帶寬;Au——總用戶數(shù);Cu——忙時用戶并發(fā)率;Tu——用戶平均吞吐量。4.7管理功能要求4.7.1云管理平臺管理資源應包括計算資源、存儲資源、網(wǎng)絡資源、軟件資源等。4.7.2云管理平臺系統(tǒng)應管理多個主流廠商的物理和虛擬資源,綜合不同管理工具,提供資源的自動調度,應根據(jù)管理員設置,實現(xiàn)資源自動選擇、自動部署。4.7.3云管理平臺應具備資源的預留、創(chuàng)建、變更、操作、查詢以及刪除等功能,并對資源應能夠動態(tài)調度、按需分配、實時監(jiān)控等。4.7.4云管理平臺門戶應為管理員和用戶提供統(tǒng)一的訪問入口,通過角色定義和權限控制來區(qū)分管理人員和業(yè)務用戶。4.7.5服務管理應對基于底層資源形成的各類服務進行統(tǒng)一管理,實現(xiàn)用戶管理、服務目錄管理、服務實例管理、運營分析、計費管理等功能。4.7.6調度管理應包括調度策略管理和資源調度管理。調度策略管理應根據(jù)資源使用、SLA等相關信息提供資源調度策略,以及自動選擇服務實例資源和啟動相應部署流程,管理人員也可手工干預部署。4.7.7資源管理應根據(jù)用戶對計算、存儲、網(wǎng)絡等資源的操作請求,提供對資源的創(chuàng)建、修改、查詢和刪除等功能。資源管理包括物理機管理、虛擬機管理、模板管理、鏡像管理、存儲管理、網(wǎng)絡管理等。4.7.8接口管理應支持管理平臺與外圍系統(tǒng)的數(shù)據(jù)交互,管理接口應包括與資源池接口、與計費系統(tǒng)接口、與CRM接口、與網(wǎng)管系統(tǒng)接口等。并符合下列要求:1與資源池接口應支持管理平臺對資源的統(tǒng)一封裝與管理。2與計費系統(tǒng)接口應支持計費清單采集和結算單采集。3與CRM類系統(tǒng)接口應支持產(chǎn)品預約/訂購、產(chǎn)品受理結果同步和管理平臺受理結果回執(zhí)等。4與網(wǎng)管系統(tǒng)接口應支持將特定級別的告警信息發(fā)送給上級網(wǎng)管系統(tǒng),應支持根據(jù)上級網(wǎng)管系統(tǒng)的需要,將實時采集的KPI指標和統(tǒng)計分析數(shù)據(jù)發(fā)送給上級網(wǎng)管系統(tǒng)。4.8機房平面布置要求4.8.1機房平面布置應根據(jù)資源池近期及遠期建設需求進行整體規(guī)劃并符合GB50174《數(shù)據(jù)中心設計規(guī)范》的有關規(guī)定。4.8.2資源池機房布置應統(tǒng)籌考慮安全管控、傳輸承載、電力等配套需求。4.8.3資源池中的服務器設備、存儲設備宜分區(qū)域部署,網(wǎng)絡設備應綜合考慮接入設備數(shù)量、布線方式等因素與相關服務器、存儲設備就近布置。4.8.4單機架服務器及存儲設備安裝密度設置應根據(jù)單設備功耗、機房電源空調配置情況及承重能力確定。
5施工要求5.1機房及環(huán)境要求5.1.1工程施工前,應對機房的環(huán)境條件進行全面檢查,具體應符合以下要求:1機房內(nèi)溫濕度、照明、通風、凈高規(guī)格等環(huán)境條件應根據(jù)機房等級滿足GB50174《數(shù)據(jù)中心設計規(guī)范》、GB50462《數(shù)據(jù)中心基礎設施施工及驗收規(guī)范》、GB51195《互聯(lián)網(wǎng)數(shù)據(jù)中心工程技術規(guī)范》、GB51194《通信電源設備安裝工程設計規(guī)范》、GB50303《建筑電氣工程施工質量驗收規(guī)范》的有關規(guī)定。2冷熱通道氣流組織應符合YD/T2435.5《通信電源及機房環(huán)境節(jié)能技術指南第5部分氣流組織》的有關規(guī)定。采用封閉冷通道設計時,封閉冷通道應施工完畢,具備使用條件,滿足設備安裝調測及運行要求。5.1.2工程施工前,應對機房的安全情況進行全面檢查,具體應符合下列要求:1設備安裝機房的防火要求應符合GB50016《建筑設計防火規(guī)范》中的有關規(guī)定,機房宜設置潔凈氣體滅火系統(tǒng),并保持性能良好。2接地、電磁防護、承重等項目應由相關專業(yè)進行檢查、驗收。3機房內(nèi)不應存放易燃、易爆等危險物品。4孔洞應采用不低于樓板耐火等級的不燃燒材料封堵。5機房內(nèi)不同電壓的電源設備、電源插座應有明顯區(qū)別標志。5.2安裝要求5.2.1走線架及槽道的安裝應符合下列要求:1走線架及槽道安裝應符合YD/T5026《電信機房鐵架安裝設計標準》、YD5059《電信設備安裝抗震設計規(guī)范》、YD/T5227《云計算資源池系統(tǒng)設備安裝工程設計規(guī)范》的有關規(guī)定。2走線架及槽道的平面位置,應符合設計要求,安裝偏差不得超過50mm。3列走線架和列槽道應與機列保持平行,水平偏差和高度應符合設計要求。4固件連接應牢固、平直、無明顯彎曲;電纜支架應安裝端正、牢固,間距均勻。5主走線架(主槽道)宜與列走線架(列槽道)立體交叉,高度應符合設計要求。6列間撐鐵應在一條直線上,兩端對墻加固應符合設計要求。7吊掛安裝應垂直、牢固,位置應符合設計要求。5.2.2光纖護槽的安裝應符合下列要求:1光纖護槽宜采用支架方式,并安裝在電纜支架或走線架(槽道)的梁上,在主走線架(槽道)和列走線架(槽道)交越處宜用圓弧彎頭連接。2安裝完畢的光纖護槽應牢固、平直、無明顯彎曲。3光纖護槽的蓋板應方便開合操作,側面應留出能夠引出光纖的出口;出口宜采用喇叭狀對接,以防轉彎處傷及光纖。5.2.3機柜的安裝應符合下列要求:1機柜安裝應符合GB51195《互聯(lián)網(wǎng)數(shù)據(jù)中心工程技術規(guī)范》和YD/T5227《云計算資源池系統(tǒng)設備安裝工程設計規(guī)范》的有關規(guī)定;機柜抗震措施應符合YD5059《電信設備安裝抗震設計規(guī)范》的有關規(guī)定,按所要求的抗震加固措施進行加固。2機柜的數(shù)量、配置、排布及標識應符合工程設計的要求,機柜位置允許偏差為10mm。3各種機柜的安裝應端正牢固,垂直度允許偏差為3mm。4列主走道側應對齊成直線,允許偏差為5mm。列內(nèi)機架應緊密靠攏,機面應平直。5機柜應采用膨脹螺栓與地面加固,機柜頂部宜采用夾板(或L型鐵)與列走線架(列槽道)的梁加固。所有緊固件應擰緊適度,同一類螺絲露出螺帽的長度宜基本保持一致。6在鋪設了防靜電地板的機房安裝機柜時應安裝機柜底座,底座安裝應滿足設備安裝要求。5.2.4設備在機柜內(nèi)的安裝位置應符合工程設計要求,同列機柜的設備面板應處于同一平面上。5.2.5線纜布放應符合GB/T50312《綜合布線系統(tǒng)工程驗收規(guī)范》、GB51195《互聯(lián)網(wǎng)數(shù)據(jù)中心工程技術規(guī)范》以及YD/T5227《云計算資源池系統(tǒng)設備安裝工程設計規(guī)范》的有關規(guī)定。5.2.6機房線纜布放應采用上走線方式通過走線架(槽道)布放,線纜規(guī)格、走線路由應符合工程設計要求,線纜標簽應符合用戶規(guī)范。5.2.7電力電纜/線布放安裝應符合下列要求:1電纜應采用整段線料,中間無接頭。2電力電纜應采用銅鼻子連接,銅鼻子的規(guī)格應與電源線規(guī)格一致,剝露的銅線長度適當,并保證芯線完整插入銅鼻子壓接管內(nèi)。3安裝在銅排上的銅鼻子應牢靠端正,采用合適的螺栓連接,并安裝平墊圈和彈簧墊圈,銅鼻子壓接管外側應采用絕緣材料保護。4電力電纜芯線與地線間的絕緣電阻應滿足設計要求。5電纜轉彎應均勻圓滑,電纜轉彎的最小曲率半徑應符合設計要求。6布放電纜應用扎帶綁扎,綁扎后的電纜應互相緊密靠攏,外觀平直整齊,線扣間距均勻,松緊適度,扎帶余下的部分應齊根剪斷。7電纜的布放,應整齊美觀,不得堵住送風通道。8-48V直流電源線正極應標色為紅色、負極應標色為藍色;交流電源線相線應標色為紅色、中性線應標色為藍色、保護地應標色為黃綠色或黃色;240V或336V直流電源線正極應標色為棕色、負極應標色為藍色。5.2.8通信電纜的布放和成端應符合下列要求:1電纜在槽道內(nèi)或走線架上布放應順直,捆扎牢固,松緊適度,沒有明顯的扭絞。電纜轉彎處應均勻圓滑,曲率半徑應符合設計要求。2電纜成端處應留有適當富余量,成束纜線留長應保持一致。3電纜開剝尺寸應與纜線插頭(座)的對應部分相適合,成端完畢的插頭(座)尾端不應露銅。4芯線焊接應端正、牢固、焊錫適量,焊點光滑、圓滿、不成瘤形。5屏蔽網(wǎng)剝頭長度應一致,并保證與連接插頭的連接端子外導體接觸良好。6非屏蔽對絞電纜終接時應保持扭絞狀態(tài),扭絞松開長度對于五類電纜不應大于13mm,對于六類及以上類別的電纜不應大于6.4mm。7屏蔽對絞電纜的屏蔽層與連接器件終接處屏蔽罩應通過緊固器件可靠接觸,纜線屏蔽層應與連接器件屏蔽罩360°圓周接觸,接觸長度不宜小于10mm。5.2.9光纖布放應符合下列要求:1光纖宜布放在光纖護槽內(nèi),應保持光纖順直。無光纖護槽時,光纖應加穿光纖保護管,保護管應順直綁扎在電纜槽道內(nèi)或走線架上,并與電纜分開放置。2光纖布放時,應盡量減少轉彎;需拐彎時,應彎成圓弧,曲率半徑應滿足設計要求;光纖應理順綁扎,使用扎帶時不得用力勒緊。3光纖從護槽引出宜采用光纖保護管保護。4光纖布放應保留一定的余量,余長應滿足設計要求。5暫時不用的光纖頭部應用護套套起,整齊盤繞,固定在光纖分配盒內(nèi)。
6工程驗收6.1驗收前準備6.1.1工程應符合工程設計要求。6.1.2機房環(huán)境條件應滿足施工要求。6.1.3在初驗開始前,應進行驗收前檢查,確保工程實施符合設計要求。6.1.4設備通電檢查應符合下列要求。1電源系統(tǒng)應工作正常,符合工程設計要求;2設備輸入電壓應符合設備說明書技術要求。6.1.5已安裝軟硬件應符合下列要求。1設備應完好無損;2板卡類型、數(shù)量、安裝位置應與設計圖紙相符;3軟件的名稱、版本、許可證類型及數(shù)量應符合工程設計要求4設備的各種選擇開關應置于指定位置上;5設備的各種熔絲/空開規(guī)格應符合工程設計要求;6設備接地應良好、可靠;7電源引入線極性應正確,連接應牢固可靠;8各種文字符號和標簽應齊全正確。6.1.6資源池系統(tǒng)檢查應符合下列要求。1云計算基礎設施的系統(tǒng)功能、系統(tǒng)性能應符合工程設計、工程合同及集成方案要求。2計算資源的虛擬化功能、虛擬化管理功能、資源調整能力、性能測試應符合工程設計、工程合同及集成方案要求。3存儲資源的存儲功能、存儲管理功能、存儲域擴展能力、性能壓力測試以及存儲資源池與應用平臺的接口聯(lián)通性應符合工程設計、工程合同及集成方案要求。4資源池網(wǎng)絡拓撲結構、網(wǎng)絡設備的協(xié)議和策略設置、出口網(wǎng)絡與外部網(wǎng)絡的連通性、網(wǎng)絡性能參數(shù)指標應符合工程設計、工程合同及集成方案要求。5網(wǎng)絡安全系統(tǒng)的設備安全策略配置及安全資源的功能及性能配置應符合工程設計、工程合同及集成方案要求。6.1.7工程完工后,應及時編制竣工文件。工程初步驗收前應向工程主管部門提交竣工文件,文件數(shù)量按工程主管部門的具體要求提供。6.1.8竣工文件應包含下列規(guī)定內(nèi)容:1工程說明;2工程開工報審表(工程有監(jiān)理單位時);3開工報告;4安裝工程量總表;5已安裝的設備明細表;6已安裝的軟件明細表;7工程設計變更單;8重大工程質量事故報告;9停(復)工報告;10隨工檢查記錄、隱蔽工程簽證;11交(完)工報告;12交接書;13洽商記錄;14驗收證書;15測試記錄;16竣工圖紙。6.1.9竣工文件應保證質量,外觀整潔,內(nèi)容齊全,數(shù)據(jù)準確,符合歸檔要求。6.2工程初驗要求6.2.1在運行開通前,應進行初驗,用以檢驗主要系統(tǒng)和相關設備是否符合運轉要求。6.2.2初驗測試應在安裝工藝、軟硬件檢查測試和系統(tǒng)檢查測試合格后進行。初驗測試要求各種設備處于工作狀態(tài),軟件版本及軟件功能修改應經(jīng)過建設單位的同意。6.2.3工程初驗應按照本規(guī)范和設計文件的要求,對工程安裝工藝質量進行檢查,對設備和系統(tǒng)性能進行測試,對竣工技術文件進行審查,對已安裝設備進行移交。6.2.4初驗測試應由建設單位總體協(xié)同各責任方進行,初驗不合格,應由責任方負責及時解決產(chǎn)生的問題,直至驗收合格。6.2.5工程初驗通過后,應形成初步驗收報告,列出工程中的遺留問題,明確解決遺留問題的責任單位和解決時限,并對工程施工質量進行初步評定。6.2.6資源池應與云管理平臺進行對接測試,測試應包括系統(tǒng)功能檢查和系統(tǒng)性能檢查并符合工程設計、工程合同及集成方案要求,具體應包含以下測試內(nèi)容。1資源池與云管理平臺對接測試前,應確保云管理平臺和資源池運行正常。2云管理平臺對資源池的資源調度和管理功能檢查應符合本標準4.6節(jié)的要求。3云管理平臺與資源池對接性能檢查測試應包括:門戶用戶登錄系統(tǒng)時間、支持的并發(fā)連接數(shù)、頁面響應時間、各類自服務報表響應時間、每秒支持的最大交易數(shù)等。4各功能模塊的可擴展性、可維護性、穩(wěn)定性、兼容性、可靠性應符合工程設計要求。6.2.7云計算基礎設施系統(tǒng)安全初驗測試應符合工程設計、工程合同及集成方案要求,具體測試內(nèi)容應包含以下項目。1功能區(qū)和安全域設置。2安全功能配置情況,包括設備訪問安全、主機安全、虛擬環(huán)境安全、數(shù)據(jù)安全、網(wǎng)絡安全等。3虛擬化環(huán)境的安全策略,包括虛擬機補丁更新、安全加固和針對惡意攻擊的安全防護以及虛擬機之間的安全隔離方式。4資源池重要數(shù)據(jù)的備份、恢復的功能實現(xiàn)。5資源池網(wǎng)絡設備的安全策略和功能配置實現(xiàn),包括DOS/DDOS攻擊的告警、監(jiān)控和防護,網(wǎng)絡運行狀況、網(wǎng)絡流量、用戶行為等進行日志記錄,以及網(wǎng)絡設備的安全審計等。6云管理平臺的安全策略和機制。6.3試運行及竣工驗收6.3.1試運行階段應從工程初驗合格、網(wǎng)絡割接后開始,試運行時間不應少于三個月。6.3.2試運行期間的統(tǒng)計數(shù)據(jù)是驗收測試的主要依據(jù)。試運行的主要指標和性能應達到工程合同中的規(guī)定,方可進行工程終驗。當主要指標不符合要求時,應在解決問題后,從次日開始重新試運行三個月。如對有關數(shù)據(jù)發(fā)生疑問,經(jīng)過雙方協(xié)商后應對有關數(shù)據(jù)進行重測,以資驗證。6.3.3試運行期間,應觀察下列項目,并作好記錄。1硬件故障率:冗余設備或設備冗余部件非人為切換次數(shù)應不大于1次;設備因部件等損壞、失效需更換部件的次數(shù)應不大于設備所有正在運行同類部件數(shù)量的3%;關鍵部件的故障次數(shù)(如處理器、電源、硬盤等)應不大于1次。2軟件的穩(wěn)定性:試運行期間由于軟件原因造成的故障次數(shù)應不大于2次。發(fā)現(xiàn)軟件問題應迅速查明原因并予以解決,事后應有記錄。3各項設備性能指標是否滿足工程合同及設計要求。4各項系統(tǒng)性能指標是否滿足工程合同及設計要求。5試運行期間,觀察計費準確率指標是否符合工程合同及設計要求。6.3.4試運行結束后,系統(tǒng)各項功能、性能應達到規(guī)范、工程合同及設計要求,工程遺留問題已經(jīng)解決,可進行工程終驗,工程終驗由工程主管部門組織。6.3.5凡經(jīng)過隨工檢查和階段驗收合格并已簽字的,在竣工驗收時一般不再進行檢查。6.3.6工程終驗應包括以下內(nèi)容:1確認各階段檢查、測試結果,以及工程試運行情況。2工程初驗提出的遺留問題處理情況。3驗收組認為必要項目的復驗。4檢查工程技術檔案的整理情況。5對工程進行評定和簽收。6.3.7驗收中發(fā)現(xiàn)質量不合格的項目,應由驗收組查明原因,分清責任,并提出處理意見。6.3.8工程竣工驗收通過后,工程部門應按建設項目審計管理規(guī)定及時提請竣工審計。
本標準用詞說明1為便于在執(zhí)行本規(guī)范條文時區(qū)別對待,對要求嚴格程度不同的用詞說明如下:(1)表示很嚴格,非這樣做不可的:正面詞采用“必須”,反面詞采用“嚴禁”。(2)表示嚴格,在正常情況下均應這樣做的:正面詞采用“應”,反面詞采用“不應”或“不得”。(3)表示允許稍有選擇,在條件許可時首先應這樣做的:正面詞采用“宜”,反面詞采用“不宜”。(4)表示有選擇,在一定條件下可以這樣做的,采用“可”。2本標準中指明應按其他有關規(guī)范執(zhí)行的寫法為:“應符合……的規(guī)定”或“應按……執(zhí)行”。
引用標準名錄《建筑設計防火規(guī)范》GB50016《數(shù)據(jù)中心設計規(guī)范》GB50174《建筑電氣工程施工質量驗收規(guī)范》GB50303《信息安全技術網(wǎng)絡安全等級保護基本要求第2部分:云計算安全擴展要求》GB/T22239.2《信息技術云計算概覽與詞匯》GB/T32400《云計算數(shù)據(jù)中心基本要求》GB/T34982《信息技術云計算虛擬機管理通用要求》GB/T35293《綜合布線系統(tǒng)工程驗收規(guī)范》GB/T50312《數(shù)據(jù)中心基礎設施施工及驗收規(guī)范》GB50462《通信電源設備安裝工程設計規(guī)范》GB51194《互聯(lián)網(wǎng)數(shù)據(jù)中心工程技術規(guī)范》GB51195《電信設備安裝抗震設計規(guī)范》YD5059《通信局(站)防雷與接地工程設計規(guī)范》YD5098《互聯(lián)網(wǎng)數(shù)據(jù)中心(IDC)工程設計規(guī)范》YD5193《云計算基礎設施即服務(IaaS)功能要求與架構》YD/T2806《云資源管理技術要求》YD/T2807《云計算安全框架》YD/T3148《電信機房鐵架安裝設計標準》YD/T5026《通信電源設備安裝工程設計規(guī)范》YD/T5040《云計算資源池系統(tǒng)設備安裝工程設計規(guī)范》YD/T5227《云計算框架和高級要求》ITU-TY.3501
中華人民共和國國家標準云計算系統(tǒng)設備工程技術標準TechnicalcodeforCloudComputingResourcePoolSystemDevicesEngineering條文說明GB××××-××××編制說明《云計算系統(tǒng)設備工程技術標準》(GB/T5××××、CJJ×××、JGJ×××—××××),經(jīng)住房和城鄉(xiāng)建設部××××年××月××日以第××號公告批準發(fā)布。本標準編制過程中,編制組進行了廣泛深入的調查研究,總結了我國云計算系統(tǒng)設備工程建設的實踐經(jīng)驗,同時參考了國內(nèi)現(xiàn)行與云計算系統(tǒng)設備建設工程有關的技術標準。為便于廣大設計、施工、科研、學校等單位有關人員在使用本標準時能正確理解和執(zhí)行條文規(guī)定,《云計算系統(tǒng)設備工程技術標準》編制組按章、節(jié)、條順序編制了本標準的條文說明,對條文規(guī)定的目的、依據(jù)以及執(zhí)行中需注意的有關事項進行了說明。但是,本條文說明不具備與標準正文同等的法律效力,僅供使用者作為理解和把握標準規(guī)定的參考。
目次4工程設計 226工程驗收 23
4工程設計4.2業(yè)務參數(shù)4.2.2虛擬機模型包括單虛擬機的vCPU、內(nèi)存、硬盤和網(wǎng)絡帶寬等標準設置參數(shù),型包括單物理機的CPU、內(nèi)存、硬盤和網(wǎng)絡帶寬等標準設置參數(shù)。4.2.4網(wǎng)絡接入方式包括互聯(lián)網(wǎng)接入、專線接入、IPSecVPN等接入方式。4.3網(wǎng)絡架構4.3.1資源池南北向流量指用戶與數(shù)據(jù)中心之間的流量,樹型網(wǎng)絡架構分層部署應滿足以下要求。1核心層應部署核心交換機,可部署防火墻、負載均衡、IPS、WAF、流量管理等功能設備。2匯聚層可根據(jù)流量類型部署內(nèi)網(wǎng)匯聚交換機、外網(wǎng)匯聚交換機、分布式匯聚交換機、存儲匯聚交換機等各類匯聚交換機,并根據(jù)業(yè)務流量合理確定匯聚交換機的上下行帶寬收斂比。3接入層應部署二層以太網(wǎng)交換機接入各類服務器設備。4.3.2資源池東西向流量指數(shù)據(jù)中心內(nèi)部不同系統(tǒng)之間的流量,包括虛擬機遷移,分布式應用的同步,分布式文件系統(tǒng),大規(guī)模容器集群等。葉脊(Spine-Leaf)型網(wǎng)絡拓撲,基于CLOS(無阻塞網(wǎng)絡)理論,任何兩點間僅需一跳且具有多條等價鏈路,具有很小的帶寬收斂比,滿足云資源池內(nèi)不斷增加的東西向流量需求。該拓撲常見于新型云資源池網(wǎng)絡建設,適用東西向流量較多,收斂比較小,網(wǎng)絡規(guī)模易擴展的場景,同時一般以Leaf層作為L2/L3分界點(或可根據(jù)規(guī)模及應用需要上移至Spine層)。對于規(guī)劃部署SDN的新建云資源池物理網(wǎng)絡,原則上使用葉脊型架構組網(wǎng);對于利舊改造的云資源池SDN網(wǎng)絡,在東西向流量不大、網(wǎng)絡規(guī)模預期較固定的情況下,物理網(wǎng)絡應繼續(xù)使用樹型架構,但應注意評估現(xiàn)存網(wǎng)絡的性能和可擴展性與資源池建設規(guī)劃的匹配度;若考慮對現(xiàn)有物理網(wǎng)絡拓撲進行葉脊型改造,應綜合考慮建設成本、流量模型、擴展性要求等因素。葉脊型網(wǎng)絡各層主要功能如下:圖4.3.2Spine-Leaf型網(wǎng)絡架構示意圖1葉層:為用戶提供網(wǎng)絡接入及靈活的業(yè)務控制(如隧道封裝、訪問控制等),葉交換機(葉節(jié)點)具有低成本和高端口密度特性。2脊層:網(wǎng)絡交換的主干部分,提供低延時、高帶寬的流量轉發(fā)。與傳統(tǒng)樹型架構的核心層相區(qū)別,葉脊型網(wǎng)絡的骨干層由多臺具備大容量交換能力的脊交換機構建,而非單臺高性能的核心設備。每臺脊交換機都可作為任意兩臺葉交換機的交換點。4.4設備配置4.4.8系統(tǒng)管理數(shù)據(jù)量應包括虛擬機文件系統(tǒng)數(shù)據(jù)存儲容量、系統(tǒng)表空間、臨時表空間、回滾表空間、歸檔日志空間、其它預留空間等。6工程驗收6.2.2施工過程中,建設單位委派工地代表或監(jiān)理工程師組織隨工檢驗并取得簽證的硬件安裝項目,在工程初步驗收階段可不再檢驗;驗收小組認為有必要復驗的,可根據(jù)建設單位要求進行復驗。前言本標準是根據(jù)《住房城鄉(xiāng)建設部關于印發(fā)2016年工程建設標準規(guī)范制訂、修訂計劃的通知》(建標[2015]274號)的要求,由上海郵電設計咨詢
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025版民間借貸擔保合同簽訂技巧與法律風險規(guī)避4篇
- 2025版15%股權轉讓與市場拓展及銷售分成合同3篇
- 2025年度新能源項目投資出資人轉讓協(xié)議書范本4篇
- 2025版危險品運輸車輛監(jiān)控與維護協(xié)議3篇
- 2025年高端商務車輛融資租賃專項合同4篇
- 2025年鐵藝欄桿生產(chǎn)、安裝、維護及保養(yǎng)服務協(xié)議3篇
- 科技助力下的學生自我管理能力提升
- 2025年度戶外運動服裝采購與銷售合同范本4篇
- 家庭教育心理輔導在遠程教育中的應用
- 生態(tài)教育實踐中的跨學科合作與交流
- 2014新PEP小學英語六年級上冊-Unit5-What-does-he-do復習課件
- 9.2溶解度(第1課時飽和溶液不飽和溶液)+教學設計-2024-2025學年九年級化學人教版(2024)下冊
- 礦山隱蔽致災普查治理報告
- 副總經(jīng)理招聘面試題與參考回答(某大型國企)2024年
- PDCA循環(huán)提高護士培訓率
- 《獅子王》電影賞析
- 河北省保定市定州市2025屆高二數(shù)學第一學期期末監(jiān)測試題含解析
- 中醫(yī)護理人文
- 2024-2030年中國路亞用品市場銷售模式與競爭前景分析報告
- 貨物運輸安全培訓課件
- 前端年終述職報告
評論
0/150
提交評論