版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、VSAN 動(dòng)手實(shí)驗(yàn)動(dòng)手實(shí)驗(yàn) (深圳)深圳)2016.3.41VSAN 動(dòng)手實(shí)驗(yàn)動(dòng)手實(shí)驗(yàn)1. VSAN 6.2 新的九大特性2. VSAN 競(jìng)爭(zhēng)分析3. VSAN 硬件選型及方案設(shè)計(jì)要點(diǎn)4. VSAN 動(dòng)手實(shí)驗(yàn)VSAN 6.2九大特性與最佳實(shí)踐九大特性與最佳實(shí)踐3李琦 Neeki LIT 基基礎(chǔ)架構(gòu)邁向礎(chǔ)架構(gòu)邁向Server SAN和超融合架構(gòu)和超融合架構(gòu)4Source: IDC Hyperconverged Systems 2015-2019 Forecast$.8B$1.6B$2.4B$3.2B$3.9B20152016201720182019全球超融合系統(tǒng)市場(chǎng)狀況全球超融合系統(tǒng)市場(chǎng)狀況Tr
2、aditional SAN/NAS CAGR1: - 17.8%1 Wikibon Server SAN Research Project 2014Enterprise Server SAN CAGR1: 44.2%60% CAGR最廣泛的部署選項(xiàng)最廣泛的部署選項(xiàng) 5基于業(yè)界領(lǐng)先的 VMware 超融合軟件 (HCS) 而構(gòu)建經(jīng)認(rèn)證的解決方案經(jīng)認(rèn)證的解決方案精心打造的設(shè)備精心打造的設(shè)備Virtual SAN 就緒節(jié)點(diǎn)就緒節(jié)點(diǎn)EVO SDDC 集成系統(tǒng)集成系統(tǒng) 經(jīng)認(rèn)證的合作伙伴硬件經(jīng)認(rèn)證的合作伙伴硬件NSXvRealizeEMC 聯(lián)盟聯(lián)盟 HCI 設(shè)備設(shè)備VMware HCSVirtual SA
3、N + vSphere + vCenterVMware HCSVirtual SAN + vSphere + vCenterVMware HCSVirtual SAN + vSphere + vCenterEVO SDDC ManagerEVO SDDC 軟件軟件已更新僅部分地區(qū)供應(yīng)設(shè)備軟件設(shè)備軟件即將推出更多客戶愿意借助更多客戶愿意借助 VMware HCS而不是競(jìng)爭(zhēng)產(chǎn)品來(lái)部署而不是競(jìng)爭(zhēng)產(chǎn)品來(lái)部署 HCI據(jù)我的經(jīng)驗(yàn)來(lái)看,VMware 的解決方案非??煽课覀円褱?zhǔn)備好將 Virtual SAN 部署的規(guī)模擴(kuò)大將近兩倍。“”實(shí)際性能真的與所宣傳的完全一致事實(shí)上,我能夠輕松對(duì)其進(jìn)行設(shè)置,一點(diǎn)也感覺(jué)不
4、到它的龐大!“”3000+超過(guò)3000多客戶選擇VMware HCS7極簡(jiǎn)的數(shù)據(jù)中心基礎(chǔ)架構(gòu)極簡(jiǎn)的數(shù)據(jù)中心基礎(chǔ)架構(gòu)極其簡(jiǎn)單極其簡(jiǎn)單100經(jīng)過(guò)預(yù)先認(rèn)證的就緒節(jié)點(diǎn)1 個(gè)個(gè)集成軟件體系 100K每個(gè)節(jié)點(diǎn)的 IOPS14 倍倍Virtual SAN 總存儲(chǔ)使用率提高50%TCO 更低1 個(gè)個(gè)適合關(guān)鍵業(yè)務(wù)應(yīng)用、Openstack 和容器的平臺(tái)7M 每個(gè)集群的 IOPS最高的性能最高的性能最低的成本最低的成本$ 任何應(yīng)用、任何應(yīng)用、任何規(guī)模任何規(guī)模為何這些選擇為何這些選擇 VMware HCS VSAN ?14倍倍ZDNet-至頂網(wǎng)VMware Virtual SAN 6.1評(píng)獲評(píng)獲2015年存儲(chǔ)虛擬化解
5、決方案年存儲(chǔ)虛擬化解決方案VMware Virtual SAN 6.1 Wins Best Shared Storage Solution in 2015 Award中國(guó)信息發(fā)展研究院VMware Virtual SAN 6.1榮膺中國(guó)軟件和信息服務(wù)虛擬化領(lǐng)域榮膺中國(guó)軟件和信息服務(wù)虛擬化領(lǐng)域最佳產(chǎn)品獎(jiǎng)最佳產(chǎn)品獎(jiǎng)VMware Virtual SAN 6.1 Awarded Chinas Best Virtualization Product中小企業(yè)IT采購(gòu)雜志VMware Virtual SAN 榮膺榮膺2015最受中小企業(yè)信賴的品牌和產(chǎn)品最受中小企業(yè)信賴的品牌和產(chǎn)品VMware Virtual
6、 SAN Wins The Most Trusted Brand by SMEs in 2015 Award2015年年VSAN在中國(guó)榮獲多項(xiàng)大獎(jiǎng)在中國(guó)榮獲多項(xiàng)大獎(jiǎng)VMware VSAN簡(jiǎn)介簡(jiǎn)介910. . . 軟件定義的存儲(chǔ)針對(duì)虛擬機(jī)進(jìn)行了優(yōu)化 超融合體系架構(gòu)(分布式,橫向和縱向擴(kuò)展) 可在任何標(biāo)準(zhǔn)x86服務(wù)器上運(yùn)行 將HDD/SSD池化為共享數(shù)據(jù)存儲(chǔ) 提供企業(yè)級(jí)的高可用性、可擴(kuò)展性和性能 基于策略的自動(dòng)化,滿足SLA,可按虛機(jī)甚至vmdk級(jí)別的顆粒度設(shè)置存儲(chǔ)策略 與VMware產(chǎn)品體系深度集成OverviewVirtual SAN Datastore. . . VMware VSAN專為虛
7、擬化環(huán)境設(shè)計(jì)的超融合軟件(HCS)VMware VSAN 可隨時(shí)用于所有可隨時(shí)用于所有 vSphere 工作負(fù)載工作負(fù)載VMware vSphere + Virtual SAN終端用戶終端用戶計(jì)算計(jì)算測(cè)試測(cè)試/開(kāi)發(fā)開(kāi)發(fā)ROBO生產(chǎn)前調(diào)試生產(chǎn)前調(diào)試管理管理DMZ關(guān)鍵關(guān)鍵業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用災(zāi)難恢復(fù)災(zāi)難恢復(fù)/災(zāi)難規(guī)避災(zāi)難規(guī)避適用于虛擬機(jī)的最佳存儲(chǔ)適用于虛擬機(jī)的最佳存儲(chǔ)針對(duì)針對(duì) vSphere 優(yōu)化優(yōu)化企業(yè)級(jí)恢復(fù)能力企業(yè)級(jí)恢復(fù)能力關(guān)鍵業(yè)務(wù)應(yīng)用就緒關(guān)鍵業(yè)務(wù)應(yīng)用就緒VSAN 6.2 九大特性九大特性12VSAN 6.2的的九九大特性大特性13第 4 代 Virtual SAN 具有重要的新功能特性企業(yè)就緒支
8、持IPv6網(wǎng)絡(luò)軟件校驗(yàn)和(Software Checksum)增強(qiáng)的Horizon集成已經(jīng)過(guò)SAP測(cè)試且已就緒適用于VMware Photon的VSAN技術(shù)預(yù)覽版極其簡(jiǎn)單極其簡(jiǎn)單QoS(IOPS限制值)性能監(jiān)控和容量監(jiān)控Health Check集成到vSphere Web Client內(nèi)最低成本最低成本去重 壓縮 糾刪碼特性一和特性二:去重和壓特性一和特性二:去重和壓縮(提高空間效縮(提高空間效率)率)僅支持全閃存按照磁盤(pán)組的級(jí)別,實(shí)現(xiàn)近線的去重和壓縮 提高空間效率磁盤(pán)組越大,去重比率越高去重和壓縮在集群級(jí)別激活當(dāng)數(shù)據(jù)從緩存層De-staging(刷新)到持久化層時(shí)實(shí)現(xiàn)去重,在去重后實(shí)現(xiàn)壓縮去
9、重在緩存寫(xiě)確認(rèn)后執(zhí)行固定大小的塊去重 (4KB 數(shù)據(jù)塊)在VSAN Stretched Cluster和ROBO方式下也支持去重和壓縮14Betaesxi-01esxi-02esxi-03vmdkvmdkvSphere & Virtual SANvmdkAll Flash Only去重(去重( Deduplication )原理,原理, 壓縮壓縮(Compression)注意問(wèn)題注意問(wèn)題15壓縮壓縮(Compression) 4KB is the block size for deduplication. For each unique 4k block compression wou
10、ld be performed and if the output block size is less than or equal to 2KB, a compressed block would be saved in place of the 4K block. If the output block size is greater than 2KB, the block would be written uncompressed and tracked as such. The reason is to avoid block alignment issues, as well as
11、reduce the CPU hit for decompressing the data which is greater than compression for data with low compression ratios. All of this data reduction is after the write acknowledgement. 15% at most less than 5% greater resource usage.去重(去重( Deduplication )特特性三性三 糾刪碼:糾刪碼: RAID-5 Erasure Coding “FTT=1” 高可用
12、性 RAID-53+1 (最少4臺(tái)主機(jī),并非4的倍數(shù),而是4臺(tái)或更多即可)1.33倍的開(kāi)銷,以往的開(kāi)銷是兩倍倍的開(kāi)銷,以往的開(kāi)銷是兩倍以往20GB數(shù)據(jù)消耗40GB空間, 現(xiàn)在約為27GB可以實(shí)現(xiàn)在vmdk的顆粒度上,在VMware SPBM(基于存儲(chǔ)策略的管理)里設(shè)置不支持VSAN Stretched Cluster16RAID-5ESXi HostparitydatadatadataAll Flash OnlyESXi HostdataparitydatadataESXi HostdatadataparitydataESXi Hostdatadatadataparity特性特性三三 糾糾刪碼
13、:刪碼: RAID-6 Erasure Coding“FTT=2” 的高可用性 RAID-64+2 (最少6臺(tái)主機(jī))1.5倍的開(kāi)銷,以往的開(kāi)銷是倍的開(kāi)銷,以往的開(kāi)銷是3倍倍以往20GB數(shù)據(jù)消耗60GB空間, 現(xiàn)在約為30GB可以實(shí)現(xiàn)在vmdk的顆粒度上,在SPBM里設(shè)置不支持VSAN Stretched Cluster17All Flash OnlyESXi HostparitydatadataRAID-6ESXi HostparitydatadataESXi HostdataparitydataESXi HostdataparitydataESXi HostdatadataparityESX
14、i HostdatadataparityErasure Coding (糾刪糾刪碼碼)18K 是數(shù)據(jù), M是糾碼。 K+M= 節(jié)點(diǎn)(磁盤(pán)數(shù))Raid6 19D+P+Q20特性三:特性三: VMware 存儲(chǔ)策略存儲(chǔ)策略 里可按里可按vmdk設(shè)置設(shè)置Erasure Coding空間空間效率效率21顯顯著提高空間著提高空間效效率率: 14倍!倍!220246810121416基準(zhǔn)+ Erasure Coding+ 去重和壓縮Virtual SAN 6.2 存儲(chǔ)使用率提高存儲(chǔ)使用率提高*50%與混合競(jìng)爭(zhēng)產(chǎn)品相比,全閃存每 GB 成本減少2 倍14 倍14 倍倍存儲(chǔ)效率,無(wú)折中* 通過(guò)重復(fù)數(shù)據(jù)消除和壓
15、縮而實(shí)現(xiàn)的改進(jìn)會(huì)因工作負(fù)載不同而異。 VDI 完整克隆測(cè)試的結(jié)果。特特性四:性四:IOPS限制(限制(QoS)23New in 6.2 基于每個(gè)虛機(jī)或每個(gè)vmdk,能以可視化的圖形界面來(lái)設(shè)置IOPS的限制值 一鍵即可設(shè)置 消除noisy neighbor(相鄰干擾)的不利影響 可以在vmdk的顆粒度上滿足性能的服務(wù)等級(jí)協(xié)議(SLA),在SPBM里設(shè)置 在一個(gè)集群/存儲(chǔ)池,可以為不同虛機(jī)/vmdk,提供不同的性能,將原本可能相互影響的負(fù)載區(qū)分開(kāi)來(lái) 用戶在圖形界面中,可以看到每個(gè)vmdk的IOPS值,并通過(guò)顏色(綠色,黃色,紅色)判斷實(shí)際IOPS與IOPS限制值的關(guān)系 計(jì)算IOPS時(shí),包括vmdk
16、及其快照的讀寫(xiě)操作vSphere + Virtual SANvSphere & Virtual SAN24特特性四:性四: VMware 存儲(chǔ)策略存儲(chǔ)策略 里可按里可按vmdk設(shè)置設(shè)置IOPS Limit注意:默認(rèn)IO塊大小是32K, 所以當(dāng)設(shè)置為500IOPS時(shí),實(shí)際對(duì)說(shuō)64K塊來(lái)說(shuō),只有250 IOPS性能服務(wù)性能服務(wù)-提供圖形方式觀察提供圖形方式觀察25特特性五:性五: 支支持純持純IPv6網(wǎng)絡(luò)網(wǎng)絡(luò)概覽概覽在僅有IPv6的模式下運(yùn)行。所有網(wǎng)絡(luò)通信都通過(guò)IPv6網(wǎng)絡(luò)通過(guò)圖形界面設(shè)置VSAN支持L2或L3組播通過(guò)HealthUI進(jìn)行管理/監(jiān)控支持IPv4 & IPv6 混合模
17、式的升級(jí)好處好處滿足那些想遷往IPv6的客戶需求 (例如,政府, 服務(wù)提供商)配合vSphere支持IPv6VSAN networkVSAN networkVSAN network支持純IPv4網(wǎng)絡(luò)或IPv6網(wǎng)絡(luò)New in 6.2vSphere & Virtual SANVirtual SAN DatastoreNew in 6.2特特性六:性六: Software Checksum(軟件校驗(yàn)和)(軟件校驗(yàn)和)27概覽概覽數(shù)據(jù)的端到端校驗(yàn),檢測(cè)并解決靜默磁盤(pán)錯(cuò)誤軟件校驗(yàn)和在集群級(jí)別默認(rèn)是開(kāi)啟的,可以通過(guò)存儲(chǔ)策略在vmdk級(jí)別關(guān)閉在后臺(tái)執(zhí)行磁盤(pán)掃描(Disk Scrubbing)如果通
18、過(guò)校驗(yàn)和驗(yàn)證發(fā)現(xiàn)了錯(cuò)誤,則重建數(shù)據(jù)基于4K的塊大小采用CRC32算法(CPU開(kāi)銷小)好處好處提供更高的數(shù)據(jù)完整性自動(dòng)檢測(cè)和解決靜默磁盤(pán)錯(cuò)誤(silent disk errors)Virtual SAN28特特性性六六: VMware 存儲(chǔ)策略存儲(chǔ)策略 里可按里可按vmdk設(shè)置設(shè)置Software Checksum特特性七:性七:詳詳細(xì)的性能監(jiān)控集成到細(xì)的性能監(jiān)控集成到vSphere Web Client里里性能監(jiān)控性能監(jiān)控容量監(jiān)控容量監(jiān)控29New in 6.2性能無(wú)縫集成在vSphere Web Client里,提供歷史和實(shí)時(shí)的圖表,并且可設(shè)置時(shí)間范圍過(guò)濾的圖表。性能監(jiān)控允許從vCenter
19、監(jiān)控現(xiàn)有的工作負(fù)載,包括宏觀視圖:集群延時(shí)、帶寬和IOPS);以及細(xì)顆粒度的視圖:每個(gè)磁盤(pán),每個(gè)磁盤(pán)組,每個(gè)物理盤(pán)(包括緩存層和持久化層),每個(gè)虛機(jī),每個(gè)vmdk;以及緩存命中率。性能監(jiān)控的數(shù)據(jù),以分布式方式存放在VSAN上。VSAN Performance Monitoring - Cluster wide Performance (IOPS, latency, Throughput)VSAN Performance monitoring: Individual VSAN HostVSAN Performance Monitoring: Individual DiskVSAN Perform
20、ance Monitoring: Individual Disk GroupVSAN Performance Monitoring: Individual Virtual MachineQ1 2016 RoadmapVSAN Performance Monitoring: Individual Virtual Disk特特性八:性八:健康檢查(健康檢查(Health Check)集成到)集成到vSphere Web Client內(nèi)內(nèi)概覽概覽支持SNMP, 客戶腳本,通過(guò)VC 警告發(fā)送Email;集群級(jí)別的概覽去查看虛機(jī)的可用性;基于時(shí)間的警報(bào)觸發(fā)機(jī)制; 詳細(xì)的存儲(chǔ)空間報(bào)表和使用分析(支持Ded
21、upe等)在圖形界面內(nèi)可設(shè)置主動(dòng)地容量的Rebalance(再平衡);通過(guò)性能的閾值設(shè)置警報(bào);Integrate performance data in support bundle全部集成到運(yùn)營(yíng)管理界面中,也即成為vSphere Web Client的一部分,而非之前的插件New in Q1特特性九:其他改進(jìn)性九:其他改進(jìn)37New in 6.21、Client Cache寫(xiě)操作經(jīng)由讀內(nèi)存(可視為延遲更低的緩存)類似虛機(jī)的數(shù)據(jù)本地性(如同CBRC *),能顯著提升VDI的性能低開(kāi)銷,高性能2、Sparse Swap內(nèi)存交換里的空間回收在VMware kernel,而非SPBM里管理;對(duì)于鏈接
22、克隆的存儲(chǔ)利用率有幫助; 主機(jī)高級(jí)選項(xiàng)里設(shè)置,啟用swap的策略,無(wú)需空間預(yù)留3、增、增強(qiáng)的強(qiáng)的Horizon集成集成4、已、已經(jīng)過(guò)經(jīng)過(guò)SAP測(cè)試且已就緒測(cè)試且已就緒5、適、適用于用于VMware Photon的的VSAN技術(shù)預(yù)覽版技術(shù)預(yù)覽版VMware vSphere & Virtual SAN*CBRC:用來(lái)存放多人經(jīng)常同時(shí)存取的數(shù)據(jù)內(nèi)容,如操作系統(tǒng)、設(shè)定文件、共享性高的應(yīng)用程序。當(dāng)眾多用戶同時(shí)提出相同I/O要求時(shí),就能直接在服務(wù)器的內(nèi)存上做讀寫(xiě),不必經(jīng)由存儲(chǔ)設(shè)備,借此加快讀寫(xiě)速度,同時(shí)減少儲(chǔ)存成本。42VMware SDS Data Plane(數(shù)據(jù)平面)功能更加豐富(數(shù)據(jù)平面)
23、功能更加豐富SPBM存儲(chǔ)策略由存儲(chǔ)策略由5項(xiàng)增加到項(xiàng)增加到至少至少9項(xiàng)!項(xiàng)!38VSAN 6.2 版版本概覽本概覽39Virtual SAN STDVirtual SAN ADVVirtual SANENTOverviewHybrid Hyper-converged deploymentsAll Flash Hyper-converged deploymentsAdded site availability and quality of service controlsLicense EntitlementPer CPU or Per DesktopAlso available for ROB
24、OPer CPU or Per DesktopIncluded in Horizon ADV/ENTPer CPU or Per DesktopFeaturesStorage policy based managementRead / Write SSD CachingDistributed RAIDVirtual Distributed SwitchVSAN Snapshots & ClonesRack AwarenessReplication (5 min RPO)Software ChecksumAll FlashDeduplication & Compression (
25、All Flash only)Erasure Coding (RAID 5/6 All Flash only)Stretched ClusterQoS IOPS LimitsNew Feature in VSAN 6.2Existing feature in v6.1VSAN for ROBO 25-VM Pack of VSAN STD One per site maxVSAN ADV Best performance & space efficiency Better value over hybrid! Flash is the futureVSAN 注意要點(diǎn)注意要點(diǎn)40VSAN
26、 主機(jī)設(shè)計(jì)主機(jī)設(shè)計(jì)選擇VSAN HCL(兼容列表)上的服務(wù)器http:/ Ready Nodes的配置(含服務(wù)器和VDI)最小主機(jī)數(shù)與最大允許故障數(shù)(FTT)的關(guān)系Host = 2*FTT + 1Erasure Coding(VSAN 6.2才支持)下RAID 5至少要求4臺(tái)主機(jī)RAID 6至少要求6臺(tái)主機(jī)41VSAN 網(wǎng)絡(luò)設(shè)計(jì)網(wǎng)絡(luò)設(shè)計(jì)支持1Gb (混合),但推薦10Gb全閃全閃存陣列需使用存陣列需使用10Gb支持支持NIC Teaming可以提高網(wǎng)絡(luò)可用性(故障切換)可以提高網(wǎng)絡(luò)可用性(故障切換)VSAN 支持Jumbo Frames, 可降低CPU使用量以及提高吞吐VSAN需要多播. 選項(xiàng)
27、1 禁用IGMP Snooping選項(xiàng)2 配置IGMP Snooping Querier配置VDS,任何版本的VSAN均附帶VDS功能Network I/O Control (10G網(wǎng)絡(luò),共享生產(chǎn)、管理、vMotion流量)42VSAN 存儲(chǔ)設(shè)計(jì)存儲(chǔ)設(shè)計(jì)43混合混合全閃全閃Caching 緩存層緩存層容量層SAS/NL SAS/SATA/Direct-attached JBOD容量層Flash DevicesData Persistence數(shù)數(shù)據(jù)持久化層據(jù)持久化層Virtual SANSSDPCIeUltra DIMMSSDPCIeUltra DIMM讀緩存讀緩存(70%) 和寫(xiě)緩存和寫(xiě)緩存 (30%)寫(xiě)緩存寫(xiě)緩存(100%), 從容量層讀從容量層讀每個(gè)主機(jī)最多支持5個(gè)磁盤(pán)組,每個(gè)磁盤(pán)組支持1個(gè)SSD做為緩存層,17個(gè)SSD或HDD作為持久化層;選擇VSAN HCL(兼容列表)上的SSDhttp:/ Your Own 可查詢SSD是否在VSAN兼容列表內(nèi)設(shè)計(jì)容量層的10%為緩存只是參考值,實(shí)際取決于熱點(diǎn)數(shù)據(jù)的多
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 三年級(jí)語(yǔ)文上冊(cè)第八單元測(cè)試卷-基礎(chǔ)知識(shí)與綜合能力篇 含答案 部編版
- 2024建設(shè)工程合作合同范本
- 2024門面房出租合同范本門面房轉(zhuǎn)讓步驟及合同范本2
- 2024招投標(biāo)購(gòu)買合同書(shū)樣本
- 規(guī)劃課題申報(bào)范例:第二輪“雙一流”建設(shè)績(jī)效評(píng)價(jià)研究(附可修改技術(shù)路線圖)
- 深圳大學(xué)《學(xué)前兒童家庭教育學(xué)》2022-2023學(xué)年第一學(xué)期期末試卷
- 北京健身合同(2篇)
- 商務(wù)公寓預(yù)售協(xié)議書(shū)(2篇)
- 關(guān)于班學(xué)期工作計(jì)劃模板合集6篇
- 放射治療核醫(yī)學(xué)衛(wèi)生監(jiān)督
- 高考高中語(yǔ)文必背古詩(shī)文72篇-必考古詩(shī)詞全總結(jié)
- 2024年物業(yè)行業(yè)職業(yè)技能競(jìng)賽(物業(yè)管理員賽項(xiàng))考試題庫(kù)500題(含答案)
- MOOC 通信原理-北京郵電大學(xué) 中國(guó)大學(xué)慕課答案
- MOOC 工程水文學(xué)-華中科技大學(xué) 中國(guó)大學(xué)慕課答案
- 8度12層框架結(jié)構(gòu)計(jì)算書(shū)
- 一年級(jí)《舞蹈基礎(chǔ)課》全教案
- 2023-2024學(xué)年成都市成華區(qū)九年級(jí)語(yǔ)文上學(xué)期期末試卷附答案解析
- 金屬有機(jī)化學(xué)通用課件
- 美國(guó)大選與美式民主課件
- 民用爆炸品培訓(xùn)課件
- 民宿計(jì)劃書(shū)及方案模板
評(píng)論
0/150
提交評(píng)論