版權(quán)說(shuō)明:本文檔由用戶(hù)提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討1內(nèi)容大綱并行計(jì)算技術(shù)集群及相關(guān)技術(shù)網(wǎng)格計(jì)算內(nèi)容大綱并行計(jì)算技術(shù)2如何滿(mǎn)足不斷增長(zhǎng)的計(jì)算力需求?用速度更快的硬件,也就是減少每一條指令所需時(shí)間優(yōu)化算法(或者優(yōu)化編譯)用多個(gè)處理機(jī)(器)同時(shí)解決一個(gè)問(wèn)題并行計(jì)算如何滿(mǎn)足不斷增長(zhǎng)的計(jì)算力需求?用速度更快的硬件,也就是減少每3串行計(jì)算與并行計(jì)算串行計(jì)算與并行計(jì)算4并行的層次程序級(jí)并行子程序級(jí)并行語(yǔ)句級(jí)并行操作級(jí)并行微操作級(jí)并行并行粒度粗細(xì)并行的層次程序級(jí)并行并行粒度粗細(xì)5共享內(nèi)存與分布式內(nèi)存P=處理器M=內(nèi)存S=網(wǎng)絡(luò)交換設(shè)備PMP…PMPMS…共享內(nèi)存與分布式內(nèi)存P=處理器PMP…PMPMS…6局部共享內(nèi)存…SPMP…PMP…NodeNode局部共享內(nèi)存…SPMP…PMP…NodeNode7實(shí)現(xiàn)并行計(jì)算的常見(jiàn)方法1、多線程程序2、基于OpenMP的并行程序3、基于消息傳遞的并行程序PVMMPI實(shí)現(xiàn)并行計(jì)算的常見(jiàn)方法1、多線程程序8XPVMXPVM9XPVMXPVM10并行計(jì)算環(huán)境簡(jiǎn)介PVP(ParallelVectorProcessor)使用專(zhuān)用向量處理器銀河I,CrayT90,NEC的地球模擬器。。。SMP(SymmetricMultiprocessor)同一主板上多個(gè)處理器可以等同訪問(wèn)共享存儲(chǔ)器、I/O設(shè)備和操作系統(tǒng)服務(wù)IBMRS6000。。。Cluster由很多連接在一起的獨(dú)立計(jì)算機(jī)組成,像一個(gè)單獨(dú)的集成的計(jì)算機(jī)一樣協(xié)同工作集群的節(jié)點(diǎn)可以是SMP(或者PVP)Cluster1350,藍(lán)色基因。。。并行計(jì)算環(huán)境簡(jiǎn)介PVP(ParallelVectorPr11在虛擬天文臺(tái)中的應(yīng)用情形處理實(shí)時(shí)性要求很高的大量觀測(cè)數(shù)據(jù)觀測(cè)數(shù)據(jù)的并行可視化處理并行數(shù)據(jù)挖掘并行數(shù)據(jù)服務(wù)提供。。。。。。在虛擬天文臺(tái)中的應(yīng)用情形處理實(shí)時(shí)性要求很高的大量觀測(cè)數(shù)據(jù)12集群技術(shù)集群概念最早由IBM于20世紀(jì)60年代提出集群一般由高速網(wǎng)絡(luò)連接起來(lái)的高性能工作站或PC機(jī)組成。集群在工作中像一個(gè)統(tǒng)一的整合資源,所有節(jié)點(diǎn)使用單一界面。集群技術(shù)集群概念最早由IBM于20世紀(jì)60年代提出13集群
NotaCluster Cluster
集群 NotaCluster 14集群計(jì)算系統(tǒng)體系結(jié)構(gòu)集群計(jì)算系統(tǒng)體系結(jié)構(gòu)15集群相關(guān)技術(shù)網(wǎng)絡(luò)層網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)、通信協(xié)議、信號(hào)技術(shù)等。節(jié)點(diǎn)機(jī)及操作系統(tǒng)層高性能PC或工作站、分層或基于微內(nèi)核的操作系統(tǒng)等。集群系統(tǒng)管理層資源管理、資源調(diào)度、負(fù)載平衡、并行I/O、安全等。應(yīng)用層并行程序開(kāi)發(fā)環(huán)境、串行應(yīng)用、并行應(yīng)用等。集群相關(guān)技術(shù)網(wǎng)絡(luò)層16Cluster1350Cluster1350是IBM公司目標(biāo)定位于高性能計(jì)算市場(chǎng)的Linux集群,包括一套完整的解決方案,集成了眾多IBM與非IBM的先進(jìn)的軟硬件技術(shù),有其特有的技術(shù)優(yōu)勢(shì)與強(qiáng)大的服務(wù)支持。Cluster1350Cluster1350是IBM公司目標(biāo)17Cluster1350邏輯結(jié)構(gòu)Cluster1350邏輯結(jié)構(gòu)18Cluster1350節(jié)點(diǎn)硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IBM中心)管理節(jié)點(diǎn)IBMeServerxSeries345(1)計(jì)算節(jié)點(diǎn)IBMeServerxSeries335(16)網(wǎng)絡(luò)千兆以太網(wǎng)操作系統(tǒng)RedHatLinux7.3Cluster1350節(jié)點(diǎn)硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IB19CSM(ClusterSystemManagement)CSM是IBM公司開(kāi)發(fā),專(zhuān)門(mén)用于集群系統(tǒng)管理的中間件,在Cluster1350解決方案集成。CSM的設(shè)計(jì)思想與體系結(jié)構(gòu)來(lái)自PSSP(IBMParallelSystemSupportProgramsforAIX)與其它一些開(kāi)源的集群管理軟件。還有一些中間件及技術(shù),雖然不直接為用戶(hù)服務(wù),但構(gòu)成了CSM的不可或缺的基礎(chǔ),包括RMC、SRC、RSCT等。CSM(ClusterSystemManagement)20CSMCSM21Cluster1350系統(tǒng)管理整個(gè)集群由單一結(jié)點(diǎn)控制所有結(jié)點(diǎn)的開(kāi)機(jī)、關(guān)機(jī)、狀態(tài)查詢(xún)顯示遠(yuǎn)程控制臺(tái)安裝操作系統(tǒng)升級(jí)(安裝)各結(jié)點(diǎn)系統(tǒng)及應(yīng)用軟件。。。一個(gè)完整的集群只需一套外置輸入/輸出設(shè)備(鍵盤(pán)、鼠標(biāo)、顯示器)Cluster1350系統(tǒng)管理整個(gè)集群由單一結(jié)點(diǎn)控制22Linux集群上可用的任務(wù)調(diào)度系統(tǒng)Mosix(MulticomputerOperatingSystemforUnIX)可以自動(dòng)完成節(jié)點(diǎn)間進(jìn)程遷移需要重新編譯Linux內(nèi)核對(duì)用戶(hù)來(lái)說(shuō)是透明的PBS(PortableBatchSystem)由NASA的Ames研究中心開(kāi)發(fā)為了達(dá)到集群系統(tǒng)整體上的負(fù)載平衡,對(duì)各個(gè)節(jié)點(diǎn)上的任務(wù)進(jìn)行調(diào)度,但不進(jìn)行節(jié)點(diǎn)間任務(wù)遷移不需要重新編譯內(nèi)核Linux集群上可用的任務(wù)調(diào)度系統(tǒng)Mosix(Multic23集群上的應(yīng)用程序(計(jì)算)開(kāi)發(fā)適于開(kāi)發(fā)基于消息傳遞的并行應(yīng)用程序可以使用PVM/MPI步驟:配置并行計(jì)算的編譯與運(yùn)行環(huán)境主要是rsh/ssh設(shè)計(jì)、編寫(xiě)、編譯程序使用PVM/MPI提供的程序庫(kù)及編譯環(huán)境部署應(yīng)用程序ftp、rcp、scp、CSM、NFS、GPFS等方式運(yùn)行程序集群上的應(yīng)用程序(計(jì)算)開(kāi)發(fā)適于開(kāi)發(fā)基于消息傳遞的并行應(yīng)用程24配置高可用集群最大程度地減少服務(wù)中斷,而不是容錯(cuò)。HearbeatLVS(LinuxVirtualSever)IBM的Tivoli和WebSphere系列軟件……配置高可用集群最大程度地減少服務(wù)中斷,而不是容錯(cuò)。25Heartbeat集群Heartbeat集群26LVS集群LVS集群27集群在虛擬天文臺(tái)中的角色高性能計(jì)算構(gòu)成虛擬天文臺(tái)網(wǎng)格環(huán)境中強(qiáng)有力的計(jì)算資源高可用服務(wù)在網(wǎng)格環(huán)境中提供穩(wěn)定、可靠的數(shù)據(jù)、計(jì)算、調(diào)度等服務(wù)集群在虛擬天文臺(tái)中的角色高性能計(jì)算28網(wǎng)格計(jì)算“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations”網(wǎng)格計(jì)算“Resourcesharing&c29OnDemandOnDemand30理想的網(wǎng)格理想的網(wǎng)格31理想的網(wǎng)格理想的網(wǎng)格32ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.ThecertificateisproducedandsignedbytheCertificateServer.Theusergetsthecertificate.Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.ThepictureabovedescribesaAftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init”command),theusersubmitshis/herjobrequesttotheResourceBroker.SubmittedTheResourceBrokerqueriestheReplicaCatalogandInformationIndextofindsuitableresources(storagespace,dataandcomputingpower).WaitingAftercreatingaproxyprocessTheResourceBrokerselectstheresources.ReadyTheResourceBrokersubmitsthejobtotheselectedComputingElement(s).ScheduledTheComputingElementdeliversthejobtoitsWorkerNode(s),whichwilldotherealwork.DoneTheResourceBrokerselectsthOutputReadyTheoutputismovedtotheResourceBrokerOutputReadyTheoutputismoveTheusergetshis/heroutputClearedTheusergetshis/heroutputCl網(wǎng)格計(jì)算環(huán)境示例GridWANClusterGridSMPGridSMPGridClusterUI/APIGridLANGridSMPGridSMPGridSMPGridClusterClusterClusterSMPGridClusterGridGridGridLANSiteASiteBSiteCUI/APIGridUI/APIGridLAN網(wǎng)格計(jì)算環(huán)境示例GridWANClusterGridSMPG38結(jié)束語(yǔ)虛擬天文臺(tái)將構(gòu)筑于網(wǎng)格環(huán)境之上集群將構(gòu)成網(wǎng)格環(huán)境中強(qiáng)有力的計(jì)算與服務(wù)支撐平臺(tái)并行計(jì)算將為具體事務(wù)處理提供技術(shù)與手段上支持結(jié)束語(yǔ)虛擬天文臺(tái)將構(gòu)筑于網(wǎng)格環(huán)境之上39Thanks!Thanks!40并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討并行計(jì)算、集群與網(wǎng)格技術(shù)在虛擬天文臺(tái)中應(yīng)用探討41內(nèi)容大綱并行計(jì)算技術(shù)集群及相關(guān)技術(shù)網(wǎng)格計(jì)算內(nèi)容大綱并行計(jì)算技術(shù)42如何滿(mǎn)足不斷增長(zhǎng)的計(jì)算力需求?用速度更快的硬件,也就是減少每一條指令所需時(shí)間優(yōu)化算法(或者優(yōu)化編譯)用多個(gè)處理機(jī)(器)同時(shí)解決一個(gè)問(wèn)題并行計(jì)算如何滿(mǎn)足不斷增長(zhǎng)的計(jì)算力需求?用速度更快的硬件,也就是減少每43串行計(jì)算與并行計(jì)算串行計(jì)算與并行計(jì)算44并行的層次程序級(jí)并行子程序級(jí)并行語(yǔ)句級(jí)并行操作級(jí)并行微操作級(jí)并行并行粒度粗細(xì)并行的層次程序級(jí)并行并行粒度粗細(xì)45共享內(nèi)存與分布式內(nèi)存P=處理器M=內(nèi)存S=網(wǎng)絡(luò)交換設(shè)備PMP…PMPMS…共享內(nèi)存與分布式內(nèi)存P=處理器PMP…PMPMS…46局部共享內(nèi)存…SPMP…PMP…NodeNode局部共享內(nèi)存…SPMP…PMP…NodeNode47實(shí)現(xiàn)并行計(jì)算的常見(jiàn)方法1、多線程程序2、基于OpenMP的并行程序3、基于消息傳遞的并行程序PVMMPI實(shí)現(xiàn)并行計(jì)算的常見(jiàn)方法1、多線程程序48XPVMXPVM49XPVMXPVM50并行計(jì)算環(huán)境簡(jiǎn)介PVP(ParallelVectorProcessor)使用專(zhuān)用向量處理器銀河I,CrayT90,NEC的地球模擬器。。。SMP(SymmetricMultiprocessor)同一主板上多個(gè)處理器可以等同訪問(wèn)共享存儲(chǔ)器、I/O設(shè)備和操作系統(tǒng)服務(wù)IBMRS6000。。。Cluster由很多連接在一起的獨(dú)立計(jì)算機(jī)組成,像一個(gè)單獨(dú)的集成的計(jì)算機(jī)一樣協(xié)同工作集群的節(jié)點(diǎn)可以是SMP(或者PVP)Cluster1350,藍(lán)色基因。。。并行計(jì)算環(huán)境簡(jiǎn)介PVP(ParallelVectorPr51在虛擬天文臺(tái)中的應(yīng)用情形處理實(shí)時(shí)性要求很高的大量觀測(cè)數(shù)據(jù)觀測(cè)數(shù)據(jù)的并行可視化處理并行數(shù)據(jù)挖掘并行數(shù)據(jù)服務(wù)提供。。。。。。在虛擬天文臺(tái)中的應(yīng)用情形處理實(shí)時(shí)性要求很高的大量觀測(cè)數(shù)據(jù)52集群技術(shù)集群概念最早由IBM于20世紀(jì)60年代提出集群一般由高速網(wǎng)絡(luò)連接起來(lái)的高性能工作站或PC機(jī)組成。集群在工作中像一個(gè)統(tǒng)一的整合資源,所有節(jié)點(diǎn)使用單一界面。集群技術(shù)集群概念最早由IBM于20世紀(jì)60年代提出53集群
NotaCluster Cluster
集群 NotaCluster 54集群計(jì)算系統(tǒng)體系結(jié)構(gòu)集群計(jì)算系統(tǒng)體系結(jié)構(gòu)55集群相關(guān)技術(shù)網(wǎng)絡(luò)層網(wǎng)絡(luò)互聯(lián)結(jié)構(gòu)、通信協(xié)議、信號(hào)技術(shù)等。節(jié)點(diǎn)機(jī)及操作系統(tǒng)層高性能PC或工作站、分層或基于微內(nèi)核的操作系統(tǒng)等。集群系統(tǒng)管理層資源管理、資源調(diào)度、負(fù)載平衡、并行I/O、安全等。應(yīng)用層并行程序開(kāi)發(fā)環(huán)境、串行應(yīng)用、并行應(yīng)用等。集群相關(guān)技術(shù)網(wǎng)絡(luò)層56Cluster1350Cluster1350是IBM公司目標(biāo)定位于高性能計(jì)算市場(chǎng)的Linux集群,包括一套完整的解決方案,集成了眾多IBM與非IBM的先進(jìn)的軟硬件技術(shù),有其特有的技術(shù)優(yōu)勢(shì)與強(qiáng)大的服務(wù)支持。Cluster1350Cluster1350是IBM公司目標(biāo)57Cluster1350邏輯結(jié)構(gòu)Cluster1350邏輯結(jié)構(gòu)58Cluster1350節(jié)點(diǎn)硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IBM中心)管理節(jié)點(diǎn)IBMeServerxSeries345(1)計(jì)算節(jié)點(diǎn)IBMeServerxSeries335(16)網(wǎng)絡(luò)千兆以太網(wǎng)操作系統(tǒng)RedHatLinux7.3Cluster1350節(jié)點(diǎn)硬件、網(wǎng)絡(luò)和操作系統(tǒng)(天津大學(xué)IB59CSM(ClusterSystemManagement)CSM是IBM公司開(kāi)發(fā),專(zhuān)門(mén)用于集群系統(tǒng)管理的中間件,在Cluster1350解決方案集成。CSM的設(shè)計(jì)思想與體系結(jié)構(gòu)來(lái)自PSSP(IBMParallelSystemSupportProgramsforAIX)與其它一些開(kāi)源的集群管理軟件。還有一些中間件及技術(shù),雖然不直接為用戶(hù)服務(wù),但構(gòu)成了CSM的不可或缺的基礎(chǔ),包括RMC、SRC、RSCT等。CSM(ClusterSystemManagement)60CSMCSM61Cluster1350系統(tǒng)管理整個(gè)集群由單一結(jié)點(diǎn)控制所有結(jié)點(diǎn)的開(kāi)機(jī)、關(guān)機(jī)、狀態(tài)查詢(xún)顯示遠(yuǎn)程控制臺(tái)安裝操作系統(tǒng)升級(jí)(安裝)各結(jié)點(diǎn)系統(tǒng)及應(yīng)用軟件。。。一個(gè)完整的集群只需一套外置輸入/輸出設(shè)備(鍵盤(pán)、鼠標(biāo)、顯示器)Cluster1350系統(tǒng)管理整個(gè)集群由單一結(jié)點(diǎn)控制62Linux集群上可用的任務(wù)調(diào)度系統(tǒng)Mosix(MulticomputerOperatingSystemforUnIX)可以自動(dòng)完成節(jié)點(diǎn)間進(jìn)程遷移需要重新編譯Linux內(nèi)核對(duì)用戶(hù)來(lái)說(shuō)是透明的PBS(PortableBatchSystem)由NASA的Ames研究中心開(kāi)發(fā)為了達(dá)到集群系統(tǒng)整體上的負(fù)載平衡,對(duì)各個(gè)節(jié)點(diǎn)上的任務(wù)進(jìn)行調(diào)度,但不進(jìn)行節(jié)點(diǎn)間任務(wù)遷移不需要重新編譯內(nèi)核Linux集群上可用的任務(wù)調(diào)度系統(tǒng)Mosix(Multic63集群上的應(yīng)用程序(計(jì)算)開(kāi)發(fā)適于開(kāi)發(fā)基于消息傳遞的并行應(yīng)用程序可以使用PVM/MPI步驟:配置并行計(jì)算的編譯與運(yùn)行環(huán)境主要是rsh/ssh設(shè)計(jì)、編寫(xiě)、編譯程序使用PVM/MPI提供的程序庫(kù)及編譯環(huán)境部署應(yīng)用程序ftp、rcp、scp、CSM、NFS、GPFS等方式運(yùn)行程序集群上的應(yīng)用程序(計(jì)算)開(kāi)發(fā)適于開(kāi)發(fā)基于消息傳遞的并行應(yīng)用程64配置高可用集群最大程度地減少服務(wù)中斷,而不是容錯(cuò)。HearbeatLVS(LinuxVirtualSever)IBM的Tivoli和WebSphere系列軟件……配置高可用集群最大程度地減少服務(wù)中斷,而不是容錯(cuò)。65Heartbeat集群Heartbeat集群66LVS集群LVS集群67集群在虛擬天文臺(tái)中的角色高性能計(jì)算構(gòu)成虛擬天文臺(tái)網(wǎng)格環(huán)境中強(qiáng)有力的計(jì)算資源高可用服務(wù)在網(wǎng)格環(huán)境中提供穩(wěn)定、可靠的數(shù)據(jù)、計(jì)算、調(diào)度等服務(wù)集群在虛擬天文臺(tái)中的角色高性能計(jì)算68網(wǎng)格計(jì)算“Resourcesharing&coordinatedproblemsolvingindynamic,multi-institutionalvirtualorganizations”網(wǎng)格計(jì)算“Resourcesharing&c69OnDemandOnDemand70理想的網(wǎng)格理想的網(wǎng)格71理想的網(wǎng)格理想的網(wǎng)格72ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority.Forspacereasonswedonotshowallthemachinesofeachsite.TheuserrequestsacertificatetotheCertificateAuthoritywebfront-end.ThecertificateisproducedandsignedbytheCertificateServer.Theusergetsthecertificate.Nowthattheuserhashis/hercertificateinstalledonhis/herUserInterface,he/shecansubmithis/herjobrequests.ThepictureabovedescribesaAftercreatingaproxyprocesswithtemporarycredentials(“grid-proxy-init”command),theusersubmitshis/herjobrequesttotheResourceBroker.SubmittedTheResourceBrokerqueriesthe
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶(hù)所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶(hù)上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶(hù)上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶(hù)因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 電廠除塵課程設(shè)計(jì)
- 幼兒園食物冬藏課程設(shè)計(jì)
- 春節(jié)放假的通知模板六篇
- 接待方案集合5篇
- 2024年學(xué)生交通安全責(zé)任協(xié)議3篇
- 道德演講稿模板錦集四篇
- 瑜伽肩部療愈課程設(shè)計(jì)
- 2024年特種集裝箱定制購(gòu)買(mǎi)協(xié)議
- 2024年度擔(dān)保合同變更及轉(zhuǎn)讓的債權(quán)轉(zhuǎn)讓條件3篇
- 2024年基礎(chǔ)設(shè)施建設(shè)項(xiàng)目擔(dān)保合同范本3篇
- 無(wú)人機(jī)組裝調(diào)試與檢修-第六章
- 工程圖學(xué)及計(jì)算機(jī)繪圖習(xí)題集
- 人教版三年級(jí)數(shù)學(xué)上冊(cè)第七單元《長(zhǎng)方形和正方形》(大單元教學(xué)設(shè)計(jì))
- DBJ50-T-417-2022 建筑施工高處墜落防治安全技術(shù)標(biāo)準(zhǔn)
- Unit2Letscelebrate!教案-外研版高中英語(yǔ)必修第二冊(cè)
- 天津LNG外輸管道復(fù)線工程(接收站-黃驊-滄州)環(huán)評(píng)報(bào)告書(shū)(送審版)
- 機(jī)器人滾壓包邊DPCA-F12-001-2008
- 眼視光學(xué)理論與方法智慧樹(shù)知到期末考試答案章節(jié)答案2024年溫州醫(yī)科大學(xué)
- 外科學(xué) 手術(shù) 基礎(chǔ)
- 音樂(lè)鑒賞(西安交通大學(xué))智慧樹(shù)知到期末考試答案2024年
- 2024年03月烏魯木齊海關(guān)所屬事業(yè)單位2024年面向社會(huì)公開(kāi)招考14名工作人員筆試參考題庫(kù)附帶答案詳解
評(píng)論
0/150
提交評(píng)論