2024超算互聯(lián)網(wǎng)白皮書

超算互聯(lián)網(wǎng)白皮書二〇二四年四月超算互聯(lián)網(wǎng)白皮書超算互聯(lián)網(wǎng)白皮書目 錄一、發(fā)展背景 1二、基本概念 5()概念特征 5()目標愿景 6()關(guān)鍵能力 8()參考模型 12()概念演進 13三、發(fā)展現(xiàn)狀 16()發(fā)達國高度超算設(shè)互聯(lián)享 16()中國推超算向超算聯(lián)網(wǎng)級 21四、技術(shù)架構(gòu) 31()總體參架構(gòu) 31資源層 32平臺層 38服務(wù)層 41應(yīng)用層 44()關(guān)鍵技問題 45()標準規(guī)體系 50五、運營管理 53()運行機制 54()參考運架構(gòu) 56()超算互網(wǎng)聯(lián)體 60六、應(yīng)用展望 62()創(chuàng)新的用模式 62()豐富的用場景 63人工能 64科學算 66工程算 70七、發(fā)展倡議 73八、附錄 76()附錄1：縮略語 76()附錄2：參考獻 77超算互聯(lián)網(wǎng)白皮書超算互聯(lián)網(wǎng)白皮書圖/表目錄圖1中國算產(chǎn)三位一協(xié)調(diào)策略 3圖2超算聯(lián)網(wǎng)重要特征 5圖3超算聯(lián)網(wǎng)持多方態(tài)協(xié)作 7圖4超算聯(lián)網(wǎng)具備的鍵能力 9圖5超算聯(lián)網(wǎng)考模型 13圖6從超網(wǎng)格超算互網(wǎng)的關(guān)系 14圖7EuroHPC（2021-2027）發(fā)展框架 19圖8日本性能算基礎(chǔ)施(HPCI)分布 20圖9中國算基設(shè)施網(wǎng)化發(fā)程 21圖10“十三五國家高能計境 23圖11算互總體參架構(gòu) 31圖12算互標準體系 51圖13算互主要參方及系 53圖14算互運營商考運構(gòu) 57圖15家超聯(lián)網(wǎng)聯(lián)體正立儀式 60表1EuroHPCJU管的超計算表 19超算互聯(lián)網(wǎng)白皮書超算互聯(lián)網(wǎng)白皮書PAGEPAGE10一、發(fā)展背景5G是近年來以ChatGPTAlphaFold2Sora81040超級計算能力是衡量一個國家或地區(qū)科技競爭力和綜合實力的重要標志。超級計算已廣泛應(yīng)用于航空航天、工業(yè)仿真、氣象環(huán)保、多年來，在中國科技計劃的持續(xù)支持下，我國超算產(chǎn)業(yè)堅持“機器、環(huán)算TOP500貝爾（GordonBell）（ChinaNationalGrid，CNGrid）12。錢德沛,欒鐘治,劉軼.從網(wǎng)格到"東數(shù)西算":構(gòu)建國家算力基礎(chǔ)設(shè)施[J].北京航空航天大學學報,2022,48(9):14.2李國杰.發(fā)展高性能計算需要思考的幾個戰(zhàn)略性問題.中國科學院院刊，2019.6圖1中國超算產(chǎn)業(yè)三位一體協(xié)調(diào)發(fā)展策略人工智能帶來AIGC、大模型、AIForScience、AIForTechnologyAPPStoredatadeluge遠程傳輸效率；放眼世界構(gòu)建備高效數(shù)據(jù)資源共算調(diào)配生態(tài)協(xié)作力的基礎(chǔ)設(shè)網(wǎng)絡(luò)也發(fā)達國塑造能計算爭優(yōu)勢的重要策略，例如美國的能源科學研究網(wǎng)絡(luò)ESnet（EnergySeestrk歐盟的性能算共同計劃rPC（EoanghPfmcemtgJntUean日本的高性能計算基礎(chǔ)設(shè)施HPCI（High Performance ComputingInfrastructure）等2023年4月17日家超互網(wǎng)正式動部署并立了家超算聯(lián)網(wǎng)體超算聯(lián)網(wǎng)在以往國國家網(wǎng)格CNGrid以業(yè)內(nèi)高能計（HPCCloud）實的基礎(chǔ)，全面利互聯(lián)的理念維式技術(shù)平臺機制來營超算基礎(chǔ)施造備互聯(lián)理念征的新代高計算服環(huán)境實降低力用門檻提高源用效率構(gòu)建主件生態(tài)，培育科人才促進力泛用推跨界創(chuàng)新升超算環(huán)境務(wù)能目的。值得一提的是，本白皮書討論的超級計算，是相對廣義的概念，涉及超級計算、高性能計算、智能超算等，包括硬件、軟件、算法、應(yīng)用、產(chǎn)業(yè)生態(tài)環(huán)境。二、基本概念(一)概念特征圖2超算互聯(lián)網(wǎng)的重要特征（APteXaaSAPPXaaSAI平臺，讓HPCAI服務(wù)化：XaaS(二)目標愿景圖3超算互聯(lián)網(wǎng)支持多方生態(tài)協(xié)作最終用戶超算中心軟件開發(fā)者超算研發(fā)機構(gòu)高校與科研機構(gòu)第三方服務(wù)商地方政府(三)關(guān)鍵能力圖4超算互聯(lián)網(wǎng)應(yīng)具備的關(guān)鍵能力強大的基礎(chǔ)資源服務(wù)能力豐富的應(yīng)用場景支撐能力支持HPCPPte自主生態(tài)體系支撐能力的基礎(chǔ)軟件、工具軟件和開發(fā)環(huán)境，具備豐富應(yīng)用軟件資源；高水平人才隊伍保障能力可持續(xù)循環(huán)發(fā)展能力通過提供優(yōu)質(zhì)服務(wù)、技術(shù)轉(zhuǎn)化和產(chǎn)業(yè)投資等方式獲取經(jīng)濟效益。(四)參考模型本白皮書提出超算互聯(lián)網(wǎng)的參考架構(gòu)模型（如圖5，包括資源圖5超算互聯(lián)網(wǎng)參考模型/數(shù)據(jù)/工具集管理、用戶管理、交易管理和商城管理等功能。應(yīng)用層：安全，形成統(tǒng)一的標準與規(guī)范，并貫通各層。(五)概念演進圖6從超算網(wǎng)格到超算互聯(lián)網(wǎng)的演進關(guān)系（Computing（PowerTeraGridCNGrid超算網(wǎng)格在屏蔽不同超算中心差異，實現(xiàn)統(tǒng)一作業(yè)調(diào)度等方面，高性能計算云（HPCCloud）的概念出現(xiàn)于本世紀初，肇始于亞3錢德沛,欒鐘治,劉軼.從網(wǎng)格到"東數(shù)西算":構(gòu)建國家算力基礎(chǔ)設(shè)施[J].北京航空航天大學學報,2022,48(9):14.超算互聯(lián)網(wǎng)白皮書超算互聯(lián)網(wǎng)白皮書PAGEPAGE15HPC4。4超級計算創(chuàng)新聯(lián)盟.高性能計算云（HPCCloud）白皮書，2021.9三、發(fā)展現(xiàn)狀(一)發(fā)達國家高度重視超算設(shè)施互聯(lián)共享美國相關(guān)情況AWSAzureESnet6、開放科學網(wǎng)格（OpenScienceGrid，OSG）等。1986NSFNSFNET6NSFNETNSF2001ri（11年被SE25年又資助（G（DOE）1986ESnet，ESnet6202210I（XDS（RC）（DAWS歐盟相關(guān)情況景實現(xiàn)。在超級計算領(lǐng)域，歐盟先后實施歐洲先進計算伙伴計劃REHinEoe術(shù)平臺（E4C、歐洲極限數(shù)據(jù)與計算項目(D)、“開放科學云”行動計劃（EC、歐洲高性能計算聯(lián)合體計劃（EoC）等，在網(wǎng)格計算方面，歐盟曾先后啟動歐洲網(wǎng)格（Eod、數(shù)據(jù)EoanaidEbngdsrE-scienceinEuropeEGEE、網(wǎng)格基礎(chǔ)設(shè)施（EuropeanGrid（EuroHPC20181020217（EuroHPC20276。錢德沛,欒鐘治,劉軼.從網(wǎng)格到"東數(shù)西算":構(gòu)建國家算力基礎(chǔ)設(shè)施[J].北京航空航天大學學報,2022,48(9):14.袁珩,張麗娟.“數(shù)字歐洲計劃”2021—2022年度工作要點.科技參考，2022，6圖7EuroHPC（2021-2027）發(fā)展策略框架EuroHPCJU20241EuroHPCJU9EJupiter。表1EuroHPCJU納管的超級計算機列表序號機器名稱持續(xù)性能petaflops峰值性能petaflops部署國1LUMI386539.13芬蘭2LEONARDO246.54313.9意大利3MARENOSTRUM5178.3311.95西班牙4MELUXINA12.8118.29盧森堡5KAROLINA9.5912.91捷克6DISCOVERER4.525.94保加利亞7VEGA6.9210.05斯洛文尼亞8DEUCALION7.2210葡萄牙9JUPITER1000N/A德國信息來源：EuroHPCJU官網(wǎng)日本相關(guān)情況802003SuperSINET（NEI）項目，研NAREGI設(shè)施網(wǎng)絡(luò)HPCI7。圖8日本高性能計算基礎(chǔ)設(shè)施(HPCI)分布HPCI網(wǎng)絡(luò)由日本信息科學與技術(shù)研究組織（RIST）負責運營管CIRE15錢德沛,欒鐘治,劉軼.從網(wǎng)格到"東數(shù)西算":構(gòu)建國家算力基礎(chǔ)設(shè)施[J].北京航空航天大學學報,2022,48(9):14.（gu。PI納管的計算資源類型異構(gòu)多樣，涵蓋通用x6CPUARMA64FXCPUGPUNEC網(wǎng)絡(luò)不僅幫助日本加速科學突破與技術(shù)(二)中國推動超算網(wǎng)格向超算互聯(lián)網(wǎng)升級20圖9中國超算基礎(chǔ)設(shè)施網(wǎng)絡(luò)化發(fā)展歷程超算網(wǎng)格2119992000520042006132015863國國家網(wǎng)格GdGid于2512818CNGridGOS和CNGridSuite，2022CNGrid22871PF700023CNGrid供高性能計算與數(shù)據(jù)處理服務(wù)，累計支持千余項科研項目。圖10“十三五”國家高性能計算環(huán)境8CNGird20超算服務(wù)化錢德沛.構(gòu)建支撐科技創(chuàng)新的新一代計算基礎(chǔ)設(shè)施[J].數(shù)據(jù)與計算發(fā)展前沿,2020,2(1):1-17SaaSRenderbus臺，可以為智能體訓練、智能仿真等場景提供基于國產(chǎn)中國科學院計算機網(wǎng)絡(luò)信息中心的生物醫(yī)藥應(yīng)用服務(wù)社區(qū)（iecr.rg0蓋生物信息、藥物靶標鑒定和藥物設(shè)計等領(lǐng)域，支持基因組分析、轉(zhuǎn)錄組分析、蛋白質(zhì)分析、藥物分子設(shè)計等應(yīng)用。上海超算中心的Xfinity工業(yè)高性能計算服務(wù)平臺()，于201042020434790國家超算天津中心的天河設(shè)計與仿真平臺（cae.th-aldn國家超算天津中心的高通量材料計算平臺（mathtc.nscc-tcn（mr.n2016PaaS+SaaS100Web超算互聯(lián)網(wǎng)20177CEO6201972023417202522單位。網(wǎng)生態(tài)建設(shè)、標準研制等方面，開展試驗與探索。2022500kmIB105100G作系統(tǒng)DCI（DataCenterInterconnection）201001中國移動和國家超算無錫中心聯(lián)合開展了按實際使用量付費的“數(shù)據(jù)快遞服務(wù)”試驗，通過彈性云專線+云專網(wǎng)，幫助用戶就近接4TBCERNET100GbpsIPv6（IVI）學與無錫超算IPv4-IPv6-IPv4、IPv6-IPv6202311100GRDMA損LT-RDMA設(shè)備數(shù)據(jù)傳輸速率達到85Gbps，是普通RDMA速率29GbpsTCP37Gbps2中國科學院計算機網(wǎng)絡(luò)信息中心持續(xù)優(yōu)化建設(shè)具有基礎(chǔ)設(shè)施形CNGrid2020正式上線全國一體化算力服務(wù)平臺（cunom，實現(xiàn)了對全國20202022（ChinaComputing（203000PFlops。國家超算濟南中心在濟南-青島間長距離IB1620231120201520182023息中心在運行CNGrid3項標準;中國信息通信研究院聯(lián)合北京航空航天大學、中國科學院計21四、技術(shù)架構(gòu)(一)總體參考架構(gòu)圖11超算互聯(lián)網(wǎng)總體參考架構(gòu)資源層基礎(chǔ)資源芯片多樣（CPU）AIFP32TF32FP16BF16INT8INT4x86IntelARMAIGPUASICFPGANPUNvidia的GPUDCU、華為昇騰、百度昆侖芯、阿里平頭哥、沐曦、天數(shù)體系異構(gòu)TOP50020116192023111869FrontierCPU+GPU/對于人工智能計算中心，異構(gòu)系統(tǒng)更加普遍，除了廣泛采用的CPU+GPUCPU+NvidiaGPU、CPUDCUCPU+深/CPU+GoogleTPUCPUCPU+高效存儲IO合IBRoCE同時，在超算互聯(lián)網(wǎng)、多云互聯(lián)的環(huán)境下，數(shù)據(jù)經(jīng)常要在不同算高速互連以CPU+GPUCPUGPUCPU與GPURoCE等RDMA200Gb/s400Gb/s，800Gb/sPUP、GMI與GPUPCIeNvidiaNVLinkIntelCXL現(xiàn)，比如通過在交換機上執(zhí)行reduce計算的在網(wǎng)計算(in-networkcomputing（如GPUATMSRv6SDN的信號傳輸延遲、更大的數(shù)據(jù)傳輸容量以及更高的可靠性水平。綠色低碳202311TOP500188388.92Frontier、Aurora2020222700320304000資源池化CPUNASSANSDN（資源池化應(yīng)滿足以下要求：可隔離VPC可計量可調(diào)度SlurmLSFPBSCPUGPUKubernetesOpenstack互聯(lián)網(wǎng)絡(luò)中心互聯(lián)網(wǎng)絡(luò)是指使用高速網(wǎng)絡(luò)連接多個算力中心，實現(xiàn)中心資高帶寬TB級甚至PB凸顯。低時延高安全平臺層//平臺層實現(xiàn)的主要功能包括：算力接入API資源管理算力調(diào)度用戶管理/實現(xiàn)多個算力中心的用戶賬號統(tǒng)一認證，用戶一次登錄后可使用多個中心的資源；交易管理商城管理商城管理包括應(yīng)用的封裝與發(fā)布、商戶的入駐與管理等,應(yīng)滿足如下要求：構(gòu)建應(yīng)用倉庫，支持商戶或開發(fā)者上傳封裝好的應(yīng)用，支持支持。服務(wù)層算力服務(wù)算環(huán)境；應(yīng)用服務(wù)支持Tar、CondaDocker模型服務(wù)數(shù)據(jù)服務(wù)社區(qū)服務(wù)應(yīng)用層在人工智能方面/LVI（IFrSee)，AI在科學計算方面N在工業(yè)仿真方面CAD)、計算機輔助工程(CAE)（CAM)等。在數(shù)據(jù)密集型計算方面，支持智慧城市之視頻數(shù)據(jù)處理，生命信本白皮書在第六章進一步分析闡述了超算互聯(lián)網(wǎng)的創(chuàng)新使用模式(二)關(guān)鍵技術(shù)問題資源的統(tǒng)一度量與動態(tài)感知按核時或卡時計，網(wǎng)絡(luò)按帶寬/流量計，應(yīng)用、模型等也有不同的計量方式。這對資源服務(wù)的高效性、計算的準確性帶來了巨大挑戰(zhàn)?？缬虍悩?gòu)算力的透明調(diào)度應(yīng)用的快速開發(fā)與高效匹配異構(gòu)編程的語言和接口，如Nvidia的CUDA、海光的DTK、申威的AthreadAMDROCm/HIPOpenCLOpenAccSYCL/高速互聯(lián)的新型網(wǎng)絡(luò)技術(shù)100GE400GE800GESDNSRv6/G-SRv6；利用IPv69劉韻潔,范赫男.確定性網(wǎng)絡(luò):從“盡力而為”到“確保所需”.網(wǎng)絡(luò)安全與數(shù)據(jù)治理,2023.2超算互聯(lián)網(wǎng)白皮書超算互聯(lián)網(wǎng)白皮書PAGEPAGE49大規(guī)模數(shù)據(jù)的遠距離高效傳輸251sms時延跨國家樞紐節(jié)點算力網(wǎng)將在示范區(qū)域內(nèi)初步實現(xiàn)，國家樞紐節(jié)點間網(wǎng)絡(luò)傳輸費用大幅降低10SCPRDMA超算互聯(lián)網(wǎng)環(huán)境的立體安全防護國家發(fā)展改革委等部門印發(fā)的《關(guān)于深入實施“東數(shù)西算”工程加快構(gòu)建全國一體化算力網(wǎng)的實施意見》(三)標準規(guī)范體系從頂層規(guī)劃超算互聯(lián)網(wǎng)及平臺的設(shè)計、開發(fā)、部署以及應(yīng)用。圖12超算互聯(lián)網(wǎng)標準體系參考。成本。服務(wù)評價：規(guī)范超算互聯(lián)網(wǎng)相關(guān)平臺的服務(wù)及其評價指標，五、運營管理13(一)運行機制探索應(yīng)用驅(qū)動多方共贏商業(yè)模式以用戶為中心，以解決用戶實際問題為出發(fā)點，促進超算中采用互聯(lián)網(wǎng)運營推廣模式，通過在線直播、電商引流、場景APP探索超算電商平臺應(yīng)用服務(wù)機制XaaS探索多維度多層面生態(tài)協(xié)作機制推動產(chǎn)學研協(xié)作，圍繞國家重大戰(zhàn)略需求和市場應(yīng)用需求開展聯(lián)合技術(shù)攻關(guān)，促進科研成果轉(zhuǎn)移轉(zhuǎn)化；(二)參考運營架構(gòu)XaaS

圖14超算互聯(lián)網(wǎng)運營商參考運營架構(gòu)構(gòu)建類電商應(yīng)用服務(wù)平臺，以互聯(lián)網(wǎng)思維開展平臺構(gòu)建、產(chǎn)品開發(fā)、用戶服務(wù)、運營推廣等相關(guān)工作，包括但不限于：產(chǎn)品：XaaS（aIaaSPaaSDaaSMaaSSaaS務(wù)等；行業(yè)應(yīng)用APP服務(wù)：領(lǐng)域化服務(wù)；支撐：數(shù)智化運維：標準化構(gòu)建超算互聯(lián)網(wǎng)全局資源管理與監(jiān)控系統(tǒng)，為資源提供方和使用方提供專業(yè)、統(tǒng)一、規(guī)范的運維保障服務(wù)；(三)超算互聯(lián)網(wǎng)聯(lián)合體20234172220241聯(lián)網(wǎng)聯(lián)合體成員單位數(shù)量已增至82家。圖15國家超算互聯(lián)網(wǎng)聯(lián)合體正式成立儀式超算互聯(lián)網(wǎng)聯(lián)合體以強化國內(nèi)高性能計算產(chǎn)業(yè)創(chuàng)新發(fā)展能力為六、應(yīng)用展望超算互聯(lián)網(wǎng)的應(yīng)用價值，更多體現(xiàn)在超算使用門檻的大幅降低，應(yīng)用軟件生態(tài)的自主自強，以及對眾多應(yīng)用場景的泛在支撐。(一)創(chuàng)新的使用模式更多元的算力服務(wù)模式PaaS、SaaSMaaSAPP更多樣的資源部署模式以根據(jù)自身業(yè)務(wù)需求選擇合適的資源部署模式，并可動態(tài)調(diào)整。更良性的算力中心競合模式更緊密的產(chǎn)業(yè)生態(tài)協(xié)作模式(二)豐富的應(yīng)用場景人工智能AIStableDiffusionDALL-E2和MidjourneySoraGPT-33640PetaFlop/s-day（aAIForScienceAIFor20233ForScience自動駕駛TeslaL2FSD500PetaFlops/day智慧城市5G3030-100萬13（MAR/VRAI社會計算AI譯、OCR識別等自動化分析處理，需要大量的計算資源?？茖W計算10100-1000計算流體力學(CFD)通過數(shù)值求解各種流體動力學控制方程，達CFDNASACFDRANS到ELES(LargeEddySimulationZ12。徐傳福,車永剛,李大力,等.天河超級計算機上超大規(guī)模高精度計算流體力學并行計算研究進展[J].計算機工程與科學,2020,42(10高性能專刊):1815-1826.龔春葉,包為民,湯國建,等.航天領(lǐng)域高性能并行計算研究進展[J].J4,2014,36(09):1629-1636.粒子輸運理論是研究微觀粒子在介質(zhì)中遷移統(tǒng)計規(guī)律的數(shù)學理50-80%。710171021EZ密碼分析賴于密碼長度96N12ERSARSA-768(232位十進制數(shù))分解約消耗17521024RSARSA2048的計算量將超過Y13。新藥研發(fā)新藥研發(fā)面臨成本高、周期長、失敗風險大等問題。在美國，一李翊誰,穆雨桐,遲利華,等.數(shù)域篩法研究綜述.計算機應(yīng)用,2018,38(S1):104-107超算互聯(lián)網(wǎng)白皮書超算互聯(lián)網(wǎng)白皮書68681010—1714。使對藥-靶結(jié)合體系進行評估，為新藥發(fā)現(xiàn)提供重要依據(jù)；采用人工智借助強大的計算能力和先進的數(shù)據(jù)挖掘算法，新材料研發(fā)已由“經(jīng)驗+試錯”模式向計算驅(qū)動模式轉(zhuǎn)變。通過采用不同時間尺度和2-3金鐘,陸忠華,李會元等.高性能計算之源起——科學計算的應(yīng)用現(xiàn)狀及發(fā)展思考.中國科學院院刊，2019.6超算互聯(lián)網(wǎng)白皮書超算互聯(lián)網(wǎng)白皮書PAGEPAGE69核心的N9次獲得“戈登N500（FAST）15。DNA類腦模擬10101014K1.51×109個神經(jīng)元和1.68×1012個突10%16金鐘,陸忠華,李會元等.高性能計算之源起——科學計算的應(yīng)用現(xiàn)狀及發(fā)展思考.中國科學院院刊，2019.6馮圣中,李根國,栗學磊等.新興高性能計算行業(yè)應(yīng)用及發(fā)展戰(zhàn)略.中國科學院院刊，2019.6工程計算工業(yè)仿真（V3石油勘探隨著三維地震勘探等新技術(shù)的應(yīng)用推廣，物探行業(yè)正邁入高精度1050Kirchhoff104次到108次級別。超算互聯(lián)網(wǎng)通過實現(xiàn)跨區(qū)域、跨超算中心的算力調(diào)度和數(shù)字孿生P/（DigitalTwin）17。17安世亞太科技股份有限公司.數(shù)字孿生體技術(shù)白皮書,2019.12元宇宙1000AR/VR4k8k