超級(jí)計(jì)算機(jī)現(xiàn)狀和我國(guó)發(fā)展規(guī)劃

1、2021/3/261 n超級(jí)計(jì)算超級(jí)計(jì)算機(jī)機(jī)現(xiàn)狀現(xiàn)狀和我國(guó)發(fā)展規(guī)劃和我國(guó)發(fā)展規(guī)劃 2021/3/262 匯報(bào)內(nèi)容匯報(bào)內(nèi)容 Outline n 超級(jí)計(jì)算超級(jí)計(jì)算機(jī)機(jī)現(xiàn)狀現(xiàn)狀和我國(guó)發(fā)展規(guī)劃和我國(guó)發(fā)展規(guī)劃 n 國(guó)家超算天津中心及天河一號(hào)介紹國(guó)家超算天津中心及天河一號(hào)介紹 n 未來(lái)國(guó)家超算天津中心重點(diǎn)研發(fā)方向與資源未來(lái)國(guó)家超算天津中心重點(diǎn)研發(fā)方向與資源 更新規(guī)劃更新規(guī)劃 2021/3/263 超級(jí)計(jì)算機(jī)現(xiàn)狀和超級(jí)計(jì)算機(jī)現(xiàn)狀和國(guó)內(nèi)國(guó)內(nèi)發(fā)展規(guī)劃發(fā)展規(guī)劃 HPC development strategy and situation 第一部分 2021/3/264 日本地球模擬器日本地球模擬器 2002年，年

2、，40Tflops IBM BlueGene/L 2005年，年，367Tflops 2007年，年，596Tflops IBM BlueGene/L 2005年，年，367Tflops 2007年，年，596Tflops Cray-YMP 1988年，年，2.3Gflops Cray-1 1976 160Mflops IBM紅色選擇紅色選擇 1999年，年，3萬(wàn)億次萬(wàn)億次 Cray T3E-1200 1998年年1Tflops 19831992 CrayT3D 1993, 19Gflops 走鵑走鵑,2008年年, 1千萬(wàn)億次千萬(wàn)億次 天河二號(hào)天河二號(hào) 2013年年,5.5萬(wàn)萬(wàn)億次萬(wàn)萬(wàn)億次

3、2013年天河二號(hào)年天河二號(hào)5.49萬(wàn)萬(wàn)億次萬(wàn)萬(wàn)億次 從1.6億次到5.49萬(wàn)萬(wàn)億次; 38年性能提高了340000000倍 39年前第一臺(tái)商用巨型機(jī)問(wèn)世年前第一臺(tái)商用巨型機(jī)問(wèn)世 1997 超級(jí)計(jì)算機(jī)現(xiàn)狀和發(fā)展規(guī)劃超級(jí)計(jì)算機(jī)現(xiàn)狀和發(fā)展規(guī)劃 TH-1A,2010年年, 4.7PFlops 2021/3/265 超級(jí)計(jì)算機(jī)現(xiàn)狀和發(fā)展規(guī)劃超級(jí)計(jì)算機(jī)現(xiàn)狀和發(fā)展規(guī)劃 n提高超級(jí)計(jì)算機(jī)性能的三駕馬車(chē) 主頻、指令級(jí)并行、并行度 n并行度 足夠?qū)挘〝?shù)萬(wàn)結(jié)點(diǎn)） 足夠深（核間、異構(gòu)、SIMD、指令級(jí)） 2021/3/266 n超級(jí)計(jì)算機(jī)是國(guó)家綜合科技創(chuàng)新能力的基礎(chǔ)支撐,全球各大國(guó) 家均大力發(fā)展超級(jí)計(jì)算機(jī) n中國(guó)近

4、幾年在大力發(fā)展超級(jí)計(jì)算機(jī) 超級(jí)計(jì)算機(jī)現(xiàn)狀和發(fā)展規(guī)劃超級(jí)計(jì)算機(jī)現(xiàn)狀和發(fā)展規(guī)劃 2021/3/267 天河超級(jí)計(jì)算機(jī)發(fā)展天河超級(jí)計(jì)算機(jī)發(fā)展 Development history of Tianhe supercomputer 1978年,由小平批準(zhǔn),國(guó)防科大開(kāi)始研制“銀河-1” 從此,開(kāi)始了中國(guó)研制超級(jí)計(jì)算機(jī)的艱難和輝煌的歷程 Approved by Xiao-ping DENG, the NUDT started to develop the “Milky Way -1”. From then on, began a difficult and glorious history of Chin

5、ese Supercomputer research. 銀河銀河-1-1 100Mflops,1983100Mflops,1983 銀河銀河-2-2 1Gflops,19901Gflops,1990 銀河銀河-3-3 10Gflops,199710Gflops,1997 天河一號(hào)天河一號(hào) 4.7Pflops,2014.7Pflops,201 0 0 天河二號(hào)天河二號(hào) 55Pflops,201355Pflops,2013 2021/3/268 n高性能計(jì)算機(jī)高性能計(jì)算機(jī) Supercomputer R ; 400400臺(tái)以上服務(wù)器的通用云計(jì)算系統(tǒng)臺(tái)以上服務(wù)器的通用云計(jì)算系統(tǒng); ; 容量超過(guò)容量超

6、過(guò)10PB10PB的海量存儲(chǔ)系統(tǒng)的海量存儲(chǔ)系統(tǒng); ; 多領(lǐng)域行業(yè)軟件；多領(lǐng)域行業(yè)軟件； 完善的網(wǎng)絡(luò)基礎(chǔ)設(shè)施；完善的網(wǎng)絡(luò)基礎(chǔ)設(shè)施； 完善的機(jī)房、供電、制冷等基礎(chǔ)設(shè)施。完善的機(jī)房、供電、制冷等基礎(chǔ)設(shè)施。 主要業(yè)務(wù)為高性能計(jì)算主要業(yè)務(wù)為高性能計(jì)算、云計(jì)算云計(jì)算和大數(shù)和大數(shù) 據(jù)據(jù)服務(wù)服務(wù), ,目前服務(wù)的目前服務(wù)的政府、企業(yè)及科研院政府、企業(yè)及科研院 所所用戶(hù)數(shù)已達(dá)用戶(hù)數(shù)已達(dá)600600余余家家 NSCC-TJ 2021/3/2611 國(guó)家發(fā)改委國(guó)家發(fā)改委“大數(shù)據(jù)技術(shù)與應(yīng)用大數(shù)據(jù)技術(shù)與應(yīng)用”國(guó)家國(guó)家 地方聯(lián)合工程實(shí)驗(yàn)室地方聯(lián)合工程實(shí)驗(yàn)室 國(guó)家工信部工業(yè)云試點(diǎn)單位國(guó)家工信部工業(yè)云試點(diǎn)單位 國(guó)家科技部示范型

7、國(guó)際合作基地國(guó)家科技部示范型國(guó)際合作基地 博士后科研工作站博士后科研工作站 與多家企業(yè)和研究機(jī)構(gòu)建立的聯(lián)合實(shí)驗(yàn)與多家企業(yè)和研究機(jī)構(gòu)建立的聯(lián)合實(shí)驗(yàn) 室室 NSCC-TJ 2021/3/2612 計(jì)算機(jī)技術(shù)創(chuàng)新計(jì)算機(jī)技術(shù)創(chuàng)新 廣泛的應(yīng)用成效廣泛的應(yīng)用成效 天河一號(hào)天河一號(hào) 2021/3/2613 國(guó)際學(xué)術(shù)界的評(píng)價(jià)國(guó)際學(xué)術(shù)界的評(píng)價(jià) Remark from international academia n CPU+GPU異構(gòu)融合體系結(jié)構(gòu)異構(gòu)融合體系結(jié)構(gòu) CPU+GPU heterogeneous architecture n 64位多核多線程自主飛騰位多核多線程自主飛騰 1000 CPU 64 bit

8、s Multi-core and Multi-thread CPU n 自主高速互連通信技術(shù)自主高速互連通信技術(shù) Self-developed High-speed interconnect communication technology “天河一號(hào)天河一號(hào)”的運(yùn)算速度比橡樹(shù)的運(yùn)算速度比橡樹(shù) 嶺國(guó)家實(shí)驗(yàn)室的要快大約嶺國(guó)家實(shí)驗(yàn)室的要快大約40%，這，這 是運(yùn)算速率的極大提升。是運(yùn)算速率的極大提升。 中國(guó)同時(shí)中國(guó)同時(shí) 研制了一種互聯(lián)技術(shù)，讓這些處理研制了一種互聯(lián)技術(shù)，讓這些處理 器相互聯(lián)系，器相互聯(lián)系，這不是美國(guó)的技術(shù)，這不是美國(guó)的技術(shù)， 而是中國(guó)自己的技術(shù)。這是一個(gè)創(chuàng)而是中國(guó)自己的技術(shù)。這是一

9、個(gè)創(chuàng) 舉。舉。 The technology belongs to China, not U.S., its a pioneering work - - 美國(guó)田納西大學(xué)教授杰克美國(guó)田納西大學(xué)教授杰克唐加拉唐加拉 Prof. Jack Dongarra, Tennessee University 中國(guó)的中國(guó)的“天河一號(hào)天河一號(hào)”采取采取 的的CPU與與GPU融合的結(jié)構(gòu)，融合的結(jié)構(gòu)， 代表了未來(lái)超級(jí)計(jì)算機(jī)的發(fā)代表了未來(lái)超級(jí)計(jì)算機(jī)的發(fā) 展趨勢(shì)。隨著計(jì)算機(jī)規(guī)模的展趨勢(shì)。隨著計(jì)算機(jī)規(guī)模的 不斷拓展，不斷拓展，這種結(jié)構(gòu)雖然不這種結(jié)構(gòu)雖然不 是唯一的解決方法，但目前是唯一的解決方法，但目前 看來(lái)是最好的?？?/p>

10、來(lái)是最好的。 The architecture is not the only solution, but the best so far - 美國(guó)斯坦福大學(xué)計(jì)算機(jī)系主任比爾美國(guó)斯坦福大學(xué)計(jì)算機(jī)系主任比爾戴利戴利 Billy Daley, Computer Science College, Stanford University 三大技術(shù)創(chuàng)新三大技術(shù)創(chuàng)新 Three technical innovations 2021/3/2614 n石油勘探石油勘探 Oil Exploration n生物醫(yī)藥生物醫(yī)藥 Biological medicine n航空航天航空航天 Aero and Space

11、craft design n可控核聚變可控核聚變 Nuclear fusion n氣象預(yù)報(bào)氣象預(yù)報(bào) Weather forecast 高性能計(jì)算的主要應(yīng)用領(lǐng)域高性能計(jì)算的主要應(yīng)用領(lǐng)域 The main application area of HPC n動(dòng)漫設(shè)計(jì)動(dòng)漫設(shè)計(jì) Animation Design n高端裝備制造高端裝備制造 The high-end equipment manufacturing n土木建筑設(shè)計(jì)分析土木建筑設(shè)計(jì)分析 BIM n金融工程金融工程 Financial Engineering n基礎(chǔ)科學(xué)研究等基礎(chǔ)科學(xué)研究等 Research on Basic sciences

12、超級(jí)計(jì)算的重要作用超級(jí)計(jì)算的重要作用: :提升國(guó)家創(chuàng)新能力提升國(guó)家創(chuàng)新能力, ,加速戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展加速戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展 I Improve the national innovation ability and accelerate the development of strategic emerging industries in China 2021/3/2615 n業(yè)內(nèi)專(zhuān)家和用戶(hù)的評(píng)價(jià)業(yè)內(nèi)專(zhuān)家和用戶(hù)的評(píng)價(jià) 綜合服務(wù)能力最強(qiáng)綜合服務(wù)能力最強(qiáng), ,系統(tǒng)最穩(wěn)定系統(tǒng)最穩(wěn)定, ,服務(wù)質(zhì)量最好服務(wù)質(zhì)量最好 n計(jì)算服務(wù)應(yīng)用計(jì)時(shí)計(jì)算服務(wù)應(yīng)用計(jì)時(shí):140:140萬(wàn)機(jī)時(shí)萬(wàn)機(jī)時(shí)/ /天天 n每天運(yùn)行任

13、務(wù)數(shù)每天運(yùn)行任務(wù)數(shù):1000:1000 n存儲(chǔ)數(shù)據(jù)規(guī)模存儲(chǔ)數(shù)據(jù)規(guī)模:4.5PB:4.5PB n服務(wù)至今已服務(wù)至今已4 4年（年（2010.122010.122015.32015.3） 20142014年年1010月月1111日日3131日的作業(yè)運(yùn)行狀況日的作業(yè)運(yùn)行狀況 天津超算中心運(yùn)營(yíng)情況天津超算中心運(yùn)營(yíng)情況 2021/3/2616 天津超算中心運(yùn)營(yíng)情況天津超算中心運(yùn)營(yíng)情況 n“天河一號(hào)天河一號(hào)”系統(tǒng)穩(wěn)定運(yùn)行服務(wù)系統(tǒng)穩(wěn)定運(yùn)行服務(wù), ,支支 撐國(guó)家重大科研項(xiàng)目超過(guò)撐國(guó)家重大科研項(xiàng)目超過(guò)800800項(xiàng)項(xiàng) 國(guó)家自然科學(xué)基金項(xiàng)目超過(guò)國(guó)家自然科學(xué)基金項(xiàng)目超過(guò)600600項(xiàng)項(xiàng) 863863和和973973

14、項(xiàng)目超過(guò)項(xiàng)目超過(guò)100100項(xiàng)項(xiàng) 其他重大項(xiàng)目（工信部、發(fā)改委、中石其他重大項(xiàng)目（工信部、發(fā)改委、中石 油、中海油等）超過(guò)油、中海油等）超過(guò)4040項(xiàng)項(xiàng) 國(guó)際和地區(qū)項(xiàng)目超過(guò)國(guó)際和地區(qū)項(xiàng)目超過(guò)1010項(xiàng)項(xiàng) n服務(wù)全國(guó)大部分省份（包含香港地服務(wù)全國(guó)大部分省份（包含香港地 區(qū)）區(qū)）,2014,2014年服務(wù)用戶(hù)已經(jīng)超過(guò)年服務(wù)用戶(hù)已經(jīng)超過(guò)600600 余家余家 2021/3/2617 聚變領(lǐng)域研究合作聚變領(lǐng)域研究合作 n合作單位合作單位: :北京大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、浙江大學(xué)、北京大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)、浙江大學(xué)、nvidianvidia n托卡馬克托卡馬克“回旋環(huán)形等離子體代碼回旋環(huán)形等離子體代碼

15、”GTCGTC程序的程序的GPUGPU開(kāi)發(fā)與優(yōu)化開(kāi)發(fā)與優(yōu)化 n模擬規(guī)模模擬規(guī)模:50,000:50,000 cores,cores,每秒模擬的電子數(shù)達(dá)每秒模擬的電子數(shù)達(dá)300300多億多億 2021/3/2618 聚變技術(shù)開(kāi)發(fā)及相關(guān)合作聚變技術(shù)開(kāi)發(fā)及相關(guān)合作 GTCGTC程序移植到程序移植到“天河一號(hào)天河一號(hào)” 程序部署程序部署 熱點(diǎn)分析熱點(diǎn)分析 Pushe: Pushe: 獲得網(wǎng)格點(diǎn)上的場(chǎng)獲得網(wǎng)格點(diǎn)上的場(chǎng) 數(shù)據(jù)數(shù)據(jù), ,根據(jù)作用力更新電子根據(jù)作用力更新電子 的位置的位置 Shifte: Shifte: 高度串行化計(jì)算高度串行化計(jì)算 MPIMPI操作操作 2021/3/2619 聚變技術(shù)開(kāi)發(fā)及

16、相關(guān)合作聚變技術(shù)開(kāi)發(fā)及相關(guān)合作 存儲(chǔ)器訪問(wèn)優(yōu)化（針對(duì)存儲(chǔ)器訪問(wèn)優(yōu)化（針對(duì)pushepushe） 針對(duì)三維訪問(wèn)數(shù)組進(jìn)行紋理綁定針對(duì)三維訪問(wèn)數(shù)組進(jìn)行紋理綁定 合并數(shù)組增加緩存命中率合并數(shù)組增加緩存命中率 CPU-GPUCPU-GPU數(shù)據(jù)傳遞優(yōu)化（針對(duì)數(shù)據(jù)傳遞優(yōu)化（針對(duì)pushepushe） 臨時(shí)數(shù)組直接在臨時(shí)數(shù)組直接在GPUGPU中分配中分配 使用使用GPUGPU的寄存器來(lái)存放部分?jǐn)?shù)組的寄存器來(lái)存放部分?jǐn)?shù)組 不變數(shù)組只在第一調(diào)用不變數(shù)組只在第一調(diào)用kernelkernel時(shí)傳遞到時(shí)傳遞到GPUGPU 算法優(yōu)化（針對(duì)算法優(yōu)化（針對(duì)shifteshifte） 分級(jí)并行緊致化分級(jí)并行緊致化: :通過(guò)分級(jí)

17、通過(guò)分級(jí)scanscan方法方法 并發(fā)執(zhí)行并發(fā)執(zhí)行 串行代碼與串行代碼與kernelkernel并發(fā)執(zhí)行并發(fā)執(zhí)行 在在GPUGPU內(nèi)部使用多流內(nèi)部使用多流, ,使使kernelkernel間并發(fā)執(zhí)行間并發(fā)執(zhí)行 Improve performance about 20% Improve performance about 20%; Cache hit rate from 8% to 35%; Total 3x kernel performance speedup SHIFTE gets 1.8x speedup CPU-GPU transfer time reduced to 12% of pu

18、she kernel time. PUSHE gets 7x speedup 2021/3/2620 聚變技術(shù)開(kāi)發(fā)及相關(guān)合作聚變技術(shù)開(kāi)發(fā)及相關(guān)合作 512 CPU%512 GPU%speedup total time 157.79100%62.22100%2.5 field0.640.41%0.701.13% iron16.3010.33%16.1725.99% shifte31.7020.09%17.4828.10%1.8 pushe94.2559.73%12.6320.30%7.5 possion4.903.11%4.937.92% electron other 10.006.33%10.

19、3116.56% Pro the CPU and GPU version for 512 MPI processes/6 openMP threads run 2021/3/2621 聚變技術(shù)開(kāi)發(fā)及相關(guān)合作聚變技術(shù)開(kāi)發(fā)及相關(guān)合作 Weak Scaling Test 2021/3/2622 聚變技術(shù)開(kāi)發(fā)及相關(guān)合作聚變技術(shù)開(kāi)發(fā)及相關(guān)合作 n合作單位合作單位: :中科院等離子體所中科院等離子體所 n邊界湍流模擬程序邊界湍流模擬程序BOUT+BOUT+在天河上的擴(kuò)展性測(cè)試及分析在天河上的擴(kuò)展性測(cè)試及分析: :將將BOUT+BOUT+ 成功部署到天河系統(tǒng)成功部署到天河系統(tǒng), ,并進(jìn)行多組擴(kuò)展性測(cè)試。并進(jìn)

20、行多組擴(kuò)展性測(cè)試。 n與美國(guó)國(guó)家能源研究科學(xué)計(jì)算中心與美國(guó)國(guó)家能源研究科學(xué)計(jì)算中心NERSCNERSC的的EdisonEdison系統(tǒng)進(jìn)行測(cè)試比較系統(tǒng)進(jìn)行測(cè)試比較 2021/3/2623 聚變技術(shù)開(kāi)發(fā)及相關(guān)合作聚變技術(shù)開(kāi)發(fā)及相關(guān)合作 測(cè)試環(huán)境對(duì)比測(cè)試環(huán)境對(duì)比: : n計(jì)算結(jié)點(diǎn)計(jì)算結(jié)點(diǎn): : NERSC-Edison: 2NERSC-Edison: 2個(gè)個(gè)1212核核Intel Ivy BridgeIntel Ivy Bridge處理器處理器,2.4GHz,2.4GHz 天河一號(hào)天河一號(hào):2:2個(gè)個(gè)6 6核核Intel NehalemIntel Nehalem處理器處理器,2.93GHz,2.9

21、3GHz n互聯(lián)：互聯(lián)： NERSC-Edison: Cray Aries with Dragonfly topology with 23.7 TB/s NERSC-Edison: Cray Aries with Dragonfly topology with 23.7 TB/s global bandwidthglobal bandwidth 天河一號(hào)：自主高速互聯(lián)天河一號(hào)：自主高速互聯(lián) nMPIMPI實(shí)現(xiàn)：實(shí)現(xiàn)： NERSC-Edison: NERSC-Edison: 基于基于GCC 4.9.1(Cray Inc.)GCC 4.9.1(Cray Inc.)、Cray-mpich/7.0.3

22、Cray-mpich/7.0.3 天河一號(hào)：天河一號(hào)：基于基于GCC 4.4.7GCC 4.4.7編譯器、編譯器、openmpiopenmpi編譯生成的編譯生成的mpimpi 2021/3/2624 聚變技術(shù)開(kāi)發(fā)及相關(guān)合作聚變技術(shù)開(kāi)發(fā)及相關(guān)合作 n在在EdisonEdison和天河一號(hào)上的測(cè)試對(duì)比和天河一號(hào)上的測(cè)試對(duì)比 1. Tianhe-openmpi下,CALC可以保持較好的scaling,solver的scaling最差。 2. 當(dāng)進(jìn)程數(shù)大于128時(shí),在天河上使用openmpi編譯的bout表現(xiàn)出較差的scaling，原 因?yàn)閟olver模塊中的PVODE求解器的耗時(shí)隨著進(jìn)程數(shù)的增加反而

23、增加。 3. 目前正在針對(duì)solver模塊進(jìn)一步分析導(dǎo)致耗時(shí)異常的代碼段。 2021/3/2625 未來(lái)國(guó)家超算天津中心重點(diǎn)研發(fā)方向與資源未來(lái)國(guó)家超算天津中心重點(diǎn)研發(fā)方向與資源 更新規(guī)劃更新規(guī)劃 第三部分 2021/3/2626 2007年,圖靈獎(jiǎng)獲得者Jim Gray在美國(guó)國(guó)家研究理事會(huì)計(jì)算 機(jī)科學(xué)和遠(yuǎn)程通訊委員會(huì)（NRC-CSTB）的演講報(bào)告中提出了 科學(xué)研究“第四范式” n 第一范式:實(shí)驗(yàn)科學(xué)研究范式 描述自然現(xiàn)象,主要以觀察和實(shí)驗(yàn)為依據(jù)的研究 n 第二范式:理論科學(xué)研究范式 主要以建模和歸納為基礎(chǔ)的理論推導(dǎo)與分析研究 n 第三范式:計(jì)算科學(xué)研究范式 主要以模擬仿真復(fù)雜現(xiàn)象為基礎(chǔ)的計(jì)算科學(xué)研究 n 第四范式：數(shù)據(jù)科學(xué)研究范式 以數(shù)據(jù)考察為基礎(chǔ),聯(lián)合理論、實(shí)驗(yàn)和模擬一體 的數(shù)據(jù)密集計(jì)算處理研究 高性能計(jì)算、大數(shù)據(jù)和云計(jì)算融合技術(shù) Fusion Tech. of Big Data and HPC, CC at NSCC-TJ 2021/3/2627 天津超算中心運(yùn)營(yíng)情況天津超算中心運(yùn)營(yíng)情況 2021/3/2628 高性能計(jì)算、大數(shù)據(jù)和云計(jì)算融合技術(shù) Fusion Tech. of Big Data and HPC, CC at NSCC-TJ 大數(shù)據(jù)硬件技術(shù)與環(huán)境建設(shè)的核心為數(shù)據(jù)分析和數(shù)據(jù)挖掘, 通過(guò)云計(jì)算虛擬與集成技