《高性能計算 分布式存儲文件性能測試方法》規(guī)范要求

本文件描述了高性能計算分布式存儲文件性能測試方法，包括分布式存儲元數(shù)據(jù)性能、數(shù)據(jù)一致本文件適用于HPC應(yīng)用中分布式存儲文件的IO性能及集群擴容能力的測試下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適GB/T37737-2019信息技術(shù)云計算分布式塊存塊存儲系統(tǒng)中物理空間的邏輯分區(qū)，為虛擬機（VM）或物理機提供裸設(shè)備方式進行數(shù)據(jù)存取。ⅢCPU：中央處理器（CentralProcesHPC：高性能計算/超算（HighPerformanceCompIOPS：每秒的輸入輸出量（Input/Output4.1概述e）針對小文件（如大小8K）測試IOPS性能,為了f）針對分布式存儲節(jié)點的可擴展性測試線性擴容性能模擬大量用戶同時訪問元數(shù)據(jù)節(jié)點的情況，測試的文件基線為過億性在分布式文件系統(tǒng)中創(chuàng)建共享目錄，由壓力機進行多線程測試模擬高性能計算中多線程高并發(fā)情況下分布式文件系統(tǒng)如何保持讀寫數(shù)生成適合高性能計算場景的測試數(shù)據(jù),設(shè)計測試用例來模擬大文件測試高性能計算場景下要求在一個節(jié)點上，創(chuàng)建一個客戶端，創(chuàng)建測試用例，測試單個計算節(jié)點和單個客戶端的帶寬性能。測試這種場景下的最大帶寬性測試高性能計算下小文件的生成適合高性能計算場景的測試數(shù)據(jù)，多個計算節(jié)點和存儲節(jié)存儲集群近線性評估分布式存儲集群在不同設(shè)置初始節(jié)點數(shù)量，并配置分布式存儲集群，確保集群正常運行并滿足測試需求。逐步增加節(jié)點數(shù)量，按照一定的規(guī)律或步長進測試HPC應(yīng)用中分布式存儲集群的可靠性能力，即硬盤的故障、節(jié)點的故障和網(wǎng)絡(luò)故障等情況下存儲集群的可考慮實際的故障情況，如硬盤故障、節(jié)點故障和網(wǎng)絡(luò)故障等。設(shè)計測試場景來模擬這些故障情況，系統(tǒng)的數(shù)據(jù)重構(gòu)時間測試，且a）高性能計算分布式文件性能測試只針對文件系統(tǒng)做性能測試，測試的系統(tǒng)應(yīng)滿足T/CESAⅢb）存儲設(shè)備集群的節(jié)點數(shù)為3個節(jié)點起步，數(shù)據(jù)保護采用多副本或糾刪碼模式;12345b）應(yīng)按照測試步驟測試驗證，進行操作截圖（形成完整的測試邏輯鏈），并輔以必要的文字說61測試高性能計算分布式存儲文件系統(tǒng)高并發(fā)2345），6123b）對若干個1GB（預(yù)埋數(shù)據(jù)，文件類型）文件（文件總?cè)萘砍^存儲節(jié)點所有內(nèi)存之和的45a）環(huán)境配置應(yīng)包括規(guī)格及詳細配置、編譯器類型及版本、CPU型號、內(nèi)存頻率、操作系統(tǒng)版6Ⅲ123在測試計算節(jié)點機啟動一個客戶端，部署測試工具，設(shè)置負載參數(shù)，對掛載共享目錄進行45a）環(huán)境配置應(yīng)包括規(guī)格及詳細配置、編譯器類型及版本、CPU型號、內(nèi)存頻率、操作系統(tǒng)版b）應(yīng)按照測試步驟測試驗證，進行操作截圖（形成完整的測試邏輯鏈并輔以必要的文字說612345a）環(huán)境配置應(yīng)包括規(guī)格及詳細配置、編譯器類型及版本、CPU型號、內(nèi)存頻率、操作系統(tǒng)版b）應(yīng)按照測試步驟測試驗證，進行操作截圖（形成完整的測試邏輯鏈并輔以必要的文字說61123a）上架一臺即將加入存儲集群的存儲物理節(jié)點，其物理狀態(tài)及相應(yīng)的IP地址可正常加入原集45a）環(huán)境配置應(yīng)包括規(guī)格及詳細配置、編譯器類型及版本、CPU型號、內(nèi)存頻率、操作系統(tǒng)版本、b）應(yīng)按照測試步驟測試驗證，進行操作截圖（形成完整的測試邏輯鏈），并輔以必要的文字說6無123b）節(jié)點故障測試：模擬節(jié)點故障場景，例如模擬節(jié)點宕機或斷電。可以通過停止節(jié)點的運行或模c）網(wǎng)絡(luò)故障測試：模擬網(wǎng)絡(luò)故障場景，模擬網(wǎng)絡(luò)中斷或高延遲?？梢酝ㄟ^斷開網(wǎng)絡(luò)連接或配置網(wǎng)絡(luò)模擬工具來模擬網(wǎng)絡(luò)故障，觀察集群的容錯和恢復(fù)能力。記錄集群的恢復(fù)時間和數(shù)據(jù)完整性等45a）環(huán)境配置應(yīng)包括規(guī)格及詳細配置、編譯器類型及版本、CPU型號、內(nèi)存頻率、操作系統(tǒng)版本、b）應(yīng)按照測試步驟測試驗證，進行操作截圖（形成完整的測試邏輯鏈），并輔以必要的文字說6無Ⅲ在進行高性能計算分布式存儲文件性能測試的時候，建議的測Laboratory)開發(fā)的一種基準測試程序，是IOR是一個用于評估并行計算機系統(tǒng)I/O性能的基準測試工具。它是由美國橡樹嶺國家實驗室（OakRidgeNationalLaboratorVDbench是一款由SunMicrosystems（現(xiàn)為Oracle公司）開發(fā)的通用存儲性能測試工具。VDbench提供了一個模擬環(huán)境，可以在不同的工作負載模式下測試存儲系統(tǒng)的讀寫性能、延遲、吞吐量和其他關(guān)鍵性能指標。VDbench支持多種工作負載模式，包括基本的順序訪問、隨機訪問以及混合模式，可以配置多個客戶端并發(fā)執(zhí)行測試，模擬大規(guī)模1HOSTFILE="./hostfile_lHOSTFILE="./hostfile_lⅢbtl_tcp_if_includeeno2(網(wǎng)卡)--allow-run-as-rootpythonmpi_nto1_fileio.py-b8k(塊大小)-n100(塊數(shù)目)-d/mnt/test/(測試目錄)-f1(測試文件的個數(shù))-l1count=$((FILE_SIZE/$#設(shè)置預(yù)熱時間，客戶端緩存/存儲端緩存，時間拉長內(nèi)CACHE_POLICY=""#客戶端和存儲端緩存策略，根據(jù)具體echo"開始預(yù)熱..."echo"開始順序?qū)憸y試..."write_bandwidth.log2>&1Ⅲecho"順序?qū)憸y試完成，結(jié)果保存在write_echo"開始順序讀測試..."echo"順序讀測試完成，結(jié)果保存在r1在測試計算節(jié)點機啟一個客戶端，部署測試工具，設(shè)置負載參數(shù)echo"開始單流順序?qū)憸y試..."echo"單流順序?qū)憸y試完成，結(jié)果保存echo"開始單流順序讀測試..."echo"單流順序讀測試完成，結(jié)果保Ⅲhd=default,vdbench=/path/to/vdbench,shell=ssh,user=your_ushd=h1,system=192.168hd=h2,system=192.168hd=h3,system=192.168hd=h4,system=192.168hd=h5,system=192.168hd=h6,system=192.168hd=h7,system=192.168hd=h8,system=192.168hd=h9,system=192.168hd=h10,system=192.168.hd=h11,system=192.168.hd=h12,system=192.168.fsd=fsd1,anchor=/path/to/shared/directory,depth=2,width=100,files=f