HPC高性能計(jì)算項(xiàng)目IOZONE測(cè)試報(bào)告

1、HPC高性能計(jì)算項(xiàng)目IOZONE測(cè)試報(bào)告目 錄 TOC o 1-3 h z u HYPERLINK l _Toc529044656 1 IOZONE簡(jiǎn)介 IOZONE簡(jiǎn)介IOZONE是文件系統(tǒng)的Benchmark工具?？梢詼y(cè)試不同的操作系統(tǒng)中文件系統(tǒng)的讀寫(xiě)性能?？梢詼y(cè)試Read, write, re-read, re-write, read backwards, read strided, fread, fwrite, random read, pread ,mmap, aio_read, aio_write 等等不同的模式下的存儲(chǔ)的性能。測(cè)試定義Write: 測(cè)試向一個(gè)新文件寫(xiě)入的性能。當(dāng)一

2、個(gè)新文件被寫(xiě)入時(shí)，不僅僅是那些文件中的數(shù)據(jù)需要被存儲(chǔ)，還包括那些用于定位數(shù)據(jù)存儲(chǔ)在存儲(chǔ)介質(zhì)的具體位置的額外信息。這些額外信息被稱(chēng)作“元數(shù)據(jù)”。它包括目錄信息，所分配的空間和一些與該文件有關(guān)但又并非該文件所含數(shù)據(jù)的其他數(shù)據(jù)。這些額外信息會(huì)導(dǎo)致Write的性能通常會(huì)比Re-write的性能低。Re-write:測(cè)試向一個(gè)已存在的文件寫(xiě)入的性能。當(dāng)一個(gè)已存在的文件被寫(xiě)入時(shí)，所需工作量較少，因?yàn)榇藭r(shí)元數(shù)據(jù)已經(jīng)存在。Re-write的性能通常比Write的性能高。Read: 測(cè)試讀一個(gè)已存在的文件的性能。Re-Read: 測(cè)試讀一個(gè)最近讀過(guò)的文件的性能。Re-Read性能會(huì)高些，因?yàn)椴僮飨到y(tǒng)通常會(huì)緩存最

3、近讀過(guò)的文件數(shù)據(jù)。這個(gè)緩存可以被用于讀以提高性能。Random Read: 測(cè)試讀一個(gè)文件中的隨機(jī)偏移量的性能。許多因素可能影響這種情況下的系統(tǒng)性能，例如：操作系統(tǒng)緩存的大小，磁盤(pán)數(shù)量，尋道延遲和其他。Random Write: 測(cè)試寫(xiě)一個(gè)文件中的隨機(jī)偏移量的性能。同樣，許多因素可能影響這種情況下的系統(tǒng)性能，例如：操作系統(tǒng)緩存的大小，磁盤(pán)數(shù)量，尋道延遲和其他。Random Mix: 測(cè)試讀寫(xiě)一個(gè)文件中的隨機(jī)偏移量的性能。同樣，許多因素可能影響這種情況下的系統(tǒng)性能，例如：操作系統(tǒng)緩存的大小，磁盤(pán)數(shù)量，尋道延遲和其他。這個(gè)測(cè)試只有在吞吐量測(cè)試模式下才能進(jìn)行。每個(gè)線程/進(jìn)程運(yùn)行讀或?qū)憸y(cè)試。這種分布式

4、讀/寫(xiě)測(cè)試是基于round robin 模式的。最好使用多于一個(gè)線程/進(jìn)程執(zhí)行此測(cè)試。Backwards Read: 測(cè)試使用倒序讀一個(gè)文件的性能。這種讀文件方法可能看起來(lái)很可笑，事實(shí)上，有些應(yīng)用確實(shí)這么干。MSC Nastran是一個(gè)使用倒序讀文件的應(yīng)用程序的一個(gè)例子。它所讀的文件都十分大（大小從G級(jí)別到T級(jí)別）。盡管許多操作系統(tǒng)使用一些特殊實(shí)現(xiàn)來(lái)優(yōu)化順序讀文件的速度，很少有操作系統(tǒng)注意到并增強(qiáng)倒序讀文件的性能。Record Rewrite: 測(cè)試寫(xiě)與覆蓋寫(xiě)一個(gè)文件中的特定塊的性能。這個(gè)塊可能會(huì)發(fā)生一些很有趣的事。如果這個(gè)塊足夠小（比CPU數(shù)據(jù)緩存?。?，測(cè)出來(lái)的性能將會(huì)非常高。如果比CPU數(shù)

5、據(jù)緩存大而比TLB小，測(cè)出來(lái)的是另一個(gè)階段的性能。如果比此二者都大，但比操作系統(tǒng)緩存小，得到的性能又是一個(gè)階段。若大到超過(guò)操作系統(tǒng)緩存，又是另一番結(jié)果。Strided Read: 測(cè)試跳躍讀一個(gè)文件的性能。舉例如下：在0偏移量處讀4Kbytes，然后間隔200Kbytes,讀4Kbytes，再間隔200Kbytes，如此反復(fù)。此時(shí)的模式是讀4Kbytes，間隔200Kbytes并重復(fù)這個(gè)模式。這又是一個(gè)典型的應(yīng)用行為，文件中使用了數(shù)據(jù)結(jié)構(gòu)并且訪問(wèn)這個(gè)數(shù)據(jù)結(jié)構(gòu)的特定區(qū)域的應(yīng)用程序常常這樣做。許多操作系統(tǒng)并沒(méi)注意到這種行為或者針對(duì)這種類(lèi)型的訪問(wèn)做一些優(yōu)化。同樣，這種訪問(wèn)行為也可能導(dǎo)致一些有趣的性能

6、異常。一個(gè)例子是在一個(gè)數(shù)據(jù)片化的文件系統(tǒng)里，應(yīng)用程序的跳躍導(dǎo)致某一個(gè)特定的磁盤(pán)成為性能瓶頸。Fwrite: 測(cè)試調(diào)用庫(kù)函數(shù)fwrite()來(lái)寫(xiě)文件的性能。這是一個(gè)執(zhí)行緩存與阻塞寫(xiě)操作的庫(kù)例程。緩存在用戶(hù)空間之內(nèi)。如果一個(gè)應(yīng)用程序想要寫(xiě)很小的傳輸塊，fwrite()函數(shù)中的緩存與阻塞I/O功能能通過(guò)減少實(shí)際操作系統(tǒng)調(diào)用并在操作系統(tǒng)調(diào)用時(shí)增加傳輸塊的大小來(lái)增強(qiáng)應(yīng)用程序的性能。Fread: 測(cè)試調(diào)用庫(kù)函數(shù)fread()來(lái)讀文件的性能。這是一個(gè)執(zhí)行緩存與阻塞讀操作的庫(kù)例程。緩存在用戶(hù)空間之內(nèi)。如果一個(gè)應(yīng)用程序想要讀很小的傳輸塊，fwrite()函數(shù)中的緩存與阻塞I/O功能能通過(guò)減少實(shí)際操作系統(tǒng)調(diào)用并在

7、操作系統(tǒng)調(diào)用時(shí)增加傳輸塊的大小來(lái)增強(qiáng)應(yīng)用程序的性能。Freread: 這個(gè)測(cè)試與上面的fread 類(lèi)似，除了在這個(gè)測(cè)試中被讀文件是最近才剛被讀過(guò)。這將導(dǎo)致更高的性能，因?yàn)椴僮飨到y(tǒng)緩存了文件數(shù)據(jù)。Mmap:許多操作系統(tǒng)支持mmap()的使用來(lái)映射一個(gè)文件到用戶(hù)地址空間。映射之后,對(duì)內(nèi)存的讀寫(xiě)將同步到文件中去。這對(duì)一些希望將文件當(dāng)作內(nèi)存塊來(lái)使用的應(yīng)用程序來(lái)說(shuō)很方便。一個(gè)例子是內(nèi)存中的一塊將同時(shí)作為一個(gè)文件保存在于文件系統(tǒng)中。mmap文件的語(yǔ)義和普通文件略有不同。如果發(fā)生了對(duì)內(nèi)存的存儲(chǔ)，并不是立即發(fā)生相應(yīng)的文件I/O操作。使用MS_SYNC和MS_ASYNC標(biāo)志位的 msyc()函數(shù)調(diào)用將控制內(nèi)存和

8、文件的一致性。調(diào)用msync() 時(shí)將MS_SYNC置位將強(qiáng)制把內(nèi)存里的內(nèi)容寫(xiě)到文件中去并等待直到此操作完成才返回。而MS_ASYNC 置位則告訴操作系統(tǒng)使用異步機(jī)制將內(nèi)存刷新到磁盤(pán)，這樣應(yīng)用程序可以直接返回而不用等待此操作的完成。Async I/O: 許多操作系統(tǒng)支持的另外一種I/O機(jī)制是POSIX 標(biāo)準(zhǔn)的異步I/O。本程序使用POSIX標(biāo)準(zhǔn)異步I/O接口來(lái)完成此測(cè)試功能。例如：aio_write(), aio_read(), aio_error()。這個(gè)測(cè)試測(cè)量POSIX異步I/O機(jī)制的性能。測(cè)試模式IOZONE的測(cè)試過(guò)程中可以使用-i參數(shù)指定多個(gè)測(cè)試模式,例如-i 0 -i 1 -i 2

9、。0=write/rewrite1=read/re-read2=random read/random write3=backwards read4=re-write-record5=stride-read6=fwirte/re-fwrite7=fread/re-fread8=random mix9=pwrite/re-pwrite10=pread/re-pread11=pwritev/re-pwritev12=preadv/re-preadv一些常見(jiàn)參數(shù)-a 自動(dòng)模式(花費(fèi)很長(zhǎng)時(shí)間,注意),測(cè)試記錄塊大小從4k到16M,測(cè)試文件從64k到512M.文件大于32MB時(shí)停止使用低于64k以下記錄塊

10、以節(jié)省時(shí)間-y 設(shè)置自動(dòng)模式下的記錄塊最小值,-q設(shè)置自動(dòng)模式下的記錄塊最大值-n 設(shè)置自動(dòng)模式下的文件最小值,-g設(shè)置自動(dòng)模式下的文件最大值-B 使用mmap()接口來(lái)創(chuàng)建并訪問(wèn)測(cè)試文件.即以讀寫(xiě)內(nèi)存的方式訪問(wèn)那個(gè)塊來(lái)完成文件I/O-i 指定運(yùn)行于哪種測(cè)試模式.可以使用-i 0 -i 1 -i 2進(jìn)行多個(gè)測(cè)試-I 對(duì)所有文件操作使用DIRECT I/O.通知文件系統(tǒng)所有操作跳過(guò)緩存直接在磁盤(pán)上操作-R 將結(jié)果導(dǎo)出到Excel文件-b 指定導(dǎo)出結(jié)果的Excel文件名-f 指定測(cè)試的文件名-F 進(jìn)程throughput模式(多線程)測(cè)試時(shí)的文件名,請(qǐng)注意,有多少個(gè)線程,后面就應(yīng)該跟多個(gè)個(gè)文件名-

11、c 計(jì)算時(shí)間時(shí)包含close()參數(shù),對(duì)于NFS3分區(qū)將非常有用-G 對(duì)mmap文件使用msync(MS_SYNC)。告訴操作系統(tǒng)在mmap空間的所有數(shù)據(jù)需要被同步的寫(xiě)到磁盤(pán)上-D 對(duì)mmap文件使用MSYNC(MS_ASYNC)。告訴操作系統(tǒng)在mmap空間的所有數(shù)據(jù)需要被異步的寫(xiě)到磁盤(pán)上-o 寫(xiě)操作都同步寫(xiě)入到磁盤(pán)中,即強(qiáng)制寫(xiě)入完成以后再返回benchmark-r 設(shè)置記錄塊大小-s 設(shè)置測(cè)試文件大小(建議是內(nèi)存的2倍)-I 對(duì)所有文件操作使用DIRECT I/O,通知文件系統(tǒng)所有操作跳過(guò)緩存直接在磁盤(pán)上操作-t 使用throughput模式(多線程),并指定線程或進(jìn)程數(shù)-l 設(shè)置最小進(jìn)程數(shù)

12、.在測(cè)試過(guò)程允許用戶(hù)設(shè)置的最小進(jìn)程或線程數(shù).需要配合-u選項(xiàng)使用-u 設(shè)置最大進(jìn)程或線程數(shù),需要配合-l參數(shù)使用HPC集群測(cè)試環(huán)境注釋?zhuān)簣?bào)告完成后請(qǐng)刪除1、本節(jié)以某項(xiàng)目配置，包括存儲(chǔ)拓?fù)浣Y(jié)構(gòu)，IO節(jié)點(diǎn)數(shù)量、功能，存儲(chǔ)容量等為例說(shuō)明，具體項(xiàng)目請(qǐng)修改；某項(xiàng)目集群系統(tǒng)采用的存儲(chǔ)系統(tǒng)(ParaStor200)包含2臺(tái)索引控制器（兩臺(tái)雙活冗余，負(fù)責(zé)元數(shù)據(jù)訪問(wèn)請(qǐng)求，同時(shí)負(fù)責(zé)存儲(chǔ)系統(tǒng)的監(jiān)控管理），6臺(tái)數(shù)據(jù)控制器，系統(tǒng)管理、登陸、計(jì)算節(jié)點(diǎn)等客戶(hù)端通過(guò)FDR InfiniBand網(wǎng)絡(luò)訪并行存儲(chǔ)系統(tǒng)。ParaStor200采用元數(shù)據(jù)和數(shù)據(jù)分離的非對(duì)稱(chēng)式結(jié)構(gòu)，這也是國(guó)際主流的并行存儲(chǔ)系統(tǒng)架構(gòu)，元數(shù)據(jù)和數(shù)據(jù)分離有助于

13、提升存儲(chǔ)系統(tǒng)的性能和擴(kuò)展性。ParaStor200的多臺(tái)索引控制（默認(rèn)配置2臺(tái)）采用多活冗余集群結(jié)構(gòu)元數(shù)據(jù)存儲(chǔ)采用RAID6保護(hù)的SSD高速磁盤(pán)以提高元數(shù)據(jù)訪問(wèn)性能。Lustre等并行文件系統(tǒng)的元數(shù)據(jù)IO節(jié)點(diǎn)也支持冗余配置，但只支持一主一備的熱備模式，正常工作時(shí)只有主節(jié)點(diǎn)響應(yīng)并行文件系統(tǒng)元數(shù)據(jù)請(qǐng)求，另一臺(tái)完全閑置，無(wú)論主節(jié)點(diǎn)負(fù)載多高備節(jié)點(diǎn)都無(wú)法幫助分擔(dān)；當(dāng)主節(jié)點(diǎn)故障時(shí)，元數(shù)據(jù)服務(wù)切換到備節(jié)點(diǎn)，切換時(shí)間通常達(dá)到5-10分鐘，切換期間文件系統(tǒng)服務(wù)停止，會(huì)造成計(jì)算節(jié)點(diǎn)上正在運(yùn)行的程序報(bào)錯(cuò)退出。而ParaStor200采用更高級(jí)的元數(shù)據(jù)冗余策略。ParaStor200的元數(shù)據(jù)控制器默認(rèn)配置2臺(tái)，同時(shí)支

14、持更多的元數(shù)據(jù)控制器組成元數(shù)據(jù)集群，每臺(tái)元數(shù)據(jù)控制器均為Active在線狀態(tài)，正常工作時(shí)負(fù)載均衡并行文件系統(tǒng)客戶(hù)端的元數(shù)據(jù)訪問(wèn)請(qǐng)求，一臺(tái)元數(shù)據(jù)控制器出現(xiàn)故障時(shí)，其它元數(shù)據(jù)控制器分擔(dān)其工作負(fù)載，接管時(shí)間非常短，且為在線切換，不中斷正在進(jìn)行的IO請(qǐng)求，不影響并行文件系統(tǒng)的業(yè)務(wù)運(yùn)行。除了元數(shù)據(jù)多活冗余，ParaStor200的數(shù)據(jù)傳輸網(wǎng)絡(luò)也支持多活冗余，多套數(shù)據(jù)網(wǎng)絡(luò)支持故障切換和負(fù)載均衡。某項(xiàng)目集群系統(tǒng)的存儲(chǔ)采用8+2:1的保護(hù)策略，即8個(gè)數(shù)據(jù)對(duì)象匹配2個(gè)校驗(yàn)對(duì)象，這10個(gè)對(duì)象根據(jù)哈希算法分布在不同數(shù)據(jù)控制的不同硬盤(pán)上，這10塊硬盤(pán)為一組，可以容忍2塊硬盤(pán)同時(shí)失效而不至于數(shù)據(jù)丟失；整套存儲(chǔ)系統(tǒng)可以容

15、忍1臺(tái)數(shù)據(jù)控制器失效而不至于數(shù)據(jù)丟失。在這種配置下，存儲(chǔ)系統(tǒng)空間利用率可達(dá)到80%ParaStor200分布式存儲(chǔ)系統(tǒng)具備簡(jiǎn)易的部署和運(yùn)維管理功能，提供基于Web的統(tǒng)一監(jiān)控管理平臺(tái)，直觀易懂的圖形界面方便用戶(hù)管理和監(jiān)控系統(tǒng)的軟硬件資源。存儲(chǔ)架構(gòu)圖2.2 文件系統(tǒng)協(xié)議存儲(chǔ)設(shè)備IO節(jié)點(diǎn)掛載點(diǎn)備注parastor200parastor200索引節(jié)點(diǎn)opara1(01)opara2(02)數(shù)據(jù)節(jié)點(diǎn)ostor1(103), ostor2(04), ostor3(05), os

16、tor4(06), ostor5(07), ostor6(08)/public采用N+M:B的方式，8+2：1分配方式，有效利用率達(dá)80%測(cè)試方法及結(jié)果測(cè)試方案并行存儲(chǔ)系統(tǒng)聚合帶寬測(cè)試用于測(cè)試存儲(chǔ)系統(tǒng)的性能。包括讀寫(xiě)測(cè)試，其結(jié)果反映多用戶(hù)并發(fā)讀寫(xiě)作業(yè)時(shí)并行存儲(chǔ)系統(tǒng)所能提供的讀寫(xiě)速率，是并行存儲(chǔ)系統(tǒng)的性能關(guān)鍵指標(biāo)。影響并行存儲(chǔ)測(cè)試性能優(yōu)劣的因素很多。只有其中涉及的所有環(huán)節(jié)配置合理，才可以發(fā)揮出并行存儲(chǔ)系統(tǒng)的最佳性能，否則任何一個(gè)環(huán)節(jié)都可能成為瓶頸。磁盤(pán)類(lèi)型(SATA SAS.)，RAID類(lèi)型，業(yè)務(wù)接口配置，聚合網(wǎng)卡系能

17、和兼容性，交換機(jī)，鏈路，網(wǎng)絡(luò)設(shè)置，客戶(hù)端主機(jī)性能，測(cè)試軟件的設(shè)置，這些都是影響測(cè)試性能的重要因素。本測(cè)試采用IOZONE對(duì)Parastor200并行存儲(chǔ)系統(tǒng)進(jìn)行聚合帶寬測(cè)試。測(cè)試用命令：./iozone-Recblog.xls-t200-r2048k-s 1.8g-i0-i1-+mnodelist-C|teeiozone-20160424.logIOZONE測(cè)試參數(shù)數(shù)值節(jié)點(diǎn)數(shù)20進(jìn)程數(shù)/節(jié)點(diǎn)10塊大小1M/2M/4M/8M文件大小1.8G/4G測(cè)試目錄/public/software/benchmark/iozone測(cè)試結(jié)果2.2.1 單客戶(hù)端單流性能測(cè)試測(cè)試項(xiàng)目測(cè)試單客戶(hù)端單流IO性能測(cè)試步

18、驟使用Linux客戶(hù)端掛載文件系統(tǒng)；在存儲(chǔ)目錄下執(zhí)行以下命令：iozone -s 360g -t 1 -r 1M -i 0 -i 1 -+n記錄測(cè)試結(jié)果（單位：KB/sec）。測(cè)試結(jié)果寫(xiě)：1233094KB/s讀：330545KB/s結(jié)果分析測(cè)試結(jié)果與預(yù)期相符備注測(cè)試結(jié)果見(jiàn)截圖測(cè)試截圖2.2.2 單客戶(hù)端多流性能測(cè)試測(cè)試項(xiàng)目測(cè)試單客戶(hù)端多流IO性能測(cè)試步驟Linux客戶(hù)端掛載文件系統(tǒng)。在存儲(chǔ)目錄下執(zhí)行以下測(cè)試iozone -s 12g -t 10 -r 1M -i 0 -i 1 -+n記錄測(cè)試結(jié)果（單位：KB/sec）測(cè)試結(jié)果寫(xiě)：1550958KB/s讀：1519083KB/s結(jié)果分析測(cè)試結(jié)果

19、與預(yù)期相符備注測(cè)試結(jié)果見(jiàn)截圖測(cè)試截圖2.2.3 多客戶(hù)端多流性能測(cè)試測(cè)試隨機(jī)抽取集群系統(tǒng)中的20個(gè)計(jì)算節(jié)點(diǎn)（一般抽取等同于IO節(jié)點(diǎn)數(shù)量即可）作為并行存儲(chǔ)聚合帶寬的測(cè)試節(jié)點(diǎn)，用于對(duì)并行存儲(chǔ)系統(tǒng)進(jìn)行讀寫(xiě)操作。文件大小為1.8G, 測(cè)試結(jié)果（GB/s）如下：文件塊大小1M2M4M8M讀帶寬4.5寫(xiě)帶寬7.1文件大小為2G, 測(cè)試結(jié)果（GB/s）如下：文件塊大小1M2M4M8M讀帶寬4.0寫(xiě)帶寬6.6文件大小為3G, 測(cè)試結(jié)果（GB/s）如下：文件塊大小1M2M4M8M讀帶寬3.9寫(xiě)帶寬6.56.06.46.3文

20、件大小為4G, 測(cè)試結(jié)果（GB/s）如下：文件塊大小1M2M4M8M讀帶寬3.6寫(xiě)帶寬5.4測(cè)試結(jié)論單客戶(hù)端單流測(cè)試聚合帶寬達(dá)到1.2GB/s, 單個(gè)客戶(hù)端多流測(cè)試讀寫(xiě)聚合帶寬達(dá)到1.5GB/s, 說(shuō)明并行文件系統(tǒng)具有良好的讀寫(xiě)性能；多客戶(hù)端多流測(cè)試結(jié)果，顯示聚合寫(xiě)帶寬達(dá)到7.1GB/s，每個(gè)ostor有1.1GB/s的寫(xiě)速率，讀帶寬達(dá)到4.6GB/s，重復(fù)讀帶寬達(dá)到12.0GB/s, 說(shuō)明P200并行文件系統(tǒng)的具有良好的并發(fā)讀寫(xiě)性能，符合預(yù)期效果。附錄由于輸出信息量較大，此處僅列出20客戶(hù)端10流測(cè)試結(jié)果，文件大小1.8G，文件塊大小為4M:Iozone:

21、 Performance Test of File I/O Version $Revision: 3.420 $Compiled for 64 bit mode.Build: linux-AMD64 Contributors:William Norcott, Don Capps, Isom Crawford, Kirby Collins Al Slater, Scott Rhine, Mike Wisner, Ken Goss Steve Landherr, Brad Smith, Mark Kelly, Dr. Alain CYR, Randy Dunlap, Mark Montague,

22、Dan Million, Gavin Brebner, Jean-Marc Zucconi, Jeff Blomberg, Benny Halevy, Dave Boone, Erik Habbinga, Kris Strecker, Walter Wong, Joshua Root, Fabrice Bacchella, Zhenghua Xue, Qin Li, Darren Sawyer, Vangel Bojaxhi, Ben England, Vikentsi Lapa.Run began: Sun Apr 24 11:37:04 2016Excel chart generation

23、 enabledInclude fsync in write timingInclude close in write timingRecord Size 4096 KBFile size set to 1048576 KBNetwork distribution mode enabled.Command line used: /public/software/benchmark/iozone/3.420/gnu/iozone -Recb log.xls -t 200 -r 4096k -s 1.8g -i 0 -i 1 -+m iozone-list-20 -COutput is in Kb

24、ytes/secTime Resolution = 0.000001 seconds.Processor cache size set to 1024 Kbytes.Processor cache line size set to 32 bytes.File stride size set to 17 * record size.Throughput test with 200 processesEach process writes a 1048576 Kbyte file in 4096 Kbyte recordsTest running:Children see throughput for 200 initial writers = 7128661.41 KB/secMin throughput per process = 19086.90 KB/sec Max throughput per process = 65314.52 KB/secAvg throughput per process = 35643.31 KB/secMin xfer = 389120.00 KBChild0 xfer count = 524288.00 KB, Th