easystack東信老撾私有云平臺(tái)存儲(chǔ)性能測(cè)試報(bào)告

1、東信老撾私有云性能測(cè)試目錄1、文檔目的32、適用范圍33、設(shè)定34、性能測(cè)試4、測(cè)試環(huán)境說(shuō)明4、測(cè)試內(nèi)容4、云硬盤(pán)測(cè)試5、測(cè)試過(guò)程54.4.2、測(cè)試小結(jié)8附錄-測(cè)試環(huán)境準(zhǔn)備8附錄-云盤(pán)測(cè)試環(huán)境準(zhǔn)備9文檔屬性屬 性內(nèi) 容級(jí)別文檔級(jí)別文檔編 寫(xiě) 人劉海平審 核 人文件修訂1、文檔目的為了確保云用于規(guī)范云性能滿足客戶需求，使能夠最大化發(fā)揮應(yīng)有的性能，特編寫(xiě)此文檔，性能測(cè)試和云網(wǎng)絡(luò)性能測(cè)試。2、適用范圍本文檔適用于項(xiàng)目實(shí)施過(guò)程中對(duì)云的性能測(cè)試和網(wǎng)絡(luò)性能測(cè)試。3、設(shè)定Ceph安裝部署請(qǐng)嚴(yán)格按照如下要求執(zhí)行：設(shè)定條目設(shè)定內(nèi)容備注說(shuō)明CPU關(guān)閉節(jié)能開(kāi)啟 CPU 最大化性能序號(hào)版本號(hào)簡(jiǎn)要說(shuō)明修訂日期變更人審核

2、人備注1v1.0創(chuàng)建測(cè)試規(guī)范20171127劉海平1東信老撾云測(cè)試20181011劉海平4、性能測(cè)試4.1、測(cè)試環(huán)境說(shuō)明4.2、測(cè)試內(nèi)容測(cè)試內(nèi)容需要按照如下方式測(cè)試，測(cè)試時(shí)長(zhǎng)為畫(huà)圖，測(cè)試內(nèi)容如下：5min，平均值，并通過(guò) Excel備注說(shuō)明：通過(guò)測(cè)試隨機(jī)讀寫(xiě)獲取吞吐量/帶寬。最大的 IOPS，通過(guò)測(cè)試順序?qū)懌@取最大的測(cè)試范疇測(cè)試引擎測(cè)試內(nèi)容組合類型云硬盤(pán)測(cè)試libaio4K 隨機(jī)寫(xiě) randwrite8:16 和 8:324K 隨機(jī)讀 randread8:16 和 8:324K 混合讀寫(xiě) rmmixwrite8:16 和 8:321M 順序?qū)?write8:16 和 8:32測(cè)試內(nèi)容參考指標(biāo)數(shù)

3、量/值Ceph測(cè)試Monitor 數(shù)量3osd 數(shù)量40單機(jī)數(shù)*磁盤(pán)數(shù)10 臺(tái)*4，一塊 SSD 做磁盤(pán)模式RAID0,Write Back日志盤(pán)：數(shù)據(jù)盤(pán)比1:4云硬盤(pán)測(cè)試虛擬機(jī)規(guī)格8-16384-60云磁盤(pán)大小200G測(cè)試工具LinuxFioWindowsGeekbench測(cè)試時(shí)間900s數(shù)據(jù)盤(pán)單盤(pán) RAID0 Writeback設(shè)定直通模式，影響性能日志盤(pán)單盤(pán) RAID0 Writeback日志盤(pán)和數(shù)據(jù)盤(pán)比控制在 1:6 以內(nèi)IO 調(diào)度算法 noopNVME 無(wú)法修改，默認(rèn)為 none網(wǎng)絡(luò)網(wǎng)絡(luò)帶寬：萬(wàn)兆光/電口確保運(yùn)行在萬(wàn)兆網(wǎng)絡(luò)上Ceublic 與 Storage 分離確保 ceph 兩個(gè)

4、網(wǎng)絡(luò)物理PG合理設(shè)置 pg_num 和 pgp_num確保 pg 均勻分布在 osd 上4.3、云硬盤(pán)測(cè)試4.3.1、測(cè)試過(guò)程截圖每次，1. 4K 隨機(jī)寫(xiě)，分別4K 隨機(jī)寫(xiě)、4K 隨機(jī)讀、4K 混合讀寫(xiě)、1M 順讀寫(xiě)的2. 4K 隨機(jī)讀3. 4K 混合讀寫(xiě)4. 1M 順序?qū)?6:32 比例1. 隨機(jī)寫(xiě)：2. 4K 隨機(jī)讀3. 4K 混合讀寫(xiě)4. 1M 順序?qū)?.4.2、測(cè)試小結(jié)如下是云硬盤(pán)性能匯總：附錄-測(cè)試環(huán)境準(zhǔn)備在 ceph-monitor 節(jié)點(diǎn)安裝 ceph-devel 包：yum -y install ceph-devel解壓 fio.tar.gz 進(jìn)入 fio 目錄: ./confi

5、gure (確保輸出結(jié)果中：Rados Block Device engineyes); make ;make install在 ceool 里創(chuàng)建 rbd 鏡像，假設(shè)在 compute pool 里建 100G 的名字為 rbdtest 的鏡像：rbd -p test create rbdtest -s 102400把 fio.conf 拷貝至任意目錄下，并執(zhí)行 fio /path/to/fio.conf fio rbd.fiorbd.fio 文件內(nèi)容如下：global direct=1 time_based group_reporting ramp_time=5 runtime=900io

6、depth_batch_submit=1plete=1ioengine=rbdcntname=admin pool=rbd rbdname=rbdtest Size=100g randread 4k#隨機(jī)讀 4k numjobs=16 iodepth=32 bs=4k rw=randreadrandwrite 4k測(cè)試內(nèi)容numjobs:iodepth 比4：168:324K 隨機(jī)寫(xiě) randwrite14.2k156614K 隨機(jī)讀 randread36.9k35.0k4K 混合讀寫(xiě) rwmixwrite20.1K(read)/ 8619(write)13.1K(read)/ 5631(wr

7、ite)1M 順序?qū)?帶寬)259MiB/s346MiB/s附錄-云盤(pán)測(cè)試環(huán)境準(zhǔn)備基于云創(chuàng)建一臺(tái) 8C-16G-40G 的云主機(jī)，創(chuàng)建并掛載一塊 200G 的云磁盤(pán)用于測(cè)試4K 隨機(jī)寫(xiě)fio -ioengine=libaio -bs=4k -direct=1 -rw=randwrite -size=100G -filename=/dev/vdb-name=randwrite 4KB -numjobs=8 -iodepth=16 -runtime=900 -thread-group_reporting4K 隨機(jī)讀fio -ioengine=libaio -bs=4k -direct=1 -rw=

8、randread -size=100G -filename=/dev/vdb-name=randread 4KB -numjobs=8 -iodepth=16 -runtime=900 -thread -group_reporting3.4K 混合讀寫(xiě)(寫(xiě)占 30%)fio-filename=/dev/vdb-direct=1thread-rw=randrw-rwmixread=70-ioengine=libaio-bs=4k-size=100G-numjobs=8-iodepth=16-runtime=900-group_reporting -name=mytest4. 1M 順序?qū)懀篺io -ioengine=libaio -bs=1M -direct=1 -rw=write -size=100G -filename=/dev/vdb-name=read1024KB -numjobs=8 -iodepth=16 -runtime=900 -thread-group_reporting#隨機(jī)寫(xiě) 4k stall numjobs=16 iodepth=32 bs=4k rw=