Hadoop的HDFS云存儲系統(tǒng)測試報(bào)告.ppt

HDFS測試報(bào)告,Alidw-2011,目的,測試HDFS的IO性能，擴(kuò)展性，并發(fā)性測試fuse_dfs接口的IO性能，并發(fā)性衡量HDFS代替MFS的可行性,HDFS相關(guān)知識,FUSE相關(guān)知識,FUSE（用戶空間文件系統(tǒng)）允許非特權(quán)用戶創(chuàng)建功能完備的文件系統(tǒng)，而不需要重新編譯內(nèi)核。對于讀寫虛擬文件系統(tǒng)來說，F(xiàn)USE是個很好的選擇。,int(*access)(constchar*,int);int(*chmod)(constchar*,mode_t);int(*chown)(constchar*,uid_t,gid_t);int(*flush)(constchar*,structfuse_file_info*);int(*getattr)(constchar*,structstat*);int(*mkdir)(constchar*,mode_t);int(*mknod)(constchar*,mode_t,dev_t);int(*unlink)(constchar*);int(*truncate)(constchar*,off_t);int(*open)(constchar*,structfuse_file_info*);int(*read)(constchar*,char*,size_t,off_t,structfuse_file_info*);int(*write)(constchar*,constchar*,size_t,off_t,structfuse_file_info*);,HDFS配置,硬件配置DELLPowerEdgeR510CPU：Intel(R)Xeon(R)CPUE55062.13GHz(4CORE)x2MEM：12GBDISK：SATA2T7200 x12ETHERNET：BroadcomCorporationNetXtremeIIBCM5716GigabitEthernet軟件配置OS：RedHatEnterpriseLinux2.6.18-164.el5HADOOP：hadoop-0.20.2FUSE：fuse-2.8.4JDK：1.6.0_23,測試度量,datanode個數(shù)：1,2,3測試文件大?。?G,2G,4G,8G,16G,32G,64G讀并發(fā)數(shù):1,2,4,8,16,32,64寫并發(fā)數(shù):1,2,4,8,16,32,64客戶端數(shù):1,2,3fuse_dfs掛載點(diǎn)數(shù):1,2,測試工具,hdfs_test(c)：測試命令的執(zhí)行和測試結(jié)果的采集,-jobtotalstatus-jobbegin=15:29:06end=15:30:21elapsed=75.00(S)-taskdetailstatus-pid=23690begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23691begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23694begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23696begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23698begin=15:29:06end=15:30:21elapsed=75.00(S)pid=23700begin=15:29:06end=15:30:20elapsed=74.00(S)pid=23702begin=15:29:06end=15:30:21elapsed=75.00(S)pid=23704begin=15:29:06end=15:30:20elapsed=74.00(S)-tasktotalstatus-pnum=8elapsed=594.00(S),測試命令,hdfsclient寫ddif=/dev/zerobs=4096count=%d|hadoopfs-put-%s/%s-%d.dathdfsclient讀hadoopfs-get%s/f%03d.dat-/dev/nullfuse寫ddif=/dev/zerobs=4096count=%dof=%s/%s-%d.datfuse讀ddif=%s/f%03d.datbs=4096of=/dev/null,文件大小對傳輸速率的影響,隨著文件尺寸的增加，執(zhí)行時間線形增長，傳輸速度比較穩(wěn)定，一直保持在100M/S左右,文件大小對傳輸速率的影響,通過hdfsclient讀的速度居然比寫的速度要慢一些。而且cache對速率影響也比較大，第二次讀取要比第一次快15%左右。隨著文件大小的增長，傳輸速率有些波動，不過還算是穩(wěn)定，大概在8990M/S之間。,并行度對傳輸速率的影響,在單臺hdfsclient上，隨著并行度的增加，總的傳輸效率比較穩(wěn)定，在4個并行的情況下基本達(dá)到單塊千兆網(wǎng)卡的極限流量，此時瓶頸在網(wǎng)卡上。對于并行中的每個進(jìn)程，執(zhí)行時間也隨著并行度的增加而線形增長。,并行度對傳輸速率的影響,與前一個測試的結(jié)果類似,Datanode個數(shù)對傳輸速率的影響,1個datanode時候的速率相對快一些，可能是由于結(jié)點(diǎn)增多后選擇datanode的算法要更消耗性能吧。,Datanode個數(shù)對傳輸速率的影響,讀的情況就沒那么明顯,rep個數(shù)對傳輸速率的影響,當(dāng)rep增加到2的時候，傳輸?shù)乃俾式档偷梅浅６?，因?yàn)榇藭r要存儲2份數(shù)據(jù)。,rep個數(shù)對傳輸速率的影響,按理論說rep個數(shù)多應(yīng)該多read有很大幫助，請大家思考為什么這張圖沒有體現(xiàn)？,fuse對傳輸速率的影響,hadoop的文檔介紹使用fuse寫操作會有30%的效率損失，但是實(shí)際測試發(fā)現(xiàn)fuse的寫速度僅僅有hdfsclient的一半。但是fuse的好處就是為hdfs提供一個極其方便的接口，使用戶感覺不到hdfs的存在。,fuse對傳輸速率的影響,使用fuse讀取的速率比使用hdfsclient要慢大概10%左右，因?yàn)閒use會有一定的消耗。不過這點(diǎn)性能損失和fuse帶來的便利性比較起來不算什么。,本地寫對傳輸速率的影響,Dw-dhw-8既是hdfsclient，又是datanode，此時hdfs會直接將block寫到本地磁盤，所以寫入的速度會遠(yuǎn)遠(yuǎn)超過網(wǎng)卡的限制。,本地寫對傳輸速率的影響,在將rep變成3份的時候，本地寫的效率就沒那么明顯，因?yàn)榇藭r還需要將本地寫的數(shù)據(jù)分布其他兩個節(jié)點(diǎn)上。,本地讀對傳輸速率的影響,Dw-dhw-8所需要的block全部能在本地找到，所以此時讀取不需要走網(wǎng)絡(luò)，完全可以在本地讀取。,本地讀對傳輸速率的影響,Dw-dhw-8所需要的block有一部分可以在本地找到，而其他只能從其他的datanode獲得，所以此時傳輸速度沒有上一個測試快，但也超過了110M/S,瓶頸1：datanode,此時每個hdfsclient的傳輸速度大概都在52M/S左右，那么對應(yīng)datanode上的傳輸速度基本在105M/S，基本達(dá)到了一個網(wǎng)卡傳輸能力，此時的瓶頸已經(jīng)在datanode的網(wǎng)卡上了?？梢娫趆dfs的集群中datanode的數(shù)量是系統(tǒng)能力很關(guān)鍵的因素。,瓶頸1：datanode,瓶頸2：client,在單臺hdfsclient上，隨著并行度的增加，總的傳輸效率比較穩(wěn)定，在2個并行的情況下基本達(dá)到單塊千兆網(wǎng)卡的極限流量，此時瓶頸在網(wǎng)卡上。對于并行中的每個進(jìn)程，執(zhí)行時間也隨著并行度的增加而線形增長。,瓶頸2：client,瓶頸3：fuse,這張圖看起來很明顯，當(dāng)并行度增加到8的時候，寫的速率急劇下降，僅僅是并行度4時候的60%左右。我想我們遇到了新的瓶頸，fuse處理能力的瓶頸。如果你把fuse的log打印出來，就知道此時fuse有多么的忙碌。可見在架構(gòu)設(shè)計(jì)的過程中fu