思特奇Infiniband解決方案測(cè)試報(bào)告

思特奇Infiniband解決方案測(cè)試報(bào)告北京思特奇信息技術(shù)股份有限公司二○一三年五月

目錄1 測(cè)試概述 2什么是infiniband(百度百科) 21.1 測(cè)試目標(biāo) 51.2 測(cè)試環(huán)境 51.2.1 拓?fù)浣Y(jié)構(gòu) 51.2.2 詳細(xì)配置 61.3 環(huán)境配置 61.3.1 安裝infinibandintel驅(qū)動(dòng) 61.3.2 安裝infiniband開(kāi)源驅(qū)動(dòng) 81.4 安裝測(cè)試軟件netpipe 111.4.1 注意 111.5 InfiniBand性能測(cè)試 111.5.1 測(cè)試io帶寬 111.5.2 測(cè)試網(wǎng)絡(luò)延時(shí) 131.1 業(yè)務(wù)測(cè)試 141.1.1 安裝內(nèi)存數(shù)據(jù)庫(kù) 151.1.2 測(cè)試兩臺(tái)主機(jī)間內(nèi)存查詢吞吐量 151.1.3 測(cè)試兩臺(tái)主機(jī)間Infiniband網(wǎng)絡(luò)延時(shí) 152 結(jié)果驗(yàn)證 153 結(jié)論 15測(cè)試概述什么是infiniband(百度百科)InfiniBand架構(gòu)是一種支持多并發(fā)鏈接的“轉(zhuǎn)換線纜”技術(shù)，在這種技術(shù)中，每種鏈接都可以達(dá)到2.5Gbps的運(yùn)行速度。這種架構(gòu)在一個(gè)鏈接的時(shí)候速度是500MB/秒，四個(gè)鏈接的時(shí)候速度是2GB/秒，12個(gè)鏈接的時(shí)候速度可以達(dá)到6GB/秒。HCA卡:單口:雙口:infiniband交換機(jī): infiniband連接線:InfiniBand技術(shù)不是用于一般網(wǎng)絡(luò)連接的，它的主要設(shè)計(jì)目的是針對(duì)服務(wù)器端的連接問(wèn)題的。因此，InfiniBand技術(shù)將會(huì)被應(yīng)用于服務(wù)器與服務(wù)器（比如復(fù)制，分布式工作等），服務(wù)器和存儲(chǔ)設(shè)備（比如SAN和直接存儲(chǔ)附件）以及服務(wù)器和網(wǎng)絡(luò)之間（比如LAN，WANs和theInternet）的通信。我們?yōu)槭裁葱枰狪nfiniBand？采用Intel架構(gòu)的處理器的輸入/輸出性能會(huì)受到PCI或者PCI-X總線的限制?？偩€的吞吐能力是由總線時(shí)鐘決定的（比如33.3MHz，66.6MHz以及133.3MHz）和總線的寬度（比如32位或者64位）。在最通常的配置中，PCI總線速度被限制在500MB/秒，而PCI-X總線速度被限制在1GB/秒。這種速度上的限制制約了服務(wù)器和存儲(chǔ)設(shè)備、網(wǎng)絡(luò)節(jié)點(diǎn)以及其他服務(wù)器通訊的能力。在InfiniBand的技術(shù)構(gòu)想中，InfiniBand直接集成到系統(tǒng)板內(nèi)，并且直接和CPU以及內(nèi)存子系統(tǒng)互動(dòng)。但是，在短期內(nèi)，InfiniBand支持將由PCI和PCI-X適配器完成；這樣，InfiniBand在最初將會(huì)受到總線的制約。在2002年年底，InfiniBand技術(shù)將會(huì)完全被整合在Intel服務(wù)器供應(yīng)商以及Sun生產(chǎn)的服務(wù)器中（80%的可能性）誰(shuí)在倡導(dǎo)InfiniBand？InfiniBand是由InfiniBand行業(yè)協(xié)會(huì)所倡導(dǎo)的。協(xié)會(huì)的主要成員是：康柏，戴爾，惠普，IBM，Intel，微軟和Sun。從歷史的角度看，InfiniBand代表了兩種計(jì)算潮流的融合：下一代I/O（NGIO）和未來(lái)的I-O（FIO）。大部分NGIO和FIO潮流的成員都加入了InfiniBand陣營(yíng)。InfiniBand是純硬件的嗎？不。InfiniBand的成功還需要軟件--包括很多不同的層。這種技術(shù)架構(gòu)和架構(gòu)上的代理（服務(wù)器，存儲(chǔ)設(shè)備，通訊設(shè)備，switch以及其他的一些設(shè)備）都需要軟件管理。應(yīng)用軟件也必須適應(yīng)這種架構(gòu)。操作系統(tǒng)也必須進(jìn)行調(diào)整以和芯片組進(jìn)行最優(yōu)化的通信。我們認(rèn)為InfiniBand的相關(guān)軟件的發(fā)展將會(huì)成為InfiniBand產(chǎn)品應(yīng)用的一個(gè)瓶頸。但是，到2005年，80%大、中型企業(yè)都會(huì)有在數(shù)據(jù)中心環(huán)境下的正式的InfiniBand產(chǎn)品。Windows2000支持InfiniBand嗎？既支持也不支持。在InfiniBand的試制，測(cè)試階段，對(duì)InfiniBand的支持是由設(shè)備供應(yīng)商的驅(qū)動(dòng)來(lái)提供的，而不是直接由操作系統(tǒng)來(lái)支持。而且，微軟沒(méi)有時(shí)間把對(duì)InfiniBand的支持加入到它的Windows2000中。不過(guò)微軟有可能在2002年第二季度把這種支持添加進(jìn)來(lái)。（60%的可能性）InfiniBand會(huì)取代線纜通道嗎？現(xiàn)在還沒(méi)有計(jì)劃。就象InfiniBand技術(shù)完全被整合到服務(wù)器的軟件和硬件中需要時(shí)間一樣，它被完全整合到存儲(chǔ)設(shè)備和SAN中也需要時(shí)間。2003年，90%的InfiniBand服務(wù)器會(huì)采用InfiniBand-線纜通道、InfiniBand-千兆以太網(wǎng)或者InfiniBand-SCSI橋的方式連接網(wǎng)絡(luò)上的外接存儲(chǔ)。（90%的可能性）。InfiniBand會(huì)取代千兆（或者更快的）以太網(wǎng)嗎？對(duì)這個(gè)問(wèn)題的回答是：不會(huì)。以太網(wǎng)是應(yīng)用于高層網(wǎng)絡(luò)通信（比如TCP/IP）的技術(shù)，而InfiniBand是用于低層輸入/輸出通信的技術(shù)。即使以太網(wǎng)達(dá)到甚至超過(guò)了InfiniBand的速度，高層網(wǎng)絡(luò)通信的特點(diǎn)使得它也不能夠成為適合服務(wù)器端輸入/輸出的解決方案?？偨Y(jié)：InfiniBand架構(gòu)肩負(fù)著改善服務(wù)器端輸入/輸出性能的使命。但是，InfiniBand不僅僅是芯片和硬件。為了發(fā)揮應(yīng)有的作用，硬件和軟件必須充分在操作系統(tǒng)，管理層以及應(yīng)用層整合起來(lái)。按照技術(shù)激進(jìn)程度劃分，“A類型”的企業(yè)將會(huì)在2002年第二季度考慮小批量生產(chǎn)InfiniBand產(chǎn)品，而沒(méi)有那么激進(jìn)的企業(yè)可能會(huì)等到2003年第一季度或者更遲。如果你還沒(méi)有關(guān)注InfiniBand，那要準(zhǔn)備好應(yīng)付鋪天蓋地的相關(guān)信息，甚至是產(chǎn)品。經(jīng)過(guò)多年的醞釀，和使其成為規(guī)范的努力，以及實(shí)驗(yàn)室的開(kāi)發(fā)。InfiniBand即將橫空出世。不管你最終采用InfiniBand，或是放棄，亦或是等等看看，你都要了解這種用于數(shù)據(jù)中心的新型互聯(lián)技術(shù)。InfiniBand產(chǎn)品正逐步進(jìn)入市場(chǎng)，預(yù)計(jì)在2003年將有大批產(chǎn)品上市。由康柏、戴爾、惠普、IBM、英特爾、微軟和SUN公司于1999年創(chuàng)建的InfiniBand行業(yè)協(xié)會(huì)(IBTA)，現(xiàn)在有180多加公司參加。這些業(yè)界巨人也組成了籌劃指導(dǎo)委員會(huì)。自從2000年1月以來(lái)，共吸收了3億美元的風(fēng)險(xiǎn)資金，很明顯，InfiniBand是業(yè)界推出的重大項(xiàng)目。存儲(chǔ)網(wǎng)絡(luò)界的許多大公司認(rèn)為，InfiniBand將會(huì)作為PCI總線的替代品，首先出現(xiàn)在服務(wù)器內(nèi)部。這樣就很容易解釋為什么他們對(duì)InfiniBand互聯(lián)不熱心。但是，沒(méi)有什么事情是必然的。隨著啟動(dòng)的一系列工作，InfiniBand將會(huì)很容易地進(jìn)入存儲(chǔ)網(wǎng)絡(luò)。如果InfiniBand確實(shí)作為PCI的替代品用于數(shù)據(jù)中心，則會(huì)出現(xiàn)這樣的情況，或者InfiniBand證明自己同樣適用網(wǎng)絡(luò)傳輸，或者需要進(jìn)一步的開(kāi)發(fā)。這就是要關(guān)注該技術(shù)的原因。或許需要投入時(shí)間、資金，并重新規(guī)劃，但是，這會(huì)潛在地改進(jìn)公司的互聯(lián)體系結(jié)構(gòu)。InfiniBand如何工作InfiniBand是一個(gè)統(tǒng)一的互聯(lián)結(jié)構(gòu)，既可以處理存儲(chǔ)I/O、網(wǎng)絡(luò)I/O，也能夠處理進(jìn)程間通信(IPC)。它可以將磁盤陣列、SANs、LANs、服務(wù)器和集群服務(wù)器進(jìn)行互聯(lián)，也可以連接外部網(wǎng)絡(luò)（比如WAN、VPN、互聯(lián)網(wǎng)）。設(shè)計(jì)InfiniBand的目的主要是用于企業(yè)數(shù)據(jù)中心，大型的或小型的。目標(biāo)主要是實(shí)現(xiàn)高的可靠性、可用性、可擴(kuò)展性和高的性能。InfiniBand可以在相對(duì)短的距離內(nèi)提供高帶寬、低延遲的傳輸，而且在單個(gè)或多個(gè)互聯(lián)網(wǎng)絡(luò)中支持冗余的I/O通道，因此能保持?jǐn)?shù)據(jù)中心在局部故障時(shí)仍能運(yùn)轉(zhuǎn)。如果深入理解，你會(huì)發(fā)現(xiàn)InfiniBand與現(xiàn)存的I/O技術(shù)在許多重要的方面都不相同。不像PCI、PCI-X、IDE/ATA和SCSI那樣共享總線，因此沒(méi)有相關(guān)的電子限制、仲裁沖突和內(nèi)存一致性問(wèn)題。相反，InfiniBand在交換式互聯(lián)網(wǎng)絡(luò)上，采用點(diǎn)到點(diǎn)的、基于通道的消息轉(zhuǎn)發(fā)模型，同時(shí)，網(wǎng)絡(luò)能夠?yàn)閮蓚€(gè)不同的節(jié)點(diǎn)提供多種可能的通道。這些方面，InfiniBand更像以太網(wǎng)，而以太網(wǎng)構(gòu)成LANs、WANs和互聯(lián)網(wǎng)的基礎(chǔ)。InfiniBand和以太網(wǎng)都是拓?fù)洫?dú)立──其拓?fù)浣Y(jié)構(gòu)依賴于交換機(jī)和路由器在源和目的之間轉(zhuǎn)發(fā)數(shù)據(jù)分組，而不是靠具體的總線和環(huán)結(jié)構(gòu)。像以太網(wǎng)一樣，InfiniBand能夠在網(wǎng)絡(luò)部件故障時(shí)重新路由分組，分組大小也類似。InfiniBand的分組大小從256b到4KB，單個(gè)消息（攜帶I/O處理的一系列數(shù)據(jù)分組）可以達(dá)到2GB。以太網(wǎng)跨越全球，InfiniBand則不同，其主要用于只有幾間機(jī)房的數(shù)據(jù)中心，分布于校園內(nèi)或者位于城市局部。最大距離很大程度上取決于纜線類型（銅線或光纖）、連接的質(zhì)量、數(shù)據(jù)速率和收發(fā)器。如果是光纖、單模的收發(fā)器和基本數(shù)據(jù)速率的情況下，InfiniBand的最大距離大約是10公里。如同以太網(wǎng)一樣使用交換機(jī)和路由器，InfiniBand在理論上能夠跨越更遠(yuǎn)的距離，盡管如此，在實(shí)際應(yīng)用中距離要受到更多的限制。為了確保數(shù)據(jù)分組的可靠傳輸，InfiniBand具備諸如反應(yīng)超時(shí)、流控等特點(diǎn)，以防止阻塞造成的分組丟失。延長(zhǎng)InfiniBand的距離將降低這些特征的有效性，因?yàn)檠舆t超過(guò)了合理的范圍。為了超越數(shù)據(jù)中心的范圍，其它I/O技術(shù)必須解決長(zhǎng)距離的問(wèn)題。InfiniBand廠商通過(guò)能夠連接到以太網(wǎng)和光纖通道網(wǎng)絡(luò)的設(shè)備來(lái)解決這個(gè)問(wèn)題（光纖通道的最大距離大約為10公里，因此橋接設(shè)備使得InfiniBand能夠與現(xiàn)存的用光纖通道連接的校園網(wǎng)絡(luò)和城域網(wǎng)絡(luò)的分布式數(shù)據(jù)中心相兼容）。測(cè)試目標(biāo)測(cè)試IntelQLE7342ckQlogicDual-Port40GBIBtoX8ADAQLE7342-CKInfinibandHCA卡在pc機(jī)上的吞吐量以及網(wǎng)絡(luò)延遲情況.HCA卡的驅(qū)動(dòng)的安裝硬件管理功能測(cè)試IPoIB功能測(cè)試IPoIB基本性能測(cè)試編譯并行程序測(cè)試業(yè)務(wù)部門測(cè)試(billing的內(nèi)存庫(kù)測(cè)試)測(cè)試環(huán)境使用兩塊IntelHCA卡,兩臺(tái)pc機(jī)作為硬件測(cè)試平臺(tái)拓?fù)浣Y(jié)構(gòu)詳細(xì)配置硬件平臺(tái)網(wǎng)絡(luò)配置操作系統(tǒng)應(yīng)用軟件pcserver服務(wù)器14*2.67GHz,36GB內(nèi)存，2塊SATA500GB硬盤eth0：75ib0： CentOSrelease6.3(Final)OFEDnetpipe內(nèi)存庫(kù)軟件pcserver服務(wù)器24*2.67GHz,36GB內(nèi)存，2塊SATA500GB硬盤eth0: 76ib0: CentOSrelease6.3(Final)OFEDnetpipe內(nèi)存庫(kù)軟件環(huán)境配置操作系統(tǒng)均為完全安裝的CentOSrelease6.3(Final)系統(tǒng)。同時(shí)還需要另外下載安裝以下一些rpm包：pciutils-devel-2.2.1-16.2.rpmsysfsutils-64bit-1.3.0-14.rpm在Redhat中sysfsutils-64bit庫(kù)需要自己編譯。參照如下方法下載sysfsutils-src-1.2.0-1.rpm 解壓rpm2cpiosysfsutils-src-1.2.0-1.rpm|cpio–div //編輯sysfsutils.spec，修改其中Release：64bit #exportCC=’gcc–m64’ #cpsysfsutils-1.2.0.tar.gz/usr/src/redhat/SOURCES/ #rpmbuild-basysfsutils.spec 編譯好的sysfsutils在/usr/src/redhat/RPMS/目錄下安裝infinibandintel驅(qū)動(dòng)第一次安裝intel提供的官方驅(qū)動(dòng):/SearchResult.aspx?lang=zho&keyword=infiniband按照安裝菜單:1)ViewOFEDInstallationGuide2)InstallOFEDSoftware3)ShowInstalledSoftware4)ConfigureIPoIB5)UninstallOFEDSoftwareQ)ExitSelectOption[1-5]:q安裝后,hca卡狀態(tài)為down,CA'qib0'CAtype:InfiniPath_QLE7342Numberofports:2Firmwareversion:Hardwareversion:2NodeGUID:0x0011750000709a70SystemimageGUID:0x0011750000709a70Port1:State:DownPhysicalstate:SleepRate:40Baselid:2LMC:0SMlid:2Capabilitymask:0x0761086aPortGUID:0x0011750000709a70Linklayer:IBPort2:State:DownPhysicalstate:SleepRate:40Baselid:65535LMC:0SMlid:65535Capabilitymask:0x07610868PortGUID:0x0011750000709a71Linklayer:IB然后咨詢intel專家回復(fù)如下:WearenotsupportHCA<>HCAconnected.Butmaybeyouhassomeworkaroundmaybework,youcantry.KeeptheSubnetmanageractiveandworked.#serviceopensmdstartThanmanualenabletheport…##Theworkaroundistorun“ibportstate-D01enable”ononeend.(thatisibportstate-D<HCA><Port>enable.HCAnumbersfrom0,Portnumbersfrom1)##得知intel技術(shù)上不支持hca卡互連.安裝infiniband開(kāi)源驅(qū)動(dòng)從/downloads/OFED/ofed-1.5.3/?下載ofed1.5.3驅(qū)動(dòng)運(yùn)行命令[root@infini2OFED-]#./install.pl安裝菜單OFEDDistributionSoftwareInstallationMenu1)ViewOFEDInstallationGuide2)InstallOFEDSoftware3)ShowInstalledSoftware4)ConfigureIPoIB5)UninstallOFEDSoftwareQ)ExitSelectOption[1-5]:.選擇2,然后:OFEDDistributionSoftwareInstallationMenu1)Basic(OFEDmodulesandbasicuserlevellibraries)2)HPC(OFEDmodulesandlibraries,MPIanddiagnostictools)3)Allpackages(allofBasic,HPC)4)CustomizeQ)ExitSelectOption[1-4]:選擇3修改mm.h文件vi/usr/src/kernels/2.6.32-279.el6.x86_64/include/linux/mm.h注釋其中代碼:/*int__get_user_pages(structtask_struct*tsk,structmm_struct*mm,unsignedlongstart,intlen,unsignedintfoll_flags,structpage**pages,structvm_area_struct**vmas);*/重新安裝步驟開(kāi)始1運(yùn)行命令查看ib卡狀態(tài)[root@infini1~]#ibstatCA'qib0'CAtype:InfiniPath_QLE7342Numberofports:2Firmwareversion:Hardwareversion:2NodeGUID:0x0011750000709a70SystemimageGUID:0x0011750000709a70Port1:State:InitializingPhysicalstate:LinkUpRate:40Baselid:2LMC:0SMlid:2Capabilitymask:0x0761086aPortGUID:0x0011750000709a70Linklayer:IBPort2:State:InitializingPhysicalstate:LinkUpRate:40Baselid:65535LMC:0SMlid:65535Capabilitymask:0x07610868PortGUID:0x0011750000709a71Linklayer:IB發(fā)現(xiàn)hca卡狀態(tài)都是Initializing執(zhí)行命令[root@infini1~]#serviceopensmdrestart在第二主機(jī)上重復(fù)上述安裝過(guò)程查看hca卡狀態(tài)[root@infini1~]#ibstatCA'qib0'CAtype:InfiniPath_QLE7342Numberofports:2Firmwareversion:Hardwareversion:2NodeGUID:0x0011750000709a70SystemimageGUID:0x0011750000709a70Port1:State:ActivePhysicalstate:LinkUpRate:40Baselid:2LMC:0SMlid:2Capabilitymask:0x0761086aPortGUID:0x0011750000709a70Linklayer:IBPort2:State:InitializingPhysicalstate:LinkUpRate:40Baselid:65535LMC:0SMlid:65535Capabilitymask:0x07610868PortGUID:0x0011750000709a71Linklayer:IB分別在兩臺(tái)主機(jī)配置ipoib[root@infini1~]#ipaa/24devib0[root@infini2~]#ipaa/24devib0兩臺(tái)主機(jī)互相ping[root@infini1~]#pinginfini2PINGinfini2()56(84)bytesofdata.64bytesfrominfini2():icmp_seq=1ttl=64time=5.72ms64bytesfrominfini2():icmp_seq=2ttl=64time=0.108ms^Cinfini2pingstatistics2packetstransmitted,2received,0%packetloss,time1597msrttmin/avg/max/mdev=0.108/2.915/5.723/2.808ms[root@infini2OFED-]#pinginfini1PINGinfini1()56(84)bytesofdata.64bytesfrominfini1():icmp_seq=1ttl=64time=0.088ms64bytesfrominfini1():icmp_seq=2ttl=64time=0.113ms64bytesfrominfini1():icmp_seq=3ttl=64time=0.095ms64bytesfrominfini1():icmp_seq=4ttl=64time=0.106ms^Cinfini1pingstatistics4packetstransmitted,4received,0%packetloss,time3136msrttmin/avg/max/mdev=0.088/0.100/0.113/0.013ms驅(qū)動(dòng)安裝結(jié)束 測(cè)試過(guò)程具體的測(cè)試過(guò)程，包括基本功能測(cè)試，網(wǎng)絡(luò)性能測(cè)試兩類，請(qǐng)參看以下幾個(gè)步驟。安裝測(cè)試軟件netpipe本次測(cè)試InfiniBand的網(wǎng)絡(luò)性能使用的工具是NETPIPE。并且與千兆以太網(wǎng)做一個(gè)性能對(duì)比。下載NETPIPE源碼并解壓修改makefile其中的cc選項(xiàng)，在cc后加上-m64然后執(zhí)行make生成NPtcp。這個(gè)程序是用來(lái)測(cè)試以太網(wǎng)性能。我們將分別測(cè)試IPoverIB，以及IPoverEthernet再執(zhí)行makeibv生成NPibv。這個(gè)程序是用來(lái)專門測(cè)是InfiniBand的傳輸性能的。執(zhí)行以太網(wǎng)測(cè)試方法。infini1#./NPtcp//啟動(dòng)偵聽(tīng)服務(wù)infini2#./NPtcp–hIP_ADDRESS//啟動(dòng)測(cè)試客戶端,其中IP地址為對(duì)應(yīng)的測(cè)試網(wǎng)段的地址測(cè)試infiniband方法infini1#./NPibv//啟動(dòng)偵聽(tīng)服務(wù)infini2#./NPibv–hoceanib1//-h后為遠(yuǎn)端的主機(jī)名注意在編譯NPibv的時(shí)候可能會(huì)出現(xiàn)代碼bug,修改ibv.c文件:[root@infini1src]#pwd/work/NetPIPE-3.7.1/src[root@infini1src]#viibv.c修改staticintmax_wq=50000;/*maxwritequeueentries*/為staticintmax_wq=15000;/*maxwritequeueentries*/重新編譯后開(kāi)始測(cè)試過(guò)程InfiniBand性能測(cè)試測(cè)試io帶寬ftp文件以太網(wǎng)ftp測(cè)試sftp>getCentOS-6.3-x86_64-bin-DVD1.isoFetching/workmnt/CentOS-6.3-x86_64-bin-DVD1.isotoCentOS-6.3-x86_64-bin-DVD1.iso/workmnt/CentOS-6.3-x86_64-bin-DVD1.iso100%4091MB11.2MB/s06:05測(cè)試使用CentOS-6.3-x86_64-bin-DVD1.iso系統(tǒng)鏡像文件,大小4G.ftp時(shí)間6分5秒,平均速度11.2MB/Sinfinibandoveripftp測(cè)試sftp>getCentOS-6.3-x86_64-bin-DVD1.isoFetching/workmnt/CentOS-6.3-x86_64-bin-DVD1.isot