centos上iscsi+multipath多路徑存儲配置手冊.doc

這是我在實際工程中所做的一個文檔，拿出來給大家分享，如有異議，歡迎探討。目錄一：客戶端安裝iscsi包。二：在共享存儲上為服務器劃分磁盤空間。三：啟用iscsi設備。四：安裝dm-multipath包。五：配置參數修改和測試。一;客戶端添加iscsi安裝包。1、服務器安裝iscsi initiator包。安裝包從安裝光盤中找到rpm -qa |grep iscsiiscsi-initiator-utils-68-0.7.el52、在/etc/iscsi/目錄下/etc/iscsi/initiatorname.iscsi查看此文件可發(fā)現主機端的iqn號碼。在EVA command view管理軟件中添加HOST時需用到。二:為服務器劃分磁盤陣列的磁盤空間（即Virtual disk）具體詳見存儲配置。三:啟用ISCSI設備1、在服務器端，啟動ISCSI服務：service iscsi start2、查詢ISCSI設備（HP storageworks mpx100）target的iqn號碼：（必須）iscsiadm -m discovery -t sendtargets -p :3260,0.hp:fcgw.mpx100.0.50014380025bad30.50014380025bad383、登陸到ISCSI存儲設備rootlocalhost#Iscsiadm m node T .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38 -p :3260 l上面命令是連續(xù)的，其中iqn號碼為上面查詢得到的號碼，ip為iscsi存儲中iscsi口對外映射的地址。4、查看磁盤:rootlocalhost #fdisk -lDisk /dev/sda: 8795 MB, 8795105280 bytes255 heads, 63 sectors/track, 1069 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System/dev/sda1 * 1 941 7558551 83 Linux/dev/sda2 942 1068 1020127+ 82 Linux swap / SolarisDisk /dev/sdb: 10.4 GB, 10487232000 bytes255 heads, 63 sectors/track, 1275 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System得到新的盤符5、同樣的方法添加另外一個ISCSI路徑的target。（說明：一個mpx100的一個ISCSI端口有一個iqn號和一個ip地址）添加成功后fdisk l應該可以看到兩個盤符。他們的容量都一樣。這兩個盤符對應的是同一個磁盤陣列下的同一個LUN。6：映射完成之后使用下面命令查看映射結果：iscsiadm -m node:3260,0 .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad38:3260,0 .hp:fcgw.mpx100.0.50014380025bad30.50014380025bad3c五：安裝DM-multipath軟件包由于需要實現存儲設備的多路徑訪問及故障切換，故需要運行multipath服務，這個在centos中已經安裝好了。如沒有執(zhí)行下面的命令。（原理為EVA4400中的一個真實的virtual disk通過與2個冗余陣列控制器連接的2個MPX100B對外提供映射，故服務器上可以看到兩個物理磁盤，但此磁盤對應一個真實的一個真實的virtual disk，故這兩條路徑間可以實現故障切換和負載均衡）rpm ivh device-mapper-1.02.13-6.9.i686.rpmrpm ivh multipath-tools-0.4.7-34.18.i686.rpm安裝完成后，使用命令modprobe dm_multipath來加載相應的模塊，可以使用lsmod |grep dm_multipath來檢查安裝是否正常。六：配置文件的修改及創(chuàng)建1：etc/multipath.conf是多路徑軟件的配置文件，其中大部分配置是注釋掉的，可以將他保存為備用，然后新建一個multipath.conf文件，編輯新的配置文件：實際有用的就是下面這些參數：其余參數都可以注釋掉：defaults user_friendly_names yesudev_dir /devpath_grouping_policy multibusfailback immediateno_path_retry fail保存退出2：啟動服務：Service multipathd restart啟動成功后，我們會在dev目錄下看到下面的目錄：/dev/mapper/mpathn,/dev/mpath/mpathn,/dev/dm-n.說明:其中/dev/mapper/mpathn是軟件虛擬出來的多路徑設備，這個可以被我們用來掛載使用。/dev/mpath/mpathn這個是udev設備管理器創(chuàng)建的，不能用來掛載。/dev/dm-n這個是軟件自身使用的，不能被軟件以外使用。不可掛載。3： 用multipath ll命令查看到兩條活躍路徑，他們之間互為A/A關系。斷掉其中一根線路，那么系統(tǒng)自動切換到另外一條。multipath -llmpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:2 sdd 8:48 activeready_ 2:0:0:2 sdf 8:80 activereadympath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:1 sdb 8:16 activeready_ 2:0:0:1 sdc 8:32 activereadympath3 (3600508b4000a5bfd0000b00000350000) dm-3 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=2active_ 1:0:0:3 sde 8:64 activeready_ 2:0:0:3 sdg 8:96 activeready4：在多路徑設備創(chuàng)建后，我們就可以像使用實際的物理設備樣使用多路徑設備了。前提是必須通過下面的命令將其標記為物理卷。pvcreate /dev/mapper/mpath15：然后對磁盤進行分區(qū)和格式化fdisk /dev/mapper/mpath1（說明：這里有很多種說法，我這里是自己經驗總結出來的，和官方文檔不同，如有異議歡迎討論）分區(qū)之后，會在dev/mapper/目錄下創(chuàng)建新的塊設備，/dev/mapper/mpath1p1這個表示mpath1設備下面的分區(qū)1.如果沒有看到或者不匹配，使用multipath F命令清除多路徑設備緩存后，再用multipath v3命令重新加載。分區(qū)之后使用fdisk l命令查看磁盤會看到dm-1磁盤下面已經有分區(qū)的信息了。*isk /dev/dm-1: 2197.9 GB, 2197949513728 bytes255 heads, 63 sectors/track, 267218 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System/dev/dm-1p11 121577 976567221 83 Linuxmkfs.ext3 /dev/mapper/mpath0p1*6：最后將磁盤mount掛載，就可以正常使用了。7：將multipathd服務設置成開機自啟動chkconfig multipathd on8：注意事項：刪除失效的iscsi連接：如果因為錯誤配置等原因創(chuàng)建了iscsi對應，系統(tǒng)不會自動刪除，需手動刪除。例如：rootas-h-01 #iscsiadm -m node1:3260,1 .openfiler:tsn.59dc8fc04fa2我們看到上面有一個iscsi對應，但實際中這個對應已經失效，系統(tǒng)不會自動刪除。刪除命名：iscsiadm -m node -o delete -T .openfiler:tsn.59dc8fc04fa2 -p 1:3260如果其中一條鏈路出現故障，那么在日志里面我們可以看到如下類似的信息：tail /var/log/messagesDec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:15 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:15 bhnfs1 multipathd: sdf: readsector0 checker reports path is downDec 12 14:03:15 bhnfs1 multipathd: sdg: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdc: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdf: readsector0 checker reports path is downDec 12 14:03:20 bhnfs1 kernel: iscsi: cmd 0x28 is not queued (8)Dec 12 14:03:20 bhnfs1 multipathd: sdg: readsector0 checker reports path is /etcmultipath -llsdc: checker msg is readsector0 checker reports path is downsdf: checker msg is readsector0 checker reports path is downsdg: checker msg is readsector0 checker reports path is downmpath2 (3600508b4000a5bfd0000b00000200000) dm-2 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ round-robin 0 prio=1active_ 1:0:0:2 sdd 8:48 activeready_ 2:0:0:2 sdf 8:80failedfaultympath1 (3600508b4000a5bfd0000b000001a0000) dm-1 HP,HSV300size=2.0Tfeatures=0hwhandler=0_ roun