服務器Iscsi存儲建設方案

1、2015.09簡介服務器存儲，既是把服務器硬件資源，通過軟件、技術為網(wǎng)絡中其它設備提供存儲服務；考慮到客戶網(wǎng)絡環(huán)境與業(yè)務情況，本次我們?yōu)橛脩籼峁┝朔掌?Iscsi技術，通過IP-SAN給業(yè)務系統(tǒng)提供可靠、穩(wěn)定、低成高，高利用率的存儲解決方案；iSCSI（internet SCSI）技術由IBM公司研究開發(fā)，是一個供硬件設備使用的、可以在IP協(xié)議的上層運行的SCSI指令集，這種指令集合可以實現(xiàn)在IP網(wǎng)絡上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進行路由選擇。iSCSI技術是一種新儲存技術，該技術是將現(xiàn)有SCSI接口與以太網(wǎng)絡(Ethernet)技術結合，使服務器可與使用IP網(wǎng)絡的儲存裝

2、置互相交換資料。iSCSI是一種基于TCP/IP 的協(xié)議，用來建立和管理IP存儲設備、主機和客戶機等之間的相互連接，并創(chuàng)建存儲區(qū)域網(wǎng)絡（SAN）。SAN 使得SCSI 協(xié)議應用于高速數(shù)據(jù)傳輸網(wǎng)絡成為可能，這種傳輸以數(shù)據(jù)塊級別（block-level）在多個數(shù)據(jù)存儲網(wǎng)絡間進行。SCSI 結構基于C/S模式，其通常應用環(huán)境是：設備互相靠近，并且這些設備由SCSI 總線連接。iSCSI 的主要功能是在TCP/IP 網(wǎng)絡上的主機系統(tǒng)（啟動器 initiator）和存儲設備（目標器 target）之間進行大量數(shù)據(jù)的封裝和可靠傳輸過程。本次系統(tǒng)的拓撲結構如下：方案介紹工作過程：當iSCSI主機應用程序發(fā)出

3、數(shù)據(jù)讀寫請求后，操作系統(tǒng)會生成一個相應的SCSI命令，該SCSI命令在iSCSI initiator層被封裝成ISCSI消息包并通過TCP/IP傳送到設備側，設備側的iSCSI target層會解開iSCSI消息包，得到SCSI命令的內容，然后傳送給SCSI設備執(zhí)行；設備執(zhí)行SCSI命令后的響應，在經(jīng)過設備側iSCSI target層時被封裝成ISCSI響應PDU，通過TCP/IP網(wǎng)絡傳送給主機的ISCSI initiator層，iSCSI initiator會從ISCSI響應PDU里解析出SCSI響應并傳送給操作系統(tǒng)，操作系統(tǒng)再響應給應用程序。主要優(yōu)勢：這幾年來，iSCSI存儲技術得到了快速

4、發(fā)展。iSCSI的最大好處是能提供快速的網(wǎng)絡環(huán)境，雖然其性能和帶寬跟光纖網(wǎng)絡還有一些差距，但能節(jié)省企業(yè)約30-40%的成本。iSCSI技術優(yōu)點和成本優(yōu)勢的主要體現(xiàn)包括以下幾個方面：硬件成本低：構建iSCSI存儲網(wǎng)絡，除了存儲設備外，交換機、線纜、接口卡都是標準的以太網(wǎng)配件，價格相對來說比較低廉。同時，iSCSI還可以在現(xiàn)有的網(wǎng)絡上直接安裝，并不需要更改企業(yè)的網(wǎng)絡體系，這樣可以最大程度地節(jié)約投入。操作簡單，維護方便：對iSCSI存儲網(wǎng)絡的管理，實際上就是對以太網(wǎng)設備的管理，只需花費少量的資金去培訓iSCSI存儲網(wǎng)絡管理員。當iSCSI存儲網(wǎng)絡出現(xiàn)故障時，問題定位及解決也會因為以太網(wǎng)的普及而變得容

5、易。擴充性強：對于已經(jīng)構建的iSCSI存儲網(wǎng)絡來說，增加iSCSI存儲設備和服務器都將變得簡單且無需改變網(wǎng)絡的體系結構。帶寬和性能：iSCSI存儲網(wǎng)絡的訪問帶寬依賴以太網(wǎng)帶寬。隨著千兆以太網(wǎng)的普及和萬兆以太網(wǎng)的應用，iSCSI存儲網(wǎng)絡會達到甚至超過FC（FiberChannel，光纖通道）存儲網(wǎng)絡的帶寬和性能。突破距離限制：iSCSI存儲網(wǎng)絡使用的是以太網(wǎng)，因而在服務器和存儲設備的空間布局上的限制就會少了很多，甚至可以跨越地區(qū)和國家。安全性：iSCSI和FC采用不同的方法保證存儲訪問的安全，這可能是多協(xié)議存儲架構師必須解決的最大問題。FC利用FC交換機實行分區(qū)，通過全局名稱排列LUN編號和主機

6、標識，而iSCSI采用上述隔離iSCSI的物理和虛擬方法，通過IP地址、主機系統(tǒng)和存儲設備的名稱、內部/外部CHAP身份驗證等方式限制訪問，從而保證存儲安全。建設過程1 準備工作iSCSI可分享的設備類型有很多，包括鏡像文件（*.img）、分區(qū)（partition）、物理硬盤、raid設備、邏輯卷等，下面我們將準備其中的幾種來測試，其他類型大家可以自行測試。1.1 模擬鏡像在iSCSI Target的/srv目錄下創(chuàng)建一個200M大小的鏡像文件。# mkdir /srv/iscsi# dd if=/dev/zero of=/srv/iscsi/disk1.img bs=1M count=200

7、# ll -lh /srv/iscsi1.2 建立分區(qū)創(chuàng)建一個500M大小的分區(qū)/dev/sdb1.# fdisk /dev/sdb1.3 創(chuàng)建邏輯卷創(chuàng)建一個800M大小的LV.# pvcreate /dev/sdc# vgcreate vg0 /dev/sdc# lvcreate -L 800M -n lv1 vg02配置iSCSI Target2.1 安裝tgtCentOS自帶了scsi-target-utils軟件，我們使用該軟件進行target設置。# yum -y install scsi-target-utils2.2 配置tgttgt的主配置文件為/etc/tgt/，下面我們來設

8、置改文件。在該文件最后新增以下設置：<targetiqn.2014-07.dev.iscsi-target:iscsidisk> backing-store /srv/iscsi/disk1.img backing-store /dev/sdb1 backing-store /dev/vg0/lv1 backing-store /dev/sdd</target>說明：iqn = iSCSI Qualified NameiSCSI target的名稱規(guī)則如下：iqn.2014-07.dev.iscsi-target:iscsidiskiqn.年份-月份.域名反寫.設備識別

9、每個在同一個target上的backing-store 稱為邏輯單元號（Logical Unit Number，LUN）；2.3 啟動iSCSI target# /etc/tgtd start# chkconfigtgtd on# netstat -tulnp|greptgt2.4 查看iSCSI target# tgt-admin showLUN0 是控制器，可以看到各個LUN的大小和磁盤路徑。至此，iSCSI Target 設定完畢。3、配置iSCSI Initiator3.1 安裝initiator# yum -y install iscsi-initiator-utils3.2 設置開

10、機啟動# chkconfigiscsid on# chkconfigiscsi on3.3 配置文檔initiator的配置文檔位于/etc/iscsi/，該目錄下有兩個文件，和，其中是其配置文件，是標記了initiator的名稱，它的默認名稱是InitiatorName=iqn.1994-.redhat:b45be5af6021，我們可以根據(jù)實際情況進行更改，比較好區(qū)分，這里我們修改為InitiatorName=iqn.2014-07.dev.iscsi-initiator:initiator。因為在target里面，我們并沒有設置訪問限制，所以文件并不需要修改。3.4 偵測target如果

11、我們事先不知道目標主機的target名稱，我們就需要進行偵測，下面來講解。# iscsiadm -m discovery -t sendtargets說明：-m discovery/偵測target-t sendtargets/通過iscsi協(xié)議-p IP:port/指定target的IP和port，不寫port的話，默認為32603.5 查看nodesiscsiadm偵測到的結果會寫入/var/lib/iscsi/nodes/ 中，因此只需啟動/etc/iscsi就能夠在下次開機時，自動連接到正確的target了。# ll -R /var/lib/iscsi/nodes/偵測信息都寫入了/v

12、ar/lib/iscsi/nodes/iqn.2014-07.dev.iscsi-target:iscsidisk/192.168.1.21,3260,1/default 文件中了。3.6 連接target查看目前系統(tǒng)上面所有的target# iscsiadm -m node登錄target# iscsiadm -m node -T iqn.2014-07.dev.iscsi-target:iscsidisk login3.7 查看磁盤情況# fdisk l可以看到，initiator 上面多了四塊硬盤，大小和target上的LUN一致。這時你就可以像使用本地磁盤一樣使用這些iSCSI設備了，下面我們來測試。3.8 將/dev/sdb和/dev/sdc創(chuàng)建成LV掛載使用創(chuàng)建LV# pvcreate /dev/sdb /dev/sdc# vgcreateiscsi /dev/sdb /dev/sdc# lvcreate -L 1G -n iscsilviscsi格式化并掛載# mkfs.ext4 /dev/iscsi/iscsilv# mkdir /m