EMCPowerPath多路徑控制軟件的部署與最佳實踐

1、EMC PowerPath多路徑控制軟件的部署和最佳實踐好消息，EMC中文論壇里新一期的“專家問答”活動已開啟。EMC PowerPath一款常用于在各類主機和存儲系統(tǒng)間進行多路徑控制、管理和優(yōu)化的軟件，實現(xiàn)負載均衡和故障切換。從12月10日（周一）開始為期兩周的時間里，我們將和大家一起討論和分享有關(guān)EMC PowerPath多路徑控制軟件的部署和最佳實踐 的話題和心得。以往所有已完成的“專家問答”活動可參考這個匯總貼。沙發(fā)，哈請問 powerpath 最多只可以做兩條冗余的路徑嗎？應(yīng)該是每個邏輯單元(LUN)最多可以支持32個通道(Path)，但是隨著通道數(shù)量的增加，Powerpa

2、th需要消耗的系統(tǒng)資源也會隨之增加。因此綜合考慮冗余和計算性能的話，很少有用戶會配置如此多數(shù)量的通道。謝謝 偶這邊是配置兩路的 一般運作的時候 是負載均衡的嗎？還是只是用一路主的另外的備用呢？Powerpath會自動的做負載均衡。但需要注意的是，負載均衡不等于Round Robin算法，雖然這也是選擇之一。Powerpath的負載均衡的考慮因素要復(fù)雜很多，不僅有I/O數(shù)量，還有I/O大小，隊列深度，響應(yīng)時間，等等，Powerpath會對每個I/O請求選擇一條最優(yōu)的通道，即使和上一個I/O請求是同一個。powerpath在vmware上需不需要安裝，謝謝，貌似vmware自帶多路徑軟件！VMwa

3、re對存儲的管理是通過ESX來實現(xiàn)的。 ESX的VMKernel有自帶的故障切換和多路徑管理，但仍然可以安裝PowerPath/VE以實現(xiàn)ESX所連接存儲的特有屬性。 在VMWare (ESX以及ESXi)上的Powerpath軟件為 Powerpath / VE，具體的安裝方法是不一樣的。并且管理工具(rpowermt)和許可證的管理方式也不同。 Powerpath/VE的管理由rpowermt命令控制，這個命令可以安裝在一臺windows或者Linux操作系統(tǒng)上，通過TCP/IP網(wǎng)絡(luò)對Vmware進行管理。 許可證也有幾種，不像傳統(tǒng)的Powerpat

4、h都是單機的。安裝配置方式根據(jù)許可證的類型(Served, Unserved)也有不同，過程相對要復(fù)雜一點。 上述詳細情況請參考一下Powerlink或者Supportzone上面的文檔。哦，那安裝好powerpath之后，vmware自帶的多路徑功能是不是要屏蔽掉？VMWare有一個claimrule的功能，可以配置使用特定的軟件來管理某一類陣列的設(shè)備。安裝Powerpath/VE之后，EMC的陣列就會被Powerpath/VE管理了，沒有被PP接管的設(shè)備才會被NMP接管。哦，自動切換的，很方便！那么powerpath是要單獨收費的嘛？vmware的pp很貴！記得好像AX、CX的連

5、個sp應(yīng)該是active-standby？，針對同一個lun的訪問，如果兩臺鏈路一個到spa，一個到spb，這種情況下powerpath應(yīng)該提供的是鏈路冗余（主備，并不負載分擔(dān)）的功能？是不是負載分擔(dān)應(yīng)該是在多個lun的時候分布于不同sp owner的時候宏觀上看到的是負載分擔(dān)？還是別的理解？但是實際上，有VMWARE的基本上沒什么人再買powerpath吧？AX、CX的連個sp應(yīng)該是active-standby對于主備模式，powerpath負載均衡的作用在于多條連接active SP的路徑，對于passive SP是不發(fā)揮作用的。如果只有一條鏈路連接到active SP，就沒有l(wèi)oad b

6、alance這一說，但仍然有failover的功能。再在A.Y的基礎(chǔ)上補充一點關(guān)于各種操作系統(tǒng)自帶的MutiPath工具介紹。讓大家再全方位的了解一下各個操作系統(tǒng)的多路徑控制軟件。 基本上每個操作系統(tǒng)都會提供Native的MutiPath軟件。主要有以下幾種： Windows Server      Windows Server從2003版本開始，微軟開發(fā)了MPIO Framework，開始支持第三方存儲陣列，使用Device Speicific Modules (DSMs)作為Framework的插件。Powerpath也

7、是基于這個插件解決方案之一。     Windows Server 2008以后開始自帶MPIO軟件（由MS基于DSM開發(fā)），添加了基本的Load Balacing和Failover策略。 我在之前也些過關(guān)于Windows MPIO的介紹，有興趣可以看一下：Windows Native MPIO存儲多路徑軟件詳解與應(yīng)用Redhat      Device Mapper Multipathing （DM-MPIO）是Redhat默認的多路徑控制解決方案。它支持多數(shù)廠商的存儲陣列，也包括EMC的存儲

8、。DM-MPIO是通過multipath.conf.default文件來進行配置，默認情況下該文件針對不同的存儲陣列自動創(chuàng)建，比如VNX會被設(shè)置成ALUA Mode。 Round Robin會被設(shè)置成Symmetrix VMAX和VNX的默認模式。同時Round Robin也是Redhat5和6的默認運作模式。 VMware vPshere      ESX和ESXi提供了擴展的多路徑模塊，叫做Native Multipathing Plugin（NMP）。通常來說，VMware NMP對多數(shù)存儲陣列進行支持（參考Vmare stor

9、age HCL）。NMP關(guān)聯(lián)一組物理到存儲陣列的物理鏈路，然后提供Failover等功能。NMP模塊還提供了可選的路徑選擇插件，SATPs（Storage Array TypePlguins）和PSPs（PathSelectionPlugins）。 SATPs支持不同存儲陣列的路徑。PSPs支持根據(jù)I/O負載來選擇路徑管理。 HP-UX      在HP-UX 11i v2或者更早的版本，HP StorageWorks Secure Path提供了Load Balancing和Failover功能。   

10、   在HP-UX 11i V3（11.31）之后，Native Multipathing被包括在操作系統(tǒng)之中。默認的load-balancing策略是Round Robin。 AIX         AIX的的多路徑解決方案是path-control module）PCM。 支持的規(guī)則也是Failover和Round Robin策略。Solaris      Solaris的MPxIO是Solaris中原生的多路徑控制軟件。同樣支持兩

11、個Load Balancing策略，F(xiàn)ailover和Round Robin。最后可能大家有疑問，Powerpath和這些多路徑控制解決方案相比的優(yōu)勢是什么。主要還是兩點：1.針對EMC的存儲更好的優(yōu)化故障切換和負載均衡。2.性能上的優(yōu)勢，就像A.Y說的，同樣條件下可以提升30%。 A.Y. 編寫: 很多操作系統(tǒng)都自帶多路徑軟件的，比如Linux上有DM-MPIO，AIX上有PCM/MPIO，Solaris上有MPxIO。這些操作系統(tǒng)也可以使用這些軟件來控制對EMC陣列的多路徑訪問。但是Powerpath與其他廠商的軟件相比，和EMC的陣列配合的更好。 按照Pow

12、erpath的產(chǎn)品說明，與VMWare的自帶NMP相比，Powerpath能帶來 30%的I/O性能提升。power path 的一個命令<忘記了>有的時候會顯示 路徑dead 這個怎么解釋呢？powermt display dev=all可以看鏈路！死的鏈路應(yīng)該就是掉線啦！重新掃描一下試試"powermt display dev=all" 可以顯示所有通道的狀態(tài)，我們會看到有dead path是因為Powerpath無法使用這個通道來發(fā)送I/O請求。最常見的原因是因為鏈路問題，但也可能是因為設(shè)備配置的改變（比如LUN Masking的改變），以及其他一些軟件原

13、因。 遇到這樣的情況，可以使用"powermt restore"命令來嘗試進行恢復(fù)；或者使用"powermt check"命令。兩者的區(qū)別是“check”命令如果不能將通道的狀態(tài)恢復(fù)，就會刪除dead的通道。 如果上述命令不能解決問題的情況下，就要針對具體問題分析，該給EMC開case啦。PowerPath發(fā)現(xiàn)dead 路徑時有以下步驟可用于診斷和修復(fù)：1. 檢查新路徑，如果顯示dead paths，則刪除已存在的dead路徑：powermt check  2. 掃描磁盤設(shè)備，PowerPath會自動進行配置；po

14、wermt config  3. 使用以下命令查看路徑狀態(tài)，如果所有路徑顯示為有效并且為激活狀態(tài)（沒有HBA激活問題），則進行下一步：powermt display dev=all  4. 保存正確的PowerPath更改：powermt save補充Alex的，說明一下power check命令和power restore命令： power check:對路徑進行檢查，并在需要的情況下從PowerPath配置中刪除標(biāo)記為dead的路徑。如果路徑標(biāo)記為dead或路徑配置信息中的序列號與本地設(shè)備序列號不符，則出現(xiàn)提示用戶刪除路徑。power re

15、store:此命令測試并恢復(fù)指定路徑，發(fā)出測試I/O并針對測試結(jié)果作出反應(yīng)如下：     如果live路徑通過測試，則此命令不做任何操作；     如果dead路徑通過測試，此命令將其標(biāo)識為alive狀態(tài)；PowerPath此時可以使用該路徑；此外，同一HBA和/或存儲系統(tǒng)端口上的其他路徑也將被測試。     如果live路徑測試失敗，此命令將其標(biāo)識為dead并打印告警。此外，共享HBA和端口的其他路徑也可能標(biāo)示為dead并被測試。   

16、0; 如果dead路徑測試失敗，此命令會打印告警。     此外，該命令還會嘗試復(fù)活dead卷。謝謝專家。做例如 power check這個操作的時候是否能在線操作嗎？需要停機操作嗎？不需要，因為這個命令只會對dead狀態(tài)的通道進行操作，這些通道是不會有被用于發(fā)送I/O請求的。有您這句話偶就大膽的往前走了。嘿嘿，不過也是偶經(jīng)常在跑的好好的機器上運行 insf -e ，也沒有事情請問 powermt display dev=all 看到有這樣的情況以下是一個片段 Symmetrix ID=xxxxxxxxxxLogical device ID=0

17、175state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host -   - Stor -   - I/O Path -  - Stats -#  HW Path                I/O Paths    Interf.   Mode  

18、60; State  Q-IOs Errors=  10 0/3/1/0.2.14.0.1.7.6      c10t7d6   FA  9dA   active  alive      0      0  11 0/7/1/0.1.14.0.1.7.6      c11t7d6   FA

19、  7dA   active  alive      0      0Symmetrix ID=xxxxxxxxLogical device ID=01A9state=alive; policy=SymmOpt; priority=0; queued-IOs=0=- Host -   - Stor -   - I/O Path -  - Stats -#  HW Path  &

20、#160;             I/O Paths    Interf.   Mode    State  Q-IOs Errors=  11 0/7/1/0.1.14.0.1.11.2     c11t11d2  FA  7dA   active  alive  

21、    0      0 怎么會一個有兩個路徑一個只有一個呢這個倒不一定是一個錯誤。 首先從Symmetrix的角度，Device的Mapping和Masking，或者Masking View(VMax)的配置都可以出現(xiàn)上述的現(xiàn)象，即每個設(shè)備的通道數(shù)量甚至連接的FA是完全不同的。如果是連接了Clariion或者VNX的存儲，出現(xiàn)了這個現(xiàn)象才表明有問題。 當(dāng)然，如果這個通道數(shù)量和期望的不一致，首先要檢查的當(dāng)然是設(shè)備的分配情況。如果沒有問題，就要確認相應(yīng)通道的native 設(shè)備已經(jīng)生成（H

22、P-UX上可以用ioscan / insf 這些命令來完成），然后再執(zhí)行powermt config來將它們配置起來。謝謝如果發(fā)生了您說的那個情況應(yīng)該就應(yīng)該是power path與symmetrix給主機的路徑的信息不一致吧，是否有必要一定要做校驗調(diào)整呢？通?？梢杂胮owermt display paths, powermt display 檢查一下通道數(shù)量，邏輯設(shè)備數(shù)量的總結(jié)，如果覺得有疑問可以進一步通過powermt display dev=all命令查看細節(jié)。出現(xiàn)問題的情況還是少數(shù)，大部分情況下如果所有操作都合規(guī)范，正常運行的系統(tǒng)不大會出問題。論壇上一篇文章總結(jié)過PowerPath常用命

23、令的使用方法和注意事項，功能包括HBA/路徑/端口/磁盤設(shè)備/存儲系統(tǒng)執(zhí)行配置、查看、刪除、保存、恢復(fù)等：PowerPath常用命令總結(jié)及應(yīng)用太復(fù)雜了，還要單獨做一臺rpowermt管理控制機嗎？為什么要這樣設(shè)計呢？大多數(shù)中低端存儲都是AP模式的架構(gòu)，即active/standby，起到的是冗余，而不能負載均衡，當(dāng)時這是針對一個LUN來說。當(dāng)然也有例外，HDS的AMS系列就可以做到AA模式的，技術(shù)還是比較先進的。請問 PowerPath Encryption以及PowerPath Migration 這兩個功能是做什么用的呢？Powerpath Migration Enabler 是用于做數(shù)據(jù)

24、遷移的，這是一個主機軟件用于遷移數(shù)據(jù)的解決方案，要求是主機必須同時連接源和目標(biāo)存儲，并且數(shù)據(jù)遷移的運算資源是來自服務(wù)器 (與基于陣列的數(shù)據(jù)遷移相比較的主要區(qū)別） Powerpath Encryption 是將數(shù)據(jù)加密以后存放到存儲設(shè)備上，讀取以后解密再提供給應(yīng)用程序的功能。這兩個功能的用戶應(yīng)該不是很多吧。en.關(guān)于power migration：這里的源是不是可以理解為就是主機上的硬盤或者光驅(qū)之類的存儲介質(zhì)呢？所謂的migration是否是一種backup呢？還是說可以做OS層面的在線遷移？關(guān)于power encryption：加密后的數(shù)據(jù)能否被另一臺安裝了power encrypt

25、ion的主機訪問呢？收藏之。其實很簡單，專業(yè)版一定會強于大眾版。這就是PowerPath一定會優(yōu)于OS廠商提供的MPIO的原因。要強有力的說明哦,不然客戶怎么愿意買呢anhong的這個要求很厲害啊，比較困難的說畢竟Powerpath屬于"Infrastructure Software"而不是一個業(yè)務(wù)應(yīng)用，大部分客戶不會在Powerpath層面做太多的定制，還是越穩(wěn)定越好，用法也比較簡單。 我就分享一點支持Powerpath這個產(chǎn)品過程中總結(jié)的經(jīng)驗，希望能有點幫助。 首先介紹一下常用的文檔吧，在網(wǎng)站上有各種版本的Powerpath Installation

26、 and Administration Guide，里面有比較詳細的安裝/升級以及卸載Powerpath的步驟及注意事項。這些文檔不是那么容易看，但是如果嚴(yán)格照著做的話，確實可以避免大部分的問題。 另外在連接EMC的Clariion / VNX陣列的時候，一定要查一下EMC的KB Primus emc99467（通過網(wǎng)站搜索即可）。這個里面包括了針對各種操作系統(tǒng)的Initiator Type, Failover Mode, Arraycommpath以及Unit Serial Number的配置。這個配置必須嚴(yán)格遵守，否則在識別設(shè)備或者運行過程中通道切換時都會有影響 如果連

27、接的是Symmetrix設(shè)備，那么就要到上去確認一下Director Bit。這些配置同樣會對設(shè)備識別以及通道切換造成影響。 另外在的文檔中還包括了Powerpath CLI and System Messages Reference Guide，對于其他的一些管理任務(wù)，比如偽設(shè)備名的改變，批量導(dǎo)入導(dǎo)出，通道優(yōu)先級變化，以及一些故障處理技巧方面都比較有用。 后面我會分享一些Unix操作系統(tǒng)上最常見的現(xiàn)象以及解決方法。powerpath進程后臺應(yīng)該有定時檢測IO鏈路是否alive的restore操作吧？系統(tǒng)繁忙時，insf -e的操作最好不要做。保不準(zhǔn)系統(tǒng)就hang了，俺這里

28、的HPUX發(fā)生過哦這兩個功能國內(nèi)應(yīng)該基本沒啥企業(yè)在用。數(shù)據(jù)遷移有大把的方法，而Powerpath Migration Enabler很明顯應(yīng)該只能支持EMC存儲之間，估摸著限制還不少。不過這個功能用PP做還真是手到擒來，管理所有鏈路的IO，做同步豈不是容易得很。說的太棒了，前段時間就因為沒有注意到failover mode而吃了大虧，折騰了一個晚上。期待最后那句的內(nèi)容分享。關(guān)于PPVE for Windows Hyper-V不是很確定，超出我的范圍了. 但是查了一下"EMC PowerPath and PowerPath/VE for Windows 5.5 and Min

29、or Releases Installation and Administration Guide"，里面只提到PP/VE for Hyper-V需要一個獨立的License。而沒有更多的說明，所有的產(chǎn)品文檔和軟件都是放在一起的，看來只是一個許可證的區(qū)別而已。先說說AIX吧。 想了一下，AIX上Powerpath最常見的部署問題恐怕還是在連接Clariion/VNX存儲時的failover mode配置。在使用Powerpath的情況下，failover mode這個值只能配置為3或者4。3是PNR(Passive Not Ready)，4是ALUA。 大致解釋一

30、下這兩個的區(qū)別：PNR / Passive Not Ready的模式下，對于一個LUN的訪問只能通過它當(dāng)前所屬的控制器（SP）來進行，如果通過另外一個（Passive）控制器進行讀寫的話，就會得到一個"Logical Unit Not Ready"的錯誤，errpt里面會出現(xiàn)一個DISK OPERATION ERROR。對于其他的操作系統(tǒng)來說，這樣的模式是要求failover mode配置為1的。 ALUA是非對稱的訪問，對于主機來說兩個控制器都可以接受讀寫請求的，但后端處理上會不一致。這樣的情況下，無論從那個控制器都不應(yīng)該會看到"Logical Uni

31、t Not Ready"的錯誤。 5.3及以前版本的時候，如果這個值設(shè)置為1（大部分其他操作系統(tǒng)的要求），Powerpath可以識別設(shè)備，但是通道切換到時候會出現(xiàn)問題，過程不平穩(wěn)，并且errpt里面會報一堆的錯誤。 從5.5（或者是某個小版本）開始，如果這個值配的不正確，那么powermt display dev=all就顯示不出任何的設(shè)備了。這可能是因為Powerpath軟件對這個值的檢查條件增強了。我們遇到過多次客戶升級這個軟件之后說設(shè)備都不見了，然后發(fā)現(xiàn)其實是一個錯誤配置用了很久很久.  除此之外還有一些客戶在初次安裝EMC ODM的時候

32、會比較困惑，那么多的文件集選哪些個安裝呢？大致總結(jié)一下： 版本： AIX 7.1 需要使用 ODM 6.0.0.0，AIX 5及AIX 6需要安裝ODM 5.3.0.X文件集：對應(yīng)不同的陣列以及不同的連接類型Powerpath -> EMC.<ArrayType>.rte & EMC.<ArrayType>.<ConnectionType>.rteMPIO -> EMC.<ArrayType>.rte & EMC.<ArrayType>.MPIO.<ConnectionType>.rt

33、e （這里的文件集名字主要是列出關(guān)鍵字，準(zhǔn)確的名字在smitty里面可以看到選擇。） 例如，將AIX用iSCSI連接到Clarion或者VNX陣列上，需要安裝的文件集是： Powerpath -> EMC.CLARiiON.rte                    EMC.CLARiiON.iscsi.rte MPIO ->  &#

34、160;     EMC.CLARiiON.rte                    EMC.CLARiiON.MPIO.iscsi.rte 想將ODM里面全部的文件集都裝上是不能成功的，因為MPIO的文件集和PP的是沖突的，只能裝一個。 連接Symmetrix陣列的安裝過程出現(xiàn)問題的好像不是很常見。我也是查看了相關(guān)文檔發(fā)覺pp for WIN

35、和PP/VE for hyper-v在安裝上沒差別，差別就是許可證。 謝謝！PowerPath使用周期性路徑測試以確認路徑是否能正常工作。路徑測試是PowerPath通過發(fā)送一系列I/O以確認路徑的可用性。如果測試失敗，PowerPath關(guān)閉該路徑并停止向其發(fā)送I/O。  PowerPath繼續(xù)周期性地檢測故障路徑，以確認其是否恢復(fù)。如果路徑通過測試，PowerPath將恢復(fù)對該路徑的使用并重新發(fā)送I/O。在輕量負載或小型配置的情況下，路徑在修復(fù)后會在一小時內(nèi)自動恢復(fù)使用。對于大型配置，修復(fù)后恢復(fù)所有路徑使用可能花費數(shù)小時，因為周期性自動恢復(fù)任務(wù)被更高優(yōu)先級任務(wù)搶

36、占。路徑的故障切換以及恢復(fù)流程對于應(yīng)用程序來說是透明的。當(dāng)路徑恢復(fù)后，存儲，主機，應(yīng)用程序?qū)⒗^續(xù)保持可用性。  測試正常工作路徑將花費幾毫秒，測試故障路徑可能花費數(shù)秒，具體取決于故障類型。謝謝A.Y的分享，真的對我工作很有幫助哦。Solaris 在Solaris上安裝Powerpath，必須將系統(tǒng)自帶的多路徑管理軟件MPxIO完全禁用。在Sparc平臺上的 /kernel/drv/fp.conf 里面這個選項已經(jīng)被默認禁用了： mpxio-disable=yes 從Powerpath for Solaris 5.5開始，要求在/kernel/d

37、rv/iscsi.conf 中也要將這個選項禁用，否則Powerpath無法識別Clariion或者VNX的設(shè)備。這個配置文件一般是針對iscsi連接的，但是Powerpath在這里的要求不論是光線還是iscsi連接都必須滿足。 (在Solaris 11中這兩個文件的配置方法稍有不同)   另外一個很常見的問題是，如果使用了non-leadville驅(qū)動（非Solaris自帶的SCSI以及HBA驅(qū)動），那么EMC要求對于SCSI設(shè)備做Persistent Binding.Persistent Binding簡單的說，就是對一個HBA能發(fā)現(xiàn)的存儲端口指定一個Target ID，作