GPFS文件系統(tǒng)命令解析

GPFS文件系統(tǒng)命令解析目錄1 GPFS系統(tǒng)目錄介紹 32 mmstartup━啟動GPFS進程 33 mmshutdown━GPFS進程的關閉 34 mmgetstate━檢查所有節(jié)點daemon是否啟動成功 45 mmmount━掛載GPFS文件系統(tǒng) 46 mmumount━文件系統(tǒng)卸載 57 mmgetstate━GPFS系統(tǒng)狀態(tài)信息查詢 58 mmlscluster━顯示GPFS群集配置信息 69 mmlsconfig━顯示GPFS參數(shù)配置信息 610 mmlsmount━顯示GPFS文件系統(tǒng)狀態(tài)信息 611 mmlsnsd━顯示GPFS群集使用磁盤的信息 612 mmlsfs━列示GPFS文件系統(tǒng)屬性 613 mmdelfs━刪除一個GPFS文件系統(tǒng) 614 mmfsck━檢查和修復GPFS文件系統(tǒng) 715 mmlsdisk━存儲整機故障后修復方法 716 fileset目錄命令 917 quota-配額功能使用 918 mmadddisk━增加磁盤 1219 mmdeldisk━刪除磁盤 1320 mmaddnode━增加節(jié)點 1321 mmdelnode━刪除節(jié)點 1422 mmchconfig━修改群集參數(shù) 1423 mmchfs━變更GPFS文件系統(tǒng) 1424 日常診斷命令 14GPFS系統(tǒng)目錄介紹/usr/lpp/mmfs–GPFS介質(zhì)安裝目錄/usr/lpp/mmfs/bin–GPFS執(zhí)行文件與腳本目錄/usr/lpp/mmfs/src–GPL(GPFSPortabilityLayer)Source(僅Linux)/var/mmfs–GPFS配置數(shù)據(jù)目錄/var/mmfs/gen–關鍵配置數(shù)據(jù)/var/mmfs/etc–特定用戶腳本和自定義配置文件(mmfs.cfgandcluster.preferences)[mmchconfig]/var/adm/ras–Systemlogs文件系統(tǒng)日志目錄mmstartup━啟動GPFS進程當GPFS文件系統(tǒng)設定為手工啟動時，那么操作系統(tǒng)啟動完后需要手工啟動GPFS進程。在本節(jié)點啟動GPFS進程#mmstartup在所有節(jié)點都啟動GPFS進程#mmstartup–ammshutdown━GPFS進程的關閉1.單節(jié)點關閉GPFS進程先確認GPFS文件系統(tǒng)都已經(jīng)卸載：#mmdf–k#mmlsmountall–L執(zhí)行關閉GPFS進程命令：#mmshutdown2.所有節(jié)點都關閉GPFS進程 確認所有節(jié)點的GPFS文件系統(tǒng)都已經(jīng)卸載：#mmlsmountall–L執(zhí)行關閉所有節(jié)點GPFS進程，可在任一臺GPFS節(jié)點運行以下命令：#mmshutdown–ammgetstate━檢查所有節(jié)點daemon是否啟動成功#mmgetstate-aActive表示節(jié)點狀態(tài)正常；arbitrating表示該節(jié)點正在啟動，需稍后再查詢狀態(tài)；down表示該節(jié)點GPFSdaemon沒有啟動，請運行mmstartup-a啟動該節(jié)點的GPFSdaemon；unknown表示該節(jié)點心跳網(wǎng)絡異常。mmmount━掛載GPFS文件系統(tǒng)使用GPFS前，需首先保證各節(jié)點GPFSdaemon已啟動，且狀態(tài)正常。在本機mount所有文件系統(tǒng)：#mmmountall在本機mount單個文件系統(tǒng)。當前共建有1個文件系統(tǒng)，名稱為/gpfs1:#mmmount/gpfs1欲在全部節(jié)點mount全部文件系統(tǒng)：#mmmountall–a檢查GPFS文件系統(tǒng)掛載情況#mmlsmountall-L至此可正常使用GPFS。mmumount━文件系統(tǒng)卸載在節(jié)點關閉前，需umountGPFS文件系統(tǒng)，關閉GPFSdaemon。卸載一個GPFS文件系統(tǒng)：#mmumount/gpfs1卸載本節(jié)點的所有GPFS文件系統(tǒng)：#mmumountall在所有節(jié)點上都卸載一個GPFS文件系統(tǒng)：#mmumount/gpfs1–a在所有節(jié)點上都卸載所有GPFS文件系統(tǒng)： #mmumountall–ammgetstate━GPFS系統(tǒng)狀態(tài)信息查詢各個節(jié)點GPFS進程運行情況查詢：#mmgetstate–L–ammlscluster━顯示GPFS群集配置信息#mmlsclustermmlsconfig━顯示GPFS參數(shù)配置信息#mmlsconfigmmlsmount━顯示GPFS文件系統(tǒng)狀態(tài)信息#mmlsmountall-Lmmlsnsd━顯示GPFS群集使用磁盤的信息#mmlsnsd#mmlsnsd–m#mmlsnsd–Xmmlsfs━列示GPFS文件系統(tǒng)屬性#mmlsfsgpfs1mmdelfs━刪除一個GPFS文件系統(tǒng)刪除一個GPFS文件系統(tǒng)之前必須先卸載該文件系統(tǒng)，然后才能刪除：檢查有哪些節(jié)點mount了這個GPFS文件系統(tǒng)：#mmlsmountgpfs1–L卸載該文件系統(tǒng)：#mmumountgpfs1–a刪除該文件系統(tǒng)：#mmdelfsgpfs1mmfsck━檢查和修復GPFS文件系統(tǒng)使用mmfsck命令來檢查和修復GPFS文件系統(tǒng)，mmfsck命令有兩種模式：online和offline。在online模式下使用-o參數(shù)：#mmfsckgpfs1-o在offline模式下，需要先把GPFS文件系統(tǒng)卸載。#mmfsckgpfs1mmlsdisk━存儲整機故障后修復方法如果出現(xiàn)某臺存儲整體故障，在其恢復正常后，從GPFS層面需要同步數(shù)據(jù)。具體步驟如下：首先檢查GPFS是否已將磁盤標記為失效，命令為“mmlsdiskgpfs文件系統(tǒng)名”#mmlsdisk[gpfs1]示例輸出如下：#mmlsdiskgpfs1diskdriversectorfailureholdsholdsstoragenametypesizegroupmetadatadatastatusavailabilitypoolu_100g_1_1090nsd5121090yesyesreadyupsystemu_100g_1_2317nsd5122317yesyesreadyupsystemu_100g_2_1090nsd5121090yesyesreadyupsystemu_100g_2_2317nsd5122317yesyesreadyupsystem正常情況下，availability一列都應該顯示為up，如果出現(xiàn)down，表示該磁盤發(fā)生異常。檢查GPFS文件系統(tǒng)都處于mount狀態(tài)：#mmlsmountall–L檢查GPFS進程在所有的節(jié)點都運行正常：#mmgetstate–aLs對于發(fā)生磁盤異常的文件系統(tǒng)，在確認故障解除后，需要將磁盤重新標記為正常狀態(tài)，命令為“mmchdiskgpfs文件系統(tǒng)名start-a”。例如，若發(fā)現(xiàn)文件系統(tǒng)gpfs1的磁盤發(fā)生異常，用以下命令修復：#mmchdisk/dev/gpfs1start–a3.確認所有處于down狀態(tài)的磁盤都已經(jīng)標記為up：#mmlsdiskgpfs1挑選在系統(tǒng)不繁忙的時間重新布局數(shù)據(jù)，命令為“mmrestripefs文件系統(tǒng)名-b”。例如，若gpfs1需要重新布局數(shù)據(jù)，用以下命令：#mmrestripefsgpfs1–b–Nallfileset目錄配置命令GPFS文件系統(tǒng)中，fileset對于相對于普通目錄來講，具有更多的可配置性（如，可以對該fileset限制使用空間，進行策略設置等）。在需要對目錄進行容量限制時，需要先創(chuàng)建fileset，link到指定位置。步驟如下：#mmcrfilesetgpfs1test創(chuàng)建名為test的fileset#mmlinkfilesetgpfs1test-J/gpfs1/test將testfilesetlink到/gpfs1/test.注意，不能將filesetlink到一個已存在的目錄。#mmunlinkfilesetgpfs1testunlinktestfileset。此時/gpfs1/test將不可見，但這一目錄內(nèi)的數(shù)據(jù)內(nèi)容依然存在。#mmlinkfilesetgpfs1test-J/gpfs1/test2再次將testfilesetlink到/gpfs1/test2。相當于對之前的/gpfs1/test目錄改名為/gpfs1/test2#mmdelfilesetgpfs1test刪除該fileset，里面的數(shù)據(jù)將被清空quota-配額功能使用通過配額功能，可以限制使用的空間以及所創(chuàng)建的文件個數(shù)。GPFS可以對用戶、用戶組以及fileset設置配額。當某用戶和某目錄一一對應（如某一用戶的home目錄）時，可以對該用戶設置配額，操作簡單。如果某一目錄被多個用戶使用，建議創(chuàng)建fileset，將其link到所需位置，對該fileset設置配額。如需對用戶usr進行quota設置，可運行如下命令：#mmedquota-uusr顯示用戶的使用情況以及quota限制，可運行如下命令：#mmlsquota-uusr如需對gpfs1的filesettest設置配額，可運行如下命令：#mmdeduota-jgpfs1:test現(xiàn)在以qta用戶為例，顯示用戶級別quota設置方法。#mmedquota-uqta運行該命令后進入文本編輯界面，操作方式同vi，紅色部分為修改過的區(qū)域，修改后退出即可***EditquotalimitsforUSRqtaNOTE:blocklimitswillberoundeduptothenextmultipleoftheblocksize.blockunitsmaybe:K,M,orG.gpfs1:blocksinuse:1024K,limits(soft=512K,hard=1024K)inodesinuse:2,limits(soft=1,hard=2)gparch:blocksinuse:0K,limits(soft=0K,hard=0K)inodesinuse:0,limits(soft=0,hard=0)依據(jù)上表的限制，用戶qta可使用的存儲空間不可超過1024K，可暫時超過512K。用戶可使用inode不可超過2。其中的soft,hard值為實際的文件值，如10485760k即為限制10G文件系統(tǒng)大小，這里注意當replication為2時，限額也需要為實際的兩倍；接下來顯示測試過程：#mkdir1#touch2#touch3touch:cannottouch`3':Diskquotaexceeded說明inodequota生效#rm-rf1#ddif=/dev/zeroof=1bs=512kcount=11+0recordsin1+0recordsout524288bytes(524kB)copied,0.002072seconds,253MB/s#ddif=/dev/zeroof=2bs=513kcount=1dd:writing`2':Diskquotaexceeded1+0recordsin0+0recordsout0bytes(0B)copied,0.002187seconds,0.0kB/s說明blocksizequota生效查看qta用戶當前使用情況以及quota限制#mmlsquota-uqtaBlockLimits|FileLimitsFilesystemtypeKBquotalimitin_doubtgrace|filesquotalimitin_doubtgraceRemarksgparchUSRnolimitsgpuserUSR51251210240none|2120nonemmadddisk━增加磁盤當GPFS文件系統(tǒng)空間不足時，我們可以通過增加磁盤的方式來實現(xiàn)擴大GPFS文件系統(tǒng)的目的。最好能夠保證新加入的磁盤容量和原有磁盤容量相等。比如原GPFS文件系統(tǒng)有4個磁盤，都是100G容量，那么如果希望新增加4個磁盤，最好也都是100G容量。查看集群狀況，mmgetstate–a;mmdf/gpfs1;生成nsd;編輯NSD配置文件cat./nsd_addhdiskpower50:Ncore01_gpfs:::nsd_add1:hdiskpower51:Ncore02_gpfs:::nsd_add2:hdiskpower60:Ncore03_gpfs:::nsd_add3:hdiskpower61:Ncore014_gpfs:::nsd_add4:生產(chǎn)新NSD#mmcrnsd–F./nsd_add查看NSD磁盤#mmlsnsd將NSD加入到已有GPFS文件系統(tǒng)中#mmadddisk/gpfs1–F./nsd_add查看GPFS文件系統(tǒng)空間#mmdf/gpfs1重新分布數(shù)據(jù)：重新分布數(shù)據(jù)時會造成整體性能下降，所以請選擇合適的時間窗口。#mmrestripefs/gpfs1–b確認新加入的disk#mmlsnsdmmdeldisk━刪除磁盤當GPFS文件系統(tǒng)空間過大，我們希望減小一部分空間時，可以通過刪除GPFS的磁盤實現(xiàn)。刪除磁盤前需要檢查是否有足夠的空余空間，比如你想刪除400GB的磁盤空間，那么至少需要有600GB的空余空間才能保證此操作成功。查看已有nsd#mmlsnsd-m從GPFS文件系統(tǒng)中刪除nsd#mmdeldisk/gpfs1nsd_add4確認gpfs中已無刪除的NSD#mmlsdisk/gpfs1最后刪除nsd#mmdelnsdnsd_add4確認已刪除nsd#mmlsnsdmmaddnode━增加節(jié)點我們可以使用mmaddnode命令增加一個新節(jié)點到GPFS群集中。#mmaddnode–NNcore05_gpfs確認該節(jié)點已經(jīng)加入到GPFS群集：#mmlscluster接收license:#mmchlicenseserver–acceptNcore05_gpfsmmdelnode━刪除節(jié)點注意事項：被刪除節(jié)點不能是GPFS群集的主備配置服務器。被刪除節(jié)點不能是NSDserver。停止被刪除節(jié)點的GPFS進程：#mmshutdown從GPFS群集中刪除節(jié)點：#mmdelnode–NNcore05_gpfsmmchconfig━修改群集參數(shù)有些GPFS群集參數(shù)修改后需要重新啟動GPFS進程才能生效。#mmchconfigpagepool=4Gmmchfs━變更GPFS文件系統(tǒng)比如增加一個拷貝副本：#mmchfsgpfs1–r2–m2–T/gpfs1日常診斷命令在GPFS運行不正常時，可采用如下命令進行基本診斷：序號分類檢查項目檢查方法1前提日期時鐘訪問date查看日期時鐘是否一致；ssh訪問所有節(jié)點，確?？梢詿o密碼登錄；hosts表一致；2底層存儲檢查所有I/O節(jié)點是否可識別到所有磁盤，個數(shù)、容量是否正常。powermtdisplaydev=all3GPFSclusterGPFS集群間節(jié)點時間是否同步exportWCOLL=/tmp/gpfs/config/nodesmmdshdate查看GPFScluster配置是否正確mmlscluster可檢查GPFSclustername,Primaryserver,Secondaryserver以及集群節(jié)點列表和角色。mmchcluster-p$NewPrimaryServermmchcluster-s$NewSecondaryServer各節(jié)點GPFSdaemon是否正常mmgetstate