每周學(xué)習(xí)總結(jié)10hadoop管理命令.doc

1.Hadoop管理命令實(shí)踐報(bào)告:Dfsamin是一個(gè)用來(lái)獲取HDFS文件系統(tǒng)實(shí)時(shí)狀態(tài)信息的多任務(wù)工作，具有對(duì)于HDFS文件系統(tǒng)管理操作的功能。在擁有超級(jí)用戶權(quán)限的前提下，管理員可以在終端中通過(guò)Hadoop dfsadmin對(duì)于其進(jìn)行功能方法的調(diào)用。主要命令如下：-report 主要用來(lái)獲取文件系統(tǒng)的基本信息和統(tǒng)計(jì)信息-safemode enter!leave!get!wait 安全模式的維護(hù)命令。安全模式是NameNode的一種狀態(tài)。在安全模式狀態(tài)下:1) 不接受對(duì)于空間名字的更改2) 無(wú)法對(duì)數(shù)據(jù)塊進(jìn)行刪除以及復(fù)制操作NameNode會(huì)在Hadoop系統(tǒng)啟動(dòng)之后自動(dòng)開(kāi)啟安全模式，一旦當(dāng)配置塊滿足最小百分比的副本數(shù)條件時(shí)，Hadoop系統(tǒng)會(huì)自動(dòng)關(guān)閉安全模式。同時(shí)根據(jù)用戶的需要也可以手動(dòng)關(guān)閉安全模式或者選擇手動(dòng)開(kāi)啟安全模式。-refreshNode 重新讀取hosts和exclude，以實(shí)現(xiàn)在添加新的節(jié)點(diǎn)后可以使系統(tǒng)直接進(jìn)行識(shí)別。-finalizeUpgrade 用于終結(jié)HDFS文件系統(tǒng)的升級(jí)操作。DataNode會(huì)刪除上一個(gè)版本的工作目錄。在DataNode完成操作之后，NameNode也會(huì)執(zhí)行這個(gè)操作。-upgradeProgress status!details!force 分別實(shí)現(xiàn)獲取當(dāng)前系統(tǒng)升級(jí)的狀態(tài)，升級(jí)狀態(tài)過(guò)程中的細(xì)節(jié)，強(qiáng)制進(jìn)行系統(tǒng)的升級(jí)。-metasave filename 將hadoop系統(tǒng)中的管理節(jié)點(diǎn)的數(shù)據(jù)結(jié)構(gòu)中的主要部分保存到hadoop.log.dir文件中提前預(yù)設(shè)好的屬性中指定的的對(duì)應(yīng)文件名的目錄上。在此文件中的主要內(nèi)容如下：1) 管理節(jié)點(diǎn)接收到的數(shù)據(jù)節(jié)點(diǎn)的正常工作的心跳2) 被復(fù)制的數(shù)據(jù)塊的等待狀態(tài)3) 被復(fù)制的數(shù)據(jù)塊的執(zhí)行狀態(tài)4) 確定要被刪除的數(shù)據(jù)塊的等待狀態(tài)-setQuota 主要用作為每個(gè)指定路徑下的文件目錄設(shè)定指定的配額。目的是為了強(qiáng)制設(shè)定文件目錄的名字的字節(jié)數(shù)。如果出現(xiàn)以下情況將會(huì)對(duì)Hadoop系統(tǒng)報(bào)出錯(cuò)誤信息:1) 文件目錄的名字不是一個(gè)正整數(shù)2) 當(dāng)前的操作用戶不具有管理員權(quán)限3) 文件目錄不存在或者此路徑指向的是一個(gè)文件而非目錄4) 當(dāng)設(shè)定好的目錄生效時(shí)會(huì)超出新設(shè)定的配額-clrQuota . 為每個(gè)已經(jīng)分配好的指定路徑上的文件目錄清除已經(jīng)設(shè)定好的配額。當(dāng)出現(xiàn)以下情況將會(huì)對(duì)Hadoop系統(tǒng)報(bào)出錯(cuò)誤信息:1) 此目錄指定的目錄不存在或者該目錄為一個(gè)文件2) 當(dāng)前的操作用戶不具有管理員權(quán)限另外一種情況為如果此文件目錄如果先前沒(méi)有設(shè)定配額，則使用此操作不會(huì)向系統(tǒng)報(bào)錯(cuò)-help cmd 顯示對(duì)于在參數(shù)中給定的命令相關(guān)的幫主信息，如果在參數(shù)中沒(méi)有給出指定的命令，將會(huì)顯示出所有命令的幫主信息。1.1 文件系統(tǒng)驗(yàn)證在Hadoop系統(tǒng)中提供了一個(gè)用于驗(yàn)證HDFS文件系統(tǒng)中的文件是否可以完整讀取的的驗(yàn)證命令fsck。主要用于檢測(cè)文件是否在數(shù)據(jù)節(jié)點(diǎn)的文件中丟失，以及檢測(cè)對(duì)于副本本身的要求過(guò)高還是過(guò)低。1.1.1 Fsck的工作機(jī)理Fsck是一款基于Hadoop的SHELL編程命令，通過(guò)參數(shù)來(lái)指定檢查的文件以。Fsck會(huì)遞歸檢查整個(gè)HDFS文件系統(tǒng)的命名空間，首先從文件系統(tǒng)的root目錄開(kāi)始檢測(cè)然后檢測(cè)可以找到的所有文件，并且在驗(yàn)證完畢后對(duì)于這個(gè)查找到的文件進(jìn)行一個(gè)標(biāo)記。FSCK對(duì)于一個(gè)文件的檢測(cè)主要從可用性和一致性入手。 下面為Fsck的輸出屬性圖：1.1.2 Fsck輸出參數(shù)說(shuō)明：(1)Over-replicated blocks:用來(lái)標(biāo)識(shí)所擁有的副本塊數(shù)已經(jīng)超出自身所屬文件的副本數(shù)配額限定的文件。HDFS文件系統(tǒng)在出現(xiàn)這種情況后系統(tǒng)會(huì)根據(jù)自身副本刪除機(jī)制對(duì)多余的副本進(jìn)行刪除。(2)Under-replicated blocks: 用來(lái)標(biāo)識(shí)所擁有的副本塊數(shù)未達(dá)到自身所屬文件的副本數(shù)要求的文件。HDFS文件系統(tǒng)在出現(xiàn)這種情況后系統(tǒng)會(huì)根據(jù)自身副本創(chuàng)建機(jī)制自動(dòng)創(chuàng)建副本直到到達(dá)文件要求的副本數(shù)?？梢酝ㄟ^(guò)執(zhí)行dfsadmin metasave SHELL命令來(lái)獲取當(dāng)前正在被復(fù)制的塊的信息。(3)Misrepilcated blocks:用來(lái)標(biāo)識(shí)云存儲(chǔ)系統(tǒng)中不符合存儲(chǔ)位置策略的塊。比如說(shuō)副本因子為3，則代表至少擁有2個(gè)副本不在同一個(gè)機(jī)架上。而如果出現(xiàn)了一個(gè)數(shù)據(jù)塊的3個(gè)副本都在同一個(gè)機(jī)架上則此塊將被標(biāo)識(shí)。HDFS系統(tǒng)不會(huì)自動(dòng)處理這種標(biāo)識(shí)，需要我們手動(dòng)設(shè)這副本因子的個(gè)數(shù)。(4)Corrupt blocks:用來(lái)標(biāo)識(shí)所有副本不可用的數(shù)據(jù)塊，只要數(shù)據(jù)塊的副本可用，它就不會(huì)被標(biāo)識(shí)。Namenode將會(huì)使用沒(méi)有被Corrupt blocks標(biāo)識(shí)的數(shù)據(jù)塊來(lái)進(jìn)行復(fù)制。以達(dá)到目標(biāo)值。(5)Missing replicas:用來(lái)標(biāo)識(shí)機(jī)群中沒(méi)有副本存在的數(shù)據(jù)塊。Corrupt blocks 和Missing replicas是普遍受到最多關(guān)注的輸出參數(shù)。出現(xiàn)以上標(biāo)識(shí)則表明出現(xiàn)了數(shù)據(jù)不一致性和可