2023學(xué)年完整公開課版hdfs實戰(zhàn)項目2

hdfs項目實戰(zhàn)2hdfs項目實戰(zhàn)3hdfs項目實戰(zhàn).Hadoop集群中的主機在某些情況下會出現(xiàn)宕機或者系統(tǒng)損壞的問題，一旦遇到這些問題，HDFS文件系統(tǒng)中的數(shù)據(jù)文件難免會產(chǎn)生損壞或者丟失，為了保證HDFS文件系統(tǒng)的可靠性，需要將集群的冗余復(fù)制因子修改為5，在LinuxShell中使用“vi”命令修改相應(yīng)的配置文件以及參數(shù)信息，完成后，重啟相應(yīng)的服務(wù)。vi/etc/hadoop/-129/0/hdfs-site.xml修改：<property><name>dfs.replication</name><value>5</value></property>4hdfs項目實戰(zhàn)使用命令查看hdfs文件系統(tǒng)中/tmp目錄下的目錄個數(shù)，文件個數(shù)和文件總大小[hdfs@masterroot]$hadoopfs-count/tmp/1664344/tmp5hdfs項目實戰(zhàn).Hadoop集群中的主機在某些情況下會出現(xiàn)宕機或者系統(tǒng)損壞的問題，一旦遇到這些問題，HDFS文件系統(tǒng)中的數(shù)據(jù)文件難免會產(chǎn)生損壞或者丟失，為了保證HDFS文件系統(tǒng)的可靠性，現(xiàn)需要在先電大數(shù)據(jù)平臺的WEB界面將集群的冗余復(fù)制因子修改為56hdfs項目實戰(zhàn)為了防止操作人員誤刪文件，HDFS文件系統(tǒng)提供了回收站的功能，但過多的垃圾文件會占用大量的存儲空間。要求在LinuxShell中使用“vi”命令修改相應(yīng)的配置文件以及參數(shù)信息，關(guān)閉回收站功能。[hdfs@master

~]$

vi

/etc/hadoop/-129/0/core-site.xml

7hdfs項目實戰(zhàn)

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:8020</value>

<final>true</final>

</property>

<property>

<name>erval</name>

<value>0</value></property>為了防止操作人員誤刪文件，HDFS文件系統(tǒng)提供了回收站的功能，但過多的垃圾文件會占用大量的存儲空間。要求在LinuxShell中使用“vi”命令修改相應(yīng)的配置文件以及參數(shù)信息，關(guān)閉回收站功能。8hdfs項目實戰(zhàn)重啟相應(yīng)的服務(wù)/usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh

--config

/usr/hdp/current/hadoop-client/conf

stop

{namenode/datenode}/usr/hdp/current/hadoop-client/sbin/hadoop-daemon.sh

--config