《Hadoop技術原理》課件-2.Hadoop環(huán)境設置

Hadoop技術原理Hadoop環(huán)境設置安裝模式01三種安裝模式01三種安裝模式和特點模式概念特點用途單機模式Hadoop默認模式1.沒有分布式文件系統(tǒng)HDFS2.MapReduce處理的是本地Linux的文件數(shù)據(jù)一般僅用于本地MapReduce程序的調(diào)試偽分布模式是在單機上，模擬一個分布式的環(huán)境具備Hadoop的主要功能常用于調(diào)試程序完全分布式模式也叫集群模式，是將Hadoop運行在多臺機器上，各個機器按照相關配置運行相應的hadoop守護進程在多臺機器上運行，是真正的分布式環(huán)境常用于生產(chǎn)三種安裝模式02三種安裝模式的配置差異單機模式配置項三種安裝模式03三種安裝模式的配置差異偽分布模式配置項三種安裝模式04三種安裝模式的配置差異完全分布模式配置項Hadoop安裝02Hadoop安裝01單機模式安裝特點：沒有HDFS、只能測試MapReduce程序MapReduce處理的是本地Linux的文件數(shù)據(jù)安裝前的準備工作01Linux安裝LinuxCentos7x6402防火墻關閉防火墻03JDK安裝JDK04ssh-server安裝ssh-servcer05安裝包（1）獲取安裝包（2）解壓（3）配置環(huán)境變量Hadoop安裝02單機模式安裝安裝配置過程及測試01修改配置hadoop-env.sh02測試MapReduce

使用：hadoop-mapreduce-examples-2.7.3.jarHadoop安裝03偽分布模式安裝特點：是在單機上，模擬一個分布式的環(huán)境具備Hadoop的主要功能啟動的進程：HDFS:NamenodeDatanodeSecondaryNamenodeYarn:ResourcemanagerNodemanagerHadoop安裝04偽分布模式安裝安裝前的準備01Linux安裝Linux02防火墻關閉防火墻03JDK安裝JDK04ssh-server安裝ssh-servcer05安裝包（1）獲取安裝包（2）解壓（3）配置環(huán)境變量06其他配置主機名設置免登錄Hadoop安裝05SSH免密登錄原理非對稱加密算法：公鑰加密（給別人）、私鑰解密給自己serverAserverB1.首先生成一對密鑰ssh-keygen-t.....2.將公鑰copy給serverB追加為authorized_keysssh-copy-id-i......3.serverA向serverB發(fā)送一個連接請求，信息包括用戶名、IP等4.查找authorized_keys中，如有相應的用戶名和IP，serverB會隨機生成一個字符串:asdf5.serverB將使用公鑰對字符串a(chǎn)sdf進行加密，然后發(fā)送給serverA6.得到serverB發(fā)來的消息后，會使用私鑰進行解密，然后將解密后的字符串發(fā)送給serverB7.接受到解密后的字符串會跟先前生成的字符串進行對比，若一致，就允許免登錄公鑰私鑰公鑰(authorized_keys)Hadoop安裝0601修改配置參考文檔02格式化hdfsnamenode-format03啟動/停止start-all.shstop-all.sh04測試看進程通過Web界面：HDFS：50070Yarn：8088偽分布模式安裝安裝配置過程及測試Hadoop安裝07偽分布模式安裝訪問HDFS打開Chrome瀏覽器，地址欄中輸入：主機名:50070Hadoop安裝08偽分布模式安裝訪問Yarn打開Chrome瀏覽器，地址欄中輸入：主機名:8088Hadoop安裝09完全分布模式安裝特點：用在正式的分布式環(huán)境，用于生產(chǎn)安裝規(guī)劃NamenodeDatanodeDatanodeIP:192.168.1.51主機名：node1IP:192.168.1.52主機名：node2IP:192.168.1.53主機名：node3Hadoop安裝10完全分布模式安裝安裝前的準備工作01Linux安裝Linux02防火墻關閉防火墻03JDK安裝JDK04ssh-server安裝ssh-servcer05安裝包（1）獲取安裝包（2）解壓（3）配置環(huán)境變量06其他(1)設置主機名(2)安裝NTP網(wǎng)絡時間服務(3）任兩臺機器免密碼登錄Hadoop安裝11完全分布模式安裝安裝配置過程及測試01修改配置參考配置文檔02拷貝配置將配置復制到其