2023學(xué)年完整公開(kāi)課版管理Hue

主講：侯磊目錄0102配置Hue管理Hue配置Hue1配置Hue為了使Hue和集群組件正常運(yùn)行，必須在Hue配置文件hue.ini(/usr/share/desktop/conf/hue.ini）中進(jìn)行配置。此文件由桌面、Hadoop、YARN、Beeswax、Pig編輯器、Oozie編輯器/儀表板、作業(yè)瀏覽器等幾個(gè)部分組成，可以在相應(yīng)的部分下指定與每個(gè)組件相關(guān)的配置參數(shù)。Hue配置文件包含了關(guān)鍵Hadoop服務(wù)的地址和端口，如HDFS、YARN、Oozie和Hive。配置Hue配置桌面功能在<desktop>部分下，secret_key參數(shù)用于配置Internet瀏覽器Cookie會(huì)話的安全性，可以是30～60個(gè)字符之間的任何隨機(jī)字符串。在<desktop>部分，還必須如下定義Web主機(jī)及其端口:httphost:=hadoop01.localhosthttpport=8888配置Hue還必須設(shè)置Web服務(wù)的URL來(lái)訪問(wèn)Hue:webhdfs_url=http://hadoop01.localhost:50070/v1/可以將應(yīng)用程序列入黑名單，通過(guò)在[desktop]部分下添加以下內(nèi)容，從而防止應(yīng)用程序通過(guò)Hue在集群中運(yùn)行:#Comma-separatedlistofappsnottoloadatserverstartup.#Notethatrdbmsisthenameusedfordbquery.app_blacklist=spark,impala,sqoop,rdbms重新啟用黑名單應(yīng)用程序很容易，只需從屬性app_blacklist指定的黑名單應(yīng)用程序列表中刪除應(yīng)用程序名稱，然后重新啟動(dòng)Hue服務(wù)器即可。配置Hue配置Hadoop集群(Hadoop和YARN)Hadoop集群配置分為兩部分:用于配置HDFS的hadoop部分和用于配置YARN的yarn_clusters部分。請(qǐng)注意以下幾點(diǎn):在yarn_clusters部分下的submit_to=True配置允許Oozie將YARN作業(yè)提交給Hadoop集群。ResourceManager通常在http://localhost:8088上運(yùn)行。必須指定ProxyServer和JobHistoryServer相關(guān)的信息，以便稍后可以列出并終止運(yùn)行的YARN應(yīng)用程序，并通過(guò)Hue的作業(yè)瀏覽器檢索其日志。配置Hue配置Oozieliboozie部分是通過(guò)指定運(yùn)行Oozie服務(wù)的URL在Hue中配置Oozie的工作流。在后臺(tái)啟動(dòng)Ooize服務(wù)后，可以通過(guò)Hue提交和監(jiān)控Ooize的工作流，[liboozie]#TheURLwherethe0ozieserviceruns.Thisisrequiredinorderfor#userstosubmitjobs.Emptyvaluedisablestheconfigcheck.oozie_url=http://hadoop02.localdomain:11000/oozie配置Hue配置Beeswax需要運(yùn)行HiveServer2實(shí)例，才能通過(guò)Hue訪問(wèn)Hive。如果HiveServer2在不同的服務(wù)器上運(yùn)行，則將hive-site.xml從該服務(wù)器復(fù)制到運(yùn)行Hue的服務(wù)器是個(gè)好主意。這是為了確保Hue了解安全性和其他自定義HiveServer2配置屬性。在hue.ini文件的hive部分中，需要設(shè)置兩個(gè)重要的屬性。hive_server_host=hadoop01.localdomain:運(yùn)行HiveServer2的服務(wù)器hive_serverport=10000:HiveServer2Thrift服務(wù)器運(yùn)行的端口配置Hue配置ZooKeeper指定以下設(shè)置來(lái)配置ZooKeeper系列:[zookeeper][[clusters]][[[default]]]配置Hue#Zookeeperensemble.CommaseparatedlistofHost/Port.#e.g.localhost:2181,localhost:2182,localhost:2183host_ports=hadoop02.localdomain:2181#TheURLoftheRESTcontribservice(requiredforznodebrowsing)rest_url=http://hadoop02.localdomain:9998配置Hue后，可以開(kāi)始使用Hue了。管理Hue2管理Hue運(yùn)行中的Hue服務(wù)器日常不需要太多管理。完成上述的Hue配置后，需要知道如何啟動(dòng)和停止Hue服務(wù)器。在本節(jié)中，介紹如何啟動(dòng)和停止Hue服務(wù)器?？梢允褂胹upervisor命令啟動(dòng)Hue服務(wù)器，如下所示:$/usr/local/hue/build/env/bin/supervisor管理Hue還可以指定–d開(kāi)關(guān)以在守護(hù)程序模式下啟動(dòng)Hue?？梢园慈缦路绞絾?dòng)和停止Hue服務(wù)器:$sudo/etc/init.d/servicehuesta