linux集群上配置Ganglia監(jiān)控系統(tǒng)并監(jiān)控solr

1、文檔版本信息文檔版本號更改內(nèi)容簡介更改人日期V1.0部署文檔初稿梁永星2014/09/10V1.1增加技術(shù)技巧以及問題總結(jié)梁永星2014/09/11V1.2增加集群分組部署梁永星2014/09/12V1.3增加Ganglia對solr的監(jiān)控梁永星2014/09/15安裝環(huán)境CentOSServer6.4安裝 gmetad 的機(jī)器：02安裝 gmond 的機(jī)器：02,03,04安裝瀏覽監(jiān)控 web 頁面的機(jī)器：02二、GangliaGanglia 的介紹Ganglia 監(jiān)控套件包括三個主要部分：g

2、mondgmetad,和網(wǎng)頁接口，通常被稱為ganglia-web。gmond 是一個守護(hù)進(jìn)程，他運(yùn)行在每一個需要監(jiān)測的節(jié)點(diǎn)上，收集監(jiān)測統(tǒng)計(jì)，發(fā)送和接受在同一個組播或單播通道上的統(tǒng)計(jì)信息。gmetad 也是一個守護(hù)進(jìn)程，他定期檢查 gmonds,從那里拉取數(shù)據(jù)，并將他們的指標(biāo)存儲在 RRD儲引擎中。它可以查詢多個集群并聚合指標(biāo)。RRD&被用于生成用戶界面的web 前端。ganglia-web 顧名思義，他應(yīng)該安裝在有 gmetad 運(yùn)行的機(jī)器上，以便讀取 RRD件。一般來說一個集群的每臺機(jī)器上都需要安裝 gmond 只要負(fù)責(zé)展示 web 界面的機(jī)器安裝了 gmetad 即可。Gangl

3、ia 采用 InternetIPv4 類 D 地址中的的組播進(jìn)行數(shù)據(jù)請求。主要是為了實(shí)現(xiàn)一對多節(jié)省帶寬的需要。其實(shí)現(xiàn)原理為 gmetad 發(fā)送一個請求到一個組播地址，由于是組播地址，所以 gmetad 只需發(fā)送一次請求包即可完成對所有 gmond 的輪詢。（如果是單播，則 Ganglia 需要向每臺服務(wù)器均發(fā)送一次輪詢請求，這樣的話，集群數(shù)量多了，主服務(wù)器光發(fā)送就會占用不小的帶寬。而 Ganglia 本身是為大規(guī)模集群所做的 HPC 而生的，如果占用很高的帶寬和占用很大量的 CPU資源去處理網(wǎng)絡(luò)數(shù)據(jù)就不符合其設(shè)計(jì)理念了。）然后 gmond過這個請求將采集到的數(shù)據(jù)返回給 gmetad,gmeta

4、d 將數(shù)據(jù)保存在 rrd 數(shù)據(jù)庫中，然后通過 web 界面繪圖展示。三、安裝 GangliaGanglia在服務(wù)器端：# # 安裝基礎(chǔ)的開發(fā)包直接在 linux 中使用下面命令下載，會有幾部提示，都按：y 全部下載即可yuminstallywgetapr-develapr-utilcheck-develcairo-develpango-devellibxml2-develrpmbuildglib2-develdbus-develfreetype-develfontconfig-develgcc-c+expat-develpython-devellibXrender-develrrdtool*#

5、 # 安裝 jmxtransjmxtrans執(zhí)行完之后，再以此執(zhí)行以下的與語句，在上面安裝執(zhí)行完畢之后，執(zhí)行以下的幾個命令：rpm-ivhhttp:/ # 安裝繪圖工具：rrdtool它用于數(shù)據(jù)存儲和可視化yuminstallrrdtool# # 安裝相應(yīng)的 gangliagangliayuminstallganglia*執(zhí)行這個命令的時候也會有幾個提示，Isthisoky/N:都按：y 全部下載即可至此，相應(yīng)的 Ganglia 以及其需要的支撐軟件全部安裝完畢。在客戶端：除了不需要安裝 rrdtoolrrdtool 這個之外，其他的都需要進(jìn)行安裝，由于部署的是監(jiān)控 solr 以及集群 cpu

6、、memory、tcp 等基礎(chǔ)信息，所以不僅需要啟動 gmond 服務(wù)，還需要啟動 jmxtrans 的服務(wù)。因?yàn)樵趈mxtrans 的路徑下增加了 solr.json 配置文件（針對 solr 監(jiān)控的配置信息）。四、配置相應(yīng)的文件配置 gmetad.conf 文件（ganglia 服務(wù)端配置文件）vim/etc/ganglia/gmetad.conf增力口 data_sourcesolrcluster”data_soucce10.11.1G2對網(wǎng)的工F地增為9打“機(jī)富的工F地年如果是集群環(huán)境配置，那么需要這樣配置：data_sourcesolrclusterlocalhos

7、tclnode1clnode2其中 localhost 可以為：，也可以是你本服務(wù)器實(shí)際的地址即：02,后面的 clnode1,clnode2 為集群內(nèi)的節(jié)點(diǎn)（注意：在主服務(wù)器上配置多個節(jié)點(diǎn)，使用這臺服務(wù)器去監(jiān)控集群中的所有節(jié)點(diǎn)的信息，我本地服務(wù)器默認(rèn)是 102,來監(jiān)控 102、103、104 這三臺服務(wù)器的信息）那么此時的 clnode1 和 clnode2 即需要在 03 和 104上的 gmnod.conf 中的 cluster 的 name 里配置。如下圖所示的配置。之后重新啟動gmetad.conf 和 gmode.conf

8、這兩個服務(wù)即可。data_sourcesolrclustersolrtest1solrtest2solrtest4注意：如果集群節(jié)點(diǎn)名字發(fā)生了改變，你需要修改集群節(jié)點(diǎn)管理器上的/etc/gmetad.conf文件，重啟所有節(jié)點(diǎn)上的 gmond,然后重啟集群節(jié)點(diǎn)管理器上的 gmetad 以使改變生效。data_source 中的每個節(jié)點(diǎn)都應(yīng)該向 Ganglia 提供相同的信息進(jìn)行監(jiān)視，因?yàn)?Ganglia使用對稱模式（多播）通訊，其中一個節(jié)點(diǎn)失效意味著 Ganglia 可以繼續(xù)連接到下一個節(jié)點(diǎn)，因?yàn)檫@個原因，每個 data_source 條目中不一定要指定集群中的每個主機(jī)。配置 gmond.co

9、nf 文件（ganglia 客戶端配置文件）vim/etc/ganglia/gmond.conf修改 cluster 中的 name,其中 name 可以是隨意的，如下圖：/*小Theqlu3工堂口口名匚二tbntf寸specifiedwillheused。pm二匚ofthe*ragthatwillwrapallhantmt口。Lu口匚Edbythisinstance*/cliiatgrIln.ajne-solreluaterHowner-unspecified1latlonq-unspecifiedurl=ftiin9pecified1,1這塊配置的名稱就會在首頁面的節(jié)點(diǎn)信息顯示出來，標(biāo)示對

10、應(yīng)的服務(wù)器的節(jié)點(diǎn)名稱。注意：切忌，這里需要注意一點(diǎn)，我這里有 3 臺服務(wù)器，那么對應(yīng)的 name 值在 3臺服務(wù)器上需要都要一致，因?yàn)樗?name 相同的節(jié)點(diǎn)將認(rèn)為在同一個集群里，那么需要在配置/etc/ganglia/gmetad.conf 文件的時候，對應(yīng)的名稱也需要和這個 name 名稱一致。【在問題總結(jié)處，有對應(yīng)的各個塊的詳細(xì)解釋】修改 ganglia.conf 文件（ganglia 服務(wù)配置文件）vim/etc/httpd/conf.d/ganglia.conf 將 Denyfromall 修改為 Allowfromalliliis/ganglia/usr/aliart/gangl

11、ialllowfromall|Allowfrom10,38,11,102AllowfTOlIll：1LoGationQ這即的稈?a 是此處的咎字要和下批配置的名礴定要致JI中R士h*口1儂民為*111ill,對的的IQ3811102也可以為以人的127。 。1.因?yàn)橥醋阒煌ㄐ∈┌阍黾?solr.json 文件(針對監(jiān)控內(nèi)容配置文件)配置 jmxtrans 對應(yīng)的監(jiān)控 solr 的 json 文件，即在/var/lib/jmxtrans 文件夾下創(chuàng)建一個solr.json 文件，在其中里面新增內(nèi)容如下：(加紅色的地方需要修改，其中 alias 在每臺服務(wù)器上都是用 solrtestl,這只不過是

12、一個別名，標(biāo)志著這臺服務(wù)器下的服務(wù)信息。但是必須要保證下面標(biāo)紅色的所有 alias 都要一致才可以)(servers:(host:02,alias:solrtest1,port:3000,queries:(obj:java.lang:type=Memory,resultAlias:solrtest1.heap,attr:HeapMemoryUsage,NonHeapMemoryUsage,outputWriters:(class:com.googlecode.jmxtrans.model.output.GangliaWriter,settings:groupName:Sol

13、r-JVM,host:1,port:8649,obj:java.lang:name=CMSOldGen,type=MemoryPool,resultAlias:solrtest1.cmsoldgen,attr:Usage,outputWriters:class:com.googlecode.jmxtrans.model.output.GangliaWriter,settings:groupName:Solr-JVM,host:1,port:8649,obj:java.lang:type=GarbageCollector,name=*,resultAlia

14、s:solrtest1.gc,attr:CollectionCount,CollectionTime,outputwriters:(class:com.googlecode.jmxtrans.model.output.GangliaWriter,settings:groupName:Solr-JVM,host:1,port:8649,obj:java.lang:type=Threading,resultAlias:solrtest1.threads,attr:DaemonThreadCount,PeakThreadCount,ThreadCount,TotalStarted

15、ThreadCount,outputWriters:class:com.googlecode.jmxtrans.model.output.GangliaWriter,settings:groupName:Solr-JVM,host:1,port:8649,obj:solr/collection1:type=queryResultCache,id=org.apache.solr.search.LRUCache,resultAlias:solrtest1.queryCache,attrwarmupTime,size,lookups,evictions,hits,hitratio

16、,inserts,cumulative_lookups,cumulative_hits,cumulative_hits,cumulative_hitratio,cumulative_inserts,cumulative_evictions,outputWriters:class:com.googlecode.jmxtrans.model.output.GangliaWriter,settings:groupName:Solr-JVM,host:1,port:8649,obj:solr/collection1:type=searcher,id=org.apache.solr.

17、search.SolrIndexSearcher,resultAlias:solrtest1.searcher,attr:maxDoc,numDocs,warmupTime,outputwriters:(class:com.googlecode.jmxtrans.model.output.GangliaWriter,settings:groupName:Solr-JVM,host:1,port:8649其中 1:8649 是 ganglia 默認(rèn)的多點(diǎn)傳輸通道五、啟動順序主服務(wù)啟動:啟動 apache 服務(wù)/etc/init.d/httpdstart（啟

18、動這個的時候可能會報(bào)出問題，請查看下面的問題總結(jié)）啟動 ganglia 服務(wù)端服務(wù)也即繪圖服務(wù)/etc/init.d/gmetadstart啟動 ganglia 客戶端服務(wù)也即數(shù)據(jù)收集服務(wù)/etc/init.d/gmondstart/jmx 的啟動/etc/init.d/jmxtransstart啟動 solr 的時候，需要加上一些有關(guān) solr 配置的參數(shù)?？梢栽谙鄳?yīng)的配置文件中將該參數(shù)加入啟動參數(shù)，例如我本機(jī)的是在：/etc/default/jetty 中加入的，如下圖所示:(711(711OCT-IhaOCT-Iha1 1324m工TffEni-CztHz=aLrts3zL:21：1,s

19、nlrtESt；:21G1P5clrt5:i12L-Zlrnlr.5cZr.2jt33e=/haie/MCJ/50LT/EOife/aqlr-I1jniaerveTnD3tnine=lC,3011-Dcou3UD-unagKnl;,jscroDt-Dccc.sui.jmaoDtE,pait=300Q=Dan3im,UiugEXiit.JLT.jurficte.auitifL：Mhae/sLr/mLr/bodeJEnY_CR=soh!JiTT?_LT*S=/r:JiTT?_LT*S=/r:zne；m二li/aolr/ncZT/IDC?增加的啟動參入如下:-Djava.rmi.server.hos

20、tname=02-Dcom.sun.management.jmxremote-Dcom.sun.management.jmxremote.port=3000-Dcom.sun.management.jmxremote.ssl=false-Dcom.sun.management.jmxremote.authenticate=false/solr 的啟動/etc/init.d/jettystart集群客戶端的啟動:啟動 ganglia 客戶端服務(wù)也即數(shù)據(jù)收集服務(wù)/etc/init.d/gmondstart/jmx 的啟動/etc/init.d/jmxtransstart/sol

21、r 的啟動/etc/init.d/jettystart（當(dāng)然在啟動 solr 服務(wù)的時候，也是需要將相應(yīng)的啟動參數(shù)配置到相應(yīng)的配置文件中）每個服務(wù)器上都要按照此順序進(jìn)行啟動，啟動之后在瀏覽器上輸入02/ganglia 就可以看到如下圖所示的效果了：MKSitLwdMLtirw.frIw.1I卜方的 3 個服務(wù)器監(jiān)控都會顯示出來，可以點(diǎn)進(jìn)去具體的一個查看詳情等信息。sLrvluterClusUrftepnrlforFri.12SepI47WOFIIFILCAItrldAqrHrrl醛-rChHi#BH#Mirth虹卡Un頓f”i4ir口5ft”loadHvr益?zhèn)€1

22、HliK9 i*.Htwr!r-tTUrLL.GTkriMVrjIw_rw1rufeh，rYL*ldl*BfhSM*IIplfl，”，戶1$(HiwilIQMilaElvUm，SiMl- MaCFOlii*g+rlrcij-:r6riiiETrLeqtioalawIA*4tIkrttan”MwcflF*4UW f1iFPccdRtwrry54MperrdIEwih*i.六、問題總結(jié)1 .啟動 jmxtrans 的時候，會報(bào)出無法檢測到對應(yīng)的服務(wù)器 home 內(nèi)容，即無法連接這是因?yàn)?jmxtrans 啟動的時候會從 hosts 文件中尋找對應(yīng) hostname 值白 ip 地址，此時如果尋找不

23、到，那么需要我們在 hosts 中增加上對應(yīng) hostname 對應(yīng)的本地 ip 地址，例如我增加如下：（注意：根據(jù)具體提示信息來進(jìn)行配置）2 .在/etc/ganglia/gmod.conf 文件中，各個段對應(yīng)的內(nèi)容意思如下：globals 段：gmond 的全局配置，一般不需要修改cluster 段：這一段是重要的一段，至少需要定義 name 變量，所有 name 相同的節(jié)點(diǎn)將認(rèn)為在同一個集群里，其他變量是對該集群的說明。host 段：只有一個變量，location,是對這個節(jié)點(diǎn)的一些說明udp_send_channel 段： 這也是很重要的一段， 可以定義多個這樣的段， 不過如果在通一局

24、域網(wǎng)內(nèi)，只有一個集群的環(huán)境下，這一段保持默認(rèn)也可以工作的很好。ganglia默認(rèn)采用多播發(fā)送監(jiān)控?cái)?shù)據(jù)，mcast_join 變量指定多播組。但是，并非所有環(huán)境都適合多播，例如，我的環(huán)境就不適合多播，幸運(yùn)的是，ganglia 也支持單播的方式，host 變量指定一臺 gmond 服務(wù)器接受監(jiān)控?cái)?shù)據(jù)。值得注意的是，mcast_join 和 host不能同時出現(xiàn)在一個 channel 里。 port 指定端口號， ttl 指定跳數(shù)一般為 1,如果需要經(jīng)過 gmond中轉(zhuǎn)，需要修改這個跳數(shù)。udp_recv_channel 段：對應(yīng)于 udp_send_channel 段，也可以設(shè)置多個。如果采用單播

25、的方式，需要注意 bind 變量指出的 ip,你的所有其他 gmond 可以訪問到，事實(shí)上，可以使用 tcp_accept_channel 段：指定一個端口，可以通過 TCP 的的方式，從這個端口讀取 XML 格式向監(jiān)控?cái)?shù)據(jù)modules 段和 collection_group 段：這兩段會在下一篇講擴(kuò)展 gmond 的文章中介紹七、集群的分組部署默認(rèn)配置下，Ganglia 會把所有東西放在一個 Grid 里面，也就是一個網(wǎng)格。大的集群，不分組。但是真實(shí)的服務(wù)器集群有各種功能，每個群分管不同的事務(wù)，全放一起就太亂了。也不好識別，所以需要分組使用。其實(shí) Ganglia 的分組很簡單

26、，就是分端口，不同的組配置不同的監(jiān)聽端口就完事了。我的 gmetad.conf 是這樣配置的。gmetaddata_sourceNamenode8:8653data_sourceDatanode7:8649data_sourcePortal3:8650data_sourceCollector5:8651data_sourceDB1:8652gridnameHadooprrd_rootdir/opt/modules/ganglia/html/rrds#配置rrd數(shù)據(jù)保存文件的路徑，給we

27、b界面用的，這個是固定的，最好放在web文件夾下,并賦予正確的權(quán)限case_sensitive_hostnames0數(shù)據(jù)來源有 5 個，這 5 個分別是每個組的組長，相當(dāng)于一道杠。但是組長是不需要配置gmetad 的，除非你要做多級組播收集數(shù)據(jù)。每個組長只需要分配不同的端口號就可以了。你可能會問， IP 不一樣， 端口一樣不行嗎？不行， 因?yàn)檫@個 IP 是單播 IP,相當(dāng)于一個路由指向， 而 Ganglia實(shí)際的數(shù)據(jù)傳輸是在多播 IP 上進(jìn)行的，而多播 IP 只有一個。在客戶端配置，如果你需要多級 gmetad,可以配多個多播 IP?？蛻舳伺渲镁捅容^復(fù)雜一些了。我只貼上需要修改的部分，其他都是

28、默認(rèn)就可以了gmondclustername=Portal#對應(yīng) gmetad 中的 Portal,名稱一定要寫對。owner=unspecifiedlatlong=unspecifiedurl=unspecified/*Feelfreetospecifyasmanyudp_send_channelsasyoulike.Gmondusedtoonlysupporthavingasinglechannel*/udp_send_channel#bind_hostname=yes#Highlyrecommended,soontobedefault.#Thisoptiontellsgmondtouse

29、asourceaddress#thatresolvestothemachineshostname.Without#this,themetricsmayappeartocomefromany#interfaceandtheDNSnamesassociatedwith#thoseIPswillbeusedtocreatetheRRDs.mcast_join=1port=8650#gmetad 中的 Portal 所分配的端口號。ttl=1/*Youcanspecifyasmanyudp_recv_channelsasyoulikeaswell.*/udp_recv_channe

30、lmcast_join=1port=8650bind=1/*Youcanspecifyasmanytcp_accept_channelsasyouliketoshareanxmldescriptionofthestateofthecluster*/tcp_accept_channelport=8650紅色部分就是 Portal 小組的端口，從 gmetad.conf 中可以看到，Portal 小組屬于 8650端口，那么相應(yīng)的在 gmond 中，也要將 udp 和 tcp 端口寫為 8650。如果是另外一個組的，就寫上在 gmetad 中配置的那個端口。

31、當(dāng)然，你可以把這個端口號想像為小組的代號?？赡芨美斫庖恍Ｔ偌由狭硗庖粋€組的成員 gmond 就更容易理解了clustername=DBowner=unspecifiedlatlong=unspecifiedurl=unspecified/*Thehostsectiondescribesattributesofthehost,likethelocation*/hostlocation=unspecified/*Feelfreetospecifyasmanyudp_send_channelsasyoulike.Gmondusedtoonlysupporthavingasinglechannel

32、*/udp_send_channel#bind_hostname=yes#Highlyrecommended,soontobedefault.#Thisoptiontellsgmondtouseasourceaddress#thatresolvestothemachineshostname.Without#this,themetricsmayappeartocomefromany#interfaceandtheDNSnamesassociatedwith#thoseIPswillbeusedtocreatetheRRDs.mcast_join=1port=8652ttl=1

33、/*Youcanspecifyasmanyudp_recv_channelsasyoulikeaswell.*/udp_recv_channelmcast_join=1port=8652bind=1/*Youcanspecifyasmanytcp_accept_channelsasyouliketoshareanxmldescriptionofthestateofthecluster*/tcp_accept_channelport=8652紅色對紅色，藍(lán)色對藍(lán)色。一目了然。附監(jiān)控效果圖:40 臺服務(wù)器，228 顆 CPU 共計(jì) 900G 內(nèi)存，網(wǎng)絡(luò)流量峰

34、值總計(jì) 300M 字節(jié)左右。50:8655:8651:8651data_sourceanothersource:8655HQS&IUOaHenExdcwK口ILtB*j第:jEtx.1Iftl,nr五4HIifHM|M*pH*/14-*T1/H.-*i-設(shè)置監(jiān)控頻率通過datasource參數(shù)定義了一個監(jiān)控集群，如果要監(jiān)控多個應(yīng)用系統(tǒng)，可以通過如下方式定義：data_:864:8655datasourcemygridIHUdwpCVM口J5*Ifai1SJWUf3200:01-LZ-4HgLMKAIBI-StaiS-C-ijTWtLnsdI，*.El1lei4啊inmr山EE0nlgrpSBwiiAikrah-sri-w-almpO* W*MD9n44他翻li-53lSCO01Iir在定義集群節(jié)點(diǎn)的時候，可以采用主機(jī)名、IP地址等形式，也可以加端口，如果不加端口的話，默認(rèn)