云平臺(tái)監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)

云平臺(tái)監(jiān)控系統(tǒng)研究與實(shí)現(xiàn)第一頁(yè)，共32頁(yè)。匯報(bào)內(nèi)容5123456第二頁(yè)，共32頁(yè)。研究背景與意義研究背景云平臺(tái)聚合了大量軟硬件資源，并采用虛擬化技術(shù)實(shí)現(xiàn)動(dòng)態(tài)按需提供服務(wù),為確保云平臺(tái)正常運(yùn)轉(zhuǎn)，必須對(duì)云平臺(tái)多方監(jiān)控現(xiàn)有監(jiān)控系統(tǒng)存在功能單一、專用等缺點(diǎn)，不適合云平臺(tái)監(jiān)控研究意義云平臺(tái)監(jiān)控系統(tǒng)旨在構(gòu)建自主配置、容錯(cuò)性強(qiáng)的監(jiān)控系統(tǒng)架構(gòu)，多維度監(jiān)控和證明云的物理資源和虛擬資源的正常運(yùn)行，降低云平臺(tái)運(yùn)營(yíng)者維護(hù)云平臺(tái)的難度監(jiān)控用戶使用云存儲(chǔ)服務(wù)、計(jì)算服務(wù)和其他服務(wù)并進(jìn)行計(jì)費(fèi)管理，增強(qiáng)云端對(duì)用戶的透明度，提高用戶對(duì)云平臺(tái)服務(wù)商的信任程度第三頁(yè)，共32頁(yè)。主要工作系統(tǒng)關(guān)鍵點(diǎn)：云端節(jié)點(diǎn)接入自配置改進(jìn)、容錯(cuò)機(jī)制改進(jìn)系統(tǒng)關(guān)鍵模塊：資源監(jiān)控、用戶監(jiān)控系統(tǒng)實(shí)現(xiàn)系統(tǒng)總體設(shè)計(jì)第四頁(yè)，共32頁(yè)。匯報(bào)內(nèi)容5123456第五頁(yè)，共32頁(yè)。云平臺(tái)監(jiān)控系統(tǒng)設(shè)計(jì)此模塊實(shí)現(xiàn)對(duì)物理資源、虛擬資源、服務(wù)資源進(jìn)行監(jiān)控，并進(jìn)行負(fù)載分析此模塊實(shí)現(xiàn)對(duì)用戶使用云服務(wù)的監(jiān)控和分析，并進(jìn)行計(jì)費(fèi)管理此模塊實(shí)現(xiàn)云端節(jié)點(diǎn)接入自配置，并且改進(jìn)系統(tǒng)容錯(cuò)能力Ganglia開(kāi)源，層級(jí)結(jié)構(gòu)第六頁(yè)，共32頁(yè)。云平臺(tái)監(jiān)控系統(tǒng)設(shè)計(jì)云端接入物理節(jié)點(diǎn)和虛擬節(jié)點(diǎn)的CPU、內(nèi)存、磁盤(pán)、負(fù)載、IO吞吐量等性能參數(shù)，使用Ganglia采集Hadoop運(yùn)行中的宏觀數(shù)據(jù)，如云平臺(tái)剩余存儲(chǔ)容量、等待作業(yè)數(shù)、HDFS總讀寫(xiě)量等變化情況用戶使用云存儲(chǔ)服務(wù)、計(jì)算服務(wù)、其他服務(wù)情況用戶注冊(cè)，節(jié)點(diǎn)配置等產(chǎn)生數(shù)據(jù)監(jiān)控信息流第七頁(yè)，共32頁(yè)。匯報(bào)內(nèi)容5123456第八頁(yè)，共32頁(yè)。資源監(jiān)控資源監(jiān)控?cái)?shù)據(jù)庫(kù)表結(jié)構(gòu)將RRD數(shù)據(jù)抽取到設(shè)計(jì)的監(jiān)控分析庫(kù)中，并進(jìn)行相應(yīng)的分析第九頁(yè)，共32頁(yè)。資源監(jiān)控組域節(jié)點(diǎn)后綴rrd分析RRD格式并從中提取數(shù)據(jù)信息存儲(chǔ)解析的數(shù)據(jù)讀取組域信息、節(jié)點(diǎn)信息、RRD文件信息數(shù)據(jù)抽取組件第十頁(yè)，共32頁(yè)。資源監(jiān)控云平臺(tái)單節(jié)點(diǎn)資源利用率瞬時(shí)利用率和平均利用率內(nèi)存利用率磁盤(pán)利用率（如內(nèi)存利用率）CPU利用率網(wǎng)絡(luò)帶寬利用率平均負(fù)載溫度多維度資源利用率分析第十一頁(yè)，共32頁(yè)。資源監(jiān)控云平臺(tái)服務(wù)器虛擬資源利用率虛擬資源內(nèi)存利用率虛擬資源磁盤(pán)利用率（如內(nèi)存利用率）虛擬資源CPU利用率服務(wù)器上虛擬機(jī)總共使用的虛擬CPU個(gè)數(shù)超過(guò)服務(wù)器實(shí)際CPU個(gè)數(shù)時(shí)，CPU資源將會(huì)按時(shí)間片劃分，導(dǎo)致網(wǎng)路通信等其他正常指標(biāo)的規(guī)律性波動(dòng)。虛擬機(jī)cpu的個(gè)數(shù)對(duì)服務(wù)器產(chǎn)生的影響:網(wǎng)絡(luò)帶寬負(fù)載服務(wù)器與其上虛擬機(jī)通信，以及服務(wù)器上所有虛擬機(jī)之間通信并不對(duì)集群網(wǎng)絡(luò)造成影響，只有服務(wù)器和虛擬機(jī)與其他節(jié)點(diǎn)通信才對(duì)集群網(wǎng)絡(luò)造成實(shí)際影響第十二頁(yè)，共32頁(yè)。資源監(jiān)控云平臺(tái)集群資源利用率集群內(nèi)存利用率集群CPU利用率集群綜合利用率

引入權(quán)重w，用以調(diào)節(jié)不同資源類型對(duì)不同服務(wù)的影響程度

第十三頁(yè)，共32頁(yè)。用戶監(jiān)控考慮因素增強(qiáng)云端存儲(chǔ)對(duì)用戶透明度，深層次跟蹤文件，并統(tǒng)計(jì)用戶存儲(chǔ)占用量增強(qiáng)云端計(jì)算對(duì)用戶透明度，并統(tǒng)計(jì)用戶計(jì)算占用量需要對(duì)用戶按需收費(fèi)解決方案編寫(xiě)組件StoreMonitor允許用戶對(duì)自己在云平臺(tái)中機(jī)密文件進(jìn)行全方位跟蹤，包括文件被訪問(wèn)、修改情況，文件存放位置，數(shù)據(jù)塊遷移歷程及操作，并科學(xué)統(tǒng)計(jì)用戶存儲(chǔ)服務(wù)使用量編寫(xiě)組件CalculateMonitor允許用戶對(duì)自己在云平臺(tái)開(kāi)展的作業(yè)進(jìn)行開(kāi)啟、停止、設(shè)置參數(shù)等控制、對(duì)作業(yè)運(yùn)行跟蹤及歷史記錄查詢，并科學(xué)統(tǒng)計(jì)用戶計(jì)算服務(wù)使用量定義計(jì)費(fèi)管理公式第十四頁(yè)，共32頁(yè)。用戶監(jiān)控用戶存儲(chǔ)監(jiān)控及分析組件對(duì)文件、文件夾進(jìn)行創(chuàng)建、刪除、修改等操作對(duì)設(shè)定跟蹤的文件進(jìn)行多方位的監(jiān)控，包括文件訪問(wèn)情況、文件->數(shù)據(jù)塊對(duì)應(yīng)關(guān)系、數(shù)據(jù)塊->節(jié)點(diǎn)遷移歷程、數(shù)據(jù)塊經(jīng)歷的操作，以及用戶存儲(chǔ)量的變化，采用事件觸發(fā)模式保證數(shù)據(jù)的準(zhǔn)確性第十五頁(yè)，共32頁(yè)。用戶監(jiān)控用戶存儲(chǔ)量變化采集流程文件創(chuàng)建時(shí)：文件刪除時(shí)：文件追加時(shí)：文件副本數(shù)目更改時(shí)：文件所有者更改時(shí)：第十六頁(yè)，共32頁(yè)。用戶監(jiān)控用戶計(jì)算監(jiān)控及分析組件用戶對(duì)作業(yè)和任務(wù)的控制信息，比如開(kāi)啟作業(yè)、設(shè)置優(yōu)先級(jí)等初始部署時(shí)采集已經(jīng)結(jié)束的作業(yè)任務(wù)信息實(shí)時(shí)采集運(yùn)行中的作業(yè)、任務(wù)各種信息第十七頁(yè)，共32頁(yè)。用戶監(jiān)控用戶計(jì)費(fèi)依據(jù)用戶存儲(chǔ)占用量用戶計(jì)算占用量計(jì)費(fèi)公式管理員給出計(jì)費(fèi)標(biāo)準(zhǔn)，每KB存儲(chǔ)資源占用收取費(fèi)用基數(shù)為M元，任務(wù)每秒計(jì)算收費(fèi)基數(shù)為N元，則對(duì)用戶U在T1到T2時(shí)間內(nèi)應(yīng)收費(fèi)用計(jì)算公式為：第十八頁(yè)，共32頁(yè)。匯報(bào)內(nèi)容5123456第十九頁(yè)，共32頁(yè)。云端節(jié)點(diǎn)接入自配置問(wèn)題如何解決Ganglia手動(dòng)配置信息且配置復(fù)雜的問(wèn)題？例如匯集節(jié)點(diǎn)需配置所管轄節(jié)點(diǎn)的IP、Port等，以及組域信息、向上傳輸節(jié)點(diǎn)的信息解決方案實(shí)現(xiàn)自注冊(cè)機(jī)制，使得監(jiān)控服務(wù)器、匯集節(jié)點(diǎn)端、監(jiān)控節(jié)點(diǎn)端相互協(xié)作通信初始部署時(shí)節(jié)點(diǎn)向服務(wù)器發(fā)送本機(jī)信息監(jiān)控服務(wù)器根據(jù)機(jī)架位置構(gòu)建樹(shù)形結(jié)構(gòu)管理員調(diào)整樹(shù)形結(jié)構(gòu)例如匯集節(jié)點(diǎn)端報(bào)文格式和解析的配置文件第二十頁(yè)，共32頁(yè)。云端節(jié)點(diǎn)接入自配置節(jié)點(diǎn)動(dòng)態(tài)發(fā)現(xiàn)機(jī)制（實(shí)現(xiàn)云端節(jié)點(diǎn)的動(dòng)態(tài)加入和撤離）匯集節(jié)點(diǎn)組播報(bào)文協(xié)作過(guò)程心跳計(jì)數(shù)

中間匯集節(jié)點(diǎn)為注冊(cè)表中的每一個(gè)節(jié)點(diǎn)項(xiàng)定義一個(gè)計(jì)數(shù)器，它定期檢測(cè)注冊(cè)表中的節(jié)點(diǎn)是否有響應(yīng)報(bào)文，如果沒(méi)有收到響應(yīng)報(bào)文，則開(kāi)始計(jì)數(shù)，達(dá)到一定次數(shù)后（默認(rèn)為五次），認(rèn)為該節(jié)點(diǎn)失效，產(chǎn)生報(bào)警，報(bào)警處理后若刪除該節(jié)點(diǎn)，則從匯集節(jié)點(diǎn)的注冊(cè)表中刪除第二十一頁(yè)，共32頁(yè)。容錯(cuò)機(jī)制改進(jìn)備選節(jié)點(diǎn)考慮因素容錯(cuò)性分析Ganglia組織類似樹(shù)形結(jié)構(gòu)，當(dāng)匯集節(jié)點(diǎn)發(fā)生故障時(shí)，則造成上層/下層節(jié)點(diǎn)的數(shù)據(jù)傳輸無(wú)法完成，即Ganglia沒(méi)有解決匯集節(jié)點(diǎn)的單點(diǎn)故障改進(jìn)方法匯集節(jié)點(diǎn)如果出現(xiàn)五次心跳錯(cuò)誤，則產(chǎn)生報(bào)警，并自動(dòng)選取其他節(jié)點(diǎn)替代失效節(jié)點(diǎn)，實(shí)現(xiàn)匯集數(shù)據(jù)快速遷移，故障自恢復(fù)

第二十二頁(yè)，共32頁(yè)。容錯(cuò)機(jī)制改進(jìn)自恢復(fù)流程第二十三頁(yè)，共32頁(yè)。容錯(cuò)機(jī)制改進(jìn)基于黃金分割率的單指數(shù)平滑預(yù)測(cè)算法選取內(nèi)存空限量為指標(biāo)預(yù)測(cè)公式預(yù)測(cè)精度評(píng)價(jià)指標(biāo)采用均方差（MSE）采集1800條數(shù)據(jù)，聚合為100條，誤差率：4.89%第二十四頁(yè)，共32頁(yè)。匯報(bào)內(nèi)容5123456第二十五頁(yè)，共32頁(yè)。云平臺(tái)監(jiān)控系統(tǒng)實(shí)現(xiàn)第二十六頁(yè)，共32頁(yè)。云平臺(tái)監(jiān)控系統(tǒng)實(shí)現(xiàn)第二十七頁(yè)，共32頁(yè)。云平臺(tái)監(jiān)控系統(tǒng)實(shí)現(xiàn)第二十八頁(yè)，共32頁(yè)。匯報(bào)內(nèi)容5123456第二十九頁(yè)，共32頁(yè)。總結(jié)與展望總結(jié)結(jié)合Ganglia給出了云平臺(tái)監(jiān)控系統(tǒng)的總體功能設(shè)計(jì)和架構(gòu)設(shè)計(jì)監(jiān)控云平臺(tái)硬件資源和軟件資源運(yùn)行，并進(jìn)行多維度的資源利用率分析監(jiān)控用戶使用云服務(wù)的情況，并進(jìn)