




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
大數(shù)據(jù)導(dǎo)論數(shù)
據(jù)
采
集日志數(shù)據(jù)采集存儲(chǔ)目錄01采集環(huán)境搭建
02數(shù)據(jù)庫(kù)準(zhǔn)備
03編寫(xiě)配置文件
04
測(cè)試采集環(huán)境日志采集需求1、假設(shè)日志信息會(huì)記錄在/var/log/test.log文件中。2、通過(guò)filebeat監(jiān)測(cè)test.log文件中的新增信息,并輸出至logstash中。3、logstash監(jiān)測(cè)filebeat傳輸過(guò)來(lái)的數(shù)據(jù),將數(shù)據(jù)提取出,加上時(shí)間戳,存儲(chǔ)至mysql數(shù)據(jù)庫(kù)中。采集環(huán)境搭建數(shù)據(jù)庫(kù)準(zhǔn)備1、創(chuàng)建數(shù)據(jù)庫(kù):logsdbcreatedatabaselogsdb;uselogsdb;2、創(chuàng)建數(shù)據(jù)表:syslogcreatetablesyslog( messagevarchar(200), insert_timevarchar(50) )3、官網(wǎng)下載:mysql-connector-java-5.1.17.jar放置用戶目錄下,如:/root/mysql-connector-java-5.1.17.jar編寫(xiě)配置文件Filebeat配置文件在filebeat根目錄,創(chuàng)建文件log.yml,并輸入如下內(nèi)容filebeat.inputs:#指定數(shù)據(jù)源類型、路徑-type:logenabled:truepaths:-/var/log/test.log#指定輸出端為logstashoutput.logstash:hosts:["localhost:5044"]編寫(xiě)配置文件Logstash配置文件在logstash安裝目錄的config文件夾中,創(chuàng)建文件test.conf文件,并輸入如下內(nèi)容input{beats{port=>5044}}output{
#輸出方式一:數(shù)據(jù)庫(kù)輸出jdbc{connection_string=>"jdbc:mysql://localhost/logsdb?user=root&password=123456&useUnicode=true&characterEncoding=UTF8"driver_jar_path=>"/root/mysql-connector-java-5.1.17.jar"driver_class=>"com.mysql.jdbc.Driver"statement=>["INSERTINTOsyslog(message,insert_time)VALUES(?,?)","[message]","[@timestamp]"]}
#輸出方式二:屏幕輸出stdout{codec=>rubydebug}}數(shù)據(jù)庫(kù)連接字符串寫(xiě)入數(shù)據(jù)的sql安裝logstash-output-jdbc插件Logstash安裝output-jdbc插件確保linux系統(tǒng)能夠聯(lián)網(wǎng)切換到logstash的安裝目錄中輸入安裝命令:bin/logstash-plugininstalllogstash-output-jdbc該插件使得Logstash可以將數(shù)據(jù)存儲(chǔ)到mysql中測(cè)試采集環(huán)境1、啟動(dòng)filebeat切換到filebeat目錄下執(zhí)行命令:./filebeat-e-c
log.yml2、啟動(dòng)logstash切換到logstash目錄下執(zhí)行命令:bin/logstash-fconfig/test.conf至此,兩個(gè)工具都已啟動(dòng)配置文件配置文件測(cè)試采集環(huán)境輸出到stdout的內(nèi)容數(shù)據(jù)存儲(chǔ)到了mysql數(shù)據(jù)庫(kù)中模擬向/var/log/te
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 游樂(lè)設(shè)備材料選用與應(yīng)用考核試卷
- 管道工程公共服務(wù)優(yōu)化與發(fā)展動(dòng)態(tài)分析考核試卷
- 礦物增強(qiáng)塑料批發(fā)考核試卷
- 信托業(yè)務(wù)與體育產(chǎn)業(yè)發(fā)展考核試卷
- 地理信息系統(tǒng)在地質(zhì)勘探與資源評(píng)價(jià)中的應(yīng)用考核試卷
- 稀土金屬壓延加工的產(chǎn)業(yè)升級(jí)路徑探索考核試卷
- 電視設(shè)備智能安防技術(shù)考核試卷
- 遼寧科技大學(xué)《藥學(xué)細(xì)胞生物學(xué)實(shí)驗(yàn)》2023-2024學(xué)年第二學(xué)期期末試卷
- 寧波大學(xué)《藝術(shù)管理學(xué)(一)》2023-2024學(xué)年第二學(xué)期期末試卷
- 濰坊護(hù)理職業(yè)學(xué)院《集成電路測(cè)試實(shí)驗(yàn)》2023-2024學(xué)年第二學(xué)期期末試卷
- 電商訂單處理流程優(yōu)化計(jì)劃
- 建筑工程檢測(cè)行業(yè)市場(chǎng)現(xiàn)狀分析及未來(lái)三到五年發(fā)展趨勢(shì)報(bào)告
- 高爐水渣基礎(chǔ)知識(shí)
- 腫瘤標(biāo)志物的試題及答案
- 煙草行業(yè)網(wǎng)絡(luò)安全體系建設(shè)
- 2025年中考地理二輪復(fù)習(xí):中考地理常見(jiàn)易混易錯(cuò)知識(shí)點(diǎn)與練習(xí)題(含答案)
- 硫酸使用安全培訓(xùn)
- 政務(wù)服務(wù)窗口培訓(xùn)課件
- 2025年湖南湘潭高新集團(tuán)有限公司招聘筆試參考題庫(kù)含答案解析
- 2024年02月福建2024年興業(yè)銀行福州分行金融科技人才招考筆試歷年參考題庫(kù)附帶答案詳解
- 壓力容器生產(chǎn)單位質(zhì)量安全總監(jiān)、安全員考試題含答案
評(píng)論
0/150
提交評(píng)論