2023學(xué)年完整公開(kāi)課版EFK簡(jiǎn)介

EFK簡(jiǎn)介2知識(shí)目標(biāo)了解Filebeat基礎(chǔ)知識(shí)了解Elasticsearch基礎(chǔ)知識(shí)了解Kibana基礎(chǔ)知識(shí)01能力目標(biāo)掌握Filebeat工作原理了解Elasticsearch索引

能夠說(shuō)出Kibana基本功能02學(xué)習(xí)目標(biāo)3目錄01EFK簡(jiǎn)介02Filebeat簡(jiǎn)介03Elacsticsearch簡(jiǎn)介04Kibana簡(jiǎn)介4EFK簡(jiǎn)介EFK不是一個(gè)軟件，而是一套解決方案，并且都是開(kāi)源軟件，之間互相配合使用，完美銜接，高效的滿足了很多場(chǎng)合的應(yīng)用，是目前主流的一種日志系統(tǒng)。EFK是三個(gè)開(kāi)源軟件的縮寫(xiě)，分別表示：Elasticsearch,FileBeat,Kibana。5EFK三大組件Elasticsearch：分布式搜索引擎。具有高可伸縮、高可靠、易管理等特點(diǎn)?？梢杂糜谌臋z索、結(jié)構(gòu)化檢索和分析，并能將這三者結(jié)合起來(lái)。Elasticsearch基于Lucene開(kāi)發(fā)，現(xiàn)在使用最廣的開(kāi)源搜索引擎之一，Wikipedia、StackOverflow、Github等都基于它來(lái)構(gòu)建自己的搜索引擎。Filebeat：輕量級(jí)數(shù)據(jù)收集引擎?；谠萀ogstash-fowarder的源碼改造出來(lái)。換句話說(shuō)：Filebeat就是新版的Logstash-fowarder，也會(huì)是ELKStack在shipper端的第一選擇。Kibana：可視化化平臺(tái)。它能夠搜索、展示存儲(chǔ)在Elasticsearch中索引數(shù)據(jù)。使用它可以很方便的用圖表、表格、地圖展示和分析數(shù)據(jù)。6EFK基本架構(gòu)7beatsBeats對(duì)于收集數(shù)據(jù)非常有用。它們位于你的服務(wù)器上，將數(shù)據(jù)集中在Elasticsearch中，Beats也可以發(fā)送到Logstash來(lái)進(jìn)行轉(zhuǎn)換和解析。為了捕捉（捕獲）數(shù)據(jù)，Elastic提供了各種Beats。8FilebeatFilebeat隸屬于Beats。Filebeat

內(nèi)部集成了一系列模塊，用以簡(jiǎn)化常見(jiàn)日志格式（例如NGINX、Apache或諸如Redis或Docker等系統(tǒng)指標(biāo)）的收集、解析和可視化過(guò)程。Filebeat由兩個(gè)主要組成部分組成：prospector和harvesters。這些組件一起工作來(lái)讀取文件并將事件數(shù)據(jù)發(fā)送到您指定的output。即無(wú)論您要使用Logstash轉(zhuǎn)換或充實(shí)日志和文件，還是在Elasticsearch中隨意處理一些數(shù)據(jù)分析，亦或在Kibana中構(gòu)建和分享儀表板，F(xiàn)ilebeat都能輕松地將您的數(shù)據(jù)發(fā)送至最關(guān)鍵的地方。9Filebeat工作原理Filebeat可以保持每個(gè)文件的狀態(tài)，并且頻繁地把文件狀態(tài)從注冊(cè)表里更新到磁盤(pán)。這里所說(shuō)的文件狀態(tài)是用來(lái)記錄上一次Harvster讀取文件時(shí)讀取到的位置，以保證能把全部的日志數(shù)據(jù)都讀取出來(lái)，然后發(fā)送給output。如果在某一時(shí)刻，作為output的ElasticSearch或者Logstash變成了不可用，F(xiàn)ilebeat將會(huì)把最后的文件讀取位置保存下來(lái)，直到output重新可用的時(shí)候，快速地恢復(fù)文件數(shù)據(jù)的讀取。在Filebaet運(yùn)行過(guò)程中，每個(gè)Prospector的狀態(tài)信息都會(huì)保存在內(nèi)存里。如果Filebeat出行了重啟，完成重啟之后，會(huì)從注冊(cè)表文件里恢復(fù)重啟之前的狀態(tài)信息，讓FIlebeat繼續(xù)從之前已知的位置開(kāi)始進(jìn)行數(shù)據(jù)讀取。

Prospector會(huì)為每一個(gè)找到的文件保持狀態(tài)信息。因?yàn)槲募梢赃M(jìn)行重命名或者是更改路徑，所以文件名和路徑不足以用來(lái)識(shí)別文件。對(duì)于Filebeat來(lái)說(shuō)，都是通過(guò)實(shí)現(xiàn)存儲(chǔ)的唯一標(biāo)識(shí)符來(lái)判斷文件是否之前已經(jīng)被采集過(guò)。10Elaticsearch用途應(yīng)用程序搜索網(wǎng)站搜索企業(yè)搜索日志處理和分析基礎(chǔ)設(shè)施指標(biāo)和容器監(jiān)測(cè)應(yīng)用程序性能監(jiān)測(cè)地理空間數(shù)據(jù)分析和可視化安全分析業(yè)務(wù)分析11Elasticsearch的工作原理原始數(shù)據(jù)會(huì)從多個(gè)來(lái)源（包括日志、系統(tǒng)指標(biāo)和網(wǎng)絡(luò)應(yīng)用程序）輸入到Elasticsearch中。數(shù)據(jù)采集指在Elasticsearch中進(jìn)行索引之前解析、標(biāo)準(zhǔn)化并充實(shí)這些原始數(shù)據(jù)的過(guò)程。這些數(shù)據(jù)在Elasticsearch中索引完成之后，用戶便可針對(duì)他們的數(shù)據(jù)運(yùn)行復(fù)雜的查詢，并使用聚合來(lái)檢索自身數(shù)據(jù)的復(fù)雜匯總。在Kibana中，用戶可以基于自己的數(shù)據(jù)創(chuàng)建強(qiáng)大的可視化，分享儀表板，并對(duì)ElasticStack進(jìn)行管理。12Elasticsearch索引Elasticsearch

索引指相互關(guān)聯(lián)的文檔集合。Elasticsearch會(huì)以JSON文檔的形式存儲(chǔ)數(shù)據(jù)。每個(gè)文檔都會(huì)在一組鍵（字段或?qū)傩缘拿Q）和它們對(duì)應(yīng)的值（字符串、數(shù)字、布爾值、日期、數(shù)值組、地理位置或其他類型的數(shù)據(jù)）之間建立聯(lián)系。Elasticsearch使用的是一種名為倒排索引的數(shù)據(jù)結(jié)構(gòu)，這一結(jié)構(gòu)的設(shè)計(jì)可以允許十分快速地進(jìn)行全文本搜索。倒排索引會(huì)列出在所有文檔中出現(xiàn)的每個(gè)特有詞匯，并且可以找到包含每個(gè)詞匯的全部文檔。在索引過(guò)程中，Elasticsearch會(huì)存儲(chǔ)文檔并構(gòu)建倒排索引，這樣用戶便可以近實(shí)時(shí)地對(duì)文檔數(shù)據(jù)進(jìn)行搜索。索引過(guò)程是在索引API中啟動(dòng)的，通過(guò)此API既可向特定索引中添加JSON文檔，也可更改特定索引中的JSON文檔。13Kibana簡(jiǎn)介Kibana作為EFK日志分析工具，Kibana是一個(gè)使用Apache開(kāi)源協(xié)議，基于瀏覽器的Elasticsearch分析和搜索儀表板。Kibana非常容易安裝和使用，整個(gè)項(xiàng)目都是基于HTML和Javascript進(jìn)行書(shū)寫(xiě)，所以Kibana不需要任何服務(wù)器端組件，僅需一個(gè)文本發(fā)布服務(wù)器。Kibana可以為L(zhǎng)ogstash、Beats和ElasticSearch提供的日志分析友好的Web界面，可以幫助匯總、分析和搜索重要數(shù)據(jù)日志。Kibana是為Elasticsearch設(shè)計(jì)的開(kāi)源分析和可視化平臺(tái)?？梢允褂肒ibana來(lái)搜索，查看存儲(chǔ)在Elasticsearch索引中的數(shù)據(jù)并與之交互。你可以很容易實(shí)現(xiàn)高級(jí)的數(shù)據(jù)分析和可視化，以圖標(biāo)的形式展現(xiàn)出來(lái)。14Kibana基本知識(shí)列表本地安裝：跨平臺(tái)，無(wú)依賴默認(rèn)5601端口默認(rèn)情況下，Kibana會(huì)連接運(yùn)行在localhost的Elasticsearch。Discover頁(yè)加載