項(xiàng)目三-工業(yè)軟件系統(tǒng)數(shù)據(jù)采集-1

項(xiàng)目三

工業(yè)軟件系統(tǒng)數(shù)據(jù)采集工業(yè)大數(shù)據(jù)采集技術(shù)主講：羅金凱工業(yè)軟件系統(tǒng)數(shù)據(jù)采集概述

Flume概述

Flume架構(gòu)Flume部署分布式采集原理與實(shí)現(xiàn)

采購系統(tǒng)操作日志采集案例CONTENTS工業(yè)軟件系統(tǒng)數(shù)據(jù)采集概述01工業(yè)軟件數(shù)據(jù)采集概述

工業(yè)軟件數(shù)據(jù)采集定義

使用信息化手段采集工業(yè)軟件系統(tǒng)運(yùn)行過程過程的各類數(shù)據(jù)，常見的有軟件運(yùn)行數(shù)據(jù)、日志數(shù)據(jù)等。Flume概述02Flume簡(jiǎn)介flume是由cloudera軟件公司產(chǎn)出的可分布式日志收集系統(tǒng)

2009年被捐贈(zèng)了apache軟件基金會(huì)，為hadoop相關(guān)組件之一。Flume目前存在兩個(gè)版本：FlumeOG（Originalgeneration）和FlumeNG(Next/Newgeneration)，其中FlumeOG對(duì)應(yīng)的是ApacheFlume0.9.x之前的版本，2011年10月重構(gòu)后的版本統(tǒng)稱為FlumeNGFlume官方網(wǎng)站：/Flume基本思想Flume采用了插拔式軟件架構(gòu)，所有組件均是可插拔的，用戶可以根據(jù)自己的需求定制每個(gè)組件。Flume特點(diǎn)良好的擴(kuò)展性；Flume的架構(gòu)是完全分布式的，沒有任何中心化組件，使得其非常容易擴(kuò)展高度定制化；采用插拔式架構(gòu)，各組件插拔式配置，用戶可以很容易的根據(jù)需求自由定義良好的可靠性；Flume內(nèi)置了事務(wù)支持，能保證發(fā)送的每條數(shù)據(jù)能夠被下一跳收到而不丟失可恢復(fù)性；依賴于其核心組件channel,選擇緩存類型為FileChannel，事件可持久化到本地文件系統(tǒng)中Flume的核心概念Client：Client生產(chǎn)數(shù)據(jù)，運(yùn)行在一個(gè)獨(dú)立的線程。Event：一個(gè)數(shù)據(jù)單元，消息頭和消息體組成。（Events可以是日志記錄、avro對(duì)象等。）

FlumeNG組件FlumeAgent主要由三個(gè)組件構(gòu)成，分別是Source、channel、Sink。FlumeNG組件FlumeAgent主要由三個(gè)組件構(gòu)成，分別是Source、channel、Sink。FlumeNG組件Source：采集外圍數(shù)據(jù)，通常從Client程序或上一個(gè)Agent接受數(shù)據(jù)并寫入一個(gè)或多個(gè)Channel。(1)與系統(tǒng)集成的Source:Syslog,Netcat(2)自動(dòng)生成事件的Source:Exec(3)監(jiān)聽文件夾下文件變化：SpoolingDirectorySource,TaildirSource(4)用于Agent和Agent之間通信的IPCSource:Avro、ThriftFlumeNG組件ChannelChannel是一個(gè)緩存區(qū)，是連接Source和Sink的組件，它緩存Source寫入的Event，直到被Sink發(fā)送出去。FlumeNG組件Channel目前Flume主要提供了以下幾種Channel：MemoryChannel:使用內(nèi)存緩存EventJDBCChannel：使用Derby嵌入式數(shù)據(jù)庫文件緩存EventKafkaChannel：使用Kafka緩存EventFileChannel：使用本地文件系統(tǒng)緩存EventFlumeNG組件SinkSink負(fù)責(zé)從Channel讀取數(shù)據(jù)，并發(fā)送給下一個(gè)Agent的Source或者文件存儲(chǔ)系統(tǒng)。FlumeNG組件

Sink目前Flume主要提供了以下幾種Sink：AvroSink：使用AVRO協(xié)議將數(shù)據(jù)寫出給Avro服務(wù)器。ThriftSink：使用Thrift協(xié)議將數(shù)據(jù)寫出給Thrift服務(wù)器。HDFSSink: