項(xiàng)目一 初始數(shù)據(jù)采集

項(xiàng)目一初識(shí)數(shù)據(jù)采集目錄1.1【任務(wù)1】采集網(wǎng)址數(shù)據(jù)案例分析3隨著互聯(lián)網(wǎng)的快速發(fā)展，越來(lái)越多的信息被發(fā)布到互聯(lián)網(wǎng)上，雖然搜索引擎可以輔助人們尋找這些信息，但也擁有局限性。在這種情況下，數(shù)據(jù)采集開(kāi)始應(yīng)運(yùn)而生。本任務(wù)是通過(guò)使用八爪魚采集器采集浪潮網(wǎng)址來(lái)了解什么是數(shù)據(jù)采集、數(shù)據(jù)采集流程和采集方法。需求描述案例分析4打開(kāi)八爪魚官網(wǎng)，下載八爪魚采集器。安裝成功后，創(chuàng)建自定義任務(wù)。確定需要采集的地址。確定采集的字段，并開(kāi)始采集數(shù)據(jù)。設(shè)計(jì)思路任務(wù)一采集網(wǎng)址數(shù)據(jù)5案例展示實(shí)現(xiàn)步驟61、安裝八爪魚軟件2、八爪魚采集數(shù)據(jù)知識(shí)點(diǎn)講解7010203采集流程什么是數(shù)據(jù)采集采集方法什么是數(shù)據(jù)采集數(shù)據(jù)的定義數(shù)據(jù)采集，又稱數(shù)據(jù)獲取，是利用一種裝置或程序從系統(tǒng)外部采集數(shù)據(jù)并輸入到系統(tǒng)內(nèi)部的一個(gè)接口。目前，數(shù)據(jù)采集一般來(lái)說(shuō)有三個(gè)特點(diǎn)，如下：數(shù)據(jù)采集以自動(dòng)化手段為主，盡量擺脫人工錄入的方式；采集內(nèi)容以全量采集為主，擺脫對(duì)數(shù)據(jù)進(jìn)行采樣的方式；采集方式多樣化、內(nèi)容豐富化，擺脫以往只采集基本數(shù)據(jù)的方式。8什么是數(shù)據(jù)采集數(shù)據(jù)的定義數(shù)據(jù)采集是大數(shù)據(jù)分析的入口，是非常重要的一個(gè)環(huán)節(jié)。因此，數(shù)據(jù)采集需要符合幾個(gè)方面，如下：全面性多維性高效性9什么是數(shù)據(jù)采集數(shù)據(jù)的類型從采集數(shù)據(jù)的類型看，數(shù)據(jù)的類型是復(fù)雜多樣的，包括：結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)10采集流程網(wǎng)頁(yè)爬取的采集流程在網(wǎng)頁(yè)數(shù)據(jù)采集過(guò)程中，一般需要經(jīng)過(guò)采集、清洗、存儲(chǔ)三個(gè)步驟，其中：第一步：采集數(shù)據(jù)第二步：清洗數(shù)據(jù)第三步：存儲(chǔ)數(shù)據(jù)11采集流程日志數(shù)據(jù)類型的數(shù)據(jù)采集第一步：采集數(shù)據(jù)。通過(guò)采集工具（filebeat等）配置，完成采集。第二步：清洗數(shù)據(jù)。通過(guò)開(kāi)源工具（logstash等）配置來(lái)接收原始的日志數(shù)據(jù)并進(jìn)行拆分、驗(yàn)證。第三步：存儲(chǔ)數(shù)據(jù)。通過(guò)開(kāi)源工具（logstash）將采集結(jié)果存入數(shù)據(jù)庫(kù)，或者文件中。12采集方法手工編程PythonPython是一種免費(fèi)的開(kāi)源語(yǔ)言，因易用性常常與R相提并論。與R不同，Python學(xué)起來(lái)往往很容易上手，易于使用。使用Python提供的資源庫(kù)可以實(shí)現(xiàn)簡(jiǎn)單數(shù)據(jù)的爬取。13采集方法開(kāi)源工具FilebeatFilebeat是一種開(kāi)源的，本地文件的日志數(shù)據(jù)采集器，可以監(jiān)控日志目錄活特定日志文件，在使用過(guò)程中，可以通過(guò)簡(jiǎn)單的命令配置即可實(shí)現(xiàn)通用日志格式的收集、解析和可視化。在使用過(guò)程中，會(huì)設(shè)計(jì)兩個(gè)組件，查找器prospector和采集器harvester，來(lái)讀取文件(tailfile)并將事件數(shù)據(jù)發(fā)送到指定的輸出。14采集方法開(kāi)源工具logstashlogstash是一種用于系統(tǒng)關(guān)系中進(jìn)行日志采集的設(shè)備，簡(jiǎn)單來(lái)說(shuō)logstash就是一根具備實(shí)時(shí)數(shù)據(jù)傳輸能力的管道，負(fù)責(zé)將數(shù)據(jù)信息從管道的輸入端傳輸?shù)焦艿赖妮敵龆?；同時(shí)這根管道還可以根據(jù)自己的需求加上濾網(wǎng)。15采集方法開(kāi)源工具FlumeFlume是一個(gè)分布式的、高可靠的、高可用的日志采集器，主要用于將大批量的不同數(shù)據(jù)源的日志數(shù)據(jù)進(jìn)行收集、聚合、移動(dòng)到數(shù)據(jù)中心（HD