數(shù)據(jù)機(jī)器采集

主講教師：陳一旸浙江經(jīng)貿(mào)職業(yè)技術(shù)學(xué)院數(shù)據(jù)采集與處理機(jī)器采集案例導(dǎo)入機(jī)器采集的定義機(jī)器采集的優(yōu)點(diǎn)機(jī)器采集的方式010203041、案例導(dǎo)入當(dāng)你早晨發(fā)現(xiàn)上班快要遲到，這時(shí)你迅速打開(kāi)手機(jī)，用打車(chē)軟件叫上一單，你的地理位置信息將會(huì)被自動(dòng)獲取，專(zhuān)車(chē)幾分鐘就會(huì)來(lái)到你的身邊。當(dāng)你來(lái)到公司，掏出員工卡，通過(guò)門(mén)禁刷卡的方式，十分方便地完成了你的上班考勤。當(dāng)你在異地見(jiàn)一個(gè)很重要的客戶(hù)，你發(fā)現(xiàn)客戶(hù)跟你約定的會(huì)面場(chǎng)所，你并不清楚它的具體位置，這時(shí)你只需借助手機(jī)中的導(dǎo)航軟件，幾秒便可輕松、準(zhǔn)確的在地圖中找到會(huì)面的具體位置。科技的飛速發(fā)展，為人們帶來(lái)了無(wú)法想象的便利，互聯(lián)網(wǎng)將萬(wàn)物巧妙的聯(lián)系起來(lái)，現(xiàn)在更是衍生出了“物聯(lián)網(wǎng)”的概念。各種終端產(chǎn)品是怎么巧妙的建立聯(lián)系的呢？這些數(shù)據(jù)是如何得到的呢？2、機(jī)器采集的定義對(duì)于非定性數(shù)據(jù)的采集往往使用機(jī)器收集的方式，是指從傳感器和其它待測(cè)設(shè)備等模擬自動(dòng)采集數(shù)據(jù)，收集外部數(shù)據(jù)和內(nèi)部數(shù)據(jù)等定量數(shù)據(jù)。01020301數(shù)據(jù)量大機(jī)器采集不同于人工采集，可以實(shí)時(shí)且持續(xù)、多方位采集海量數(shù)據(jù)。02數(shù)據(jù)采集時(shí)效性極強(qiáng)，可達(dá)到實(shí)時(shí)效果機(jī)器采集到的數(shù)據(jù)可以是即時(shí)發(fā)生的行為數(shù)據(jù)，因此時(shí)效性極好。03數(shù)據(jù)采集效率高雖然前期數(shù)據(jù)采集準(zhǔn)備工作較多，但機(jī)器采集開(kāi)發(fā)完成投入使用后采集便捷、快速、高效。3、機(jī)器采集的優(yōu)點(diǎn)

4、機(jī)器采集的方式1）離線采集在數(shù)據(jù)倉(cāng)庫(kù)的語(yǔ)境下，ETL基本上就是數(shù)據(jù)采集的代表，包括數(shù)據(jù)的提取（Extract)、轉(zhuǎn)換(Transform)和加載(Load)。在轉(zhuǎn)換的過(guò)程中，需要針對(duì)具體的業(yè)務(wù)場(chǎng)景對(duì)數(shù)據(jù)進(jìn)行治理2）實(shí)時(shí)采集實(shí)時(shí)采集主要用在考慮流處理的業(yè)務(wù)場(chǎng)景，比如，用于記錄數(shù)據(jù)源的執(zhí)行的各種操作活動(dòng)，以流式的處理方式，而非定時(shí)的批處理Job，些工具均采用分布式架構(gòu)，能滿(mǎn)足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。4、機(jī)器采集的方式3）互聯(lián)網(wǎng)采集

又被稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，是一種按照一定的規(guī)則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的采集。4）埋點(diǎn)數(shù)據(jù)采集

主要用來(lái)記錄和收集終端用戶(hù)的操作行為，可以得到衡量產(chǎn)品狀態(tài)的一些基本指標(biāo)。4、機(jī)器采集的方式5）傳感器數(shù)據(jù)采集

傳感數(shù)據(jù)是由感知設(shè)備或傳感設(shè)備感受、測(cè)量及傳輸?shù)臄?shù)據(jù)。6）其他數(shù)據(jù)采集方法

對(duì)于企業(yè)生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)上的客戶(hù)數(shù)據(jù)，財(cái)務(wù)數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過(guò)與數(shù)據(jù)技術(shù)服務(wù)商合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)?？偨Y(jié)機(jī)器數(shù)據(jù)采集是大數(shù)據(jù)時(shí)代數(shù)據(jù)采集的主要渠道，其實(shí)時(shí)性、采集數(shù)據(jù)量級(jí)大、數(shù)據(jù)采集領(lǐng)域廣、采集快捷高效的特點(diǎn)，給我們帶來(lái)海量數(shù)據(jù)的同時(shí)，也衍生出一個(gè)致命