火車頭采集步驟和數(shù)據(jù)導(dǎo)出詳解PPT

1、火車頭采集 1、什么是采集源？、什么是采集源？ 2、認(rèn)識(shí)火車頭采集工具、認(rèn)識(shí)火車頭采集工具 3、火車頭采集工具的使用方法、火車頭采集工具的使用方法 4、數(shù)據(jù)導(dǎo)出與處理、數(shù)據(jù)導(dǎo)出與處理一些網(wǎng)站有大量的文章、圖片、郵箱等信息，對(duì)我們來說是一種資源，我們可以利用工具將這些資源采集回來，為我們所用。這樣的網(wǎng)站，就是采集源。1、采集的目標(biāo)頁面，不需要登錄即可訪問；2、采集的內(nèi)容列表頁面url跟隨一定的規(guī)律改變；3、該網(wǎng)站不屏蔽不干擾采集器的工作。火車采集器，是目前使用人數(shù)最多的互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘軟件。軟件憑借其靈活 的配置與強(qiáng)大的性能領(lǐng)先國(guó)內(nèi)數(shù)據(jù)采集類產(chǎn)品。使用火車采集器，你可以建立一個(gè)擁

2、有龐大內(nèi)容的網(wǎng)站?；疖嚥杉魅绾稳プト?shù)據(jù)，取決于您的規(guī)則。要獲取內(nèi)容頁的內(nèi)容，首先需要先將這個(gè)網(wǎng)頁的網(wǎng)址采下來，這就是采網(wǎng)址。程序按規(guī)則抓取列表頁里的內(nèi)容頁url。再根據(jù)您的采集規(guī)則，將，將標(biāo)題內(nèi)容等信息分離開來并保存下來。如果選擇了下載圖片，程序會(huì)對(duì)采集到的數(shù)據(jù)進(jìn)行分析，找出圖片的下載地址并將圖片下載到本地。3.1 打開火車頭工具，單擊左側(cè)空白處，根據(jù)需要新建分組3.2 右擊剛才建立好的分組，新建采集任務(wù)，并填寫好任務(wù)名稱3.3 填寫批量采集網(wǎng)址規(guī)則，注意先分析目標(biāo)列表頁url規(guī)則3.4 設(shè)置“多級(jí)網(wǎng)址獲取”規(guī)則3.4 設(shè)置“多級(jí)網(wǎng)址獲取”規(guī)則，并測(cè)試設(shè)置好的規(guī)則是否生效3.5 校驗(yàn)設(shè)置好

3、的規(guī)則是否生效，如果生效，則返回修改設(shè)置；如果得到的結(jié)果不正確，也需要返回修改設(shè)置（重新分析采集范圍是否正確，一直校驗(yàn)到是我們需要的結(jié)果）3.6 返回修改采集的項(xiàng)數(shù)，并且記得點(diǎn)擊“添加”和“完成”3.7 進(jìn)入到第二步“采集內(nèi)容規(guī)則”采集文章的標(biāo)題采集文章的標(biāo)題，選中“標(biāo)題”，點(diǎn)擊左側(cè)的修改，選擇“前后截取”，將文章標(biāo)題的html區(qū)域填寫完整，右側(cè)“典型頁面”填寫一條內(nèi)容頁url，以供隨時(shí)測(cè)試。3.8 采集文章的“摘要”3.9 采集文章的“標(biāo)簽”3.10 采集文章的“內(nèi)容”填寫內(nèi)容所在區(qū)間的html標(biāo)簽，添加數(shù)據(jù)處理，勾選“下載圖片”并填寫文件保存目錄和格式，最后點(diǎn)擊確定。3.11 保存設(shè)置好的

4、采集任務(wù)3.12 開始采集任務(wù)我們會(huì)看到，右側(cè)任務(wù)運(yùn)行的狀況，一切正常4、數(shù)據(jù)導(dǎo)出與處理采集到的數(shù)據(jù)，需要用Accesss軟件才能處理，因此，如果我們的電腦沒有這個(gè)軟件，則需要先安裝Access軟件。4.1、安裝Access4.2、選中已經(jīng)采集完成的任務(wù)，并右擊出現(xiàn)下拉菜單后，打開Data下任務(wù)文件夾，出現(xiàn)第二個(gè)截圖以.mdb擴(kuò)展名的文件。4.3、雙擊打開.mdb擴(kuò)展名的文件，此時(shí)由于已經(jīng)安裝了Access，辦公軟件已經(jīng)能正確識(shí)別.mdb文件，打開結(jié)果如下：4.4、已經(jīng)能用Excel打開采集到的文章內(nèi)容之后，就可以利用Excel對(duì)數(shù)據(jù)進(jìn)行批量處理，比如批量添加文章的發(fā)布時(shí)間、批量替換文字、批量修改圖片路徑等等。比如：在Excel表格里，按Ctrl+F，出現(xiàn)的對(duì)話框中選擇“替換”，填寫好需要替換的文字，即可對(duì)采集到的內(nèi)容進(jìn)行批量替換文字。4.1、安裝Access選中Excel表格的“內(nèi)容”列，用查找功能，將圖片路徑“1