火車頭采集器介紹及使用流程說(shuō)明

1、目錄n 一、軟件介紹n 二、創(chuàng)建任務(wù)n 三、采集網(wǎng)址n 四、采集內(nèi)容n 五、字段處理一、軟件介紹火車采集器能為您做些什么呢？1、網(wǎng)站內(nèi)容維護(hù)：可以定時(shí)采集新聞、文章等任何您想采集的內(nèi)容，并自動(dòng)發(fā)布到您的網(wǎng)站。2、Internet數(shù)據(jù)挖掘：可以從指定網(wǎng)站抓取所需數(shù)據(jù)，通過(guò)分析和處理后保存到您的數(shù)據(jù)庫(kù)。3、網(wǎng)絡(luò)信息監(jiān)控：通過(guò)自動(dòng)采集，可以監(jiān)控論壇等社區(qū)類網(wǎng)站，讓您第一時(shí)間發(fā)現(xiàn)您所關(guān)注的內(nèi)容。4、文件批量下載：可以批量下載PDF、RAR、圖片等各種文件，并同時(shí)采集其相關(guān)信息?；疖嚥杉魇悄壳靶畔⒉杉c信息挖掘處理類軟件中最流行、性價(jià)比最高、使用人數(shù)最多、市場(chǎng)占有率最大、使用周期最長(zhǎng)的智能采集程序。一

2、、軟件介紹 火車采集器數(shù)據(jù)發(fā)布原理：火車采集器數(shù)據(jù)發(fā)布原理：在我們將數(shù)據(jù)采集下來(lái)后數(shù)據(jù)默認(rèn)是保存在本地的，我們可以使用以下幾種方式對(duì)種據(jù)進(jìn)行處理。.不做任何處理。因?yàn)閿?shù)據(jù)本身是保存在數(shù)據(jù)庫(kù)的（access或是db3）,您如果只是想看一下，直接用相關(guān)軟件查看就可以了。.web發(fā)布到網(wǎng)站。程序會(huì)模仿瀏覽器向您的網(wǎng)站發(fā)送數(shù)據(jù)，可以實(shí)現(xiàn)您手工發(fā)布的效果。.直接入數(shù)據(jù)庫(kù)。您只需寫幾個(gè)SQL語(yǔ)句，程序會(huì)將數(shù)據(jù)按您的SQL語(yǔ)句導(dǎo)入到數(shù)據(jù)庫(kù)中。.保存為本地文件。程序會(huì)讀取數(shù)據(jù)庫(kù)里的數(shù)據(jù)，按一定格式保存為本地sql或是文本文件。二、創(chuàng)建任務(wù)打開火車頭軟件，界面如下：二、創(chuàng)建任務(wù) 1.新建分組填寫分組名稱二、創(chuàng)建

3、任務(wù)2.新建任務(wù)填寫任務(wù)名稱添加采集網(wǎng)址三、采集網(wǎng)址點(diǎn)擊“添加”按鈕出現(xiàn)如下界面三、采集網(wǎng)址切換至“批量/多頁(yè)”選項(xiàng)卡，可以批量添加網(wǎng)址 網(wǎng)址通用序號(hào)用通配符(*)替換這添加方式主要用來(lái)處理分頁(yè)網(wǎng)址三、采集網(wǎng)址切換至“其他網(wǎng)址格式”選項(xiàng)卡，也可以批量添加網(wǎng)址 網(wǎng)址通用序號(hào)用通配符(*)替換這添加方式主要用來(lái)處理含有日期的網(wǎng)址 日期格式三、采集網(wǎng)址多級(jí)網(wǎng)址采集點(diǎn)擊添加按鈕 網(wǎng)址過(guò)濾條件三、采集網(wǎng)址手動(dòng)采集配置鏈接地址規(guī)則：手動(dòng)連接格式是將需要的網(wǎng)址用參數(shù)來(lái)獲得并組合成我們需要的網(wǎng)址。這個(gè)好處是處理網(wǎng)址那塊有規(guī)律的網(wǎng)址很好處理。而且可以用這方法采集需要的字段，如：公告新聞?lì)惖臉?biāo)題、日期等。點(diǎn)擊單選

4、按鈕來(lái)切換配置網(wǎng)址采集規(guī)則三、采集網(wǎng)址點(diǎn)擊完成之后，則出現(xiàn)如下情況：完成采集網(wǎng)址步驟之后，點(diǎn)擊“測(cè)試網(wǎng)址采集”按鈕。會(huì)出現(xiàn)如下界面：采集網(wǎng)址規(guī)則展示配置網(wǎng)址采集規(guī)則網(wǎng)址全部采集完成后，可以雙擊網(wǎng)址進(jìn)行內(nèi)容采集；如需修改則點(diǎn)擊“返回修改設(shè)置”四、采集內(nèi)容雙擊網(wǎng)址或者點(diǎn)擊測(cè)試該頁(yè)就能跳轉(zhuǎn)到采集內(nèi)容界面在典型頁(yè)面中會(huì)出現(xiàn)剛才選中的網(wǎng)址，這里就是測(cè)試采集內(nèi)容。左邊的標(biāo)簽名下面有：出處、時(shí)間、作者、內(nèi)容、標(biāo)題五個(gè)初始標(biāo)簽，可以對(duì)標(biāo)簽進(jìn)行添加、刪除和編輯等操作。四、采集內(nèi)容編輯字段規(guī)則以深交所的http:/ 前后匹配字符串四、采集內(nèi)容通過(guò)之前的方式采集可以看到內(nèi)容包含了很多的html標(biāo)簽，這些并不是所需要

5、的，因此需對(duì)其進(jìn)行處理。在數(shù)據(jù)處理項(xiàng)點(diǎn)擊添加，選中html標(biāo)簽過(guò)濾：點(diǎn)擊全選再按確定即可。處理之后的效果四、采集內(nèi)容備注：前后字符串截取與正則提取是火車頭最基本、最常用的兩種采集方式，其原理就是通過(guò)網(wǎng)頁(yè)源代碼中的前后關(guān)鍵字來(lái)獲取所要采集的內(nèi)容，通常這類前后的關(guān)鍵字在網(wǎng)頁(yè)源代碼中具有一定的唯一性。五、字段處理火車頭采集器除了有最基本的采集截取之外，還有大量的對(duì)數(shù)據(jù)自動(dòng)作特殊處理的功能。內(nèi)容替換：內(nèi)容替換功能是將采集后的字段中的一些內(nèi)容替換成需要的格式，如有時(shí)采到的日期為xxxx年xx月xx日，而我們需要xxxx-xx-xx的格式，就可以采取這個(gè)功能。五、字段處理網(wǎng)頁(yè)編碼設(shè)定：每個(gè)網(wǎng)站都有一個(gè)相對(duì)應(yīng)的編碼：如UTF-8。如果選錯(cuò)編碼，則采集出來(lái)的數(shù)據(jù)就會(huì)呈現(xiàn)一種亂碼格式。大多數(shù)的網(wǎng)頁(yè)編碼火車頭都可以自動(dòng)識(shí)別，如不能則需要手動(dòng)指定一個(gè)編碼格式。（網(wǎng)頁(yè)對(duì)應(yīng)的編碼格式通常會(huì)在源代碼的里）五、