爬蟲軟件集搜客使用方法

每周分享會——爬蟲軟件“集搜客”基本使用方法2024/7/27目錄2024/7/271.學(xué)習(xí)爬蟲軟件的目的需求決定供給！在日常工作中，我們會與商務(wù)部同事進行客戶需求對接，逐漸我們發(fā)現(xiàn)，現(xiàn)在許多行業(yè)/企業(yè)對數(shù)據(jù)的需求都強烈了起來。一些報告、方案或其他需求，都或多或少需要數(shù)據(jù)作為支撐。如“重慶地區(qū)白酒行業(yè)經(jīng)銷商數(shù)據(jù)”“貴州省某一個市區(qū)房地產(chǎn)數(shù)據(jù)”或者“當(dāng)?shù)睾姹?、按摩企業(yè)相關(guān)數(shù)據(jù)”等。這就要求我們這些行研人，需要具備一些網(wǎng)絡(luò)爬蟲的基本技術(shù)，這樣不但能減少部門對接的時間與不便，還能更好的對自己需要的數(shù)據(jù)進行把控。2024/7/272.軟件的下載安裝

集搜客爬蟲作為Firefox火狐瀏覽器的擴展插件，是基于火狐瀏覽器環(huán)境開發(fā)的，針對不同版本的火狐瀏覽器，都有與之配套的集搜客爬蟲版本，因此，請下載與當(dāng)前火狐配套的集搜客采集軟件。用火狐打開集搜客官網(wǎng)（/），點擊“免費下載”，解壓安裝包zip后，把xpi文件拖動到火狐瀏覽器窗口里進行安裝。第一次運行MS謀數(shù)臺/DS打數(shù)機時，要登錄才能正常使用。注意：沒有賬號的請先在官網(wǎng)注冊一個賬號，并且要通過郵箱驗證才能正常使用。具體看下圖2024/7/272024/7/272.軟件的下載安裝注意事項：為了獲得集搜客爬蟲軟件的最優(yōu)顯示效果，建議電腦顯示器分辨率在1280×1024以上。MS謀數(shù)臺的功能較強大，界面略復(fù)雜，顯示器的分辨率需在1280X1024以上才能完整展現(xiàn)操作界面。如果是筆記本電腦，使用效果不佳的話，可以通過調(diào)整工作臺布局以獲得更好的體驗，操作：打開MS謀數(shù)臺后，點擊“配置”菜單->“界面布局”->“移動工作臺”。2024/7/273.軟件實操最后，將近期的一個與數(shù)據(jù)相關(guān)的需求為例，一步步講解下，用集搜客在“大眾點評”中爬取“廣州地區(qū)，足療按摩場所”數(shù)據(jù)的流程。1.請打開火狐瀏覽器，點擊工具菜單欄，就會看到MS謀數(shù)臺和DS打數(shù)機。2024/7/273.軟件實操2、從網(wǎng)站搜取想爬蟲的主題，如“廣東足療按摩”，將其網(wǎng)址進行復(fù)制。如下圖所示：2024/7/273.軟件實操3、將網(wǎng)址復(fù)制到MS謀數(shù)臺的左上網(wǎng)址欄中，敲擊回車如下圖所示：2024/7/273.軟件實操4、敲擊回車，左上出現(xiàn)加載界面。等待完全加載完成后，出現(xiàn)如下畫面。其中，紅框部分叫做DOM界面，藍框部分叫做HTML界面。二者需要互相配合使用。如下圖所示：2024/7/273.軟件實操5、主題名命名：在操作界面右側(cè)，你需給本次任務(wù)進行命名，命名完成后，接著按鍵進行查重，如主題名不提示重復(fù)，可繼續(xù)操作。藍色框內(nèi)的網(wǎng)址是網(wǎng)頁加載完成后，由軟件自動填上的。2024/7/273.軟件實操6、主題名命名完成后，開始創(chuàng)立規(guī)則。點擊創(chuàng)建規(guī)則，然后點擊新建，給整理箱命名。2024/7/273.軟件實操7、鼠標(biāo)點擊瀏覽器上需要的抓取內(nèi)容，DOM界面就會相應(yīng)定位到其對應(yīng)的節(jié)點位置，即DOM界面黃色框內(nèi)的指令即為瀏覽器中藍色框內(nèi)抓取的節(jié)點位置。圖中橘黃色橢圓形框顯示的是整理箱的名字。2024/7/273.軟件實操8、選擇節(jié)點下的TEXT節(jié)點，一般文本都存在text中，可從軟件右部文本內(nèi)容框內(nèi)，查看此TEXT節(jié)點是否是對應(yīng)的抓取內(nèi)容文本。2024/7/273.軟件實操9、對應(yīng)好后，右擊TEXT節(jié)點位置，選擇內(nèi)容映射，新建抓取內(nèi)容為“店鋪名稱”，之后即可看到規(guī)則界面中列表整理箱中出現(xiàn)了店鋪名稱抓取內(nèi)容，請看藍框內(nèi)顯示。2024/7/273.軟件實操10如果你還想抓取其他內(nèi)容，如評分、地址、人均消費等，其他抓取內(nèi)容創(chuàng)建方式與店鋪名稱方法相同。2024/7/273.軟件實操11、之后可通過點擊測試按鈕，來對整理箱內(nèi)抓取內(nèi)容進行測試。2024/7/273.軟件實操這樣一個店鋪的抓取信息就完成了。12、下面利用樣例復(fù)制功能，開始對頁面內(nèi)多個店鋪的信息進行抓取。從DOM界面向上級尋找，找到整個店鋪的信息節(jié)點。點擊DOM界面紅色框內(nèi)節(jié)點位置，下方瀏覽器中會有紅框閃爍提示所選擇區(qū)域。選擇規(guī)則下的整理箱名稱，并將樣例復(fù)制中的啟用打鉤，開始樣例復(fù)制過程2024/7/273.軟件實操13、在對應(yīng)節(jié)點上點擊右鍵，選擇“樣例復(fù)制映射”選擇第一個如下圖所示：2024/7/273.軟件實操14、選擇后，樣例復(fù)制管理處就會出現(xiàn)相對應(yīng)的定位編碼。剛才這個店鋪信息作為樣例一，接下來尋找同一級的DOM節(jié)點進行樣例2的映射復(fù)制。如下圖所示：2024/7/273.軟件實操15、選擇同一級LI節(jié)點，瀏覽器界面會自動彈到下一店鋪信息上，右擊選擇“樣例復(fù)制映射”選擇第二個2024/7/273.軟件實操16、對應(yīng)的定位編碼已經(jīng)自動填到樣例復(fù)制管理區(qū)中。如下圖所示：2024/7/273.軟件實操17、點擊測試，整個頁面的信息都會被抓取。如下圖所示：2024/7/273.軟件實操下面進行翻頁處理。18、點選右側(cè)爬蟲路線標(biāo)簽進入到爬蟲路線界面2024/7/273.軟件實操19.點擊新建，勾選連貫抓取，勾選記號線索。如下圖所示：2024/7/273.軟件實操20.然后點擊瀏覽器下一頁，在DOM界面找到對應(yīng)的節(jié)點，尋找TEXT文件對應(yīng)文本內(nèi)容為“下一頁”。右鍵選擇線索映射中的記號映射。如下圖所示：2024/7/273.軟件實操21、選擇好后，會自動填到記號值框內(nèi)。并記錄定位編號。如下圖所示：2024/7/273.軟件實操22然后從DOM界面向上找到整個翻頁部分的節(jié)點位置，圖中藍框為瀏覽器中翻頁內(nèi)容的節(jié)點。點選藍框中“DIV”，紅框區(qū)域會有紅框閃爍來定位。如下圖所示：2024/7/273.軟件實操23、此時，右鍵選擇“線索映射”下的“定位”菜單下的“線索1”菜單。如下圖所示：2024/7/273.軟件實操24、選擇后，定位編碼會自動填選其定位編號如下圖所示：2024/7/273.軟件實操25、至此，可以存儲規(guī)則，然后點擊爬數(shù)據(jù)。如下圖所示：2024/7/273.軟件實操26、點擊爬數(shù)據(jù)，進入DS打數(shù)機開始自動爬取數(shù)據(jù)。如下圖所示：