《大數(shù)據(jù)導(dǎo)論》課件-3.5.4 Scrapy爬蟲(chóng)實(shí)戰(zhàn)

大數(shù)據(jù)導(dǎo)論Scrapy爬蟲(chóng)實(shí)戰(zhàn)————數(shù)據(jù)采集實(shí)戰(zhàn)題目：2021年GZ-2021041大數(shù)據(jù)技術(shù)與應(yīng)用賽項(xiàng)賽題6月13日更新，任務(wù)書(shū)-5，模塊B：數(shù)據(jù)采集與處理.全國(guó)職業(yè)院校技能大賽“大數(shù)據(jù)技術(shù)與應(yīng)用”賽項(xiàng)模塊B：數(shù)據(jù)采集與處理Scrapy實(shí)戰(zhàn)說(shuō)明任務(wù)說(shuō)明任務(wù)一：獲取“配送平臺(tái)”頁(yè)面相關(guān)數(shù)據(jù)

自行創(chuàng)建Scrapy工程編寫(xiě)工程代碼，獲取“配送平臺(tái)”頁(yè)面相關(guān)數(shù)據(jù)，通過(guò)工程代碼分頁(yè)獲取，將使用re解析分頁(yè)鏈接的程序源代碼復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。任務(wù)二：獲取“店鋪運(yùn)營(yíng)數(shù)據(jù)”頁(yè)面相關(guān)數(shù)據(jù)

編寫(xiě)工程代碼，獲取“店鋪運(yùn)營(yíng)數(shù)據(jù)”頁(yè)面相關(guān)數(shù)據(jù)，通過(guò)工程代碼分頁(yè)獲取，將使用re解析分頁(yè)鏈接的程序源代碼復(fù)制粘貼至對(duì)應(yīng)報(bào)告中。任務(wù)說(shuō)明任務(wù)三：將獲取數(shù)據(jù)存入json文件

運(yùn)行代碼，爬取“配送平臺(tái)”頁(yè)面與“店鋪運(yùn)營(yíng)數(shù)據(jù)”頁(yè)面數(shù)據(jù)分別至restaurant_data.json與grey_test.json文件。任務(wù)說(shuō)明源碼分析任務(wù)一：

根據(jù)任務(wù)描述，需要獲取“配送平臺(tái)”頁(yè)面相關(guān)數(shù)據(jù)，即“配送平臺(tái)”頁(yè)面的表格中的所有數(shù)據(jù)，且分頁(yè)頁(yè)面也需要爬取。

分析源碼后，發(fā)現(xiàn)表格數(shù)據(jù)在HTML的如下節(jié)點(diǎn)內(nèi)。<tablecellspacing="0"cellpadding="0"border="0"class="el-table__body"style="width:100%"></table>其對(duì)應(yīng)的頁(yè)面xpath路徑是：//table[@cellspacing='0']每一行數(shù)據(jù)對(duì)應(yīng)的xpath路徑是：

//table[@cellspacing='0']//tr[@class='el-table__row']第一項(xiàng)數(shù)據(jù)在每一行中，對(duì)應(yīng)的xpath路徑是：

./td[@class='el-table_2_column_10is-center'][1]/div[@class='cell']/text()源碼分析任務(wù)二：

根據(jù)任務(wù)描述，需要獲取“店鋪運(yùn)營(yíng)數(shù)據(jù)”頁(yè)面相關(guān)數(shù)據(jù)，即“店鋪運(yùn)營(yíng)數(shù)據(jù)”頁(yè)面的表格中的所有數(shù)據(jù)，且分頁(yè)頁(yè)面也需要爬取。

分析源碼后，發(fā)現(xiàn)“店鋪運(yùn)營(yíng)數(shù)據(jù)”頁(yè)面源代碼結(jié)構(gòu)與任務(wù)一“配送平臺(tái)”的結(jié)構(gòu)一致。源碼分析分頁(yè)鏈接：

任務(wù)一與任務(wù)二都涉及到頁(yè)面分頁(yè)爬取的要求。分析網(wǎng)頁(yè)html源碼可知，下一頁(yè)的鏈接在如下節(jié)點(diǎn)之后：<ulclass="elr"><liclass="numberactive"></li>利用正則表達(dá)式提取：

active">.*\s+?<liclass="number"><ahref="(.*html)">重寫(xiě)構(gòu)造請(qǐng)求由于不是單頁(yè)面數(shù)據(jù)采集，需要分次根據(jù)頁(yè)面實(shí)際下一頁(yè)鏈接進(jìn)行爬取。因此需要重寫(xiě)Scrapy框架的start_requests方法，重寫(xiě)方法如下：其中，scrapy.Request中的callback參數(shù)是指回調(diào)方法，用于將響應(yīng)的報(bào)文進(jìn)行解析處理。任務(wù)實(shí)現(xiàn)--items.py1、任務(wù)一item模型：2、任務(wù)二item模