《大數(shù)據(jù)導(dǎo)論》課件-3.5.3Scrapy項(xiàng)目搭建

大數(shù)據(jù)導(dǎo)論Scrapy項(xiàng)目搭建————數(shù)據(jù)采集需求說明Scrapy項(xiàng)目開發(fā)可以有多種方式，可以使用Python自帶的可視化開發(fā)工具

IDLE，也可以使用其它支持Python開發(fā)的開發(fā)工具。

本課將基于IDEA集成開發(fā)環(huán)境講解搭建一個(gè)爬取新浪網(wǎng)的新聞模塊的Scrapy項(xiàng)目。

需求說明爬取字段：標(biāo)題數(shù)據(jù)目標(biāo)HTML區(qū)域：<divid="xy-impcon"></div>創(chuàng)建項(xiàng)目

1、打開IDEA，“新建項(xiàng)目”2、項(xiàng)目類別選擇“Python”3、ProjectSDK選擇本機(jī)安裝的python版本，點(diǎn)擊“下一步”創(chuàng)建項(xiàng)目

4、設(shè)置項(xiàng)目名：SinaProject5、設(shè)置項(xiàng)目位置，本課項(xiàng)目位置是E:\TeachProjects\PythonProjects\SinaProject6、點(diǎn)擊完成創(chuàng)建項(xiàng)目

此時(shí)，SinaProject項(xiàng)目還僅僅是普通的python項(xiàng)目。7、點(diǎn)擊IDEA的左下角的“Terminal”8、輸入創(chuàng)建Scrapy項(xiàng)目的命令，項(xiàng)目名為GetNews。

scrapystartprojectGetNews可以看到工程列表中已新增了一個(gè)GetNews的文件夾Scrapy常用命令創(chuàng)建項(xiàng)目：scrapystartprojectxxx進(jìn)入項(xiàng)目：cd

xxx

#進(jìn)入某個(gè)文件夾下創(chuàng)建爬蟲：scrapygenspiderxxx（爬蟲名）（網(wǎng)站域名）生成文件：scrapycrawlxxx-oxxx.json(生成某種類型的文件)運(yùn)行爬蟲：scrapycrawlXXX列出所有爬蟲：scrapylist獲得配置信息：scrapysettings[options]新增item模型

Item用來定義結(jié)構(gòu)化數(shù)據(jù)字段，用來保存爬取到的數(shù)據(jù)。

可以通過創(chuàng)建一個(gè)scrapy.Item類，并且定義類型為scrapy.Field的類屬性來定義一個(gè)Item（可以理解成類似于ORM的映射關(guān)系）

在Items.py文件中，創(chuàng)建一個(gè)NewsItem類，和構(gòu)建item模型（model），添加news_title屬性，如圖。編寫爬蟲1、點(diǎn)擊IDEA的左下角的“Terminal”2、切換到GetNews項(xiàng)目：cdGetNews3、輸入創(chuàng)建爬蟲的命令：

scrapygenspidernews""

此時(shí)，在項(xiàng)目下的spider目錄下，已新增了一個(gè)news.py的爬蟲文件編寫爬蟲打開spider目錄下的news.py爬蟲文件，做如圖修改。由于需要在IDEA中執(zhí)行，確保name值與爬蟲類名一致。編寫爬蟲

修改爬蟲的parse方法，對(duì)response對(duì)象解析提取數(shù)據(jù)。

這里使用了Xpath對(duì)爬取的內(nèi)容進(jìn)行解析。

本課中，僅打印出爬取的標(biāo)題，不做存儲(chǔ)。運(yùn)行爬蟲打開setting.py文件，設(shè)置忽略robots.txt規(guī)則，修改。