版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
SpidersSpidersScrapy框架提供了scrapy.Spider做為爬蟲的基類,所有自定義的爬蟲必須從它那里繼承SpidersSpiders負(fù)責(zé)定義如何爬取及解析數(shù)據(jù)Spidersscrapy.Spider類的字段:主要字段描述name定義爬蟲名稱的字符串a(chǎn)llowed_domains包含了允許爬取的域名列表start_urls表示初始URL列表custom_settings定義該spider配置的字典拓展關(guān)于設(shè)置settings中的值的幾種方法,優(yōu)先級(jí)從高到低如下命令行選項(xiàng)1custom_settings2拓展關(guān)于設(shè)置settings中的值的幾種方法,優(yōu)先級(jí)從高到低如下命令行選項(xiàng)1custom_settings2settings.py文件3命令行的默認(rèn)設(shè)置,每一個(gè)命令行都有它自己的默認(rèn)設(shè)置4默認(rèn)的全局設(shè)置,被定義在scrapy.settings.default_settings中5Spidersscrapy.Spider類的字段:主要字段描述name定義爬蟲名稱的字符串a(chǎn)llowed_domains包含了允許爬取的域名列表start_urls表示初始URL列表custom_settings定義該spider配置的字典crawler定義spider實(shí)例綁定的crawler對(duì)象Spidersscrapy.Spider類的字段:主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spidersscrapy.Spider類的字段:主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spidersscrapy.Spider類的字段:主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spidersscrapy.Spider類的字段:主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spidersscrapy.Spider類的字段:主要字段描述settings運(yùn)行spider的配置logger用spider名字創(chuàng)建的Python日志記錄器from_crawler(crawler,*args,**kwargs)scrapy用于創(chuàng)建spiders的類方法。start_requests()開始爬蟲URL的函數(shù)parse(response)Scrapy默認(rèn)的回調(diào)用來處理下載的responselog(message[,level,component])日志處理closed(reason)在Spider關(guān)閉時(shí)被調(diào)用Spider參數(shù)使用帶-a選項(xiàng)的爬行命令傳遞,如下所示:scrapycrawlfirst_scrapy-agroup=accessoriesSpider參數(shù)用于指定起始URLSpider參數(shù)使用帶-a選項(xiàng)的爬行命令傳遞,如下所示:scrapycrawlfirst_scrapy-agroup=accessoriesSpider參數(shù)用于指定起始URLSpider參數(shù)演示一個(gè)Spider如何接收參數(shù):importscrapyclassFirstSpider(scrapy.Spider):name="first"def__init__(self,group=None,*args,**kwargs):super(FirstSpider,self).__init__(*args,**kwargs)self.start_urls=["/group/%s"%group]通用SpidersCrawlSpider自定義規(guī)則來爬取所有返回頁面中的鏈接XMLFeedSpider用來爬取XMLCSVFeedSpider用來爬取csvSitemapSpider通過Sitemap來發(fā)現(xiàn)爬取的URL通用SpidersCrawlSpider自定義規(guī)則來爬取所有返回頁面中的鏈接XMLFeedSpider用來爬取XMLCSVFeedSpider用來爬取csvSitemapSpider通過Sitemap來發(fā)現(xiàn)爬取的URLCrawlSpiderCrawlSpiderCrawlSpider繼承于Spiders類,有以下類:classscrapy.spiders.CrawlSpider在scrapy的源碼中的位置在scrapy->spiders->crawl.py中Rule規(guī)則是一個(gè)規(guī)則對(duì)象的列表,定義了爬蟲如何跟蹤鏈接classscrapy.spiders.Rule(link_extractor,callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None)Rule類跟CrawlSpider在同一文件中:參數(shù)說明LinkExtractor規(guī)定了Spider如何跟蹤鏈接并提取數(shù)據(jù)callback在每個(gè)頁面被爬取后被調(diào)用cb_kwargs傳遞參數(shù)給回調(diào)函數(shù)的字典類型follow指定是否繼續(xù)跟蹤鏈接process_links回調(diào)函數(shù)process_request回調(diào)函數(shù)parse_start_url(response)start_urls默認(rèn)回調(diào)方法,通過允許解析初始響應(yīng)來返回項(xiàng)目或請(qǐng)求對(duì)象注意:在編寫規(guī)則時(shí),請(qǐng)確保重命名parse函數(shù),因?yàn)閜arse函數(shù)被CrawlSpider用來實(shí)現(xiàn)其邏輯fromscrapy.spidersimportCrawlSpider,Rulefromscrapy.linkextractorsimportLinkExtractorclassTestSpider(CrawlSpider):name='test'start_urls=['/',]rules=(Rule(link_extractor=LinkExtractor(deny=('page/2')),callback='parse_item_first',follow=True),Rule(link_extractor=LinkExtractor(allow=('page/3')),callback='parse_item_second'))defparse_item_first(self,response):print('parse_item_first:',response.url)defparse_item_second(self,response):print('
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024年高端鋼質(zhì)防火門工程安裝合作合同一
- 二零二五年度博物館消防系統(tǒng)合作施工合同2篇
- 2024票據(jù)市場(chǎng)分析與咨詢管理委托合同3篇
- 2025年度房屋建筑結(jié)構(gòu)檢測(cè)與加固修復(fù)合同3篇
- 習(xí)作:我的拿手好戲(說課稿)-2024-2025學(xué)年統(tǒng)編版語文六年級(jí)上冊(cè)
- 第7課 全球聯(lián)系的初步建立與世界格局的演變 說課稿-2023-2024學(xué)年高中歷史統(tǒng)編版(2019)必修中外歷史綱要下
- 2025年度現(xiàn)代家居貼磚工程合同樣本3篇
- 2025年人教版八年級(jí)科學(xué)上冊(cè)階段測(cè)試試卷含答案
- 2024版協(xié)會(huì)合作伙伴聘用協(xié)議樣本版B版
- 2024年華師大版高二地理下冊(cè)月考試卷
- 應(yīng)收帳款管理辦法
- 水利水電工程驗(yàn)收實(shí)施細(xì)則模版(3篇)
- 四川雅安文化旅游集團(tuán)有限責(zé)任公司招聘筆試沖刺題2024
- 中南大學(xué)《大學(xué)物理C(3)(一)》2022-2023學(xué)年第一學(xué)期期末試卷
- 2024新人教版英語七年級(jí)上單詞默寫表(小學(xué)部分)
- 電力拖動(dòng)教學(xué)講義
- 2024-2025學(xué)年 語文二年級(jí)上冊(cè) 部編版期末測(cè)試卷 (含答案)
- 齊魯名家 談方論藥智慧樹知到期末考試答案2024年
- 小學(xué)六年級(jí)數(shù)學(xué)100道題解分?jǐn)?shù)方程
- 南京工業(yè)大學(xué)橋梁工程課程設(shè)計(jì)
- 最新童話知識(shí)競(jìng)賽試題(答案)合集
評(píng)論
0/150
提交評(píng)論