《數據采集技術》課件-Scrapy shell

ScrapyshellScrapyshellscrapyshell是一個交互式終端可以在不運行Spider的情況下，測試和調試自己的數據提取代碼，測試XPath或CSS表達式屬于scrapy命令行工具Scrapyshell在編寫spider時終端提供了交互性測試表達式代碼的功能可以測試任何類型的代碼它本就是一個常規(guī)的PythonshellScrapyshell一般使用標準Python終端如果安裝了IPython，Scrapyshell將優(yōu)先使用Ipython（替代標準Python終端）啟動ScrapyShell語法：scrapyshell<url>url可以為空或本地的一個文件啟動ScrapyShell語法：scrapyshell<url>啟動ScrapyShell語法：scrapyshell<url>使用Scrapyshell三種快捷命令：快捷命令描述shelp()打印可用對象和快捷命令的幫助列表fetch(request_or_url)根據給定的request或URL獲取一個新的response對象，并更新原有的相關對象view(response)使用本機的瀏覽器打開給定的response對象。該函數會在response的body中添加一個<base>標簽，使得外部鏈接（如圖片）能正確顯示使用Scrapyshell內置對象描述crawler指定當前Crawler對象spider處理URL的spiderrequest最近獲取到的頁面的Request對象response包含最近獲取到的頁面的Response對象settings當前的Scrapy設置使用Scrapyshell內置對象：內置對象描述crawler指定當前Crawler對象spider處理URL的spiderrequest最近獲取到的頁面的Request對象response包含最近獲取到的頁面的Response對象settings當前的Scrapy設置使用Scrapyshell示例：使用Scrapyshell示例：使用Scrapyshellresponse對象有多個屬性response.status響應狀態(tài)碼response.url響應地址response.bodyresponse.text文本形式的http正文是response.body經過response.encoding解碼得到的response.text=response.body.decode(response.encoding)示例：response對象示例：response對象response的解析response解析說明response.xpath()使用xpath路徑查詢特定元素，返回一個selector列表對象response.css()使用css_selector查詢元素，返回一個selector列表對象selector對象通過xpath方法調用返回的是seletor列表response.xpath()示例response的解析extract()使用xpath請求到的對象是一個selector對象，需要進一步使用extract()方法拆包，轉換為unicode字符串response的解析如果提取不到值會報錯extract_first()提取seletor列表中的第一個值如果提取不到值會返回一個空值response.css()示例：response的解析本講小結1啟動ScrapyShell2ScrapyShell