《Python網(wǎng)絡(luò)爬蟲》 課件 第2單元-爬取動(dòng)態(tài)網(wǎng)頁

Python網(wǎng)絡(luò)爬蟲第二單元爬取動(dòng)態(tài)網(wǎng)頁教學(xué)概述概述動(dòng)態(tài)網(wǎng)頁，是指跟靜態(tài)網(wǎng)頁相對的一種網(wǎng)頁編程技術(shù)。靜態(tài)網(wǎng)頁，隨著html代碼的生成，頁面的內(nèi)容和顯示效果就基本上不會(huì)發(fā)生變化了（除非修改頁面代碼）。而動(dòng)態(tài)網(wǎng)頁則不然，頁面代碼雖然沒有變，但是顯示的內(nèi)容卻是可以隨著時(shí)間、環(huán)境或者數(shù)據(jù)庫操作的結(jié)果而發(fā)生改變的。

動(dòng)態(tài)網(wǎng)頁是基本的html語法規(guī)范與Java、VB、VC等高級程序設(shè)計(jì)語言、數(shù)據(jù)庫編程等多種技術(shù)的融合，以期實(shí)現(xiàn)對網(wǎng)站內(nèi)容和風(fēng)格的高效、動(dòng)態(tài)和交互式的管理。因此，從這個(gè)意義上來講，凡是結(jié)合了HTML以外的高級程序設(shè)計(jì)語言和數(shù)據(jù)庫技術(shù)進(jìn)行的網(wǎng)頁編程技術(shù)生成的網(wǎng)頁都是動(dòng)態(tài)網(wǎng)頁。第二單元爬取動(dòng)態(tài)網(wǎng)頁02爬取百度圖片數(shù)據(jù)爬取漫畫數(shù)據(jù)01情境一：爬取百度圖片數(shù)據(jù)01030204情境概述知識(shí)準(zhǔn)備案例講解總結(jié)PART01情境概述情境一：爬取百度圖片數(shù)據(jù)情境概述學(xué)習(xí)情境描述教學(xué)情境描述：通過對Scrapy、JSON、MySQL知識(shí)點(diǎn)的學(xué)習(xí)，對技術(shù)綜合應(yīng)用的操作，學(xué)習(xí)并掌握如何去區(qū)分靜態(tài)網(wǎng)頁和動(dòng)態(tài)網(wǎng)頁交互、去分析動(dòng)態(tài)網(wǎng)頁實(shí)際數(shù)據(jù)來源、去獲取動(dòng)態(tài)網(wǎng)頁交互數(shù)據(jù)，最終達(dá)到：使用Scrapy獲取動(dòng)態(tài)數(shù)據(jù)源；使用JSON解析動(dòng)態(tài)數(shù)據(jù)；使用PyMySQL存儲(chǔ)動(dòng)態(tài)結(jié)構(gòu)化數(shù)據(jù)MySQL數(shù)據(jù)庫。關(guān)鍵知識(shí)點(diǎn)：Python庫環(huán)境管理；Scrapy網(wǎng)絡(luò)交互；JSON數(shù)據(jù)格式；JSON數(shù)據(jù)解析；PyMySQL結(jié)構(gòu)化存儲(chǔ)。關(guān)鍵技能點(diǎn)：Scrapy網(wǎng)頁及接口請求；JSON數(shù)據(jù)解析；MySQL結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。情境一：爬取百度圖片數(shù)據(jù)情境概述本節(jié)課的學(xué)習(xí)目標(biāo)掌握Python模塊庫（Scrapy、JSON、PyMySQL等）安裝管理應(yīng)用。能區(qū)分靜態(tài)網(wǎng)頁和動(dòng)態(tài)網(wǎng)頁。能根據(jù)實(shí)際情況，定位動(dòng)態(tài)數(shù)據(jù)來源。理解Scrapy框架體系。理解Scrapy網(wǎng)絡(luò)爬蟲框架及原理。掌握Scrapy項(xiàng)目系統(tǒng)配置及爬蟲策略配置。能使用Scrapy進(jìn)行網(wǎng)頁和接口數(shù)據(jù)采集工作。能使用JSON解析動(dòng)態(tài)數(shù)據(jù)源。能使用PyMySQL完成MySQL結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)。情境一：爬取百度圖片數(shù)據(jù)情境概述本節(jié)課的任務(wù)書完成通過PIP命令安裝及管理Scrapy、JSON、PyMySQL庫。完成通過Scrappy獲取列表數(shù)據(jù)、分頁數(shù)據(jù)及多層級的汽車銷售數(shù)據(jù)網(wǎng)頁源代碼。完成通過XPath格式化網(wǎng)頁源文檔，并獲取對應(yīng)類型的汽車銷售數(shù)據(jù)。完成通過Pymysql將解析到的各車型銷售數(shù)據(jù)結(jié)構(gòu)化存儲(chǔ)于本地MySQL中。情境一：爬取百度圖片數(shù)據(jù)PART02知識(shí)準(zhǔn)備情境一：爬取百度圖片數(shù)據(jù)知識(shí)準(zhǔn)備引導(dǎo)問題了解什么是動(dòng)態(tài)網(wǎng)頁，和靜態(tài)網(wǎng)頁有什么不同。如何定位動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)源？如何獲取動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)源？動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)是以什么樣的格式或結(jié)構(gòu)展現(xiàn)？如何解析動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)？如何將動(dòng)態(tài)數(shù)據(jù)在MySQL結(jié)構(gòu)化存儲(chǔ)？情境一：爬取百度圖片數(shù)據(jù)知識(shí)準(zhǔn)備知識(shí)點(diǎn)介紹ScrapyJSONPyMySQL情境一：爬取百度圖片數(shù)據(jù)知識(shí)準(zhǔn)備JSON情境一：爬取百度圖片數(shù)據(jù)JSON介紹JSON(JavaScript

ObjectNotation,JS對象簡譜)是一種輕量級的數(shù)據(jù)交換格式。它基于ECMAScript(歐洲計(jì)算機(jī)協(xié)會(huì)制定的js規(guī)范)的一個(gè)子集，采用完全獨(dú)立于編程語言的文本格式來存儲(chǔ)和表示數(shù)據(jù)。簡潔和清晰的層次結(jié)構(gòu)使得JSON成為理想的數(shù)據(jù)交換語言。易于人閱讀和編寫，同時(shí)也易于機(jī)器解析和生成，并有效地提升網(wǎng)絡(luò)傳輸效率。JSON是DouglasCrockford在2001年開始推廣使用的數(shù)據(jù)格式，在2005年-2006年正式成為主流的數(shù)據(jù)格式。JSON是存儲(chǔ)和交換文本信息的語法，類似XML。JSON比XML更小、更快，更易解析。知識(shí)準(zhǔn)備

JSON語法規(guī)則情境一：爬取百度圖片數(shù)據(jù)JSON使用

JavaScript

語法來描述數(shù)據(jù)對象，但是JSON仍然獨(dú)立于語言和平臺(tái)。JSON語法是JavaScript語法的子集，包括以下內(nèi)容：數(shù)據(jù)在名稱/值對中數(shù)據(jù)由逗號分隔花括號保存對象方括號保存數(shù)組JSON支持以下數(shù)據(jù)結(jié)構(gòu)：名/值對集合：這一數(shù)據(jù)結(jié)構(gòu)由不同的鍵值對組成。無序的對象結(jié)構(gòu)：多個(gè)名稱/值構(gòu)成的封裝體，類似字典表。有序的值列表：包括數(shù)組，列表，向量或序列等等。知識(shí)準(zhǔn)備

情境一：爬取百度圖片數(shù)據(jù)JSON名稱/值對JSON數(shù)據(jù)的書寫格式是：名稱/值對。名稱/值對包括字段名稱（在雙引號中），后面寫一個(gè)冒號，然后是值。語法如下所示：其中value所對應(yīng)的值可以是：數(shù)字、字符串、邏輯值、數(shù)組、對象、null。具體描述如下："name":value知識(shí)準(zhǔn)備

情境一：爬取百度圖片數(shù)據(jù)JSON對象JSON對象使用在大括號({})中書寫，對象可以包含多個(gè)

key/value（鍵/值）對。其中：key必須是字符串，value可以是合法的JSON數(shù)據(jù)類型（字符串,數(shù)字,對象,數(shù)組,布爾值或null）。key和value中使用冒號(:)分割。每個(gè)key/value對使用逗號(,)分割。

數(shù)據(jù)結(jié)構(gòu)如下：{"鍵名1":值1,"鍵名2":值2,……"鍵名n":值n}知識(shí)準(zhǔn)備

情境一：爬取百度圖片數(shù)據(jù)JSON數(shù)組JSON數(shù)組結(jié)構(gòu)是用中括號“[]”括起來，中括號內(nèi)部由0個(gè)或多個(gè)以英文逗號“,”分隔的值列表組成。數(shù)據(jù)結(jié)構(gòu)如下：[{"鍵名1":值1,"鍵名2":值2},{"鍵名3":值3,"鍵名4":值4},……]知識(shí)準(zhǔn)備

Python中使用JSON情境一：爬取百度圖片數(shù)據(jù)

在Python中要操作JSON數(shù)據(jù)對象，需要使用json模塊。

JSON模塊為Python內(nèi)置模塊，在環(huán)境安裝時(shí)已自動(dòng)安裝上，所以可以直接使用框架庫，無需額外安裝。

在json模塊中，主要是對Python數(shù)據(jù)的編碼和解碼，分別對應(yīng)函數(shù)：dumps()、loads()。知識(shí)準(zhǔn)備

情境一：爬取百度圖片數(shù)據(jù)dumps()json.dumps():對數(shù)據(jù)進(jìn)行編碼，將Python對象編碼成JSON字符串。語法如下：Python對象轉(zhuǎn)換為JSON數(shù)據(jù)會(huì)有類型轉(zhuǎn)化，類型對照表如下：json.dumps(obj,skipkeys=False,ensure_ascii=True,check_circular=True,allow_nan=True,cls=None,indent=None,separators=None,encoding="utf-8",default=None,sort_keys=False,**kw)知識(shí)準(zhǔn)備

情境一：爬取百度圖片數(shù)據(jù)loads()json.loads():對數(shù)據(jù)進(jìn)行解碼，將JSON字符串解碼成Python對象。語法如下：JSON數(shù)據(jù)轉(zhuǎn)換為Python對象會(huì)有類型轉(zhuǎn)化，類型對照表如下：json.loads(s[,encoding[,cls[,object_hook[,parse_float[,parse_int[,parse_constant[,object_pairs_hook[,**kw]]]]]]]])PART03案例講解情境一：爬取百度圖片數(shù)據(jù)案例講解爬取百度圖片數(shù)據(jù)情境一：爬取百度圖片數(shù)據(jù)步驟：確定目標(biāo)網(wǎng)頁分析并確定目標(biāo)數(shù)據(jù)安裝環(huán)境構(gòu)建項(xiàng)目編寫數(shù)據(jù)采集程序編寫數(shù)據(jù)存儲(chǔ)程序運(yùn)行程序效果截圖案例講解爬取百度圖片數(shù)據(jù)情境一：爬取百度圖片數(shù)據(jù)具體實(shí)操跟隨教材內(nèi)的步驟實(shí)施。PART04總結(jié)情境一：爬取百度圖片數(shù)據(jù)總結(jié)總結(jié)情境一：爬取百度圖片數(shù)據(jù)

本情景，主要介紹了Scrapy、JSON、PyMySQL的相關(guān)知識(shí)，通過對案例的學(xué)習(xí)，讓同學(xué)們掌握

Scrapy、JSON、PyMySQL

的運(yùn)用。情境二：爬取漫畫數(shù)據(jù)01030204情境概述知識(shí)準(zhǔn)備案例講解總結(jié)PART01情境概述情境二：爬取漫畫數(shù)據(jù)情境概述學(xué)習(xí)情境描述教學(xué)情境描述：通過對Selenium、PhantomJS、threading、Pillow知識(shí)點(diǎn)的學(xué)習(xí)，對技術(shù)綜合應(yīng)用的操作，學(xué)習(xí)并掌握如何去區(qū)分靜態(tài)網(wǎng)頁和動(dòng)態(tài)網(wǎng)頁交互、去分析動(dòng)態(tài)網(wǎng)頁實(shí)際數(shù)據(jù)來源、去模擬瀏覽器訪問網(wǎng)頁、模擬用戶操作瀏覽器、去獲取動(dòng)態(tài)網(wǎng)頁交互數(shù)據(jù)。達(dá)到本次最終目的：使用Selenium模擬瀏覽器與用戶行為操作、使用PhantomJS提供無界面瀏覽器支持與滾動(dòng)截屏支持、使用threading構(gòu)建多線程數(shù)據(jù)采集、使用Pillow裁剪處理并保存目標(biāo)圖片。關(guān)鍵知識(shí)點(diǎn)：Python庫環(huán)境管理;PhantomJS軟件安裝與配置；Selenium框架理解；Selenium原理；Selenium自動(dòng)化操作；threading多線程構(gòu)建與管理；Pillow圖片裁剪與存儲(chǔ)。關(guān)鍵技能點(diǎn)：PhantomJS軟件安裝與配置；Selenium自動(dòng)化操作；threading多線程構(gòu)建與管理；Pillow圖片裁剪與存儲(chǔ)。情境二：爬取漫畫數(shù)據(jù)情境概述本節(jié)課的學(xué)習(xí)目標(biāo)掌握Python模塊庫（Selenium、threading、Pillow等）安裝管理應(yīng)用。掌握PhantomJS軟件安裝與配置。能區(qū)分靜態(tài)網(wǎng)頁和動(dòng)態(tài)網(wǎng)頁。能根據(jù)實(shí)際情況，定位動(dòng)態(tài)數(shù)據(jù)來源。理解Selenium自動(dòng)化框架及原理。掌握Selenium運(yùn)行環(huán)境和項(xiàng)目配置。能使用Selenium模擬瀏覽器操作和用戶行為操作。能使用threading構(gòu)建和管理多線程爬蟲任務(wù)。能使用Pillow對圖片進(jìn)行裁剪和存儲(chǔ)。情境二：爬取漫畫數(shù)據(jù)情境概述本節(jié)課的任務(wù)書完成通過PIP命令安裝及管理Selenium、threading、Pillow庫。完成通過Selenium模擬瀏覽器請求，模擬用戶行為操作，獲取動(dòng)漫作品的章節(jié)列表及章節(jié)漫畫圖片原型。完成通過threading構(gòu)建和管理多線程爬蟲任務(wù)。完成通過Pillow的相關(guān)模塊完成對圖片進(jìn)行裁剪和存儲(chǔ)操作。情境二：爬取漫畫數(shù)據(jù)PART02知識(shí)準(zhǔn)備情境二：爬取漫畫數(shù)據(jù)知識(shí)準(zhǔn)備引導(dǎo)問題網(wǎng)頁中列表數(shù)據(jù)和圖片加載方式有幾種？分別是如何加載的，動(dòng)態(tài)加載和靜態(tài)加載的區(qū)別。如何定位動(dòng)態(tài)網(wǎng)頁列表數(shù)據(jù)源和圖片數(shù)據(jù)源？除了Requests或Scrapy直接請求地址的方式，還可以通過哪些方式獲取動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)和圖片數(shù)據(jù)？如何通過Selenium獲取動(dòng)態(tài)加載的網(wǎng)頁圖片？如何通過Selenium技術(shù)實(shí)現(xiàn)網(wǎng)頁截屏？如何將圖片進(jìn)行裁剪并本地化存儲(chǔ)？情境二：爬取漫畫數(shù)據(jù)知識(shí)準(zhǔn)備知識(shí)點(diǎn)介紹PhantomJSSeleniumthreadingPillow情境二：爬取漫畫數(shù)據(jù)知識(shí)準(zhǔn)備PhantomJS情境二：爬取漫畫數(shù)據(jù)PhantomJS介紹PhantomJS是一個(gè)無界面的、可腳本編程的WebKit瀏覽器引擎。它可以在Windows、macOS、Linux和FreeBSD系統(tǒng)上運(yùn)行。使用QtWebKit作為后端，它為各種Web標(biāo)準(zhǔn)提供快速和本地支持：DOM處理、CSS選擇器、JSON、畫布和SVG。PhantomJS有如下特點(diǎn)：PhantomJS是一個(gè)基于webkit內(nèi)核、無界面的瀏覽器，即它就是一個(gè)瀏覽器，只是其內(nèi)的點(diǎn)擊、翻頁等人為相關(guān)操作需要程序設(shè)計(jì)實(shí)現(xiàn)；PhantomJS提供JavascriptAPI接口，可以通過編寫JS程序直接與webkit內(nèi)核交互；PhantomJS的應(yīng)用：無需瀏覽器的Web測試、網(wǎng)頁截屏、頁面訪問自動(dòng)化、網(wǎng)絡(luò)監(jiān)測。知識(shí)準(zhǔn)備

PhantomJS安裝與配置情境二：爬取漫畫數(shù)據(jù)下載軟件PhantomJS是一款無頭瀏覽器，是一款軟件。官網(wǎng)下載地址：

下載phantomjs-2.1.1-windows.zip后解壓到本地文件夾即可。環(huán)境配置定位到phantomjs.exe所在地址，此處演示地址為：C:\Software\phantomjs-2.1.1-windows\bin，將其添加在系統(tǒng)環(huán)境變量中。/download.html知識(shí)準(zhǔn)備

情境二：爬取漫畫數(shù)據(jù)驗(yàn)證安裝使用快捷鍵打開CMD命令窗口，輸入查看PhantomJS的版本。如圖：知識(shí)準(zhǔn)備

PhantomJS運(yùn)行腳本情境二：爬取漫畫數(shù)據(jù)PhantomJS是一款無頭瀏覽器，也可以使用PhantomJS命令行工具運(yùn)行JS腳本。PhantomJS運(yùn)行腳本案例如圖：知識(shí)準(zhǔn)備Selenium情境二：爬取漫畫數(shù)據(jù)Selenium框架介紹Selenium是支持web瀏覽器自動(dòng)化的一系列工具和庫的綜合項(xiàng)目。它提供了擴(kuò)展來模擬用戶與瀏覽器的交互，用于擴(kuò)展瀏覽器分配的分發(fā)服務(wù)器，以及用于實(shí)現(xiàn)

W3CWebDriver規(guī)范的基礎(chǔ)結(jié)構(gòu)，該規(guī)范允許您為所有主要Web瀏覽器編寫可互換的代碼。Selenium的核心是

WebDriver，這是一個(gè)編寫指令集的接口，可以在許多瀏覽器中互換運(yùn)行。知識(shí)準(zhǔn)備

Selenium搭建情境二：爬取漫畫數(shù)據(jù)安裝Selenium

可以使用PIP安裝Python的Selenium庫。語法如下：驗(yàn)證安裝可以使用PIP驗(yàn)證Selenium庫的安裝成果。語法如下：pipinstallSeleniumpiplist知識(shí)準(zhǔn)備

情境二：爬取漫畫數(shù)據(jù)下載WebDriver二進(jìn)制文件通過WebDriver，Selenium支持市面上所有主流的瀏覽器，如Chrom(ium)、Firefox、InternetExplorer、Opera和Safari。盡管并非所有瀏覽器都對遠(yuǎn)程控制提供官方支持，但WebDriver盡可能使用瀏覽器的內(nèi)置自動(dòng)化支持來驅(qū)動(dòng)瀏覽器。常見瀏覽器及其對應(yīng)的WebDriver二進(jìn)制文件下載地址：知識(shí)準(zhǔn)備

情境二：爬取漫畫數(shù)據(jù)配置二進(jìn)制文件環(huán)境通過將包含WebDriver二進(jìn)制文件的文件夾添加到系統(tǒng)path環(huán)境變量中，Selenium將能夠找到其他二進(jìn)制文件，而無需您的測試代碼來定位驅(qū)動(dòng)程序的確切位置。如圖：驗(yàn)證Path打開命令行窗口，輸入WebDriver名稱，查看驅(qū)動(dòng)程序啟動(dòng)的輸出，如圖：知識(shí)準(zhǔn)備

WebDriver通信介紹情境二：爬取漫畫數(shù)據(jù)WebDriver通過一個(gè)驅(qū)動(dòng)程序與瀏覽器對話。通信基本方式是:直接通信，WebDriver通過驅(qū)動(dòng)程序向?yàn)g覽器傳遞命令，然后通過相同的路徑接收信息。結(jié)構(gòu)如圖:知識(shí)準(zhǔn)備

Selenium應(yīng)用情境二：爬取漫畫數(shù)據(jù)實(shí)例化WebDriver定位元素操控瀏覽器等待Keyboard知識(shí)準(zhǔn)備threading情境二：爬取漫畫數(shù)據(jù)線程介紹多線程類似于同時(shí)執(zhí)行多個(gè)不同程序。線程不能夠獨(dú)立執(zhí)行，必須依存在應(yīng)用程序中，由應(yīng)用程序提供多個(gè)線程執(zhí)行控制。線程在執(zhí)行過程中與進(jìn)程還是有區(qū)別的，每個(gè)獨(dú)立的進(jìn)程有一個(gè)程序運(yùn)行的入口、順序執(zhí)行序列和程序的出口。多線程運(yùn)行有如下優(yōu)點(diǎn)：使用線程可以把占據(jù)長時(shí)間的程序中的任務(wù)放到后臺(tái)去處理。用戶界面可以更加吸引人，這樣比如用戶點(diǎn)擊了一個(gè)按鈕去觸發(fā)某些事件的處理，可以彈出一個(gè)進(jìn)度條來顯示處理的進(jìn)度。程序的運(yùn)行速度可能加快。在一些等待的任務(wù)實(shí)現(xiàn)上如用戶輸入、文件讀寫和網(wǎng)絡(luò)收發(fā)數(shù)據(jù)等，線程就比較有用了。在這種情況下我們可以釋放一些珍貴的資源如內(nèi)存占用等等。知識(shí)準(zhǔn)備

threading模塊情境二：爬取漫畫數(shù)據(jù)Python3通過兩個(gè)標(biāo)準(zhǔn)庫_thread和threading提供對線程的支持。threading模塊除了包含_thread模塊中的所有方法外，還提供的其他方法：threading.currentThread():返回當(dāng)前的線程變量。threading.enumerate():返回一個(gè)包含正在運(yùn)行的線程的list。正在運(yùn)行指線程啟動(dòng)后、結(jié)束前，不包括啟動(dòng)前和終止后的線程。threading.activeCount():返回正在運(yùn)行的線程數(shù)量，與len(threading.enumerate())有相同的結(jié)果。知識(shí)準(zhǔn)備

threading模塊情境二：爬取漫畫數(shù)據(jù)threading模塊同樣提供了Thread類來處理線程，Thread類提供了以下方法:run():

用以表示線程活動(dòng)的方法。start():啟動(dòng)線程活動(dòng)。join([time]):

等待至線程中止。這阻塞調(diào)用線程直至線程的join()方法被調(diào)用中止-正常退出或者拋出未處理的異常-或者是可選的超時(shí)發(fā)生。isAlive():

返回線程是否活動(dòng)的。getName():

返回線程名。setName():

設(shè)置線程名。知識(shí)準(zhǔn)備Pillow情境二：爬取漫畫數(shù)據(jù)Pillow介紹Pillow是一個(gè)友好的圖形處理庫。PythonPillow庫為您的Python翻譯增加了圖像處理功能。此庫提供廣泛的文件格式支持、高效的