數(shù)據(jù)新聞與信息可視化 課件 第三章 網(wǎng)絡(luò)數(shù)據(jù)獲取

數(shù)據(jù)新聞與信息可視化網(wǎng)絡(luò)數(shù)據(jù)獲取第三章目錄CONTENT01.

認(rèn)識(shí)網(wǎng)頁結(jié)構(gòu)02.

網(wǎng)絡(luò)高級(jí)搜索03.

使用工具軟件抓取網(wǎng)絡(luò)數(shù)據(jù)04.

使用Python編程語言抓取網(wǎng)絡(luò)數(shù)據(jù)認(rèn)識(shí)網(wǎng)頁結(jié)構(gòu)1.1調(diào)閱源代碼1.2探索源代碼1.3認(rèn)識(shí)源代碼第一節(jié)網(wǎng)頁是構(gòu)成網(wǎng)站的基本要素，前端網(wǎng)頁呈現(xiàn)與后端數(shù)據(jù)存儲(chǔ)共同構(gòu)成了網(wǎng)站。網(wǎng)頁通常由超文本標(biāo)記語言創(chuàng)建。HTML語言搭建起網(wǎng)頁基本結(jié)構(gòu)，確立了網(wǎng)頁的“骨架”。CSS級(jí)聯(lián)樣式表定義了網(wǎng)頁的樣式，也即裝飾了網(wǎng)頁的“皮膚”。JavaScript腳本規(guī)定了網(wǎng)頁的行為方式，也即構(gòu)建了網(wǎng)頁的“肌肉”。1.1

調(diào)閱源代碼1.1

調(diào)閱源代碼1.2

探索源代碼1.3認(rèn)識(shí)源代碼表HTML常用標(biāo)簽及含義網(wǎng)絡(luò)高級(jí)搜索2.1理解網(wǎng)址結(jié)構(gòu)2.2高級(jí)搜索命令第二節(jié)

[協(xié)議]://[服務(wù)器地址]:[端口]/[文件路徑]?[查詢]（端口或不顯示）

2.1

理解網(wǎng)址結(jié)構(gòu)圖網(wǎng)址結(jié)構(gòu)加號(hào)（+）邏輯“與”或“并”，連接兩個(gè)及以上搜索條件。減號(hào)（-）邏輯“非”，排除特定搜索條件。標(biāo)題（intitle）對(duì)網(wǎng)頁標(biāo)題欄進(jìn)行搜索。網(wǎng)站（site）將搜索范圍限定于特定網(wǎng)站。網(wǎng)址（inurl）專題內(nèi)容搜索。文件類型（filetype）搜索特定類型的文件。精確匹配（“”）精確匹配搜索內(nèi)容。2.2

高級(jí)搜索命令使用工具軟件抓取網(wǎng)絡(luò)數(shù)據(jù)第三節(jié)數(shù)據(jù)抓取工具可在Windows系統(tǒng)和Mac系統(tǒng)中使用。表網(wǎng)絡(luò)數(shù)據(jù)抓取工具介紹通過讀取網(wǎng)頁源代碼，可以獲知數(shù)據(jù)的存儲(chǔ)路徑，進(jìn)而通過不同方式獲取網(wǎng)絡(luò)數(shù)據(jù)。HTML語言搭建起網(wǎng)頁基本結(jié)構(gòu)，確立了網(wǎng)頁的“骨架”CSS級(jí)聯(lián)樣式表定義了網(wǎng)頁的樣式，也即裝飾了網(wǎng)頁的“皮膚”

JavaScript腳本規(guī)定了網(wǎng)頁的行為方式，也即構(gòu)建了網(wǎng)頁的“肌肉”。詳情頁采集使用Python編程語言抓取網(wǎng)絡(luò)數(shù)據(jù)4.1Python語言基礎(chǔ)簡介4.2使用Selenium庫抓取數(shù)據(jù)4.3使用BeautifulSoup庫進(jìn)行抓取4.4向?yàn)g覽器發(fā)送信息獲取特定數(shù)據(jù)第四節(jié)Python運(yùn)行環(huán)境4.1

Python語言基礎(chǔ)簡介Python書寫規(guī)范4.1

Python語言基礎(chǔ)簡介Python語法規(guī)則基本概念

輸出：內(nèi)置函數(shù)print（）。

變量：為數(shù)據(jù)命名。

表達(dá)式：由運(yùn)算符連接起不同類型的數(shù)據(jù)。語句：完整地執(zhí)行了一項(xiàng)任務(wù)的代碼。4.1

Python語言基礎(chǔ)簡介通過縮進(jìn)來控制代碼模塊4.1

Python語言基礎(chǔ)簡介Python語法規(guī)則數(shù)據(jù)類型

數(shù)值與布爾型：前者表示數(shù)值，后者有True和False兩個(gè)值。

字符串：由任意字符構(gòu)成，用引號(hào)標(biāo)識(shí)。

元組：有序的、不可更改的數(shù)據(jù)序列，使用小括號(hào)“（）”創(chuàng)建。列表：有序的，可更改的數(shù)據(jù)序列，使用“[

]”創(chuàng)建。字典：映射類型的數(shù)據(jù)，使用“{

}”創(chuàng)建。4.1

Python語言基礎(chǔ)簡介Python語法規(guī)則函數(shù)、模塊和庫

函數(shù)：可以重復(fù)使用，用來實(shí)現(xiàn)一定功能的代碼段。模塊：依據(jù)一定邏輯將代碼組織在一起。庫（也稱包）：具有相同功能的模塊的集合。4.1

Python語言基礎(chǔ)簡介Python語法規(guī)則執(zhí)行條件命令4.1

Python語言基礎(chǔ)簡介執(zhí)行循環(huán)命令4.2

使用Selenium庫抓取數(shù)據(jù)4.3

使用BeautifulSoup庫抓取數(shù)據(jù)driver.find_element(By.CLASS_NAME,‘J-search-input’).send_keys(‘小龍蝦’)drive.find