Python網(wǎng)絡(luò)爬蟲(chóng)項(xiàng)目式教程 課后習(xí)題及答案 錢(qián)游 項(xiàng)目四

復(fù)習(xí)題一、單項(xiàng)選擇題1、下面有關(guān)Requests庫(kù)說(shuō)法不正確的是（D）A、Requests是Python的一個(gè)HTTP請(qǐng)求庫(kù)B、在Windows下安裝可以使用命令“pipinstallrequests”C、在Linux下安裝可以使用命令“sudopipinstallrequests”D、Requests庫(kù)的GET請(qǐng)求不能攜帶參數(shù)（D）2、假定響應(yīng)對(duì)象為r,關(guān)于Requests庫(kù)通過(guò)以下方法獲取響應(yīng)內(nèi)容不正確的是（D）A、r.status_code表示響應(yīng)轉(zhuǎn)態(tài)碼B、r.raw表示原始響應(yīng)體，使用r.raw.read()讀取C、r.text表示字符串方式的響應(yīng)體，會(huì)自動(dòng)根據(jù)響應(yīng)頭部的字符編碼進(jìn)行解碼。D、r.url表示獲取網(wǎng)頁(yè)中的所有網(wǎng)址二、判斷題1、通用網(wǎng)絡(luò)爬蟲(chóng)常用串行工作方式。（錯(cuò)）2、需要登錄的網(wǎng)站一般通過(guò)GET請(qǐng)求就可以實(shí)現(xiàn)登錄。（錯(cuò)）3、代理中間件的可用代理列表一定要寫(xiě)在setting.py中。（錯(cuò)）4、所有的異步加載都會(huì)向后臺(tái)發(fā)送請(qǐng)求。（錯(cuò)）5、requests中g(shù)et請(qǐng)求方法的使用為requests.get(url).（對(duì)）三、編程題1、使用requests請(qǐng)求框架和BeautifulSoup解析框架，爬取以下Url變量所指定的網(wǎng)頁(yè)，獲取其網(wǎng)頁(yè)的標(biāo)題和新聞內(nèi)容。Url=/zwxx_176/bmdt/202104/t20210406_9072956.html”參考代碼：#1.利用requests.get(url)獲取網(wǎng)頁(yè)頁(yè)面的html文件

importrequests

newsurl='/zwxx_176/bmdt/202104/t20210406_9072956.html'

res=requests.get(newsurl)

res.encoding='utf_8'

print(res)

#2.利用BeautifulSoup的HTML解析器，生成結(jié)構(gòu)樹(shù)

frombs4importBeautifulSoup

soup=BeautifulSoup(res.text,'html.parser')

#3.找出特定標(biāo)簽的html元素

print(soup.p)#標(biāo)簽名，返回第一個(gè)

#打印網(wǎng)頁(yè)的頭部區(qū)域

print("打印網(wǎng)頁(yè)的頭部區(qū)域start")

print(soup.head)

print("打印網(wǎng)頁(yè)的頭部區(qū)域end")

#4.獲取網(wǎng)頁(yè)的標(biāo)題、新聞內(nèi)容

print("新聞的標(biāo)題是：")

title=soup.select('.tit')[0].text#返回的是是一個(gè)列表對(duì)象，使用小標(biāo)0進(jìn)行獲取，然后獲取文字內(nèi)容，使用了".text"方法

print(title)

print("新聞的內(nèi)容是：")

content=soup.select('.view')[0].text

print(content)2、使用Xpath實(shí)現(xiàn)圖書(shū)信息的爬取，網(wǎng)址為：/。要求：（1）爬取的圖書(shū)的字段有：書(shū)名、價(jià)格和評(píng)分。（2）使用XPath將所有頁(yè)的圖書(shū)信息全部爬取下來(lái)。（3）將數(shù)據(jù)保存于文件中（推薦使用csv文件）。參考代碼：importrequests

fromlxmlimporthtml

importcsv

base_url='/catalogue/'

pages=[base_url+str(i)+'.html'foriinrange(2,52)]

books=[]

forpageinpages:

page_source=requests.get(page).content.decode()

selector=html.fromstring(page_source)

titles=selector.xpath('//*[@id="default"]/div/div/div/div/section/div[2]/ol/li/article/h3/a/text()')

prices=selector.xpath('//*[@id="default"]/div/div/div/div/section/div[2]/ol/li/article/div[2]/p[1]/text()')

prices=[e[1:]foreinprices]

rating=selector.xpath('//*[@id="default"]/div/div/div/div/section/div[2]/ol/li/article/p/@class')

rating=[e.split('')[1]foreinrating]

foriinrange(len(prices)):

books.append((titles[i],prices[i],rating[i]))

print(books)

withopen("books.csv","w+")asf:

writer=csv.writer(f)

writer.writerow(('book_name','price','rating'))

writer.writerows(books)

print("處理完成")3、使用requests_html模塊請(qǐng)求網(wǎng)頁(yè)，請(qǐng)求的url地址如下，將指定網(wǎng)頁(yè)中中的所有超練級(jí)打印輸出到控制臺(tái)。參考代碼：URL=”/html/gndy/oumei/index.html”fromrequests_htmlimportHTMLSession

headers={

'user-agent':'Mozilla/5.0(WindowsNT6.1;WOW64)'

}

session=HTMLSession()

resp=session.get('/html/gndy/oumei/index.html')

resp.encoding="utf-8"

link=re