大數(shù)據(jù)采集與預(yù)處理課件：requests技術(shù)應(yīng)用案例-業(yè)務(wù)網(wǎng)站C動(dòng)態(tài)數(shù)據(jù)采集1

綜合案例——爬取業(yè)務(wù)網(wǎng)站C本章學(xué)習(xí)目標(biāo)分析業(yè)務(wù)網(wǎng)站C的網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容使用requests庫(kù)編寫(xiě)爬蟲(chóng)代碼獲取指定的動(dòng)態(tài)數(shù)據(jù)使用urlencode方法編碼使用pymysql庫(kù)實(shí)現(xiàn)數(shù)據(jù)的持久化在進(jìn)入業(yè)務(wù)網(wǎng)站C界面時(shí)，在切換“城市”時(shí)會(huì)出現(xiàn)不同的汽車信息。通過(guò)“開(kāi)發(fā)者工具”的Network選項(xiàng)卡中的XHR可以發(fā)現(xiàn)出現(xiàn)了一個(gè)動(dòng)態(tài)數(shù)據(jù)請(qǐng)求URL，如圖5-1所示。因此，接下來(lái)將圍繞該URL進(jìn)行分析。4.5.1

頁(yè)面分析圖5-1動(dòng)態(tài)數(shù)據(jù)請(qǐng)求URL通過(guò)“開(kāi)發(fā)者工具”的Network欄目中的XHR查看該URL的Preview可以看到返回的動(dòng)態(tài)數(shù)據(jù)，如圖5-2所示。該數(shù)據(jù)是一個(gè)字典和列表相互嵌套使用的數(shù)據(jù)集合。因此，要獲得指定的數(shù)據(jù)就必須要對(duì)該數(shù)據(jù)集合進(jìn)行準(zhǔn)確的解析。圖5-2動(dòng)態(tài)數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容在“Headers”選項(xiàng)卡，可以看見(jiàn)這個(gè)AJAX請(qǐng)求的URL地址是./ashx/AjaxIndexHotCarByDsj.ashx?cityid=110100其中cityid參數(shù)為110100，如圖5-3所示圖5-3切換該網(wǎng)站的城市位置如圖5-4所示，打開(kāi)“network”選項(xiàng)卡發(fā)現(xiàn)XHR中又出現(xiàn)了AJAX條目，并且和上一個(gè)城市的AJAX條目有共同之處。參數(shù)cityid發(fā)生了改變，變?yōu)榱?00100。./ashx/AjaxIndexHotCarByDsj.ashx?cityid=500100圖5-4由此可以分析得出，此處的cityid參數(shù)就是指代不同的城市編碼，并根據(jù)不同的cityid值返回不同城市的汽車信息，如圖5-5所示。圖5-3通過(guò)使用“開(kāi)發(fā)者工具”詳細(xì)查看并分析了頁(yè)面內(nèi)容，現(xiàn)在已經(jīng)獲得了動(dòng)態(tài)數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容。因此，這里使用requests庫(kù)編寫(xiě)自定義的爬蟲(chóng)代碼，針對(duì)頁(yè)面結(jié)構(gòu)通過(guò)使用循環(huán)語(yǔ)句獲取到頁(yè)面結(jié)構(gòu)中指定的動(dòng)態(tài)數(shù)據(jù)。4.5.2

獲取動(dòng)態(tài)數(shù)據(jù)1）導(dǎo)入urlencode和requests，前者表示使用urlencode方法編碼url，后者表示使用requests對(duì)象來(lái)發(fā)送請(qǐng)求，并返回響應(yīng)的數(shù)據(jù)。fromurllib.parseimporturlencodeimportrequests2）找到需要模擬的AJAX請(qǐng)求的url，并將其復(fù)制給變量original_url。fromurllib.parseimporturlencodeimportrequests3）根據(jù)該AJAX條目的RequestHeaders設(shè)置符合該AJAX的請(qǐng)求基本信息。requests_headers={'Referer':'./beijing/','User-Agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)''Chrome/57.0.2987.133Safari/537.36','X-Requested-With':'XMLHttpRequest',}4）自定義一個(gè)函數(shù)get_one(cityid)，講形參設(shè)置為cityid，表示將接收一個(gè)代表城市編碼的參數(shù)，并將該參數(shù)傳入字典p中。使用urlencode（）方法將字典p的值添加到original_url中,得到完整的URL請(qǐng)求。在try..except..語(yǔ)句中使用requests的get（）方法獲得上面的URL，并通過(guò)設(shè)定判斷條件，將得到的response響應(yīng)數(shù)據(jù)格式化為JSON。defget_one(cityid):p={'cityid':cityid}complete_url=original_url+urlencode(p)try:response=requests.get(url=complete_url,params=requests_headers)ifresponse.status_code==200:returnresponse.json()exceptrequests.ConnectionErrorase:print('Error',e.args)5）再自定義一個(gè)函數(shù)parse(json),將形參設(shè)置為Json，表示這里將接收的數(shù)據(jù)格式為JSON。通過(guò)前面的分析得出，這個(gè)AJAX返回的數(shù)據(jù)是一個(gè)字典列表，因此，通過(guò)設(shè)置判斷條件，使用json[0].get(‘name’)將獲得第一個(gè)字典集合中的車型名稱。defparse(json):ifjson: item=json[0].get(‘