《數(shù)據(jù)采集技術(shù)》課件-使用 urllib 實現(xiàn)數(shù)據(jù)傳輸

使用urllib爬取網(wǎng)頁傳遞數(shù)據(jù)的方法通過url傳遞數(shù)據(jù)給服務(wù)器傳遞數(shù)據(jù)的方式主要分為：get()post()傳遞數(shù)據(jù)的方法通過url傳遞數(shù)據(jù)給服務(wù)器傳遞數(shù)據(jù)的方式主要分為：get()post()直接使用url訪問，在url中包含了所有參數(shù)。傳遞數(shù)據(jù)的方法通過url傳遞數(shù)據(jù)給服務(wù)器傳遞數(shù)據(jù)的方式主要分為：get()post()不會在url中顯示所有的參數(shù)。Contents素養(yǎng)目標培養(yǎng)良好的信息素養(yǎng)和道德意識技能目標熟悉urllib庫中處理get和post請求的方法知識目標掌握urllib庫中處理get和post請求的原理URL編碼轉(zhuǎn)換當傳遞的URL中包含中文或者其它特殊字符（如空格等）時，需要使用urllib.parse庫中的urlencode方法將URL進行編碼?！発ey:value”鍵值對轉(zhuǎn)換成“key=value”字符串importurllib.parsedata={'a':'數(shù)據(jù)采集','b':'技術(shù)'}result=urllib.parse.urlencode(data)print(result)轉(zhuǎn)碼a=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86&b=%E6%8A%80%E6%9C%AFURL編碼轉(zhuǎn)換importurllib.parseresult=urllib.parse.unquote('a=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86')print(result)解碼使用的是url.parse庫的unquote方法a=數(shù)據(jù)采集處理GET請求GET請求一般用于向服務(wù)器獲取數(shù)據(jù)處理GET請求“？”后面的字符串就包含了要查詢的關(guān)鍵字“數(shù)據(jù)采集”。使用Fiddler查看HTTP請求發(fā)現(xiàn)有個GET請求的格式如下：/s?wd=%E6%95%B0%E6%8D%AE%E9%87%87%E9%9B%86處理GET請求importurllib.requestimporturllib.parse#引入urllib的庫url='/s'word={"wd":"數(shù)據(jù)采集"}word=urllib.parse.urlencode(word)new_url=url+"?"+word#定義參數(shù)urlheaders={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1"}#定義參數(shù)headersrequest=urllib.request.Request(new_url,headers=headers)#構(gòu)建requestresponse=urllib.request.urlopen(request)#模擬瀏覽器向服務(wù)器發(fā)起請求獲取響應(yīng)html=response.read().decode('utf-8')print(html)示例返回一個HTTPResponse類型的對象處理GET請求返回結(jié)果處理POST請求發(fā)送http請求時urlopen方法必須設(shè)置data參數(shù)，data參數(shù)以字典的形式存放數(shù)據(jù)。如果以post方式發(fā)送請求處理POST請求當訪問有道詞典翻譯網(wǎng)站進行詞語翻譯時不管輸入什么內(nèi)容一直都不變URL處理POST請求通過使用Fiddler觀察，發(fā)現(xiàn)該網(wǎng)站向服務(wù)器發(fā)送的是POST請求。處理POST請求當使用有道詞典翻譯“Python”時，返回的結(jié)果是一個JSON字符串。處理POST請求importurllib.request#POST請求的目標URL，通過Fiddler獲取url="/jsonapi_s?doctype=json&jsonversion=4"headers={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/535.1(KHTML,likeGecko)Chrome/14.0.835.163Safari/535.1"}#打開Fiddler請求窗口，點擊WebForms選項查看數(shù)據(jù)體formdata={"q":"ilovepython",'le':'en'}data=bytes(urllib.parse.urlencode(formdata).encode('utf-8'))request=urllib.request.Request(url,data=data,headers=headers)response=urllib.request.urlopen(request)print(response.read().decode('utf-8'))示例本講小結(jié)1url編碼轉(zhuǎn)換2urllib庫處理get請求3urllib庫處理post請求本講小結(jié)1url編碼轉(zhuǎn)換2urllib庫處理get請求