2023學(xué)年完整公開課版urllib代理分類

urllib代理分類深入了解urllib中的代理uest對象

代理介紹對象

代理介紹e常見的代理分類：根據(jù)協(xié)議劃分根據(jù)匿名內(nèi)容劃分

代理介紹e根據(jù)協(xié)議劃分：FTP代理服務(wù)器：主要用于訪問FTP服務(wù)器，一般有上傳、下載等功能。HTTP代理服務(wù)器：主要用于訪問網(wǎng)頁，一般有內(nèi)容過濾和緩存的功能。SSL/TLS代理：主要能用于訪問加密的網(wǎng)站，一般有SSL或者TLS加密功能。SOCKS代理：只是單純的用于傳輸數(shù)據(jù)包，不關(guān)心具體的協(xié)議用法，速度快。

代理介紹e根據(jù)匿名內(nèi)容劃分：高度匿名代理：會將數(shù)據(jù)包原封不動的轉(zhuǎn)發(fā)，在服務(wù)器看來就好像真的是一個普通的用戶短在訪問，而記錄的IP就是代理服務(wù)器的IP。普通匿名代理：會在數(shù)據(jù)包上做一些改動，服務(wù)端上有可能發(fā)現(xiàn)這個是代理服務(wù)器，也有一定的幾率追查到客戶端的真實(shí)IP，代理服務(wù)器通常會加入HTTP頭有HTTP_VIA和HTTP_X_FORWARDED_FOR。

代理介紹e根據(jù)匿名內(nèi)容劃分：透明代理：不但改動了數(shù)據(jù)包，還會告訴服務(wù)器客戶端的真實(shí)IP，這種代理除了用緩存技術(shù)提高瀏覽器速度。能用內(nèi)容過濾提高安全性之外，并沒有其他作用。間諜代理：指的是組織和個人創(chuàng)建的用于記錄用戶傳輸?shù)臄?shù)據(jù)，然后進(jìn)行研究，控制等目的的代理服務(wù)器。

代理介紹e使用代理IP這是爬蟲/反爬蟲的第二大招，通常也是最好用的。很多網(wǎng)站會檢測某一段時間某個IP的訪問次數(shù)(通過流量統(tǒng)計(jì)，系統(tǒng)日志等)，如果訪問次數(shù)多的不像正常人，它會禁止這個IP的訪問。所以我們可以設(shè)置一些代理服務(wù)器，每隔一段時間換一個代理，就算IP被禁止，依然可以換個IP繼續(xù)爬取。

代理介紹eurllib.request中通過ProxyHandler來設(shè)置使用代理服務(wù)器，下面代碼說明如何使用自定義opener來使用代理。

代理介紹eimporturllib.request#構(gòu)建代理Handlerhttpproxy_handler=urllib.request.ProxyHandler({"http":"19:3128","https":"15:8118"},)#通過urllib.request.build_opener(),創(chuàng)建自定義opener對象opener=urllib.request.build_opener(httpproxy_handler)request=urllib.request.Request("/")#1.如果這么寫，只有使用opener.open()方法發(fā)送請求才使用自定義的代理，而urlopen()則不使用自定義代理。response=opener.open(request)#2.如果這么寫，就是將opener應(yīng)用到全局，之后所有的，不管是opener.open()還是urlopen()發(fā)送請求，都將使用自定義代理。#urllib.request.install_opener(opener)#respons