《數(shù)據(jù)采集技術》課件-超時和網(wǎng)絡異常

超時和網(wǎng)絡異常Contents素養(yǎng)目標能夠初步建立起大數(shù)據(jù)領域的知識體系，完成一些初級技術實踐。技能目標能夠處理超時和網(wǎng)絡異常的處理方法。知識目標掌握常見的超時和網(wǎng)絡異常以及處理方法。超時在互聯(lián)網(wǎng)上抓取數(shù)據(jù)并將其存儲在本地數(shù)據(jù)庫中。網(wǎng)絡爬蟲是一種自動化程序有時候會遇到超時錯誤導致無法成功抓取數(shù)據(jù)超時的原因1網(wǎng)絡連接問題網(wǎng)絡爬蟲需要通過網(wǎng)絡連接到目標網(wǎng)站，并從中抓取數(shù)據(jù)。不穩(wěn)定網(wǎng)絡連接響應速度慢網(wǎng)站服務器超時錯誤會導致可以嘗試更改網(wǎng)絡連接或者等待網(wǎng)站服務器響應。超時的原因2網(wǎng)站限制有些網(wǎng)站會設置訪問限制。限制每個IP地址的訪問次數(shù)或者訪問頻率WWW.網(wǎng)絡爬蟲頻繁訪問同一網(wǎng)站超時錯誤會導致惡意行為可以嘗試更改網(wǎng)絡爬蟲的訪問頻率或者使用代理服務器。超時的原因3數(shù)據(jù)量過大網(wǎng)絡爬蟲一次性抓取大量數(shù)據(jù)WWW.容易導致超時錯誤可以嘗試分批次抓取數(shù)據(jù)，或者增加網(wǎng)絡爬蟲的抓取速度。有些網(wǎng)站的數(shù)據(jù)量非常龐大。網(wǎng)站超時的原因4網(wǎng)站結構變化有些網(wǎng)站的結構會經(jīng)常發(fā)生變化，例如網(wǎng)頁布局、URL地址等。沒有及時更新適應變化容易導致超時錯誤可以嘗試更新網(wǎng)絡爬蟲的代碼或者使用更加靈活的抓取方式。超時的解決辦法給網(wǎng)站服務器更多的時間來響應網(wǎng)絡爬蟲的請求，從而減少超時錯誤的發(fā)生。增加等待時間1調(diào)整網(wǎng)絡爬蟲代碼中等待時間參數(shù)來實現(xiàn)超時的解決辦法給網(wǎng)絡爬蟲更多的機會來重新連接網(wǎng)站服務器并重新嘗試抓取數(shù)據(jù)。增加重試次數(shù)2調(diào)整網(wǎng)絡爬蟲代碼中重試次數(shù)參數(shù)來實現(xiàn)超時的解決辦法有些網(wǎng)站會設置訪問限制。限制每個IP地址的訪問次數(shù)或者訪問頻率WWW.網(wǎng)絡爬蟲頻繁訪問同一網(wǎng)站超時錯誤會導致惡意行為可以嘗試使用代理服務器來隱藏網(wǎng)絡爬蟲的真實IP地址。3使用代理服務器4優(yōu)化網(wǎng)絡連接網(wǎng)絡爬蟲需要通過網(wǎng)絡連接到目標網(wǎng)站，并從中抓取數(shù)據(jù)。不穩(wěn)定網(wǎng)絡連接響應速度慢網(wǎng)站服務器超時錯誤會導致可以嘗試優(yōu)化網(wǎng)絡連接，例如更改網(wǎng)絡連接或者使用更快速的網(wǎng)絡連接方式。超時的解決辦法5更新網(wǎng)絡爬蟲代碼超時的解決辦法有些網(wǎng)站的結構會經(jīng)常發(fā)生變化，例如網(wǎng)頁布局、URL地址等。沒有及時更新適應變化容易導致超時錯誤可以嘗試更新網(wǎng)絡爬蟲的代碼，使其能夠適應網(wǎng)站結構的變化。超時的解決辦法網(wǎng)絡爬蟲中超時是常見的問題適當調(diào)整和優(yōu)化提高抓取效率和成功率需要針對具體情況進行分析和解決常見網(wǎng)絡異常如果urlopen不能處理返回的響應內(nèi)容，就會產(chǎn)生錯誤。兩個常見異常：URLErrorHTTPError使用urlopen()方法發(fā)送http請求URLError異常和捕獲沒有連接網(wǎng)絡服務器連接失敗找不到指定服務器URLError產(chǎn)生的原因主要有：request=urllib.request.Request('')try:urllib.request.urlopen(request,timeout=5)excepturllib.error.URLErroraserr:print(err)URLError異常和捕獲可以使用try…except語句捕獲響應的異常：上述輸出了11004的錯誤碼，其含義是沒有找到指定的服務器。<urlopenerror[Error11004]getaddrinfofailed>常見網(wǎng)絡異常每個服務器的HTTP響應都有一個數(shù)字響應碼有些表示無法處理請求內(nèi)容。urlopen()會拋出HTTPError。HTTPError異常和捕獲HTTPError是URLError的子類，它的對象擁有一個整型的code屬性，表示服務器返回的錯誤代碼。request=urllib.request.Request('/net')try:urllib.request.urlopen(request)excepturllib.error.HTTPErrorase:print(e.code)上述輸出了404的錯誤碼，其含義是沒有找到這個頁面。404HTTPError異常和捕獲名稱類別說明1xxInformational（信息性狀態(tài)碼）接收的請求正在處理2xxSuccess（成功狀態(tài)碼）請求正常處理完畢3xxRedirection（重定向狀態(tài)碼）需要進行附加操作以完成請求4xxClientError（客戶端錯誤狀態(tài)碼）服務器無法處理請求5xxServerError（服務器錯誤狀態(tài)碼）