《數(shù)據(jù)采集技術(shù)》課件-網(wǎng)頁(yè)請(qǐng)求原理

網(wǎng)頁(yè)請(qǐng)求原理Contents知識(shí)目標(biāo)掌握網(wǎng)頁(yè)請(qǐng)求原理技能目標(biāo)能夠復(fù)述出瀏覽器加載網(wǎng)頁(yè)的過(guò)程素養(yǎng)目標(biāo)培養(yǎng)良好的信息素養(yǎng)和道德意識(shí)思考WWW.這段網(wǎng)絡(luò)訪問(wèn)過(guò)程中發(fā)生了什么在瀏覽器的地址欄輸入網(wǎng)址，按下回車后會(huì)顯示該網(wǎng)址對(duì)應(yīng)的網(wǎng)頁(yè)?；剀嚍g覽網(wǎng)頁(yè)過(guò)程瀏覽網(wǎng)頁(yè)過(guò)程的示意圖如下所示客戶機(jī)web服務(wù)器通過(guò)IP地址請(qǐng)求頁(yè)面返回頁(yè)面返回IP地址域名DNS服務(wù)器對(duì)HTML頁(yè)面進(jìn)行渲染域名傳輸協(xié)議信息及主機(jī)類型信息+網(wǎng)址統(tǒng)一資源定位符URLURL是互聯(lián)網(wǎng)上標(biāo)準(zhǔn)資源的地址，包含了文件的位置以及瀏覽器處理方式等信息。/nmrjydsjxy/index.htm統(tǒng)一資源定位符URL協(xié)議頭除了https外，常見(jiàn)的協(xié)議頭還有http、ftp、file等。URL地址由協(xié)議頭、服務(wù)器地址、文件路徑三部分組成。服務(wù)器地址文件路徑統(tǒng)一資源定位符URLHTTP是一套計(jì)算機(jī)通過(guò)網(wǎng)絡(luò)進(jìn)行通信的規(guī)則，它由兩部分組成：客戶端（Client）請(qǐng)求消息和服務(wù)端（Server）響應(yīng)消息。請(qǐng)求響應(yīng)存儲(chǔ)著一些資源ClientServer統(tǒng)一資源定位符URL2.發(fā)送請(qǐng)求4.響應(yīng)1.輸入U(xiǎn)RL分析瀏覽器顯示完整網(wǎng)頁(yè)的過(guò)程用戶瀏覽器web服務(wù)器3.封裝成HTTP響應(yīng)報(bào)文5.解析HTML文件并加載其中的JavaScript文件分析瀏覽器顯示完整網(wǎng)頁(yè)的過(guò)程所有的文件都下載成功后，瀏覽器會(huì)根據(jù)HTML語(yǔ)法結(jié)構(gòu)，將網(wǎng)頁(yè)完整的顯示出來(lái)。客戶端HTTP請(qǐng)求格式請(qǐng)求方法空格URL空格協(xié)議版本回車符換行符請(qǐng)求行頭部字段名：值回車符換行符頭部字段名值回車符換行符：回車符換行符請(qǐng)求頭部請(qǐng)求數(shù)據(jù)請(qǐng)求行請(qǐng)求頭部空行請(qǐng)求數(shù)據(jù)客戶端發(fā)送一個(gè)HTTP請(qǐng)求到服務(wù)器的請(qǐng)求消息，組成部分：客戶端HTTP請(qǐng)求消息示例GET/HTTP/1.1Host:Connection:keep-aliveUpgrade-Insecure-Requests:1User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/54.0.2840.99Safari/537.36Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8Referer:/Accept-Encoding:gzip,deflate,sdch,brAccept-Language:zh-CN,zh;q=0.8,en;q=0.6Cookie:BAIDUID=04E4001F34EA74AD4601512DD3C41A7B:FG=1;BIDUPSID=04E4001F34EA74AD4601512DD3C41A7B;PSTM=1470329258;MCITY=-343%3A340%3A;H_PS_PSSID=1447_18240_21105_21386_21454_21409_21554;BD_UPN=12314753;sug=3;sugstore=0;ORIGIN=0;bdime=0;H_PS_645EC=7e2ad3QHl181NSPbFbd7PRUCE1LlufzxrcFmwYin0E6b%2BW8bbTMKHZbDP0g;BDSVRTM=0請(qǐng)求行客戶端HTTP請(qǐng)求HTTP版本描述HTTP0.9只有基本的文本GET功能。HTTP1.0定義了三種請(qǐng)求方法：GET，POST和HEAD方法。HTTP1.1在1.0基礎(chǔ)上進(jìn)行更新，新增了五種請(qǐng)求方法：OPTIONS，PUT，DELETE，TRACE和CONNECT方法。HTTP2.0所有首部鍵必須全部小寫，而且請(qǐng)求行要獨(dú)立為：:method、:scheme、:host、:path這些鍵值對(duì)。不同的HTTP版本下使用的請(qǐng)求方法不同用于從Web服務(wù)器請(qǐng)求數(shù)據(jù)客戶端HTTP請(qǐng)求最常用的請(qǐng)求方法是GET和POST，兩者的區(qū)別：1.GET方法(1)發(fā)送一個(gè)請(qǐng)求瀏覽器web服務(wù)器(2)返回響應(yīng)數(shù)據(jù)在使用GET方法時(shí)：客戶端HTTP請(qǐng)求最常用的請(qǐng)求方法是GET和POST，兩者的區(qū)別：用于向Web服務(wù)器提交數(shù)據(jù)2.POST方法(1)數(shù)據(jù)打包發(fā)送瀏覽器web服務(wù)器(3)返回響應(yīng)在使用POST方法時(shí)：(2)根據(jù)數(shù)據(jù)執(zhí)行相應(yīng)的操作客戶端HTTP請(qǐng)求兩者的區(qū)別：參數(shù)都顯示在URL上1.GET請(qǐng)求服務(wù)器根據(jù)該請(qǐng)求所包含URL中的參數(shù)來(lái)產(chǎn)生響應(yīng)內(nèi)容。請(qǐng)求參數(shù)都暴露在外，安全性不高。參數(shù)在請(qǐng)求體當(dāng)中2.POST請(qǐng)求消息長(zhǎng)度沒(méi)有限制而且采取隱式發(fā)送，通常用來(lái)向HTTP服務(wù)器提交量比較大的數(shù)據(jù)。高安全性比GET多使用場(chǎng)合客戶端HTTP請(qǐng)求參數(shù)參數(shù)名稱Host主機(jī)和端口號(hào)Connection連接類型Upgrade-Insecure-Requests升級(jí)為HTTPS請(qǐng)求User-Agent瀏覽器名稱Accept傳輸文件類型Referer頁(yè)面跳轉(zhuǎn)來(lái)源Accept-Encoding文件編解碼格式Accept-Charset字符編碼CookieCookieContent-TypePOST數(shù)據(jù)類型服務(wù)端HTTP響應(yīng)格式狀態(tài)行響應(yīng)報(bào)頭空行響應(yīng)正文HTTP響應(yīng)由四個(gè)部分組成：服務(wù)端HTTP響應(yīng)消息示例HTTP/1.1200OKServer:TengineConnection:keep-aliveDate:Wed,30Nov201607:58:21GMTCache-Control:no-cacheContent-Type:text/html;charset=UTF-8Keep-Alive:timeout=20Vary:Accept-EncodingPragma:no-cacheX-NWS-LOG-UUID:bd27210a-24e5-4740-8f6c-25dbafa9c395Content-Length:180945<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN"....服務(wù)端HTTP響應(yīng)消息示例HTTP/1.1200OKServer:TengineConnection:keep-aliveDate:Wed,30Nov201607:58:21GMTCache-Control:no-cacheContent-Type:text/html;charset=UTF-8Keep-Alive:timeout=20Vary:Accept-EncodingPragma:no-cacheX-NWS-LOG-UUID:bd27210a-24e5-4740-8f6c-25dbafa9c395Content-Length:180945<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN"....狀態(tài)行服務(wù)端HTTP響應(yīng)格式響應(yīng)碼描述100~199表示服務(wù)器成功接收部分請(qǐng)求，要求客戶端繼續(xù)提交其余請(qǐng)求才能完成整個(gè)處理過(guò)程。200~299表示服務(wù)器成功接收請(qǐng)求并已完成整個(gè)處理過(guò)程。常用狀態(tài)碼為200。300~399為完成請(qǐng)求，客戶需進(jìn)一步細(xì)化請(qǐng)求。400~499客戶端的請(qǐng)求有錯(cuò)誤，常用狀態(tài)碼包括404和403。500~599服務(wù)器端出現(xiàn)錯(cuò)誤，常用狀態(tài)碼為500。響應(yīng)狀態(tài)代碼由三位數(shù)字組成，其中第1位數(shù)字定義了響應(yīng)的類別，有五種可能取值。服務(wù)端HTTP響應(yīng)格式常用的響應(yīng)報(bào)頭和取值Cache-Control：must-revalidate,no-cache,private在下次請(qǐng)求資源時(shí)，必須要重新請(qǐng)求服務(wù)器，不能從緩存副本中獲取資源。同樣含義的報(bào)頭還有Pragma:no-cache。告訴客戶端服務(wù)端不希望客戶端緩存資源服務(wù)端HTTP響應(yīng)格式常用的響應(yīng)報(bào)頭和取值Connection：keep-alive告訴客戶端服務(wù)器的TCP連接也是一個(gè)長(zhǎng)連接，客戶端可以繼續(xù)使用這個(gè)TCP連接發(fā)送HTTP請(qǐng)求。客戶端服務(wù)端回應(yīng)客戶端的Connection：keep-alive服務(wù)端HTTP響應(yīng)格式常用的響應(yīng)報(bào)頭和取值Content-Encoding:gzip服務(wù)端發(fā)送的資源是采用gzip編碼的，客戶端看到這個(gè)信息后，應(yīng)該采用gzip對(duì)資源進(jìn)行解碼?？蛻舳朔?wù)端告訴報(bào)頭的取值服務(wù)端HTTP響應(yīng)格式常用的響應(yīng)報(bào)頭和取值Content-Type：text/html;charset=UTF-8客戶端需要使用UTF-8格式對(duì)資源進(jìn)行解碼，然后對(duì)資源進(jìn)行HTML解析。客戶端服務(wù)端告訴資源文件的類型和字符編碼服務(wù)端HTTP響應(yīng)格式常用的響應(yīng)報(bào)頭和取值HTTP協(xié)議中發(fā)送的時(shí)間都是GMT的，解決在互聯(lián)網(wǎng)上不同時(shí)區(qū)在相互請(qǐng)求資源時(shí)的時(shí)間混亂問(wèn)題。Date：Sun,21Sep201606:18:21GMT客戶端服務(wù)端告訴服務(wù)端發(fā)送資源時(shí)的服務(wù)器時(shí)間格林尼治所在地的標(biāo)準(zhǔn)時(shí)間服務(wù)端HTTP響應(yīng)格式常用的響應(yīng)報(bào)頭和取值Expires:Sun,1Jan200001:00:00GMT告訴客戶端在這個(gè)時(shí)間前，可以直接訪問(wèn)緩存副本。