網(wǎng)絡(luò)安全導(dǎo)論 實(shí)驗(yàn) 第2章 反爬蟲(chóng)與反反爬蟲(chóng)實(shí)驗(yàn)匯報(bào)

信息安全實(shí)訓(xùn)答辯01實(shí)驗(yàn)2A反爬蟲(chóng)與反反爬蟲(chóng)02目錄CONTENTS實(shí)驗(yàn)2B網(wǎng)絡(luò)投票系統(tǒng)的實(shí)現(xiàn)與安全性分析實(shí)驗(yàn)2A反爬蟲(chóng)與反反爬蟲(chóng)01page3實(shí)驗(yàn)準(zhǔn)備反爬蟲(chóng)反反爬蟲(chóng)·User-agent：瀏覽器通過(guò)headers中的參數(shù)向服務(wù)器表明自己的身份，使得只有在網(wǎng)站設(shè)置的正常范圍內(nèi)的User-agent才可以訪問(wèn)；·IP限制：當(dāng)一個(gè)IP在短時(shí)間內(nèi)大量訪問(wèn)一個(gè)網(wǎng)站時(shí)，限制該IP繼續(xù)訪問(wèn)；·驗(yàn)證碼：利用機(jī)器難識(shí)別的驗(yàn)證碼要求客戶以自然人的身份識(shí)別登錄網(wǎng)站，限制爬蟲(chóng)軟件或代碼的訪問(wèn)；·robots.txt：存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，其中告訴網(wǎng)絡(luò)爬蟲(chóng)哪些內(nèi)容是不應(yīng)被搜索和爬取的；·數(shù)據(jù)動(dòng)態(tài)加載：利用python的requests庫(kù)只能夠爬取靜態(tài)頁(yè)面的特征限制爬蟲(chóng)；·數(shù)據(jù)加密-使用加密算法：通過(guò)對(duì)網(wǎng)站部分參數(shù)的加密，提高網(wǎng)站安全性；·User-agent：自己設(shè)置一個(gè)User-agent（可以從合法的User-agent中復(fù)制一個(gè)）·IP限制：利用IP代理池，從不同的IP進(jìn)行訪問(wèn)，從而避免因同一個(gè)IP多次訪問(wèn)網(wǎng)站而被拒絕訪問(wèn)的現(xiàn)象；·驗(yàn)證碼：①圖片驗(yàn)證碼②簡(jiǎn)單數(shù)字（字母型）③短信驗(yàn)證碼④滑動(dòng)驗(yàn)證碼⑤標(biāo)記文字驗(yàn)證碼·robots.txt：使用scrapy框架，只需要將settings文件里的ROBOTSTXT_OBEY設(shè)置為False即可；·數(shù)據(jù)動(dòng)態(tài)加載：抓包獲取數(shù)據(jù)的url及其動(dòng)態(tài)參數(shù)，通過(guò)爬蟲(chóng)將參數(shù)打包傳遞給瀏覽器，使得爬蟲(chóng)能夠通過(guò)瀏覽器精準(zhǔn)定位動(dòng)態(tài)變化的網(wǎng)頁(yè)數(shù)據(jù)；·數(shù)據(jù)加密-使用加密算法：只能尋找出不同網(wǎng)站使用的不同的加密規(guī)律并進(jìn)行破密查看用戶代理與robots協(xié)議（2）打開(kāi)/robots.txt，查看并記錄其robots協(xié)議。（1）打開(kāi)任意瀏覽器，在網(wǎng)址上輸入about://version，查看用戶代理。爬蟲(chóng)程序運(yùn)行成果（3）爬取失敗,因?yàn)榫〇|有反爬措施,而我們的代碼中沒(méi)有用戶的代理信息,肯定是過(guò)不了反爬這一關(guān).修改添加了header頭,里面加了關(guān)于瀏覽器的信息,就可以爬取到網(wǎng)頁(yè)信息爬蟲(chóng)程序運(yùn)行成果（4）編程給出一個(gè)爬蟲(chóng)程序，要求能夠提取某一網(wǎng)站的信箱信息。人工智能技術(shù)在驗(yàn)證碼識(shí)別方面的研究進(jìn)展或許是由于CAPTCHA字符驗(yàn)證碼的概念太深入人心，或許是面對(duì)強(qiáng)大的人工智能設(shè)計(jì)一款絕對(duì)通用的驗(yàn)證碼真的很困難，全球范圍內(nèi)面臨這個(gè)痛點(diǎn)多年來(lái)依然束手無(wú)策，直到一個(gè)來(lái)自中國(guó)武漢的極客團(tuán)隊(duì)創(chuàng)造性的提出了一個(gè)劃時(shí)代的驗(yàn)證理念。他們看到人工智能的發(fā)展大趨勢(shì)之下，必須非常創(chuàng)造性的真正利用人的生物行為特征，構(gòu)建一個(gè)以人工智能為內(nèi)核的驗(yàn)證碼，才能做到持久智能的安全，而以這種理念打造的驗(yàn)證碼被稱為行為式驗(yàn)證。打開(kāi)Internet選項(xiàng)，通過(guò)對(duì)局域網(wǎng)的設(shè)置來(lái)選擇LAN代理服務(wù)器，其次填寫(xiě)相對(duì)應(yīng)的端口號(hào)以及ip地址，填寫(xiě)好之后就可以保存刷新瀏覽器IP就變更好了，使用這種方法能夠解決網(wǎng)站的ip地址限制問(wèn)題，適合效果補(bǔ)量的業(yè)務(wù)。直接使用代理IP網(wǎng)絡(luò)爬蟲(chóng)接入代理IP

及時(shí)切換IPIP代理池的作用有哪些？IP代理池打開(kāi)Internet選項(xiàng)，通過(guò)對(duì)局域網(wǎng)的設(shè)置來(lái)選擇LAN代理服務(wù)器，其次填寫(xiě)相對(duì)應(yīng)的端口號(hào)以及ip地址，填寫(xiě)好之后就可以保存刷新瀏覽器IP就變更好了，使用這種方法能夠解決網(wǎng)站的ip地址限制問(wèn)題，適合效果補(bǔ)量的業(yè)務(wù)。通常，網(wǎng)絡(luò)爬蟲(chóng)是程序化的接入方式，可以使用API的接入方式直接接入代理IP，網(wǎng)絡(luò)爬蟲(chóng)想要在最快的時(shí)間采集到大批量的信息，要避免防爬技術(shù)的攔截問(wèn)題，就必須要配合使用代理IP。除了靜態(tài)代理IP之外，代理IP都會(huì)有一個(gè)有效的期限，例如短效優(yōu)質(zhì)的代理有效期是3-6分鐘，為了防止代理IP失效導(dǎo)致的網(wǎng)絡(luò)中斷，工作沒(méi)有辦法繼續(xù)進(jìn)行，我們可以通過(guò)獲取IP的存活時(shí)間在失效前切換代理IP。實(shí)驗(yàn)2B網(wǎng)絡(luò)投票系統(tǒng)的實(shí)現(xiàn)與安全性分析02page10網(wǎng)絡(luò)投票系統(tǒng)的實(shí)現(xiàn)與安全性分析01實(shí)驗(yàn)?zāi)康?1實(shí)驗(yàn)準(zhǔn)備01實(shí)驗(yàn)內(nèi)容01實(shí)驗(yàn)報(bào)告實(shí)驗(yàn)?zāi)康?.學(xué)會(huì)配置PHP運(yùn)行環(huán)境，初步熟悉WEB應(yīng)用程序的開(kāi)發(fā)過(guò)程。2.通過(guò)對(duì)一個(gè)投票系統(tǒng)的安全性分析，理解系統(tǒng)的設(shè)計(jì)者、審核者和相關(guān)管理機(jī)構(gòu)的責(zé)任。實(shí)驗(yàn)準(zhǔn)備本實(shí)驗(yàn)需要首先在一臺(tái)機(jī)器上同時(shí)安裝Apache服務(wù)器和Mysql數(shù)據(jù)庫(kù)服務(wù)器，本實(shí)驗(yàn)的架構(gòu)如圖所示首先需要?jiǎng)?chuàng)建一個(gè)數(shù)據(jù)庫(kù)vo，將該數(shù)據(jù)庫(kù)設(shè)置為一個(gè)數(shù)據(jù)源。該庫(kù)有三張表admin,user和vote,其中admin表有id,username和password三個(gè)字段，用來(lái)存放管理員的id，賬號(hào)和密碼；user表有id,username,password和flag，用來(lái)存放投票者的id，賬號(hào)，密碼和狀態(tài)(0表示沒(méi)投票,1表示已投票,一人只允許投一票);vote中有id,item,count,用來(lái)存放投票項(xiàng)的id,投票項(xiàng)的名稱和投票的數(shù)量.實(shí)驗(yàn)內(nèi)容web頁(yè)面展示實(shí)驗(yàn)內(nèi)容用戶登錄界面投票界面投票檢驗(yàn)實(shí)驗(yàn)內(nèi)容對(duì)第一個(gè)“麥田守望者”投票用同一個(gè)賬號(hào)再次投票投票失敗投票檢驗(yàn)實(shí)驗(yàn)內(nèi)容投票結(jié)果投票檢驗(yàn)及添加修改實(shí)驗(yàn)內(nèi)容后臺(tái)登錄后臺(tái)頁(yè)面后臺(tái)添加投票項(xiàng)目頁(yè)面嘗試添加《三體》投票項(xiàng)目投票項(xiàng)目修改投票實(shí)踐實(shí)驗(yàn)報(bào)告先用賬號(hào)test1登錄對(duì)《三體》進(jìn)行投票現(xiàn)在我們登錄test2賬號(hào)進(jìn)行投票投票成功，《三體》兩票實(shí)驗(yàn)報(bào)告—設(shè)計(jì)網(wǎng)絡(luò)投票系統(tǒng)應(yīng)滿足安全性要求正確性：有效的選票必須全部被統(tǒng)計(jì)，而無(wú)效的選票，則全部丟棄。隱私性：一個(gè)投票者所投的內(nèi)容不能被其他人獲知。投票認(rèn)證：參加投票的人必須經(jīng)過(guò)權(quán)威機(jī)構(gòu)認(rèn)證，沒(méi)有投票權(quán)利的人，是不能夠偽造或者冒領(lǐng)選票的。不可重用性：一個(gè)投票者不能投超過(guò)規(guī)定的次數(shù)?；蛘哒f(shuō)是，該投票系統(tǒng)應(yīng)該可以抵抗重放攻擊。魯棒性：系統(tǒng)具有足夠的容錯(cuò)能力或者應(yīng)對(duì)突發(fā)情況的能力。當(dāng)某些錯(cuò)誤或者收到攻擊時(shí)，依然能正確工作。個(gè)人可驗(yàn)證性、可用性……實(shí)驗(yàn)報(bào)告如何防止重復(fù)投票本實(shí)驗(yàn)中,給每個(gè)投票者設(shè)置了flag屬性,當(dāng)用戶投票后,就會(huì)對(duì)mysql進(jìn)行操作,將該用戶的flag從0變?yōu)?,下次投票的時(shí)候校驗(yàn)出flag為1的話會(huì)禁止投票；管理員能否查出某人的具體投票行為本實(shí)驗(yàn)中管理員