關(guān)于python網(wǎng)絡爬蟲的實現(xiàn)實踐報告

上傳人：瀚*** IP屬地：湖北上傳時間：2023-11-09 格式：DOCX 頁數(shù)：26 大?。?32.37KB 積分：15 舉報 版權(quán)申訴

關(guān)于python網(wǎng)絡爬蟲的實現(xiàn)實踐報告_第2頁

關(guān)于python網(wǎng)絡爬蟲的實現(xiàn)實踐報告_第3頁

關(guān)于python網(wǎng)絡爬蟲的實現(xiàn)實踐報告_第4頁

關(guān)于python網(wǎng)絡爬蟲的實現(xiàn)實踐報告_第5頁

已閱讀5頁，還剩21頁未讀，繼續(xù)免費閱讀

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領

文檔簡介

成果形式：實踐報告成果名稱：關(guān)于python網(wǎng)絡爬蟲的實現(xiàn)實踐報告一、實踐目的1.掌握Python的基本語法知識：Python最有特色的地方就是縮進的形式來控制函數(shù)、邏輯判斷或者代碼。在Python中需要使用相同數(shù)目的行首縮進空格數(shù)。最好是在每個縮減層次使用一個制表符或者是兩個空格和四個空格。2.學習如何采集數(shù)據(jù)：一般會通過市場調(diào)研,問卷調(diào)查，固定的樣本檢測和各行各業(yè)的公司進行合作，專家對話（數(shù)據(jù)積累很多年了，最后得出科研結(jié)果）來采集數(shù)據(jù)。3.了解社會對計算機新技能的運用：社會的不斷發(fā)展導致新技能的強烈需求，原始的計算擊技能已經(jīng)不再適用新時代的發(fā)展，學習一門新的適應時代潮流的技能有助于我們在社會更好立足。4.鍛煉自主上機操作的能力：現(xiàn)今很多學生都沉迷于手機和電子游戲中，很少時間來接觸和學習新的計算機語言，短時間的實踐和學習可以幫助我們提升上機操作能力。5.了解爬蟲抓取流程：首選選取一部分已有的URL,分析這些網(wǎng)頁內(nèi)容，找出網(wǎng)頁里其他的URL連接，繼續(xù)執(zhí)行第二步，直到爬取條件結(jié)束。6.搜索引擎如何獲取一個新網(wǎng)站的URL：主動向搜索引擎提交/linksubmit/url，在其他網(wǎng)站里設置網(wǎng)站的外鏈。搜索引擎會和DNS服務商進行合作，可以快速收錄新的網(wǎng)站。DNS：就是把域名解析成IP的一種技術(shù)。二、實踐內(nèi)容1.項目的分析（1）解釋爬蟲<!DOCTYPEhtml><htmllang="zh-CN"><head><metacharset="utf-8"/><metaname="renderer"content="webkit"/><metahttp-equiv="X-UA-Compatible"content="IE=Edge"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkhref="http:///tfs/TB1XlF3RpXXXXc6XXXXXXXXXXXX-16-16.png"rel="shortcuticon"type="image/x-icon"/><linktitle="天貓T"href="http:///mui/global/1.2.35/file/search.xml"type="application/opensearchdescription+xml"rel="search"/><metaname="spm-id"content="a2156.1676643"/><metahttp-equiv="X-UA-Compatible"content="IE=edge,chrome=1"/><metaname="renderer"content="webkit"/><title>淘寶網(wǎng)-淘！我喜歡</title><basetarget="_blank"/><linkrel="stylesheet"href="http:///??mui/global/3.0.31/global.css,mui/global/3.0.31/responsive.css,zebras/portal-4713/1.1.17/pc/index.css"/><scriptsrc="http:///??kissy/k/1.4.16/seed-min.js,mui/global/3.0.31/global-pc.js,mui/global/3.0.31/global.js,mui/globalmodule/3.0.83/seed.js,mui/btscfg-g/3.0.0/index.js,mui/bucket/3.0.4/index.js,mui/globalmodule/3.0.83/global-mod-pc.js,mui/globalmodule/3.0.83/global-mod.js,mui/global/3.0.31/responsive.js,mui/kissy-polyfill/4.0.16/index.js,zebras/portal-4713/1.1.17/pc/index.js,zebras/portal-4713/1.1.17/seed.js"></script><metaname="spm-id"content="a21bo"/><metaname="description"content="淘寶網(wǎng)-亞洲較大的網(wǎng)上交易平臺，提供各類服飾、美容、家居、數(shù)碼、話費/點卡充值…數(shù)億優(yōu)質(zhì)商品，同時提供擔保交易(先收貨后付款)等安全交易保障服務，并由商家提供退貨承諾、破損補寄等消費者保障服務，讓你安心享受網(wǎng)上購物樂趣！"/><metaname="aplus-xplug"content="NONE"><metaname="keyword"content="淘寶,掏寶,網(wǎng)上購物,C2C,在線交易,交易市場,網(wǎng)上交易,交易市場,網(wǎng)上買,網(wǎng)上賣,購物網(wǎng)站,團購,網(wǎng)上貿(mào)易,安全購物,電子商務,放心買,供應,買賣信息,網(wǎng)店,一口價,拍賣,網(wǎng)上開店,網(wǎng)絡購物,打折,免費開店,網(wǎng)購,頻道,店鋪"/>(2)把網(wǎng)頁界面先調(diào)試出來(3)解釋倒入的五個庫和包importrequests#導入網(wǎng)絡進行下載fromrequests.exceptionsimportRequestException#導入網(wǎng)絡進行下載過程有報錯異常，然后導入一個報錯庫importre#爬出來所有圖片和文字，保存importjson#PoolfrommultiprocessingimportPool2.項目的設計（1）寫一個簡單的html網(wǎng)頁。（2）輸入3個數(shù)，按照從小到大輸出答案：li=[22,33,66]

li.sort()

print(li)(3)新建一個1.py文件，輸入importrequests，如果報錯，自己配置電腦Requests。3.項目的實現(xiàn)（代碼）（1）使用while循環(huán)輸入1234568910n=1

whilen<11:

ifn==7:

pass

else:

print(n)

n=n+1

print('end')（2）求1-100的所有數(shù)的和s=0

whilen<101:

s=s+n

n=n+1

print(s)（3）輸出1-100內(nèi)的所有奇數(shù)n=1

whilen<101:

temp=n%2

iftemp==0:

pass

else:

print(n)

n=n+1

print('end')4.l1=[11,22,33,55,99]，l2=[23,22,33,44]判斷l(xiāng)1里面存在，l2里面不存在的元素，打印輸出.然后判斷l(xiāng)2里面存在，l1里面不存在的元素，打印輸出.答案：l1=[11,22,33]

l2=[22,33,44]

foriinl1:

ifinotinl2:

print(i)

foriinl2:

ifinotinl1:

print(i)5.元組(111,"你的名字",(11,22),[(33,44)],True,33,44,)打印輸出索引為1位置的內(nèi)容。用切片切出0到2的位置.打印輸出.然后用for循環(huán)迭代出里面的元素打印輸出.答案：tu=(111,"王可心",(11,22),[(33,44)],True,33,44,)

#索引

a=tu[1]

print(a)

#切片

tu[1:5]

v=tu[0:2]

print(v)

foritemintu:

print(item)6.在列表li=["你的學號","你的名字"]在里面添加元組（11,22,33,44）打印輸出，然后將列表轉(zhuǎn)化成元組.打印輸出.答案：li=["1704600117","王可心"]

li.extend((11,22,33,44))

print(li)

a=tuple(li)

print(a)7.元組student=("你的學號","你的名字")，用_連接你的學號_姓名打印輸出.答案：student=("1704600117","王可心")

v="_".join(student)

print(v)8.求0-7所能組成的奇數(shù)個數(shù).s=1

sum_=0

foriinrange(1,9):

ifi==1:

s=4

elifi==2:

s=4*7

ifi>2:

s*=8

sum_+=s

print(i,s)9.某個公司采用公用電話傳遞數(shù)據(jù)，數(shù)據(jù)是四位的整數(shù)，在傳遞過程中是加密的，加密規(guī)則如下：每位數(shù)字都加上5,然后用和除以10的余數(shù)代替該數(shù)字，再將第一位和第四位交換，第二位和第三位交換。答案：num=int(input("請輸入要加密的數(shù)據(jù)："))

list_num=[]

list_num.append(int(num/1000))

list_num.append(int(num%1000/100))

list_num.append(int((num%10)))

foriinrange(4):

list_num[i]=(list_num[i]+5)%10

print("加密后的數(shù)據(jù)為:",end="")

foriinrange(-1,-5,-1):

print(list_num[i],end="")10.編寫一個學生成績轉(zhuǎn)換程序，用戶輸入百分制的學生成績，成績大于或等于90的輸出“優(yōu)秀”，成績大于或等于80小于90的輸出“良好”，成績大于60或等于60小于80的輸出“合格”，否則輸出“掛科啦”.答案：a=eval(input("請輸入你的成績："))

if100>=a>=90:

print("優(yōu)秀")

elif90>=a>=80:

print("良好")

elif80>=a>=60:

print("合格")

else:

print("掛科啦")11.li=[11,44,22,33,22,88],在索引為1的位置添加元素99，打印輸出，然后對添加完成之后的元素進行按降序排列大小，打印輸出.答案：li=[11,44,22,33,22,88]

li.insert(1,99)

print(li)

li.sort()

print(li)

li.reverse()

print(li)12.li=[1,12,9,"你的學號",["你的名字",["19",10],"愛好"],"caijing",True]，把索引為1的位置替換成120,打印輸出.然后再把120替換為[11,22,33,44]，打印輸出.答案：li=[1,12,9,"1704600117",["王可心",["19",10],"愛好"],"caijing",True]

li[1]=120

print(li)

li[1]=[11,22,33,44]

print(li)13.將字符串s="woaixiancaijingdaxue"轉(zhuǎn)化為列表，打印輸出，然后再將轉(zhuǎn)化完成的列表轉(zhuǎn)化為字符串.打印輸出答案：s1="woaixiancaijingdaxue"

li=list(s1)

print(li)

li=['w','o','a','i','x','i','a','n','c','a','i','j','i','n','g','d','a','x','u','e']

s2=""

foriinli:

s2+=str(i)

print(s2)14.用戶登陸（三次機會重試），示例（下圖登錄只有一次機會），登錄的username==“你的姓名”，password==“你的學號”：答案：n=0

whilen<3:

n=n+1

username=input("請輸入你的姓名：")

password=input("請輸入你的學號：")

ifusername=="王可心"andpassword=="1704600119":

print("登陸成功")

else:

print("登陸失敗")15.在下列數(shù)組值li=[1,2,3,22,4]最后追加元素5，“caijing”,[1100,0011]三個元素，打印輸出當前數(shù)組答案：li=[1,2,3,22,4]

li.append(5)

li.append("caijing")

li.append("[1100,0011]")

print(li)16.在下列數(shù)組值li=[1,2,3,22,4]最后追加元素5，“caijing”,[1100,0011]三個元素，打印輸出當前數(shù)組答案：li=[1,2,3,22,4]

li.append(5)

li.append("caijing")

li.append("[1100,0011]")

print(li)17.獲取當前值88索引位置，打印輸出，并且將100插入到索引為3的位置，打印輸出。li=[11,22,33,22,44，99,88,1,2,5]答案：li=[11,22,33,22,44,99,88,1,2,5]

a=li.index(88)

print(a)

li.insert(3,100)

print(li)18.刪除列表中的指定值100，li=[11,22,33,22,44，99,88,100，1,2,5]打印輸出，然后對之前未刪除的當前列表進行翻轉(zhuǎn)，打印輸出結(jié)果答案：li=[11,22,33,22,44,99,88,100,1,2,5]

li.remove(100)

print(li)

li=[11,22,33,22,44,99,88,100,1,2,5]

li.reverse()

print(li)19.項目使用說明defmain(offset):

url='/board/4?offset='+str(offset)

html=get_one_page(url)

foriteminpaser_one_page(html):

print(item)

write_to_file(item)

#//把網(wǎng)址變成網(wǎng)頁

defget_one_page(url):

try:

response=requests.get(url,headers=headers)

ifresponse.status_code==200:

returnresponse.text

returnNone

exceptRequestException:

returnNone

<title></title><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><divclass="movie-index"><pclass="movie-index-title">累計票房</p><divclass="movie-index-contentbox"><spanclass="no-info">暫無</span></div></div></div></div></div></div><divclass="container"id="app"class="movie/detail"><divclass="main-content-containerclearfix"><divclass="main-content"><divclass="tab-container"><divclass="tab-title-containerclearfix"><divclass="tab-titleactive"data-act="tab-desc-click">介紹</div><divclass="tab-title"data-act="tab-celebrity-click">演職人員</div><divclass="tab-titletab-disabled"data-act="tab-award-click">獎項</div><divclass="tab-title"data-act="tab-img-click">圖集</div></div><divclass="tab-content-container"><divclass="tab-desctab-contentactive"data-val="{tabtype:'desc'}"><divclass="module"><divclass="mod-title"><h3>劇情簡介</h3></div><divclass="mod-content"><spanclass="dra"></div></div><divclass="module"><divclass="mod-title"><h3>演職人員</h3><aclass="more"href=#celebritydata-act="all-actor-click">全部</a></div><divclass="mod-content"><metacharset="utf-8"><metahttp-equiv="cleartype"content="yes"/><metahttp-equiv="X-UA-Compatible"content="IE=edge"/><metaname="renderer"content="webkit"/><metaname="HandheldFriendly"content="true"/><metaname="format-detection"content="email=no"/><metaname="format-detection"content="telephone=no"/><metaname="viewport"content="width=device-width,initial-scale=1"><script>"usestrict";!function(){vari=0<arguments.length&&void0!==arguments[0]?arguments[0]:"_Owl_",n=window;n[i]||(n[i]={isRunning:!1,isReady:!1,preTasks:[],dataSet:[],use:function(i,t){this.isReady&&n.Owl&&n.Owl[i](t),this.preTasks.push({api:i,data:[t]})},add:function(i){this.dataSet.push(i)},run:function(){vart=this;if(!this.isRunning){this.isRunning=!0;vari=n.onerror;n.onerror=function(){this.isReady||this.add({type:"jsError",data:arguments}),i&&i.apply(n,arguments)}.bind(this),(n.addEventListener||n.attachEvent)("error",function(i){t.isReady||t.add({type:"resError",data:[i]})},!0)}}},n[i].run())}();</script><script>cid="c_47wrcgg";ci=42;

defget_one_page(url):

try:

response=requests.get(url,headers=headers)

ifresponse.status_code==200:

returnresponse.text

returnNone

exceptRequestException:

returnNoneyield{

html=get_one_page(url)

foriteminpaser_one_page(html):

'index':item[0],

'image':item[1],

'title':item[2],

'actor':item[3].strip()[3:],

'time':item[4].strip()[5:],

'score':item[5]+item[6],

<html><metahttp-equiv="cleartype"content="yes"/><metahttp-equiv="X-UA-Compatible"content="IE=edge"/><metaname="renderer"content="webkit"/><metaname="HandheldFriendly"content="true"/><metaname="format-detection"content="email=no"/><metaname="format-detection"content="telephone=no"/><metaname="viewport"content="width=device-width,initial-scale=1"><head><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><linkrel="dns-prefetch"href="http://"/><metacharset="utf-8">

defwrite_to_file(content):

withopen('chenmengyue.json','a',encoding='utf-8')asf:

f.write(json.dumps(content,ensure_ascii=False)+'\n')

f.close()

<liclass="celebrityactor"data-act="celebrity-click"data-val="{celebrityid:823}"><iclass="level-1-icon"></i></div><divclass="main"><divclass="main-headerclearfix"><divclass="user"><spanclass="name">阿z貓</span><spanclass='tag'>購</span></div><divclass="time"title="2018-08-1703:24:53"><spantitle="2018-08-1703:24:53">2018-08-17</span><ulclass="score-starclearfix"data-score="10"><li><iclass="half-starleftactive"></i><iclass="half-starrightactive"></i></li><li><iclass="half-starleftactive"></i><iclass="half-starrightactive"></i></li><li><iclass="half-starleftactive"></i><iclass="half-starrightactive"></i></li><li><iclass="half-starleftactive"></i><iclass="half-starrightactive"></i></li><li><iclass="half-starleftactive"></i><iclass="half-starrightactive"></i></li></ul></div><divclass="approve"data-id="1035850413"><idata-act="comment-approve-click"class="approve-icon"></i><spanclass="num">1499</span></div></div>

defmain(offset):

url='/board/4?offset='+str(offset)

<linkrel="dns-prefetch"href="http://"/> <linkrel="dns-prefetch"href="http://"/> <linkrel="dns-prefetch"href="http://"/> <linkrel="dns-prefetch"href="http://"/> <ulclass="celebrity-listclearfix"><liclass="celebrityactor"data-act="celebrity-click"data-val="{celebrityid:6945}"><ahref="/films/celebrity/6945"target="_blank"class="portrait"><imgclass="default-img"data-src="/movie/bb7219beb227a7218893de95ac3d7ec145208.jpg@128w_170h_1e_1c"alt=""></a><divclass="info"><ahref="/films/celebrity/6945"target="_blank"class="name">亞當·桑德勒</a><br/><spanclass="role">飾：德古拉（配音）Dracula(voice)</span></div></li><liclass="celebrityactor"data-act="celebrity-click"data-val="{celebrityid:6946}"><ahref="/films/celebrity/6946"target="_blank"class="portrait"><imgclass="default-img"data-src="/moviemachine/8fe39729ef4ec5ae25865b735064deb6201649.jpg@128w_170h_1e_1c"alt=""></a><divclass="info"><ahref="/films/celebrity/6946"target="_blank"class="name"> <metacharset="utf-8">html=get_one_page(url)

foriteminpaser_one_page(html):

print(item)

<ulclass="celebrity-listclearfix"><liclass="celebrity"data-act="celebrity-click"data-val="{celebrityid:30481}"><ahref="/films/celebrity/30481"target="_blank"class="portrait"><imgclass="default-img"data-src="/movie/c02e8e6ad735837ecb7925d7bad7f89e43578.jpg@128w_170h_1e_1c"alt=""></a><divclass="info"><ahref="/films/celebrity/30481"target="_blank"class="name">格恩迪·塔塔科夫斯基write_to_file(item)

headers={"Accept":"textml,application/xhtml+xml,application/xml;",

"Accept-Encoding":"gzip",

"Accept-Language":"zh-CN,zh;q=0.8",

"Referer":"/",

"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/42.0.2311.90Safari/537.36"}print(item)

write_to_file(item)

headers={"Accept":"textml,application/xhtml+xml,application/xml;",

"Accept-Encoding":"gzip",

"Accept-Language":"zh-CN,zh;q=0.8",

"Referer":"/",

"User-Age

人人文庫> 全部分類> 畢業(yè)設計 > 任務書類

溫馨提示

1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
5. 人人文庫網(wǎng)僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
6. 下載文件中如有侵權(quán)或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

關(guān)于python網(wǎng)絡爬蟲的實現(xiàn)實踐報告

文檔簡介

溫馨提示

最新文檔

評論

關(guān)于python網(wǎng)絡爬蟲的實現(xiàn)實踐報告

文檔簡介

溫馨提示

最新文檔

評論

相關(guān)文檔