租房爬蟲報告

租房爬蟲爬蟲技術關鍵代碼數(shù)據(jù)分析運行結果01.02.03.04.

目錄01爬蟲技術01爬蟲技術123request.get(url,params=None,**kwargs)其中，url為獲取頁面的鏈接，params為額外參數(shù)，字典或者字節(jié)流格式，其為可選。**kwargs為12個控制訪問的參數(shù)。BeautifulSoup提供一些簡單的、python式的函數(shù)用來處理導航、搜索、修改分析樹等功能。pyecharts是一款將python與echarts結合的強大的數(shù)據(jù)可視化工具。請求庫：requests

HTML解析：BeautifulSoup數(shù)據(jù)可視化：pyecharts爬蟲技術01導入相關包importreimportrequestsimportrandomimporttimefrombs4importBeautifulSoupfrompyecharts.chartsimportBar,Line,Page,Piefrompyechartsimportoptionsasopts爬蟲技術01請求頭user_agent_list=["Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.1(KHTML,likeGecko)Chrome/22.0.1207.1Safari/537.1","Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/536.6(KHTML,likeGecko)Chrome/20.0.1092.0Safari/536.6","Mozilla/5.0(WindowsNT6.2;WOW64)AppleWebKit/537.1(KHTML,likeGecko)Chrome/Safari/537.1",]UA=random.choice(user_agent_list)headers={'User-Agent':UA}爬蟲技術01目標網址url='/zufang/pg'02關鍵代碼02關鍵代碼#目標網址url='/zufang/pg'#要獲取的信息title_list=[]#標題price_list=[]#租金position_list=[]#地理位置size_list=[]#房子面積02關鍵代碼#標題title=li_quick.find('a',class_='twoline').get_text().strip()#租金price=li_quick.find('span',class_='content__list--item-price').find('em').get_text().strip()#位置信息position=li_quick.find('p',class_='content__list--item--des').find('a').get_text().strip()#面積size=re.findall(r'\d+㎡',temp_size)02關鍵代碼<aclass="twoline"target="_blank"href="/zufang/XZ2795760721969807360.html">整租·綠地國際花都1室1廳南</a>爬蟲技術01數(shù)據(jù)存儲df=pd.DataFrame({'標題':title_list,'租金':price_list,'位置':position_list,'面積':size_list})df.to_excel("zufang.xlsx",index=False)數(shù)據(jù)分析0303數(shù)據(jù)分析defarea_house_num()->Bar:c=(Bar(init_opts=opts.InitOpts(width="600px",height="300px")).add_xaxis(list(area_num_dict.keys())).add_yaxis("數(shù)量",list(area_num_dict.values())).set_global_opts(title_opts=opts.TitleOpts(title="房源數(shù)量",subtitle="各地區(qū)房源數(shù)量"),xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=30))))returnc各區(qū)房源數(shù)量柱狀圖03數(shù)據(jù)分析defarea_house_average_price()->Line:c=(Line(init_opts=opts.InitOpts(width="600px",height="300px")).add_xaxis(list(average_price_dict.keys())).add_yaxis("平均價",list(average_price_dict.values())).set_global_opts(title_opts=opts.TitleOpts(title="房源平均價",subtitle="各地區(qū)房源平均價"),xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=30))))returnc各區(qū)租房均價折線圖03數(shù)據(jù)分析defarea_house_type_num()->Bar:c=(Bar(init_opts=opts.InitOpts(width="600px",height="300px")).add_xaxis(list(area_room_type_dict.keys())).add_yaxis("數(shù)量",list(area_room_type_dict.values())).reversal_axis().set_series_opts(label_opts=opts.LabelOpts(position="right")).set_global_opts(title_opts=opts.TitleOpts(title="房源戶型數(shù)量",subtitle="各地區(qū)房源戶型數(shù)量"),))returnc各區(qū)域房源數(shù)量柱狀圖03數(shù)據(jù)分析defarea_room_size()->Pie:c=(Pie(init_opts=opts.InitOpts(width="600px",height="335px")).add("",[list(z)forzinzip(area_room_size_dict.keys(),area_room_size_dict.values())]).set_global_opts(title_opts=o