Python爬蟲(chóng)程序設(shè)計(jì)KC26

1、2.6.1 項(xiàng)目簡(jiǎn)介2.6.1 項(xiàng)目簡(jiǎn)介在中國(guó)天氣網(wǎng)()中輸入一個(gè)城市的名稱(chēng)，例如輸入深圳，那么會(huì)轉(zhuǎn)到地址/weather1d/101280601.shtml的網(wǎng)頁(yè)顯示深圳的天氣預(yù)報(bào)，其中101280601是深圳的代碼，每個(gè)城市或者地區(qū)都有一個(gè)代碼。如圖2-6-1、2-6-2所示。2.6.2 HTML代碼分析2.6.2 HTML代碼分析用Chrome瀏覽器瀏覽網(wǎng)站，鼠標(biāo)指向7天天氣預(yù)報(bào)的今天位置，點(diǎn)擊右鍵彈出菜單，選擇“檢查”就可以打開(kāi)這個(gè)位置對(duì)應(yīng)的HTML代碼，如圖2-6-3所示。選擇元素，點(diǎn)擊右鍵彈出菜單選擇Edit as HTML，就可以進(jìn)入編輯狀態(tài)，復(fù)制整個(gè)HTML，結(jié)果如下：5日（今

2、天）多云32/28微風(fēng)6日（明天）多云32/27微風(fēng)7日（后天）多云32/27微風(fēng)8日（周四）多云32/27微風(fēng)9日（周五）多云33/27微風(fēng)10日（周六）多云33/27微風(fēng)11日（周日）多云轉(zhuǎn)小雨33/26微風(fēng)2.6.3 爬取天氣預(yù)報(bào)數(shù)據(jù)2.6.3 爬取天氣預(yù)報(bào)數(shù)據(jù)通過(guò)分析HTML代碼，我們可以編寫(xiě)爬取的程序爬取深圳7天的天氣預(yù)報(bào)數(shù)據(jù)：from bs4 import BeautifulSoupfrom bs4 import UnicodeDammitimport urllib.requesturl=/weather/101280601.shtmltry: headers=User-Agent

3、:Mozilla/5.0 (Windows; U; Windows NT 6.0 x64; en-US; rv:1.9pre) Gecko/2008072421 Minefield/3.0.2pre req=urllib.request.Request(url,headers=headers) data=urllib.request.urlopen(req) data=data.read() dammit=UnicodeDammit(data,utf-8,gbk) data=dammit.unicode_markup soup=BeautifulSoup(data,lxml) lis=soup

4、.select(ulclass=t clearfix li) for li in lis: try: date=li.select(h1)0.text weather=li.select(pclass=wea)0.text temp=li.select(pclass=tem span)0.text+/+li.select(pclass=tem i)0.text print(date,weather,temp) except Exception as err: print(err)except Exception as err: print(err)程序爬取結(jié)果：5日（今天） 多云 32/286

5、日（明天） 多云 32/277日（后天） 多云 32/278日（周四） 多云 32/279日（周五） 多云 33/2710日（周六） 多云 33/2711日（周日） 多云轉(zhuǎn)小雨 33/26由此可見(jiàn)爬取的數(shù)據(jù)與我們直接從網(wǎng)站看到的是一樣的。2.6.4 爬取與存儲(chǔ)天氣預(yù)報(bào)數(shù)據(jù)2.6.4 爬取與存儲(chǔ)天氣預(yù)報(bào)數(shù)據(jù)我們可以獲取北京、上海、廣州、深圳等城市的代碼，爬取這些城市的天氣預(yù)報(bào)數(shù)據(jù)，并存儲(chǔ)到sqllite數(shù)據(jù)庫(kù)weathers.db中，存儲(chǔ)的數(shù)據(jù)表weathers是：create table weathers (wCity varchar(16),wDate varchar(16),wWeathe

6、r varchar(64),wTemp varchar(32),constraint pk_weather primary key (wCity,wDate)編寫(xiě)程序依次爬取各個(gè)城市的天氣預(yù)報(bào)數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，程序如下：from bs4 import BeautifulSoupfrom bs4 import UnicodeDammitimport urllib.requestimport sqlite3class WeatherDB: def openDB(self): self.con=sqlite3.connect(weathers.db) self.cursor=self.con.cu

7、rsor() try: self.cursor.execute(create table weathers (wCity varchar(16),wDate varchar(16),wWeather varchar(64),wTemp varchar(32),constraint pk_weather primary key (wCity,wDate) except: self.cursor.execute(delete from weathers) def closeDB(self): mit() self.con.close()def insert(self,city,date,weath

8、er,temp): try: self.cursor.execute(insert into weathers (wCity,wDate,wWeather,wTemp) values (?,?,?,?) ,(city,date,weather,temp) except Exception as err: print(err) def show(self): self.cursor.execute(select * from weathers) rows=self.cursor.fetchall() print(%-16s%-16s%-32s%-16s % (city,date,weather,

9、temp) for row in rows: print(%-16s%-16s%-32s%-16s % (row0,row1,row2,row3)class WeatherForecast: def _init_(self): self.headers = User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.0 x64; en-US; rv:1.9pre) Gecko/2008072421 Minefield/3.0.2pre self.cityCode=北京:101010100,上海:101020100,廣州:101280101,深圳:1012

10、80601def forecastCity(self,city): if city not in self.cityCode.keys(): print(city+ code cannot be found) return url=/weather/+self.cityCodecity+.shtml try: req=urllib.request.Request(url,headers=self.headers) data=urllib.request.urlopen(req) data=data.read() dammit=UnicodeDammit(data,utf-8,gbk) data

11、=dammit.unicode_markup soup=BeautifulSoup(data,lxml) lis=soup.select(ulclass=t clearfix li)for li in lis: try: date=li.select(h1)0.text weather=li.select(pclass=wea)0.text temp=li.select(pclass=tem span)0.text+/+li.select(pclass=tem i)0.text print(city,date,weather,temp) self.db.insert(city,date,wea

12、ther,temp) except Exception as err: print(err) except Exception as err: print(err)def process(self,cities): self.db=WeatherDB() self.db.openDB() for city in cities: self.forecastCity(city) #self.db.show() self.db.closeDB()ws=WeatherForecast()cess(北京,上海,廣州,深圳)print(completed)北京 7日（今天） 晴間多云，北部山區(qū)有陣雨或雷陣

13、雨轉(zhuǎn)晴轉(zhuǎn)多云 31/17北京 8日（明天） 多云轉(zhuǎn)晴，北部地區(qū)有分散陣雨或雷陣雨轉(zhuǎn)晴 34/20北京 9日（后天） 晴轉(zhuǎn)多云 36/22北京 10日（周六） 陰轉(zhuǎn)陣雨 30/19北京 11日（周日） 陣雨 27/18北京 12日（周一） 陰轉(zhuǎn)晴 28/20北京 13日（周二） 晴 32/21上海 7日（今天） 多云 30/21上海 8日（明天） 多云轉(zhuǎn)陰 32/23上海 9日（后天） 陣雨 32/24上海 10日（周六） 中雨 27/22上海 11日（周日） 小雨轉(zhuǎn)多云 29/22上海 12日（周一） 多云 30/22上海 13日（周二） 多云轉(zhuǎn)陰 30/21廣州 7日（今天） 多云 35/27廣州 8日（明天） 多云 35/28廣州 9日（后天） 多云 35/28廣州 10日（周六）