Python程序設(shè)計基礎(chǔ)項目化教程 教案 32 多頁數(shù)據(jù)爬取

多頁數(shù)據(jù)爬取課程名稱Python語言程序教學(xué)內(nèi)容多頁數(shù)據(jù)爬取課時1項目性質(zhì)□演性 驗性 □計性 √合性授課班級授課日期授課地點教學(xué)目標爬取同一網(wǎng)頁內(nèi)多個頁面信息并匯總教學(xué)內(nèi)容1.借用Pycharm工具，建立Python3項目2.加載帶有翻頁的本地多頁網(wǎng)頁3.使用python爬取網(wǎng)頁信息4.使用Beautifulsoap解析信息并保存教學(xué)重點教學(xué)難點1.使用python爬取網(wǎng)頁信息2.使用Beautifulsoap解析信息并保存教學(xué)準備裝有Python的計算機教學(xué)課件PPT教學(xué)過程教學(xué)環(huán)節(jié)教學(xué)內(nèi)容與過程（教學(xué)內(nèi)容、教學(xué)方法、組織形式、教學(xué)手段）課前組織做好上課前的各項準備工作（打開計算機、打開課件、打開軟件、打開授課計劃、教案等），吸引學(xué)生注意力。課程說明【目的】使學(xué)生從了解本節(jié)課的學(xué)習(xí)目標、學(xué)習(xí)重點、考評方式等方面明確課程學(xué)習(xí)的要求和目標。課程內(nèi)容描述1 多頁數(shù)據(jù)爬取實驗?zāi)康?)掌握beautifulsoup4模塊的基本用法實驗環(huán)境1)OracleLinux7.42)Python3.6.53)Pycharm2017.2實驗步驟1)打開IDE，配置解釋器(如已完成解釋器配置，可跳過解釋器配置步驟)1.點擊桌面pycharm圖標打開IDE2.在打開的窗口中選擇Configure選項，接著在彈出的下拉菜單中選擇Settings打開首選項菜單3.首選項菜單中選擇左側(cè)的ProjectInterpreter，在右側(cè)下拉菜單中選擇3.6.5版本解釋器，并依次點擊Apply與OK確認設(shè)置2)新建Project(如已完成工程創(chuàng)建，可跳過此步驟)1.點擊CreateNewProject新建工程2.在Location文本框中補充輸入project，表示將/root/PycharmProjects/project作為新工程目錄，并點擊create完成創(chuàng)建3)新建python源代碼文件1.鼠標右鍵單擊project工程，在菜單中選擇New->PythonFile創(chuàng)建.py文件2.在彈出窗口的Name文本框中輸入.py文件的文件名，本次實驗推薦文件名為“多頁數(shù)據(jù)爬取“。接著點擊OK按鈕完成python源文件的創(chuàng)建。創(chuàng)建成功后，會默認在右側(cè)編輯區(qū)域打開該文件4)編寫實驗代碼1.輸入如下代碼[Code001]:#引入request模塊、beautifulsoup4模塊以及csv模塊importurllib.requestfrombs4importBeautifulSoupimportcsv2.輸入如下代碼[Code002]:#定義一個函數(shù)loadData用于爬取指定頁內(nèi)的表格數(shù)據(jù)，并將表格的表頭返回defloadData(page,resultList):file=urllib.request.urlopen("http://localhost:18080/list?page={page}".format(page=page))html=file.read()soup=BeautifulSoup(html,'html.parser')trlist=soup.find_all('tr')keys=trlist[0]keyset=[key.stringforkeyinkeysifkey.string!='\n']trlist=trlist[1:len(trlist)-1]fortrintrlist:tmpset=[td.stringfortdintriftd.string!='\n']resultList.append(tmpset)returnkeyset3.輸入如下代碼[Code003]:#定義持久化函數(shù)，將爬取后的數(shù)據(jù)寫入當前目錄下的csv文件中defpersistence(keyset,resultList):withopen('Titanic_train.csv','a',newline='')asfile:writer=csv.writer(file)writer.writerow(keyset)forrowinresultList:writer.writerow(row)4.輸入如下代碼[Code004]:#編寫程序主入口，爬取1-9頁數(shù)據(jù)并將全部數(shù)據(jù)持久化至csv文件中if__name__=='__main__':resultList=[]keyset=Noneforiinrange(1,10):keyset=loadData(i,resultList)persistence(keyset,resultList)5.完整代碼如下圖所示5)執(zhí)行程序1.鼠標右鍵單擊右側(cè)編輯窗口，在菜單中選擇Run‘python主程序所在文件名’一項執(zhí)行編寫好的Python程序，本次實驗文件名為”多頁數(shù)據(jù)爬取”2.生成的文