實(shí)戰(zhàn)案例-使用Python腳本爬取網(wǎng)站崗位信息

第8章云平臺運(yùn)維與開發(fā)8.2

Shell自動化運(yùn)維技術(shù)目錄2010203案例描述案例分析案例實(shí)施301案例目標(biāo)學(xué)習(xí)目標(biāo)了解Python語法使用Python爬蟲庫——requests庫使用lxml庫402案例分析學(xué)習(xí)目標(biāo)部署架構(gòu)規(guī)劃節(jié)點(diǎn)502

案例分析1.

部署架構(gòu)（1）需求分析編寫程序，使用Python爬蟲庫requests庫提供的功能，爬取51job網(wǎng)站上的崗位信息，并使用lxml庫進(jìn)行解析，保存需要的數(shù)據(jù)。（2）環(huán)境要求使用本地PC機(jī)環(huán)境，根據(jù)提供的軟件包，安裝Python環(huán)境PyCharm，進(jìn)行試驗(yàn)。602

案例分析

2.

規(guī)劃節(jié)點(diǎn)

使用Python腳本爬取網(wǎng)站崗位信息的節(jié)點(diǎn)規(guī)劃，見表。703案例實(shí)施學(xué)習(xí)目標(biāo)基本環(huán)境配置執(zhí)行腳本部署腳本解讀803

案例實(shí)施1.

基本環(huán)境配置（1）Python環(huán)境安裝

使用提供的python-3.5.3.exe文件，安裝Python環(huán)境，雙擊python-3.5.3.exe可執(zhí)行文件，勾選“Add

Python

3.5

to

PATH”復(fù)選框，然后單擊“Install

Now”按鈕，進(jìn)行安裝，如圖所示。903

案例實(shí)施等待安裝，安裝完畢后，單擊右下角“Close”按鈕，完成安裝，如圖所示。1003

案例實(shí)施打開CMD界面，在命令行模式中輸入“python”命令，驗(yàn)證Python環(huán)境是否成功安裝，如圖所示。1103

案例實(shí)施（2）PyCharm安裝使用提供的pycharm-community-2018.3.1.exe可執(zhí)行文件安裝PyCharm環(huán)境，雙擊pycharm-community-2018.3.1.exe，進(jìn)入安裝界面，然后按“Next”按鈕，進(jìn)入下一步，如圖所示。1203

案例實(shí)施使用默認(rèn)的安裝路徑，然后單擊下方“Next”按鈕，如圖所示。1303

案例實(shí)施勾選如圖所示的復(fù)選框，然后單擊下方“Next”按鈕，進(jìn)入下一步操作。1403

案例實(shí)施進(jìn)入安裝界面，然后直接單擊下方“Install”按鈕，進(jìn)行安裝，如圖所示。1503

案例實(shí)施安裝完畢后，選中“I

want

tomanually

reboot

later”單選按鈕，并單擊下方“Finish”按鈕，如圖所示。1603

案例實(shí)施（3）安裝依賴庫運(yùn)行CMD程序，輸入pip

install

requests命令，安裝requests依賴庫。如圖所示。1703

案例實(shí)施在CMD中輸入pip

install

lxml，安裝lxml依賴庫，如圖所示。1803

案例實(shí)施2.

執(zhí)行腳本打開CMD，進(jìn)入51job.py文件目錄，執(zhí)行python

51job.py命令，執(zhí)行腳本命令結(jié)果如圖所示。1903

案例實(shí)施3.

部署腳本解讀下面貼出Python腳本的內(nèi)容，進(jìn)行解讀。2003

案例實(shí)施21