大數(shù)據(jù)采集與預(yù)處理課件：模擬登錄和數(shù)據(jù)采集綜合案例 -1

網(wǎng)站模擬登錄和數(shù)據(jù)采集案例 本章學(xué)習(xí)目標(biāo)●分析業(yè)務(wù)網(wǎng)站人才招聘的網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容●使用selenium和chromedriver實(shí)現(xiàn)網(wǎng)站的模擬登錄●使用selenium和chromedriver實(shí)現(xiàn)編寫爬蟲代碼獲取指定的靜態(tài)和動(dòng)態(tài)數(shù)據(jù)●使用pymysql庫(kù)實(shí)現(xiàn)數(shù)據(jù)的持久化8.1任務(wù)描述本綜合案例通過CHROME瀏覽器綜合分析業(yè)務(wù)網(wǎng)站的網(wǎng)頁(yè)結(jié)構(gòu)和內(nèi)容，找到該網(wǎng)站的登錄入口，在提前注冊(cè)的前提下，使用selenium和chromedriver實(shí)現(xiàn)網(wǎng)站的可視化模擬登錄操作。然后，通過進(jìn)一步地分析登錄之后的用戶主頁(yè)，使用requests庫(kù)和lxml庫(kù)編寫和解析自定義的爬蟲代碼獲取字段為：公司名稱(comname)、地址(address)、行業(yè)名稱(industry_name)、工資(salary)、崗位名稱(post_name)的靜態(tài)和動(dòng)態(tài)數(shù)據(jù)。最后，使用pymysql庫(kù)在MYSQL數(shù)據(jù)庫(kù)管理系統(tǒng)中創(chuàng)建指定的數(shù)據(jù)庫(kù)test和數(shù)據(jù)表zhitong和zhitong1，實(shí)現(xiàn)數(shù)據(jù)的持久化存儲(chǔ)。8.2頁(yè)面分析該爬蟲綜合案例第一次使用的URL將是這個(gè)擁有“求職者登錄/注冊(cè)”的頁(yè)面。這里不僅是任務(wù)中要求的模擬登錄的起點(diǎn)，也是爬蟲開始爬取該網(wǎng)站的起點(diǎn)和入口。案件一：某航空公司數(shù)據(jù)被境外間諜情報(bào)機(jī)關(guān)網(wǎng)絡(luò)攻擊竊取案2020年1月，某航空公司向國(guó)家安全機(jī)關(guān)報(bào)告，該公司信息系統(tǒng)出現(xiàn)異常，懷疑遭到網(wǎng)絡(luò)攻擊。國(guó)家安全機(jī)關(guān)立即進(jìn)行技術(shù)檢查，確認(rèn)相關(guān)信息系統(tǒng)遭到網(wǎng)絡(luò)武器攻擊，多臺(tái)重要服務(wù)器和網(wǎng)絡(luò)設(shè)備被植入特種木馬程序，部分乘客出行記錄等數(shù)據(jù)被竊取。使用鼠標(biāo)右鍵單擊“登錄”控件之后，將出現(xiàn)如下菜單選項(xiàng)，如圖所示。通過使用鼠標(biāo)左鍵單擊該菜單選項(xiàng)中的“檢查”選項(xiàng)，Chrome瀏覽器呈現(xiàn)自帶的“開發(fā)者工具”，并將焦點(diǎn)指向該“求職者登錄/注冊(cè)”控件所在的具體的HTML頁(yè)面結(jié)構(gòu)當(dāng)中。這里的目的是為了獲取該“求職者登錄/注冊(cè)”控件所屬的標(biāo)簽在頁(yè)面內(nèi)容中的class屬性值“l(fā)ogin-per-dialog”，使用鼠標(biāo)右鍵單擊“登錄”控件之后，將出現(xiàn)如下菜單選項(xiàng)，如圖所示。通過使用鼠標(biāo)左鍵單擊該菜單選項(xiàng)中的“檢查”選項(xiàng)，Chrome瀏覽器呈現(xiàn)自帶的“開發(fā)者工具”，并將焦點(diǎn)指向該“求職者登錄/注冊(cè)”控件所在的具體的HTML頁(yè)面結(jié)構(gòu)當(dāng)中。這里的目的是為了獲取該“求職者登錄/注冊(cè)”控件所屬的標(biāo)簽在頁(yè)面內(nèi)容中的class屬性值“l(fā)ogin-per-dialog”，使用CHROME瀏覽器的“開發(fā)者工具”可以看到該登錄頁(yè)面位于一個(gè)form表單當(dāng)中在該表單控件中，使用密碼登錄的方式，可以選擇“密碼登錄”控件，標(biāo)簽為<div>，類class=“change-login-type-itemactive”或者XPATH路徑為：//*[@id="commonLoginBox"]/div[2]/form/div[1]/div[2]在該表單控件中，可以進(jìn)一步地觀察到其中包含的多個(gè)控件，包括一個(gè)type為text，id為login_box_account的<input>標(biāo)簽和一個(gè)type為password，id為login_box_password的<input>標(biāo)簽。這兩個(gè)標(biāo)簽分別用于獲取用戶輸入的用戶名和密碼在該表單控件中，可以進(jìn)一步地觀察到其中包含的多個(gè)控件，包括一個(gè)type為text，id為login_box_account的<input>標(biāo)簽和一個(gè)type為password，id為login_box_password的<input>標(biāo)簽。這兩個(gè)標(biāo)簽分別用于獲取用戶輸入的用戶名和密碼在該表單控件中還包含一個(gè)class為btn-submit的<p>標(biāo)簽。