惠州學(xué)院《數(shù)據(jù)采集與清理》2022-2023學(xué)年期末試卷

學(xué)校________________班級____________姓名____________考場____________準考證號學(xué)校________________班級____________姓名____________考場____________準考證號…………密…………封…………線…………內(nèi)…………不…………要…………答…………題…………第1頁，共3頁惠州學(xué)院《數(shù)據(jù)采集與清理》

2022-2023學(xué)年期末試卷題號一二三總分得分一、單選題（本大題共20個小題，每小題2分，共40分．在每小題給出的四個選項中，只有一項是符合題目要求的．）1、以下哪個不是爬蟲中處理數(shù)據(jù)合并的方法？（）A.基于鍵值合并B.按照時間順序合并C.隨機合并D.按照數(shù)據(jù)類型合并2、在爬蟲中，以下哪個庫常用于處理HTTP認證？（）A.requests.authB.httpx.authC.aiohttp.authD.以上都是3、網(wǎng)絡(luò)爬蟲在抓取網(wǎng)頁時，通過什么來識別頁面中的鏈接？（）A.HTML標(biāo)簽B.JavaScript腳本C.CSS樣式D.以上都不是4、以下哪個不是常見的反爬蟲手段？（）A.IP封禁B.驗證碼C.數(shù)據(jù)加密D.頁面美化5、以下哪種情況可能導(dǎo)致爬蟲被網(wǎng)站封禁？A.頻繁訪問同一頁面B.訪問隱藏頁面C.未設(shè)置請求頭D.以上都有可能6、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的robots.txt文件？（）A.遵守規(guī)則B.忽略C.部分遵守D.視情況而定7、在爬蟲中，設(shè)置請求頭的主要目的是：A.偽裝成瀏覽器B.提高抓取效率C.繞過反爬蟲機制D.以上都是8、以下哪種情況可能導(dǎo)致爬蟲被網(wǎng)站封禁？（）A.訪問頻率過高B.不遵守robots.txt協(xié)議C.發(fā)送異常請求D.以上都是9、以下哪個不是爬蟲中處理頁面解析錯誤的方式？（）A.跳過B.重試C.記錄錯誤D.停止爬蟲10、以下哪個不是爬蟲中數(shù)據(jù)提取的方法？（）A.正則表達式B.XPathC.CSS選擇器D.隨機生成11、以下哪個不是爬蟲中處理分布式任務(wù)的框架？（）A.CeleryB.KafkaC.RabbitMQD.以上都是12、網(wǎng)絡(luò)爬蟲獲取的數(shù)據(jù)通常需要進行以下哪種處理？（）A.去重B.篩選C.轉(zhuǎn)換格式D.以上都是13、在處理爬蟲獲取的網(wǎng)頁內(nèi)容時，以下哪個方法常用于解析HTML？（）A.正則表達式B.XPathC.CSS選擇器D.以上都是14、以下哪種存儲方式適合存儲大規(guī)模的爬蟲數(shù)據(jù)？A.關(guān)系型數(shù)據(jù)庫B.非關(guān)系型數(shù)據(jù)庫C.文件系統(tǒng)D.內(nèi)存數(shù)據(jù)庫15、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的反爬蟲IP封鎖？（）A.使用代理B.更換IPC.等待解封D.以上都是16、當(dāng)遇到反爬蟲機制時，以下哪種方法不太可能有效？A.使用代理IPB.降低抓取頻率C.模擬人類行為D.發(fā)送大量請求突破限制17、網(wǎng)絡(luò)爬蟲在抓取數(shù)據(jù)時，如何處理網(wǎng)站的反爬蟲驗證碼升級？（）A.尋找新的破解方法B.降低抓取頻率C.暫時停止抓取D.以上都是18、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的驗證碼變化？（）A.及時更新識別策略B.放棄抓取C.人工處理D.以上都是19、以下哪個不是爬蟲框架？（）A.ScrapyB.PySpiderC.DjangoD.Crawley20、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的訪問限制策略變化？（）A.調(diào)整爬蟲策略B.停止抓取C.等待策略恢復(fù)D.以上都是二、簡答題（本大題共4個小題，共40分)1、（本題10分）說明網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的智能旅游相關(guān)元素。2、（本題10分）說明網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的用戶權(quán)限管理數(shù)據(jù)。3、（本題10分）說明網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的用戶行為的信息市場調(diào)研和競爭分析數(shù)據(jù)。4、（本題10分）簡述網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的社交網(wǎng)絡(luò)元素（如分享按鈕、評論）。三、編程題