常州大學(xué)《數(shù)據(jù)采集與清洗》2021-2022學(xué)年期末試卷

裝訂線裝訂線PAGE2第1頁，共3頁常州大學(xué)

《數(shù)據(jù)采集與清洗》2021-2022學(xué)年期末試卷院(系)_______班級(jí)_______學(xué)號(hào)_______姓名_______題號(hào)一二三總分得分一、單選題（本大題共20個(gè)小題，每小題2分，共40分．在每小題給出的四個(gè)選項(xiàng)中，只有一項(xiàng)是符合題目要求的．）1、以下哪個(gè)庫常用于處理爬蟲中的驗(yàn)證碼識(shí)別？（）A.tesseractB.opencvC.numpyD.scipy2、網(wǎng)絡(luò)爬蟲的法律風(fēng)險(xiǎn)不包括（）A.侵犯知識(shí)產(chǎn)權(quán)B.違反網(wǎng)站規(guī)定C.傳播病毒D.以上都是3、以下哪個(gè)不是爬蟲中處理網(wǎng)頁編碼的方法？（）A.自動(dòng)檢測B.指定編碼C.忽略編碼D.轉(zhuǎn)換編碼4、以下哪個(gè)不是爬蟲中處理數(shù)據(jù)格式轉(zhuǎn)換的方法？（）A.自定義函數(shù)B.使用庫函數(shù)C.手動(dòng)轉(zhuǎn)換D.不轉(zhuǎn)換5、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的動(dòng)態(tài)生成內(nèi)容（如通過Ajax加載）？（）A.分析請(qǐng)求B.使用瀏覽器模擬C.尋找接口D.以上都是6、在爬蟲中，以下哪個(gè)庫常用于處理數(shù)據(jù)排序？（）A.sortedB.numpy.sortC.pandas.sort_valuesD.以上都是7、以下哪個(gè)不是爬蟲中數(shù)據(jù)提取的方法？（）A.正則表達(dá)式B.XPathC.CSS選擇器D.隨機(jī)生成8、以下哪個(gè)不是爬蟲中處理分頁的方法？（）A.分析頁面鏈接B.模擬點(diǎn)擊分頁按鈕C.固定每頁數(shù)量D.隨機(jī)獲取分頁9、以下哪個(gè)不是爬蟲中處理數(shù)據(jù)重復(fù)的方法？（）A.去重算法B.數(shù)據(jù)庫去重C.緩存去重D.保留重復(fù)10、網(wǎng)絡(luò)爬蟲如何處理網(wǎng)站的驗(yàn)證碼變化？（）A.及時(shí)更新識(shí)別策略B.放棄抓取C.人工處理D.以上都是11、網(wǎng)絡(luò)爬蟲在抓取網(wǎng)頁時(shí)，通常首先需要分析的是：A.HTML代碼B.CSS樣式C.JavaScript腳本D.網(wǎng)頁的URL12、以下哪個(gè)不是爬蟲中處理數(shù)據(jù)存儲(chǔ)的優(yōu)化方式？（）A.批量寫入B.壓縮存儲(chǔ)C.索引優(yōu)化D.減少存儲(chǔ)13、在爬蟲中，處理網(wǎng)頁編碼的常見庫是（）A.chardetB.codecsC.encodingsD.utf-814、在爬蟲中，處理數(shù)據(jù)的脫敏通常是為了（）A.保護(hù)隱私B.提高效率C.節(jié)省空間D.便于處理15、以下哪個(gè)不是爬蟲中處理數(shù)據(jù)異常值的方法？（）A.剔除B.修正C.保留D.以上都是16、當(dāng)遇到需要登錄才能訪問的頁面時(shí)，爬蟲可以通過以下哪種方式獲取數(shù)據(jù)？（）A.模擬登錄B.跳過該頁面C.暴力破解D.以上都不是17、以下哪個(gè)不是爬蟲框架？（）A.ScrapyB.PySpiderC.DjangoD.Crawley18、在爬蟲中，處理robots.txt文件的目的是（）A.了解網(wǎng)站的爬取規(guī)則B.獲取網(wǎng)站地圖C.查找隱藏頁面D.提高爬取效率19、網(wǎng)絡(luò)爬蟲在遇到重定向時(shí)，通常會(huì)（）A.跟隨重定向B.忽略重定向C.報(bào)錯(cuò)D.以上都有可能20、以下哪個(gè)是爬蟲中常見的存儲(chǔ)數(shù)據(jù)庫？（）A.MySQLB.MongoDBC.RedisD.以上都是二、簡答題（本大題共4個(gè)小題，共40分)1、（本題10分）解釋網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的智能推薦相關(guān)元素。2、（本題10分）簡述網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的智能情感分析相關(guān)元素。3、（本題10分）簡述網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的大數(shù)據(jù)量頁面。4、（本題10分）簡述網(wǎng)絡(luò)爬蟲如何處理網(wǎng)頁中的用戶收藏和點(diǎn)贊數(shù)據(jù)。三、編程題（本大題共2個(gè)小題，共20分)1、（本題10分）創(chuàng)