數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)課程設(shè)計(jì)課程教學(xué)大綱

《數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)課程設(shè)計(jì)》課程教學(xué)大綱一、課程基本信息課程名稱(chēng)數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)課程設(shè)計(jì)Trainingfordataacquisitionandwebcraw1er課程代碼課程性質(zhì)必修授課學(xué)期5學(xué)分/學(xué)時(shí)1/16課內(nèi)學(xué)時(shí)16理論學(xué)時(shí)0實(shí)驗(yàn)學(xué)時(shí)0實(shí)訓(xùn)（含上機(jī)）16實(shí)習(xí)0其他0適用專(zhuān)業(yè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)專(zhuān)業(yè)授課語(yǔ)言中文對(duì)先修的要求具備用Python進(jìn)行實(shí)際問(wèn)題編程的能力，，已修Python程序設(shè)計(jì)，數(shù)據(jù)結(jié)構(gòu)與算法分析，數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)等課程對(duì)后續(xù)的支撐為大數(shù)據(jù)分析與應(yīng)用案例、深度學(xué)習(xí)等課程提供數(shù)據(jù)采集和實(shí)踐基礎(chǔ)。課程思政設(shè)計(jì)在課程設(shè)計(jì)實(shí)踐中，從實(shí)際問(wèn)題出發(fā)，堅(jiān)定學(xué)生專(zhuān)業(yè)自信，同時(shí)要求學(xué)生要以保護(hù)國(guó)家機(jī)密遵守網(wǎng)絡(luò)安全為前提進(jìn)行，在爬取數(shù)據(jù)時(shí)遵紀(jì)守法，同時(shí)鼓勵(lì)學(xué)生利用自己所學(xué)知識(shí)，為國(guó)家和社會(huì)各類(lèi)資源的安全做出貢獻(xiàn)。創(chuàng)新創(chuàng)業(yè)教育設(shè)計(jì)在課程設(shè)計(jì)的選題階段，引導(dǎo)學(xué)生爬取什么數(shù)據(jù)、如何爬取數(shù)據(jù)。引導(dǎo)學(xué)生對(duì)方案的可行性分析和合理的程序設(shè)計(jì)，并對(duì)自身的設(shè)計(jì)方案有創(chuàng)新的探索與實(shí)踐。課程簡(jiǎn)介課程定位：數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)課程設(shè)計(jì)是數(shù)學(xué)與計(jì)算科學(xué)學(xué)院數(shù)據(jù)科學(xué)與大數(shù)據(jù)專(zhuān)業(yè)在學(xué)習(xí)了PythOn程序設(shè)計(jì)，數(shù)據(jù)結(jié)構(gòu)與算法分析，數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)之后配I≡003,它為后續(xù)課程大數(shù)據(jù)分析與深度學(xué)習(xí)等酬數(shù)據(jù)采集和實(shí)踐基礎(chǔ)。主要學(xué)習(xí)內(nèi)容：本課程教學(xué)是學(xué)生在教師指導(dǎo)下，根據(jù)選定的課程設(shè)計(jì)項(xiàng)目，綜合運(yùn)用所學(xué)的網(wǎng)絡(luò)爬蟲(chóng)課程理論知識(shí)體系，包括獲取網(wǎng)頁(yè)、解析網(wǎng)頁(yè)、存儲(chǔ)數(shù)據(jù)、數(shù)據(jù)分析及可視化等應(yīng)用于具體的數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)中去。從項(xiàng)目的需求分析、爬蟲(chóng)方案設(shè)計(jì)、代碼編寫(xiě)、程序調(diào)試和運(yùn)行等訓(xùn)練任務(wù)，最終撰寫(xiě)完整規(guī)范的課程設(shè)計(jì)報(bào)告，并按照安排參加答辯，講清楚各自的工作內(nèi)容并回答相關(guān)的問(wèn)題。核心學(xué)習(xí)結(jié)果：本課程學(xué)習(xí)目的是使數(shù)據(jù)科學(xué)與大數(shù)據(jù)專(zhuān)業(yè)的學(xué)生獲得以

下能力與素養(yǎng)：1）在解決實(shí)際問(wèn)題的時(shí)候，應(yīng)用數(shù)據(jù)采集與爬蟲(chóng)的能力，采集數(shù)據(jù)處理實(shí)際問(wèn)題；2）用用砰羽時(shí)用1?I1W雁但團(tuán)前而aP1P11?!而麗而囪麗雨主要教學(xué)方法：本課程主要采取教師簡(jiǎn)要介紹理論知識(shí)，布置課題任務(wù)，學(xué)生分組上機(jī)運(yùn)用Py1hon軟件進(jìn)行數(shù)據(jù)采集解決實(shí)際問(wèn)題。二、課程目標(biāo)及對(duì)畢業(yè)要求指標(biāo)點(diǎn)的支撐序號(hào)課程目標(biāo)支撐畢業(yè)要求指標(biāo)點(diǎn)畢業(yè)要求1目標(biāo)1：掌握數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)中發(fā)送請(qǐng)求、解析網(wǎng)頁(yè)、數(shù)據(jù)存儲(chǔ)等技術(shù)的基本知識(shí)、原理及方法，能夠用Python編寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)預(yù)處理及初步的數(shù)據(jù)分析（支撐畢業(yè)要求指標(biāo)點(diǎn)2.2）2.2掌握計(jì)算機(jī)科學(xué)的基本知識(shí)、原理、方法，并會(huì)應(yīng)用到大數(shù)據(jù)科學(xué)等領(lǐng)域。2知識(shí)掌握：掌握數(shù)學(xué)、自然科學(xué)、計(jì)算機(jī)科學(xué)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)所需要的專(zhuān)業(yè)知識(shí)，具有國(guó)際視野，了解大數(shù)據(jù)科學(xué)領(lǐng)域的國(guó)際形勢(shì)和發(fā)展動(dòng)態(tài)，并能將所學(xué)知識(shí)用于解釋大數(shù)據(jù)科學(xué)領(lǐng)域中的復(fù)雜問(wèn)題。2目標(biāo)2：能夠根據(jù)數(shù)據(jù)挖掘的需要設(shè)計(jì)出合理、有效的數(shù)據(jù)采集方案，通過(guò)數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)的技術(shù)來(lái)解決數(shù)據(jù)獲取的實(shí)際問(wèn)題。并能夠?qū)?shí)驗(yàn)方案整理成規(guī)范的分析報(bào)告。（支撐畢業(yè)要求指標(biāo)點(diǎn)4.3）4.3利用大數(shù)據(jù)科學(xué)的專(zhuān)業(yè)知識(shí)、針對(duì)實(shí)際問(wèn)題的具體情況、結(jié)合文獻(xiàn)資料對(duì)模型進(jìn)行分析，采用恰當(dāng)?shù)姆椒?、儀器設(shè)備、數(shù)據(jù)分析軟件對(duì)特定問(wèn)題的數(shù)據(jù)模型進(jìn)行算法優(yōu)化，并能夠?qū)懗鲆?guī)范的分析報(bào)告和解決方案。4設(shè)計(jì)/開(kāi)發(fā)解決方案：能夠針對(duì)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)應(yīng)用的特定需求，設(shè)計(jì)適當(dāng)?shù)牧鞒獭⒎桨?，選取合適的技術(shù)予以實(shí)現(xiàn)，并在設(shè)計(jì)或開(kāi)發(fā)的過(guò)程中考慮經(jīng)濟(jì)、社會(huì)、健康、安全、法律、文化及環(huán)境因素。三、教學(xué)內(nèi)容及進(jìn)度安排序號(hào)教學(xué)內(nèi)容學(xué)生學(xué)習(xí)預(yù)期成果課內(nèi)學(xué)時(shí)教學(xué)方式支撐課程目標(biāo)1課程設(shè)計(jì)任務(wù)布置：引導(dǎo)學(xué)生綜合應(yīng)用所學(xué)的爬蟲(chóng)知識(shí)去解決現(xiàn)實(shí)生活中具體的數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)任務(wù)（如豆瓣電影影評(píng)數(shù)據(jù)爬取與分析、大數(shù)據(jù)崗位人才招聘信息的分析與挖掘等）。發(fā)現(xiàn)有價(jià)值，并適合作課程設(shè)計(jì)的問(wèn)題，通過(guò)綜合分析確定課程設(shè)計(jì)內(nèi)容2布置任務(wù)討論上機(jī)目標(biāo)1目標(biāo)22任務(wù)實(shí)施：指導(dǎo)學(xué)生根據(jù)任務(wù)完成具體的爬蟲(chóng)代碼編寫(xiě)并進(jìn)行數(shù)據(jù)預(yù)處理及簡(jiǎn)單的數(shù)據(jù)分析。進(jìn)一步發(fā)現(xiàn)不足，作出優(yōu)化。能根據(jù)實(shí)際問(wèn)題的需要編輯合適的爬蟲(chóng)程序并進(jìn)行數(shù)據(jù)預(yù)處理及簡(jiǎn)單的數(shù)據(jù)分析。10討論上機(jī)目標(biāo)1目標(biāo)2

3課程設(shè)計(jì)撰寫(xiě)：指導(dǎo)學(xué)生撰寫(xiě)規(guī)范的分析報(bào)告并進(jìn)行答辯PPT。能夠?qū)懗鲆?guī)范的分析報(bào)告和解決方案4討論上機(jī)目標(biāo)2四、課程考核該課程采用案例設(shè)計(jì)的形式考核，具體要求如下：（1）最多5人組成一隊(duì)。（2）最終以研究報(bào)告的形式提交，一般應(yīng)包含程序頁(yè)、數(shù)據(jù)頁(yè)、數(shù)據(jù)分析處理和附錄等內(nèi)容。數(shù)據(jù)科學(xué)與大數(shù)據(jù)專(zhuān)業(yè)的考核序號(hào)課程目標(biāo)（支撐畢業(yè)要求指標(biāo)點(diǎn)）考核內(nèi)容評(píng)價(jià)依據(jù)及成績(jī)比例（%）成績(jī)比例（%）課程設(shè)計(jì)報(bào)告PPT答辯1目標(biāo)1：掌握數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)中發(fā)送請(qǐng)求、解析網(wǎng)頁(yè)、數(shù)據(jù)存儲(chǔ)等技術(shù)的基本知識(shí)、原理及方法，能夠用Python編寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)預(yù)處理及初步的數(shù)據(jù)分析（支撐畢業(yè)要求指標(biāo)點(diǎn)2.2）課程設(shè)計(jì)過(guò)程中對(duì)爬蟲(chóng)技術(shù)的掌握程度。4015552目標(biāo)2：能夠根據(jù)實(shí)際問(wèn)題的需要設(shè)計(jì)出合理、有效的數(shù)據(jù)采集方案，通過(guò)數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)的技術(shù)來(lái)解決數(shù)據(jù)獲取的實(shí)際問(wèn)題。并能夠?qū)?shí)驗(yàn)方案整理成規(guī)范的分析報(bào)告。（支撐畢業(yè)要求指標(biāo)點(diǎn)4.3）所完成的課程設(shè)計(jì)作品的難度、復(fù)雜度以及代碼量。課程設(shè)計(jì)報(bào)告的規(guī)范性及質(zhì)量。301545合計(jì)7030100注：各類(lèi)考核評(píng)價(jià)的具體評(píng)分標(biāo)準(zhǔn)見(jiàn)《附錄：各類(lèi)考核評(píng)分標(biāo)準(zhǔn)表》（說(shuō)明：1.評(píng)價(jià)依據(jù)主要有：平時(shí)表現(xiàn)、作業(yè)、案例分析、實(shí)驗(yàn)/實(shí)習(xí)/調(diào)研報(bào)告、上機(jī)、考試等，應(yīng)根據(jù)該課程實(shí)際設(shè)置的考核方式填寫(xiě)，不夠可以加列；2.各考核方式逐一填寫(xiě)評(píng)分標(biāo)準(zhǔn)表）五、教材及參考資料[1]江吉彬，張良均等.Python網(wǎng)絡(luò)爬蟲(chóng)技術(shù)[M],北京：人民郵電出版社，2019,9787111505064.[2]范傳輝.Python爬蟲(chóng)開(kāi)發(fā)與項(xiàng)目實(shí)戰(zhàn)[M],北京：機(jī)械工業(yè)出版社,2017,978發(fā)11563877.[3]胡松濤.Python網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)[M],北京：清華大學(xué)出版社,2016,9787302457879.⑷韋瑋.精通Python網(wǎng)絡(luò)爬蟲(chóng)：核心技術(shù)、框架與項(xiàng)目實(shí)戰(zhàn)[M],北京：機(jī)械工業(yè)出版社,2017,9787111562085.六、教學(xué)條件需要使用學(xué)生大數(shù)據(jù)實(shí)驗(yàn)室，電腦安裝了Windows7>Office2010>Anoconda3/Python3.6、Pycharm等正版軟件進(jìn)行實(shí)戰(zhàn)訓(xùn)練。

附錄：各類(lèi)考核評(píng)分標(biāo)準(zhǔn)表課程設(shè)計(jì)報(bào)告的考核評(píng)分標(biāo)準(zhǔn)教學(xué)目標(biāo)要求評(píng)分標(biāo)準(zhǔn)權(quán)重（%）90-10080-8960-790-59目標(biāo)1：掌握數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)中發(fā)送請(qǐng)求、解析網(wǎng)頁(yè)、數(shù)據(jù)存儲(chǔ)等技術(shù)的基本知識(shí)、原理及方法，能夠用Python編寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)預(yù)處理及初步的數(shù)據(jù)分 析（支撐畢業(yè)要求指標(biāo)點(diǎn)2.2）Bython爬蟲(chóng)程序編寫(xiě)精簡(jiǎn)有效,描述HHiwmiT11T11?]回畫(huà)0的加西曲000及初步的數(shù)據(jù)分析團(tuán)Python爬蟲(chóng)程序編寫(xiě)有效,描述基本團(tuán)團(tuán)團(tuán)團(tuán)回函3團(tuán)團(tuán)團(tuán)團(tuán)團(tuán)團(tuán)團(tuán)函3團(tuán)團(tuán)團(tuán)釀畫(huà)（匏0面1團(tuán)盟及簡(jiǎn)單的數(shù)據(jù)分析。Python爬蟲(chóng)程序編寫(xiě)基本有效00E0000300000SEEB000000SE≡0我皿Python爬蟲(chóng)程序編寫(xiě)失敗，思路不清，不能進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)爬取。40目標(biāo)2：能夠根據(jù)數(shù)據(jù)挖掘的需要設(shè)計(jì)出合理、有效的數(shù)據(jù)采集方案，通過(guò)數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)的技術(shù)來(lái)解決數(shù)據(jù)獲取的實(shí)際問(wèn)題。并能夠?qū)?shí)驗(yàn)方案整理成規(guī)范的分析報(bào)告。（支撐畢業(yè)要求指標(biāo)點(diǎn)4.3）能夠合理、有效的設(shè)計(jì)數(shù)據(jù)采集方案且分析報(bào)告形式規(guī)范。團(tuán)團(tuán)胴合理、有效的設(shè)計(jì)數(shù)據(jù)采集方案且報(bào)告形式相對(duì)規(guī)范。胴團(tuán)團(tuán)合理、有效的設(shè)計(jì)數(shù)據(jù)采集方案，報(bào)告形式比較規(guī)范。國(guó)有效的設(shè)計(jì)數(shù)據(jù)采集方案，報(bào)告形式不規(guī)范。30注：評(píng)分標(biāo)準(zhǔn)的分?jǐn)?shù)段劃分可以根據(jù)課程需要自行設(shè)計(jì)。

PPT答辯的考核評(píng)分標(biāo)準(zhǔn)教學(xué)目標(biāo)要求評(píng)分標(biāo)準(zhǔn)權(quán)重（%）90-10080-8960-790-59目標(biāo)1掌握數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)中發(fā)送請(qǐng)求、解析網(wǎng)頁(yè)、數(shù)據(jù)存儲(chǔ)等技術(shù)的基本知識(shí)、原理及方法，能夠用Python編寫(xiě)網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)預(yù)處理及初步的數(shù)據(jù)分 析（支撐畢業(yè)要求指標(biāo)點(diǎn)2.2）團(tuán)數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì) 中002EEE0000團(tuán)團(tuán)團(tuán)數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)中00002EE000000S33E□Ξ0000團(tuán)數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)中Ξ□00[∏∏ZEE0Ξ□Ξ0SZEEE□回的3團(tuán)團(tuán)回國(guó)亞00數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)中的3團(tuán)團(tuán)回國(guó)亞Ξ00Ξ00∣∏32E15目標(biāo)2：能夠根據(jù)數(shù)據(jù)挖掘的需要設(shè)計(jì)出合理、有效的數(shù)據(jù)采集方案，通過(guò)數(shù)據(jù)采集與網(wǎng)絡(luò)爬蟲(chóng)的技術(shù)來(lái)解決數(shù)據(jù)獲