《文本數(shù)據(jù)挖掘》教學大綱

文本數(shù)據(jù)挖掘教學大綱課程名稱：文本數(shù)據(jù)挖掘學分：2總學時：32理論學時：24 實驗學時：8先修課程：數(shù)據(jù)庫原理與應用、Python高級語言編程、數(shù)據(jù)結構適用專業(yè):數(shù)據(jù)工程專業(yè)開課學期：第六學期01課程性質、定位和教學目標課程性質：文本數(shù)據(jù)挖掘是數(shù)據(jù)工程專業(yè)的必修課程，本課程以文本數(shù)據(jù)挖掘為主要內容，講述實現(xiàn)文本數(shù)據(jù)挖掘的各主要功能、挖掘算法和應用，并通過對實際數(shù)據(jù)的分析更加深入地理解常用的文本數(shù)據(jù)挖掘模型。課程定位：“文本數(shù)據(jù)挖掘技術導論”是針對數(shù)據(jù)工程專業(yè)的專業(yè)技術課程，同時也是該專業(yè)的核心課程，也是本專業(yè)創(chuàng)業(yè)創(chuàng)新教育課程。在學生專業(yè)培養(yǎng)中起到至關重要的作用。教學目標：通過“文本數(shù)據(jù)挖掘技術導論”課程的教學，使學生理解文本數(shù)據(jù)挖掘的基本概念和方法，學習和掌握中的文本數(shù)據(jù)挖掘的經典方法。使學生能夠借助Python高級語言編程工具進行具體文本數(shù)據(jù)的挖掘分析。02教學內容與要求第一章緒論【教學目的與要求】了解文本挖掘研究背景、意義及國內外研究現(xiàn)狀，掌握文本挖掘的概念，了解文本挖掘主要研究領域，了解文本挖掘在制藥企業(yè)應用案例?！窘虒W內容】文本挖掘研究背景及意義文本挖掘的國內外研究現(xiàn)狀文本挖掘概述文本挖掘的過程文本挖掘在制藥企業(yè)應用案例【教學重點與難點】重點：文本挖掘研究背景、意義國內外研究現(xiàn)狀、文本挖掘概念難點：文本挖掘的過程【教學手段】利用網絡環(huán)境、多媒體課件，案例教學、實理一體化教學方法等【課后作業(yè)】.文本挖掘與數(shù)據(jù)挖掘有何聯(lián)系和區(qū)別？.目前文本挖掘的領域主要涉及到哪些？第二章文本切分及特征詞選擇【教學目的與要求】掌握文本數(shù)據(jù)采集的常用方法、了解中文語料庫與詞典，熟練掌握文本切分和文本特征詞選擇的方法，熟練掌握PythonJieba分詞模塊及其用法?！窘虒W內容】文本數(shù)據(jù)采集語料庫與詞典簡介文本切分文本特征詞選擇PythonJieba分詞模塊及其用法【教學重點與難點】重點：文本切分、文本特征詞選擇、PythonJieba分詞模塊及其用法難點：PythonJieba分詞模塊及其用法【教學手段】利用網絡環(huán)境、多媒體課件，案例教學、實理一體化教學方法等【課后作業(yè)】1利用現(xiàn)代漢語語料庫進行一段中文文本的漢語分詞、詞性自動標注、字頻統(tǒng)計和詞頻統(tǒng)計。2用Python實現(xiàn)雙向最大匹配的算法。3利用jieba進行一段中文文本的三種模式的分詞。第三章文本表示模型【教學目的與要求】熟練掌握文本預處理的常用方法、掌握向量模型、概率模型和主題概率模型的概念及Python的實現(xiàn)?！窘虒W內容】文本預處理向量空間模型概率模型主題概率模型【教學重點與難點】重點：文本預處理、向量空間模型、概率模型、主題概率模型難點：主題概率模型【教學手段】利用網絡環(huán)境、多媒體課件，案例教學、實理一體化教學方法等【課后作業(yè)】1給出一段中文文本，利用Python的re.split()函數(shù)，分隔所有短句。2給出一段中文文本，去除停用詞，完成操作后將結果讀出來。第四章文本分類【教學目的與要求】了解文本分類意義、國內外研究現(xiàn)狀與發(fā)展趨勢，掌握文本分類的定義，熟練掌握文本分類的流程和文本分類預處理。掌握典型的常用文本分類器，了解分類模型的性能評估?！窘虒W內容】文本分類概述常用文本分類器分類模型的性能評估【教學重點與難點】重點：常用文本分類器難點：常用文本分類器【教學手段】利用網絡環(huán)境、多媒體課件，案例教學、實理一體化教學方法等【課后作業(yè)】1給定有類別標注的文本向量集，參考例4.2，對于一組待分類的文本，判斷分別屬于哪一類。2利用Python編程，對給定相關數(shù)據(jù)驗證SVM算法。3Python編程，利用樸素貝葉斯分類器實現(xiàn)垃圾郵件過濾。4給定相關數(shù)據(jù)，利用Python編程，驗證ID3和C4.5算法。第五章文本聚類【教學目的與要求】了解文本聚類意義、國內外研究現(xiàn)狀與發(fā)展趨勢，掌握文本聚類的定義，熟練掌握文本聚類的流程和文本聚類預處理。掌握典型的常用文本聚類器，了解聚類模型的性能評估。【教學內容】文本聚類概述文本聚類原理與方法文本聚類評估【教學重點與難點】重點：文本聚類原理與方法難點：文本聚類原理與方法【教學手段】利用網絡環(huán)境、多媒體課件，案例教學、實理一體化教學方法等【課后作業(yè)】1描述基于劃分的聚類方法，并分別驗證例5.1和例5.2中的k-means、k-medoids聚類。2描述基于層次的聚類方法。驗證例5.6中AGNES算法。3參照例5.9，給定一組文檔集的向量，利用python實現(xiàn)DBSCAN算法。第六章文本關聯(lián)分析【教學目的與要求】了解文本關聯(lián)規(guī)則基本概念和意義，掌握關聯(lián)規(guī)則分類和關聯(lián)規(guī)則挖掘算法，熟練掌握Apriori算法，了解FP-Growth算法?！窘虒W內容】引言文本關聯(lián)規(guī)則關聯(lián)規(guī)則挖掘算法【教學重點與難點】重點：文本關聯(lián)規(guī)則、關聯(lián)規(guī)則挖掘算法難點：關聯(lián)規(guī)則挖掘算法【教學手段】利用網絡環(huán)境、多媒體課件，案例教學、實理一體化教學方法等【課后作業(yè)】1簡述研究文本關聯(lián)規(guī)則的意義。2根據(jù)例6.1，理解Apriori算法的步驟。第七章Python處理文本數(shù)據(jù)簡單應用【教學目的與要求】掌握文本集的情感分析、關鍵詞和摘要自動生成的Python實現(xiàn)，掌握使用SnowNLP進行商品評價的Python實現(xiàn)，掌握利用Python生成“詞云”?！窘虒W內容】情感分析自動生成關鍵詞和摘要使用SnowNLP進行商品評價生成“詞云”【教學重點與難點】重點：自動生成關鍵詞和摘要、使用SnowNLP進行商品評價難點：使用SnowNLP進行商品評價【教學手段】利用網絡環(huán)境、多媒體課件，案例教學、實理一體化教學方法等【課后作業(yè)】1利用TextRank算法的python算法仿照例7.3實現(xiàn)，創(chuàng)建中文文本文件，利用TextRank4Keyword將文本拆分成4種格式：sentences、words_no_filter、words_no_stop_words和words_all_filters。2創(chuàng)建中文文本文件，參照例7.4和例7.5生成關鍵字和摘要。3輸入一段中文文本，利用7.3.1中的樣例，驗證SnowNLP的主要功能。03學時分配課程內容學時分配小計講課習題課討論課實驗其他第一章緒論22第二章文本切分及特