機(jī)器學(xué)習(xí)與模式識別-教學(xué)大綱

1、機(jī)器學(xué)習(xí)與模式識別教學(xué)大綱課程編號：071243B課程類型：口通識教育必修課口通識教育選修課專業(yè)必修課口專業(yè)選修課口學(xué)科基礎(chǔ)課總學(xué)時：48講課學(xué)時：32實驗（上機(jī)）學(xué)時：16學(xué)分：3適用對象：計算機(jī)科學(xué)與技術(shù)專業(yè)先修課程：程序設(shè)計基礎(chǔ)與應(yīng)用、數(shù)據(jù)結(jié)構(gòu)、高等數(shù)學(xué)、算法導(dǎo)論一、教學(xué)目標(biāo)機(jī)器學(xué)習(xí)與算法導(dǎo)論是計算機(jī)科學(xué)技術(shù)專業(yè)的一門專業(yè)選修課程。本課程是面向計算機(jī)技術(shù)開設(shè)的專業(yè)選修課。其教學(xué)重點(diǎn)是使學(xué)生掌握常見機(jī)器學(xué)習(xí)算法，包括算法的主要思想和基本步驟，并通過編程練習(xí)和典型應(yīng)用實例加深了解；同時對機(jī)器學(xué)習(xí)的一般理論，如假設(shè)空間、采樣理論、計算學(xué)習(xí)理論，以及無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)有所了解。模式識別部分是研

2、究計算機(jī)模式識別的基本理論、方法和應(yīng)用。通過本課程的學(xué)習(xí)，使學(xué)生掌握模式識別的基本概念、基本原理、基本分析方法和算法，培養(yǎng)學(xué)生利用模式識別方法，運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實際問題的能力。學(xué)生通過本門課程的學(xué)習(xí)，能夠?qū)C(jī)器學(xué)習(xí)和模式識別的內(nèi)容有一個較為全面的了解和認(rèn)識，更深刻地理解機(jī)器學(xué)習(xí)的實質(zhì)內(nèi)容，使學(xué)生具備前沿的計算機(jī)技術(shù)必要的專業(yè)知識。從而，為學(xué)生今后從事計算機(jī)技術(shù)應(yīng)用與計算機(jī)技術(shù)前沿研究，以及相關(guān)領(lǐng)域的科學(xué)研究做好理論和技術(shù)上的準(zhǔn)備。目標(biāo)1：通過對機(jī)器學(xué)習(xí)與模式識別基本概念、原理、和基本方法的講解，讓學(xué)生理解并掌握機(jī)器學(xué)習(xí)和模式識別的基本技術(shù)。目標(biāo)2:培養(yǎng)學(xué)生利用模式識別方法，運(yùn)用技

3、能解決本專業(yè)和相關(guān)領(lǐng)域的實際問題的能力。目標(biāo)3:鼓勵學(xué)生運(yùn)用知識解決各自學(xué)科的實際問題，培養(yǎng)他們的獨(dú)立科研的能力和理論聯(lián)系實際的能力。二、教學(xué)內(nèi)容及其與畢業(yè)要求的對應(yīng)關(guān)系（黑體，小四號字）本課程主要介紹決策論與信息論基礎(chǔ)、概率分布、回歸的線性模型、分類的線性模型、核方法、支持向量機(jī)、圖模型、混合模型和期望最大化、隱Markov模型和條件隨機(jī)場模型、統(tǒng)計決策方法、概率密度函數(shù)的估計、線性分類器、非線性分類器、其他分類方法、特征選擇、特征提取、非監(jiān)督模式識別、模式識別系統(tǒng)的評價等。通過教學(xué)和實踐，培養(yǎng)學(xué)生運(yùn)用數(shù)學(xué)工具和方法分析問題和從多角度運(yùn)用數(shù)學(xué)工具解決問題的基本能力，培養(yǎng)學(xué)生利用模式識別方法，

4、運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實際問題的能力，訓(xùn)練學(xué)生的邏輯思維能力和想象力。在教學(xué)中，鼓勵學(xué)生運(yùn)用算法知識解決各個學(xué)科的實際計算問題，培養(yǎng)學(xué)生初步的獨(dú)立開展科研工作的能力和理論聯(lián)系實踐，解決實際問題的能力，同時，為后續(xù)課程以及將來的研究工作提供必要的基礎(chǔ)。止匕外，配合實驗課程的教學(xué)，學(xué)生應(yīng)理論聯(lián)系實際，理論指導(dǎo)實踐，通過規(guī)范地完成項目實踐進(jìn)一步鞏固所學(xué)的相關(guān)書本知識，在知識、能力、素質(zhì)上得到進(jìn)一步的提高。三、各教學(xué)環(huán)節(jié)學(xué)時分配教學(xué)課時分配廳P京下內(nèi)谷講課實驗其他合計代'K弟一早緒論22弟早概率分布22第三章回歸的線性模型224第四章分類的線性模型224第五章神經(jīng)網(wǎng)絡(luò)325第八章核方法

5、224第七章稀疏核集224第八章圖模型224第九章混合模型和EM22第十章隱Markov模型和條件隨機(jī)場模型22第一章特征選擇224第十F特征提取22第十三章非監(jiān)督模式識別22第十四章模式識別系統(tǒng)的評價325總復(fù)習(xí)結(jié)課復(fù)習(xí)22合計321648四、教學(xué)內(nèi)容第1章緒論教學(xué)重點(diǎn)、難點(diǎn)：決策論與信息論基礎(chǔ)、損失函數(shù)、錯分率的最小化、期望損失的最小化等；相對嫡、互信息。模式與模式識別、模式識別的主要方法、監(jiān)督模式識別與非監(jiān)督模式識別、模式識別系統(tǒng)舉例、模式識別系統(tǒng)的典型構(gòu)成。課程的考核要求：熟悉機(jī)器學(xué)習(xí)與模式識別的基本定義和術(shù)語；基本數(shù)學(xué)知識。了解：了解機(jī)器學(xué)習(xí)與模式識別的研究范圍和內(nèi)容。理解：決策論與

6、信息論基礎(chǔ)、損失函數(shù)、錯分率的最小化、期望損失的最小化等；相對嫡、互信息。模式與模式識別、模式識別的主要方法、監(jiān)督模式識別與非監(jiān)督模式識別、模式識別系統(tǒng)舉例、模式識別系統(tǒng)的典型構(gòu)成等概念。掌握：掌握決策論與信息論基礎(chǔ)、模式識別的主要方法。應(yīng)用：與實際問題相呼應(yīng)。復(fù)習(xí)思考題：見參考文獻(xiàn)。第2章概率分布教學(xué)重點(diǎn)、難點(diǎn)：高斯分布、混合高斯分布、Dirichlet分布、beta分布課程的考核要求：熟悉最大似然估計、貝葉斯估計與貝葉斯學(xué)習(xí)、概率密度估計的非參數(shù)方法。了解：最大似然估計、充分統(tǒng)計量、共腕先驗、無信息先驗等。非參數(shù)方法：核密度估計、近鄰法理解：neyman-pearson決策與roc曲線、正

7、態(tài)分布時的統(tǒng)計決策、錯誤率的計算、概率密度函數(shù)的估計掌握：掌握最小錯誤率貝葉斯決策、最小風(fēng)險貝葉斯決策、兩類錯誤率。應(yīng)用：離散概率模型下的統(tǒng)計決策舉例。復(fù)習(xí)思考題：見參考文獻(xiàn)。第3章回歸的線性模型教學(xué)重點(diǎn)、難點(diǎn)：貝葉斯線性回歸。課程的考核要求：熟悉線性基函數(shù)模型。了解：貝葉斯模型比較。理解：等價核的概念。掌握：掌握貝葉斯模型。應(yīng)用：各種分布的具體應(yīng)用。復(fù)習(xí)思考題：見參考文獻(xiàn)。第4章分類的線性模型：教學(xué)重點(diǎn)、難點(diǎn)：最優(yōu)分類超平面與線性支持向量機(jī)。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：fisher線性判別分析。理解：多類線性分類

8、器。掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別應(yīng)用：分類模型的具體應(yīng)用。復(fù)習(xí)思考題：見參考文獻(xiàn)。第5章神經(jīng)網(wǎng)絡(luò)教學(xué)重點(diǎn)、難點(diǎn)：神經(jīng)網(wǎng)絡(luò)的正則化。課程的考核要求：熟悉各種神經(jīng)網(wǎng)絡(luò)及其梯度下降的概念。了解：hessian矩陣及混合密度網(wǎng)絡(luò)。理解：貝葉斯神經(jīng)網(wǎng)絡(luò)、多層感知器神經(jīng)網(wǎng)絡(luò)。掌握：前饋神經(jīng)網(wǎng)絡(luò)及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練應(yīng)用：進(jìn)行神經(jīng)網(wǎng)絡(luò)實驗的具體應(yīng)用。復(fù)習(xí)思考題：見參考文獻(xiàn)。第6章核方法：教學(xué)重點(diǎn)、難點(diǎn)：構(gòu)造核函數(shù)課程的考核要求：熟悉對偶表示、徑向基函數(shù)網(wǎng)絡(luò)、Nadaraya-Watson模型了解：Laplace逼近理解：高斯過程模型用于回歸和分類。掌握：高斯過程應(yīng)用：核方法與神經(jīng)網(wǎng)絡(luò)的聯(lián)

9、系。復(fù)習(xí)思考題：見參考文獻(xiàn)。第7章稀疏核集教學(xué)重點(diǎn)、難點(diǎn)：最優(yōu)分類超平面與線性支持向量機(jī)、用于多分類和回歸的支持向量機(jī)。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：各種變種理解：多類線性分類器以及最大邊緣分類器。掌握：統(tǒng)計學(xué)習(xí)理論應(yīng)用：稀疏核集的具體應(yīng)用。復(fù)習(xí)思考題：見參考文獻(xiàn)。第8章圖模型：教學(xué)重點(diǎn)、難點(diǎn)：Markov隨機(jī)場。課程的考核要求：熟悉因子分解。了解：循環(huán)置信傳播理解：圖模型中的推斷掌握：條件獨(dú)立的內(nèi)容應(yīng)用：置信網(wǎng)絡(luò)的具體應(yīng)用。復(fù)習(xí)思考題：見參考文獻(xiàn)。第9章混合模型和期望最大化（ExpectationMaximizat

10、ion,EM算法教學(xué)重點(diǎn)、難點(diǎn)：高斯混合模型的參數(shù)估計、EM一般算法及其應(yīng)用課程的考核要求：、EM一股算法及其應(yīng)用、最大似然估計、EM算法、貝葉斯線性回歸了解：伯努利分布的混合理解：高斯混合模型的參數(shù)估計。掌握：最大似然估計、EM算法、貝葉斯線性回歸應(yīng)用：貝葉斯線性回歸的EM算法。復(fù)習(xí)思考題：見參考文獻(xiàn)。第10章隱Markov模型和條件隨機(jī)場模型教學(xué)重點(diǎn)、難點(diǎn)：隱Markov模型、條件隨機(jī)場及其應(yīng)用課程的考核要求：熟悉隱Markov模型、條件隨機(jī)場及其應(yīng)用、Viterbi算法了解：Baum-Welch算法等理解：向前-向后算法掌握：熟悉隱Markov模型、條件隨機(jī)場及其應(yīng)用、Viterbi算法

11、應(yīng)用：隱Markov模型和條件隨機(jī)場模型的具體應(yīng)用。復(fù)習(xí)思考題：見參考文獻(xiàn)第11章特征選擇教學(xué)重點(diǎn)、難點(diǎn)：特征選擇的最優(yōu)算法課程的考核要求：特征的評價準(zhǔn)則、特征選擇的最優(yōu)算法了解：特征選擇的次優(yōu)算法理解：特征選擇的遺傳算法掌握：以分類性能為準(zhǔn)則的特征選擇方法應(yīng)用：特征選擇的具體應(yīng)用。復(fù)習(xí)思考題：見參考文獻(xiàn)。第12章特征提取教學(xué)重點(diǎn)、難點(diǎn)：基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示。課程的考核要求：熟悉基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。了解：karhunen-loeve變換理解：非線性變換方法掌握：線性判別函數(shù)的基本概念、感知器、

12、最小平方誤差判別基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。應(yīng)用：5k-l變換在人臉識別中的應(yīng)用舉例復(fù)習(xí)思考題：見參考文獻(xiàn)。第13章非監(jiān)督模式識別教學(xué)重點(diǎn)、難點(diǎn)：基于模型的方法、動態(tài)聚類算法課程的考核要求：熟悉基于模型的方法、動態(tài)聚類算法、模糊聚類方法了解：自組織映射神經(jīng)網(wǎng)絡(luò)理解：分級聚類方法掌握：混合模型的估計、基于模型的方法、動態(tài)聚類算法、模糊聚類方法應(yīng)用：非監(jiān)督模式識別的具體應(yīng)用。復(fù)習(xí)思考題：見參考文獻(xiàn)。第14章模式識別系統(tǒng)的評價教學(xué)重點(diǎn)、難點(diǎn)：有限樣本下錯誤率的區(qū)間估計問題課程的考核要求：熟悉監(jiān)督模式識別方法的錯誤率估計方法了解：非監(jiān)督模式識別系統(tǒng)性能

13、的評價理解：特征提取與選擇對分類器性能估計的影響掌握：監(jiān)督模式識別方法的錯誤率估計方法應(yīng)用：從分類的顯著性推斷特征與類別的關(guān)系復(fù)習(xí)思考題：見參考文獻(xiàn)。五、考核方式、成績評定課程結(jié)束考核方式：閉卷考試課堂考試時間：120分鐘考試命題：課程考試的命題內(nèi)容要從大綱的要求出發(fā)，圍繞本課程的教學(xué)內(nèi)容、知識點(diǎn)和教學(xué)要求，著重從知識、能力、素質(zhì)三個方面對學(xué)生進(jìn)行全面的考核，重點(diǎn)考核學(xué)生運(yùn)用知識解決問題的能力，同時考察學(xué)生的綜合素質(zhì)?？己朔秶鸀槌俗詈笠恢芙虒W(xué)的內(nèi)容外，其他大綱確定的知識點(diǎn)都在考試范圍之內(nèi)。試卷中不少于85%勺內(nèi)容應(yīng)來自課程重點(diǎn)內(nèi)容的范圍，不少于10%勺內(nèi)容應(yīng)來自課程非重點(diǎn)內(nèi)容的范圍，要求學(xué)生

14、全面復(fù)習(xí)，以達(dá)到系統(tǒng)掌握，全面考核的目的。試卷的題型要力戒避免文科標(biāo)準(zhǔn)化試卷的題型，避免出現(xiàn)簡單概念問答題和簡答題。試卷題目數(shù)量一般為5、6、7題，以優(yōu)秀學(xué)生在全部會做的情況下正常書寫速度能夠在90分鐘內(nèi)完成為宜。試卷題目數(shù)量的減少與全面考核的目的并不矛盾。由于考核的范圍是明確的，只要教師不透露題型和范圍，學(xué)生就必須全面復(fù)習(xí)，這樣，即使題目不覆蓋某些教學(xué)內(nèi)容，也不會影響實際的教學(xué)效果期中考試：由任課教師決定是否安排期中考試，主要用于檢查教學(xué)情況。最后成績計算辦法：期終考試成績70%+平時成績30%六、主要參考書及其他內(nèi)容主要參考書目，所列條目及其順序如下：1 周志華，機(jī)器學(xué)習(xí)，清華大學(xué)出版社，2016-1-112 Bishop,C.M.(2006)PatternRecognitionandMach