山東大學(xué)2016模式識(shí)別考試題回憶版

1、一、判斷題（共10個(gè)題）請(qǐng)寫(xiě)清楚題號(hào)，在答卷紙上填寫(xiě)或×，不要直接在本頁(yè)回答。特別說(shuō)明：本部分題目的得分規(guī)則為：答對(duì)一個(gè)題，得2分；不答（即放棄回答）的題，本題得0分；答錯(cuò)一個(gè)題，得-2分（即反扣2分）。本道大題得負(fù)分的，從其他大題扣除。所以，判斷題的回答，建議慎重對(duì)待。1. 基于最小錯(cuò)誤率的貝葉斯概率是 損失函數(shù)0-1的 基于最小風(fēng)險(xiǎn)貝葉斯概率的特例2. 監(jiān)督參數(shù)估計(jì)是（太多記不?。?。3. 單隱層神經(jīng)網(wǎng)絡(luò)在經(jīng)過(guò)足夠訓(xùn)練后，不管節(jié)點(diǎn)多少，總能找到全局最優(yōu)解。4. 決策樹(shù)可以生成規(guī)則集，且生成的規(guī)則集是可以解釋的。5. SVM向量機(jī)在樣本數(shù)據(jù)少、非線性的情況下有優(yōu)勢(shì)。6. Baggin

2、g是一種串行學(xué)習(xí)框架。7. 泛化能力指的是在訓(xùn)練集中體現(xiàn)的特點(diǎn)。8. Self_Trainning是一種半監(jiān)督的方法。9. 決策樹(shù)屬性選擇是依照信息增益比。10. 2006年以前，多隱層神經(jīng)網(wǎng)絡(luò)因?yàn)槿狈α己玫乃惴?，限制了深度學(xué)習(xí)的發(fā)展。二、計(jì)算題設(shè)在某個(gè)局部地區(qū)細(xì)胞識(shí)別中正常 和異常 兩類的先驗(yàn)概率分別為：正常狀態(tài)：異常狀態(tài)：現(xiàn)有一待識(shí)別的細(xì)胞，其觀察值為x，從類條件概率密度分布曲線上查得 試使用貝葉斯決策對(duì)該細(xì)胞x進(jìn)行分類（要求給出具體計(jì)算過(guò)程及計(jì)算結(jié)果）解：利用貝葉斯公式，分別計(jì)算出 及 的后驗(yàn)概率根據(jù)貝葉斯決策規(guī)則，有所以合理的決策規(guī)則是把x歸類于正常狀態(tài)。三、簡(jiǎn)答題1、 應(yīng)用貝葉斯決策

3、需要滿足的三個(gè)前提條件是什么？ （1）分類的類別數(shù)；（2）先驗(yàn)概率；（3）各類的類條件概率密度。2、 試簡(jiǎn)述您對(duì)先驗(yàn)概率和后驗(yàn)概率理解Ø 先驗(yàn)概率：預(yù)先已知的或者可以估計(jì)的模式識(shí)別系統(tǒng)位于某種類型的概率。根據(jù)大數(shù)定律，當(dāng)訓(xùn)練集包含充足的獨(dú)立同分布樣本時(shí)，先驗(yàn)概率就可以通過(guò)各類樣本出現(xiàn)的頻率來(lái)進(jìn)行估計(jì)。Ø 后驗(yàn)概率：后驗(yàn)概率是通過(guò)貝葉斯公式對(duì)先驗(yàn)概率進(jìn)行修正，計(jì)算而得出的概率。表示系統(tǒng)在某個(gè)具體的模式樣本X條件下位于某種類型的概率。3、 試簡(jiǎn)述Fisher線性判別的基本思想解決多維到一維的投影問(wèn)題，利用線性判別方法解決一維分類問(wèn)題。從k個(gè)總體中抽取具有p個(gè)指標(biāo)的樣品觀測(cè)數(shù)據(jù)，

4、借助方差分析的思想構(gòu)造一個(gè)線性判別函數(shù)，構(gòu)造原則是使得總體之間區(qū)別最大，而使各總體內(nèi)部的離差最小。有了線性判別函數(shù)之后，對(duì)于一個(gè)新的樣品，將它的p個(gè)指標(biāo)值帶入線性判別函數(shù)式中求出結(jié)果值，然后根據(jù)一定的規(guī)則，就能判別新的樣品屬于哪個(gè)總體。Ø 投影降維：將多維空間的樣本投影到一維空間，根據(jù)實(shí)際情況找到一條最好的、易于分類的投影線。尋找合適的投影方向，即尋找好的變換向量。Ø 一維分類：當(dāng)維數(shù)和樣本數(shù)都很大時(shí)，可用貝葉斯決策規(guī)則；上述條件都不符合，可用先驗(yàn)知識(shí)選定分界閾值點(diǎn)y0，再有決策規(guī)則判斷x屬于何類別。4、 試簡(jiǎn)述何為k-近鄰法（1）K-近鄰學(xué)習(xí)是一種常用的監(jiān)督學(xué)習(xí)方法，（2

5、）k-近鄰法的基本思想：給定一個(gè)訓(xùn)練數(shù)據(jù)集，對(duì)新的輸入實(shí)例，基于某種距離度量找出訓(xùn)練集中與其最靠近的 K 個(gè)實(shí)例（鄰居）。然后基于這 K 個(gè)實(shí)例的信息來(lái)進(jìn)行預(yù)測(cè)，使各點(diǎn)鄰域體積為數(shù)據(jù)的函數(shù)，而不是樣本數(shù)的函數(shù)，實(shí)現(xiàn)各點(diǎn)密度估計(jì)?？催@K個(gè)近鄰中多數(shù)屬于哪一類，就把輸入實(shí)例歸為哪一類；5、 試簡(jiǎn)述您對(duì)非線性支持向量機(jī)（SVM）理解對(duì)于線性支持向量機(jī)，選擇一個(gè)合適的懲罰參數(shù)C >0 ，并構(gòu)造凸二次函數(shù)線性規(guī)劃問(wèn)題，求得原始問(wèn)題的對(duì)偶問(wèn)題的最優(yōu)解 ,由此可以求出原始問(wèn)題的最優(yōu)解；在處理非線性問(wèn)題時(shí)，可以通過(guò)將非線性問(wèn)題轉(zhuǎn)化成線性問(wèn)題，并通過(guò)已經(jīng)構(gòu)建的線性支持向量機(jī)來(lái)處理。在線性不可分的情況下，S

6、VM首先在低維空間中完成計(jì)算，然后通過(guò)選擇合適的核函數(shù)來(lái)將樣本從原始空間映射到高維特征空間，最終在高維特征空間中構(gòu)造出最優(yōu)分離超平面，從而分離非線性數(shù)據(jù)。（1）選取適當(dāng)?shù)暮撕瘮?shù)和適當(dāng)?shù)膮?shù)，構(gòu)造原始問(wèn)題的對(duì)偶問(wèn)題,求得對(duì)應(yīng)的最優(yōu)解；（2）選擇的一個(gè)滿足的分量，求；（3）構(gòu)造決策函數(shù)；6、 試簡(jiǎn)述何為度量學(xué)習(xí)在機(jī)器學(xué)習(xí)中，對(duì)高維數(shù)據(jù)進(jìn)行降維的主要目的是希望找到一個(gè)合適的低維空間，在此空間中學(xué)習(xí)比原始空間更好。事實(shí)上，每個(gè)空間對(duì)應(yīng)了在樣本屬性上定義的一個(gè)距離度量。度量學(xué)習(xí)可以根據(jù)不同的任務(wù)來(lái)自主學(xué)習(xí)出針對(duì)某個(gè)特定任務(wù)的度量距離函數(shù)，找出一個(gè)合適的距離度量。度量學(xué)習(xí)方法可以分為通過(guò)線性變換的度量學(xué)習(xí)

7、和度量學(xué)習(xí)的非線性模型。7、 試簡(jiǎn)述何為半監(jiān)督學(xué)習(xí)（SSL）半監(jiān)督學(xué)習(xí)是監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法，就是讓學(xué)習(xí)器不依賴外界交互，自動(dòng)地利用未標(biāo)記樣本來(lái)提升學(xué)習(xí)性能。它主要考慮如何利用少量的標(biāo)注樣本和大量的未標(biāo)注樣本進(jìn)行訓(xùn)練和分類的問(wèn)題。SSL的成立依賴于模型假設(shè)，當(dāng)模型假設(shè)正確時(shí)，無(wú)類標(biāo)簽的樣例能夠幫助改進(jìn)學(xué)習(xí)性能。包括：1)平滑假設(shè)2)聚類假設(shè)3)流形假設(shè)。8、 試簡(jiǎn)述何為聚類聚類試圖將數(shù)據(jù)集中的樣本劃分為若干個(gè)通常是不相交的子集稱為一個(gè)簇，通過(guò)這樣的劃分，每個(gè)簇可能對(duì)應(yīng)于一些潛在的概念（類別），并且這些概念對(duì)于聚類算法而言事先是未知的，聚類過(guò)程僅能自動(dòng)地形成簇結(jié)構(gòu)，簇所對(duì)應(yīng)的

8、概念語(yǔ)義需要使用者來(lái)把握和定義。9、 試簡(jiǎn)述您對(duì)稀疏表達(dá)的理解稀疏表達(dá)的目的就是在給定的超完備字典中用盡可能少的原子來(lái)表示信號(hào)，可以獲得信號(hào)更為簡(jiǎn)潔的表示方式，從而使我們更容易地獲取信號(hào)中所蘊(yùn)含的信息，更方便進(jìn)一步對(duì)信號(hào)進(jìn)行加工處理，如壓縮、編碼等。兩大主要任務(wù)就是字典的生成和信號(hào)的稀疏分解。假設(shè)一個(gè)樣本數(shù)據(jù) D，D 對(duì)應(yīng)的矩陣中存在很多零元素，并且它們不是以整行整列的形式出現(xiàn)的，那么這種表達(dá)是稀疏的。這樣的稀疏表達(dá)形式對(duì)學(xué)習(xí)任務(wù)會(huì)有不少好處。例如，SVM 在文本上有很好的性能。若給定數(shù)據(jù)集 D 是稠密的，即普通非稀疏數(shù)據(jù)，我們可以通過(guò)字典學(xué)習(xí)（稀疏編碼）來(lái)將樣本轉(zhuǎn)化為合適的稀疏表示。10、

9、試簡(jiǎn)述您對(duì)流型學(xué)習(xí)的理解假設(shè)數(shù)據(jù)是均勻采樣于一個(gè)高維歐氏空間中的低維流形，流形學(xué)習(xí)就是從高維采樣數(shù)據(jù)中恢復(fù)低維流形結(jié)構(gòu)，即找到高維空間中的低維流形，并求出相應(yīng)的嵌入映射，以實(shí)現(xiàn)維數(shù)約簡(jiǎn)或者數(shù)據(jù)可視化。它是從觀測(cè)到的現(xiàn)象中去尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律。流形學(xué)習(xí)也通常被用于可視化，因?yàn)楫?dāng)維數(shù)被降至二維或三維時(shí)，能進(jìn)行可視化。等度量映射和局部線性嵌入是兩種著名的流形學(xué)習(xí)方法。11、 試簡(jiǎn)述您對(duì)同分布問(wèn)題的理解我們?cè)谠O(shè)計(jì)一個(gè)模式識(shí)別時(shí)，是有一些假設(shè)或前提條件的，其中之一就是：假定用于訓(xùn)練或建模的有標(biāo)記樣本集的分布，是和全集的分布相同的，這就是同分布。如果滿足同分布的預(yù)期模型將有很好的泛化能

10、力。12、 試簡(jiǎn)述您對(duì)模型泛化能力的理解經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)對(duì)于不是樣本集的輸入也能給出合適的輸出，該性質(zhì)稱為泛化能力，意味著從訓(xùn)練樣本數(shù)據(jù)得到的模型也能夠很好的適應(yīng)測(cè)試樣本數(shù)據(jù)。通常期望經(jīng)訓(xùn)練樣本訓(xùn)練的網(wǎng)絡(luò)具有較強(qiáng)的泛化能力，但并非訓(xùn)練的次數(shù)越多越能得到正確的輸入輸出映射關(guān)系。訓(xùn)練過(guò)程中過(guò)分追求分類器將訓(xùn)練樣本盡量分類正確或完全分類正確反倒使泛化能力下降。四、論述題1、試簡(jiǎn)述何為集成學(xué)習(xí) 集成學(xué)習(xí)是使用一系列學(xué)習(xí)器進(jìn)行學(xué)習(xí)，并使用某種規(guī)則把各個(gè)學(xué)習(xí)結(jié)果進(jìn)行整合從而獲得比單個(gè)學(xué)習(xí)器更好的學(xué)習(xí)效果的一種機(jī)器學(xué)習(xí)方法。集成學(xué)習(xí)的思路是在對(duì)新的實(shí)例進(jìn)行分類的時(shí)候，把若干個(gè)單個(gè)分類器集成起來(lái)，通過(guò)對(duì)多個(gè)分類

11、器的分類結(jié)果進(jìn)行某種組合來(lái)決定最終的分類，以取得比單個(gè)分類器更好的性能。如果把單個(gè)分類器比作一個(gè)決策者的話，集成學(xué)習(xí)的方法就相當(dāng)于多個(gè)決策者共同進(jìn)行一項(xiàng)決策。2、如果讓您設(shè)計(jì)與實(shí)現(xiàn)一個(gè)模式識(shí)別系統(tǒng)，用于實(shí)現(xiàn)齊魯軟件學(xué)院男、女生的分類（二分類問(wèn)題），您將如何考慮？其中有哪些需要注意的問(wèn)題？請(qǐng)就您的理解，盡可能全面、深入地描述，以此展示您對(duì)模式識(shí)別技術(shù)這門(mén)課的理解。如果您覺(jué)得有必要，必要之處也可以畫(huà)圖輔助表達(dá)。答：假設(shè)我們所擁有的訓(xùn)練樣本有如下屬性：身高是否喜歡網(wǎng)購(gòu)出行次數(shù)（月）生活費(fèi)（月）性別155是122500女159是112200女182否81800男我們可以采用 ID3 決策樹(shù)算法來(lái)用于對(duì)學(xué)生性別的分類。在建立決策樹(shù)的過(guò)程中，首先需要對(duì)屬性進(jìn)行劃分，為了選擇出最優(yōu)劃分屬性，我們需要計(jì)算出用每個(gè)屬性對(duì)樣本集進(jìn)行劃分所獲得的信息增益，選擇信息增益大的屬性劃分，我們可以得到一棵決策樹(shù)。可能存在的問(wèn)題