模式識別與機器學(xué)習(xí)期末考查試題及參考答案

1、模式識別與機器學(xué)習(xí)期末考查試卷研究生姓名:入學(xué)年份:導(dǎo)師姓名:試題1:簡述模式識別與機器學(xué)習(xí)研究的共同問題和各自的研究側(cè)重點。答:(1模式識別是研究用計算機來實現(xiàn)人類的模式識別能力的一門學(xué)科,是指對表征事物或現(xiàn)象的各種形式的信息進行處理和分析,以對事物或現(xiàn)象進行描述、辨認(rèn)、分類和解釋的過程。主要集中在兩方面,一是研究生物體(包括人是如何感知客觀事物的,二是在給定的任務(wù)下,如何用計算機實現(xiàn)識別的理論和方法。機器學(xué)習(xí)則是一門研究怎樣用計算機來模擬或?qū)崿F(xiàn)人類學(xué)習(xí)活動的學(xué)科,是研究如何使機器通過識別和利用現(xiàn)有知識來獲取新知識和新技能。主要體現(xiàn)以下三方面:一是人類學(xué)習(xí)過程的認(rèn)知模型;二是通用學(xué)習(xí)算法;三

2、是構(gòu)造面向任務(wù)的專用學(xué)習(xí)系統(tǒng)的方法。兩者關(guān)心的很多共同問題,如:分類、聚類、特征選擇、信息融合等,這兩個領(lǐng)域的界限越來越模糊。機器學(xué)習(xí)和模式識別的理論和方法可用來解決很多機器感知和信息處理的問題,其中包括圖像/視頻分析(文本、語音、印刷、手寫文檔分析、信息檢索和網(wǎng)絡(luò)搜索等。(2機器學(xué)習(xí)和模式識別是分別從計算機科學(xué)和工程的角度發(fā)展起來的,各自的研究側(cè)重點也不同。模式識別的目標(biāo)就是分類,為了提高分類器的性能,可能會用到機器學(xué)習(xí)算法。而機器學(xué)習(xí)的目標(biāo)是通過學(xué)習(xí)提高系統(tǒng)性能,分類只是其最簡單的要求,其研究更側(cè)重于理論,包括泛化效果、收斂性等。模式識別技術(shù)相對比較成熟了,而機器學(xué)習(xí)中一些方法還沒有理論基

3、礎(chǔ),只是實驗效果比較好。許多算法他們都在研究,但是研究的目標(biāo)卻不同。如SVM 在模式識別中研究所關(guān)心的就是其對人類效果的提高,偏工程。而在機器學(xué)習(xí)中則更側(cè)重于其性能上的理論證明。試題2:列出在模式識別與機器學(xué)習(xí)中的常用算法及其優(yōu)缺點。答:(1 K近鄰法KNN算法作為一種非參數(shù)的分類算法,它已經(jīng)廣泛應(yīng)用于分類、回歸和模式識別等。在應(yīng)用KNN算法解決問題的時候,要注意的兩個方面是樣本權(quán)重和特征權(quán)重。優(yōu)缺點:非常有效,實現(xiàn)簡單,分類效果好。樣本小時誤差難控制,存儲所有樣本,需要較大存儲空間,對于大樣本的計算量大。(2貝葉斯決策法貝葉斯決策法是以期望值為標(biāo)準(zhǔn)的分析法,是決策者在處理風(fēng)險型問題時常常使用

4、的方法。優(yōu)缺點:由于在生活當(dāng)中許多自然現(xiàn)象和生產(chǎn)問題都是難以完全準(zhǔn)確預(yù)測的,因此決策者在采取相應(yīng)的決策時總會帶有一定的風(fēng)險。貝葉斯決策法就是將各因素發(fā)生某種變動引起結(jié)果變動的概率憑統(tǒng)計資料或憑經(jīng)驗主觀地假設(shè),然后進一步對期望值進行分析,由于此概率并不能證實其客觀性,故往往是主觀的和人為的概率,本身帶有一定的風(fēng)險性和不肯定性。雖然用期望的大小進行判斷有一些風(fēng)險,但仍可以認(rèn)為貝葉斯決策是一種兼科學(xué)性和實效性于一身的比較完善的用于解決風(fēng)險型決策問題的方法,在實際中能夠廣泛應(yīng)用于組織系統(tǒng)改革、企業(yè)效益、市場開發(fā)、證券投資等諸多領(lǐng)域。使用時根據(jù)決策者的側(cè)重點,結(jié)合變異系數(shù),綜合使用貨幣因素的貝葉斯決策、

5、或效用函數(shù)的貝葉斯決策法,都會得到自己想要的結(jié)果。(3DES加密算法DES是Data Encryption Standard(數(shù)據(jù)加密標(biāo)準(zhǔn)的縮寫,它為密碼體制中的對稱密碼體制,又被稱為美國數(shù)據(jù)加密標(biāo)準(zhǔn),是1972年美國IBM公司研制的加密算法。DES是一個分組加密算法,他以64位為分組對數(shù)據(jù)加密。同時DES也是一個對稱算法:加密和解密用的是同一個算法。它的密匙長度是56位(因為每個第8 位都用作奇偶校驗,密匙可以是任意的56位的數(shù),而且可以任意時候改變。其中有極少量的數(shù)被認(rèn)為是弱密匙,但是很容易避開他們。所以保密性依賴于密鑰。優(yōu)缺點:具有極高安全性,分組比較短,密鑰太短,密碼生命周期短,運算速

6、度較慢。(4決策樹學(xué)習(xí)算法決策樹算法是一種混合算法,它綜合了多種不同的創(chuàng)建樹的方法,并支持多個分析任務(wù),包括回歸、分類以及關(guān)聯(lián)。決策樹算法支持對離散屬性和連續(xù)屬性進行建模。優(yōu)缺點:決策樹算法高效快速且可伸縮,可輕松實現(xiàn)并行化,這意味著所有處理器均可協(xié)同工作,共同生成一個一致的模型。這些特征使決策樹分類器成為了理想的數(shù)據(jù)挖掘工具。在數(shù)據(jù)挖掘的各種方法中 ,決策樹歸納學(xué)習(xí)算法以其易于提取顯式規(guī)則、計算量相對較小、可以顯示重要的決策屬性和較高的分類準(zhǔn)確率等優(yōu)點而得到廣泛應(yīng)用。決策樹的這種易理解性對數(shù)據(jù)挖掘的使用者來說是一個顯著的優(yōu)點。然而決策樹的這種明確性可能帶來誤導(dǎo)。比如,決策樹每個節(jié)點對應(yīng)分割的

7、定義都是非常明確毫不含糊的,但在實際生活中這種明確可能帶來麻煩。對決策樹常見的批評是說其在為一個節(jié)點選擇怎樣進行分割時使用“貪心”算法。此種算法在決定當(dāng)前這個分割時根本不考慮此次選擇會對將來的分割造成什么樣的影響。(5C均值算法C均值算法是通過不斷調(diào)整聚類中心使得誤差平方和準(zhǔn)則函數(shù)取得極小值。優(yōu)缺點:能夠動態(tài)聚類,是一種無監(jiān)督學(xué)習(xí)算法,算法簡單,速度快,局部搜索能力強,能夠有效處理大型數(shù)據(jù)庫,與神經(jīng)網(wǎng)絡(luò)結(jié)合可極大地提高收斂性和精度。c-均值算法的一個主要問題是劃分類別數(shù)必須事先確定,這種主觀確定數(shù)據(jù)子集數(shù)目并不一定符合數(shù)據(jù)集自身的特點,所以對于隨機的初始值選取可能會導(dǎo)致不同的聚類結(jié)果,甚至存在

8、著無解的情況;在選取聚類中心點時采用隨機選取易使得迭代過程陷入局部最優(yōu)解,容易收斂于局部極小點;該算法對“噪音”和孤立點數(shù)據(jù)比較敏感,少量的該類數(shù)據(jù)能夠?qū)ζ骄诞a(chǎn)生極大的影響。(6遺傳算法遺傳算法(Genetic Algorithm是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型,是一種通過模擬自然進化過程搜索最優(yōu)解的方法。優(yōu)缺點:遺傳算法是一類可用于復(fù)雜系統(tǒng)優(yōu)化的具有魯棒性的搜索算法,與傳統(tǒng)的優(yōu)化算法相比,主要有以下特點: 1. 與問題領(lǐng)域無關(guān)切快速隨機的搜索能力。2. 搜索從群體出發(fā),具有潛在的并行性,可以進行多個個體的同時比較。3. 搜索使用評價函數(shù)啟發(fā),過程簡單。4. 使用概率

9、機制進行迭代,具有隨機性。5. 具有可擴展性,容易與其他算法結(jié)合。6. 直接以適應(yīng)度作為搜索信息,無需導(dǎo)數(shù)等其它輔助信息。7. 使用多個點的搜索信息,具有隱含并行性。8. 使用概率搜索技術(shù),而非確定性規(guī)則。也存在一些問題:1. 沒有能夠及時利用網(wǎng)絡(luò)的反饋信息,故算法的搜索速度比較慢,要得要較精確的解需要較多的訓(xùn)練時間。2. 算法對初始種群的選擇有一定的依賴性,能夠結(jié)合一些啟發(fā)算法進行改進。3. 算法的并行機制的潛在能力沒有得到充分的利用,這也是當(dāng)前遺傳算法的一個研究熱點方向。(7BP神經(jīng)網(wǎng)絡(luò)算法其學(xué)習(xí)過程由正向傳播和反向傳播組成。在正向傳播過程中,輸入信息從輸入層經(jīng)隱單元層逐層處理后,傳至輸出

10、層。如果輸出層得不到期望輸出,那么就轉(zhuǎn)為反向傳播,把誤差信號沿連接路徑返回,并通過修改各層神經(jīng)元的權(quán)值,使誤差信號最小。優(yōu)缺點:BP算法能夠通過學(xué)習(xí)帶正確答案的實例集自動提取“合理的”求解規(guī)則;具有一定的推廣能力;學(xué)習(xí)過程有被“固化”的潛在可能性;它能以任意精度逼近任意非線性函數(shù),而且具有良好的逼近性能,并且結(jié)構(gòu)簡單,是一種性能優(yōu)良的神經(jīng)網(wǎng)絡(luò)。但也存在一些問題,BP算法是按照均方誤差的梯度下降方向收斂的,但均方誤差的梯度曲線存在不少局部和全局最小點,這就使得神經(jīng)網(wǎng)絡(luò)易陷入局部最小;算法的收斂速度較慢,可能會浪費大量時間;神經(jīng)網(wǎng)絡(luò)隱層的結(jié)點個數(shù)難以確定合適的數(shù)值;如何選取合適的學(xué)習(xí)樣本解決網(wǎng)絡(luò)的

11、推廣(泛化問題,即使網(wǎng)絡(luò)能正確處理未學(xué)習(xí)過的輸入。(8Hopfield網(wǎng)絡(luò)算法Hopfield網(wǎng)絡(luò)算法作為典型的反饋神經(jīng)網(wǎng)絡(luò),有下列特有的優(yōu)點和缺點。1. 只有不動點吸引子,沒有其它類型的吸引子。Hopfield同的這個性質(zhì)被稱為全局穩(wěn)定性。2. 網(wǎng)絡(luò)狀態(tài)的演化趨于某個二次函數(shù)的局部最小點。3. 很難精確地分析Hopfield網(wǎng)的性能。4. 難于找到通用的學(xué)習(xí)算法。5. 這類阿絡(luò)的動力學(xué)行為過于筒單。5. Hopfield問只有不動點吸子,是一種消極被動的神經(jīng)網(wǎng)絡(luò)。試題3:簡述在模式識別與機器學(xué)習(xí)中解決問題的主要步驟。指出那些步驟涉及到學(xué)習(xí)?在數(shù)據(jù)的前處理中,特征選擇起什么作用?答: (1 在

12、模式識別與機器學(xué)習(xí)中解決問題的主要步驟:1. 問題描述:準(zhǔn)確分析研究目的,并對未來工作做出計劃。2. 數(shù)據(jù)選擇:數(shù)據(jù)選擇是根據(jù)用戶需求從數(shù)據(jù)庫中提取相關(guān)數(shù)據(jù)。3. 知識發(fā)現(xiàn)過程:歸納為3個步驟,即數(shù)據(jù)挖掘預(yù)處理、數(shù)據(jù)挖掘、數(shù)據(jù)挖掘后處理。數(shù)據(jù)預(yù)處理是對數(shù)據(jù)進行再加工,檢查數(shù)據(jù)的完整性及一致性,對其中的噪音數(shù)據(jù)進行處理。對丟失的數(shù)據(jù)利用統(tǒng)計方法進行填補,形成發(fā)掘數(shù)據(jù)庫。數(shù)據(jù)變換即從發(fā)掘數(shù)據(jù)庫里選擇數(shù)據(jù),變換的方法主要是利用聚類分析和判別分析。數(shù)據(jù)挖掘是根據(jù)用戶要求,確定知識發(fā)現(xiàn)的目標(biāo)是發(fā)現(xiàn)何種類型的知識。運用選定的知識發(fā)現(xiàn)算法。從數(shù)據(jù)庫中提取用戶所需要的知識。知識評價主要用于對所獲得的規(guī)則進行價

13、值評定,以決定所得到的規(guī)則是否存入基礎(chǔ)知識庫。4. 選擇或設(shè)計模型:對同一個問題或許有許多不同的模型可以描述,不同的模型會導(dǎo)致識別和學(xué)習(xí)結(jié)果的不同,因此需要利用已有的經(jīng)驗和知識來選擇或設(shè)計適當(dāng)?shù)哪Ｐ汀Ｔ诖_定了所建立的模型后,就可以估計模型的參數(shù),需要注意的時,應(yīng)該使得模型對未知數(shù)據(jù)有良好的適應(yīng)性。5. 訓(xùn)練所建立的模型:用前面所得的數(shù)據(jù)分成兩組,一組作為訓(xùn)練數(shù)據(jù),一組作為測試數(shù)據(jù)。設(shè)定目標(biāo)誤差,用訓(xùn)練數(shù)據(jù)對所建立的模型進行訓(xùn)練,達到目標(biāo)誤差,就停止訓(xùn)練,這樣就確定了所建立模型的參數(shù)。6. 測試、評估、驗證模型:測試模型的目的是為了確定所建立模型是否滿足實際應(yīng)用要求。測試數(shù)據(jù)應(yīng)該和訓(xùn)練用的樣本數(shù)

14、據(jù)不一致,否則,測試所得的結(jié)果永遠(yuǎn)都是滿意的。用測試數(shù)據(jù)對所建立模型進行測試,觀察測試結(jié)果是否與實際情況是相符合。若與實際情況相符合,所建立模型就可對未知數(shù)據(jù)做預(yù)測,從而得到進一步的驗證。(2在這些步驟中,步驟5涉及到學(xué)習(xí)。(3特征選取(也稱作屬性選擇是簡化數(shù)據(jù)表達形式,是在模式識別中根據(jù)一定的原則,選取反映被識別模式本質(zhì)的那些特征的方法或過程。模式識別和機器學(xué)習(xí)方法首先要解決的一個問題就是特征選擇。在數(shù)據(jù)的前處理中,特征選擇是一個非常重要的步驟,特征選擇不合理,會影響識別和學(xué)習(xí)效果。通過特征選擇和提取,我們才可得到所采集數(shù)據(jù)中最有效的信息,最有效的特征,選擇出有利于分類或聚類建立模型的變量,

15、從而實現(xiàn)特征空間維數(shù)的壓縮,以降低后續(xù)處理過程的難度,才能基于這些特征對所建立模型進行訓(xùn)練和測試。同時特征選取也是降低存儲要求,提高分類精度和效率的重要途徑。試題 4：在模式識別與機器學(xué)習(xí)的研究中，還不斷有人提出新的算法。請列舉一些 可以用來比較算法好壞的方法？ 答：算法是計算機科學(xué)中一個重要的研究方向，是解決復(fù)雜問題的關(guān)鍵。在計算機 世界中，算法無處不在。同一問題可用不同算法解決，而一個算法的質(zhì)量優(yōu)劣將影 響到算法乃至程序的效率?？梢杂脕肀容^算法好壞的方法有： 1. 正確性 一個算法是否正確的，是指對于一切合法的輸入數(shù)據(jù)，該算法經(jīng)過有限時間 （算法意義上的有限）的執(zhí)行是否都能產(chǎn)生正確（或者說

16、滿足規(guī)格說明要求）的結(jié) 果。 2. 時間復(fù)雜度和空間復(fù)雜度 一個算法的時間復(fù)雜性是指該算法的基本運算次數(shù)，記作 T(n=O(f(n。時間 復(fù)雜度不斷增大，算法的執(zhí)行效率越低?？臻g復(fù)雜度是指算法在計算機內(nèi)執(zhí)行時所 需存儲空間的度量。記作 S(n=O(f(n 。存儲空間越大，算法效率也越低。 3. 占用空間 算法執(zhí)行需要存儲空間來存放算法本身包含的語句、常數(shù)、變量、輸入數(shù)據(jù)和 實現(xiàn)其運算所需的數(shù)據(jù)（如中間結(jié)果等），此外還需要一些工作空間用來對（以某 種方式存儲的）數(shù)據(jù)進行操作。 4. 可讀性 可讀性好的算法有助于設(shè)計者和他人閱讀、理解、修改和重用。與此相反，晦 澀難懂的算法不但容易隱藏較多的錯誤，

17、而且增加了人們在閱讀、理解、調(diào)試、修 改和重用算法等方面的困難。 5. 堅固性 當(dāng)輸入數(shù)據(jù)非法時，算法能適當(dāng)?shù)刈鞒龊线m的反應(yīng)。 試題 5：在你所知道的模式識別與機器學(xué)習(xí)算法中，那些方法較合適用來解決純數(shù) 值型數(shù)據(jù)的問題，那些方法較適合用來解決包含大量非數(shù)值數(shù)據(jù)的問題。 答：（1）解決純數(shù)值型數(shù)據(jù)問題的方法：貝葉斯決策法、神經(jīng)網(wǎng)絡(luò)算法等。貝葉 斯決策法是基于概率統(tǒng)計的基本的判別函數(shù)分類法。只要知道先驗概率和條件概率 就可以對樣本進行判斷，由于數(shù)據(jù)是純數(shù)值型數(shù)據(jù)，數(shù)據(jù)簡單，樣本間的空間距離 易計算，且先驗概率和條件概率易求得。神經(jīng)網(wǎng)絡(luò)只能處理數(shù)值型數(shù)據(jù)。建立神經(jīng) 網(wǎng)絡(luò)需要做的數(shù)據(jù)準(zhǔn)備工作量很大。

18、要想得到準(zhǔn)確度高的模型必須認(rèn)真的進行數(shù) 據(jù)清洗、整理、轉(zhuǎn)換、選擇等工作。對任何數(shù)據(jù)挖掘技術(shù)都是這樣，神經(jīng)網(wǎng)絡(luò)尤其 注重這一點。比如神經(jīng)網(wǎng)絡(luò)要求所有的輸入變量都必須是 01(或-1+1之間的 實數(shù)，因此像“地區(qū)”之類文本數(shù)據(jù)必須先做必要的處理變成數(shù)值之后才能用作神 經(jīng)網(wǎng)絡(luò)的輸入。 （2）對于非數(shù)值型數(shù)據(jù)可用方法：決策樹、遺傳算法等。決策樹很擅長處理非數(shù) 值型數(shù)據(jù)， 決策樹的分類方法是從實例集中構(gòu)造決策樹，是一種有指導(dǎo)的學(xué)習(xí)方 法。其算法的特點是通過將大量數(shù)據(jù)有目的分類，從中找到一些有價值的，潛在的 信息，特別適合大規(guī)模的數(shù)據(jù)處理。遺傳算法特點從解集合進行搜索，利于全局擇 優(yōu)。該算法具有收斂性，通

19、過選擇、交叉、變異操作，能迅速排除與最優(yōu)解相差極 大的串。是非數(shù)值并行算法之一，解決了非數(shù)值數(shù)據(jù)及大量數(shù)據(jù)帶來的計算量和存 儲量的問題。 試題 6：模式識別與機器學(xué)習(xí)最難解決的問題是什么？并說明理由。 答：我覺得模式識別與機器學(xué)習(xí)中最難解決的問題是： （1）學(xué)習(xí)速率的確定。提出設(shè)計者應(yīng)該從具體系統(tǒng)中獲得的數(shù)據(jù)確定算法學(xué)習(xí)速 率的上、下界數(shù)值，并選取最優(yōu)學(xué)習(xí)速率。 （2）在處理具體的問題時，合適算法的選擇。 在算法選擇中沒有天生優(yōu)越的模 式。識別與機器學(xué)習(xí)算法，各自算法的都有其對應(yīng)的應(yīng)用范圍及應(yīng)用中應(yīng)注意的問 題，只有充分了解不同模式識別算法，深入分析算法的使用條件，才能做到最佳選 擇。但目前算

20、法很多，沒有深入的話容易被遺忘，深入的話花得時間多，且在很多 實際問題當(dāng)中，常常不容易找到那些最重要的特征，或者受條件限制不能對它們進 行測量，這使得特征選擇和提取的任務(wù)復(fù)雜化，從而成為構(gòu)造模式識別系統(tǒng)，提高 決策精度的最困難的任務(wù)之一。 （3）相應(yīng)的參數(shù)的選擇。如何確定變量值，這是一個很關(guān)鍵的問題，但至今還沒 有快速而有效的規(guī)則，有的只是一些原則性的指導(dǎo)。而且選擇參數(shù)值最終還應(yīng)歸結(jié) 為每個用戶對算法的體驗，用戶只能通過自己的編程實踐，用各種不同的參數(shù)值進 行調(diào)試，看結(jié)果會發(fā)生什么，并從中選取適合的值。 試題 7：請例舉一些你認(rèn)為應(yīng)用得較好的算法及應(yīng)用實例。 答： 我認(rèn)為應(yīng)用較好的算法如下：

21、（1）遺傳算法 由于遺傳算法的整體搜索策略和優(yōu)化搜索方法在計算是不依賴于梯度信息或其 它輔助知識，而只需要影響搜索方向的目標(biāo)函數(shù)和相應(yīng)的適應(yīng)度函數(shù)，所以遺傳算 法提供了一種求解復(fù)雜系統(tǒng)問題的通用框架，它不依賴于問題的具體領(lǐng)域，對問題 的種類有很強的魯棒性，所以廣泛應(yīng)用于許多科學(xué)。 1、 函數(shù)優(yōu)化 函數(shù)優(yōu)化是遺傳算法的經(jīng)典應(yīng)用領(lǐng)域，也是遺傳算法進行性能評價的常用算 例，許多人構(gòu)造出了各種各樣復(fù)雜形式的測試函數(shù)：連續(xù)函數(shù)和離散函數(shù)、凸函數(shù) 和凹函數(shù)、低維函數(shù)和高維函數(shù)、單峰函數(shù)和多峰函數(shù)等。對于一些非線性、多模 型、多目標(biāo)的函數(shù)優(yōu)化問題，用其它優(yōu)化方法較難求解，而遺傳算法可以方便的得 到較好的結(jié)果。 2、 組合優(yōu)化 隨著問題規(guī)模的增大，組合優(yōu)化問題的搜索空間也急劇增大，有時在目前的計 算上用枚舉法很難求出最優(yōu)解。對這類復(fù)雜的問題，人們已經(jīng)意識到應(yīng)把主要精力 放在尋求滿意解上，而遺傳算法是尋求這種滿意解的最佳工具之一。實踐證明，遺 傳算法對于組合優(yōu)化中的 NP 問題非常有效。例如遺傳算法已經(jīng)在求解旅行商問 題、 背包問題、裝箱問題、圖形劃分問題等方面得到成功的應(yīng)用。 此外，GA 也在生產(chǎn)調(diào)度問題、自動控制、機器人學(xué)、圖象處理、人工生命、 遺傳編碼和機器學(xué)習(xí)等方面獲得了廣泛的運用。 （2）BP 神經(jīng)網(wǎng)絡(luò)算法 BP 神經(jīng)網(wǎng)絡(luò)模型有輸入層、隱含層、輸出層三個層