機(jī)器學(xué)習(xí)入門介紹演示文稿

機(jī)器學(xué)習(xí)入門介紹演示文稿當(dāng)前第1頁\共有79頁\編于星期五\2點(diǎn)機(jī)器學(xué)習(xí)入門介紹當(dāng)前第2頁\共有79頁\編于星期五\2點(diǎn)3第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望7.1機(jī)器學(xué)習(xí)的基本概念當(dāng)前第3頁\共有79頁\編于星期五\2點(diǎn)47.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類當(dāng)前第4頁\共有79頁\編于星期五\2點(diǎn)5

7.1.1學(xué)習(xí)（1）學(xué)習(xí)是系統(tǒng)改進(jìn)其性能的過程：西蒙，1980。（2）學(xué)習(xí)是獲取知識的過程。（3）學(xué)習(xí)是技能的獲取。（4）學(xué)習(xí)是事物規(guī)律的發(fā)現(xiàn)過程。

學(xué)習(xí)：一個(gè)有特定目的的知識獲取過程。

內(nèi)在行為：獲取知識、積累經(jīng)驗(yàn)、發(fā)現(xiàn)規(guī)律。

外部表現(xiàn)：改進(jìn)性能、適應(yīng)環(huán)境、實(shí)現(xiàn)系統(tǒng)的自我完善?！皩W(xué)習(xí)是系統(tǒng)中的任何改進(jìn)，這種改進(jìn)使得系統(tǒng)在重復(fù)同樣的工作或進(jìn)行類似的工作時(shí)，能完成得更好?！崩纭靶『W(xué)走路”、“學(xué)彈鋼琴”等。學(xué)習(xí)：從感性知識到理性知識的認(rèn)識過程，從表層知識到深層知識的轉(zhuǎn)換過程。當(dāng)前第5頁\共有79頁\編于星期五\2點(diǎn)67.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類當(dāng)前第6頁\共有79頁\編于星期五\2點(diǎn)7

機(jī)器學(xué)習(xí)(MachineLearning)：計(jì)算機(jī)能模擬人的學(xué)習(xí)行為，自動地通過學(xué)習(xí)獲取知識和技能，不斷改善性能，實(shí)現(xiàn)自我完善。

7.1.2機(jī)器學(xué)習(xí)1）學(xué)習(xí)機(jī)理:對學(xué)習(xí)機(jī)制的研究，即人類獲取知識、技能和抽象概念的天賦能力。2）學(xué)習(xí)方法：在生物學(xué)習(xí)機(jī)理進(jìn)行簡化的基礎(chǔ)上，用計(jì)算的方法進(jìn)行再現(xiàn)。3）學(xué)習(xí)系統(tǒng)：根據(jù)特定任務(wù)的要求，建立相應(yīng)的學(xué)習(xí)系統(tǒng)。當(dāng)前第7頁\共有79頁\編于星期五\2點(diǎn)87.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類當(dāng)前第8頁\共有79頁\編于星期五\2點(diǎn)9

機(jī)器學(xué)習(xí)系統(tǒng)的定義

學(xué)習(xí)系統(tǒng)：能夠在一定程度上實(shí)現(xiàn)機(jī)器學(xué)習(xí)的系統(tǒng)。薩利斯(Saris)的定義（1973年）：能夠從某個(gè)過程或環(huán)境的未知特征中學(xué)到有關(guān)信息，并且能把學(xué)到的信息用于未來的估計(jì)、分類、決策或控制，以便改進(jìn)系統(tǒng)的性能。施密斯等的定義（1977年）：在與環(huán)境相互作用時(shí)，能利用過去與環(huán)境作用時(shí)得到的信息，并提高其性能。7.1機(jī)器學(xué)習(xí)的基本概念7.1.3機(jī)器學(xué)習(xí)系統(tǒng)當(dāng)前第9頁\共有79頁\編于星期五\2點(diǎn)102.機(jī)器學(xué)習(xí)系統(tǒng)的條件和能力（1）具有適當(dāng)?shù)膶W(xué)習(xí)環(huán)境（2）具有一定的學(xué)習(xí)能力（3）能應(yīng)用學(xué)到的知識求解問題（4）能提高系統(tǒng)的性能7.1.3機(jī)器學(xué)習(xí)系統(tǒng)當(dāng)前第10頁\共有79頁\編于星期五\2點(diǎn)113.機(jī)器學(xué)習(xí)系統(tǒng)的基本模型7.1.3機(jī)器學(xué)習(xí)系統(tǒng)執(zhí)行與評價(jià)環(huán)境學(xué)習(xí)知識庫

學(xué)習(xí)系統(tǒng)的基本結(jié)構(gòu)當(dāng)前第11頁\共有79頁\編于星期五\2點(diǎn)127.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類當(dāng)前第12頁\共有79頁\編于星期五\2點(diǎn)137.1.4機(jī)器學(xué)習(xí)的發(fā)展

神經(jīng)元模型的研究（20世紀(jì)50年代中期）主要研究工作：應(yīng)用決策理論的方法研制可適應(yīng)環(huán)境的通用學(xué)習(xí)系統(tǒng)（generalpurposelearningsystem）。

1957年，羅森勃拉特（F.Rosenblatt）提出感知器模型。塞繆爾（Samuel）的跳棋程序：分析了約175000副不同棋局后，歸納出了棋類書上推薦的走法，準(zhǔn)確率達(dá)到48％。

1969年，明斯基和佩珀特（Papert）發(fā)表了論著《Perceptron》，對神經(jīng)元模型的研究作出了悲觀的論斷。

當(dāng)前第13頁\共有79頁\編于星期五\2點(diǎn)147.1.4機(jī)器學(xué)習(xí)的發(fā)展2.符號學(xué)習(xí)的研究（20世紀(jì)70年代中期）符號概念獲取的學(xué)習(xí)方法（1970年）：模擬人類的概念學(xué)習(xí)過程，通過分析一些概念的正例和反例構(gòu)造出這些概念的符號表示。莫斯托夫（D.J.Mostow）的指導(dǎo)式學(xué)習(xí)。溫斯頓（Winston）和卡鮑尼爾（J.G.Carbonell）的類比學(xué)習(xí)。米切爾（T.M.Mitchell）等人的解釋學(xué)習(xí)。當(dāng)前第14頁\共有79頁\編于星期五\2點(diǎn)157.1.4機(jī)器學(xué)習(xí)的發(fā)展3.連接學(xué)習(xí)的研究（20世紀(jì)80年代）連接學(xué)習(xí)：一種以非線性大規(guī)模并行處理為主流的神經(jīng)網(wǎng)絡(luò)研究。

1980年，在卡內(nèi)基－梅隆大學(xué)召開了第一屆機(jī)器學(xué)習(xí)國際研討會。

1986年，創(chuàng)刊了第一本機(jī)器學(xué)習(xí)雜志《MachineLearning》。

當(dāng)前第15頁\共有79頁\編于星期五\2點(diǎn)167.1機(jī)器學(xué)習(xí)的基本概念7.1.1學(xué)習(xí)7.1.2機(jī)器學(xué)習(xí)7.1.3機(jī)器學(xué)習(xí)系統(tǒng)7.1.4機(jī)器學(xué)習(xí)的發(fā)展7.1.5機(jī)器學(xué)習(xí)的分類當(dāng)前第16頁\共有79頁\編于星期五\2點(diǎn)177.1.5機(jī)器學(xué)習(xí)的分類1.按學(xué)習(xí)方法分類（溫斯頓，1977

）：機(jī)械式學(xué)習(xí)、指導(dǎo)式學(xué)習(xí)、示例學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等。2.按學(xué)習(xí)能力分類：監(jiān)督學(xué)習(xí)（有教師學(xué)習(xí)）當(dāng)前第17頁\共有79頁\編于星期五\2點(diǎn)187.1.5機(jī)器學(xué)習(xí)的分類

按學(xué)習(xí)能力分類：再勵學(xué)習(xí)（強(qiáng)化學(xué)習(xí)或增強(qiáng)學(xué)習(xí)）當(dāng)前第18頁\共有79頁\編于星期五\2點(diǎn)197.1.5機(jī)器學(xué)習(xí)的分類按學(xué)習(xí)能力分類：非監(jiān)督學(xué)習(xí)（無教師學(xué)習(xí)）3.按推理方式分類：基于演繹的學(xué)習(xí)（解釋學(xué)習(xí)）?；跉w納的學(xué)習(xí)（示例學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)等）。4.按綜合屬性分類：歸納學(xué)習(xí)、分析學(xué)習(xí)、連接學(xué)習(xí)、遺傳式學(xué)習(xí)等。當(dāng)前第19頁\共有79頁\編于星期五\2點(diǎn)20第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望當(dāng)前第20頁\共有79頁\編于星期五\2點(diǎn)217.2機(jī)械式學(xué)習(xí)

機(jī)械式學(xué)習(xí)（rotelearning）又稱記憶學(xué)習(xí)，或死記式學(xué)習(xí)：通過直接記憶或者存儲外部環(huán)境所提供的信息達(dá)到學(xué)習(xí)的目的，并在以后通過對知識庫的檢索得到相應(yīng)的知識直接用來求解問題。

機(jī)械式學(xué)習(xí)實(shí)質(zhì)是用存儲空間來換取處理時(shí)間。當(dāng)前第21頁\共有79頁\編于星期五\2點(diǎn)227.2機(jī)械式學(xué)習(xí)

在給定搜索深度下用估價(jià)函數(shù)對格局進(jìn)行評分，通過倒推計(jì)算求出上層節(jié)點(diǎn)的倒推值，決定當(dāng)前的最佳走步。下次遇到相同情況，直接利用倒推值決定最佳走步，不需重新計(jì)算。塞繆爾的跳棋程序CHECKERS

以A為結(jié)點(diǎn)的博弈樹QA6A

博弈搜索樹2B6C24869123438656496當(dāng)前第22頁\共有79頁\編于星期五\2點(diǎn)23第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望當(dāng)前第23頁\共有79頁\編于星期五\2點(diǎn)247.3指導(dǎo)式學(xué)習(xí)

指導(dǎo)式學(xué)習(xí)（learningbybeingtold）又稱囑咐式學(xué)習(xí)或教授式學(xué)習(xí)：由外部環(huán)境向系統(tǒng)提供一般性的指示或建議，系統(tǒng)把它們具體地轉(zhuǎn)化為細(xì)節(jié)知識并送入知識庫中。在學(xué)習(xí)過程中要反復(fù)對形成的知識進(jìn)行評價(jià)，使其不斷完善。指導(dǎo)式學(xué)習(xí)的學(xué)習(xí)過程：征詢指導(dǎo)者的指示或建議、把征詢意見轉(zhuǎn)換為可執(zhí)行的內(nèi)部形式、加入知識庫、評價(jià)。

當(dāng)前第24頁\共有79頁\編于星期五\2點(diǎn)257.3指導(dǎo)式學(xué)習(xí)

簡單征詢：指導(dǎo)者給出一般性的意見，系統(tǒng)將其具體化。復(fù)雜征詢：系統(tǒng)不僅要求指導(dǎo)者給出一般性的建議，而且還要具體地鑒別知識庫中可能存在的問題，并給出修改意見。被動征詢：系統(tǒng)只是被動地等待指導(dǎo)者提供意見。主動征詢：系統(tǒng)不只是被動地接受指示，而且還能主動地提出詢問，把指導(dǎo)者的注意力集中在特定的問題上。1.征詢指導(dǎo)者的指示或建議

當(dāng)前第25頁\共有79頁\編于星期五\2點(diǎn)267.3指導(dǎo)式學(xué)習(xí)

學(xué)習(xí)系統(tǒng)應(yīng)具有把用約定形式表示的征詢意見轉(zhuǎn)化為計(jì)算機(jī)內(nèi)部可執(zhí)行形式的能力，并且能在轉(zhuǎn)化過程中進(jìn)行語法檢查及適當(dāng)?shù)恼Z義分析。2.把征詢意見轉(zhuǎn)換為可執(zhí)行的內(nèi)部形式

在加入過程中要對知識進(jìn)行一致性檢查，以防止出現(xiàn)矛盾、冗余、環(huán)路等問題。3.加入知識庫

評價(jià)方法：對新知識進(jìn)行經(jīng)驗(yàn)測試，即執(zhí)行一些標(biāo)準(zhǔn)例子，然后檢查執(zhí)行情況是否與已知情況一致。

4.評價(jià)當(dāng)前第26頁\共有79頁\編于星期五\2點(diǎn)27第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望當(dāng)前第27頁\共有79頁\編于星期五\2點(diǎn)287.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)當(dāng)前第28頁\共有79頁\編于星期五\2點(diǎn)297.4.1歸納推理歸納推理：應(yīng)用歸納方法所進(jìn)行的推理，即從足夠多的事例中歸納出一般性的知識。它是一種從個(gè)別到一般、從部分到整體的推理。歸納推理的重要特征：歸納出的結(jié)論不能絕對保證它的正確性，只能以某種程度相信它為真。

例如，由“麻雀會飛”、“鴿子會飛”、“燕子會飛”……歸納出“有翅膀的動物會飛”、“長羽毛的動物會飛”等結(jié)論。

當(dāng)前第29頁\共有79頁\編于星期五\2點(diǎn)30

從個(gè)別事例歸納出一般性知識的方法：設(shè)：某類事物A中的具體事物。已知都有屬性P，并且沒有發(fā)現(xiàn)反例。當(dāng)n足夠大時(shí)，可得出：“A中所有事物都有屬性P”。

7.4.1歸納推理1.枚舉歸納

當(dāng)前第30頁\共有79頁\編于星期五\2點(diǎn)31

例如，設(shè)有如下已知事例：張三是足球運(yùn)動員，他的體格健壯。李四是足球運(yùn)動員，他的體格健壯。

…………

劉六是足球運(yùn)動員，他的體格健壯。

事例足夠多時(shí)，可歸納出一般性知識：凡是足球運(yùn)動員，他的體格一定健壯。7.4.1歸納推理1.枚舉歸納

(0.9)當(dāng)前第31頁\共有79頁\編于星期五\2點(diǎn)32

已知兩個(gè)事物a與b有n個(gè)屬性相似或相同，即：

a具有屬性P1，b也具有屬性P1。

a具有屬性P2，b也具有屬性P2。

…………

a具有屬性Pn，b也具有屬性Pn。且a具有屬性Pn+1

，則當(dāng)n足夠大時(shí)，可歸納出

b也具有屬性Pn+1。

7.4.1歸納推理2.聯(lián)想歸納當(dāng)前第32頁\共有79頁\編于星期五\2點(diǎn)33

設(shè)：且則當(dāng)A與B中有新元素出現(xiàn)時(shí)（設(shè)A中的a’及B中的b’

），若已知a’

有屬性，就可得出b’

有屬性，即7.4.1歸納推理3.類比歸納當(dāng)前第33頁\共有79頁\編于星期五\2點(diǎn)34

一般模式：（1）若H

為真時(shí)，則H→E必為真或以置信度cf1成立。（2）觀察到E成立或以置信度cf2成立。（3）則H以某種置信度(cf)成立。7.4.1歸納推理4.逆推理歸納：由結(jié)論成立推出前提以某種置信度成立。

用公式表示：當(dāng)前第34頁\共有79頁\編于星期五\2點(diǎn)35

則H的置信度：7.4.1歸納推理4.逆推理歸納（續(xù)）E→H的置信度cf1’=P(H/E)H→E的置信度cf1=P(E/H)HE?1cf’E2cfHcf當(dāng)前第35頁\共有79頁\編于星期五\2點(diǎn)367.4.1歸納推理5.消除歸納

消除歸納：通過不斷否定原先的假設(shè)來得出結(jié)論。已知：結(jié)論：當(dāng)前第36頁\共有79頁\編于星期五\2點(diǎn)377.4.1歸納推理演繹推理歸納推理

一般→個(gè)別

個(gè)別→一般

必然性推理

或然性推理（“主觀不充分置信”的推理）

結(jié)論不會超出前提所斷定的范圍；不能獲取新知識。

結(jié)論適用于更大的范圍；可獲取新知識。

演繹推理與歸納推理的區(qū)別當(dāng)前第37頁\共有79頁\編于星期五\2點(diǎn)387.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)當(dāng)前第38頁\共有79頁\編于星期五\2點(diǎn)397.4.2示例學(xué)習(xí)

示例學(xué)習(xí)（learningfromexamples，實(shí)例學(xué)習(xí)或從例子中學(xué)習(xí)）：通過從環(huán)境中取得若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法。示例學(xué)習(xí)中，外部環(huán)境（教師）提供一組例子（正例和反例），然后從這些特殊知識中歸納出適用于更大范圍的一般性知識，它將覆蓋所有的正例并排除所有反例。

當(dāng)前第39頁\共有79頁\編于星期五\2點(diǎn)407.4.2示例學(xué)習(xí)1.示例學(xué)習(xí)的學(xué)習(xí)模型

示例空間驗(yàn)證搜索解釋形成知識知識庫

圖7.7示例學(xué)習(xí)的學(xué)習(xí)模型當(dāng)前第40頁\共有79頁\編于星期五\2點(diǎn)417.4.2示例學(xué)習(xí)2.形成知識的方法（1）變量代換常量

例如，假設(shè)有兩個(gè)關(guān)于撲克牌“同花”概念的示例。示例1：示例2：

可得到一條一般性的知識：規(guī)則1：當(dāng)前第41頁\共有79頁\編于星期五\2點(diǎn)427.4.2示例學(xué)習(xí)2.形成知識的方法（2）舍棄條件

例如示例：

可得到一條一般性的知識：規(guī)則1：花色(c1,黑桃)∧點(diǎn)數(shù)（c1,7）∧花色(c2,黑桃)∧點(diǎn)數(shù)（c2,3）∧花色(c3,黑桃)∧點(diǎn)數(shù)（c3,10）∧花色(c4,黑桃)∧點(diǎn)數(shù)（c4,5）→同花(c1,c2,c3,c4)當(dāng)前第42頁\共有79頁\編于星期五\2點(diǎn)437.4.2示例學(xué)習(xí)2.形成知識的方法（3）增加操作

前件析取法例如關(guān)于“臉牌”示例：

得到知識：當(dāng)前第43頁\共有79頁\編于星期五\2點(diǎn)447.4.2示例學(xué)習(xí)2.形成知識的方法（3）增加操作

內(nèi)部析取法：在示例的表示中使用集合與集合間的成員關(guān)系來形成知識。例如示例：

得到知識：當(dāng)前第44頁\共有79頁\編于星期五\2點(diǎn)457.4.2示例學(xué)習(xí)2.形成知識的方法（4）合取變析取

例如：“男同學(xué)與女同學(xué)可以組成一個(gè)班”。歸納：“男同學(xué)或女同學(xué)可以組成一個(gè)班”。

（5）歸結(jié)歸納

例如：得到：

示例1：某天下雨，且自行車在路上出了毛病需修理，所以他上班遲到。示例2：某天沒下雨，但交通阻塞，所以他上班遲到。得到：如果自行車在路上出了毛病需修理，或者交通阻塞，則他有可能上班遲到。當(dāng)前第45頁\共有79頁\編于星期五\2點(diǎn)467.4.2示例學(xué)習(xí)2.形成知識的方法（6）曲線擬合

設(shè)在示例空間提供了一批如下形式的示例：(x,y,z)

示例1：(1,0,10)

示例2：(2,1,18)

示例3：(-1,-2,-6)應(yīng)用曲線擬合法（例如最小二乘法）得到：z=2x+6y+8當(dāng)前第46頁\共有79頁\編于星期五\2點(diǎn)477.4歸納學(xué)習(xí)7.4.1歸納推理7.4.2示例學(xué)習(xí)7.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)當(dāng)前第47頁\共有79頁\編于星期五\2點(diǎn)487.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)觀察與發(fā)現(xiàn)學(xué)習(xí)（learningfromobservinganddiscovery）:觀察學(xué)習(xí)：用于對事例進(jìn)行概念聚類，形成概念描述。發(fā)現(xiàn)學(xué)習(xí)：用于發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則。當(dāng)前第48頁\共有79頁\編于星期五\2點(diǎn)497.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)1.概念聚類(1980年,米卡爾斯基（R.S.Michalski))

基本思想:把事例按一定的方式和準(zhǔn)則進(jìn)行分組，如劃分為不同的類，不同的層次等，使不同的組代表不同的概念，并且對每一個(gè)組進(jìn)行特征概括，得到一個(gè)概念的語義符號描述。

當(dāng)前第49頁\共有79頁\編于星期五\2點(diǎn)507.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)1.概念聚類

例如事例：喜鵲、麻雀、布谷鳥、烏鴉、雞、鴨、鵝，…

分為兩類：鳥={喜鵲，麻雀，布谷鳥，烏鴉，…}

家禽

={雞、鴨、鵝，…}

得知：“鳥有羽毛、有翅膀、會飛、會叫、野生”?！凹仪萦杏鹈⒂谐岚?、會飛、會叫、家養(yǎng)”。當(dāng)前第50頁\共有79頁\編于星期五\2點(diǎn)517.4.3觀察與發(fā)現(xiàn)學(xué)習(xí)2.發(fā)現(xiàn)學(xué)習(xí)

發(fā)現(xiàn)學(xué)習(xí):從系統(tǒng)的初始知識、觀察事例或經(jīng)驗(yàn)數(shù)據(jù)中歸納出規(guī)律或規(guī)則。——無教師指導(dǎo)的歸納學(xué)習(xí)

經(jīng)驗(yàn)發(fā)現(xiàn):從經(jīng)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和定律。

知識發(fā)現(xiàn):指從已觀察的事例中發(fā)現(xiàn)新的知識。當(dāng)前第51頁\共有79頁\編于星期五\2點(diǎn)52第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望當(dāng)前第52頁\共有79頁\編于星期五\2點(diǎn)537.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)類比學(xué)習(xí)(learningbyanalogy)：通過對相似事物進(jìn)行比較所進(jìn)行的一種學(xué)習(xí)。當(dāng)前第53頁\共有79頁\編于星期五\2點(diǎn)547.5.1類比推理

類比推理：由新情況與記憶中的已知情況在某些方面相似，從而推出它們在其他相關(guān)方面也相似。

源域S：已經(jīng)認(rèn)識的域，包括過去曾經(jīng)解決過且與當(dāng)前問題類似的問題以及相關(guān)知識；目標(biāo)域T：當(dāng)前尚未完全認(rèn)識的域，是遇到的新問題。類比推理的目的：從源域S中選出與當(dāng)前問題最近似的問題及其求解方法來求解當(dāng)前的問題，或者建立起目標(biāo)域T中已有命題間的聯(lián)系，形成新知識。當(dāng)前第54頁\共有79頁\編于星期五\2點(diǎn)557.5.1類比推理類比推理的推理過程：

1）回憶與聯(lián)想：在S中找出與當(dāng)前情況相似的情況，并按相似度從高到低進(jìn)行排序。

2）選擇：選出與當(dāng)前情況最相似的情況及其有關(guān)知識。

3）建立對應(yīng)關(guān)系：在S與T的相似情況之間建立相應(yīng)的映射。

4）轉(zhuǎn)換：把S中的有關(guān)知識引到T中，建立起求解當(dāng)前問題的方法或者學(xué)習(xí)到關(guān)于T的新知識。

設(shè)S1與T1分別表示S與T

中的某一情況，且S1與T1相似，再假設(shè)S2與

S1相關(guān)，則由類比推理可推出T

中的T2

，且T2與

S2相似。當(dāng)前第55頁\共有79頁\編于星期五\2點(diǎn)567.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)當(dāng)前第56頁\共有79頁\編于星期五\2點(diǎn)577.5.2屬性類比學(xué)習(xí)

屬性類比學(xué)習(xí):根據(jù)兩個(gè)相似事物的屬性實(shí)現(xiàn)類比學(xué)習(xí)的。屬性類比學(xué)習(xí)系統(tǒng)（1979年，溫斯頓）：源域和目標(biāo)域都是用框架表示的，分別稱為源框架和目標(biāo)框架?？蚣艿牟塾糜诒硎臼挛锏膶傩浴W(xué)習(xí)過程:把源框架中的某些槽值傳遞到目標(biāo)框架的相應(yīng)槽中去。

當(dāng)前第57頁\共有79頁\編于星期五\2點(diǎn)587.5.2屬性類比學(xué)習(xí)候選槽：其槽值有可能要傳遞給目標(biāo)框架的那些槽。選擇的方法：（1）選擇具有極端槽值的槽，例如“很大”、“很小”……（2）選擇已經(jīng)被確認(rèn)為“重要槽”的槽（3）選擇與源框架相似的框架中不具有的槽（4）選擇相似框架中不具有這種槽值的槽（5）選擇源框架中的所有槽1.

從源框架中選擇若干槽作為候選槽

當(dāng)前第58頁\共有79頁\編于星期五\2點(diǎn)597.5.2屬性類比學(xué)習(xí)篩選規(guī)則：（1）選擇在目標(biāo)框架中還未填值的槽。（2）選擇在目標(biāo)框架中為典型事例的槽。（3）選擇與目標(biāo)框架有緊密關(guān)系的槽，或者與目標(biāo)框架的槽類似的槽。2.根據(jù)目標(biāo)框架對候選槽進(jìn)行篩選當(dāng)前第59頁\共有79頁\編于星期五\2點(diǎn)607.5類比學(xué)習(xí)7.5.1類比推理7.5.2屬性類比學(xué)習(xí)7.5.3轉(zhuǎn)換類比學(xué)習(xí)當(dāng)前第60頁\共有79頁\編于星期五\2點(diǎn)617.5.3轉(zhuǎn)換類比學(xué)習(xí)

在狀態(tài)空間表示法的知識表示中，“狀態(tài)”：描述問題在不同時(shí)刻的狀況；“算符”：描述改變狀態(tài)的操作。當(dāng)問題由初始狀態(tài)變換到目標(biāo)狀態(tài)時(shí)，所用算符的序列就構(gòu)成了問題的一個(gè)解。

如何使問題由初始狀態(tài)變換到目標(biāo)狀態(tài)呢？

“手段－目標(biāo)分析”法（means-endanalysis，MEA），又稱為“中間－結(jié)局分析”法：紐厄爾等人在通用問題求解程序GPS（generalproblemsolver）中提出的一種問題求解模型。

當(dāng)前第61頁\共有79頁\編于星期五\2點(diǎn)627.5.3轉(zhuǎn)換類比學(xué)習(xí)

“手段－目標(biāo)分析”法（MEA）求解問題的基本過程：（1）把問題的當(dāng)前狀態(tài)與目標(biāo)狀態(tài)進(jìn)行比較，找出差異。（2）根據(jù)差異找出一個(gè)可減小差異的算符。（3）如果該算符可作用于當(dāng)前狀態(tài)，則用該算符把當(dāng)前狀態(tài)改變?yōu)榱硪粋€(gè)更接近于目標(biāo)狀態(tài)的狀態(tài)；如果不能，則保留當(dāng)前狀態(tài)，并生成一個(gè)子問題，再對此子問題應(yīng)用MEA。（4）當(dāng)子問題被求解后，恢復(fù)保留的狀態(tài)，繼續(xù)處理原問題。當(dāng)前第62頁\共有79頁\編于星期五\2點(diǎn)637.5.3轉(zhuǎn)換類比學(xué)習(xí)

回憶過程：找出新、舊問題間的差別，包括：（1）初始狀態(tài)的差別。（2）目標(biāo)狀態(tài)的差別。（3）路徑約束的差別。（4）求解方法可應(yīng)用度的差別。

轉(zhuǎn)換過程：把舊問題的求解方法經(jīng)適當(dāng)變換使之成為求解新問題的方法，變換中用MEA來減小目標(biāo)狀態(tài)與初始狀態(tài)之間的差異，使初始狀態(tài)逐步過渡到目標(biāo)狀態(tài)，即求出問題的解。

轉(zhuǎn)換類比學(xué)習(xí)：由外部環(huán)境獲得與類比有關(guān)的信息，學(xué)習(xí)系統(tǒng)找出與新問題相似的舊問題的有關(guān)知識，把這些知識進(jìn)行轉(zhuǎn)換使之適用于新問題，從而獲得新的知識。當(dāng)前第63頁\共有79頁\編于星期五\2點(diǎn)64第7章機(jī)器學(xué)習(xí)7.1機(jī)器學(xué)習(xí)的基本概念7.2機(jī)械式學(xué)習(xí)7.3指導(dǎo)式學(xué)習(xí)7.4歸納學(xué)習(xí)7.5類比學(xué)習(xí)7.6基于解釋的學(xué)習(xí)7.7學(xué)習(xí)方法的比較與展望當(dāng)前第64頁\共有79頁\編于星期五\2點(diǎn)657.6解釋學(xué)習(xí)

解釋學(xué)習(xí)（explanation-basedlearning）：由美國Illinois大學(xué)的Dejong于1983年提出，屬于分析學(xué)習(xí)，本質(zhì)為演繹學(xué)習(xí)方法。它是通過運(yùn)用相關(guān)的領(lǐng)域知識，對當(dāng)前提供的單個(gè)實(shí)例的問題求解進(jìn)行分析，從而構(gòu)造解釋并產(chǎn)生相應(yīng)知識的。解釋學(xué)習(xí)系統(tǒng)：米切爾（Mitchell）等人研制的LEX和LEAP系統(tǒng)，明頓（S.Minton）等人研制的PRODIGY系統(tǒng)等。

當(dāng)前第65頁\共有79頁\編于星期五\2點(diǎn)667.6解釋學(xué)習(xí)7.6.1解釋學(xué)習(xí)的概念7.6.2解釋學(xué)習(xí)的學(xué)習(xí)過程7.6.3領(lǐng)域知識的完善性當(dāng)前第66頁\共有79頁\編于星期五\2點(diǎn)677.6.1解釋學(xué)習(xí)的概念

解釋學(xué)習(xí)：通過運(yùn)用相關(guān)的領(lǐng)域知識及一個(gè)訓(xùn)練實(shí)例來對某一目標(biāo)概念進(jìn)行學(xué)習(xí)，并最終生成這個(gè)目標(biāo)概念的一般性描述。解釋學(xué)習(xí)的一般性描述（米切爾（Mitchell）等，1986）：給定：領(lǐng)域知識DT（用于證明訓(xùn)練實(shí)例為什么可作為目標(biāo)概念的實(shí)例）

目標(biāo)概念TC（要學(xué)習(xí)的概念）

訓(xùn)練實(shí)例TE

操作性準(zhǔn)則OC（指導(dǎo)系統(tǒng)對描述目標(biāo)的概念進(jìn)行取舍）找出：滿足OC的關(guān)于TC的充分條件。當(dāng)前第67頁\共有79頁\編于星期五\2點(diǎn)687.6.1解釋學(xué)習(xí)的概念

解釋學(xué)習(xí)與示例學(xué)習(xí)的主要區(qū)別：（1）示例學(xué)習(xí)：輸入一組實(shí)例。解釋學(xué)習(xí)：輸入一個(gè)實(shí)例。（2）示例學(xué)習(xí)：歸納學(xué)習(xí)，不要求提供領(lǐng)域知識。解釋學(xué)習(xí)：演繹學(xué)習(xí)，要求提供完善的領(lǐng)域知識。（3）示例學(xué)習(xí)：概念的獲取，即知識增加的一面。解釋學(xué)習(xí)：技能提高的一面。當(dāng)前第68頁\共有79頁\編于星期五\2點(diǎn)697.6.2解釋學(xué)習(xí)的學(xué)習(xí)過程

證明過程：通過運(yùn)用領(lǐng)域知識進(jìn)行演繹實(shí)現(xiàn)的，證明的結(jié)果是得到一個(gè)解釋結(jié)構(gòu)。

1.構(gòu)造解釋

解釋學(xué)習(xí)的學(xué)習(xí)過程：首先運(yùn)用領(lǐng)域知識找出訓(xùn)練實(shí)例為什么是目標(biāo)概念的證明，即解釋，然后按操作性準(zhǔn)則對解釋進(jìn)行推廣，從而得出關(guān)于目標(biāo)概念的學(xué)習(xí)描述。

例如，學(xué)習(xí)目標(biāo)：“一個(gè)物體x可以安全地放置在另一個(gè)物體y的上面”（堆疊問題）。目標(biāo)概念：物體（x,y)，Safe-to-stack(x,y)當(dāng)前第69頁\共有79頁\編于星期五\2點(diǎn)707.6.2解釋學(xué)習(xí)的學(xué)習(xí)過程訓(xùn)練實(shí)例（描述物體Obj1和Obj2的事實(shí)）：領(lǐng)域知識（安全放置準(zhǔn)則和計(jì)算準(zhǔn)則）：

例如，學(xué)習(xí)目標(biāo)：“一個(gè)物體x可以安全地放置在另一個(gè)物體y的上面”（堆疊問題）。目標(biāo)概念：物體（x,y)，Safe-to-stack(x,y)當(dāng)前第70頁\共有79頁\編于星期五\2點(diǎn)717.6.2解釋學(xué)習(xí)的學(xué)習(xí)過程

1.構(gòu)造解釋

),(21ObjObjStackToSafe--),(21ObjObjLighter)1.0,(1ObjWeight)15,(2ObjWeight)15,1.0(Smaller),(2booktableObjIsa-)1,(1ObjVolume)1.0,(1ObjDensity)1.0,1.0,1(*Safe-To-Stack(Obj1,Obj