第七章-機(jī)器學(xué)習(xí)

第七章機(jī)器學(xué)習(xí)§7.1基本概念1機(jī)器學(xué)習(xí)(1)學(xué)習(xí)：沒有一個(gè)精確，公認(rèn)的定義，主要有以下幾種觀點(diǎn)：①學(xué)習(xí)是系統(tǒng)改進(jìn)其性能的過程，西蒙1980年提出的②學(xué)習(xí)是獲取知識(shí)的過程③學(xué)習(xí)是技能的獲?、軐W(xué)習(xí)是事物規(guī)律的發(fā)現(xiàn)過程學(xué)習(xí)是一個(gè)有特定目的的知識(shí)獲取過程，其內(nèi)在行為是獲取知識(shí)、積累經(jīng)驗(yàn)、發(fā)現(xiàn)規(guī)律；外部表現(xiàn)是改進(jìn)性能、適應(yīng)環(huán)境、實(shí)現(xiàn)系統(tǒng)的自我完善。(2)機(jī)器學(xué)習(xí)：使計(jì)算機(jī)能模擬人的學(xué)習(xí)行為，自動(dòng)地通過學(xué)習(xí)獲取知識(shí)和技能，不斷改善性能，實(shí)現(xiàn)自我完善。機(jī)器學(xué)習(xí)的研究圍繞三個(gè)方面：①學(xué)習(xí)機(jī)理的研究：對(duì)人類學(xué)習(xí)機(jī)制的研究，即人類獲取知識(shí)、技能和抽象概念的天賦能力②學(xué)習(xí)方法的研究：研究人類的學(xué)習(xí)過程，探索各種可能的學(xué)習(xí)方法，建立起獨(dú)立于具體應(yīng)用領(lǐng)域的學(xué)習(xí)算法③面向任務(wù)的研究：根據(jù)特定任務(wù)的要求，建立相應(yīng)的學(xué)習(xí)系統(tǒng)2學(xué)習(xí)系統(tǒng)：是能夠在一定程度上實(shí)現(xiàn)機(jī)器學(xué)習(xí)的系統(tǒng)，一個(gè)學(xué)習(xí)系統(tǒng)應(yīng)具有如下條件和能力：(1)具有適當(dāng)?shù)膶W(xué)習(xí)環(huán)境環(huán)境：學(xué)習(xí)系統(tǒng)進(jìn)行學(xué)習(xí)時(shí)的信息來源

例學(xué)習(xí)系統(tǒng)是學(xué)生，環(huán)境就是教師、書本、各種應(yīng)用、實(shí)踐過程。學(xué)習(xí)系統(tǒng)用于專家系統(tǒng)的知識(shí)獲取時(shí)，環(huán)境是領(lǐng)域?qū)＜?、文字資料、圖像等。博弈時(shí)，環(huán)境是博弈的對(duì)手和千變?nèi)f化的棋局。(2)具有一定的學(xué)習(xí)能力通過與環(huán)境多次相互作用逐步學(xué)到有關(guān)知識(shí)，而且在學(xué)習(xí)過程中要通過實(shí)踐驗(yàn)證、評(píng)價(jià)所學(xué)知識(shí)的正確性。(3)能應(yīng)用學(xué)習(xí)到的知識(shí)求解問題能把學(xué)到的信息用于未來的估計(jì)、分類、決策或控制。(4)能提高系統(tǒng)的性能

通過學(xué)習(xí)，系統(tǒng)應(yīng)能增長(zhǎng)知識(shí)，提高技能，改善系統(tǒng)的性能。環(huán)境學(xué)習(xí)知識(shí)庫(kù)執(zhí)行與評(píng)價(jià)環(huán)境：外部信息的來源，它將為系統(tǒng)的學(xué)習(xí)提供有關(guān)信息。學(xué)習(xí)：系統(tǒng)的學(xué)習(xí)機(jī)構(gòu)，它通過對(duì)環(huán)境的搜索取得外部信息，然后經(jīng)過分析、綜合、類比、歸納等思維過程獲得知識(shí)，并將這些知識(shí)存入知識(shí)庫(kù)中。知識(shí)庫(kù)：用于存儲(chǔ)由學(xué)習(xí)得到的知識(shí)，在存儲(chǔ)時(shí)要進(jìn)行適當(dāng)?shù)慕M織，使它既便于應(yīng)用又便于維護(hù)。執(zhí)行與評(píng)價(jià)：執(zhí)行：用于處理系統(tǒng)面臨的現(xiàn)實(shí)問題。評(píng)價(jià)：用于驗(yàn)證、評(píng)價(jià)執(zhí)行環(huán)節(jié)的執(zhí)行效果。評(píng)價(jià)環(huán)節(jié)的處理有兩種：①把評(píng)價(jià)時(shí)所需的性能指標(biāo)直接建立在系統(tǒng)中，由系統(tǒng)對(duì)執(zhí)行環(huán)節(jié)得到的結(jié)果進(jìn)行評(píng)價(jià)②由人來協(xié)助完成評(píng)價(jià)工作執(zhí)行→學(xué)習(xí)：根據(jù)反饋信息從環(huán)境中索取進(jìn)一步的信息進(jìn)行學(xué)習(xí)，以修改、完善知識(shí)庫(kù)中的知識(shí)。3機(jī)器學(xué)習(xí)的發(fā)展，分三個(gè)階段(1)神經(jīng)元模型的研究20世紀(jì)50年代中期，主要研究工作是應(yīng)用決策理論的方法研制可適應(yīng)環(huán)境的通用學(xué)習(xí)系統(tǒng)1957年羅森勃拉特提出感知器模型，由閾值性神經(jīng)元組成，試圖模擬動(dòng)物和人腦的感知及學(xué)習(xí)能力塞繆爾研制的具有自學(xué)習(xí)，自組織，自適應(yīng)能力的跳棋程序(2)符號(hào)學(xué)習(xí)的研究20世紀(jì)70年代中期，研究者們力圖在高層知識(shí)符號(hào)表示的基礎(chǔ)上建立人類的學(xué)習(xí)模型，用邏輯的演繹及歸納推理代替數(shù)值的或統(tǒng)計(jì)的方法莫斯托夫的指導(dǎo)式學(xué)習(xí)溫斯頓和卡鮑尼爾的類比學(xué)習(xí)尼切爾等人的解釋學(xué)習(xí)(3)連接學(xué)習(xí)的研究20世紀(jì)80年代。VLSI技術(shù)，超導(dǎo)技術(shù)，生物技術(shù)，光學(xué)技術(shù)發(fā)展，提出了多層網(wǎng)絡(luò)的學(xué)習(xí)算法，進(jìn)入連接學(xué)習(xí)階段—非線性大規(guī)模并行處理為主流的神經(jīng)網(wǎng)絡(luò)的研究。連接學(xué)習(xí)適用于連續(xù)語(yǔ)音的語(yǔ)音識(shí)別及連續(xù)模式的識(shí)別符號(hào)學(xué)習(xí)在離散模式識(shí)別及專家系統(tǒng)的規(guī)則獲取方面有較多應(yīng)用目前里奇開發(fā)的集成系統(tǒng)將兩者結(jié)合起來4機(jī)器學(xué)習(xí)的分類(1)按學(xué)習(xí)方法分類機(jī)械式學(xué)習(xí)指導(dǎo)式學(xué)習(xí)示例學(xué)習(xí)類比學(xué)習(xí)解釋學(xué)習(xí)(2)按推理方式分類基于演繹的學(xué)習(xí)：是從已知前提邏輯地推出結(jié)論的一種推理。解釋學(xué)習(xí)在其推理過程中主要是用演繹方法，歸于一類基于歸納的學(xué)習(xí)：是從特殊事物或大量實(shí)例概括出一般規(guī)則或結(jié)論的一種推理，由歸納推理得到的結(jié)論是否確實(shí)是前提的邏輯結(jié)論是不能斷定的。示例學(xué)習(xí)、發(fā)現(xiàn)學(xué)習(xí)以歸納推理為主，劃歸一類(3)按綜合屬性分類歸納學(xué)習(xí)分析學(xué)習(xí)連接學(xué)習(xí)遺傳算法分類器系統(tǒng)§7.2機(jī)械式學(xué)習(xí)1機(jī)械式學(xué)習(xí)—死記式學(xué)習(xí)，是一種最簡(jiǎn)單、最原始的學(xué)習(xí)方法。把經(jīng)過評(píng)價(jià)所取得的知識(shí)存儲(chǔ)到知識(shí)庫(kù)中，求解問題時(shí)從知識(shí)庫(kù)種檢索出相應(yīng)的知識(shí)，直接用來求解問題例：某個(gè)計(jì)算的輸入是(x1,x2,…,xn)，計(jì)算后的輸出是(y1,y2,…,yn)，如果經(jīng)評(píng)價(jià)得知該計(jì)算是正確的，則就把聯(lián)想對(duì)[(x1,x2,…,xn),(y1,y2,…,yn)]存入知識(shí)庫(kù)中。當(dāng)以后又要對(duì)(x1,x2,…,xn)做同樣的計(jì)算時(shí)，只要直接從知識(shí)庫(kù)中檢索出(y1,y2,…,yn)就可以了，不需要重復(fù)進(jìn)行計(jì)算。2機(jī)械式學(xué)習(xí)實(shí)質(zhì)上是用存儲(chǔ)空間來?yè)Q取處理時(shí)間，要全面權(quán)衡時(shí)間與空間的關(guān)系§7.3指導(dǎo)式學(xué)習(xí)—囑咐式學(xué)習(xí)，教授式學(xué)習(xí)在這種學(xué)習(xí)方式下，由外部環(huán)境向系統(tǒng)提供一般性的指示或建議，系統(tǒng)把它們具體轉(zhuǎn)化為細(xì)節(jié)知識(shí)并送入知識(shí)庫(kù)中。在學(xué)習(xí)過程中要反復(fù)對(duì)形成的知識(shí)進(jìn)行評(píng)價(jià)，使其不斷完善。指導(dǎo)式學(xué)習(xí)過程有下列四步驟組成：1征詢指導(dǎo)者的指示或建議簡(jiǎn)單征詢：由指導(dǎo)者給出一般性的意見，系統(tǒng)將其具體化復(fù)雜征詢：由指導(dǎo)者給出一般性的意見，具體鑒別知識(shí)庫(kù)中可能存在的問題，給出修改意見被動(dòng)征詢：系統(tǒng)被動(dòng)的等待指導(dǎo)者提供意見主動(dòng)征詢：系統(tǒng)不只是被動(dòng)地接受指示，而且還能主動(dòng)提出詢問2把征詢意見轉(zhuǎn)換為可執(zhí)行的內(nèi)部形式，在轉(zhuǎn)換過程中進(jìn)行語(yǔ)法檢查和語(yǔ)義分析3并入知識(shí)庫(kù)：對(duì)知識(shí)進(jìn)行一致性檢查，防止出現(xiàn)矛盾、冗余、環(huán)路等問題4評(píng)價(jià)：用一些標(biāo)準(zhǔn)例子對(duì)新知識(shí)進(jìn)行經(jīng)驗(yàn)測(cè)試，若出現(xiàn)不一致，表示新知識(shí)有問題，反饋給指導(dǎo)者?！?.4歸納學(xué)習(xí)

分為：示例學(xué)習(xí)、觀察與發(fā)現(xiàn)學(xué)習(xí)1歸納推理：從個(gè)別到一般，從部分到整體的一類推論行為由于在進(jìn)行歸納時(shí)，多數(shù)情況下不可能考察全部有關(guān)的事例，因而歸納出的結(jié)論不能絕對(duì)保證它的正確性，只能以某種程度相信它為真，這是歸納推理的一個(gè)重要的特征例有翅膀的動(dòng)物會(huì)飛，長(zhǎng)羽毛的動(dòng)物會(huì)飛但鴕鳥有羽毛、有翅膀卻不會(huì)飛(1)枚舉歸納

設(shè)a1,a2…是某類事物A中的具體事物，若已知a1,a2…an都有屬性P，并且沒有發(fā)現(xiàn)反例，當(dāng)n足夠大時(shí)，就可得出A中所有事物都有屬性P的結(jié)論例張三是足球運(yùn)動(dòng)員，他的體格健壯李四是足球運(yùn)動(dòng)員，他的體格健壯

……………

劉六是足球運(yùn)動(dòng)員，他的體格健壯∴凡是足球運(yùn)動(dòng)員，他的體格一定健壯(2)聯(lián)想歸納：歸納推理是一種主觀不充分置信推理，因而經(jīng)歸納得出的結(jié)論可能會(huì)有錯(cuò)誤，歸納推理是非單調(diào)性的。若已知兩事物a,b有n個(gè)屬性相似或相同a具有屬性P1,b也具有屬性P1a具有屬性P2,b也具有屬性P2

………a具有屬性Pn,b也具有屬性Pna具有屬性Pn+1，當(dāng)n足夠大時(shí)，可歸納出b也具有屬性Pn+1例兩個(gè)孿生兄弟，有相同的身高，體重，面貌，喜歡唱歌，跳舞，吃相同的食品，如果一個(gè)喜歡山水畫，我們會(huì)聯(lián)想到另一個(gè)也喜歡(3)類比歸納設(shè)A,B分別是兩類事物的集合

A={a1,a2…}B={b1,b2…}

并設(shè)ai,bi總是成對(duì)出現(xiàn)的，且當(dāng)ai有屬性P時(shí)，bi就有屬性Q與之對(duì)應(yīng)，即

P(ai)→Q(bi)i=1,2,3..

若A,B有一對(duì)新元素a’,b’時(shí)，由P(a’)→Q(b’)(4)逆推理歸納：是一種由結(jié)論成立而推出前提以某種置信度成立的歸納方法，這種方法的模式為若H為真,則H→E必為真，或以置信度cf1成立觀察到E成立或以置信度cf2成立則H以某種置信度cf成立H→Ecf1P(E/H)Ecf2HcfE→Hcf’1可按Bayes公式算出cf’1=P(H/E)=P(E/H)*P(H)/P(E)=cf1*P(H)/P(E)=cf1*cf/cf2

∴cf=cf1’*cf2/cf1(5)消除歸納對(duì)某個(gè)事物發(fā)生的原因作出若干假設(shè)，這些假設(shè)間是析取關(guān)系。隨著對(duì)事物認(rèn)識(shí)的不斷深化，原先作出的某些假設(shè)有可能被否定，經(jīng)過若干次否定后，最后剩下來未被否定的假設(shè)就可作為事物發(fā)生的原因。已知A1

A2

…Ai

…An

A1,

A2,…

Ai-1,

Ai+1,…

An結(jié)論Ai2示例學(xué)習(xí)—實(shí)例學(xué)習(xí)，從例子中學(xué)習(xí)是通過從環(huán)境中取得若干與某概念有關(guān)的例子，經(jīng)歸納得出一般性概念的一種學(xué)習(xí)方法(1)示例學(xué)習(xí)的學(xué)習(xí)模型學(xué)習(xí)過程：首先從示例空間（環(huán)境）中選擇合適的訓(xùn)練示例，然后經(jīng)過解釋歸納出一般性的知識(shí)，最后再?gòu)氖纠臻g中選擇更多的示例對(duì)它進(jìn)行驗(yàn)證，直到得到可實(shí)用的知識(shí)為止。搜索解釋知識(shí)庫(kù)形成知識(shí)示例空間驗(yàn)證示例空間：所有可對(duì)系統(tǒng)進(jìn)行訓(xùn)練的示例集合。示例的質(zhì)量和數(shù)量將直接影響到學(xué)習(xí)的質(zhì)量，示例的組織方式將影響到學(xué)習(xí)效率搜索：從示例空間中查找所需的示例解釋：從搜索到的示例中抽象出所需的有關(guān)信息供形成知識(shí)使用形成知識(shí)：把經(jīng)解釋得到的有關(guān)信息通過綜合、歸納等形成一般性的知識(shí)驗(yàn)證：檢驗(yàn)所形成的知識(shí)的正確性(2)形成知識(shí)的方法變量代換常量例1花色(C1,梅花)

花色(C2,梅花)

花色(C3,梅花)

花色(C4,梅花)→同花(C1,C2,C3,C4)例2花色(C1,紅桃)

花色(C2,紅桃)

花色(C3,紅桃)

花色(C4,紅桃)→同花（C1,C2,C3,C4）規(guī)則1：花色(C1,x)

花色(C2,x)

花色(C3,x)

花色(C4,x)→同花（C1,C2,C3,C4）舍棄條件：舍去某些無關(guān)子條件花色（C1,紅桃）

點(diǎn)數(shù)（C1,2）

花色（C2,紅桃）

點(diǎn)數(shù)（C2,4）

花色（C3,紅桃）

點(diǎn)數(shù)（C3,6）

花色（C4,紅桃）

點(diǎn)數(shù)（C4,8）

→同花（C1,C2,C3,C4）∵點(diǎn)數(shù)與同花無關(guān)，點(diǎn)數(shù)舍去，紅桃用x代替。如同規(guī)則1增加操作：前件析取法和內(nèi)部析取法前件析取法：通過對(duì)示例的前件進(jìn)行析取操作形成知識(shí)?！澳樑啤笔纠?：點(diǎn)數(shù)（C1,J）→臉（C1）示例2：點(diǎn)數(shù)（C1,Q）→臉（C1）示例3：點(diǎn)數(shù)（C1,K）→臉（C1）規(guī)則2:點(diǎn)數(shù)(C1,J)

點(diǎn)數(shù)(C1,Q)

點(diǎn)數(shù)(C1,K)→臉（C1）內(nèi)部析取法：在示例的表示中使用集合與集合間的成員關(guān)系來形成知識(shí)示例1:點(diǎn)數(shù)(C1)

{J}→臉(C1)示例2:點(diǎn)數(shù)(C1)

{Q}→臉(C1)示例3:點(diǎn)數(shù)(C1)

{K}→臉(C1)內(nèi)部析取點(diǎn)數(shù)(C1)

{J,Q,K}→臉(C1)合取變析?。和ㄟ^把示例中條件的合取關(guān)系變?yōu)槲鋈￡P(guān)系來形成一般性知識(shí)。例：由“男同學(xué)與女同學(xué)可以組成一個(gè)班”可以歸納出“男同學(xué)或女同學(xué)可以組成一個(gè)班”歸結(jié)歸納

P

E1→H

P

E2→H

可得：E1

E2→H例示例1某天下雨，且自行車在路上出了毛病需修理，所以他上班遲到示例2某天沒下雨，但交通堵塞，所以他上班遲到所以，如果自行車在路上出毛病需修理或者交通堵塞，則他有可能上班遲到曲線擬合（x,y,z）x,y輸入，z輸出示例1（1，0，10）示例2（2，1，18）示例3（-1，-2，-6）曲線擬合Z=2x+6y+83觀察與發(fā)現(xiàn)學(xué)習(xí)觀察學(xué)習(xí):對(duì)事例進(jìn)行概念聚類，形成概念描述機(jī)器發(fā)現(xiàn):發(fā)現(xiàn)規(guī)律，產(chǎn)生定律或規(guī)則①概念聚類由米卡爾斯基在1980年提出來的基本思想是把事例按一定的方式和準(zhǔn)則進(jìn)行分組，不同組代表不同的概念，對(duì)每個(gè)組進(jìn)行特征概括，得到一個(gè)概念的語(yǔ)義符號(hào)描述例喜鵲，麻雀，布谷鳥，烏鴉，雞，鴨，鵝…

鳥={喜鵲，麻雀，布谷鳥，烏鴉…}

家禽={雞，鴨，鵝…}特征：鳥有羽毛，有翅膀，會(huì)飛，會(huì)叫，野生，家禽有羽毛，有翅膀，會(huì)飛，會(huì)叫，家養(yǎng)②機(jī)器發(fā)現(xiàn)是從觀察的事例或經(jīng)驗(yàn)數(shù)據(jù)中歸納出規(guī)律或規(guī)則。經(jīng)驗(yàn)發(fā)現(xiàn)：從經(jīng)驗(yàn)數(shù)據(jù)中發(fā)現(xiàn)規(guī)律和定律知識(shí)發(fā)現(xiàn)：從已觀察的事例中發(fā)現(xiàn)新的知識(shí)§7.5類比學(xué)習(xí)

通過對(duì)相似事物進(jìn)行比較所進(jìn)行的一種學(xué)習(xí)。1類比推理：有新情況與記憶中的已知情況在某些方面相似，從而推出它們?cè)谄渌嚓P(guān)方面也相似。(1)類比推理在兩個(gè)相似域之間進(jìn)行①源域S：過去曾經(jīng)解決過且與當(dāng)前問題類似的問題以及相關(guān)知識(shí)②目標(biāo)域T：當(dāng)前尚未完全認(rèn)識(shí)的域，它是遇到的新問題(2)推理過程：S1,T1表示S與T中的某一情況，且S1與T1相似。設(shè)S2與S1相關(guān)，推出T中的T2,且T2與S2相似推理過程：①回憶與聯(lián)想遇到新情況，通過回憶、聯(lián)想在S中找出與當(dāng)前情況相似的情況，對(duì)不止一個(gè)時(shí)，依其相似度從高到低進(jìn)行排序②選擇從上一步找出的相似情況中選出與當(dāng)前情況最相似的情況及有關(guān)知識(shí)，相似度越高越好③建立對(duì)應(yīng)關(guān)系在S與T的相似情況之間建立相似元素的對(duì)應(yīng)關(guān)系，并建立相應(yīng)的映射④轉(zhuǎn)換在上步映射下，把S中的有關(guān)知識(shí)引到T中來，建立求解當(dāng)前問題的方法或?qū)W習(xí)到關(guān)于T的新知識(shí)2屬性類比學(xué)習(xí)根據(jù)兩個(gè)相似事物的屬性實(shí)現(xiàn)類比學(xué)習(xí)。源域和目標(biāo)域都用框架表示，框架的槽表示事物的屬性，其學(xué)習(xí)過程是把源框架中的某些槽值傳遞到目標(biāo)框架的相應(yīng)槽中去。傳遞分兩步：(1)從源框架中選擇若干槽作為候選槽候選槽：指槽值有可能傳遞給目標(biāo)框架的那些槽①選擇那些具有極端槽值的槽作為候選槽。例如“很大”，“很小”，“非常高”②選擇那些已經(jīng)被確認(rèn)為“重要槽”的槽作為候選槽③選擇那些與源框架相似的框架中不具有的槽作為候選槽。S為源框架，S’與S相似，如果S中有某些槽,而S’沒有，則就選這些槽為候選槽。④選擇那些相似框架中不具有這種槽值的槽作為候選槽，S為源框架，S’與S相似，如果S有某槽，其槽值為a，而S’雖有該槽，但槽值不為a，則這個(gè)槽可被選為候選槽⑤把源框架中的所有槽都作為候選槽(2)根據(jù)目標(biāo)框架對(duì)候選槽進(jìn)行篩選①選擇那些在目標(biāo)框架中還未填值的槽②選擇那些在目標(biāo)框架中為典型事例的槽③選擇那些與目標(biāo)框架有緊密關(guān)系的槽，或者與目標(biāo)框架的槽類似的槽通過篩選，一般都可以得到一組槽值，分別把它們填入到目標(biāo)框架的相應(yīng)的槽中，就實(shí)現(xiàn)了原框架中某些槽值向目標(biāo)框架的傳遞。3轉(zhuǎn)換類比學(xué)習(xí)---“手段-目標(biāo)分析”(EMA)法或“中間-結(jié)局分析”法，是紐厄爾、肖和西蒙在其完成的通用問題求解程序GPS中提出的一種問題求解模型。求解過程如下：(1)把問題的當(dāng)前狀態(tài)與目標(biāo)狀態(tài)進(jìn)行比較，找出它們之間的差異(2)根據(jù)差異找出一個(gè)可減少差異的算符(3)如果該算符可作用于當(dāng)前狀態(tài)，則用該算符把當(dāng)前狀態(tài)變?yōu)榱硪粋€(gè)更接近于目標(biāo)狀態(tài)的狀態(tài)；如果該算符不能用于當(dāng)前狀態(tài)，則保留當(dāng)前狀態(tài)，并生成一個(gè)子問題，然后對(duì)此子問題再應(yīng)用MEA(4)當(dāng)子問題被求解后，恢復(fù)保留的狀態(tài)，繼續(xù)處理原問題。轉(zhuǎn)換類比學(xué)習(xí)主要有兩個(gè)過程組成：回憶過程和轉(zhuǎn)換過程回憶過程：用于找出新、舊問題間的差別新、舊問題初始狀態(tài)的差別新、舊問題目標(biāo)狀態(tài)的差別新、舊問題路徑約束的差別新、舊問題求解方法可應(yīng)用度的差別轉(zhuǎn)換過程：把舊問題的求解方法經(jīng)適當(dāng)變換，使之成為求解新問題的方法?！?.6基于解釋的學(xué)習(xí)1基于解釋學(xué)習(xí)的概念基于解釋學(xué)習(xí)是通過運(yùn)用相關(guān)的領(lǐng)域知識(shí)及一個(gè)訓(xùn)練實(shí)例來對(duì)某一目標(biāo)概念進(jìn)行學(xué)習(xí)，最終生成這個(gè)目標(biāo)概念的一般描述，該一般描述是一個(gè)可形式化表示的一般性知識(shí)(1)這種學(xué)習(xí)方法基于如下考慮提出①人們經(jīng)常能從觀察或執(zhí)行的單個(gè)實(shí)例中得到一個(gè)一般性的概念及規(guī)則，這就為基于解釋學(xué)習(xí)的提出提供了可能性②基于解釋的學(xué)習(xí)在其學(xué)習(xí)過程中運(yùn)用領(lǐng)域知識(shí)對(duì)提供給系統(tǒng)的實(shí)例進(jìn)行分析，保證了推理的正確性③應(yīng)用基于解釋學(xué)習(xí)的方法進(jìn)行學(xué)習(xí)，有望提高學(xué)習(xí)效率(2)米切爾用如下框架描述解釋學(xué)習(xí)給定：領(lǐng)域知識(shí)DT—相關(guān)領(lǐng)域的事實(shí)和規(guī)則目標(biāo)概念TC—要學(xué)習(xí)的概念訓(xùn)練實(shí)例TE—為學(xué)習(xí)系統(tǒng)提供的實(shí)例操作性準(zhǔn)則OC—指導(dǎo)學(xué)習(xí)系統(tǒng)對(duì)描述目標(biāo)的概念進(jìn)行取舍找出：滿足OC的關(guān)于TC的充分條件系統(tǒng)進(jìn)行學(xué)習(xí)時(shí)，運(yùn)用領(lǐng)域知識(shí)DT找出訓(xùn)練實(shí)例TE為什么是目標(biāo)概念TC之實(shí)例的證明(解釋)，然后根據(jù)操作性準(zhǔn)則OC對(duì)證明進(jìn)行推廣，從而得到關(guān)于目標(biāo)概念TC的一個(gè)一般性描述。(3)基于解釋的學(xué)習(xí)與示例學(xué)習(xí)的區(qū)別

解釋學(xué)習(xí)①只要求輸入一個(gè)實(shí)例②學(xué)習(xí)方法是演繹，要求提供完善的領(lǐng)域知識(shí)③側(cè)重于技能提高，通過學(xué)習(xí)把非操作性的知識(shí)轉(zhuǎn)換為可操作的形式化知識(shí)

示例學(xué)習(xí)①系統(tǒng)要求輸入一組實(shí)例②學(xué)習(xí)是歸納法，不要求提供領(lǐng)域知識(shí)③側(cè)重于概念的獲取2基于解釋學(xué)習(xí)的學(xué)習(xí)過程(1)構(gòu)造解釋這一步的任務(wù)是證明提供給系統(tǒng)的訓(xùn)練實(shí)例為什么是滿足目標(biāo)概念的一個(gè)實(shí)例。其證明過程是通過運(yùn)用領(lǐng)域知識(shí)進(jìn)行演繹實(shí)現(xiàn)，證明的結(jié)果是得到一個(gè)解釋結(jié)構(gòu)例設(shè)要學(xué)習(xí)的目標(biāo)概念是“一個(gè)物體（obj1）可以安全地放置在另一個(gè)物體(obj2)上”Safe-To-Stack(obj1,obj2)訓(xùn)練實(shí)例描述物體obj1和obj2的下述事實(shí)On(obj1,obj2)Isa(obj1,book-AI)Isa(obj2,table-book)Volume(obj1,1)Density(obj1,0.1)領(lǐng)域知識(shí):把一個(gè)物體放置在另一物體上的安全性準(zhǔn)則

Fragile(y)→Safe-To-Stack(x,y)

Lighter(x,y)→Safe-To-Stack(x,y)Volume(p,v)

Density(p,d)

*(v,d,w)→Weight(p,w)Isa(p,table-book)→Weight(p,15)Weight(p1,w1)

Weight(p2,w2)

Smaller(w1,w2)→Ligter(p1,p2)由目標(biāo)概念引導(dǎo)的逆向推理，獲得如下一個(gè)解釋結(jié)構(gòu)Safe-To-Stack(obj1,obj