人工智能第7章 機器學習課件

第7章機器學習

學習是人類獲取知識的重要途徑和自然智能的重要標志，機器學習則是機器獲取知識的重要途徑和人工智能的重要標志。7.1機器學習的基本概念7.1.1學習和機器學習7.1.2機器學習的發(fā)展過程7.1.3學習系統(tǒng)7.1.4機器學習的主要策略7.2記憶學習7.3歸納學習7.4解釋學習7.5神經學習1第7章機器學習學習是人類獲取知識的重要途徑和自然7.1.1學習和機器學習1.學習的概念代表性觀點(1)西蒙（Simon,1983）：學習就是系統(tǒng)中的適應性變化，這種變化使系統(tǒng)在重復同樣工作或類似工作時，能夠做得更好。(2)明斯基（Minsky,1985）：學習是在人們頭腦里（心理內部）有用的變化。(3)邁克爾斯基（Michalski,1986）：學習是對經歷描述的建立和修改。一般性解釋：學習是一個有特定目的知識獲取和能力增長過程，其內在行為是獲得知識、積累經驗、發(fā)現規(guī)律等，其外部表現是改進性能、適應環(huán)境、實現自我完善等。

27.1.1學習和機器學習代表性觀點27.1.1學習和機器學習2.機器學習的概念一般性解釋機器學習就是讓機器（計算機）來模擬和實現人類的學習功能。主要研究內容認知模擬

主要目的是要通過對人類學習機理的研究和模擬，從根本上解決機器學習方面存在的種種問題。理論性分析主要目的是要從理論上探索各種可能的學習方法，并建立起獨立于具體應用領域的學習算法。面向任務的研究

主要目的是要根據特定任務的要求，建立相應的學習系統(tǒng)。

37.1.1學習和機器學習一般性解釋3神經元模型研究20世紀50年代中期到60年代初期，也被稱為機器學習的熱烈時期，最具有代表性的工作是羅森勃拉特1957年提出的感知器模型。符號概念獲取20世紀60年代中期到70年代初期。其主要研究目標是模擬人類的概念學習過程。這一階段神經學習落入低谷，稱為機器學習的冷靜時期。知識強化學習20世紀70年代中期到80年代初期。人們開始把機器學習與各種實際應用相結合，尤其是專家系統(tǒng)在知識獲取方面的需求，也有人稱這一階段為機器學習的復興時期。連接學習和混合型學習20世紀80年代中期至今。把符號學習和連接學習結合起來的混合型學習系統(tǒng)研究已成為機器學習研究的一個新的熱點。7.1.1學習和機器學習3.機器學習的發(fā)展過程4神經元模型研究7.1.1學習和機器學習47.1.3學習系統(tǒng)環(huán)境學習環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié)環(huán)境

是學習系統(tǒng)所感知到的外界信息集合，也是學習系統(tǒng)的外界來源。信息的水平（一般化程度）和質量（正確性）對學習系統(tǒng)影響較大。學習環(huán)節(jié)

對環(huán)境提供的信息進行整理、分析歸納或類比，形成知識，并將其放入知識庫。知識庫

存儲經過加工后的信息（即知識）。其表示形式是否合適非常重要。執(zhí)行環(huán)節(jié)

根據知識庫去執(zhí)行一系列任務，并將執(zhí)行結果或執(zhí)行過程中獲得的信息反饋給學習環(huán)節(jié)。學習環(huán)節(jié)再利用反饋信息對知識進行評價，進一步改善執(zhí)行環(huán)節(jié)的行為。57.1.3學習系統(tǒng)環(huán)境學習環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié)環(huán)境7.1.4機器學習的主要策略按學習策略來分類即按學習中所使用的推理方法來分，可分為記憶學習、傳授學習、演繹學習、歸納學習等。按應用領域分類專家系統(tǒng)學習、機器人學習、自然語言理解學習等。按對人類學習的模擬方式

符號主義學習、連接主義學習等。67.1.4機器學習的主要策略按學習策略來分類6第7章機器學習7.1機器學習的基本概念7.2記憶學習7.3歸納學習7.4解釋學習7.5神經學習7第7章機器學習7.1機器學習的基本概念77.2記憶學習概念記憶學習(Rotelearning)也叫死記硬背學習，是一種最基本的學習過程，它沒有足夠的能力獨立完成智能學習，但對學習系統(tǒng)來說都是十分重要的一個組成部分，原因是任何學習系統(tǒng)都必須記住它們所獲取的知識，以便將來使用。記憶學習的基本過程是：執(zhí)行元素每解決一個問題，系統(tǒng)就記住這個問題和它的解，當以后再遇到此類問題時，系統(tǒng)就不必重新進行計算，而可以直接找出原來的解去使用

87.2記憶學習記憶學習(Rotelearnin若把執(zhí)行元素比作一個函數f，由環(huán)境得到的輸入模式記為(x1,x2,…,xn)，由該輸入模式經F計算后得到的輸出模式記為(y1,y2,…,ym)，則機械學習系統(tǒng)就是要把這一輸入輸出模式對：[(x1,x2,…,xn)，(y1,y2,…,ym)]保存在知識庫中，當以后再需要計算f(x1,x2,…,xn)時，就可以直接從存儲器把(y1,y2,…,ym)檢索出來，而不需要再重新進行計算。(x1,x2,…,xn)(y1,y2,…,yn)[(x1,x2,…,xn),(y1,y2,…,yn)]f存儲輸入模式執(zhí)行函數輸出模式輸入輸出模式對機械式學習的學習模型7.2記憶學習模型9若把執(zhí)行元素比作一個函數f，由環(huán)境得到的輸入模式記7.3歸納學習

歸納學習是指以歸納推理為基礎的學習，其任務是要從關于某個概念的一系列已知的正例和反例中歸納出一個一般的概念描述。7.3.1示例學習是歸納學習的一種特例。它給學習者提供某一概念的一組正例和反例，學習者歸納出一個總的概念描述，并使這個描述適合于所有的正例，排除所有的反例。7.3.2決策樹學習

是一種以示例為基礎的歸納學習方法，也是目前最流行的歸納學習方法之一。在現有的各種決策樹學習算法中，影響較大的是ID3算法。本節(jié)主要討論決策樹的概念和決策樹學習的ID3算法。107.3歸納學習歸納學習是指以歸納推理為基礎的學按例子的來源分類①例子來源于教師的示例學習②例子來源于學習者本身的示例學習學習者明確知道自己的狀態(tài)，但完全不清楚所要獲取的概念。③例子來源于學習者以外的外部環(huán)境的示例學習例子的產生是隨機的。按例子的類型分類①僅利用正例的示例學習這種學習方法會使推出的概念的外延擴大化。②利用正例和反例的示例學習這是示例學習的一種典型方式，它用正例用來產生概念，用反例用來防止概念外延的擴大。7.3.1示例學習1.示例學習的類型11按例子的來源分類7.3.1示例學習11示例空間規(guī)則空間驗證過程解釋過程

示例空間

是我們向系統(tǒng)提供的示教例子的集合。研究問題：例子質量，搜索方法。解釋過程

是從搜索到的示例中抽象出一般性的知識的歸納過程。解釋方法：常量轉換為變量，去掉條件，增加選擇，曲線擬合等。規(guī)則空間

是事務所具有的各種規(guī)律的集合。研究問題：對空間的要求，搜索方法驗證過程

是要從示例空間中選擇新的示例，對剛剛歸納出的規(guī)則做進一步的驗證和修改。7.3.1示例學習2.示例學習的模型12示例空間規(guī)則空間驗證過程解釋過程示例空間7.3.1是指解釋過程從具體示例形成一般性知識所采用的歸納推理方法。最常用的解釋方法有以下4種：(1)把常量轉換為變量把示例中的常量換成變量而得到一個一般性的規(guī)則。(2)去掉條件把示例中的某些無關的子條件舍去。(3)增加選擇在析取條件中增加一個新的析取項。常用的增加析取項的方法有前件析取法和內部析取法兩種(4)曲線擬合對數值問題的歸納可采用最小二乘法進行曲線擬合7.3.1示例學習3.示例學習的解釋方法(1/5)13是指解釋過程從具體示例形成一般性知識所采用的歸納推理例：假設例子空間中有以下兩個關于撲克牌中“同花”概念的示例：

示例1：花色(c1，梅花)∧花色(c2，梅花)∧花色(c3，梅花)∧花色(c4，梅花)∧花色(c5，梅花)→同花(c1,c2,c3,c4,c5)示例2：花色(c1，紅桃)∧花色(c2，紅桃)∧花色(c3，紅桃)∧花色(c4，紅桃)∧花色(c5，紅桃)→同花(c1,c2,c3,c4,c5)其中，示例1表示5張梅花牌是同花，示例2表示5張紅桃牌是同花。解釋過程：(1)把常量化為變量

例如，對這兩個示例，只要把“梅花”和“紅桃”用變量x代換，就可得到如下一般性的規(guī)則：規(guī)則1：花色(c1，x)∧花色(c2，x)∧花色(c3，x)∧花色(c4，x)∧花色(c5，x)→同花(c1,c2,c3,c4,c5)7.3.1示例學習3.示例學習的解釋方法(2/5)14例：假設例子空間中有以下兩個關于撲克牌中“同花”概念(2)去掉條件

這種方法是要把示例中的某些無關的子條件舍去。例如，有如下示例：示例3：花色(c1,紅桃)∧點數(c1，2)∧花色(c2,紅桃)∧點數(c2，3)∧花色(c3,紅桃)∧點數(c3，4)∧花色(c4,紅桃)∧點數(c4，5)∧花色(c5,紅桃)∧點數(c5，6)→同花(c1,c2,c3,c4,c5)7.3.1示例學習3.示例學習的解釋方法(3/5)為了學習同花的概念，除了需要把常量變?yōu)樽兞客?，還需要把與花色無關的“點數”子條件舍去。這樣也可得到上述規(guī)則1：規(guī)則1：花色(c1，x)∧花色(c2，x)∧花色(c3，x)∧花色(c4，x)∧花色(c5，x)→同花(c1,c2,c3,c4,c5)15(2)去掉條件7.3.1示例學習為了學習7.3.1示例學習3.示例學習的解釋方法(4/5)

(3)增加選擇在析取條件中增加一個新的析取項。包括前件析取法和內部析取法。前件析取法：是通過對示例的前件的析取來形成知識的。例如：

示例4：點數(c1,J)→臉(c1)

示例5：點數(c1,Q)→臉(c1)

示例6：點數(c1,K)→臉(c1)將各示例的前件進行析取，就可得到所要求的規(guī)則：規(guī)則2：點數(c1,J)∨點數(c1,Q)∨點數(c1,K)→臉(c1)內部析取法：是在示例的表示中使用集合與集合的成員關系來形成知識的。例如，有如下關于“臉牌”的示例：

示例7：點數c1∈{J}→臉(c1)

示例8：點數c1∈{Q}→臉(c1)

示例9：點數c1∈{K}→臉(c1)用內部析取法，可得到如下規(guī)則：

規(guī)則3：點數(c1)∈{J,Q,K}→臉(c1)167.3.1示例學習(3)增加選擇16

(4)曲線擬合

對數值問題的歸納可采用曲線擬合法。假設示例空間中的每個示例(x,y,z)都是輸入x,y與輸出z之間關系的三元組。例如，有下3個示例：

示例10：(0,2,7)示例11：(6,-1,10)示例12：(-1,-5,-16)用最小二乘法進行曲線擬合，可得x,y,z之間關系的規(guī)則如下：規(guī)則4：z=2x+3y+1說明：在上述前三種方法中，方法(1)是把常量轉換為變量；方法(2)是去掉合取項（約束條件）；方法(3)是增加析取項。它們都是要擴大條件的適用范圍。從歸納速度上看，方法(1)的歸納速度快，但容易出錯；方法(2)歸納速度慢，但不容易出錯。因此，在使用方法(1)時應特別小心。例如：對示例4、示例5及示例6，若使用方法(1),則會歸納出如下的錯誤規(guī)則：規(guī)則5：（錯誤）點數(c1,x)→臉(c1)它說明，歸納過程是很容易出錯的。7.3.1示例學習3.示例學習的解釋方法(5/5)17(4)曲線擬合7.3.1示例學習17是一種由節(jié)點和邊構成的用來描述分類過程的層次數據結構。該樹的根接點表示分類的開始，葉節(jié)點表示一個實例的結束，中間節(jié)點表示相應實例中的某一屬性，而邊則代表某一屬性可能的屬性值。在決策樹中，從根節(jié)點到葉節(jié)點的每一條路徑都代表一個具體的實例，并且同一路徑上的所有屬性之間為合取關系，不同路徑（即一個屬性的不同屬性值）之間為析取關系。決策樹的分類過程就是從這棵樹的根接點開始，按照給定的事例的屬性值去測試對應的樹枝，并依次下移，直至到達某個葉節(jié)點為止。圖7.4是一個非常簡單的用來描述對鳥類進行分類的決策樹。在該圖中：根節(jié)點包含各種鳥類，葉節(jié)點是所能識別的各種鳥的名稱；中間節(jié)點是鳥的一些屬性，邊是鳥的某一屬性的屬性值；從根節(jié)點到葉節(jié)點的每一條路徑都描述了一種鳥，它包括該種鳥的一些屬性及相應的屬性值。7.3.2決策樹學習1.決策樹的概念(1/2)18是一種由節(jié)點和邊構成的用來描述分類過程的層次數據結構鳥類家養(yǎng)可能是和平鴿可能是信天翁游泳可能是企鵝可能是鴕鳥圖7.4一個簡單的鳥類識別決策樹會飛不會飛是不是會不會決策樹還可以表示成規(guī)則的形式。上圖的決策樹可表示為如下規(guī)則集：IF鳥類會飛AND是家養(yǎng)的THEN該鳥類是和平鴿IF鳥類會飛AND不是家養(yǎng)的THEN該鳥類是信天翁IF鳥類不會飛AND會游泳THEN該鳥類是企鵝IF鳥類不會飛AND不會游泳THEN該鳥類是鴕鳥決策樹學習過程實際上是一個構造決策樹的過程。當學習完成后，就可以利用這棵決策樹對未知事物進行分類。7.3.2決策樹學習1.決策樹的概念(2/2)19鳥類家養(yǎng)可能是和平鴿可能是信天翁游泳可能是企鵝可能是鴕鳥圖77.3.2決策樹學習2.ID3算法(1/11)

D3算法是昆蘭（J.R.Quinlan）于1979年提出的一種以信息熵（entropy）的下降速度作為屬性選擇標準的一種學習算法。其輸入是一個用來描述各種已知類別的例子集，學習結果是一棵用于進行分類的決策樹。主要討論：ID3算法的數學基礎ID3算法機器舉例207.3.2決策樹學習D3算法是昆蘭（J.R.Q7.3.2決策樹學習2.ID3算法(2/11)

(1)ID3算法的數學基礎下面討論信息熵和條件熵的數學概念

信息熵信息熵是對信息源整體不確定性的度量。假設X為信源，xi為X所發(fā)出的單個信息，P(xi)為X發(fā)出xi的概率，則信息熵可定義為：其中，k為信源X發(fā)出的所有可能的信息類型，對數可以是以各種數為底的對數，在ID3算法中，我們取以2為底的對數。信息熵反應的是信源每發(fā)出一個信息所提供的平均信息量。217.3.2決策樹學習(1)ID3算法的數學基條件熵條件熵是收信者在收到信息后對信息源不確定性的度量。若假設信源為X，收信者收到的信息為Y，P(xi/yj)為當Y為yj時X為xi的條件概率，則條件熵可定義為：它表示收信者收到Y后對X不確定性的估計。

7.3.2決策樹學習2.ID3算法(3/11)22條件熵7.3.2決策樹學習227.3.2決策樹學習2.ID3算法(4/11)(2)ID3算法及舉例ID3算法的學習過程：首先以整個例子集作為決策樹的根節(jié)點S，并計算S關于每個屬性的期望熵（即條件熵）；然后選擇能使S的期望熵為最小的一個屬性對根節(jié)點進行分裂，得到根節(jié)點的一層子節(jié)點；接著再用同樣的方法對這些子節(jié)點進行分裂，直至所有葉節(jié)點的熵值都下降為0為止。這時，就可得到一棵與訓練例子集對應的熵為0的決策樹，即ID3算法學習過程所得到的最終決策樹。該樹中每一條從根節(jié)點到葉節(jié)點的路徑，都代表了一個分類過程，即決策過程。237.3.2決策樹學習(2)ID3算法及舉例23例7.1

用ID3算法完成下述學生選課的例子假設將決策y分為以下３類：y1：必修AIy2：選修AIy3：不修AI做出這些決策的依據有以下3個屬性：x1：學歷層次x1=1研究生，x1=2本科x2：專業(yè)類別x2=1電信類，x2=2機電類x3：學習基礎x3=1修過AI，x3=2未修AI表7.1給出了一個關于選課決策的訓練例子集S。

7.3.2決策樹學習2.ID3算法(5/11)24例7.1用ID3算法完成下述學生選課的例子7.3.表7-1關于選課決策的訓練例子集在該表中，訓練例子集S的大小為８。ID3算法是依據這些訓練例子，以S為根節(jié)點，按照信息熵下降最大的原則來構造決策樹的。序號屬性值決策方案yix1x2x31111y32112y13121y34122y25211y36212y27221y38222y37.3.2決策樹學習2.ID3算法(6/11)25表7-1關于選課決策的訓練例子集序號屬性值決策方案x1x2解：首先對根節(jié)點，其信息熵為：其中，３為可選的決策方案數，且有

P(y1)=1/8，P(y2)=2/8，P(y3)=5/8即有：H(S)=-(1/8)log2(1/8)-(2/8)log2(2/8)-(5/8)log2(5/8)=1.2988按照ID3算法，需要選擇一個能使S的期望熵為最小的一個屬性對根節(jié)點進行擴展，因此我們需要先計算S關于每個屬性的條件熵：其中，t為屬性xi的屬性值，St為xi=t時的例子集，|S|和|Si|分別是例子集S和Si的大小。7.3.2決策樹學習2.ID3算法(7/11)26解：首先對根節(jié)點，其信息熵為：7.3.2決策樹學下面先計算S關于屬性x1的條件熵：在表7-1中，x1的屬性值可以為1或2。當x1=1時，t=1時，有：S1={1，2，3，4}當x1=2時，t=2時，有：S2={5，6，7，8}其中，S1和S2中的數字均為例子集S中的各個例子的序號，且有|S|=8，|S1|=|S2|=4。由S1可知：

Ps1(y1)=1/4,Ps1(y2)=1/4,Ps1(y3)=2/4則有：H(S1)=-Ps1(y1)log2Ps1(y1)-Ps1(y2)log2Ps1(y2)-Ps1(y3)log2Ps1(y3)=-(1/4)log2(1/4)-(1/4)log2(1/4)-(2/4)log2(2/4)=1.57.3.2決策樹學習2.ID3算法(8/11)27下面先計算S關于屬性x1的條件熵：7.3.2決策再由S2可知：Ps2(y1)=0/4,Ps2(y2)=1/4,Ps2(y3)=3/4則有：H(S2)=–Ps2(y2)log2Ps2(y2)-Ps2(y3)log2Ps2(y3)=-(1/4)log2(1/4)-(3/4)log2(3/4)=0.8113將H(S1)和H(S2)代入條件熵公式，有：H(S/x1)=(|S1|/|S|)H(S1)+(|S2|/|S|)H(S2)=(4/8)﹡1.5+(4/8)﹡0.8113=1.1557同樣道理，可以求得：H(S/x2)=1.1557H(S/x3)=0.75可見，應該選擇屬性x3對根節(jié)點進行擴展。用x3對S擴展后所得到的得到部分決策樹如圖7.5所示。7.3.2決策樹學習2.ID3算法(9/10)28再由S2可知：7.3.2決策樹學習28Sx3=1,y3x3=2,x1,x2圖7.5部分決策樹x3=1x3=2在該樹中，節(jié)點“x3=1,y3”表示當x3的屬性值為1時，得到決策方案y3。由于y3已是具體的決策方案，故該節(jié)點的信息熵為0，已經為葉節(jié)點。節(jié)點“x3=2，x1,x2”的含義是“當x3的屬性值為2時，還需要考慮屬性x1,x2”，它是一個中間節(jié)點，還需要繼續(xù)擴展。至于節(jié)點“x3=2，x1,x2”，其擴展方法與上面的過程類似。通過計算可知，該節(jié)點對屬性x1和x2，其條件熵均為1。由于它對屬性x1和x2的條件熵相同，因此可以先選擇x1，也可以先選擇x2，本例是先選擇x2。依此進行下去，可得到如圖7.6所示的最終的決策樹。在該決策樹中，各節(jié)點的含義與圖7.5類似。

7.3.2決策樹學習2.ID3算法(10/11)29Sx3=1,y3x3=2,x1,x2圖7.Sx3=1,y3x3=2,x1,x2圖7.6最終的決策樹x3=1x3=21x2=1,x1x2=2,x1x1=1,y1x1=2,y2x1=1,y2x1=2,y3x2=1x2=2x1=1x1=2x1=2x1=17.3.2決策樹學習2.ID3算法(11/11)30Sx3=1,y3x3=2,x1,x2圖7.6第7章機器學習7.1機器學習的基本概念7.2記憶學習7.3歸納學習7.4解釋學習

解釋學習(Explanation-BasedLearning)是一種分析學習方法。它是在領域知識的指導下，通過對單個問題求解例子的分析來進行學習的。

7.1.1解釋學習概述7.1.2解釋的基本原理7.1.3解釋學習的基本過程7.1.4領域知識的完善性7.5神經學習31第7章機器學習7.1機器學習的基本概念31解釋學習涉及三個不同的空間：例子空間，概念空間和概念描述空間。三個空間及它們之間的關系如圖7.7所示。C1不可操作的可操作的D1D2?I1?I2?I3概念描述空間概念空間例子空間

概念描述空間是所有概念描述的集合，其中的概念描述可分為兩大類，一類是可操作的，另一類是不可操作的。所謂可操作是指一個概念描述能有效的用于識別相應概念的例子。否則是不可操作的。解釋學習的任務就是要把不可操作的概念描述轉化為可操作的概念描述。概念空間是學習過程能夠描述的所有概念的集合

例子空間是用于問題求解的例子集合

7.4.1解釋學習概述解釋學習的空間描述32解釋學習涉及三個不同的空間：例子空間，概念空間和概念模型：KBEXL

為學習系統(tǒng)KB

為領域知識庫，它是不同概念描述之間進行轉換所使用的規(guī)則集合PS

為執(zhí)行系統(tǒng)

D1

是輸入的概念描述，一般為不可操作的；D2

是學習結束時輸出的概念描述，它是可操作的。執(zhí)行過程：先由EXL接受輸入的概念描述D1，然后再根據KB中的知識對D1進行不同描述的轉換，并由PS對每個轉換結果進行測試，直到被PS所接受，即為可操作的概念描述D2為止；最后輸出D2。結果是否可操作PSD2NYEXL概念描述的轉換KBD17.4.1解釋學習概述解釋學習的模型33模型：KBEXL為學習系統(tǒng)結果是否PSD本節(jié)主要討論米切爾等人提出的解釋泛化學習方法。其基本思想：先對某一情況建立一個解釋結構，然后在對此解釋結構進行概括，獲取一般性控制知識。其一般性描述為：

已知：目標概念GC(GoalConcept)；訓練實例TE(TrainingExample)；領域理論DT(DomainTheory)；操作性標準OC(OperationalityCriterion)。求出：滿足OC的關于GC的充分概念描述。其中：目標概念GC是要學習概念的描述；訓練實例TE是為學習系統(tǒng)提供的一個實例；領域理論DT是相關領域的事實和規(guī)則，即為背景知識；操作性標準OC

用于指導學習系統(tǒng)對用來描述目標的概念進行舍取等的控制性知識。7.4.3解釋學習的基本原理34本節(jié)主要討論米切爾等人提出的解釋泛化學習方法。7.4

其任務是要證明提供給系統(tǒng)的訓練實例為什么是目標概念的一個實例。為此，系統(tǒng)應從目標開始反向推理，根據知識庫中已有的事實和規(guī)則分解目標，直到求解結束。一旦得到解，便完成了該問題的證明，同時也獲得了一個解釋結構。

例如，假設要學習的目標是“一個物體x可以安全地放置在另一個物體y的上面”。即

目標概念：Safe-to-Stack(x,y)

訓練實例（是一些描述物體obj1與obj2的事實）：On(obj1,obj2)物體1在物體2的上面Isa(obj1,book)物體1是書Isa(obj2,table)物體2是桌子Volume(obj1,1)物體1的體積是1Density(obj1,0.1)物體1的密度是0.17.4.3解釋學習的基本過程1.產生解釋結構(1/3)35其任務是要證明提供給系統(tǒng)的訓練實例為什么是目標概念的領域知識是把一個物體安全地放置在另一個物體上面的準則：﹁Fragile(y)→Safe-to-stack(x,y)如果y不是易碎的，則x可以安全地放到y(tǒng)的上面Lighter(x,y)→Safe-to-stack(x,y)如果x比y輕，則x可以安全地放到y(tǒng)的上面Volume(p,v)∧Density(p,d)∧Product(v,d,w)→Weight(p,w)如果p的體積是v、密度是d、v乘以d的積是w，則p的重量是wIs-a(p,table)→Weight(p,5)如果p是桌子，則p的重量是5Weight(p1,w1)∧Weight(p2,w2)∧Smaller(w1,w2)→Lighter(p1,p2)

如果p1的重量是w1、p2的重量是w2、w1比w2小，則p1比p2輕

其證明過程是一個由目標引導的逆向推理，最終得到的解釋樹就是該例的解釋結構（如下圖）。7.4.3解釋學習的基本過程1.產生解釋結構(2/3)36領域知識是把一個物體安全地放置在另一個物體上面Safe-to-Stack(obj1,obj2)Lighter(obj1,obj2)Weight(obj1,0.1)Weight(obj2,5)Smaller(0.1,5)Is-a(obj2,table)Volume(obj1,1)Density(obj1,0.1)Product(1,0.1,0.1)7.4.3解釋學習的基本過程1.產生解釋結構(3/3)37Safe-to-Stack(obj1,obj2)Light

這一步的主要任務是對上一步得到的解釋結構進行概括化處理，從而得到關于目標概念的一般性知識。進行概括化處理的常用方法是把常量轉換為變量，即把某些具體數據換成變量，并略去某些不重要的信息，只保留求解所必須的那些關鍵信息即可。對上圖的解釋結構進行概括化處理以后所得到的概括化解釋結構如下：

7.4.3解釋學習的基本過程2.獲取一般性控制知識(1/2)38這一步的主要任務是對上一步得到的解釋結構進行概括化Safe-to-Stack(O1,O2)Lighter(O1,O2)Weight(O1,w1)Weight(O2,5)Smaller(w1,5)Is-a(O2,table)Volume(O1,v1)Density(O1,d1)Product(v1,d1,w1)

將該解釋結構中所有的葉節(jié)點的合取作為前件，頂點的目標概念做為后件，略去解釋結構的中間部件，就可得到概括化的一般性知識：Volume(O1,v1)∧Density(O1,d1)∧Product(v1,d1,w1)∧Is-a(O2,table)∧Smaller(w1,5)→Safe-to-stack(O1,O2)7.4.3解釋學習的基本過程2.獲取一般性控制知識(2/2)39Safe-to-Stack(O1,O2)Lighter(O第7章機器學習7.1機器學習的基本概念7.2記憶學習7.3歸納學習7.4解釋學習7.5神經學習神經學習是一種基于人工神經網絡的學習方法。

7.1.1神經學習的概念7.1.2感知器學習7.1.3BP網絡學習7.1.4Hopfield網絡學習40第7章機器學習7.1機器學習的基本概念40神經生理學研究表明，人腦的神經元既是學習的基本單位，同是也是記憶的基本單位。目前，關于人腦學習和記憶機制的研究有兩大學派：化學學派：認為人腦經學習所獲得的信息是記錄在某些生物大分子之上的。例如，蛋白質、核糖核酸、神經遞質，就像遺傳信息是記錄在DNA（脫氧核糖核酸）上一樣。突觸修正學派：認為人腦學習所獲得的信息是分布在神經元之間的突觸連接上的。按照突觸修正學派的觀點，人腦的學習和記憶過程實際上是一個在訓練中完成的突觸連接權值的修正和穩(wěn)定過程。其中，學習表現為突觸連接權值的修正，記憶則表現為突觸連接權值的穩(wěn)定。突觸修正假說已成為人工神經網絡學習和記憶機制研究的心理學基礎，與此對應的權值修正學派也一直是人工神經網絡研究的主流學派。突觸修正學派認為，人工神經網絡的學習過程就是一個不斷調整網絡連接權值的過程。

7.5.1神經學習的概念1.神經學習的心理學基礎41神經生理學研究表明，人腦的神經元既是學習的基本單位，所謂學習規(guī)則可簡單地理解為學習過程中聯結權值的調整規(guī)則。按照學習規(guī)則，神經學習可分為Hebb學習、糾錯學習、競爭學習及隨機學習等。(1)Hebb學習基本思想：如果神經網絡中某一神經元同另一直接與它連接的神經元同時處于興奮狀態(tài)，那么這兩個神經元之間的連接強度將得到加強，反之應該減弱。Hebb學習對連接權值的調整可表示為：其中，wij(t+1)表示對時刻t的權值修正一次后所得到的新的權值；η是一正常量，也稱為學習因子，它取決于每次權值的修正量；xi(t)、xj(t)分別表示t時刻第i個和第j個神經元的狀態(tài)。Hebb學習規(guī)則在人工神經網絡學習中的影響比較大，但不符合生物機理。例如習慣化。

7.5.1神經學習的概念2.神經學習規(guī)則(1/3)42所謂學習規(guī)則可簡單地理解為學習過程中聯結權值的調整規(guī)(2)糾錯學習是一種有導師的學習過程，其基本思想：利用神經網絡的期望輸出與實際輸出之間的偏差作為連接權值調整的參考，并最終減少這種偏差。

最基本的誤差修正規(guī)則為：連接權值的變化與神經元希望輸出和實際輸出之差成正比。其聯結權值的計算公式為：其中，wij(t)表示時刻t的權值；wij(t+1)表示對時刻t的權值修正一次后所得到的新的權值；η是一正常量，也稱為學習因子；yj(t)為神經元j的實際輸出;dj(t)為神經元j的希望輸出；dj(t)-yj(t)表示神經元j的輸出誤差；xi(t)為第i個神經元的輸入7.5.1神經學習的概念2.神經學習規(guī)則(2/3)43(2)糾錯學習7.5.1神經學習的概念437.5.1神經學習的概念2.神經學習規(guī)則(3/3)(3)競爭學習

基本思想：網絡中某一組神經元相互競爭對外界刺激模式響應的權力，在競爭中獲勝的神經元，其連接權會向著對這一刺激模式競爭更為有利的方向發(fā)展。(4)隨機學習基本思想：結合隨機過程、概率和能量（函數）等概念來調整網絡的變量，從而使網絡的目標函數達到最大（或最?。?。他不僅可以接受能量函數減少（性能得到改善）的變化，而且還可以以某種概率分布接受使能量函數增大（性能變差）的變化。447.5.1神經學習的概念(3)競爭學習44單層感知器學習實際上是一種基于糾錯學習規(guī)則，采用迭代的思想對連接權值和閾值進行不斷調整，直到滿足結束條件為止的學習算法。假設X(k)和W(k)分別表示學習算法在第k次迭代時輸入向量和權值向量，為方便，把閾值θ作為權值向量W(k)中的第一個分量，對應地把“-1”固定地作為輸入向量X(k)中的第一個分量。即W(k)和X(k)可分別表示如下：X(k)=[-1,x1(k),x2(k),…,xn(k)]W(k)=[θ(k),w1(k),w2(k),…,wn(k)]即x0(k)=-1，w0(k)=θ(k)。單層感知器學習是一種有導師學習，它需要給出輸入樣本的期望輸出。假設一個樣本空間可以被劃分為A、B兩類。其功能函數的定義為：對屬于A類輸入樣本，其功能函數的輸出為+1，否則其輸出為-1。對應地也可將期望輸出定義為：當輸入樣本屬于A類時，其期望輸出為+1，否則為-1。7.5.2感知器學習1.單層感知器學算法習(1/2)45單層感知器學習實際上是一種基于糾錯學習規(guī)則，采用迭代單層感知器學習算法描述：(1)設t=0，初始化連接權和閾值。即給wi(0)(i=1,2,…,n)及θ(0)分別賦予一個較小的非零隨機數，作為初值。其中，wi(0)是第0次迭代時輸入向量中第i個輸入的連接權值；θ(0)是第0次迭代時輸出節(jié)點的閾值；(2)提供新的樣本輸入xi(t)(i=1,2,…,n)和期望輸出d(t)；(3)計算網絡的實際輸出：(4)若y(t)=1，不需要調整連接權值，轉(6)。否則，轉(5)調整連接權值其中，η是一個增益因子，用于控制修改速度，其值如果太大，會影響wi(t)的收斂性；如果太小，又會使wi(t)的收斂速度太慢;(6)判斷是否滿足結束條件，若滿足，算法結束；否則，將t值加1，轉(2)重新執(zhí)行。這里的結束條件一般是指wi(t)對一切樣本均穩(wěn)定不變。

如果輸入的兩類樣本是線性可分的，則該算法就一定會收斂。否則，該算法將不收斂。7.5.2感知器學習1.單層感知器學算法習(2/2)46單層感知器學習算法描述：7.5.2感知器學習46例7.3用單層感知器實現邏輯“與”運算。解：根據“與”運算的邏輯關系，可將問題轉換為：輸入向量：X1=[0,0,1,1]X2=[0,1,0,1]輸出向量：Y=[0,0,0,1]為減少算法的迭代次數，設初始連接權值和閾值取值如下：w1(0)=0.5,w2(0)=0.7,θ(0)=0.6并取增益因子η=0.4。算法的學習過程如下：設兩個輸入為x1(0)=0和x2(0)=0，其期望輸出為d(0)=0，實際輸出為：y(0)=f(w1(0)x1(0)+w2(0)x2(0)-θ(0))=f(0.5*0+0.7*0-0.6)=f(-0.6)=0實際輸出與期望輸出相同，不需要調節(jié)權值。7.5.2感知器學習2.單層感知器學的例子(1/4)47例7.3用單層感知器實現邏輯“與”運算。7.5.2再取下一組輸入：x1(0)=0和x2(0)=1，期望輸出d(0)=0，實際輸出：y(0)=f(w1(0)x1(0)+w2(0)x2(0)-θ(0))=f(0.5*0+0.7*1-0.6)=f(0.1)=1實際輸出與期望輸出不同，需要調節(jié)權值，其調整如下：

θ(1)=θ(0)+η(d(0)-y(0))*(-1)=0.6+0.4*(0-1)*(-1)=1w1(1)=w1(0)+η(d(0)-y(0))x1(0)=0.5+0.4*(0-1)*0=0.5w2(1)=w2(0)+η(d(0)-y(0))x2(0)=0.7+0.4*(0-1)*1=0.3取下一組輸入：x1(1)=1和x2(1)=0，其期望輸出為d(1)=0，實際輸出為：y(1)=f(w1(1)x1(1)+w2(1)x2(1)-θ(1))=f(0.5*1+0.3*0-1)=f(-0.51)=0實際輸出與期望輸出相同，不需要調節(jié)權值。7.5.2感知器學習2.單層感知器學的例子(2/4)48再取下一組輸入：x1(0)=0和x2(0)=1，期再取下一組輸入：x1(1)=1和x2(1)=1，其期望輸出為d(1)=1，實際輸出為：y(1)=f(w1(1)x1(1)+w2(1)x2(1)-θ(1))=f(0.5*1+0.3*1-1)=f(-0.2)=0實際輸出與期望輸出不同，需要調節(jié)權值，其調整如下：

θ(2)=θ(1)+η(d(1)-y(1))*(-1)=1+0.4*(1-0)*(-1)=0.6w1(2)=w1(1)+η(d(1)-y(1))x1(1)=0.5+0.4*(1-0)*1=0.9w2(2)=w2(1)+η(d(1)-y(1))x2(1)=0.3+0.4*(1-0)*1=0.7取下一組輸入：x1(2)=0和x2(2)=0，其期望輸出為d(2)=0，實際輸出為：y(2)=f(0.9*0+0.7*0-0.6)=f(-0.6)=0實際輸出與期望輸出相同，不需要調節(jié)權值.7.5.2感知器學習2.單層感知器學的例子(3/4)49再取下一組輸入：x1(1)=1和x2(1)=1，其期再取下一組輸入：x1(2)=0和x2(2)=1，期望輸出為d(2)=0，實際輸出為：y(2)=f(0.9*0+0.7*1-0.6)=f(0.1)=1實際輸出與期望輸出不同，需要調節(jié)權值，其調整如下：

θ(3)=θ(2)+η(d(2)-y(2))*(-1)=0.6+0.4*(0-1)*(-1)=1w1(3)=w1(2)+η(d(2)-y(2))x1(2)=0.9+0.4*(0-1)*0=0.9w2(3)=w2(2)+η(d(2)-y(2))x2(2)=0.7+0.4*(0-1)*1=0.3

實際上，由上一章關于與運算的閾值條件可知，此時的閾值和連接權值以滿足結束條件，算法可以結束。對此，可檢驗如下：對輸入：“00”有y=f(0.9*0+0.3*0-1)=f(-1)=0

對輸入：“01”有y=f(0.9*0+0.3*0.1-1)=f(-0.7)=0

對輸入：“10”有y=f(0.9*1+0.3*0-1)=f(-0.1)=0

對輸入：“11”有y=f(0.9*1+0.3*1-1)=f(0.2)=07.5.2感知器學習2.單層感知器學的例子(4/4)50再取下一組輸入：x1(2)=0和x2(2)=1，期望BP網絡學習過程是一個對給定訓練模式，利用傳播公式，沿著減小誤差的方向不斷調整網絡連接權值和閾值的過程。需要用到以下幾個符號：Oi：節(jié)點i的輸出；Ij：接點j的輸入；wij：從節(jié)點i到節(jié)點j的連接權值；θj：節(jié)點j的閾值；yk：輸出層上節(jié)點k的實際輸出；dk：輸出層上節(jié)點k的期望輸出。顯然，對隱含節(jié)點j有：

在BP算法學習過程中，可以采用如下公式計算各輸出節(jié)點的誤差：7.5.3BP網絡學習1.BP算法的傳播公式(1/5)51BP網絡學習過程是一個對給定訓練模式，利用傳播公式，連接權值的修改由下式計算：其中，wjk(t)和wjk(t+1)分別是時刻t和t+1時，從節(jié)點j到節(jié)點k的連接權值；Δwjk是連接權值的變化量。為了使連接權值能沿著E的梯度變化方向逐漸改善，網絡逐漸收斂，BP算法按如下公式計算Δwjk：

其中，η為增益因子，由下式計算：7.5.3BP網絡學習1.BP算法的傳播公式(2/5)52連接權值的修改由下式計算：7.5.3BP網絡學習52由于故有令局部梯度故有7.5.3BP網絡學習1.BP算法的傳播公式(3/5)53由于7.5.3BP網絡學習53計算時，需要區(qū)分節(jié)點k是輸出層上的節(jié)點，還是隱含層上的節(jié)點。如果節(jié)點k是輸出層上的節(jié)點，則有Ok=yk，因此由于所以7.5.3BP網絡學習1.BP算法的傳播公式(4/5)54計算時，需要區(qū)分節(jié)點k是輸出層上的節(jié)點，還是隱含層上如果節(jié)點k不是輸出層上的節(jié)點，則它是隱含層上的節(jié)點的，此時：

其中，是一個隱函數求導問題，略去推導過程，其結果為：

所以這說明，低層節(jié)點的δ值是通過上一層節(jié)點的δ值來計算的。這樣，我們就可以先計算出輸出層上的δ值，然后把它返回到較低層上，并計算出各較低層上節(jié)點的δ值。7.5.3BP網絡學習1.BP算法的傳播公式(5/5)55如果節(jié)點k不是輸出層上的節(jié)點，則它是隱含層上的節(jié)點的(1)初始化網絡及學習參數，將各節(jié)點的連接權值、閾值賦予[-1，1]區(qū)間的一個隨機數；(2)提供訓練模式，即從訓練模式集合中選出一個訓練模式送入網絡；(3)正向傳播過程，即對給定輸入模式，計算輸出模式，并將其與期望模式比較，若有誤差則執(zhí)行(4)，否則返回(2)，提供下一個訓練模式；(4)反向傳播過程，即從輸出層反向計算到第一隱含層，按以下方式逐層修正各單元的連接權值：①計算同一層單元的誤差②按下式修正連接權值和閾值對連接權值，修正公式為：對閾值，可按照連接權值的學習方式進行，只是要把閾值設想為神經元的連接權值，并假定其輸入信號總為單位值1即可。反復執(zhí)行上述修正過程，直到滿足期望的輸出模式為止。(5)返回第(2)步，對訓練模式集中的每一個訓練模式重復第(2)到第(3)步，直到訓練模式集中的每一個訓練模式都滿足期望輸出為止。7.5.3BP網絡學習1.BP網絡學習算法56(1)初始化網絡及學習參數，將各節(jié)點的連接權值、閾7.5.4Hopfield網絡學習

Hopfield網絡學習的過程實際上是一個從網絡初始狀態(tài)向其穩(wěn)定狀態(tài)過渡的過程。而網絡的穩(wěn)定性又是通過能量函數來描述的。這里主要針對離散Hopfield網絡討論其能量函數和學習算法。577.5.4Hopfield網絡學習Hopfiel離散Hopfield網絡的能量函數可定義為：式中，n是網絡中的神經元個數，wij是第i個神經元和第j個神經元之間的連接權值，且有wij=wji；vi和vj分別是第i個神經元和第j個神經元的輸出；θi是第i個神經元的閾值?？梢宰C明，當一神經元k的狀態(tài)由“0”變?yōu)椤?”時，網絡能量的變化為：此時，由于神經元k的狀態(tài)由“0”變?yōu)椤?”，因此有即ΔE<0。7.5.4Hopfield網絡學習1.Hopfield網絡的能量函數(1/3)58離散Hopfield網絡的能量函數可定義為：7.5.同理可證，若神經元k的狀態(tài)由“1”變?yōu)椤?”時，網絡能量函數的變化為：

此時，由于神經元k的狀態(tài)由“1”變?yōu)椤?”，因此有即ΔE<0。可見，無論神經元的狀態(tài)由“0”變?yōu)椤?”，還是由“1”變?yōu)椤?”，都總有ΔE<0。它說明離散Hopfield網絡在運行中，其能量函數總是在不斷降低的，最終將趨于穩(wěn)定狀態(tài)。7.5.4Hopfield網絡學習1.Hopfield網絡的能量函數(2/3)59同理可證，若神經元k的狀態(tài)由“1”變?yōu)椤?”時，網絡7.5.4Hopfield網絡學習1.Hopfield網絡的能量函數(3/3)例7.3如圖所示的三個節(jié)點的Hopfield網絡，若給定的初始狀態(tài)為：V0={1,0,1}各節(jié)點之間的聯結權值為：w12=w21=1，w13=w31=-2，w23=w32=3各節(jié)點的閾值為

θ1=-1，θ2=2，θ3=1請計算在此狀態(tài)下的網絡能量。解：E=-(1/2)(w12v1v2+w13v1v3+w21v2v1+w23v2v3+w31v3v1+w32v3v2)+θ1v1+θ2v2+θ3v3=-(w12v1v2+w13v1v3+w23v2v3)+θ1v1+θ2v2+θ3v3=-(1×1×0+(-2)×1×1+3×0×1)+(-1)×1+2×0+1×1=2Q1Q2Q3v1v2v3w12w13w23607.5.4Hopfield網絡學習例7.3如圖所(1)設置互連權值其中，xis為S型樣例（即記憶模式）的第i個分量，它可以為1或0（或-1），樣例類別數為m，節(jié)點數為n。

(2)對未知類別的樣例初始化其中，yi(t)為節(jié)點i時刻t的輸出，yi(0)是節(jié)點的初值；xi為輸入樣本的第i個分量。

(3)迭代運算其中，函數f為閾值型。重復這一步驟，直到新的迭代不能再改變節(jié)點的輸出為止，即收斂為止。這時，各節(jié)點的輸出與輸入樣例達到最佳匹配。否則(4)轉第(2)步繼續(xù)。7.5.4Hopfield網絡學習1.Hopfield網絡學習算法61(1)設置互連權值7.5.4Hopfield網絡作業(yè)題7.9假設w1(0)=0.2,w2(0)=0.4,θ(0)=0.3,η=0.4，請用單層感知器完成邏輯或運算的學習過程。62作業(yè)題7.9假設w1(0)=0.2,w2(0第7章機器學習

學習是人類獲取知識的重要途徑和自然智能的重要標志，機器學習則是機器獲取知識的重要途徑和人工智能的重要標志。7.1機器學習的基本概念7.1.1學習和機器學習7.1.2機器學習的發(fā)展過程7.1.3學習系統(tǒng)7.1.4機器學習的主要策略7.2記憶學習7.3歸納學習7.4解釋學習7.5神經學習63第7章機器學習學習是人類獲取知識的重要途徑和自然7.1.1學習和機器學習1.學習的概念代表性觀點(1)西蒙（Simon,1983）：學習就是系統(tǒng)中的適應性變化，這種變化使系統(tǒng)在重復同樣工作或類似工作時，能夠做得更好。(2)明斯基（Minsky,1985）：學習是在人們頭腦里（心理內部）有用的變化。(3)邁克爾斯基（Michalski,1986）：學習是對經歷描述的建立和修改。一般性解釋：學習是一個有特定目的知識獲取和能力增長過程，其內在行為是獲得知識、積累經驗、發(fā)現規(guī)律等，其外部表現是改進性能、適應環(huán)境、實現自我完善等。

647.1.1學習和機器學習代表性觀點27.1.1學習和機器學習2.機器學習的概念一般性解釋機器學習就是讓機器（計算機）來模擬和實現人類的學習功能。主要研究內容認知模擬

主要目的是要通過對人類學習機理的研究和模擬，從根本上解決機器學習方面存在的種種問題。理論性分析主要目的是要從理論上探索各種可能的學習方法，并建立起獨立于具體應用領域的學習算法。面向任務的研究

主要目的是要根據特定任務的要求，建立相應的學習系統(tǒng)。

657.1.1學習和機器學習一般性解釋3神經元模型研究20世紀50年代中期到60年代初期，也被稱為機器學習的熱烈時期，最具有代表性的工作是羅森勃拉特1957年提出的感知器模型。符號概念獲取20世紀60年代中期到70年代初期。其主要研究目標是模擬人類的概念學習過程。這一階段神經學習落入低谷，稱為機器學習的冷靜時期。知識強化學習20世紀70年代中期到80年代初期。人們開始把機器學習與各種實際應用相結合，尤其是專家系統(tǒng)在知識獲取方面的需求，也有人稱這一階段為機器學習的復興時期。連接學習和混合型學習20世紀80年代中期至今。把符號學習和連接學習結合起來的混合型學習系統(tǒng)研究已成為機器學習研究的一個新的熱點。7.1.1學習和機器學習3.機器學習的發(fā)展過程66神經元模型研究7.1.1學習和機器學習47.1.3學習系統(tǒng)環(huán)境學習環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié)環(huán)境

是學習系統(tǒng)所感知到的外界信息集合，也是學習系統(tǒng)的外界來源。信息的水平（一般化程度）和質量（正確性）對學習系統(tǒng)影響較大。學習環(huán)節(jié)

對環(huán)境提供的信息進行整理、分析歸納或類比，形成知識，并將其放入知識庫。知識庫

存儲經過加工后的信息（即知識）。其表示形式是否合適非常重要。執(zhí)行環(huán)節(jié)

根據知識庫去執(zhí)行一系列任務，并將執(zhí)行結果或執(zhí)行過程中獲得的信息反饋給學習環(huán)節(jié)。學習環(huán)節(jié)再利用反饋信息對知識進行評價，進一步改善執(zhí)行環(huán)節(jié)的行為。677.1.3學習系統(tǒng)環(huán)境學習環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié)環(huán)境7.1.4機器學習的主要策略按學習策略來分類即按學習中所使用的推理方法來分，可分為記憶學習、傳授學習、演繹學習、歸納學習等。按應用領域分類專家系統(tǒng)學習、機器人學習、自然語言理解學習等。按對人類學習的模擬方式

符號主義學習、連接主義學習等。687.1.4機器學習的主要策略按學習策略來分類6第7章機器學習7.1機器學習的基本概念7.2記憶學習7.3歸納學習7.4解釋學習7.5神經學習69第7章機器學習7.1機器學習的基本概念77.2記憶學習概念記憶學習(Rotelearning)也叫死記硬背學習，是一種最基本的學習過程，它沒有足夠的能力獨立完成智能學習，但對學習系統(tǒng)來說都是十分重要的一個組成部分，原因是任何學習系統(tǒng)都必須記住它們所獲取的知識，以便將來使用。記憶學習的基本過程是：執(zhí)行元素每解決一個問題，系統(tǒng)就記住這個問題和它的解，當以后再遇到此類問題時，系統(tǒng)就不必重新進行計算，而可以直接找出原來的解去使用

707.2記憶學習記憶學習(Rotelearnin若把執(zhí)行元素比作一個函數f，由環(huán)境得到的輸入模式記為(x1,x2,…,xn)，由該輸入模式經F計算后得到的輸出模式記為(y1,y2,…,ym)，則機械學習系統(tǒng)就是要把這一輸入輸出模式對：[(x1,x2,…,xn)，(y1,y2,…,ym)]保存在知識庫中，當以后再需要計算f(x1,x2,…,xn)時，就可以直接從存儲器把(y1,y2,…,ym)檢索出來，而不需要再重新進行計算。(x1,x2,…,xn)(y1,y2,…,yn)[(x1,x2,…,xn),(y1,y2,…,yn)]f存儲輸入模式執(zhí)行函數輸出模式輸入輸出模式對機械式學習的學習模型7.2記憶學習模型71若把執(zhí)行元素比作一個函數f，由環(huán)境得到的輸入模式記7.3歸納學習

歸納學習是指以歸納推理為基礎的學習，其任務是要從關于某個概念的一系列已知的正例和反例中歸納出一個一般的概念描述。7.3.1示例學習是歸納學習的一種特例。它給學習者提供某一概念的一組正例和反例，學習者歸納出一個總的概念描述，并使這個描述適合于所有的正例，排除所有的反例。7.3.2決策樹學習

是一種以示例為基礎的歸納學習方法，也是目前最流行的歸納學習方法之一。在現有的各種決策樹學習算法中，影響較大的是ID3算法。本節(jié)主要討論決策樹的概念和決策樹學習的ID3算法。727.3歸納學習歸納學習是指以歸納推理為基礎的學按例子的來源分類①例子來源于教師的示例學習②例子來源于學習者本身的示例學習學習者明確知道自己的狀態(tài)，但完全不清楚所要獲取的概念。③例子來源于學習者以外的外部環(huán)境的示例學習例子的產生是隨機的。按例子的類型分類①僅利用正例的示例學習這種學習方法會使推出的概念的外延擴大化。②利用正例和反例的示例學習這是示例學習的一種典型方式，它用正例用來產生概念，用反例用來防止概念外延的擴大。7.3.1示例學習1.示例學習的類型73按例子的來源分類7.3.1示例學習11示例空間規(guī)則空間驗證過程解釋過程

示例空間

是我們向系統(tǒng)提供的示教例子的集合。研究問題：例子質量，搜索方法。解釋過程

是從搜索到的示例中抽象出一般性的知識的歸納過程。解釋方法：常量轉換為變量，去掉條件，增加選擇，曲線擬合等。規(guī)則空間

是事務所具有的各種規(guī)律的集合。研究問題：對空間的要求，搜索方法驗證過程

是要從示例空間中選擇新的示例，對剛剛歸納出的規(guī)則做進一步的驗證和修改。7.3.1示例學習2.示例學習的模型74示例空間規(guī)則空間驗證過程解釋過程示例空間7.3.1是指解釋過程從具體示例形成一般性知識所采用的歸納推理方法。最常用的解釋方法有以下4種：(1)把常量轉換為變量把示例中的常量換成變量而得到一個一般性的規(guī)則。(2)去掉條件把示例中的某些無關的子條件舍去。(3)增加選擇在析取條件中增加一個新的析取項。常用的增加析取項的方法有前件析取法和內部析取法兩種(4)曲線擬合對數值問題的歸納可采用最小二乘法進行曲線擬合7.3.1示例學習3.示例學習的解釋方法(1/5)75是指解釋過程從具體示例形成一般性知識所采用的歸納推理例：假設例子空間中有以下兩個關于撲克牌中“同花”概念的示例：

示例1：花色(c1，梅花)∧花色(c2，梅花)∧花色(c3，梅花)∧花色(c4，梅花)∧花色(c5，梅花)→同花(c1,c2,c3,c4,c5)示例2：花色(c1，紅桃)∧花色(c2，紅桃)∧花色(c3，紅桃)∧花色(c4，紅桃)∧花色(c5，紅桃)→同花(c1,c2,c3,c4,c5)其中，示例1表示5張梅花牌是同花，示例2表示5張紅桃牌是同花。解釋過程：(1)把常量化為變量

例如，對這兩個示例，只要把“梅花”和“紅桃”用變量x代換，就可得到如下一般性的規(guī)則：規(guī)則1：花色(c1，x)∧花色(c2，x)∧花色(c3，x)∧花色(c4，x)∧花色(c5，x)→同花(c1,c2,c3,c4,c5)7.3.1示例學習3.示例學習的解釋方法(2/5)76例：假設例子空間中有以下兩個關于撲克牌中“同花”概念(2)去掉條件

這種方法是要把示例中的某些無關的子條件舍去。例如，有如下示例：示例3：花色(c1,紅桃)∧點數(c1，2)∧花色(c2,紅桃)∧點數(c2，3)∧花色(c3,紅桃)∧點數(c3，4)∧花色(c4,紅桃)∧點數(c4，5)∧花色(c5,紅桃)∧點數(c5，6)→同花(c1,c2,c3,c4,c5)7.3.1示例學習3.示例學習的解釋方法(3/5)為了學習同花的概念，除了需要把常量變?yōu)樽兞客?，還需要把與花色無關的“點數”子條件舍去。這樣也可得到上述規(guī)則1：規(guī)則1：花色(c1，x)∧花色(c2，x)∧花色(c3，x)∧花色(c4，x)∧花色(c5，x)→同花(c1,c2,c3,c4,c5)77(2)去掉條件7.3.1示例學習為了學習7.3.1示例學習3.示例學習的解釋方法(4/5)

(3)增加選擇在析取條件中增加一個新的析取項。包括前件析取法和內部析取法。前件析取法：是通過對示例的前件的析取來形成知識的。例如：

示例4：點數(c1,J)→臉(c1)

示例5：點數(c1,Q)→臉(c1)

示例6：點數(c1,K)→臉(c1)將各示例的前件進行析取，就可得到所要求的規(guī)則：規(guī)則2：點數(c1,J)∨點數(c1,Q)∨點數(c1,K)→臉(c1)內部析取法：是在示例的表示中使用集合與集合的成員關系來形成知識的。例如，有如下關于“臉牌”的示例：

示例7：點數c1∈{J}→臉(c1)

示例8：點數c1∈{Q}→臉(c1)

示例9：點數c1∈{K}→臉(c1)用內部析取法，可得到如下規(guī)則：

規(guī)則3：點數(c1)∈{J,Q,K}→臉(c1)787.3.1示例學習(3)增加選擇16

(4)曲線擬合

對數值問題的歸納可采用曲線擬合法。假設示例空間中的每個示例(x,y,z)都是輸入x,y與輸出z之間關系