機(jī)器學(xué)習(xí)與知識(shí)發(fā)現(xiàn)

第四篇學(xué)習(xí)與發(fā)現(xiàn)學(xué)習(xí)是系統(tǒng)積累經(jīng)驗(yàn)或運(yùn)用規(guī)律指導(dǎo)自己的行為或改進(jìn)自身性能的過程。發(fā)現(xiàn)是系統(tǒng)從接收的信息中發(fā)現(xiàn)規(guī)律的過程。人工智能中的機(jī)器學(xué)習(xí)(machinelearning)主要指機(jī)器對(duì)自身行為的修正或性能的改善〔類似于人類的技能訓(xùn)練和對(duì)環(huán)境的適應(yīng)〕和機(jī)器對(duì)客觀規(guī)律的發(fā)現(xiàn)〔類似與人類的科學(xué)發(fā)現(xiàn)〕。1/18/20241機(jī)器學(xué)習(xí)主要分為符號(hào)學(xué)習(xí)連接學(xué)習(xí)統(tǒng)計(jì)學(xué)習(xí)機(jī)器對(duì)于客觀規(guī)律的發(fā)現(xiàn)，也稱為知識(shí)發(fā)現(xiàn)(KnowledgeDiscovery,KD)。數(shù)據(jù)挖掘(DataMining)是知識(shí)發(fā)現(xiàn)的一個(gè)重要研究和應(yīng)用領(lǐng)域。目前的機(jī)器學(xué)習(xí)主要是機(jī)器的直接發(fā)現(xiàn)性學(xué)習(xí)，而間接性繼承機(jī)器學(xué)習(xí)需要“理解〞為根底。1/18/20242

第9章機(jī)器學(xué)習(xí)與知識(shí)發(fā)現(xiàn)

9.1機(jī)器學(xué)習(xí)概述

9.2符號(hào)學(xué)習(xí)

9.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

9.4知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘1/18/202439.1機(jī)器學(xué)習(xí)概述9.1.1機(jī)器學(xué)習(xí)的概念9.1.2機(jī)器學(xué)習(xí)的原理9.1.3機(jī)器學(xué)習(xí)的分類1/18/202449.1.1機(jī)器學(xué)習(xí)的概念心理學(xué)中對(duì)學(xué)習(xí)的解釋是：學(xué)習(xí)是指〔人或動(dòng)物〕依靠經(jīng)驗(yàn)的獲得而使行為持久變化的過程。Simon認(rèn)為：如果一個(gè)系統(tǒng)能夠通過執(zhí)行某種過程而改進(jìn)它的性能，這就是學(xué)習(xí)。Minsky認(rèn)為：學(xué)習(xí)是在人們頭腦中〔心理內(nèi)部〕進(jìn)行有用的變化。TomM.Mitchell在《機(jī)器學(xué)習(xí)》一書中對(duì)學(xué)習(xí)的定義是：對(duì)于某類任務(wù)T和性能度P，如果一個(gè)計(jì)算機(jī)程序在T上以P衡量的性能隨著經(jīng)驗(yàn)E而自我完善，那么，我們稱這個(gè)計(jì)算機(jī)程序從經(jīng)驗(yàn)E中學(xué)習(xí)。當(dāng)前關(guān)于機(jī)器學(xué)習(xí)的許多文獻(xiàn)中也大都認(rèn)為：學(xué)習(xí)是系統(tǒng)積累經(jīng)驗(yàn)以改善其自身性能的過程。1/18/20245總之：①學(xué)習(xí)與經(jīng)驗(yàn)有關(guān)；②學(xué)習(xí)可以改善系統(tǒng)性能；③學(xué)習(xí)是一個(gè)有反響的信息處理與控制過程。因?yàn)榻?jīng)驗(yàn)是在系統(tǒng)與環(huán)境的交互過程中產(chǎn)生的，而經(jīng)驗(yàn)中應(yīng)該包含系統(tǒng)輸入、響應(yīng)和效果等信息。因此經(jīng)驗(yàn)的積累、性能的完善正是通過重復(fù)這一過程而實(shí)現(xiàn)的。1/18/202469.1.2機(jī)器學(xué)習(xí)的原理圖9-1機(jī)器學(xué)習(xí)原理1②③①記憶學(xué)習(xí)、基于范例的學(xué)習(xí)希望能在積累的經(jīng)驗(yàn)中發(fā)現(xiàn)規(guī)律〔知識(shí)〕，然后利用知識(shí)來指導(dǎo)行為經(jīng)驗(yàn)積累過程緩慢經(jīng)驗(yàn)不可靠1/18/20247圖9-2機(jī)器學(xué)習(xí)原理2

1/18/20248圖9-3機(jī)器學(xué)習(xí)原理31/18/20249圖9-4機(jī)器學(xué)習(xí)原理41/18/202410圖9-5機(jī)器學(xué)習(xí)原理51/18/2024119.1.3機(jī)器學(xué)習(xí)的分類1.基于學(xué)習(xí)策略的分類〔1〕模擬人腦的機(jī)器學(xué)習(xí)●符號(hào)學(xué)習(xí)：模擬人腦的宏觀心理級(jí)學(xué)習(xí)過程，以認(rèn)知心理學(xué)原理為根底，以符號(hào)數(shù)據(jù)為輸入，以符號(hào)運(yùn)算為方法，用推理過程在圖或狀態(tài)空間中搜索，學(xué)習(xí)的目標(biāo)為概念或規(guī)那么等。符號(hào)學(xué)習(xí)的典型方法有：記憶學(xué)習(xí)、例如學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等。●神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)〔或連接學(xué)習(xí)〕：模擬人腦的微觀生理級(jí)學(xué)習(xí)過程，以腦和神經(jīng)科學(xué)原理為根底，以人工神經(jīng)網(wǎng)絡(luò)為函數(shù)結(jié)構(gòu)模型，以數(shù)值數(shù)據(jù)為輸入，以數(shù)值運(yùn)算為方法，用迭代過程在系數(shù)向量空間中搜索，學(xué)習(xí)的目標(biāo)為函數(shù)。典型的連接學(xué)習(xí)有權(quán)值修正學(xué)習(xí)、拓?fù)浣Y(jié)構(gòu)學(xué)習(xí)。1/18/202412〔2〕直接采用數(shù)學(xué)方法的機(jī)器學(xué)習(xí)●主要有統(tǒng)計(jì)機(jī)器學(xué)習(xí)〔貝葉斯學(xué)習(xí)、貝葉斯網(wǎng)絡(luò)學(xué)習(xí)、幾何分類學(xué)習(xí)、支持向量機(jī)SVM〕。2.基于學(xué)習(xí)方法的分類〔1〕歸納學(xué)習(xí)●符號(hào)歸納學(xué)習(xí)：典型的符號(hào)歸納學(xué)習(xí)有例如學(xué)習(xí)，決策樹學(xué)習(xí)?！窈瘮?shù)歸納學(xué)習(xí)〔發(fā)現(xiàn)學(xué)習(xí)〕：典型的函數(shù)歸納學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、例如學(xué)習(xí)，發(fā)現(xiàn)學(xué)習(xí)，統(tǒng)計(jì)學(xué)習(xí)?！?〕演繹學(xué)習(xí)〔3〕類比學(xué)習(xí)：典型的類比學(xué)習(xí)有案例〔范例〕學(xué)習(xí)?！?〕分析學(xué)習(xí)：典型的分析學(xué)習(xí)有案例〔范例〕學(xué)習(xí)、解釋學(xué)習(xí)。1/18/2024133.基于學(xué)習(xí)方式的分類〔1〕有導(dǎo)師學(xué)習(xí)〔監(jiān)督學(xué)習(xí)〕：輸入數(shù)據(jù)中有導(dǎo)師信號(hào)，以概率函數(shù)、代數(shù)函數(shù)或人工神經(jīng)網(wǎng)絡(luò)為基函數(shù)模型，采用迭代計(jì)算方法，學(xué)習(xí)結(jié)果為函數(shù)?！?〕無導(dǎo)師學(xué)習(xí)〔非監(jiān)督學(xué)習(xí)〕：輸入數(shù)據(jù)中無導(dǎo)師信號(hào)，采用聚類方法，學(xué)習(xí)結(jié)果為類別。典型的無導(dǎo)師學(xué)習(xí)有發(fā)現(xiàn)學(xué)習(xí)、聚類、競(jìng)爭(zhēng)學(xué)習(xí)等?！?〕強(qiáng)化學(xué)習(xí)〔增強(qiáng)學(xué)習(xí)〕：以環(huán)境反響〔獎(jiǎng)/懲信號(hào)〕作為輸入，以統(tǒng)計(jì)和動(dòng)態(tài)規(guī)劃技術(shù)為指導(dǎo)的一種學(xué)習(xí)方法。1/18/2024144.基于數(shù)據(jù)形式的分類〔1〕結(jié)構(gòu)化學(xué)習(xí)：以結(jié)構(gòu)化數(shù)據(jù)為輸入，以數(shù)值計(jì)算或符號(hào)推演為方法。典型的結(jié)構(gòu)化學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、決策樹學(xué)習(xí)、規(guī)那么學(xué)習(xí)?！?〕非結(jié)構(gòu)化學(xué)習(xí)：以非結(jié)構(gòu)化數(shù)據(jù)為輸入，典型的非結(jié)構(gòu)化學(xué)習(xí)有類比學(xué)習(xí)、案例學(xué)習(xí)、解釋學(xué)習(xí)、文本挖掘、圖像挖掘、Web挖掘等。1/18/2024155.基于學(xué)習(xí)目標(biāo)的分類〔1〕概念學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果為概念，或者說是為了獲得概念的一種學(xué)習(xí)。典型的概念學(xué)習(xí)有例如學(xué)習(xí)?！?〕規(guī)那么學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果為規(guī)那么，或者說是為了獲得規(guī)那么的一種學(xué)習(xí)。典型的規(guī)那么學(xué)習(xí)有決策樹學(xué)習(xí)?！?〕函數(shù)學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果為規(guī)那么，或者說是為了獲得函數(shù)的一種學(xué)習(xí)。典型的函數(shù)學(xué)習(xí)有神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)?！?〕類別學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果為對(duì)象類，或者說是為了獲得類別的一種學(xué)習(xí)。典型的類別學(xué)習(xí)有聚類分析?！?〕貝葉斯網(wǎng)絡(luò)學(xué)習(xí)：即學(xué)習(xí)的目標(biāo)和結(jié)果是貝葉斯網(wǎng)絡(luò)，或者說是為了獲得貝葉斯網(wǎng)絡(luò)的一種學(xué)習(xí)。其又可分為結(jié)構(gòu)學(xué)習(xí)和參數(shù)學(xué)習(xí)。1/18/2024169.2符號(hào)學(xué)習(xí)9.2.1記憶學(xué)習(xí)9.2.2例如學(xué)習(xí)9.2.3決策樹學(xué)習(xí)9.2.4演繹學(xué)習(xí)9.2.5類比學(xué)習(xí)1/18/2024179.2.1記憶學(xué)習(xí)

記憶學(xué)習(xí)又稱死記硬背學(xué)習(xí)或機(jī)械學(xué)習(xí)，這種學(xué)習(xí)方法不要求系統(tǒng)具有對(duì)復(fù)雜問題求解的能力，也就是沒有推理能力，系統(tǒng)的學(xué)習(xí)方法就是直接記錄與問題有關(guān)的信息，然后檢索并利用這些存儲(chǔ)的信息來解決問題。

AAvS1/18/202418記憶學(xué)習(xí)是基于記憶和檢索的方法，學(xué)習(xí)方法簡(jiǎn)單,但學(xué)習(xí)系統(tǒng)需要幾種能力：(1)能實(shí)現(xiàn)有組織的存儲(chǔ)信息。(2)能進(jìn)行信息綜合。(3)能控制檢索方向。當(dāng)存儲(chǔ)對(duì)象愈多時(shí),其中可能有多個(gè)對(duì)象與給定的狀態(tài)有關(guān)，這樣就要求程序能從有關(guān)的存儲(chǔ)對(duì)象中進(jìn)行選擇，以便把注意力集中到有希望的方向上來。1/18/2024199.2.2例如學(xué)習(xí)例如學(xué)習(xí)也稱實(shí)例學(xué)習(xí),它是一種歸納學(xué)習(xí)。例如學(xué)習(xí)是從假設(shè)干實(shí)例(包括正例和反例)中歸納出一般概念或規(guī)那么的學(xué)習(xí)方法。圖9-6第一個(gè)拱橋的語義網(wǎng)絡(luò)圖9-7第二個(gè)拱橋的語義網(wǎng)絡(luò)1/18/202420圖9-8學(xué)習(xí)程序歸納出的語義網(wǎng)絡(luò)圖9-9拱橋概念的語義網(wǎng)絡(luò)1/18/202421例9.1假設(shè)例如空間中有橋牌中"同花"概念的兩個(gè)例如:例如1：花色(c1，梅花)∧花色(c2，梅花)∧花色(c3，梅花)∧花色(c4，梅花)→同花(c1，c2，c3，c4)例如2：花色(c1，紅桃)∧花色(c2，紅桃)∧花色(c3，紅桃)∧花色(c4，紅桃)→同花(c1，c2，c3，c4)關(guān)于同花的一般性規(guī)那么:花色(c1，x)∧花色(c2，x)∧花色(c3，x)∧花色(c4，x)→同花(c1，c2，c3，c4)1/18/202422對(duì)于這個(gè)問題可采用通常的曲線擬合技術(shù)，歸納出規(guī)那么：(x，y，2x+3y+1)即 z＝2x＋3y＋1例9.2假設(shè)例如空間存放有如下的三個(gè)例如：例如1：(0，2，7)例如2：(6，-1，10)例如3：(-1，-5，-10)這是三個(gè)3維向量，表示空間中的三個(gè)點(diǎn)?，F(xiàn)要求求出過這三點(diǎn)的曲線。1/18/2024239.2.3決策樹學(xué)習(xí)

1．什么是決策樹

2.怎樣學(xué)習(xí)決策樹

3.ID3算法

1/18/2024241．什么是決策樹決策樹(decisiontree)也稱判定樹，它是由對(duì)象的假設(shè)干屬性、屬性值和有關(guān)決策組成的一棵樹。其中的節(jié)點(diǎn)為屬性〔一般為語言變量〕，分枝〔邊〕為相應(yīng)的屬性值〔一般為語言值〕。從同一節(jié)點(diǎn)出發(fā)的各個(gè)分枝之間是邏輯“或〞關(guān)系；根節(jié)點(diǎn)為對(duì)象的某一個(gè)屬性；從根節(jié)點(diǎn)到每一個(gè)葉子節(jié)點(diǎn)的所有節(jié)點(diǎn)和邊，按順序串連成一條分枝路徑，位于同一條分枝路徑上的各個(gè)“屬性-值〞對(duì)之間是邏輯“與〞關(guān)系，葉子節(jié)點(diǎn)為這個(gè)與關(guān)系的對(duì)應(yīng)結(jié)果，即決策。1/18/202425圖9-10決策樹示意圖

規(guī)那么：A=a1且B=b1那么d11/18/202426例9.3以下圖所示是機(jī)場(chǎng)指揮臺(tái)關(guān)于飛機(jī)起飛的簡(jiǎn)單決策樹。1/18/202427例9.4以下圖是一個(gè)描述“兔子〞概念的決策樹。1/18/2024282.怎樣學(xué)習(xí)決策樹決策樹學(xué)習(xí)首先要有一個(gè)實(shí)例集。對(duì)實(shí)例集的要求：實(shí)例集中的實(shí)例都含有假設(shè)干“屬性-值〞對(duì)和一個(gè)相應(yīng)的決策、結(jié)論或結(jié)果。一個(gè)實(shí)例集中的實(shí)例要求是相容的，即相同的前提不能有不同的結(jié)論。對(duì)實(shí)例集中的結(jié)論不能完全相同也不能完全不同。否那么該實(shí)例集無學(xué)習(xí)意義。1/18/202429決策樹學(xué)習(xí)的根本方法和步驟：首先，選取一個(gè)屬性，按這個(gè)屬性的不同取值對(duì)實(shí)例集進(jìn)行分類；并以該屬性作為根節(jié)點(diǎn)，以這個(gè)屬性的諸取值作為根節(jié)點(diǎn)的分枝，進(jìn)行畫樹。然后，考察所得的每一個(gè)子類，看其中的實(shí)例的結(jié)論是否完全相同。如果完全相同，那么以這個(gè)相同的結(jié)論作為相應(yīng)分枝路徑末端的葉子節(jié)點(diǎn)；否那么，選取一個(gè)非父節(jié)點(diǎn)的屬性，按這個(gè)屬性的不同取值對(duì)該子集進(jìn)行分類，并以該屬性作為節(jié)點(diǎn)，以這個(gè)屬性的諸取值作為節(jié)點(diǎn)的分枝，繼續(xù)進(jìn)行畫樹。如此繼續(xù)，直到所分的子集全都滿足：實(shí)例結(jié)論完全相同，而得到所有的葉子節(jié)點(diǎn)為止。1/18/202430●決策樹學(xué)習(xí)舉例設(shè)表9.1所示的是某保險(xiǎn)公司的汽車駕駛保險(xiǎn)類別劃分的局部事例。我們將這張表作為一個(gè)實(shí)例集，用決策樹學(xué)習(xí)來歸納該保險(xiǎn)公司的汽車駕駛保險(xiǎn)類別劃分規(guī)那么。1/18/202431表9.1汽車駕駛保險(xiǎn)類別劃分實(shí)例集

1/18/202432將實(shí)例集簡(jiǎn)記為S={(1,C),(2,C),(3,C),(4,B),(5,A),(6,A),(7,C),(8,B),(9,A),(10,A),(11,B),(12,B)}其中每個(gè)元組表示一個(gè)實(shí)例，前面的數(shù)字為實(shí)例序號(hào)，后面的字母為實(shí)例的決策項(xiàng)保險(xiǎn)類別。用“小〞、“中〞、“大〞分別代表“＜21〞、“≥21且≤25〞、“＞25〞這三個(gè)年齡段。1/18/202433對(duì)于S，我們按屬性“性別〞的不同取值將其分類。由表9.1可見，這時(shí)S應(yīng)被分類為兩個(gè)子集：S1={(3,C),(4,B),(7,C),(8,B),(11,B),(12,B)}S2={(1,C),(2,C),(5,A),(6,A),(9,A),(10,A)}于是，我們得到以性別作為根節(jié)點(diǎn)的局部決策樹〔見以下圖〕。1/18/202434

決策樹生成過程

1/18/202435

決策樹生成過程

1/18/202436

決策樹生成過程

1/18/202437最后生成的決策樹

1/18/202438由決策樹所得的規(guī)那么集：①女性且年齡在25歲以上，那么給予A類保險(xiǎn)；②女性且年齡在21歲到25歲之間，那么給予A類保險(xiǎn)；③女性且年齡在21歲以下，那么給予C類保險(xiǎn)；④男性且年齡在25歲以上，那么給予B類保險(xiǎn)；⑤男性且年齡在21歲到25歲之間且未婚，那么給予C類保險(xiǎn)；⑥男性且年齡在21歲到25歲之間且已婚，那么給予B類保險(xiǎn)；⑦男性且年齡在21歲以下且未婚，那么給予C類保險(xiǎn)；⑧男性且年齡在21歲以下且已婚，那么給予B類保險(xiǎn)。1/18/2024393.ID3算法ID3算法是一個(gè)經(jīng)典的決策樹學(xué)習(xí)算法，由Quinlan于1979年提出。ID3算法的根本思想是，以信息熵為度量，用于決策樹節(jié)點(diǎn)的屬性選擇，每次優(yōu)先選取信息量最多的屬性，亦即能使熵值變成最小的屬性，以構(gòu)造一棵熵值下降最快的決策樹，到葉子節(jié)點(diǎn)處的熵值為0。此時(shí)，每個(gè)葉子節(jié)點(diǎn)對(duì)應(yīng)的實(shí)例集中的實(shí)例屬于同一類。1/18/202440〔1〕信息熵和條件熵設(shè)S是一個(gè)實(shí)例集(S也可以是子實(shí)例集),A為S中實(shí)例的一個(gè)屬性。H(S)和H(S|A)分別稱為實(shí)例集S的信息熵和條件熵,其計(jì)算公式如下:其中,μi(i=1,2,…,n)為S中各實(shí)例所有可能的結(jié)論；lb即log2。其中,ak(k=1,2,…,m)為屬性A的取值,Sak為按屬性A對(duì)實(shí)例集S進(jìn)行分類時(shí)所得諸子類中與屬性值ak對(duì)應(yīng)的那個(gè)子類。1/18/202441〔2〕基于條件熵的屬性選擇按性別劃分,實(shí)例集S被分為兩個(gè)子類:S男={(3,C),(4,B),(7,C),(8,B),(11,B),(12,B)}S女

={(1,C),(2,C),(5,A),(6,A),(9,A),(10,A)}從而,對(duì)子集S男而言,對(duì)子集S女而言,1/18/202442于是,由公式(9-1)有:1/18/202443又

1/18/202444將以上3式代入公式(9-2)得:用同樣的方法可求得:可見,條件熵H(S|性別)為最小,所以,應(yīng)取“性別〞這一屬性對(duì)實(shí)例集進(jìn)行分類,即以“性別〞作為決策樹的根節(jié)點(diǎn)。1/18/202445〔3〕決策樹學(xué)習(xí)的開展繼ID3算法之后，1986、1988年相繼提出ID4和ID5算法。1993年Quinlan那么進(jìn)一步將ID3開展為C4.5算法。還有著名的決策樹學(xué)習(xí)算法CART〔ClassificationandRegressionTrees〕。多變量決策樹算法GA-NN-C4.5算法SVM決策樹算法1/18/202446

9.3神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)9.3.1生物神經(jīng)元9.3.2人工神經(jīng)元9.3.3神經(jīng)網(wǎng)絡(luò)9.3.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)9.3.5BP網(wǎng)絡(luò)及其學(xué)習(xí)舉例1/18/202447生物神經(jīng)元

生物神經(jīng)元的根本結(jié)構(gòu)1/18/202448人工神經(jīng)元

人工神經(jīng)元結(jié)構(gòu)模型人工神經(jīng)元的輸入、輸出關(guān)系可描述為：

1/18/202449神經(jīng)元特性函數(shù)

1.閾值型2.S型

3.分段線性型

1/18/202450神經(jīng)元特性函數(shù)1/18/2024519.3.3神經(jīng)網(wǎng)絡(luò)1.分層前向網(wǎng)絡(luò)2.反響前向網(wǎng)絡(luò)3.互連前向網(wǎng)絡(luò)4.廣泛互連網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型1/18/202452神經(jīng)網(wǎng)絡(luò)至少可以實(shí)現(xiàn)如下功能：——數(shù)學(xué)上的映射逼近——數(shù)據(jù)聚類、壓縮通過自組織方式對(duì)所選輸入模式聚類——優(yōu)化計(jì)算和組合優(yōu)化問題求解——模式分類——概率密度函數(shù)的估計(jì)1/18/202453神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)〔訓(xùn)練〕是神經(jīng)網(wǎng)絡(luò)的重要特征之一。神經(jīng)網(wǎng)絡(luò)能夠通過學(xué)習(xí)，改變其內(nèi)部狀態(tài)，使輸入-輸出呈現(xiàn)某種規(guī)律性。網(wǎng)絡(luò)學(xué)習(xí)一般是利用一組稱為樣本的數(shù)據(jù)，作為網(wǎng)絡(luò)的輸入〔和輸出〕，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)那么〔又稱學(xué)習(xí)規(guī)那么或?qū)W習(xí)算法〕自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或拓?fù)浣Y(jié)構(gòu)，當(dāng)網(wǎng)絡(luò)的實(shí)際輸出滿足期望的要求，或者趨于穩(wěn)定時(shí)，那么認(rèn)為學(xué)習(xí)成功。學(xué)習(xí)規(guī)那么權(quán)值修正學(xué)派相關(guān)規(guī)那么〔Hebb規(guī)那么〕誤差修正規(guī)那么〔δ學(xué)習(xí)規(guī)那么〕結(jié)構(gòu)修正學(xué)派1/18/202454Hebb規(guī)那么：如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么兩個(gè)神經(jīng)元之間的連接強(qiáng)度應(yīng)該加強(qiáng)。

Wij〔t＋1〕修正一次后的某一權(quán)值η為正常量，為學(xué)習(xí)因子Xi(t),Xj(t)分別表示在t時(shí)刻i，j神經(jīng)元的狀態(tài)

1/18/202455

最根本的誤差修正規(guī)那么,即δ學(xué)習(xí)規(guī)那么：步1選擇一組初始權(quán)值Wij(0)。步2計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差。步3用下式更新權(quán)值(閾值可視為輸入恒為-1的一個(gè)權(quán)值)Wij(t＋1)=Wij(t)＋η［dj－yj(t)］xi(t)步4返回步2，直到對(duì)所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。1/18/2024562.學(xué)習(xí)方法分類

表9.2神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的常見分類

1/18/2024579.3.5BP網(wǎng)絡(luò)及其學(xué)習(xí)舉例BP(Back-Propagation)網(wǎng)絡(luò)的特點(diǎn)：(1)BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)為分層前向網(wǎng)絡(luò)。(2)神經(jīng)元的特性函數(shù)為Sigmoid型(S型)函數(shù),一般取為

(3)輸入為連續(xù)信號(hào)量(實(shí)數(shù))。(4)學(xué)習(xí)方式為有導(dǎo)師學(xué)習(xí)。(5)學(xué)習(xí)算法為推廣的δ學(xué)習(xí)規(guī)那么,稱為誤差反向傳播算法,簡(jiǎn)稱BP學(xué)習(xí)算法。1/18/202458BP網(wǎng)絡(luò)舉例1/18/202459BP學(xué)習(xí)算法：步1初始化網(wǎng)絡(luò)權(quán)值、閾值及有關(guān)參數(shù)。步2計(jì)算總誤差

其中p為樣本個(gè)數(shù)，ykj為輸出層節(jié)點(diǎn)j對(duì)第k個(gè)樣本的輸入對(duì)應(yīng)的輸出〔稱為期望輸出〕，ykj′為節(jié)點(diǎn)j的實(shí)際輸出。如果誤差E滿足要求，學(xué)習(xí)成功。步3對(duì)樣本集中各個(gè)樣本依次重復(fù)以下過程，然后轉(zhuǎn)步2。1/18/202460

首先，取一樣本數(shù)據(jù)輸入網(wǎng)絡(luò)，然后按如下公式向前計(jì)算各層節(jié)點(diǎn)(記為j)的輸出：

其次，從輸出層節(jié)點(diǎn)到輸入層節(jié)點(diǎn)以反向順序，對(duì)各連接權(quán)值wij按下面的公式進(jìn)行修正：

對(duì)于輸出節(jié)點(diǎn)對(duì)于中間節(jié)點(diǎn)1/18/202461中間層的誤差項(xiàng)：對(duì)受隱藏單元影響的誤差δl進(jìn)行加權(quán)求和，每個(gè)誤差δl權(quán)值為wlj，wlj這個(gè)就是從隱藏單元j到輸出單元l的權(quán)值，這個(gè)權(quán)值刻畫了隱藏單元j對(duì)輸出單元l的誤差應(yīng)“負(fù)責(zé)〞的程度。對(duì)每個(gè)訓(xùn)練樣例k，利用有關(guān)這個(gè)樣例的誤差Ek的梯度修正權(quán)值，對(duì)每一個(gè)訓(xùn)練樣例k，每個(gè)權(quán)被增加Δwij，即1/18/202462

算法中的δj稱為節(jié)點(diǎn)j的誤差。它的來歷如下:

令1/18/202463又當(dāng)j為輸出節(jié)點(diǎn)時(shí)：當(dāng)j為中間節(jié)點(diǎn)時(shí)1/18/202464可以看出，(9―3)式中Ek是網(wǎng)絡(luò)輸出ykj(j=1，2，…，n)的函數(shù)，而ykj又是權(quán)值wij的函數(shù)，所以，Ek實(shí)際是wij的函數(shù)。網(wǎng)絡(luò)學(xué)習(xí)的目的就是要使這個(gè)誤差函數(shù)到達(dá)最小值。(9―4)式及δ的定義，就是用梯度下降法，在權(quán)值空間沿負(fù)梯度方向調(diào)整權(quán)值wij，以使(9―3)式所示的準(zhǔn)那么函數(shù)到達(dá)最小。所以，BP網(wǎng)絡(luò)的學(xué)習(xí)過程就是一個(gè)非線性優(yōu)化過程。1/18/202465由于BP網(wǎng)絡(luò)的輸入(x1,x2,…，xn)∈Rn，輸出(y1,y2,…，ym)∈Rm，所以一個(gè)BP網(wǎng)絡(luò)其實(shí)就是一個(gè)從n維空間到m維空間的高度非線性映射。通過學(xué)習(xí)，BP網(wǎng)絡(luò)可以在任意希望的精度上逼近任意的連續(xù)函數(shù)。所以BP網(wǎng)絡(luò)可以作為一種函數(shù)估計(jì)器。BP網(wǎng)絡(luò)的相鄰兩層的節(jié)點(diǎn)之間的連接權(quán)值wij構(gòu)成一個(gè)矩陣，而輸入又是一個(gè)向量，所以，網(wǎng)絡(luò)學(xué)習(xí)中要屢次用到矩陣運(yùn)算。1/18/202466例9.5設(shè)計(jì)一個(gè)BP網(wǎng)絡(luò),對(duì)下表所示的樣本數(shù)據(jù)進(jìn)行學(xué)習(xí),使學(xué)成的網(wǎng)絡(luò)能解決類似的模式分類問題。

輸入輸出x1

x2

x3y1

y2

y30.30.80.10.70.10.30.60.60.610001