ai-7ml-p基于解釋學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹(shù)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí).第六章機(jī)器學(xué)習(xí)Machine

Learning第六章機(jī)器學(xué)習(xí)Machine

Learning

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹(shù)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí).機(jī)器學(xué)習(xí)—概述

1、 機(jī)器學(xué)習(xí)？

2、機(jī)器學(xué)習(xí)基本形式

3、機(jī)器學(xué)習(xí)學(xué)科

4、為什么要研究機(jī)器學(xué)習(xí)

5、機(jī)器學(xué)習(xí)發(fā)展歷史

6、機(jī)器學(xué)習(xí)模型

7、機(jī)器學(xué)習(xí)方法的分類(lèi)

8、機(jī)器學(xué)習(xí)研究目的機(jī)器學(xué)習(xí)—概述

1、 機(jī)器學(xué)習(xí)？

機(jī)器學(xué)習(xí)？

知識(shí)發(fā)現(xiàn)-knowledgediscovery

data mining數(shù)據(jù)挖掘

pattern

discovery

模式發(fā)現(xiàn)（模式識(shí)別）

data

dredging (撲撈)

data archeology（考古）機(jī)器學(xué)習(xí)—概述

1、機(jī)器學(xué)習(xí)？機(jī)器學(xué)習(xí)—概述

1、機(jī)器學(xué)習(xí)？

Simon（1983）：學(xué)習(xí)就是系統(tǒng)中的變化，這種變化使系統(tǒng)比以前更有效地去做同樣的工作。

Minsky (1985)：學(xué)習(xí)是在 頭腦中（心里 ）進(jìn)行有用的變化。

“利用經(jīng)驗(yàn)來(lái)改善計(jì)算機(jī)系統(tǒng)自身的性能”?！霸诓恢苯俞槍?duì)問(wèn)題進(jìn)行編

的情況下，賦予計(jì)算機(jī)學(xué)習(xí)能力的一個(gè)研究領(lǐng)域?！?/p>

是人工智能的

研究領(lǐng)域之一，

其最初的研究

是為了讓計(jì)算機(jī)系統(tǒng)具有人的學(xué)習(xí)能力以便實(shí)現(xiàn)人工智能。

學(xué)習(xí)是一種具有多視覺(jué)、多側(cè)面的現(xiàn)象。學(xué)習(xí)的過(guò)有：獲取新的陳述性知識(shí)、通過(guò)教育或?qū)嵺`掌握并發(fā)展機(jī)械技能和認(rèn)知能力、將新知識(shí)組織成為通用化和有效的表達(dá)形式、借助觀(guān)察和實(shí)驗(yàn)發(fā)現(xiàn)新的事實(shí)和新的理論。

Machine

Learning,是一門(mén)專(zhuān)門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身性能的學(xué)科。機(jī)器學(xué)習(xí)—概述

2、基本形式

知識(shí)獲取和技能求精。學(xué)習(xí)的本質(zhì)就是獲取新的知識(shí)。包括物理系統(tǒng)和行為的描述和建模，構(gòu)造客觀(guān)現(xiàn)實(shí)的表示。——知識(shí)獲取

通過(guò)實(shí)踐逐漸改造機(jī)制和認(rèn)知并掌握技能。例：學(xué)騎自行車(chē)，學(xué)游泳，學(xué)開(kāi)車(chē)等。這些技能包括意識(shí)的或機(jī)制的協(xié)調(diào)。這種改進(jìn)又是通過(guò)反復(fù)實(shí)踐和從失敗的行為中糾正偏差來(lái)進(jìn)行的。——技能求精機(jī)器學(xué)習(xí)—概述知識(shí)獲取的本質(zhì)是一個(gè)自覺(jué)的過(guò)

其結(jié)果是產(chǎn)生新的符號(hào)知識(shí)結(jié)構(gòu)和智力模型。而技能求精則是下意識(shí)地借助于反復(fù)地實(shí)踐來(lái)實(shí)現(xiàn)的。本章只涉及學(xué)習(xí)的知識(shí)獲取問(wèn)題。機(jī)器學(xué)習(xí)—概述

3、機(jī)器學(xué)習(xí)學(xué)科

早起的研究：Rosenblatt的感知機(jī)模型（1956）,Widrow的Madline(1960),Samuel的符號(hào)機(jī)器學(xué)

965），Minsky的“Perception”的專(zhuān)著（69,88）。

1983，R.S. Michalski的《機(jī)器學(xué)習(xí)：通往人工智能的途徑》

1986，Machine

Learning

雜志創(chuàng)刊，《ArtificialIn ligence》 了機(jī)器學(xué)習(xí)專(zhuān)輯

1990年，MIT

《機(jī)器學(xué)習(xí):風(fēng)范與方法》一書(shū)

1997,《Machine

Learning》,Tom

M.Mitc ,

以后迅速發(fā)展。

2000

,<Journal

of

Machine

Learning

Research>機(jī)器學(xué)習(xí)—概述.序號(hào)簡(jiǎn)稱(chēng)全稱(chēng)1AIArtificial

In

ligenceElsevierom/artificial-in

ligence/2TPAMIIEEETrans

on

Patternysis

and

MachineIn

ligenceIEEE/portal/web/tpami/home3IJCVInternational

Journal

ofComputer

VisionSpringerhttp:/

/journ

al/112634JMLRJournal

of

MachiLearning

ResearIT

Press

3、機(jī)器學(xué)習(xí)學(xué)科期刊A-人工智能與模式識(shí)別CCF機(jī)器學(xué)習(xí)—概述.

3、機(jī)器學(xué)習(xí)學(xué)科會(huì)議A-人工智能與模式識(shí)別CCF序號(hào)會(huì)議簡(jiǎn)稱(chēng)會(huì)議全稱(chēng)1AAAIAAAI

Conference

on

ArtificialAAAIInligence2CVPRIEEE

Conference

on

ComputerVision

andPattern

RecognitionIEEEpr13/3ICCVInternationalConference

onComputer

VisionIEEE4ICMLInternationalConference

onMachine

LearningACM5IJCAIInternational

Joint

Conference

onArtificial

In

ligenceMorganKaufmann機(jī)器學(xué)習(xí)—概述

3、機(jī)器學(xué)習(xí)學(xué)科

機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘

“經(jīng)驗(yàn)”在計(jì)算機(jī)系統(tǒng)中主要是以數(shù)據(jù)的形式存在的,數(shù)據(jù)庫(kù)是主要的數(shù)據(jù)源，數(shù)據(jù)挖掘因此而重要了，知識(shí)發(fā)現(xiàn)。數(shù)據(jù)挖掘就是試圖從海量數(shù)據(jù)中找出有用的知識(shí)。

如沃爾瑪公司（Wal-Mart

）“買(mǎi)尿布的人很可能會(huì)買(mǎi)啤酒”

數(shù)據(jù)挖掘又可以視為機(jī)器學(xué)習(xí)和數(shù)據(jù)庫(kù)的交叉，它主要利用機(jī)器學(xué)習(xí)界提供的技術(shù)來(lái)分析海量數(shù)據(jù)，利用數(shù)據(jù)庫(kù)界提供的技術(shù)來(lái)管理海量數(shù)據(jù)。

機(jī)器學(xué)習(xí)理論成果已在多、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)網(wǎng)絡(luò)、操作系統(tǒng)、工等眾多領(lǐng)域中發(fā)揮作用。尤其在計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理中。如十大人造（人工眼、人工耳等）。1.手指

器2.人工眼睛3.人工胰腺4.聞疾病的鼻子5.3D

打印耳朵6.微型人腦7.思想控制仿生腿、8.觸感人造手、9.在培養(yǎng)皿中跳動(dòng)的心臟、10、十大人造機(jī)器學(xué)習(xí)—概述

4、為什么要研究機(jī)器學(xué)習(xí)？

人工智能主要是為了研究人的智能，模仿其機(jī)理將其應(yīng)用于工的科學(xué)。在這個(gè)過(guò)中必然會(huì)問(wèn)道：“人類(lèi)怎樣做才能獲取這種知識(shí)（或特殊技能）？”。

很難想象一個(gè)沒(méi)有學(xué)習(xí)功能的系統(tǒng)可以稱(chēng)為智能系統(tǒng)。機(jī)器學(xué)習(xí)—概述

4、為什么要研究機(jī)器學(xué)習(xí)？

當(dāng)前人工智能研究的熱點(diǎn)之一就是機(jī)器學(xué)

習(xí)。包括學(xué)習(xí)的計(jì)算理論和構(gòu)造學(xué)習(xí)系統(tǒng)?，F(xiàn)在的人工智能系統(tǒng)還完全沒(méi)有或僅有很

有限的學(xué)習(xí)能力。

系統(tǒng)中的知識(shí)由人工編送入系統(tǒng)，知識(shí)中的錯(cuò)誤也不能自動(dòng)改正。也就是說(shuō)，現(xiàn)有的大多數(shù)人工智能是演繹的、沒(méi)有歸納推理，因而不能自動(dòng)獲取和生成知識(shí)。機(jī)器學(xué)習(xí)—概述4、為什么要研究機(jī)器學(xué)習(xí)？

未來(lái)的計(jì)算機(jī)將有自動(dòng)獲取知識(shí)的能力，它們直接由書(shū)本學(xué)習(xí)，通過(guò)與人談話(huà)學(xué)習(xí)，通過(guò)觀(guān)察學(xué)習(xí)。它們通過(guò)實(shí)踐自我完善，克服人的 少、效率低、注意力分散、難以傳送所獲取的知識(shí)等局限性。一臺(tái)計(jì)算機(jī)獲取的知識(shí)很容易 給任何其它機(jī)器（ 的移植）。難：學(xué)習(xí)后知識(shí)庫(kù)發(fā)生了什么變化，系統(tǒng)功能的變化的

。

歸納學(xué)習(xí)：現(xiàn)有的歸納推理只保證假，不保證真，歸納是從特殊到一般。演繹推理保真。而且，歸納的結(jié)論是無(wú)限多的，其中相當(dāng)多是

，給生成的知識(shí)帶來(lái)不可靠性。如“麻雀會(huì)飛”,“燕子會(huì)飛”等歸納“鳥(niǎo)會(huì)飛(鴕鳥(niǎo)不會(huì)飛)”。

“萬(wàn)有引力”歸納學(xué)習(xí)依賴(lài)于經(jīng)驗(yàn)數(shù)據(jù),因此又稱(chēng)為經(jīng)驗(yàn)學(xué)習(xí)。機(jī)器目前很難觀(guān)察什么重要、什么有意義。機(jī)器學(xué)習(xí)—概述4、為什么要研究機(jī)器學(xué)習(xí)？

實(shí)現(xiàn)的

：實(shí)現(xiàn)一個(gè)具有自主學(xué)習(xí)的系統(tǒng)，很難。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

人工智能的發(fā)展歷 看機(jī)器學(xué)習(xí)人工智能研究處于“推理期”，給機(jī)器賦予邏輯推理能力，機(jī)器就能具有智能。有A.

Newell和H.

Simon的“邏輯理論家”

序以及此后的“通用問(wèn)題求解”

序等，

“邏輯理論家” 序在1952年證明了著名數(shù)學(xué)家

（Bertrand

Russell，1872—1970）和

的名著《數(shù)學(xué)原理》中的38條定理，在1963年證明了全部的52條定理，而且定理2.85甚至比

和

證明得更巧妙。A.Newell和H.

Simon因此獲得了1975年

。

20世紀(jì)70年代中期開(kāi)始，人工智能進(jìn)入了“知識(shí)期”，E.A.

Feigenbaum作為“知識(shí)工 之父在1994年獲得了

。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

人工智能的發(fā)展歷

看機(jī)器學(xué)習(xí)

20世紀(jì)50年代，主要集中在基于神經(jīng)網(wǎng)絡(luò)的連接主義學(xué)習(xí)方面，代表性工作主要有F.Rosenblatt的感知機(jī)、B.Widrow的Adaline系統(tǒng)等，20世紀(jì)6、70年代，以決策理論為基礎(chǔ)的統(tǒng)計(jì)學(xué)習(xí)技術(shù)以及強(qiáng)化學(xué)習(xí)技術(shù)等得到發(fā)展，代表性工作有A.L.

Samuel的跳棋 序以及N.J.Nilson的“學(xué)習(xí)機(jī)器”等，20多年后紅極一時(shí)的統(tǒng)計(jì)學(xué)習(xí)理論，在這一時(shí)期，基于邏輯或圖結(jié)構(gòu)表示的符號(hào)學(xué)習(xí)技術(shù)也開(kāi)始出現(xiàn)，代表性工作有P.Winston的“結(jié)構(gòu)學(xué)習(xí)系統(tǒng)”、R.S.

Michalski等人的“基于邏輯的歸納學(xué)習(xí)系統(tǒng)”、E.B.

Hunt等人的“概念學(xué)習(xí)系統(tǒng)”等。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

人工智能的發(fā)展歷

看機(jī)器學(xué)習(xí)

“它使得任何人離任何問(wèn)題的答案之間的距離只有點(diǎn)擊一下鼠標(biāo)這么遠(yuǎn)”2004年3月，在斯坦福大學(xué)的參DARPA（國(guó)防部先進(jìn)研究計(jì)劃局）組織的自動(dòng)駕駛車(chē)輛競(jìng)賽中，，成功地在7小時(shí)內(nèi)走完了212公里路機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

神經(jīng)系統(tǒng)模型和決策理論50年

始。其特點(diǎn)是對(duì)開(kāi)始與無(wú)初始結(jié)構(gòu)和面向作業(yè)知識(shí)的通用學(xué)習(xí)系統(tǒng)感

。包括構(gòu)造多種具有隨機(jī)或部分隨機(jī)的初始結(jié)構(gòu)的基于神經(jīng)模型的機(jī)器。這些系 般稱(chēng)為神經(jīng)網(wǎng)絡(luò)或自組織系統(tǒng)。由于當(dāng)時(shí)計(jì)算機(jī)技術(shù)狀態(tài)，多停留在理論和硬件上。這些元件類(lèi)似于神經(jīng)元，他們實(shí)現(xiàn)簡(jiǎn)單的邏輯功能?！瓩C(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

神經(jīng)系統(tǒng)模型和決策理論1965年左右，神經(jīng)網(wǎng)絡(luò)經(jīng)驗(yàn)?zāi)Ｊ綄?dǎo)致了模式識(shí)別這一新學(xué)科以及機(jī)器學(xué)習(xí)的決策理論方法。這種方法中學(xué)習(xí)就是從給定的一組經(jīng)過(guò)選擇的例子中獲得判斷函數(shù)，有線(xiàn)性的、多項(xiàng)式的、或相關(guān)的形式。當(dāng)時(shí)，Samuel( 1959-1963)的跳棋序是最著名的成功的學(xué)習(xí)系統(tǒng)之一。達(dá)到了跳棋大師的水平。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

符號(hào)概念獲取1975年左右

。這類(lèi)學(xué)習(xí)過(guò)通過(guò)分析一些概念的正例和反例構(gòu)造出這些概念的符號(hào)表示。表示的形式一般是邏輯表達(dá)式、決策樹(shù)、產(chǎn)生式規(guī)則或語(yǔ)義網(wǎng)絡(luò)。代表有Winston（頓）的ARCH系統(tǒng)。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

知識(shí)加強(qiáng)和論域 學(xué)習(xí)此方法是70年代中期開(kāi)始，沿著符號(hào)主義路線(xiàn)進(jìn)行的。在原有基礎(chǔ)上逐步加強(qiáng)、側(cè)重于專(zhuān)業(yè)的 性。強(qiáng)調(diào)使用面向任務(wù)的知識(shí)和它對(duì)學(xué)習(xí)過(guò) 的引導(dǎo)作用。系統(tǒng)包括預(yù)先確定的概念、知識(shí)結(jié)構(gòu)、論域約束、啟發(fā)式規(guī)則和論域有關(guān)的變換。系統(tǒng)在開(kāi)始并不具有所有的屬性或概念，在學(xué)習(xí)過(guò) 中系統(tǒng)應(yīng)得到一些新的屬性或概念。沒(méi)有 學(xué)習(xí)方法。許多系統(tǒng)體現(xiàn)出上述途徑的組合。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（1）

機(jī)器學(xué)習(xí)已成為新的邊緣科學(xué)并在高校形成一門(mén)課它綜合應(yīng)用心理學(xué)、生物學(xué)和神經(jīng)生理學(xué)以及數(shù)學(xué)、自動(dòng)化和計(jì)算機(jī)科學(xué)形成機(jī)器學(xué)習(xí)理論基礎(chǔ)。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（2）結(jié)合各種學(xué)習(xí)方法，取長(zhǎng)補(bǔ)短的多種形式的集成學(xué)習(xí)系統(tǒng)的研究正在興起。特別是連接學(xué)習(xí)，符號(hào)學(xué)習(xí)的耦合可以更好地解決連續(xù)性信號(hào)處理中知識(shí)與技能的獲取與求精問(wèn)題而受到重視。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（3）機(jī)器學(xué)習(xí)與人工智能各種基礎(chǔ)問(wèn)題的統(tǒng)一性觀(guān)點(diǎn)正在形成。如通用問(wèn)題求解例如：學(xué)習(xí)與問(wèn)題求解結(jié)合進(jìn)行，知識(shí)表達(dá)便于學(xué)習(xí)的觀(guān)點(diǎn)產(chǎn)生了通用智能系統(tǒng)的組塊學(xué)習(xí)。類(lèi)比學(xué)習(xí)與問(wèn)題求解結(jié)合的基于案例學(xué)習(xí)已成為經(jīng)驗(yàn)學(xué)習(xí)的重要方向。機(jī)器學(xué)習(xí)—概述分析學(xué)習(xí)用于設(shè)計(jì)綜合性

系統(tǒng)。遺傳算法與強(qiáng)化學(xué)

工 控制中有較好的應(yīng)用前景。與符號(hào)系統(tǒng)耦合的神經(jīng)網(wǎng)絡(luò)連接學(xué)習(xí)將在企業(yè)的智能管理與智能機(jī)器人運(yùn)動(dòng)規(guī)劃中發(fā)揮作用。

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（4）各種學(xué)習(xí)方法的應(yīng)用范圍不斷擴(kuò)大，一部分已形成商品。歸納學(xué)習(xí)的知識(shí)獲取工具已在

分類(lèi)性

系統(tǒng)中廣泛應(yīng)用。連接學(xué) 聲、圖、文識(shí)別中占優(yōu)勢(shì)。機(jī)器學(xué)習(xí)—概述

5、發(fā)展歷史

機(jī)器學(xué)習(xí)進(jìn)入新階段的重要表現(xiàn)：（近十年）（5）與機(jī)器學(xué)習(xí)有關(guān)的學(xué)術(shù)活動(dòng)空前活躍。國(guó)際上除每年一次的機(jī)器學(xué)習(xí)研究會(huì)外，還有計(jì)算機(jī)學(xué)習(xí)理論會(huì)議及遺傳算議。機(jī)器學(xué)習(xí)

—

概述

6、機(jī)器學(xué)習(xí)模型

學(xué)習(xí)是建立理論、形成假設(shè)和進(jìn)行歸納推理的過(guò)

整個(gè)過(guò)包括：信息的、知識(shí)的處理兩部分環(huán)境學(xué)習(xí)環(huán)節(jié)知識(shí)庫(kù)執(zhí)行環(huán)節(jié)機(jī)器學(xué)習(xí)

—

概述

7、分類(lèi)：按學(xué)習(xí)策略

機(jī)械式學(xué)習(xí)，直接輸入新知識(shí)（學(xué)習(xí)）學(xué)習(xí)者不需要進(jìn)行任何推理或知識(shí)轉(zhuǎn)換，將知識(shí)直接裝進(jìn)機(jī)器中。

根據(jù)示教學(xué)習(xí)（傳授學(xué)習(xí)、指點(diǎn)學(xué)習(xí)）從老師或其它有結(jié)構(gòu)的事物獲取知識(shí)。要求學(xué)習(xí)者將輸入語(yǔ)言的知識(shí)轉(zhuǎn)換成它本身的內(nèi)部表示形式。并把新的信息和它原有的知識(shí)有機(jī)地結(jié)合為一體。……….機(jī)器學(xué)習(xí)

—

概述……….

通過(guò)類(lèi)推學(xué)習(xí)（演繹學(xué)習(xí)）學(xué)習(xí)者找出現(xiàn)有知識(shí)中所要產(chǎn)生的新概念或技能十分類(lèi)似的部分。將它們轉(zhuǎn)換或擴(kuò)大成適合新情況的形式，從而取得新的事實(shí)或技能。

從例子中學(xué)習(xí)（歸納學(xué)習(xí)）給學(xué)習(xí)者提供某一概念的一組正例和反例，學(xué)習(xí)者歸納出一個(gè)總的概念描述，使它適合于所有的正例且排除所有的反例。（目前研究較多的

法）……….而實(shí)現(xiàn)類(lèi)比機(jī)器學(xué)習(xí)

—

概述……….

類(lèi)比學(xué)習(xí)演繹學(xué)習(xí)與歸納學(xué)習(xí)的組合。匹配不同論域的描述、確定公共的結(jié)構(gòu)。以此作為類(lèi)比的基礎(chǔ)。例如對(duì)原子中的原子核認(rèn)識(shí)推廣到系行星的認(rèn)識(shí)?？傊?，尋找公共子結(jié)構(gòu)是歸納推理，是

演繹推理

。機(jī)器學(xué)習(xí)

—

概述

8、研究目的

希望得到通用的算法

研究了解學(xué)習(xí)知識(shí)的模型、認(rèn)知模型

解決實(shí)際問(wèn)題的知識(shí)庫(kù)與系統(tǒng)，達(dá)到工

目標(biāo)

研究特點(diǎn)

不可

性第六章機(jī)器學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹(shù)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第六章機(jī)器學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹(shù)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)實(shí)例學(xué)習(xí)

概述

50年代興起的實(shí)例學(xué)習(xí)是歸納學(xué)習(xí)的一種。目前實(shí)例學(xué)

某些系統(tǒng)中的應(yīng)用已成為機(jī)器學(xué)習(xí)實(shí)踐的先導(dǎo)。

環(huán)境提供給系些特殊的實(shí)例，這些實(shí)例事先由施教者劃分為正例和反例。實(shí)例學(xué)習(xí)系統(tǒng)由此進(jìn)行歸納推理得到一般規(guī)則。例如“狗”,“橋”等概念的建立。

環(huán)境提供給學(xué)習(xí)環(huán)節(jié)的正例和反例是低水平的信息，這是特殊情況下執(zhí)行環(huán)節(jié)的行為。學(xué)習(xí)環(huán)節(jié)歸納出的規(guī)則是高水平的信息，可以在一般情況下用這些規(guī)則指導(dǎo)執(zhí)行環(huán)節(jié)的工作。實(shí)例學(xué)習(xí)

實(shí)例學(xué)習(xí)的兩個(gè)空間模型例子空間規(guī)則空間選擇例子解釋例子(例化)(泛化)現(xiàn)象（實(shí)例）本質(zhì)（概念）“狗”實(shí)例學(xué)習(xí)例子空間規(guī)則空間選擇例子解釋例子(例化)取實(shí)例空間為所有的人。、(泛化)、}“

”“科學(xué)家”“中國(guó)科學(xué)家”,“？？？”,已故名人、現(xiàn)象（實(shí)例）本質(zhì)（概念）、、，正例集={

、

、反例集={遜，

，}、，實(shí)例學(xué)習(xí)－兩個(gè)空間模型例：取實(shí)例空間為所有的人。、張，正例集={

、

、

、光斗}反例集={

、

、

、，

}學(xué)到的概念可以 人”,或“科學(xué)家”,“中國(guó)科學(xué)家”，等。而中國(guó)當(dāng)代科學(xué)家，名人、已故名人、

、曾在20世紀(jì)生活過(guò)的人，等是不可能學(xué)到的。學(xué)到的概念可能是不唯一的，除非正例集和反例集加起來(lái)正好等于整個(gè)實(shí)例空間。實(shí)例學(xué)習(xí)－兩個(gè)空間模型

描述

例子空間的描述語(yǔ)言可以描述所有例子；規(guī)則空間的描述語(yǔ)言可以描述所有規(guī)則。

例如：紙牌，同花5張正例：集合{(2,c),(3,c),(5,c),(J,c),(A,c)},其中c，草花club規(guī)則：描述一手牌的全部謂詞表達(dá)式的集合。符號(hào)：SUIT(花色)，RANK（點(diǎn)數(shù)）常量：A,

2,3,…,10.

J,Q,K,

clubs(草花),diamonds(方塊),hearts（紅桃）,spades(黑桃)合取連接詞∧，存在量詞所以有規(guī)則：對(duì)c1,c2,c3,c4,c5

c1

c2

c3

c4

c5(SUIT(c1,

*)∧SUIT(c2,

*)∧SUIT(c3,

*)∧SUIT(c4,*)∧SUIT(c5,*)

)實(shí)例學(xué)習(xí)－兩個(gè)空間模型

例子空間

示教例子的質(zhì)量：不能有錯(cuò)，同時(shí)提供正例和反例，逐步分批由選擇地送入。

選擇的條件：最有力地劃分規(guī)則空間；證實(shí)肯定假設(shè)規(guī)則的集合；否定假設(shè)規(guī)則的集合。實(shí)例學(xué)習(xí)－兩個(gè)空間模型

解釋例子（泛化）

解釋例子的目的是從例子中提出用于搜索空間的信息。把示教例子變換成易于進(jìn)行符號(hào)歸納的形式。（有時(shí)很難）

例如：Winston的積木世界中的“拱”的概念。BCA實(shí)例學(xué)習(xí)－兩個(gè)空間模型

規(guī)則空間（最根本，真正學(xué)習(xí)的部分）

定義：一套符號(hào)來(lái)規(guī)定表示規(guī)則的算符、術(shù)語(yǔ)，所有的描述都在其中。

歸納方法：從特殊到一般的推理常量化為變量。從幾個(gè)正例中找到共性的部分改成變量。去掉條件。同上例。去掉牌點(diǎn)數(shù)這個(gè)條件增加選擇（析?。?。例有人臉的牌。從RANK(c1,J),RANK(c2,K)推出還有RANK(c3,Q)曲線(xiàn)擬合。幾組值，解方

或用最小二乘法擬

一條曲線(xiàn)或曲面。實(shí)例學(xué)習(xí)－兩個(gè)空間模型（規(guī)則空間）不管是去掉還是增加，都是擴(kuò)大范圍。把已有的知識(shí)總結(jié)歸納推廣。但是越快越強(qiáng)的方法越容易出錯(cuò)。原因是歸納推理方法是保假不保真。實(shí)際上沒(méi)有很?chē)?yán)格的具體方法。因此，用歸納方法的過(guò)就是搜索過(guò)找到包含在少數(shù)例子中的正確信息。歸納出錯(cuò)就要回溯。要經(jīng)常檢驗(yàn)，用新例子去否定歸納出的錯(cuò)誤規(guī)則。即解釋例子和選擇例子的反復(fù)，反復(fù)于例子空間和規(guī)則空間之間。實(shí)例學(xué)習(xí)－兩個(gè)空間模型（規(guī)則空間）

對(duì)規(guī)則空間的要求規(guī)則空間表達(dá)能力與規(guī)則空間搜索難度。

謂詞才可以增減；有狀態(tài)空間才能擬合。不同的歸納方法要求不同

的規(guī)則表示方法。如果規(guī)則空間描述的語(yǔ)言的表達(dá)能力較

弱，可以使用的歸納方法就比較少，規(guī)則空間的搜索范圍

就比較小，搜索就比較容易。但解決的問(wèn)題就較少。因此，設(shè)計(jì)是在規(guī)則空間表達(dá)能力與規(guī)則空間搜索難度之間進(jìn)行

權(quán)衡。表示與例子的一致。如相差很大，解釋例子和選擇例子的過(guò)

就很復(fù)雜。引入新術(shù)語(yǔ)（規(guī)則空間）。當(dāng)表示語(yǔ)言不能描述學(xué)習(xí)過(guò)中產(chǎn)生的新?tīng)顟B(tài)時(shí)，要產(chǎn)生新的術(shù)語(yǔ)。實(shí)例學(xué)習(xí)－兩個(gè)空間模型（規(guī)則空間）

搜索規(guī)則空間的方法最終的目的是為了搜索，先建立一個(gè)假設(shè)空間，在其中進(jìn)行搜索。搜索方法：怎樣改進(jìn)假設(shè)規(guī)則集，以便求得要求的規(guī)則。變形空間法Version-space：數(shù)據(jù)驅(qū)動(dòng)改進(jìn)假設(shè)法Hypothesis-refinement：數(shù)據(jù)驅(qū)動(dòng)產(chǎn)生與測(cè)試Generate

and

Test：模型驅(qū)動(dòng)方案示例法Schema

Instantiation：模型驅(qū)動(dòng)

選擇例子。選擇合適的例子，以能更好的搜索。實(shí)例學(xué)習(xí)

實(shí)例學(xué)習(xí)的分類(lèi)（三種分類(lèi)）搜索方法、論域、任務(wù)復(fù)雜

（1）按搜索方法分類(lèi)：變形空間法；改進(jìn)假設(shè)法；產(chǎn)生與測(cè)試法；方案示例法等等。

（2）按論域分類(lèi)：系統(tǒng)理論和模式分析數(shù)字表示：多用于電子工知識(shí)：多項(xiàng)式、矩陣；系統(tǒng)：自適應(yīng)系統(tǒng)；任務(wù)：模式分類(lèi)、自適應(yīng)控制、濾波等。符號(hào)表示：AI領(lǐng)域主要研究對(duì)象。知識(shí)：符號(hào)的特征向量、一階謂詞、產(chǎn)生式規(guī)則、語(yǔ)義網(wǎng)絡(luò)、框架理論、多項(xiàng)式等；實(shí)例學(xué)習(xí)－實(shí)例學(xué)習(xí)的分類(lèi)

（3）按任務(wù)復(fù)雜

度分類(lèi)：學(xué)習(xí)單個(gè)概念：最基本的學(xué)習(xí)多個(gè)概念：歸納出多個(gè)相互獨(dú)立的概念學(xué)習(xí)執(zhí)行多步任務(wù)：一個(gè)操作序列去完成任務(wù)，即執(zhí)行環(huán)節(jié)對(duì)任務(wù)要規(guī)劃。實(shí)例學(xué)習(xí)

學(xué)習(xí)單個(gè)概念

概念：采用謂詞邏輯的知識(shí)表示時(shí)，一個(gè)概念就是一個(gè)謂詞公式。學(xué)習(xí)單個(gè)概念就是給系個(gè)概念的若干正例和反例，系統(tǒng)由此歸納出表示這個(gè)概念的謂詞公式。

過(guò)給定：概念的表示語(yǔ)言；正例和反例尋找：一條規(guī)則。要覆蓋全部正例，可以不覆蓋全部反例。概念學(xué)習(xí)例子目標(biāo)概念：“適于運(yùn)動(dòng)員進(jìn)行水上運(yùn)動(dòng)項(xiàng)目的天氣情況”，表示為

函數(shù)EnjoySport任務(wù)目的：基于某天的有關(guān)屬性，EnjoySport函數(shù)的值任務(wù)的學(xué)習(xí)空間：樣例集，每個(gè)樣例表示為屬性的集合實(shí)例學(xué)習(xí)

目標(biāo)概念c

訓(xùn)練樣例x

訓(xùn)練樣例集D={x1,x2,...xn}

正例（yes），目標(biāo)概念成員

反例(no)，非目標(biāo)概念成員

假設(shè)h

假設(shè)（空間）集H={h1,h2...hn}機(jī)器學(xué)習(xí)的目標(biāo)就是尋找一個(gè)（組）假設(shè)h，使得對(duì)所有的訓(xùn)練樣例x，都有h(x)=c(x)

假設(shè)與概念一致實(shí)例學(xué)習(xí)-術(shù)語(yǔ)定義目標(biāo)概念EnjoySport的訓(xùn)練樣例ExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighWeakStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYesDay

5RainyWarmNormalWeakWarmChangeNo訓(xùn)練樣例集

D={Day1,Day2,...Dayn}

每個(gè)訓(xùn)練樣例

x有六個(gè)屬性實(shí)例學(xué)習(xí)實(shí)例學(xué)習(xí)

表示假設(shè)的形式

一個(gè)簡(jiǎn)單的形式，具體實(shí)例的各屬性約束的合取式

令每個(gè)假設(shè)為6個(gè)約束（或變量）的向量，每個(gè)約束對(duì)應(yīng)一個(gè)屬性可取值范圍，可以為？任意本屬性可接收的值明確指定的屬性值；如Cold，High，strong

，weak。

不接受任何值樣例都是反例，任何條件都滿(mǎn)足不了

假設(shè)的例子<?,

?,

?,

?,

?,

?><

,

,

,

,

,

>//所有的樣例都是正例，沒(méi)有指定任何條件//所有的樣例都是反例，任何條件都滿(mǎn)足不了<Sunny,Warm,?,?,?,?> //陽(yáng)光燦爛，氣溫高<Sunny,

Warm,

High,?,

?,

?><?,

Cold,

High,

?,

?,

?>//陽(yáng)光燦爛，氣溫高，濕度偏高//氣溫冷，濕度偏高EnjoySport概念學(xué)習(xí)的任務(wù)

已知

實(shí)例x每個(gè)實(shí)例x由6個(gè)屬性描述，每個(gè)屬性的取值范圍已確定

假設(shè)集H每個(gè)假設(shè)h描述為6個(gè)屬性的取值約束的合取

目標(biāo)概念c函數(shù)，變量為實(shí)例

訓(xùn)練樣例集D目標(biāo)函數(shù)（或目標(biāo)概念）的正例和反例

求解

H中的任一假設(shè)h，使對(duì)于任意實(shí)例x，h(x)=c(x)實(shí)例（歸納）學(xué)習(xí)過(guò)

實(shí)例學(xué)習(xí)

從特殊的訓(xùn)練樣例中得到普遍的規(guī)律

歸納

保證輸出的假設(shè)能與訓(xùn)練樣例相擬合

歸納假設(shè)的一個(gè)基本假定（偏置）

對(duì)于未見(jiàn)實(shí)例最好的假設(shè)就是與訓(xùn)練數(shù)據(jù)最佳擬合的假設(shè)

歸納學(xué)習(xí)假設(shè)

任一假設(shè)如果在足夠大的訓(xùn)練樣例集中很好地近目標(biāo)函數(shù)，它也能在未見(jiàn)實(shí)例中很好地近目標(biāo)函數(shù)。假設(shè)從一般到特殊的轉(zhuǎn)化

假設(shè)的一般到特殊

考慮下面兩個(gè)假設(shè)h1=<sunny,

?,

?,

Strong,

?,

?>h2=<Sunny,

?,

?,

?,

?,

?>h3=<Sunny,

?,

?,

,

?,

?>

任何被h1劃分為正例的實(shí)例都會(huì)被h2劃分為正例，因此h2比h1更一般(h1比h2更特殊)。

利用這個(gè)關(guān)系，無(wú)需列舉所有假設(shè)，就能在無(wú)限的假設(shè)空間中進(jìn)行徹底的搜索假設(shè)從一般到特殊的轉(zhuǎn)化（2）

關(guān)系“更一般”的精確定義

任給實(shí)例x和假設(shè)h，x滿(mǎn)足h，當(dāng)且僅當(dāng)h(x)=1

令hj和hk是在X上定義的 函數(shù)，稱(chēng)hj比hk更一般，當(dāng)且僅當(dāng)(xX)[(hk(x)=1)(hj(x)=1)]

記為hjmore_general_than_or_equal_tohk，或hj

g

hk顯然“g

“是一種關(guān)系中的一類(lèi)“偏序關(guān)系”。（自反、 稱(chēng)、可傳遞；在某一集合上可能存在四類(lèi)八種特殊元素）稱(chēng)性假設(shè)從一般到特殊的轉(zhuǎn)化（3）

“更一般”的嚴(yán)格情形hj

>g

hk，當(dāng)且僅當(dāng)，(hj

g

hk)

(hk

g

hj)

“更特殊”關(guān)系的定義hj

g

hk，當(dāng)且僅當(dāng)，hk

g

hj

以EnjoySport為例說(shuō)明上面的定義hk=<sunny,

?,

?,

Strong,

?,?>hj

=<Sunny,?,

?,

?,

?,

?>hj

>g

hkhk

g

hjhj

“更一般”hkhk“更特殊”hjx1x1

=<sunny,

warm,high,

Strong,

warm,

same>high,

weak,

warm,

same>x2=<

sunny,

cold,….….實(shí)例、假設(shè)與更一般實(shí)例X假設(shè)集Hx3h2h3h1x2h2“更一般”h13h

==<sunny,

?,?,

?,

?,

?>h1=<sunny,

?,?,

?,cool,

same>h2=<sunny,

?,?,

?,cool,

?>h3

“更一般”h2h3

“更一般”h1實(shí)例學(xué)習(xí)的方法Find-S算法：尋找極大特殊假設(shè)（1）

使用more_general_than偏序的搜索算法

從H中最特殊假設(shè)(最小假設(shè))開(kāi)始，然后在假設(shè)覆蓋正例失敗時(shí)將其一般化Find-S算法1.2.3.將h初始化為H中最特殊假設(shè)對(duì)每個(gè)正例x對(duì)h的每個(gè)屬性約束ai如果x滿(mǎn)足ai,那么不做任何處理否則將h中ai替換為x滿(mǎn)足的另一個(gè)更一般約束輸出假設(shè)hFind-S：尋找極大特殊假設(shè)（2）

Find-S算法在例子EnjoySport上的應(yīng)用

h<,

,

,

,

,

>最特出假設(shè)

h<Sunny,Warm,Normal,Strong,Warm,Same>

泛化

h<Sunny,Warm,?,Strong,Warm,Same>

泛化

遇到反例，h不變（因?yàn)閔已經(jīng)能夠正確地識(shí)別反例）

h<Sunny,

Warm,

?,

Strong,

?,

?>極大特殊假設(shè)ExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighStrongStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYesDay

5RainyWarmNormalWeakWarmChangeNo實(shí)例X假設(shè)集Hx2x1h0h1特殊一般x3h4x4Find-S：尋找極大特殊假設(shè)x1=<sunny,

warm,

normal,

strong,

warm,

same>,

+x2=<sunny,

warm,

high,

strong,

warm,

same>,

+x3=<rainy,

cold,

high,

strong,

warm,

change>,

-x4=<sunny,

warm,

high,

strong,

cool,

change>,

+h0=<

,

,

,

,

,

>h1=<sunny,

warm,

normal,

strong,

warm,same>h2=<sunny,

warm,

?,

strong,

warm,

same>h3=<sunny,

warm,

?,

strong,

warm,

same>h4=<sunny,

warm,

?,strong,

?,

?>h2

,h3Find-S：尋找極大特殊假設(shè)（3）

Find-S算法演示了一種利用more_general_than偏序來(lái)搜索假設(shè)空間的方法，沿著偏序鏈，從較特殊的假設(shè)逐漸轉(zhuǎn)移到較一般的假設(shè)。因此，每一步得到的假設(shè)都是在那一點(diǎn)上與訓(xùn)練樣例一致的最特殊的假設(shè)。

Find-S的重要特點(diǎn)：對(duì)以屬性約束的合取式描述的假設(shè)空間H，保證輸出為H中與正例一致的最特殊的假設(shè)。

存在的問(wèn)題?

是否收斂到了正確的目標(biāo)概念？（還有其它假設(shè)嗎？）

為什么要用最特殊的假設(shè)？（為什么不用更一般？）

訓(xùn)練樣例是否相互一致？學(xué)習(xí)方法的健壯性（數(shù)據(jù)有噪聲）

如果有多個(gè)極大特殊假設(shè)怎么辦？多概念下的學(xué)習(xí)？實(shí)例學(xué)習(xí)的方法：變型空間和候選消除算法

候選消除算法概述

概念學(xué)習(xí)的另

法，候選消除算法（Candidate-Elimination）

Find-S算法的不足，輸出的假設(shè)只是H中能夠擬合訓(xùn)練樣例的多個(gè)假設(shè)中的一個(gè)；

候選消除算法輸出與訓(xùn)練樣例一致的所有假設(shè)的集合；

候選消除算法在描述這一集合時(shí)不需要明確列舉所有成員；

利用more_general_than偏序結(jié)構(gòu)，可以 一個(gè)一致假設(shè)集合表示；

候選消除算法可用于啟發(fā)式搜索控制規(guī)則來(lái)表示;

候選消除算法的缺點(diǎn)，容錯(cuò)性能差;變型空間和候選消除算法

“一致”的定義

一個(gè)假設(shè)h與訓(xùn)練樣例集合D一致，當(dāng)且僅當(dāng)對(duì)D中每一個(gè)樣例<x,c(x)>都有h(x)=c(x)，即：Consistent(h,D)(<x,c(x)>D)h(x)=c(x)“一致”與“滿(mǎn)足”的關(guān)系；

變型(版本)空間VS（Version

Space）

與訓(xùn)練樣例一致的所有假設(shè)組成的集合

表示了目標(biāo)概念的所有合理的變型(版本)

關(guān)于H和D的變型空間，記為VSH,D，是H中與訓(xùn)練樣例D一致的所有假設(shè)構(gòu)成的子集：VSH,D={hH|Consistent(h,D)}變型空間和候選消除算法

先列表后消除法能表示變型空間的

法是列出其所有成員；

變型空間VS

包含H中所有假設(shè)的列表；

對(duì)每個(gè)訓(xùn)練樣例<x,c(x)>，從變型空間中移除所有h(x)c(x)的假設(shè)；

輸出VS中的假設(shè)列表；

優(yōu)點(diǎn)

保證得到所有與訓(xùn)練數(shù)據(jù)一致的假設(shè)；

缺點(diǎn)

非常繁瑣地列出H中的所有假設(shè)，大多數(shù)實(shí)際的假設(shè)空間無(wú)法做到。變型空間和候選消除算法

全部六個(gè)假設(shè)的變型空間變型空間及一般特殊邊界{<Sunny,

Warm,

?,

Strong,

?,

?>}S:{<Sunny,

?,

?,

?,

?,

?>,

or <?,

Warm,

?,

?,

?,

?>}G:<Sunny,?,?,Strong,?,?><Sunny,

Warm,?,?,?,?><?,Warm,?,Strong,?,?>極大一般極大特殊尋找到的極大特殊假設(shè)：h4=<sunny,

warm,

?,strong,

?,

?>S={h4,

…}G={h…}變型空間和候選消除算法

變型空間的更簡(jiǎn)潔表示

變型空間被表示為它的極大一般g和極大特殊s的成員；

這些成員形成了一般和特殊邊界的集合，這些邊界在整個(gè)偏序結(jié)構(gòu)中劃分出變型空間；gsVSH,D變型空間Version

Space訓(xùn)練例子GS更特殊更一般VSH,D變型空間方法以整個(gè)規(guī)則空間為初始的假設(shè)規(guī)則集合H,VSH,D=H。依據(jù)訓(xùn)練例子中的信息，它對(duì)集合H進(jìn)行泛化或特化處理，逐步縮小集合H。最后使H收斂為只含有要求的規(guī)則。由于被搜索的空間H逐步縮小，故稱(chēng)為變型空間。變型空間方法的初始G集是最上面的一個(gè)點(diǎn)（最一般的概念），初始S集是最下面的直線(xiàn)上的點(diǎn)（訓(xùn)練正例），初始H集是整個(gè)規(guī)則空間。在搜索過(guò)

中，G集逐步下移（進(jìn)行特例化），S

集逐步上移（進(jìn)行泛化），H

逐步縮小。最后H收斂為滿(mǎn)足要求的概念。初始變型空間(x

y)(sm

y)(lg

y)(x

squ)(x

cir)(x

tri)(sm

squ)(lg

squ)(sm

cir)(lg

cir)(sm

tri)(lg

tri)例化泛化gs第一個(gè)訓(xùn)練實(shí)例(sm

cir)(x

y)(sm

y)(lg

y)(x

squ)(x

cir)(x

tri)(sm

squ)(lg

squ)(sm

cir)(lg

cir)(sm

tri)(lg

tri)第二個(gè)訓(xùn)練實(shí)例(lg,tri)(x

y)(sm

y)(lg

y)(x

squ)(x

cir)(x

tri)(sm

squ)(lg

squ)(sm

cir)(lg

cir)(sm

tri)(lg

tri)第三個(gè)訓(xùn)練實(shí)例(lg,cir)(x

y)(sm

y)(lg

y)(x

squ)(x

cir)(x

tri)(sm

squ)(lg

squ)(sm

cir)(lg

cir)(sm

tri)(lg

tri)變型空間和候選消除算法

搜索：使用一個(gè)可能合理的假設(shè)規(guī)則的集合

H，H是規(guī)則空間的子集，是規(guī)則空間中間的一段。

H中最一般的元素組成的子集稱(chēng)為G集合，最特殊的元素組成的子集稱(chēng)為S集合。（H是上界G和下界S之間的一段。）

學(xué)習(xí)基本思想：盡可能合理的進(jìn)行特殊化和一般化處理，通過(guò)搜索減小H，找到一個(gè)假設(shè)規(guī)則。

具體方法：消除候選元素法。變型空間和候選消除算法

形式化定義

極大一般:更一般中的極大者(元)-下確界

極大特殊:更特殊中的極小者(元)-上確界

關(guān)于假設(shè)空間H和訓(xùn)練數(shù)據(jù)D的一般邊界G，是在H中與D相一致的極大一般成員的集合

關(guān)于假設(shè)空間H和訓(xùn)練數(shù)據(jù)D的特殊邊界S，是在H中與D相一致的極大特殊成員的集合變型空間和候選消除算法變型空間定理：令X為一任意的實(shí)例集合，H為X上定義的布爾假設(shè)的集合。令c:X{0,1}為X上定義的任一目標(biāo)概念，并令D為任一訓(xùn)練樣例集合{<x,c(x)>}。對(duì)所有的X,H,c,

D以及定義的S和G：VSH,D={hH|(sS)(

gG)(gghgs)}變型空間中的任意假設(shè)h一定更一般特殊邊界S而更特殊一般邊界G變型空間和候選消除算法

將G集合初始化為H中極大一般假設(shè)G0=｛<,,,,,>｝

將S集合初始化為H中極大特出假設(shè)S0=｛<?,?,?,?,?,?>｝候選消除算法（candidate-elimination

）

初始化G和S

如果d是一個(gè)正例從G中移去所有與d不一致的假設(shè)對(duì)S中每個(gè)與d不一致的假設(shè)s從S中移去s把s的所有的極小一般（泛化）式h加入到S中，其中h滿(mǎn)足h與d一致，而且G的某個(gè)成員比h更一般

如果d是一個(gè)反例從S中移去所有與d不一致的假設(shè)對(duì)G中每個(gè)與d不一致的假設(shè)g從G中移去g把g的所有的極小特殊式（例化）h加入到G中，其中h滿(mǎn)足h與d一致，而且S的某個(gè)成員比h更特殊ExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighStrongStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYes變型空間和候選消除算法算法舉例，訓(xùn)練樣例day1,day2,正例,只修改S對(duì)于樣例day1,極小一般（泛化）式h加入到S中對(duì)于樣例day2,極小一般（泛化）式h加入到S中對(duì)于樣例day1

，day2,G不做變化極大一般極大特殊{<sunny,

warm,

normal,

strong,

warm,

same>}s1s2{<sunny,

warm,

?,

strong,

warm,

same>}G1

G2{<rainy,

cold,

high,

strong,

warm,

change>}specificExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighStrongStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYes變型空間和候選消除算法訓(xùn)練樣例day3,反例,只修改G對(duì)于樣例day3,S不做修改對(duì)于樣例day3,

g的所有極小特殊式（例化）h加入到G中極大一般極大特殊{<sunny,

warm,

?,

strong,

warm,

same>}s1G3s2G2{<?,

?,

?,

?,

?,

?>}{<sunny,

?,

?,

?,

?,

?>,

<?,

warm,

?,

?,

?,

?>,

<?,

?,

?,

?,

?,

same>}ExampleOutlookAirTempHumidityWindWaterForecastEnjoySportDay

1SunnyWarmNormalStrongWarmSameYesDay

2Day

3SunnyRainyWarmColdHighHighStrongStrongWarmWarmSameChangeYesNoDay

4SunnyWarmHighStrongCoolChangeYes變型空間和候選消除算法訓(xùn)練樣例day4,正例,只修改S對(duì)于樣例day4,G不做修改對(duì)于樣例day4,極小一般（泛化）式h加入到S中{<sunny,

warm,

?,

strong,

warm,

same>

}{<sunny,

?,

?,

?,

?,

?>,

<?,

warm,

?,

?,

?,

?>,

<?,

?,

?,

?,

?,

same>}s3{<sunny,

warm,

?,

strong,

?,

?

>}s4G3{<sunny,

?,

?,

?,

?,

?>,<?,

warm,

?,

?,

?,?>

}G4極大一般極大特殊變型空間和候選消除算法學(xué)習(xí)得到的最終的變形空間{<Sunny,

Warm,

?,

Strong,

?,

?>}S:{<Sunny,

?,

?,

?,

?,

?>, <?,

Warm,

?,

?,

?,

?>，<?,

?,

?,

?,

?,

same>}G:<Sunny,?,?,Strong,?,?><Sunny,Warm,?,?,?,?><?,Warm,?,Strong,?,?>極大一般極大特殊

學(xué)習(xí)的過(guò)和結(jié)論S是規(guī)則充分條件，G是規(guī)則必要條件的集合。學(xué)習(xí)結(jié)束時(shí)找到的應(yīng)是充分必要條件。正例的主要工作是對(duì)S一般化，反例是對(duì)G特殊化。搜索的過(guò)是在例子的引導(dǎo)下，數(shù)據(jù)驅(qū)動(dòng)。遵循的是變量?jī)?yōu)先的原則。正例去掉G中不符合的概念，然后修改S,歸納出最特殊的結(jié)果,盡量少改S。反例去掉S中符合的概念，然后修改G,做特殊化得到最一般的結(jié)果,盡量少改G.GS更特殊更一般VSH,D

變形空間法的優(yōu)缺點(diǎn)：搜索空間太大，有可能引起計(jì)算

問(wèn)題（規(guī)則總地來(lái)說(shuō)是越擴(kuò)越多）性差，所有數(shù)據(jù)驅(qū)動(dòng)方法的通病。解決方法：例子一組一組地給。采用析取規(guī)則，即此算法不可能發(fā)現(xiàn)“或”的關(guān)系。歸納偏置

有關(guān)候選消除算法的幾個(gè)問(wèn)題

如果目標(biāo)概念不在假設(shè)空間中怎么辦？

是否可設(shè)計(jì)一個(gè)包含所有假設(shè)的空間來(lái)解決這一？

假設(shè)空間的大小對(duì)于算法推廣到未見(jiàn)實(shí)例的能力有什么影響？

假設(shè)空間的大小對(duì)所需訓(xùn)練樣例的數(shù)量有什么影響？歸納學(xué)習(xí)需要的預(yù)先假定，稱(chēng)為歸納偏置歸納偏置（2）

一個(gè)有偏的假設(shè)空間

在EnjoySport這個(gè)例子中，假設(shè)空間限制為只包含屬性值的合取。（肯定有偏）

因?yàn)檫@一限制，導(dǎo)致假設(shè)空間不能夠表示簡(jiǎn)單一些的析取形式的目標(biāo)概念。歸納偏置（3）無(wú)偏的學(xué)習(xí)器

為了保證目標(biāo)概念在假設(shè)空間中，需要提供一個(gè)假設(shè)空間，它能表達(dá)所有的可教授概念。換言之，它能表達(dá)實(shí)例集X的所有子集。EnjoySport的無(wú)偏形式

帶來(lái)的問(wèn)題：概念學(xué)習(xí)算法無(wú)法從訓(xùn)練樣例中泛化。

要想獲得單個(gè)目標(biāo)概念，就必須提供X中所有實(shí)例作為訓(xùn)練樣例歸納偏置（4）

無(wú)偏學(xué)習(xí)的無(wú)用性

歸納學(xué)習(xí)的一個(gè)基本屬性：學(xué)習(xí)器如果不對(duì)目標(biāo)概念的形式做預(yù)先的假定，它從根本上無(wú)法對(duì)未見(jiàn)實(shí)例進(jìn)行分類(lèi)實(shí)例學(xué)習(xí)的改進(jìn)

改進(jìn)假設(shè)方法

也是數(shù)據(jù)驅(qū)動(dòng)的方法。用改進(jìn)操作來(lái)修改規(guī)則空間中的假設(shè)。然后根據(jù)示教例子用啟發(fā)式方法選擇這些操作。

優(yōu)點(diǎn)：能發(fā)現(xiàn)實(shí)質(zhì)變量間關(guān)系

缺點(diǎn)：僅能在特殊情況下才能使用操作。變量的選樣，對(duì)例子的提供很敏感實(shí)例學(xué)習(xí)的改進(jìn)

產(chǎn)生與測(cè)試方法

模型驅(qū)動(dòng)的方法。

優(yōu)點(diǎn)：比變形空間法更快，量更少，抗干擾。即使例子中有干擾，就選覆蓋大多數(shù)例子的規(guī)則即可。

缺點(diǎn)：沒(méi)有很完善的模型指導(dǎo)修剪和結(jié)束搜索。同時(shí)，因?yàn)樾藜羲圆煌陚?，不一定能找到全部合格的概念。而且一次需要全部例子，不適合于逐步學(xué)習(xí)。實(shí)例學(xué)習(xí)的改進(jìn)

方案示例方法

模型驅(qū)動(dòng)的方法。常用于理解性任務(wù)。如：圖像、語(yǔ)音、自然語(yǔ)言理解。

優(yōu)點(diǎn)：可以很快找到要求規(guī)則， 性好

缺點(diǎn)：難以劃分出幾種方案。有的規(guī)則不能被現(xiàn)有的方案覆蓋。每個(gè)方案要專(zhuān)門(mén)研究，使用不同的解釋方法。實(shí)例學(xué)

結(jié)

概念學(xué)習(xí)可看作搜索預(yù)定義潛在假設(shè)空間的過(guò)

假設(shè)的一般到特殊偏序結(jié)構(gòu)可以定義在任何概念學(xué)習(xí)問(wèn)題中，這種結(jié)構(gòu)便于假設(shè)空間的搜索；

Find-S算法使用一般到特殊序關(guān)系，在偏序結(jié)構(gòu)的一個(gè)分支上執(zhí)行一般到特殊搜索，尋找一個(gè)與樣例一致的最特殊假設(shè)；

候選消除算法利用一般到特殊的過(guò)通過(guò)漸進(jìn)地計(jì)算極大特殊假設(shè)集合S和極大一般假設(shè)集合G發(fā)現(xiàn)變型空間；

候選消除算法缺少健壯性；

歸納學(xué)習(xí)算法隱含了歸納偏置，候選消除算法的偏置是：目標(biāo)概念可以在假設(shè)空間中找到-所以又稱(chēng)限定偏置。輸出的假設(shè)和對(duì)新實(shí)例的分類(lèi)可由歸納偏置和訓(xùn)練樣例演繹推出。第六章機(jī)器學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的學(xué)習(xí)

決策樹(shù)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第六章機(jī)器學(xué)習(xí)

概述

實(shí)例學(xué)習(xí)

基于解釋的