機器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)

1、機器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)2主要內(nèi)容概述基于符號的機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)3主要內(nèi)容概述為什么研究機器學(xué)習(xí)學(xué)習(xí)的定義機器學(xué)習(xí)的定義、類型、任務(wù)、應(yīng)用和發(fā)展史機器學(xué)習(xí)系統(tǒng)的定義、基本要求基于符號的機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)4機器學(xué)習(xí) 概述機器學(xué)習(xí)（Machine Learning）是一門研究計算機如何模擬人類學(xué)習(xí)活動、自動獲取知識的一門學(xué)科，是知識工程的三個分支之一，也是人工智能的個重要研究領(lǐng)域知識工程的三個分支獲取知識表示知識使用知識5機器學(xué)習(xí) 概述為什么研究及其學(xué)習(xí)？必要性當(dāng)前AI研究的主要障礙和發(fā)展方向之一就是機器學(xué)習(xí)，現(xiàn)在的人工智能系統(tǒng)還完全沒有或僅有很有限的學(xué)習(xí)能力系統(tǒng)中的知識人工編程送入系統(tǒng)，有錯誤也

2、不能自動改正現(xiàn)有大多數(shù)人工智能是演繹的、沒有歸納推理，不能自動獲取和生成知識可行性人工智能發(fā)展了很多年，也有一些成果，為機器學(xué)習(xí)研究提供了基礎(chǔ)6機器學(xué)習(xí) 概述爭論：機器的能力是否能超過人的能力？否定意見：機器是人造的，其性能和動作完全是由設(shè)計者來規(guī)定的，因此無論如何其能力也不會超過設(shè)計者本人肯定意見：對具備學(xué)習(xí)能力的機器而言，它的能力在應(yīng)用中不斷地提高，過一段時間以后，設(shè)計者本人也不知他的能力到了何種水平這就是機器學(xué)習(xí)的不可預(yù)測問題7機器學(xué)習(xí) 概述機器學(xué)習(xí)的不可預(yù)測問題如果用這種系統(tǒng)解決重要問題，可能產(chǎn)生意外困難或危險必須設(shè)計新的有自適應(yīng)能力的系統(tǒng)：用于安排測試過程來審查學(xué)習(xí)系統(tǒng)產(chǎn)生的知識須具

3、有與被監(jiān)測系統(tǒng)相當(dāng)?shù)膶W(xué)習(xí)能力，才能跟隨系統(tǒng)知識的變化，完成實時的檢測監(jiān)測系統(tǒng)本身的變化如何了解、控制？8Three laws of Robotics(1)機器人行為準則科幻小說家阿西莫夫在其機器人相關(guān)作品中提出第一法則：機器人不得傷害人類，或袖手旁觀坐視人類受到傷害第二法則：除非違背第一法則，機器人必須服從人類的命令第三法則：在不違背第一及第二法則下，機器人必須保護自己9Three laws of Robotics(2)三大法則擴張為四大法則1985年，機器人與帝國，阿西莫夫第零法則：機器人不得傷害人類整體，或袖手旁觀坐視人類整體受到傷害第一法則：除非違背第零法則，機器人不得傷害人類，或袖手旁

4、觀坐視人類受到傷害第二法則：除非違背第零或第一法則，機器人必須服從人類的命令第三法則：在不違背第零至第二法則下，機器人必須保護自己10Three laws of Robotics(3)羅杰克拉克添加了以下的定律：元定律：機器人可以什么也不做，除非它的行動符合機器人學(xué)定律。此定律置于第零、第一、第二、第三定律之前第四定律：機器人必須履行內(nèi)置程序所賦予的責(zé)任，除非這與其他高階的定律沖突繁殖定律：機器人不得參與機器人的設(shè)計和制造，除非新的機器人的行動服從機器人學(xué)定律 11Three laws of Robotics(4)三定律具有一定的現(xiàn)實意義在三定律基礎(chǔ)上建立新興學(xué)科“機械倫理學(xué)”旨在研究人類和機

5、械之間的關(guān)系三定律在現(xiàn)實機器人工業(yè)中沒有應(yīng)用，但目前很多人工智能和機器人領(lǐng)域的技術(shù)專家也認同這個準則12機器學(xué)習(xí) 概述機器學(xué)習(xí)一直是AI研究的瓶頸之一，表現(xiàn)在： 預(yù)測難：學(xué)習(xí)后知識庫發(fā)生了什么變化，系統(tǒng)功能變化的預(yù)測困難 歸納推理：現(xiàn)有的歸納推理只保證假，不保證真。演繹推理保真歸納的結(jié)論是無限多的，其中相當(dāng)多是假的，給生成的知識帶來不可靠性 機器目前很難觀察什么重要、什么有意義13機器學(xué)習(xí) 概述 學(xué)習(xí)的定義什么是學(xué)習(xí)？Simon（1983）：學(xué)習(xí)就是系統(tǒng)在不斷重復(fù)的工作中對本身能力的增強或者改進，使得系統(tǒng)在下一次執(zhí)行同樣任務(wù)或相類似的任務(wù)時，會比現(xiàn)在做得更好或效率更高Minsky (1985)

6、：學(xué)習(xí)是在我們頭腦中（心里內(nèi)部）進行有用的變化Michalski (1986)：學(xué)習(xí)是對經(jīng)歷描述的建立和修改。 這些觀點不盡相同，但都包含了兩個方面知識獲?。褐斧@得知識、積累經(jīng)驗、發(fā)現(xiàn)規(guī)律等能力改善：改進性能、適應(yīng)環(huán)境、實現(xiàn)自我完善等-騎車知識獲取是學(xué)習(xí)的核心，能力改善是學(xué)習(xí)的結(jié)果學(xué)習(xí)的一般性解釋：學(xué)習(xí)是一個有特定目的的知識獲取和能力增長過程，其內(nèi)在行為是獲得知識、積累經(jīng)驗、發(fā)現(xiàn)規(guī)律等，其外部表現(xiàn)是改進性能、適應(yīng)環(huán)境、實現(xiàn)自我完善等14機器學(xué)習(xí) 概述 機器學(xué)習(xí)的定義什么是機器學(xué)習(xí)？一般性解釋機器學(xué)習(xí)就是讓機器（計算機）來模擬和實現(xiàn)人類的學(xué)習(xí)功能學(xué)科性解釋是一門研究如何利用機器模擬或?qū)崿F(xiàn)人類學(xué)習(xí)

7、功能的學(xué)科主要研究內(nèi)容認知模擬:通過對人類學(xué)習(xí)機理的研究和模擬，從根本上解決機器學(xué)習(xí)方面存在的種種問題理論性分析:從理論上探索各種可能的學(xué)習(xí)方法，并建立起獨立于具體應(yīng)用領(lǐng)域的學(xué)習(xí)算法面向任務(wù)的研究:根據(jù)特定任務(wù)的要求，建立相應(yīng)的學(xué)習(xí)系統(tǒng)15機器學(xué)習(xí) 概述 機器學(xué)習(xí)的任務(wù)機器學(xué)習(xí)的任務(wù)主要包括以下兩個方面：獲得對于輸入的數(shù)據(jù)進行分類能力如醫(yī)療診斷，信用卡業(yè)務(wù)或交易，投資，DNA序列，口語，手寫字，天文圖象等等獲得解決問題，行為計劃和行為控制等的能力如解決微分問題，下跳棋，象棋，平衡杠桿，駕車等等16機器學(xué)習(xí) 概述對系統(tǒng)學(xué)習(xí)性能進行評價的指標：分類精度：是否能夠?qū)斎氲臄?shù)據(jù)進行正確、精確的分類解答

8、的正確性和質(zhì)量：對用于分類和解決問題的系統(tǒng)都有解答正確性問題；同時正確性不一定保證有好的質(zhì)量好的質(zhì)量包括：可讀性、穩(wěn)定性等多方面的因素學(xué)習(xí)的速度：它不僅僅影響系統(tǒng)的設(shè)計，還影響系統(tǒng)的實現(xiàn)17 按機器學(xué)習(xí)的研究途徑和研究目標，機器學(xué)習(xí)劃分為以下4個階段： (1) 神經(jīng)元模型研究 20世紀50年代中期到60年代初期，也被稱為機器學(xué)習(xí)的熱烈時期，最具有代表性的工作是羅森勃拉特1957年提出的感知器模型 (2) 符號概念獲取 20世紀60年代中期到70年代初期。其主要研究目標是模擬人類的概念學(xué)習(xí)過程。這一階段神經(jīng)學(xué)習(xí)落入低谷，稱為機器學(xué)習(xí)的冷靜時期 (3) 知識強化學(xué)習(xí) 20世紀70年代中期到80年代

9、初期。人們開始把機器學(xué)習(xí)與各種實際應(yīng)用相結(jié)合，尤其是專家系統(tǒng)在知識獲取方面的需求，也有人稱這一階段為機器學(xué)習(xí)的復(fù)興時期 (4) 聯(lián)結(jié)學(xué)習(xí)和混合型學(xué)習(xí) 20世紀80年代中期至今。把符號學(xué)習(xí)和連接學(xué)習(xí)結(jié)合起來的混合型學(xué)習(xí)系統(tǒng)研究已成為機器學(xué)習(xí)研究的一個新的熱點機器學(xué)習(xí) 概述發(fā)展史18機器學(xué)習(xí) 概述應(yīng)用天氣預(yù)報搜索引擎機器學(xué)習(xí)技術(shù)支撐各類搜索引擎技術(shù)汽車的自動駕駛汽車在復(fù)雜道路行駛時，自動行駛可大大減少交通事故的發(fā)生 天文數(shù)據(jù)的分析生物技術(shù)蛋白質(zhì)片段預(yù)測，基因表達分析計算機系統(tǒng)特性預(yù)測銀行信用卡欺詐行為識別19機器學(xué)習(xí) 概述應(yīng)用字符識別手寫字識別、車牌號碼識別Web應(yīng)用網(wǎng)絡(luò)安全-入侵檢測利用這些數(shù)據(jù)

10、建立一個把正常訪問模式和入侵模式分開的模型通過檢查服務(wù)器日志等手段收集大量的網(wǎng)絡(luò)訪問數(shù)據(jù)，這些數(shù)據(jù)包含正常訪問模式和入侵模式接收到新訪問模式時，利用這個模型判斷這個模式是正常還是入侵模式，甚至判斷是何種類型的入侵20機器學(xué)習(xí) 概述應(yīng)用 美國航空航天局JPL實驗室的科學(xué)家在Science(2001年9月)上撰文指出：機器學(xué)習(xí)對科學(xué)研究的整個過程正起到越來越大的支持作用，該領(lǐng)域在今后的若干年內(nèi)將取得穩(wěn)定而快速的發(fā)展。 NASA-JPL實驗室的全名是美國航空航天局噴氣推進實驗室，位于加州理工學(xué)院，是美國尖端技術(shù)的一個重要基地，著名的“勇氣” 號和“機遇”號火星機器人正是在這個實驗室完成的。從目前公開

11、的信息來看，機器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)在這兩個火星機器人上有大量的應(yīng)用。 21機器學(xué)習(xí) 概述應(yīng)用 DARPA（國防部先進研究計劃局） ，2003年開始啟動以機器學(xué)習(xí)為核心的計劃PAL(Perceptive Assistant that Learns)。5年期，首期(1-1.5年)投資2900萬美元。包含2個子計劃：其中，CALO子計劃是整個PAL計劃的核心(2200萬)，將機器學(xué)習(xí)技術(shù)放到了國家安全的角度來考慮。美國主要大學(xué)與公司參加這個子計劃。 2004年3月，美國DARPA組織自動駕駛車輛競賽，斯坦福大學(xué)的參賽車在完全無人控制的情況下，成功地在6小時53分鐘內(nèi)走完了132英里（約212公里）的

12、路程，獲得了冠軍。比賽路段是在內(nèi)華達州西南部的山區(qū)和沙漠中，路況相當(dāng)復(fù)雜，即使有豐富駕駛經(jīng)驗的司機，在這樣的路段上行車也是一個巨大的挑戰(zhàn)。斯坦福大學(xué)參賽隊正是由一位機器學(xué)習(xí)專家所領(lǐng)導(dǎo)的，獲勝車輛也大量使用了機器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)。 22機器學(xué)習(xí) 概述機器學(xué)習(xí)系統(tǒng)薩利斯(Saris) 1973年的解釋： 如果一個系統(tǒng)能夠從某個過程和環(huán)境的未知特征中學(xué)到有關(guān)信息，并且能把學(xué)到的信息用于未來的估計、分類、決策和控制，以便改進系統(tǒng)的性能，那么它就是學(xué)習(xí)系統(tǒng)史密斯(Smith) 1977年給出的解釋： 如果一個系統(tǒng)在與環(huán)境相互作用時，能利用過去與環(huán)境作用時得到的信息，并提高其性能，那么這樣的系統(tǒng)就是學(xué)習(xí)

13、系統(tǒng)按機器學(xué)習(xí)系統(tǒng)的含義 是指能夠在一定程度上實現(xiàn)機器學(xué)習(xí)系統(tǒng)。機器學(xué)習(xí)系統(tǒng)的典型定義23機器學(xué)習(xí) 概述機器學(xué)習(xí)系統(tǒng) 機器學(xué)習(xí)系統(tǒng)的基本要求 (1)具有適當(dāng)?shù)膶W(xué)習(xí)環(huán)境 所謂學(xué)習(xí)系統(tǒng)的環(huán)境，是指學(xué)習(xí)系統(tǒng)進行學(xué)習(xí)時的信息來源。 (2) 具有一定的學(xué)習(xí)能力 環(huán)境僅是為學(xué)習(xí)系統(tǒng)提供了相應(yīng)的信息和條件，要從中學(xué)到知識，還必須有適當(dāng)?shù)膶W(xué)習(xí)方法和一定的學(xué)習(xí)能力。 (3) 夠運用所學(xué)知識求解問題 學(xué)以致用，對人這樣，對學(xué)習(xí)系統(tǒng)也是如此。 (4) 通過學(xué)習(xí)提高自身性能 提高自身性能，是學(xué)習(xí)系統(tǒng)應(yīng)該達到的最終目標。24機器學(xué)習(xí) 概述機器學(xué)習(xí)的類型按學(xué)習(xí)策略分類（按學(xué)習(xí)中使用的推理方法分類）記憶學(xué)習(xí)傳授學(xué)習(xí)演繹學(xué)習(xí)

14、歸納學(xué)習(xí) 按應(yīng)用領(lǐng)域分類專家系統(tǒng)學(xué)習(xí)機器人學(xué)習(xí)自然語言理解學(xué)習(xí)按對人類學(xué)習(xí)的模擬方式符號主義學(xué)習(xí)典型方法有記憶學(xué)習(xí)、示例學(xué)習(xí)、演繹學(xué)習(xí)、類比學(xué)習(xí)、解釋學(xué)習(xí)等連接主義學(xué)習(xí)25主要內(nèi)容概述基于符號的機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)26主要內(nèi)容概述基于符號的機器學(xué)習(xí)符號學(xué)習(xí)系統(tǒng)的基本模型記憶學(xué)習(xí)示例學(xué)習(xí)決策樹學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)27主要內(nèi)容概述基于符號的機器學(xué)習(xí)符號學(xué)習(xí)系統(tǒng)的基本模型記憶學(xué)習(xí)示例學(xué)習(xí)決策樹學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)28基于符號的機器學(xué)習(xí)符號學(xué)習(xí)模擬人腦的宏觀心理級學(xué)習(xí)過程, 以認知心理學(xué)原理為基礎(chǔ), 以符號數(shù)據(jù)為輸入, 以符號運算為方法, 用推理過程在圖或狀態(tài)空間中搜索, 學(xué)習(xí)的目標為概念或規(guī)則等典型方法有記

15、憶學(xué)習(xí)、示例學(xué)習(xí)、演繹學(xué)習(xí)、 類比學(xué)習(xí)、解釋學(xué)習(xí)等29符號學(xué)習(xí)系統(tǒng)的基本模型環(huán)境學(xué)習(xí)環(huán)節(jié)知識庫執(zhí)行環(huán)節(jié) 環(huán)境 是學(xué)習(xí)系統(tǒng)所感知到的外界信息集合，也是學(xué)習(xí)系統(tǒng)的外界來源。信息的水平（一般化程度）和質(zhì)量（正確性）對學(xué)習(xí)系統(tǒng)影響較大 學(xué)習(xí)環(huán)節(jié) 對環(huán)境提供的信息進行整理、分析歸納或類比，形成知識，并將其放入知識庫 知識庫 存儲經(jīng)過加工后的信息（即知識）。其表示形式是否合適非常重要 執(zhí)行環(huán)節(jié) 根據(jù)知識庫去執(zhí)行一系列任務(wù)，并將執(zhí)行結(jié)果或執(zhí)行過程中獲得的信息反饋給學(xué)習(xí)環(huán)節(jié)。學(xué)習(xí)環(huán)節(jié)再利用反饋信息對知識進行評價，進一步改善執(zhí)行環(huán)節(jié)的行為30主要內(nèi)容概述基于符號的機器學(xué)習(xí)符號學(xué)習(xí)系統(tǒng)的基本模型記憶學(xué)習(xí)示例學(xué)習(xí)決

16、策樹學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)31記憶學(xué)習(xí) 也叫死記硬背學(xué)習(xí)，其基本過程是每當(dāng)系統(tǒng)解決一個問題時，系統(tǒng)就記住這個問題和它的解，當(dāng)以后再遇到此類問題時，不必重新計算，直接找出原來的解即可。記憶學(xué)習(xí)的基本模型如下：(x1,x2,xn)(y1,y2,yn)(x1,x2,xn),(y1,y2,yn)f存儲輸入模式執(zhí)行函數(shù)輸出模式輸入輸出模式對 執(zhí)行函數(shù) f 是記憶學(xué)習(xí)系統(tǒng)的核心，若將由環(huán)境得到的輸入模式記為(x1,x2,xn)，f 的作用就是要對該輸入模式進行計算，得到其對應(yīng)的輸出模式(y1,y2,ym) 。即如下輸入/輸出模式對： (x1,x2,xn) ，(y1,y2,ym) 然后，由系統(tǒng)將這一輸入/輸出模式

17、對保存到知識庫中，當(dāng)以后再遇見輸入模式(x1,x2,xn)時，就可以直接從存儲器中把(y1,y2,ym)檢索出來，而不需要重新進行計算32主要內(nèi)容概述基于符號的機器學(xué)習(xí)符號學(xué)習(xí)系統(tǒng)的基本模型記憶學(xué)習(xí)示例學(xué)習(xí)決策樹學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)33示例學(xué)習(xí)也稱實例學(xué)習(xí)有導(dǎo)師的歸納學(xué)習(xí)任務(wù)從概念的一組正例和反例中歸納出一個一般性的概念描述，使之適合所有正例，排除所有反例34示例學(xué)習(xí)類型按例子的來源分類例子來源于教師例子來源于學(xué)習(xí)者本身學(xué)習(xí)者明確知道自己的狀態(tài)，但完全不清楚所要獲取的概念例子來源于學(xué)習(xí)者以外的外部環(huán)境例子的產(chǎn)生是隨機的按例子的類型分類僅利用正例該學(xué)習(xí)方法會使推出的概念的外延擴大化利用正例和反例示例

18、學(xué)習(xí)的典型方式，用正例產(chǎn)生概念，用反例防止概念外延的擴大35示例學(xué)習(xí)模型示例空間向系統(tǒng)提供的示教例子的集合研究問題：例子質(zhì)量，搜索方法歸納過程從搜索到的示例中抽象出一般性的知識的歸納過程歸納方法：常量轉(zhuǎn)換為變量，去掉條件，增加選擇，曲線擬合等規(guī)則空間事務(wù)所具有的各種規(guī)律的集合。研究問題：對空間的要求，搜索方法驗證過程從示例空間中選擇新的示例，對剛歸納出的規(guī)則做進一步驗證修改示例空間規(guī)則空間驗證過程歸納過程36示例學(xué)習(xí)兩空間模型的學(xué)習(xí)過程為示例空間提供足夠多的示教例子解釋過程對例子歸納，抽象出一般性知識，放入規(guī)則空間驗證過程利用示例空間的例子對這個知識的正確性驗證不正確，再到示例空間獲取實例，并

19、對剛形成的知識修正重復(fù)上述循環(huán)示例空間規(guī)則空間驗證過程歸納過程37示例學(xué)習(xí)歸納方法把常量化為變量 把示例中的常量換成相應(yīng)的變量即可得到一個一般性的規(guī)則 假設(shè)例子空間中有以下兩個關(guān)于撲克牌中“同花”概念的示例： 示例1：花色(c1，梅花) 花色(c2，梅花) 花色(c3，梅花) 花色(c4，梅花) 花色(c5，梅花) 同花(c1, c2, c3, c4, c5) 示例2：花色(c1，紅桃) 花色(c2，紅桃) 花色(c3，紅桃) 花色(c4，紅桃) 花色(c5，紅桃) 同花(c1, c2, c3, c4, c5) 對這兩個示例，采把常量化為變量的歸納方法，把“梅花”和“紅桃”用變量x代換，得到如

20、下一般性的規(guī)則： 規(guī)則1：花色(c1，x) 花色(c2，x) 花色(c3，x) 花色(c4，x) 花色(c5，x) 同花(c1, c2, c3, c4, c5)38示例學(xué)習(xí)歸納方法去掉條件 把示例中的某些無關(guān)的子條件舍去，得到一個一般性的結(jié)論 示例3：花色(c1, 紅桃)點數(shù)(c1，2) 花色(c2, 紅桃)點數(shù)(c2，3) 花色(c3, 紅桃)點數(shù)(c3，4) 花色(c4, 紅桃)點數(shù)(c4，5) 花色(c5, 紅桃)點數(shù)(c5，6) 同花(c1, c2, c3, c4, c5) 把與花色無關(guān)的“點數(shù)”子條件舍去。得到上述規(guī)則1： 規(guī)則1：花色(c1，x) 花色(c2，x) 花色(c3，x)

21、 花色(c4，x) 花色(c5，x) 同花(c1, c2, c3, c4, c5)39示例學(xué)習(xí)歸納方法增加選擇 在析取條件中增加一個新的析取項。包括前件析取法和內(nèi)部析取法 前件析取法：通過對示例的前件的析取來形成知識的 示例4：點數(shù)(c1, J)臉(c1) 示例5：點數(shù)(c1, Q)臉(c1) 示例6：點數(shù)(c1, K)臉(c1) 將各示例的前件進行析取，就可得到所要求的規(guī)則： 規(guī)則2：點數(shù)(c1, J)點數(shù)(c1, Q)點數(shù)(c1, K)臉(c1)內(nèi)部析取法：在示例的表示中使用集合與集合的成員關(guān)系來形成知識 示例7：點數(shù)c1J臉(c1) 示例8：點數(shù)c1Q臉(c1) 示例9：點數(shù)c1K臉(c

22、1) 用內(nèi)部析取法，可得到如下規(guī)則： 規(guī)則3：點數(shù)(c1)J, Q, K臉(c1)40示例學(xué)習(xí)歸納方法曲線擬合 數(shù)值問題的歸納可采用曲線擬合法設(shè)示例空間中每個示例(x, y, z)都是輸入x, y與輸出z之間關(guān)系的三元組 示例10：(0, 2, 7) 示例11：(6, -1, 10) 示例12：(-1, -5, -16) 用最小二乘法進行曲線擬合，可得 規(guī)則4：z=2x+3y+1 說明：方法(1)是把常量轉(zhuǎn)換為變量；方法(2)是去掉合取項（約束條件）；方法(3)是增加析取項。都是擴大條件的適用范圍。從歸納速度上看，方法(1)的歸納速度快，但容易出錯；方法(2)歸納速度慢，但不容易出錯。因此，在

23、使用方法(1)時應(yīng)特別小心。例如對示例4、示例5及示例6，若使用方法(1) ,則會歸納出如下的錯誤規(guī)則： 規(guī)則5：（錯誤）點數(shù)(c1, x)臉(c1) 41主要內(nèi)容概述基于符號的機器學(xué)習(xí)符號學(xué)習(xí)系統(tǒng)的基本模型記憶學(xué)習(xí)示例學(xué)習(xí)決策樹學(xué)習(xí)決策樹的概念I(lǐng)D3算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)42決策樹的概念決策樹是一種由節(jié)點和邊構(gòu)成的用來描述分類過程的層次數(shù)據(jù)結(jié)構(gòu)根節(jié)點表示分類的開始葉節(jié)點表示一個實例的結(jié)束中間節(jié)點表示相應(yīng)實例中的某一屬性邊代表某一屬性可能的屬性值路徑，從根節(jié)點到葉節(jié)點的每一條路徑都代表一個具體的實例，并且同一路徑上的所有屬性之間為合取關(guān)系，不同路徑（即一個屬性的不同屬性值）之間為析取關(guān)系43 決策樹

24、的概念決策樹的分類過程從根節(jié)點開始，按照給定事例的屬性值去測試對應(yīng)的樹枝，并依次下移，直至到達某個葉節(jié)點為止 下圖，一個簡單的用來對鳥類進行分類的決策樹根節(jié)點包含各種鳥類葉節(jié)點是所能識別的各種鳥的名稱中間節(jié)點是鳥的一些屬性邊是鳥的某一屬性的屬性值從根節(jié)點到葉節(jié)點的每一條路徑都描述了一種鳥，它包括該種鳥的一些屬性及相應(yīng)的屬性值44 決策樹的概念決策樹還可以表示為規(guī)則的形式IF 鳥類會飛 AND 是家養(yǎng)的 THEN 可能是和平鴿IF 鳥類會飛 AND 不是家養(yǎng)的 THEN 可能是信天翁IF 鳥類不會飛 AND 會游泳 THEN 可能是企鵝IF 鳥類不會飛 AND 不會游泳 THEN 可能是鴕鳥決策

25、樹學(xué)習(xí)過程實際上是構(gòu)造決策樹的過程。學(xué)習(xí)完成后，就可以利用這棵決策樹對未知事物進行分類鳥類家養(yǎng)可能是和平鴿可能是信天翁游泳可能是企鵝可能是鴕鳥一個簡單的鳥類識別決策樹會飛不會飛是不是會不會45ID3算法ID3算法是昆蘭（J.R.Quinlan）于1979年提出的一種以信息熵的下降速度作為屬性選擇標準的一種學(xué)習(xí)算法。其輸入是一個用來描述各種已知類別的例子集，學(xué)習(xí)結(jié)果是一棵用于進行分類的決策樹，討論ID3算法的數(shù)學(xué)基礎(chǔ)ID3算法的學(xué)習(xí)過程和例子 46ID3算法的數(shù)學(xué)基礎(chǔ)信息熵，對信息源整體不確定性的度量。假設(shè)X為信源，xi為X所發(fā)出的單個信息，P(xi)為X發(fā)出xi的概率，則信息熵可定義為：k為信

26、源X發(fā)出的所有可能的信息類型，對數(shù)可以是以各種數(shù)為底的對數(shù)，在ID3算法中，我們?nèi)∫?為底的對數(shù)。 信息熵反應(yīng)的是信源每發(fā)出一個信息所提供的平均信息量 條件熵，是收信者在收到信息后對信息源不確定性的度量。若假設(shè)信源為X，收信者收到的信息為Y， P(xi/yj)為當(dāng)Y為yj時X為xi的條件概率，則條件熵為： 表示收信者收到Y(jié)后對X不確定性的估計47ID3算法的學(xué)習(xí)過程以整個例子集作為決策樹的根節(jié)點S，計算S關(guān)于每個屬性的期望熵（即條件熵）選擇能使S的期望熵為最小的一個屬性對根節(jié)點進行擴展，得到根節(jié)點的一層子節(jié)點再用同樣的方法對子節(jié)點進行分裂，直至所有葉節(jié)點的熵值都下降為0此時得到一棵與訓(xùn)練例子集

27、對應(yīng)的熵為0的決策樹，即ID3算法學(xué)習(xí)到的最終決策樹。樹中每一條從根節(jié)點到葉節(jié)點的路徑，都代表了一個分類過程，即決策過程48ID3算法的例子 例 用ID3算法完成下述學(xué)生選課的例子 假設(shè)將決策y分為以下類： y1：必修AI y2：選修AI y3：不修AI做出這些決策的依據(jù)有以下3個屬性： x1：學(xué)歷層次x1=1 研究生，x1=2 本科 x2：專業(yè)類別x2=1 電信類，x2=2 機電類 x3：學(xué)習(xí)基礎(chǔ)x3=1 修過AI，x3=2 未修AI 下表給出一個關(guān)于選課決策的訓(xùn)練例子集S。 49ID3算法的例子 該訓(xùn)練例子集S的大小為。ID3算法依據(jù)這些訓(xùn)練例子，以S為根節(jié)點，按信息熵下降最大的原則來構(gòu)造

28、決策樹序號屬性值決策方案yix1x2x31111y32112y13121y34122y25211y36212y27221y38222y3表1學(xué)生選課決策的訓(xùn)練例子集50 ID3算法的例子 解： 首先對根節(jié)點，計算信息熵：其中，為可選的決策方案數(shù)，且有P(y1)=1/8，P(y2)=2/8，P(y3)=5/8即： H(S)= -(1/8)log2(1/8)- (2/8)log2(2/8)- (5/8)log2(5/8) =1.2988 按照ID3算法，需要選擇一個能使S的期望熵為最小的一個屬性對根節(jié)點進行擴展，因此我們需要先計算S關(guān)于每個屬性的條件熵：其中，t為屬性xi的屬性值，St為xi=t時

29、的例子集，|S|和|St|分別是例子集S和St的大小。 51 ID3算法的例子 先計算S關(guān)于屬性x1的條件熵： 在表1中，x1的屬性值可以為1或2。當(dāng)x1=1時，t=1時，有： S1=1，2，3，4當(dāng)x1=2時，t=2時，有： S2=5，6，7，8其中，S1和S2中的數(shù)字均為例子集S中的各個例子的序號，且有|S|=8，|S1|=|S2|=4。 由S1可知： Ps1(y1)=1/4, Ps1(y2)=1/4, Ps1(y3)=2/4則有： H(S1)= - Ps1(y1)log2 Ps1(y1) - Ps1(y2)log2 Ps1(y2 )- Ps1(y3)log2 Ps1(y3 ) = -(1

30、/4)log2(1/4)- (1/4)log2(1/4)- (2/4)log2(2/4) =1.552 ID3算法的例子 再由S2可知： Ps2(y1)=0/4, Ps2(y2)=1/4, Ps2(y3)=3/4則有： H(S2)= Ps2(y2)log2 Ps2(y2 )- Ps2(y3)log2 Ps2(y3 ) =- (1/4)log2(1/4)- (3/4)log2(3/4) =0.8113將H(S1)和H(S2)代入條件熵公式，有： H(S/x1)=(|S1|/|S|)H(S1)+ (|S2|/|S|)H(S2) =(4/8)1.5+(4/8)0.8113 =1.1557同樣道理，可

31、以求得： H(S/x2)=1.1557 H(S/x3)=0.75 可見，應(yīng)該選擇屬性x3對根節(jié)點進行擴展。用x3對S擴展后所得到的得到部分決策樹如下圖a所示。53ID3算法的例子 在該樹中，節(jié)點“x3=1, y3 ”為決策方案y3。由于y3已是具體的決策方案，故該節(jié)點的信息熵為0，已經(jīng)為葉節(jié)點。 節(jié)點“x3=2, x1, x2？”的含義是需要進一步考慮學(xué)歷和專業(yè)這兩個屬性，它是一個中間節(jié)點，還需要繼續(xù)擴展。至于其擴展方法與上面的過程類似。 通過計算可知，該節(jié)點對屬性x1和x2，其條件熵均為1。由于它對屬性x1和x2的條件熵相同，因此可以先選擇x1，也可以先選擇x2。 依此進行下去， 若先選擇x

32、1可得到如圖b所示的最終的決策樹；若先選擇x2可得到如圖c所示的最終的決策樹。 S x3=1, y3 x3=2, x1, x2 圖a 部分決策樹x3=1x3=2修過AI不修AI未修AI學(xué)歷和專業(yè)？54ID3算法的例子 S 不修AI 學(xué)歷和專業(yè)？圖b 最終的決策樹修過AI，x3=1未修AI, x3=2專業(yè)？專業(yè)？ 必修AI 選修AI選修AI不修AI研究生, x1=1本科生, x1=2電信類, x2=1機電類,x2=2機電類, x2=2電信類, x2=155ID3算法的例子 S x3=1, y3 x3=2, x1,x2圖b7 最終的決策樹x3=1x3=2 x2=1, x1 x2=2, x1 x1=

33、1, y1 x1=2, y2 x1=1, y2 x1=2, y3x2=1x2=2x1=1x1=2x1=2x1=156主要內(nèi)容概述基于符號的機器學(xué)習(xí)符號學(xué)習(xí)系統(tǒng)的基本模型記憶學(xué)習(xí)示例學(xué)習(xí)決策樹學(xué)習(xí)決策樹的概念I(lǐng)D3算法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)57機器學(xué)習(xí) 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)發(fā)展史生物神經(jīng)元基本模型神經(jīng)網(wǎng)絡(luò)基本模型神經(jīng)網(wǎng)絡(luò)特性前饋型人工神經(jīng)元網(wǎng)絡(luò)線性閾值單元感知器及其學(xué)習(xí)算法BP算法58神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 發(fā)展史發(fā)展史1890年，美國生物學(xué)家W.James出版了Physiology（生理學(xué)）一書。首次闡明了有關(guān)人腦結(jié)構(gòu)及其功能，以及相關(guān)學(xué)習(xí)、聯(lián)想、記憶的基本規(guī)律1943年McCulloch（心理學(xué)家）和Pit

34、ts（數(shù)理邏輯學(xué)家）發(fā)表文章，提出M-P模型描述了一個簡單的人工神經(jīng)元模型的活動是服從二值（興奮和抑制）變化的總結(jié)了神經(jīng)元的基本生理特性，提出了神經(jīng)元的數(shù)學(xué)描述和網(wǎng)絡(luò)的結(jié)構(gòu)方法59神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 發(fā)展史1957年Frank Rosenblatt定義了一個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)第一次把神經(jīng)網(wǎng)絡(luò)研究從純理論的探討推向工程實現(xiàn)。掀起了神經(jīng)網(wǎng)絡(luò)研究高潮通過在IBM704計算機上的模擬，證明了該模型有能力通過調(diào)整權(quán)的學(xué)習(xí)達到正確分類的結(jié)果 1969M.Minsky和S. Papert發(fā)表了Perceptrons的論著：指出感知器僅能解決一階謂詞邏輯，只能做線性劃分對于非線性或其他

35、分類會遇到很大困難。一個簡單的XOR問題的例子就證明了這一點神經(jīng)網(wǎng)絡(luò)研究一度達到低潮60神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 發(fā)展史使神經(jīng)網(wǎng)絡(luò)研究一度達到低潮原因還有，計算機不夠發(fā)達、VLSI還沒出現(xiàn)、而人工智能和專家系統(tǒng)正處于發(fā)展高潮七十年代,據(jù)說全球只有幾十個人在研究，但還是成功的。如：日本Fukusima的Neocognitron（新認知機）芬蘭Kohonen的自組織神經(jīng)網(wǎng)絡(luò)SOM ( Self-Organizing feature map)Stephen Crossberg的共振自適應(yīng)理論ART網(wǎng)絡(luò)等 ( Adaptive Resonance Theory)61神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 發(fā)展史1982年John J. H

36、opfield（物理學(xué)家）提出了全聯(lián)接網(wǎng)絡(luò)全新的具有完整理論基礎(chǔ)的神經(jīng)網(wǎng)絡(luò)模型。年后AT&T等做出了半導(dǎo)體芯片。神經(jīng)網(wǎng)絡(luò)復(fù)興時期開始1986年美國的一個并行計算研究小組提出了前向反饋神經(jīng)網(wǎng)絡(luò)的Back Propagation（BP）學(xué)習(xí)算法。成為當(dāng)今應(yīng)用最廣泛的方法之一。該方法克服了感知器非線性不可分類問題，給神經(jīng)網(wǎng)絡(luò)研究帶來了新的希望 62神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 發(fā)展史運用BP學(xué)習(xí)算法進行學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型與“多層感知器”模型在原理上是完全相同的感知器也同樣具有與多層前饋網(wǎng)絡(luò)相同的分類能力，只是由于當(dāng)時沒有理論支撐的設(shè)計算法，也就是學(xué)習(xí)算法，因而失去了實際應(yīng)用的意義 63神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 發(fā)展史1987年

37、在美國召開了第一屆世界神經(jīng)網(wǎng)絡(luò)大會，1000人參加IJCNN等大會Neural Computing, IEEE Neural Network 等期刊64神經(jīng)網(wǎng)絡(luò)基礎(chǔ)符號主義與連接主義共同之處：研究怎樣用計算機來模仿人腦工作過程。最終目的是希望機器能夠做到學(xué)習(xí)-實踐-再學(xué)習(xí)-再實踐，最終獲得智能 不同之處：符號主義研究人腦的推理、學(xué)習(xí)、思考、規(guī)劃等思維活動，解決需人類專家才能處理的復(fù)雜問題連接主義企圖闡明人腦結(jié)構(gòu)及其功能，以及一些相關(guān)學(xué)習(xí)、聯(lián)想記憶的基本規(guī)則（聯(lián)想、概括、并行搜索、學(xué)習(xí)和靈活性） 65神經(jīng)網(wǎng)絡(luò)基礎(chǔ)符號主義與連接主義66神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本模型神經(jīng)元是腦組織的基本單元，人腦是

38、由大約1011（一百億）個神經(jīng)元組成的系統(tǒng)。 神經(jīng)元的生物結(jié)構(gòu)如下圖所示 67神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本模型神經(jīng)元具有一下結(jié)構(gòu)特性：細胞體：由細胞核、細胞質(zhì)與細胞膜等組成軸突：由細胞體向外伸出的最長的一條分支，稱為軸突，即神經(jīng)纖維。軸突相當(dāng)于細胞的輸出電纜，其端部的許多神經(jīng)末梢為信號輸出端子，用于傳出神經(jīng)沖動樹突：由細胞體向外伸出的其它許多較短的分支，稱為樹突。它相當(dāng)于細胞的輸入端，接受來自四面八方的傳入神經(jīng)沖動68神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本模型突觸：細胞與細胞之間（即神經(jīng)元之間）通過軸突與樹突相互連接，其接口稱為突觸。每個細胞約有103104個突觸。突觸有兩種類型：興奮型與抑制型膜電位：細胞

39、膜內(nèi)外之間有電位差，約為20100mV，稱為膜電位。膜外為正，膜內(nèi)為負結(jié)構(gòu)可塑性：由于突觸的信息傳遞特性是可變的，隨著神經(jīng)沖動傳遞方式的變化，其傳遞作用可增強或減弱，所以，細胞之間的連接是柔性的，故稱為結(jié)構(gòu)可塑性69神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本模型神經(jīng)元神經(jīng)網(wǎng)絡(luò)的基本處理單元，科學(xué)研究過程中一般是一個多輸入/單輸出的非線性器件來模擬生物神經(jīng)細胞的，其結(jié)構(gòu)模型如圖所示 70神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本模型yi表示神經(jīng)元的輸出；u表示神經(jīng)元的輸入總和，它相當(dāng)于生物神經(jīng)細胞的膜電位, si表示外部輸入信號（在某些情況下，它可以控制神經(jīng)元u，使它保持在某一狀態(tài)） 函數(shù)y=f(u)稱為特性函數(shù)（也稱作用函數(shù)

40、或傳遞函數(shù)），特性函數(shù)可看作是神經(jīng)元的數(shù)學(xué)模型71神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本模型常見的特性函數(shù)有以下幾種：閾值型：如S狀：這類函數(shù)的輸入輸出特性多采用指數(shù)、對數(shù)或雙曲正切等S型函數(shù)表示。例如： sigmoid函數(shù) 分段線性型：神經(jīng)元的輸入輸出特性滿足一定的區(qū)間線性關(guān)系，其特性函數(shù)表達為： 72神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元基本模型以上三種特性函數(shù)的圖像依次如圖中的(a)、(b)、(c)所示73神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的基本模型人腦神經(jīng)網(wǎng)絡(luò)：人腦中約有140億個神經(jīng)細胞根據(jù)Stubbz的估計這些細胞被安排在約1000個主要模塊內(nèi)每個模塊上有上百個神經(jīng)網(wǎng)絡(luò)每個網(wǎng)絡(luò)約有十萬個神經(jīng)細胞人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元

41、廣泛互連而成的網(wǎng)絡(luò)，反映了人腦功能的基本特性74神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的基本模型前饋網(wǎng)絡(luò)：信號由輸入層到輸出層單向傳輸每層的神經(jīng)元僅與前層的神經(jīng)元相連接每一層的神經(jīng)元之間沒有橫向的信息傳輸每一個神經(jīng)元受到前層全部神經(jīng)元的控制75神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的基本模型輸入輸出有反饋的前饋網(wǎng)絡(luò)：輸出層上存在一個反饋回路，將信號反饋到輸入層網(wǎng)絡(luò)本身還是前饋型的輸出反饋信號可以是原始輸出信號，也可以是經(jīng)過轉(zhuǎn)化的輸出信號?？梢允潜緯r刻的也可以是經(jīng)過一定延遲的經(jīng)常用于系統(tǒng)控制、實時信號處理等，需要根據(jù)系統(tǒng)當(dāng)前狀態(tài)進行調(diào)節(jié)的場合76神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的基本模型前饋內(nèi)層互聯(lián)網(wǎng)絡(luò)：外部看還是一個前向網(wǎng)絡(luò)內(nèi)部有很多自組織網(wǎng)絡(luò)在層內(nèi)互聯(lián)著77神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的基本模型反饋型全互聯(lián)網(wǎng)絡(luò)：所有計算單元之間都有聯(lián)接。如：Hopfield網(wǎng)絡(luò) 78神經(jīng)網(wǎng)絡(luò)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)的屬性基本屬性：非線性：大腦