人工智能入門 課件 2.人工神經(jīng)網(wǎng)絡與機器學習

人工神經(jīng)網(wǎng)絡與機器學習AI:ANN2大綱什么是人工神經(jīng)網(wǎng)絡(ANN)?

多層感知器(MLP)-誤差反向傳播算法(B-P)機器學習的意義-學習策略監(jiān)督學習1、人工神經(jīng)網(wǎng)絡01AI:ANN4PartⅠ:什么是ANN?AI:ANN5一個讓汽車學習自動駕駛的神經(jīng)網(wǎng)絡T.M.Mitchell,MachineLearning,2006隱藏單元的權值AI:ANN6汽車自動駕駛的視頻AI:ANN71.1人工神經(jīng)網(wǎng)絡將相互獨立的單元之間連接起來形成一種圖的結構，這樣的圖可能是有環(huán)的也可能是無環(huán)的，可能是有向圖也可能是無向圖.

自底向上AI

受生物神經(jīng)系統(tǒng)的啟發(fā)，從結構上模擬仿真AI功能AI:ANN8生物神經(jīng)系統(tǒng)

時間和空間上的累積

興奮和抑制圖片來源：http://kvhs.nbed.nb.ca/gallant/biology/neuron_structure.jpgAI:ANN9人工神經(jīng)系統(tǒng)

M-P神經(jīng)元θx1x2xnyω1ω2ωn輸入輸出閾值McClloch與Pitts，《神經(jīng)活動中固有的思想邏輯運算》,1943f:激活函數(shù)g:整合函數(shù)AI:ANN10整合函數(shù)加權求和

徑向距離AI:ANN11激活函數(shù)

閾值型線性飽和線性S型函數(shù)雙曲正切函數(shù)高斯函數(shù)AI:ANN121.2人工神經(jīng)網(wǎng)絡拓撲結構前饋型神經(jīng)網(wǎng)絡-沒有環(huán)-靜態(tài)結構

反饋型神經(jīng)網(wǎng)絡結構-有環(huán)-動態(tài)結構(非線性動力系統(tǒng))AI:ANN13前饋網(wǎng)絡的一般結構反饋網(wǎng)絡的一般結構AI:ANN141.3人工神經(jīng)網(wǎng)絡的學習方法神經(jīng)網(wǎng)絡根據(jù)所處環(huán)境對它的刺激自適應的調整其網(wǎng)絡結構中的自由參數(shù).學習模型

漸進式vs.批處理兩類

監(jiān)督型vs.非監(jiān)督型AI:ANN15重要的神經(jīng)網(wǎng)絡模型模型結構學習方法模型結構學習方法多層感知器前饋型網(wǎng)絡結構誤差修正玻爾茲曼機單層，反饋型網(wǎng)絡結構隨機性徑向基函數(shù)網(wǎng)絡多層，前饋型網(wǎng)絡結構誤差修正自適應共振理論兩層，反饋型網(wǎng)絡結構競爭型學習霍普菲爾德網(wǎng)絡單層，反饋型網(wǎng)絡結構外積Kohonen自組織特征映射網(wǎng)單層軟競爭學習AI:ANN16PartⅡ:多層感知器(MLP)AI:ANN172.1B-P神經(jīng)網(wǎng)絡結構

一種多層感知機,其中的激活函數(shù)采用S型函數(shù).AI:ANN18B-P學習算法學習方法

-輸入數(shù)據(jù)被前向輸入到隱含層,然后再輸入到輸出層

-誤差信息被反向傳播，從輸出層到隱含層再到輸入層Rumelhart&Meclelland,Nature,1986AI:ANN19B-P學習步驟Step1.在訓練集中選擇一種模式并將其輸入到網(wǎng)絡中Step2.計算輸入序列中輸入層，隱含層，輸出層神經(jīng)元的激活情況.Step3.通過比較實際輸出與期望輸出，計算輸出神經(jīng)元的誤差.Step4.用計算出來的誤差更新網(wǎng)絡中的所有權重，從而使全局誤差度量變小.Step5.重復上述Step1-Step5直到全局誤差小于一個給定的閾值.AI:ANN20B-P求導全局誤差度量理想輸出實際輸出平方誤差目標是最小化平方誤差,即達到最小均方誤差(MSE)2、機器學習02AI:MachineLearning22PartⅠ:機器學習的意義

AI:MachineLearning23機器學習什么？學習是系統(tǒng)中的變化，這種變化使系統(tǒng)在重復同樣工作或類似工作時，能夠做得更好。

西蒙機器學習研究如何使計算機程序自動根據(jù)經(jīng)驗提升其性能。應用領域涵蓋從大量數(shù)據(jù)中發(fā)現(xiàn)一般規(guī)則的數(shù)據(jù)挖掘程序到自動學習用戶興趣的信息過濾系統(tǒng)等。TomM.MitchellAI:MachineLearning24定義學習的任務基于經(jīng)驗，根據(jù)性能準則，提升完成相應任務的性能任務:下跳棋性能:對于任意對手，取勝的概率

經(jīng)驗:以自己為對手，進行的練習任務:識別手寫字性能:被正確分類的字所占的比例經(jīng)驗:經(jīng)過人工標注的手寫字的數(shù)據(jù)庫任務:視覺傳感器自動駕駛性能:出錯前行駛的平均距離經(jīng)驗:人類駕駛的時候記錄下來的一系列圖像和控制命令ExamplesAI:MachineLearning25為什么要進行機器學習？在環(huán)境事先未知時，學習至關重要(可用于開發(fā)能夠自動適應環(huán)境的系統(tǒng)). 比如，當設計者缺少關于環(huán)境的全部信息時學習是一個很有用的系統(tǒng)構建方法(可用于構建人工方式很難實現(xiàn)或者很昂貴的系統(tǒng)).比如,將系統(tǒng)暴露在真實的環(huán)境中自我提升而不是直接構建該系統(tǒng)。AI:MachineLearning26為什么要進行機器學習？（續(xù)）從龐大的數(shù)據(jù)庫里發(fā)掘新信息(數(shù)據(jù)挖掘)。商場購物數(shù)據(jù)分析(如：尿布和啤酒)醫(yī)學文本挖掘(如：偏頭痛和鈣)對于機器學習的研究可以幫助我們理解人類以及其他生物的學習方式。AI:MachineLearning27學習系統(tǒng)的評價實驗在不同的基準數(shù)據(jù)集上，采用交叉驗證試驗來比較各種不同的方法。收集評價系統(tǒng)性能的數(shù)據(jù)，如測試準確率、訓練時間、測試時間等。分析方法在統(tǒng)計顯著性上的不同。理論從數(shù)學上分析算法，為以下幾點提供理論支持：計算復雜性擬合訓練數(shù)據(jù)的能力樣本復雜性(得到一個準確的函數(shù)所需要的訓練數(shù)據(jù)的個數(shù))AI:MachineLearning28S.J.RusselllandP.Norvig,“artificialintelligence:amodernapproach”.具有學習能力的智能系統(tǒng)的架構AI:MachineLearning29學習機構學習機構的設計需要考慮：學習性能組件中的什么部分可利用什么反饋方式來學習這些部分怎樣表示性能組件？反饋類型: 監(jiān)督學習:每一個輸入數(shù)據(jù)都有對應的期望輸出非監(jiān)督學習:沒有輸入數(shù)據(jù)的期望輸出強化學習:通過獎懲學習AI:MachineLearning30學習策略機械式學習

基于存儲的學習指導式學習

將外部指導者提供的知識形式轉化為可供執(zhí)行機構直接使用的知識形式類比學習

利用不同領域知識的相似性AI:MachineLearning31學習策略（續(xù)）解釋學習

演繹和歸納相結合歸納學習

1.人工神經(jīng)網(wǎng)絡

2.統(tǒng)計學習

3.決策樹

4.聚類

監(jiān)督非監(jiān)督AI:MachineLearning32機械式學習學習==存儲？存儲問題的解，當遇到相同的問題時進行檢索。存儲和計算的權衡AI:MachineLearning33PartⅡ:監(jiān)督學習AI:MachineLearning342.1什么是監(jiān)督學習？最簡單的形式:根據(jù)輸入數(shù)據(jù)學習一個函數(shù)f

是目標函數(shù)

一個數(shù)據(jù)是一個(x,f(x))對

問題:給定一個訓練數(shù)據(jù)集，找到一個函數(shù)h，以使

h≈fAI:MachineLearning35監(jiān)督學習方法構造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning36監(jiān)督學習方法構造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning37監(jiān)督學習方法構造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning38監(jiān)督學習方法構造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning39監(jiān)督學習方法構造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:AI:MachineLearning40監(jiān)督學習方法構造

h，使h在訓練數(shù)據(jù)集上與f

吻合(如果對于所有的數(shù)據(jù)，h都與f吻合，則h與f是一致的。)如：

曲線擬合:奧坎木剃刀:優(yōu)先選擇符合數(shù)據(jù)的最簡單模型AI:MachineLearning41PartⅢ:非監(jiān)督學習：聚類AI:MachineLearning424.1什么是聚類？典型的非監(jiān)督學習只給出輸入數(shù)據(jù)，不給出期待的輸出根據(jù)數(shù)據(jù)之間的相似性，將數(shù)據(jù)分成幾個簇的過程。發(fā)現(xiàn)數(shù)據(jù)組并鑒別出數(shù)據(jù)中令人感興趣的數(shù)據(jù)分布AI:MachineLearning434.2劃分聚類方法根據(jù)給定的標準，把數(shù)據(jù)集劃分成k個子集（簇）。在所有可能的劃分中搜索最優(yōu)的劃分。

盲目搜索

啟發(fā)式搜索

AI:MachineLearning44總結學習是一個系統(tǒng)通過經(jīng)驗來提高性能的過程。有學習能力的智能系統(tǒng)的四個要素：

評價機構,環(huán)境機構,執(zhí)行機構,學習機構AI:MachineLearning