人工神經(jīng)網(wǎng)絡(luò)的入門

1、關(guān)于人工神經(jīng)網(wǎng)絡(luò)入門第1頁，共32頁，2022年，5月20日，18點34分，星期四一、概述生物神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)特點神經(jīng)網(wǎng)絡(luò)學習方式第2頁，共32頁，2022年，5月20日，18點34分，星期四1、生物神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò) 生物神經(jīng)系統(tǒng)的某些結(jié)構(gòu)和功能是天生的，如某些本能動作，但大多數(shù)功能需要后天學習才能獲得。構(gòu)造“人工神經(jīng)元”模擬生物細胞，并以某種方式進行連接，從而模擬“人腦”的某些功能。第3頁，共32頁，2022年，5月20日，18點34分，星期四2、生物神經(jīng)元 生物神經(jīng)元是人腦神經(jīng)系統(tǒng)的基本單元，相互之間通過神經(jīng)末梢連接，神經(jīng)元信息是寬度

2、和幅度相同的脈沖串，興奮的神經(jīng)元，輸出高頻率的脈沖串，引起下一個神經(jīng)元興奮；否則輸出頻率就低，抑制下一個神經(jīng)元。第4頁，共32頁，2022年，5月20日，18點34分，星期四3、人工神經(jīng)網(wǎng)絡(luò)模型 人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本單元。依據(jù)生物神經(jīng)元的結(jié)構(gòu)和功能，可以把它看作一個多輸入單輸出的非線性閾值器件。第5頁，共32頁，2022年，5月20日，18點34分，星期四p2p1pRfaw1w2wRP：其它神經(jīng)元的輸出，即該神經(jīng)元輸入向量；w：其它神經(jīng)元與該神經(jīng)元的連接強度，即權(quán)值向量；：神經(jīng)元的閾值，判斷輸入向量加權(quán)和與其大小；f：神經(jīng)元輸入輸出關(guān)系函數(shù)，即傳輸函數(shù)，傳輸函數(shù) 不同構(gòu)成了不同的神經(jīng)

3、網(wǎng)絡(luò)模型；a：神經(jīng)元輸出第6頁，共32頁，2022年，5月20日，18點34分，星期四p2p1pRaw1w2wRfnb人工神經(jīng)元一般模型第7頁，共32頁，2022年，5月20日，18點34分，星期四4、人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 單個人工神經(jīng)元不能完成輸入信號的處理，需要按照一定的規(guī)則連接成網(wǎng)絡(luò)，并讓網(wǎng)絡(luò)中每個神經(jīng)元的權(quán)值和閾值按照一定的規(guī)則變化，才能實現(xiàn)一定的功能要求?？煞譃榉謱有秃突ミB型兩種。第8頁，共32頁，2022年，5月20日，18點34分，星期四 分層型神經(jīng)網(wǎng)絡(luò)按照功能分為輸入層、中間層和輸出層，中間層也稱為隱層，隱層可以有多層（一般不超過2層），也可以沒有。第9頁，共32頁，2022年，5

4、月20日，18點34分，星期四5、神經(jīng)網(wǎng)絡(luò)特點分布式存儲信息并行協(xié)同處理信息信息處理與存儲合而為一對信息處理具有自組織、自學習特點，便于聯(lián)想、綜合和推廣。第10頁，共32頁，2022年，5月20日，18點34分，星期四6、神經(jīng)網(wǎng)絡(luò)學習方式 與生物神經(jīng)網(wǎng)絡(luò)一樣，人工神經(jīng)網(wǎng)絡(luò)必須經(jīng)過學習，才具有智能特性。人工神經(jīng)網(wǎng)絡(luò)的學習過程是在不斷調(diào)節(jié)權(quán)值和閾值的過程。模仿人的學習過程，提出三種學習方法：監(jiān)督學習、無監(jiān)督學習、強化學習。第11頁，共32頁，2022年，5月20日，18點34分，星期四1）監(jiān)督學習 給出了與所有輸入模式p對應的輸出模式的“正確答案”，即期望輸出t（目標），每次學習后，根據(jù)實際輸出a

5、與期望輸出t的差別（誤差e），決定是否再次學習和學習方法，最終使e滿足要求。神經(jīng)網(wǎng)絡(luò)（學習系統(tǒng)）誤差分析 P輸入 a實際輸出e 誤差信號 t 期望輸出第12頁，共32頁，2022年，5月20日，18點34分，星期四監(jiān)督學習的誤差信號定義：均方誤差mse平均絕對誤差mae誤差平方和sse第13頁，共32頁，2022年，5月20日，18點34分，星期四2）無監(jiān)督學習沒有信息作為響應的校正，依據(jù)網(wǎng)絡(luò)結(jié)構(gòu)和學習規(guī)則調(diào)節(jié)自身參數(shù)和結(jié)構(gòu)，使網(wǎng)絡(luò)輸出反映輸入的某些固有特性。3）強化學習介于兩者之間，外部環(huán)境對學習后的輸出結(jié)果只給出評價信息，而無答案，網(wǎng)絡(luò)學習系統(tǒng)通過強化正面評價行為來改善自身性能。第14頁，

6、共32頁，2022年，5月20日，18點34分，星期四二、神經(jīng)網(wǎng)絡(luò)模型感知器BP網(wǎng)絡(luò)線性神經(jīng)網(wǎng)絡(luò)徑向基網(wǎng)絡(luò)競爭型神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)反饋型神經(jīng)網(wǎng)絡(luò)第15頁，共32頁，2022年，5月20日，18點34分，星期四1、感知器特點感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型感知器學習局限性感知器網(wǎng)絡(luò)設(shè)計第16頁，共32頁，2022年，5月20日，18點34分，星期四特點在解決線性可分問題時，感知器保持了運算速度快，性能可靠的優(yōu)點；理解感知器的訓練算法，能夠為更好理解其它復雜的神經(jīng)網(wǎng)絡(luò)模型奠定基礎(chǔ)。第17頁，共32頁，2022年，5月20日，18點34分，星期四感知器神經(jīng)元及感知器神經(jīng)網(wǎng)絡(luò)模型神經(jīng)元傳輸函數(shù)f

7、：閾值型傳輸函數(shù)感知器網(wǎng)絡(luò)輸出：0，1感知器學習規(guī)則：規(guī)則，eta，網(wǎng)絡(luò)訓練目的是使t a第18頁，共32頁，2022年，5月20日，18點34分，星期四感知器學習 感知器神經(jīng)網(wǎng)絡(luò)的訓練，需要提供訓練樣本集，每個樣本由神經(jīng)網(wǎng)絡(luò)的輸入向量和輸出向量對組成，n個訓練樣本構(gòu)成的訓練樣本集為： 每一步學習，對于各層感知器神經(jīng)元的權(quán)值和閾值的調(diào)整算法表示為：第19頁，共32頁，2022年，5月20日，18點34分，星期四 通過有限步數(shù)的學習后，網(wǎng)絡(luò)實際輸出和期望輸出的誤差將減小到0，此時，完成網(wǎng)絡(luò)訓練。訓練結(jié)果使網(wǎng)絡(luò)訓練樣本模式分布記憶在權(quán)值和閾值之中，當給定網(wǎng)絡(luò)一個輸入模式時，網(wǎng)絡(luò)將計算出相應輸出，從

8、而判斷這一輸入模式屬于記憶中的哪一種模式或接近于哪一種模式。第20頁，共32頁，2022年，5月20日，18點34分，星期四感知器局限性輸出值單層感知器網(wǎng)絡(luò)只用于解決線性可分問題感知器學習算法只適用于單層感知器網(wǎng)絡(luò)第21頁，共32頁，2022年，5月20日，18點34分，星期四感知器網(wǎng)絡(luò)設(shè)計確定輸入向量的取值范圍、維數(shù)、網(wǎng)絡(luò)層的神經(jīng)元數(shù)目、傳輸函數(shù)和學習函數(shù)；構(gòu)造訓練樣本集，確定每個樣本的輸入向量和目標向量，訓練樣本，得到滿足誤差性能指標的神經(jīng)網(wǎng)絡(luò)；構(gòu)造測試樣本集，仿真網(wǎng)絡(luò)的性能。第22頁，共32頁，2022年，5月20日，18點34分，星期四 舉例：判斷數(shù)字的奇偶性。第23頁，共32頁，20

9、22年，5月20日，18點34分，星期四2、BP網(wǎng)絡(luò)特點BP網(wǎng)絡(luò)學習BP網(wǎng)絡(luò)設(shè)計第24頁，共32頁，2022年，5月20日，18點34分，星期四特點感知器神經(jīng)網(wǎng)絡(luò)學習規(guī)則和LMS學習算法只能訓練單層神經(jīng)網(wǎng)絡(luò)，只能解決線性可分問題，多層神經(jīng)網(wǎng)絡(luò)可用于非線性分類BP神經(jīng)元傳輸函數(shù)為非線性函數(shù)BP網(wǎng)絡(luò)一般為多層網(wǎng)絡(luò)在人工神經(jīng)網(wǎng)絡(luò)應用中，絕大部分的神經(jīng)網(wǎng)絡(luò)模型采用了BP網(wǎng)絡(luò)及其變化形式第25頁，共32頁，2022年，5月20日，18點34分，星期四BP網(wǎng)絡(luò)學習第一階段：輸入已知學習樣本，通過設(shè)置的網(wǎng)絡(luò)結(jié)構(gòu)和前一次迭代的權(quán)值和閾值，從網(wǎng)絡(luò)第一層向后計算各神經(jīng)元輸出第二階段：從最后一層向前計算各權(quán)值和閾值

10、對總誤差的影響，并據(jù)此修改以上兩個過程反復交替，直到達到收斂：誤差反向傳播（back propagation）。第26頁，共32頁，2022年，5月20日，18點34分，星期四BP網(wǎng)絡(luò)設(shè)計網(wǎng)絡(luò)層數(shù)輸入層節(jié)點數(shù)輸出層節(jié)點數(shù)隱層節(jié)點數(shù)第27頁，共32頁，2022年，5月20日，18點34分，星期四網(wǎng)絡(luò)層數(shù) 理論上已經(jīng)證明，在不限制隱層節(jié)點數(shù)的情況下，兩層（只有一個隱層）BP網(wǎng)絡(luò)可以實現(xiàn)任意非線性映射，BP網(wǎng)絡(luò)隱層一般不超過兩層。第28頁，共32頁，2022年，5月20日，18點34分，星期四輸入層節(jié)點數(shù) 輸入層起緩沖存儲器作用，它接收外部輸入數(shù)據(jù)，其節(jié)點數(shù)取決于輸入矢量的維數(shù)，如以3232大小圖像像素作為輸入數(shù)據(jù)時，輸入節(jié)點為1024第29頁，共32頁，2022年，5月20日，18點34分，星期四輸出層節(jié)點數(shù) 當神經(jīng)網(wǎng)絡(luò)用于模式分類時，可以二進制形式表示不同模式的輸出結(jié)果，輸出節(jié)點數(shù)可根據(jù)待分類模式數(shù)來確定。第30頁，共32頁，