人工神經(jīng)網(wǎng)絡(luò)實用教程人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)實用教程人工神經(jīng)網(wǎng)絡(luò)第一頁，共三十六頁，2022年，8月28日

主講：蔣世忠

信息工程圖像處理教研室

第二頁，共三十六頁，2022年，8月28日3/11/20232教材書名：《神經(jīng)網(wǎng)絡(luò)實用教程》出版社：機械工業(yè)出版社出版日期：2008年2月作者：張良均曹晶蔣世忠第三頁，共三十六頁，2022年，8月28日3/11/20233第四頁，共三十六頁，2022年，8月28日3/11/20234課件、實驗及學(xué)習(xí)支持網(wǎng)站1、智能中國網(wǎng)：

2、神經(jīng)網(wǎng)絡(luò)在線：

第五頁，共三十六頁，2022年，8月28日3/11/20235課件、實驗及學(xué)習(xí)支持網(wǎng)站神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)站智能中國網(wǎng)論壇我的教學(xué)博客我的專業(yè)博客MATLAB中文論壇神經(jīng)網(wǎng)絡(luò)參考書籍：神經(jīng)網(wǎng)絡(luò)入門教程第六頁，共三十六頁，2022年，8月28日3/11/20236課程目的和基本要求熟悉人工神經(jīng)網(wǎng)絡(luò)的基本理論，應(yīng)用人工神經(jīng)網(wǎng)絡(luò)解決實際應(yīng)用中的問題。介紹人工神經(jīng)網(wǎng)絡(luò)及其基本網(wǎng)絡(luò)模型了解人工神經(jīng)網(wǎng)絡(luò)的有關(guān)研究思想，從中學(xué)習(xí)先行者們的問題求解方法。通過仿真實驗進一步體會有關(guān)模型的用法和性能，能將其應(yīng)用到讀者各自的領(lǐng)域。掌握混合編程方法，能應(yīng)用此方法編寫實際問題的解決方案。第七頁，共三十六頁，2022年，8月28日3/11/20237第1章人工神經(jīng)網(wǎng)絡(luò)第八頁，共三十六頁，2022年，8月28日第1章人工神經(jīng)網(wǎng)絡(luò)1.1神經(jīng)網(wǎng)絡(luò)的基本概念1.2神經(jīng)網(wǎng)絡(luò)的特點及應(yīng)用第九頁，共三十六頁，2022年，8月28日3/11/20239

生物神經(jīng)元的結(jié)構(gòu)與功能特點

生物神經(jīng)元在結(jié)構(gòu)上由四部分組成:細胞體(Cellbody)樹突(Dendrite)軸突(Axon)突觸(Synapse)用來完成神經(jīng)元間信息的接收、傳遞和處理。人類大腦皮層約有100億個神經(jīng)元，60億個神經(jīng)突觸以及它們的連接體第十頁，共三十六頁，2022年，8月28日3/11/202310第十一頁，共三十六頁，2022年，8月28日3/11/202311神經(jīng)纖維傳導(dǎo)演示神經(jīng)纖維上的傳導(dǎo)突觸間的傳導(dǎo)第十二頁，共三十六頁，2022年，8月28日3/11/202312生物神經(jīng)元的結(jié)構(gòu)與功能特點人腦與計算機信息處理比較：記憶與聯(lián)想能力學(xué)習(xí)與認知能力信息加工能力信息綜合能力信息處理速度

第十三頁，共三十六頁，2022年，8月28日3/11/202313人工神經(jīng)元模型人工神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)操作的基本信息處理單位,是神經(jīng)網(wǎng)絡(luò)設(shè)計的基礎(chǔ)。人工神經(jīng)元模型可以看成是由三種基本元素組成：(1)一組連接連接強度由各連接上的權(quán)值表示，權(quán)值可以取正值也可以取負值，權(quán)值為正表示激活，權(quán)值為負表示抑制。(2)一個加法器用于求輸入信號對神經(jīng)元的相應(yīng)突觸加權(quán)之和。(3)一個激活函數(shù)用來限制神經(jīng)元輸出振幅。激活函數(shù)也稱為壓制函數(shù)，因為它將輸入信號壓制(限制)到允許范圍之內(nèi)的一定值。另外，可以給一個神經(jīng)元模型加一個外部偏置，其作用是增加或降低激活函數(shù)的網(wǎng)絡(luò)輸入。

第十四頁，共三十六頁，2022年，8月28日3/11/2023141.1.2人工神經(jīng)元模型x1x2xmwi1wmkwi2...∑...

f()bk輸入信號連接權(quán)求和uk輸出激活函數(shù)閾值k第十五頁，共三十六頁，2022年，8月28日3/11/2023151.1.2人工神經(jīng)元模型一個神經(jīng)元可以用以下公式表示：第十六頁，共三十六頁，2022年，8月28日3/11/2023161.1.2人工神經(jīng)元模型激活函數(shù)主要的三種形式：階梯函數(shù)f(u)u1第十七頁，共三十六頁，2022年，8月28日3/11/2023171.1.2人工神經(jīng)元模型分段線性函數(shù)f(u)u1-1第十八頁，共三十六頁，2022年，8月28日3/11/2023181.1.2人工神經(jīng)元模型非線性函數(shù)單極S型函數(shù)雙極S型函數(shù)第十九頁，共三十六頁，2022年，8月28日3/11/202319神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式人工神經(jīng)網(wǎng)絡(luò)是一個由許多簡單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強度以及各單元的處理方式根據(jù)神經(jīng)元的不同連接方式，可將神經(jīng)網(wǎng)絡(luò)分為兩大類：分層網(wǎng)絡(luò)相互連接型網(wǎng)絡(luò)第二十頁，共三十六頁，2022年，8月28日3/11/202320神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式分層網(wǎng)絡(luò)單純的前向網(wǎng)絡(luò)第二十一頁，共三十六頁，2022年，8月28日3/11/202321神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式分層網(wǎng)絡(luò)具有反饋的前向網(wǎng)絡(luò)第二十二頁，共三十六頁，2022年，8月28日3/11/202322神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式分層網(wǎng)絡(luò)層內(nèi)互聯(lián)的前向網(wǎng)絡(luò)第二十三頁，共三十六頁，2022年，8月28日3/11/202323神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及工作方式相互連接型網(wǎng)絡(luò)第二十四頁，共三十六頁，2022年，8月28日3/11/2023241.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)方式有導(dǎo)師學(xué)習(xí)（有監(jiān)督學(xué)習(xí)）無導(dǎo)師學(xué)習(xí)（無監(jiān)督學(xué)習(xí)）再勵學(xué)習(xí)第二十五頁，共三十六頁，2022年，8月28日3/11/2023251.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)算法：學(xué)習(xí)算法是指針對學(xué)習(xí)問題的明確規(guī)則，不同的學(xué)習(xí)算法對神經(jīng)元的權(quán)值調(diào)整的表達式是不同的。算法分類Hebb學(xué)習(xí)算法學(xué)習(xí)算法隨機學(xué)習(xí)算法競爭學(xué)習(xí)算法第二十六頁，共三十六頁，2022年，8月28日3/11/2023261.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)Hebb學(xué)習(xí)算法由DonaldO.Hebb提出。如果兩個神經(jīng)元同時興奮，則它們之間的突觸連接加強。如果神經(jīng)元是神經(jīng)元的上層結(jié)點，用分別表示兩神經(jīng)元的激活值(輸出)，表示兩個神經(jīng)元之間的連接權(quán)，則Hebb學(xué)習(xí)規(guī)則可以表示為:

式中表示學(xué)習(xí)速率Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形第二十七頁，共三十六頁，2022年，8月28日3/11/2023271.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)算法誤差校正學(xué)習(xí)算法是根據(jù)神經(jīng)網(wǎng)絡(luò)的輸出誤差對神經(jīng)元的連接強度進行修正，屬于有導(dǎo)師學(xué)習(xí)權(quán)值調(diào)整公式：調(diào)整目標(biāo)是使下述公式所表達的誤差為最小第二十八頁，共三十六頁，2022年，8月28日3/11/2023281.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)隨機學(xué)習(xí)算法誤差學(xué)習(xí)算法通常采用梯度下降法，因此存在局部最小問題，隨機學(xué)習(xí)算法通過引入不穩(wěn)定因子來處理這種情況。經(jīng)典隨機學(xué)習(xí)算法模擬退化算法遺傳算法。第二十九頁，共三十六頁，2022年，8月28日3/11/2023291.1.4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)競爭學(xué)習(xí)算法競爭學(xué)習(xí)屬于無導(dǎo)師算法神經(jīng)元通過互相競爭來做出不同的響應(yīng)競爭獲勝的神經(jīng)元按規(guī)則修正權(quán)值經(jīng)典競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)自組織特征映射網(wǎng)絡(luò)(Self-OrganizationMap，SOM)自適應(yīng)共振網(wǎng)絡(luò)(AdaptiveResonaceTheory，ART)

第三十頁，共三十六頁，2022年，8月28日3/11/2023301.2神經(jīng)網(wǎng)絡(luò)的特點及其應(yīng)用神經(jīng)網(wǎng)絡(luò)的特點不確定、模糊及數(shù)學(xué)建模困難并行分布式處理非線性處理具有自學(xué)習(xí)功能神經(jīng)網(wǎng)絡(luò)可采用硬件實現(xiàn)第三十一頁，共三十六頁，2022年，8月28日3/11/2023311.2神經(jīng)網(wǎng)絡(luò)的特點及其應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域語音識別語音識別娃娃圖像識別與理解人臉檢測第三十二頁，共三十六頁，2022年，8月28日3/11/2023321.2神經(jīng)網(wǎng)絡(luò)的特點及其應(yīng)用神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域機器人智能故障檢測醫(yī)學(xué)應(yīng)用醫(yī)學(xué)圖像處理第三十三頁，共三十六頁，2022年，8月28日3/11/202333神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域國防軍事應(yīng)用航天器姿態(tài)控制導(dǎo)彈的智