人工神經網絡技術

人工神經網絡技術第一頁，共二十五頁，2022年，8月28日內容神經網絡工具箱BP網絡與BP學習算法神經網絡的學習人工神經網絡概述神經網絡基本數(shù)學模型第二頁，共二十五頁，2022年，8月28日人工神經網絡概述人工神經網絡（ArtificialNeuralNetwork,ANN），也稱為神經網絡（NeuralNetwork,NN），是由大量處理單元廣泛互聯(lián)而成的網絡，是對人腦的抽象、簡化和模擬，反映人腦的基本特征。人工神經網絡的研究是從人腦的生理結構出發(fā)來研究人的智能行為，模擬人腦信息處理的功能。它是植根于神經系統(tǒng)、數(shù)學、統(tǒng)計學、物理學、計算機科學及工程等學科的一種技術。第三頁，共二十五頁，2022年，8月28日人工神經網絡概述人工神經網絡是一種模擬人神經網絡行為特征，進行分布式并行信息處理的算法數(shù)學模型。這種網絡依靠系統(tǒng)的復雜程度，通過調整內部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的。人工神經網絡具有自學習和自適應的能力，可以通過預先提供的一批相互對應的輸入和輸出數(shù)據(jù)，分析掌握兩者之間潛在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結果。第四頁，共二十五頁，2022年，8月28日神經網絡基本數(shù)學模型經過對生物神經元的長期廣泛研究，1943年美國心理學家麥卡洛克（W.McCulloch）和數(shù)理學家皮茨（W.Pitts）根據(jù)生物神經元生物電和生物化學的運行機理提出神經元的數(shù)學模型，即著名的MP模型。一個典型的人工神經元MP模型如圖所示。......第五頁，共二十五頁，2022年，8月28日神經網絡基本數(shù)學模型對于網絡中的第i個神經元，接受多個其他神經元的輸入信號，各連接強度以實系數(shù)表示，即第j個神經元對第i個神經元作用的權值。利用某種運算把輸入信號的作用結合起來，給出他們的總效果，稱為凈輸入，以表示，凈輸入的表達式有多種類型，最簡單的一種形式是線性加權求和，即：MP模型的數(shù)學表達式為：式中，為閥值，是激勵函數(shù)。......第六頁，共二十五頁，2022年，8月28日神經網絡基本數(shù)學模型激勵函數(shù)可取不同的函數(shù)，它可以是線性的，也可以是非線性的。常用的基本激勵函數(shù)有以下三種；①閥值函數(shù)②分段線性函數(shù)該函數(shù)通常稱為階躍函數(shù)。此外，符號函數(shù)Sgn（t）也常常作為神經元的激勵函數(shù)。第七頁，共二十五頁，2022年，8月28日神經網絡基本數(shù)學模型

③S型函數(shù)S型函數(shù)即Sigmoid函數(shù)。它是人工神經網絡中最常用的激勵函數(shù)。S型函數(shù)定義如下：其中為S型函數(shù)的斜率參數(shù)，通過改變參數(shù)，可以得到不同斜率下的S型函數(shù)。第八頁，共二十五頁，2022年，8月28日神經網絡的學習學習功能是神經網絡最主要的特征之一，神經網絡的學習也稱為訓練，指的是通過神經網絡所在環(huán)境的刺激作用調整神經網絡的自由參數(shù)，使神經網絡以一種新的方式對外部環(huán)境做出反應的一個過程。能夠從環(huán)境中學習和在學習中提高自身性能是神經網絡的最有意義的性質。學習算法是指針對學習問題的明確規(guī)則集合。學習類型是由參數(shù)變化發(fā)生的形式決定的，不同的學習算法對神經元權值調整的表達式有所不同。沒有一種獨特的學習算法用于設計所有的神經網絡。選擇或設計學習算法時還需要考慮神經網絡的結構即神經網絡與外界環(huán)境相連的形式。第九頁，共二十五頁，2022年，8月28日神經網絡的學習神經網絡的學習方式可分為兩類：有導師學習和無導師學習。①有導師學習有導師學習又稱為有監(jiān)督學習，在學習時需要給出導師信號或稱為期望輸出。神經網絡對外部環(huán)境是未知的，但可以將導師看做對外部環(huán)境的了解，由輸入-輸出樣本集合來表示。導師信號或期望響應代表了神經網絡執(zhí)行情況的最佳效果，即對于網絡輸入調整網絡參數(shù)，使得網絡輸出逼近導師信號或期望輸出。第十頁，共二十五頁，2022年，8月28日神經網絡的學習②無導師學習無導師學習包括強化學習和無監(jiān)督學習。強化學習是模仿生物在“試探—評價”的環(huán)境中獲得知識，改進行動方案以適應環(huán)境的特點，具有向環(huán)境學習已增長知識的能力。在無監(jiān)督學習中沒有外部導師或評價系統(tǒng)來統(tǒng)觀學習過程，而是提供一個關于網絡學習表示方法質量的測量尺度，根據(jù)該尺度將網絡的自由參數(shù)最優(yōu)化。一旦網絡與輸入數(shù)據(jù)的統(tǒng)計規(guī)律性達成一致，就能夠形成內部表示方法來為輸入特征編碼，并由此自動得出新的類別。第十一頁，共二十五頁，2022年，8月28日BP網絡與BP學習算法BP網絡是一種前向多層網絡，是基于誤差反向傳播算法的有導師網絡。BP網絡通常有一個或多個隱層，隱層中的神經元均采用S型激活函數(shù)，輸出層神經元采用線性傳遞函數(shù)。x1o1輸出層隱藏層輸入層x2o2omxn…………………第十二頁，共二十五頁，2022年，8月28日BP網絡與BP學習算法BP算法是一種有導師的學習算法，這種算法通常采用梯度下降法。BP算法解決了多層前向網絡的學習問題，促進了神經網絡的發(fā)展。如圖所示為多層前向網絡的一部分，其中有兩種信號，一是實線表示的工作信號，工作信號正向傳播；二是用虛線表示的誤差信號，誤差信號反向傳播。第十三頁，共二十五頁，2022年，8月28日BP網絡與BP學習算法BP學習過程可以描述如下：①工作信號正向傳播：輸入信號從輸入層經隱單元，傳向輸出層，在輸出端產生輸出信號，這是工作信號的正向傳播。在信號向前傳遞過程中網絡的權值是固定不變的，每一層神經元的狀態(tài)只影響下一層神經元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉入誤差信號反向傳播。②誤差信號反向傳播，網絡的實際輸出與期望輸出之間差值即為誤差信號，誤差信號由輸出端開始逐層反向傳播，這是誤差信號的反向傳播。在誤差信號反向傳播的過程中，網絡的權值由誤差反饋進行調節(jié)。通過權值的不斷修正使網絡的實際輸出更接近期望輸出。第十四頁，共二十五頁，2022年，8月28日神經網絡工具箱神經網絡工具箱是在MATLAB環(huán)境下所開發(fā)出來的眾多工具箱之一，它是以人工神經網絡理論為基礎，用MATLAB語言構造出典型神經網絡的激活函數(shù)，如S型、線性、競爭層、飽和線性等激活函數(shù)，使設計者對所選定網絡輸出的計算變成對激活函數(shù)的調用。另外，根據(jù)各種典型的網絡學習算法，加上網絡的訓練過程，用MATLAB編寫出各種網絡設計與訓練的子程序，網絡的設計者則可以根據(jù)自己的需要去調用工具箱中有關神經網絡的設計學習程序，使自己能夠從繁瑣的編程中解脫出來，集中精力去思考和解決所關注的問題。第十五頁，共二十五頁，2022年，8月28日神經網絡工具箱在MATLAB的命令窗口鍵入“nntool”命令，即可進入下圖所示的圖形用戶窗口界面（GUI）。第十六頁，共二十五頁，2022年，8月28日神經網絡工具箱示例利用神經網絡工具箱設計一個三層BP網絡，使其以較高的精度逼近余弦曲線?；具^程如下：①定義神經網絡的訓練樣本數(shù)據(jù)（輸入矢量和目標矢量）%訓練樣本集：200個[-1,+1]區(qū)間隨機數(shù)x=rands(1,200);%與x對應的目標矢量，即與x對應的真實余弦值y=cos(pi*x);%建立樣本數(shù)據(jù)文件savedataxy;第十七頁，共二十五頁，2022年，8月28日神經網絡工具箱②導入訓練樣本數(shù)據(jù)在工作空間或文件中生成所需的數(shù)據(jù)，然后點擊Import按鈕將數(shù)據(jù)導入。第十八頁，共二十五頁，2022年，8月28日神經網絡工具箱③創(chuàng)建神經網絡在圖形窗口主界面中點擊“NewNetwork”，進入創(chuàng)建神經網絡界面。在該界面中進行對神經網絡的名稱、類型、結構和訓練函數(shù)等參數(shù)的設置。第十九頁，共二十五頁，2022年，8月28日神經網絡工具箱④網絡的初始化在神經網絡創(chuàng)建完成之后，網絡的權值和閥值已自動進行了初始化。在網絡結構顯示界面中，可直接點擊Weights標簽，對當前網絡進行權和閥值參數(shù)的顯示和編輯。第二十頁，共二十五頁，2022年，8月28日神經網絡工具箱⑤神經網絡的訓練在網絡結構顯示界面中點擊Train標簽進入網絡訓練界面。第二十一頁，共二十五頁，2022年，8月28日神經網絡工具箱⑥仿真（網絡的檢驗）在網絡結構顯示界面中點擊Simulate進入仿真界面。定義檢驗樣本數(shù)據(jù)t：t=-1:0.02:1;第二十二頁，共二十五頁，2022年，8月28日神經網絡工具箱⑦訓練結果和數(shù)據(jù)導出在圖形用戶窗口主界面點擊Export按鈕，彈出如圖所示結果導出界面。第二十三頁，共二十五頁，2