人工神經網絡入門

關于人工神經網絡入門一、概述生物神經網絡——人工神經網絡生物神經元人工神經元模型人工神經網絡結構神經網絡特點神經網絡學習方式第2頁,共32頁，2024年2月25日，星期天1、生物神經網絡——人工神經網絡

生物神經系統的某些結構和功能是天生的，如某些本能動作，但大多數功能需要后天學習才能獲得。構造“人工神經元”模擬生物細胞，并以某種方式進行連接，從而模擬“人腦”的某些功能。第3頁,共32頁，2024年2月25日，星期天2、生物神經元

生物神經元是人腦神經系統的基本單元，相互之間通過神經末梢連接，神經元信息是寬度和幅度相同的脈沖串，興奮的神經元，輸出高頻率的脈沖串，引起下一個神經元興奮；否則輸出頻率就低，抑制下一個神經元。第4頁,共32頁，2024年2月25日，星期天3、人工神經網絡模型

人工神經元是人工神經網絡的基本單元。依據生物神經元的結構和功能，可以把它看作一個多輸入單輸出的非線性閾值器件。第5頁,共32頁，2024年2月25日，星期天p2p1pR…f∑θaw1w2wRP：其它神經元的輸出，即該神經元輸入向量；w：其它神經元與該神經元的連接強度，即權值向量；Θ：神經元的閾值，判斷輸入向量加權和與其大??；f：神經元輸入輸出關系函數，即傳輸函數，傳輸函數不同構成了不同的神經網絡模型；a：神經元輸出第6頁,共32頁，2024年2月25日，星期天p2p1pR…aw1w2wR∑fnb人工神經元一般模型第7頁,共32頁，2024年2月25日，星期天4、人工神經網絡結構

單個人工神經元不能完成輸入信號的處理，需要按照一定的規(guī)則連接成網絡，并讓網絡中每個神經元的權值和閾值按照一定的規(guī)則變化，才能實現一定的功能要求?？煞譃榉謱有秃突ミB型兩種。第8頁,共32頁，2024年2月25日，星期天

分層型神經網絡按照功能分為輸入層、中間層和輸出層，中間層也稱為隱層，隱層可以有多層（一般不超過2層），也可以沒有。第9頁,共32頁，2024年2月25日，星期天5、神經網絡特點分布式存儲信息并行協同處理信息信息處理與存儲合而為一對信息處理具有自組織、自學習特點，便于聯想、綜合和推廣。第10頁,共32頁，2024年2月25日，星期天6、神經網絡學習方式

與生物神經網絡一樣，人工神經網絡必須經過學習，才具有智能特性。人工神經網絡的學習過程是在不斷調節(jié)權值和閾值的過程。模仿人的學習過程，提出三種學習方法：監(jiān)督學習、無監(jiān)督學習、強化學習。第11頁,共32頁，2024年2月25日，星期天1）監(jiān)督學習

給出了與所有輸入模式p對應的輸出模式的“正確答案”，即期望輸出t（目標），每次學習后，根據實際輸出a與期望輸出t的差別（誤差e），決定是否再次學習和學習方法，最終使e滿足要求。神經網絡（學習系統）誤差分析P輸入a實際輸出e

誤差信號t

期望輸出第12頁,共32頁，2024年2月25日，星期天監(jiān)督學習的誤差信號定義：均方誤差mse平均絕對誤差mae誤差平方和sse第13頁,共32頁，2024年2月25日，星期天2）無監(jiān)督學習沒有信息作為響應的校正，依據網絡結構和學習規(guī)則調節(jié)自身參數和結構，使網絡輸出反映輸入的某些固有特性。3）強化學習介于兩者之間，外部環(huán)境對學習后的輸出結果只給出評價信息，而無答案，網絡學習系統通過強化正面評價行為來改善自身性能。第14頁,共32頁，2024年2月25日，星期天二、神經網絡模型感知器BP網絡線性神經網絡徑向基網絡競爭型神經網絡自組織神經網絡反饋型神經網絡第15頁,共32頁，2024年2月25日，星期天1、感知器特點感知器神經元及感知器神經網絡模型感知器學習局限性感知器網絡設計第16頁,共32頁，2024年2月25日，星期天特點在解決線性可分問題時，感知器保持了運算速度快，性能可靠的優(yōu)點；理解感知器的訓練算法，能夠為更好理解其它復雜的神經網絡模型奠定基礎。第17頁,共32頁，2024年2月25日，星期天感知器神經元及感知器神經網絡模型神經元傳輸函數f：閾值型傳輸函數感知器網絡輸出：0，1感知器學習規(guī)則：δ規(guī)則，e＝t－a，網絡訓練目的是使ta第18頁,共32頁，2024年2月25日，星期天感知器學習

感知器神經網絡的訓練，需要提供訓練樣本集，每個樣本由神經網絡的輸入向量和輸出向量對組成，n個訓練樣本構成的訓練樣本集為：

每一步學習，對于各層感知器神經元的權值和閾值的調整算法表示為：第19頁,共32頁，2024年2月25日，星期天

通過有限步數的學習后，網絡實際輸出和期望輸出的誤差將減小到0，此時，完成網絡訓練。訓練結果使網絡訓練樣本模式分布記憶在權值和閾值之中，當給定網絡一個輸入模式時，網絡將計算出相應輸出，從而判斷這一輸入模式屬于記憶中的哪一種模式或接近于哪一種模式。第20頁,共32頁，2024年2月25日，星期天感知器局限性輸出值單層感知器網絡只用于解決線性可分問題感知器學習算法只適用于單層感知器網絡第21頁,共32頁，2024年2月25日，星期天感知器網絡設計確定輸入向量的取值范圍、維數、網絡層的神經元數目、傳輸函數和學習函數；構造訓練樣本集，確定每個樣本的輸入向量和目標向量，訓練樣本，得到滿足誤差性能指標的神經網絡；構造測試樣本集，仿真網絡的性能。第22頁,共32頁，2024年2月25日，星期天

舉例：判斷數字的奇偶性。第23頁,共32頁，2024年2月25日，星期天2、BP網絡特點BP網絡學習BP網絡設計第24頁,共32頁，2024年2月25日，星期天特點感知器神經網絡學習規(guī)則和LMS學習算法只能訓練單層神經網絡，只能解決線性可分問題，多層神經網絡可用于非線性分類BP神經元傳輸函數為非線性函數BP網絡一般為多層網絡在人工神經網絡應用中，絕大部分的神經網絡模型采用了BP網絡及其變化形式第25頁,共32頁，2024年2月25日，星期天BP網絡學習第一階段：輸入已知學習樣本，通過設置的網絡結構和前一次迭代的權值和閾值，從網絡第一層向后計算各神經元輸出第二階段：從最后一層向前計算各權值和閾值對總誤差的影響，并據此修改以上兩個過程反復交替，直到達到收斂：誤差反向傳播（backpropagation）。第26頁,共32頁，2024年2月25日，星期天BP網絡設計網絡層數輸入層節(jié)點數輸出層節(jié)點數隱層節(jié)點數第27頁,共32頁，2024年2月25日，星期天網絡層數

理論上已經證明，在不限制隱層節(jié)點數的情況下，兩層（只有一個隱層）BP網絡可以實現任意非線性映射，BP網絡隱層一般不超過兩層。第28頁,共32頁，2024年2月25日，星期天輸入層節(jié)點數

輸入層起緩沖存儲器作用，它接收外部輸入數據，其節(jié)點數取決于輸入矢量的維數，如以32×32大小圖像像素作為輸入數據時，輸入節(jié)點為1024第29頁,共32頁，2024年2月25日，星期天輸出層節(jié)點數

當神經網絡用于模式分類時，可以二進制形式表示不同模式的輸出結果，輸出節(jié)點數可根據待分類模式數來確定。第30頁,共