原創(chuàng)神經(jīng)網(wǎng)絡(luò)PPT.2021完整版ppt課件

1、原創(chuàng)神經(jīng)網(wǎng)絡(luò)PPTTitle“神經(jīng)網(wǎng)絡(luò)”這一概念于20世紀七十年代提出。但實際上多層感知器早在50年代就已經(jīng)有人提出，多層感知器是神經(jīng)網(wǎng)絡(luò)的雛形。因此，首先簡單介紹背景知識感知器感知器首先看一個線性可分問題x1x2Title把這兩類點分開非常簡單，只要定義一個線性判別函數(shù)那線性不可分怎么辦呢？看一個例子Title黑色代表一類點，紅色代表一類點。怎么把他們分開呢？Title也就是將向量x映射到y(tǒng)空間y=(1,x,x2)Tg(x)=a1+a2x+a3x2這樣用一個簡單的二次函數(shù)就可以判斷了Title簡單起見，我們設(shè)x0=1y=(1,x1,x2xd)Ta=(w0,w1,w2wd)這個簡單線性分類器的

2、圖示它的輸出就是一個簡單的符號函數(shù)。大于某一值，輸出1；否則，輸出零。把這些單元組成多層結(jié)構(gòu)，就是多層感知器Title1969年Minsky和Paper發(fā)表感知器一書，論證了簡單線型感知器的局限性。并且指出多層感知器還不能找到有效的計算方法。70代中后期重新提起神經(jīng)網(wǎng)絡(luò)概念。80年代BP網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) 理論上講，三層神經(jīng)網(wǎng)絡(luò)就可以以任意精度逼近任意函數(shù)TitleTitle凈函數(shù)，激活函數(shù)凈函數(shù)要具備的幾個特征：首先f要有非線性，否則三層網(wǎng)絡(luò)將不提供高于兩層網(wǎng)絡(luò)的計算能力第二：飽和性，即存在最大最小值第三是連續(xù)性和光華性第四是單調(diào)性反向傳播算法BP網(wǎng)絡(luò)解決了訓(xùn)練和學(xué)習(xí)問題！BP(Back Prop

3、agation)訓(xùn)練過程：給它一組輸入，有對應(yīng)的輸出。我們定義期望的輸出值是tk ,實際的輸出值zk。定義一種平方和這里括號里的W表示所有的權(quán)值。反向傳播學(xué)習(xí)規(guī)則是基于梯度下降法的：沿著梯度的負方向，收斂速度最快。首先隨機賦予權(quán)值，一般來說權(quán)值應(yīng)該比較小。然后向誤差減小的方向調(diào)整。BP學(xué)習(xí)率只表示權(quán)值的相對變化尺度在第m步迭代將權(quán)向量更新為以三層網(wǎng)絡(luò)為例?？紤]第一個隱含層到輸出層的權(quán)值wjk,BP敏感度BP輸入層到隱含層的權(quán)值計算是分配問題的關(guān)鍵。右邊的第一項包含了所有的權(quán)值wkjBP隱單元的敏感度BPBPBP隱含節(jié)點數(shù)的選?。耗壳皼]有太好的理論證明，具體的問題不太一樣。但是在經(jīng)驗中人們總結(jié)，

4、對于一個確定輸入節(jié)點數(shù)和輸出節(jié)點數(shù)的網(wǎng)絡(luò)，確定隱含節(jié)點數(shù)，使權(quán)值數(shù)大致為訓(xùn)練樣本數(shù)的十分之一實例本文根據(jù)經(jīng)驗公式和多方面的試驗，選取風(fēng)速預(yù)測神經(jīng)網(wǎng)絡(luò)模型的輸入變量為 8 個，從而輸入層節(jié)點數(shù)為 8；隱層數(shù)為一個，其節(jié)點數(shù)為 17；網(wǎng)絡(luò)的輸出為下一小時風(fēng)速的預(yù)測值，從而輸出層節(jié)點數(shù)為 1。在風(fēng)速預(yù)測網(wǎng)絡(luò)模型中，隱層采用 tansig 轉(zhuǎn)移函數(shù)，輸出層采用 pureline轉(zhuǎn)移函數(shù)，將神經(jīng)網(wǎng)絡(luò)的輸入變量確定該為序列的最近 6 個歷史值以及最近兩個殘差值，共需 8 個輸入層節(jié)點。時間序列法。神經(jīng)網(wǎng)絡(luò)法風(fēng)速預(yù)測的絕對平均誤差在 21%左右神經(jīng)網(wǎng)絡(luò)非線性問題對于函數(shù)未知的復(fù)雜問題訓(xùn)練和學(xué)習(xí)速率2. 生活

5、如海，寬容作舟，泛舟于海，方知海之寬闊;生活如山，寬容為徑，循徑登山，方知山之高大;生活如歌，寬容是曲，和曲而歌，方知歌之動聽。1. 感謝上蒼我所擁有的，感謝上蒼我所沒有的。9. 自己打敗自己的遠遠多于比別人打敗的。4. 凡真心嘗試助人者，沒有不幫到自己的。15. 火柴如果躲避燃燒的痛苦，它的一生都將黯淡無光。（ ）14. 進入黑名單就意味著你不再是我看重的人，連陌生人都比不上。9. 巖石下的小草教我們堅強，峭壁上的野百合教我們執(zhí)著，山頂上的松樹教我們拼搏風(fēng)雨，嚴寒中的臘梅教我們笑迎冰雪。15、夫婦一條心，泥土變黃金。4、人生偉業(yè)的建立 ，不在能知，乃在能行。15. 恐懼自己受苦的人，已經(jīng)因為

6、自己的恐懼在受苦。20. 在世界的歷史中，每一偉大而高貴的時刻都是某種熱忱的勝利。5、擁有夢想只是一種智力，實現(xiàn)夢想才是一種能力。14. 不要吝惜自己的愛，敞開自己的胸懷，多多給予，你會發(fā)現(xiàn)，你也已經(jīng)沐浴在了愛河里。3. 貧窮是不需要計劃的，致富才需要一個周密的計劃15. 孤獨是空氣，你呼吸著它而感覺到自己存在。11. 只向最頂端的人學(xué)習(xí)，只和最棒的人交往，只做最棒的人做的事。16. 你可以選擇這樣的“三心二意”：信心、恒心、決心;創(chuàng)意、樂意。3. 空想會想出很多絕妙的主意，但卻辦不成任何事情。9. 感情一再疏遠的原因，或許就是，我需要你的時候，而你恰好都不在。兩人之間的愛，不要猜測心意，不需要擔(dān)心行蹤;不害怕在無意之間激怒，不懷疑做任何事情的動機。兩