神經(jīng)網(wǎng)絡(luò)算法

1、神經(jīng)網(wǎng)絡(luò)算法分類及概念：生物神經(jīng)網(wǎng)絡(luò) 生物體的每個(gè)神經(jīng)元有數(shù)以千計(jì)的通道同其它神經(jīng)元廣泛相互連接，形成復(fù)雜的生物神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò) 以數(shù)學(xué)和物理方法以及信息處理的角度對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡(jiǎn)化模型，就稱為人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，縮寫(xiě) ANN）。·神經(jīng)網(wǎng)絡(luò)是由多個(gè)非常簡(jiǎn)單的處理單元彼此按某種方式相互連接而形成的計(jì)算系統(tǒng)，該系統(tǒng)是靠其狀態(tài)對(duì)外部輸入信息的動(dòng)態(tài)響應(yīng)來(lái)處理信息的。·人工神經(jīng)網(wǎng)絡(luò)是一個(gè)由許多簡(jiǎn)單的并行工作的處理單元組成的系統(tǒng)，其功能取決于網(wǎng)絡(luò)的結(jié)構(gòu)、連接強(qiáng)度以及各單元的處理方式。·人工神經(jīng)網(wǎng)絡(luò)是一種旨

2、在模仿人腦結(jié)構(gòu)及其功能的信息處理系統(tǒng)。BP神經(jīng)網(wǎng)絡(luò)一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。神經(jīng)網(wǎng)絡(luò)的基本特征：結(jié)構(gòu)特征能力特征并行式處理自學(xué)習(xí)分布式存儲(chǔ)自組織容錯(cuò)性自適應(yīng)性神經(jīng)網(wǎng)絡(luò)的基本功能：輸入的樣本經(jīng)過(guò)自動(dòng)提取，經(jīng)過(guò)非線性映射規(guī)則處理輸出需要的樣本。分類與識(shí)別功能：優(yōu)化計(jì)算功能：神經(jīng)網(wǎng)絡(luò)的應(yīng)用

3、領(lǐng)域：醫(yī)學(xué)領(lǐng)域1. 檢測(cè)數(shù)據(jù)分析2. 生物活性研究3. 醫(yī)學(xué)專家系統(tǒng)神經(jīng)網(wǎng)絡(luò)建模：思考方法：用生物神經(jīng)網(wǎng)絡(luò)類比人工神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元在結(jié)構(gòu)上由四部分組成1. 胞體2.樹(shù)突3.軸突4.突觸神經(jīng)元的狀態(tài)分為：靜息興奮抑制信息的傳遞過(guò)程：電信號(hào)沿著軸突到突觸前膜，期間，突觸小泡釋放神經(jīng)遞質(zhì)（興奮性或抑制性）到突觸間隙，作用于突觸后膜的受體，使下一個(gè)神經(jīng)元興奮或抑制。從而完成此次信號(hào)的傳遞。PS：可能有多個(gè)神經(jīng)元同時(shí)作用于一個(gè)神經(jīng)元。生物神經(jīng)元的信息整合度：同一時(shí)刻多個(gè)神經(jīng)元所產(chǎn)生的刺激所引起的膜電位變化，大致等于個(gè)單獨(dú)刺激引起膜電位點(diǎn)位的代數(shù)和。各次的興奮傳遞到突觸后膜的時(shí)間不同，總的動(dòng)作電位為該段

4、時(shí)間的總和。神經(jīng)元之間突觸的連接方式和連接強(qiáng)度不盡相同。類比而來(lái)看：決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三要素為：1. 節(jié)點(diǎn)本身的信息處理能力>數(shù)學(xué)模型2. 節(jié)點(diǎn)之間的連接（突觸間隙） >拓?fù)浣Y(jié)構(gòu)；3. 節(jié)點(diǎn)之間相互連接的強(qiáng)度 >通過(guò)學(xué)習(xí)調(diào)節(jié)該模型的六點(diǎn)假設(shè)：1. 每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元（類似函數(shù)中的映射）2. 神經(jīng)元傳遞的信息分為興奮性和抑制性3. 神經(jīng)元具有空間整合特性和閾（yu）特性；4. 神經(jīng)元信息傳遞具有時(shí)間滯留（突觸間的延擱）；5. 一般忽略時(shí)間滯留和不應(yīng)期；6. 神經(jīng)元本身是非時(shí)變的，是本身的一種特性，一般不隨其他變化而變化（突觸延擱與突觸強(qiáng)度為常數(shù)

5、）假設(shè)解釋：1. 多入單出設(shè)有n個(gè)神經(jīng)元作用于另一個(gè)神經(jīng)元j，則，輸出的信號(hào)表示為Oj2. 輸入加權(quán)同假設(shè)一，只是加了權(quán)值wij其中，權(quán)值的大小是神經(jīng)元之間連接的強(qiáng)度，權(quán)值的正負(fù)表示神經(jīng)遞質(zhì)是興奮或抑制。3. 加權(quán)求和必須對(duì)輸入的信息進(jìn)行整合，以確定輸入信息的總效果，才有意義。這里的求和類似于生物神經(jīng)元的膜電位變化的最終表現(xiàn)。神經(jīng)元的興奮與抑制或保持靜息取決于一個(gè)閾值，當(dāng)該和大于閾值時(shí)，則興奮；小于閾值時(shí)，則不興奮，保持靜息；當(dāng)權(quán)值小于零時(shí)，表現(xiàn)為抑制。4. 輸入輸出函數(shù)當(dāng)介入一個(gè)非線性函數(shù)時(shí)，處理起來(lái)就類似于人工神經(jīng)網(wǎng)絡(luò)。數(shù)學(xué)公式抽象（函數(shù)）：Xi(t) 表示在t時(shí)刻神經(jīng)元j接受來(lái)自神經(jīng)元i

6、的信息輸入Oj(t) 表示t時(shí)刻神經(jīng)元級(jí)的信息輸出 t 信息從突觸前膜到突觸后膜所需要的時(shí)間ij 突觸延擱Tj 閾值Wij 權(quán)值f（）非線性函數(shù)解釋：綜合輸出值Oj(t)等于：各個(gè)神經(jīng)元i與突觸后膜的權(quán)值乘以神經(jīng)元i的信息輸入值減去閾值，再進(jìn)行n個(gè)神經(jīng)元求和。推廣1：當(dāng)延擱設(shè)為單位時(shí)間時(shí)有1. i（1,2,3.n）體現(xiàn)多輸入單輸出2. wij有正負(fù)體現(xiàn)突觸的興奮或抑制3. Tj體現(xiàn)閾值4. Oj（t） 表示凈輸入推廣2：只考慮空間整合Wij與時(shí)間無(wú)關(guān)，體現(xiàn)“非時(shí)變”數(shù)學(xué)模型：簡(jiǎn)便起見(jiàn)，推廣2式中的（t）通常省略。該式子可以表示為權(quán)重向量Wj與輸入向量X的數(shù)量積WiX，其中，Wj與X均為列向量；

7、于是就有：Wj=(w1,w2,.wn)T, X=(x1,x2.xn)T如果對(duì)應(yīng)于推廣1中的公式就有：若令X0=-1（上式為延擱為單位時(shí)間），W0=Tj ；于是就有：凈輸入與閾值只差為netj=WjTX；綜上所述： 注意：這里的i時(shí)從0開(kāi)始取，因?yàn)槭街邪碎撝?。所以該模型可以?jiǎn)化為：轉(zhuǎn)移函數(shù)各種數(shù)學(xué)模型的不同主要取決于非線性函數(shù)的不同。分類網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型(輸入層到輸出層之間無(wú)連接)<-輸出層<-中間層（隱層）<-輸入層網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型(輸入層到輸出層之間有連接)輸出層的信息可以作為一個(gè)輸入層再次中間層（隱層）中間層之間有聯(lián)系全互聯(lián)型與輸入層和輸出層之間有連接類型不同的是：全

8、互聯(lián)型的輸出層可以作為任意輸入單元的輸入信息局部互聯(lián)型按流向分類：前饋：信息處理的方向是從輸入層->中間層->輸出層（如上圖中輸入層與輸出層無(wú)連接類型）反饋：所有節(jié)點(diǎn)都具有信息處理功能，且每個(gè)節(jié)點(diǎn)既可以從外界接受信息輸入，又可以向外界輸出（如全互聯(lián)型）神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)通過(guò)不斷改變網(wǎng)絡(luò)連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，使得網(wǎng)絡(luò)的輸出不斷接近期望的值。學(xué)習(xí)類型：1. 有導(dǎo)師2. 無(wú)導(dǎo)師3. 死記式學(xué)習(xí)學(xué)習(xí)過(guò)程：一適用于純前饋，無(wú)導(dǎo)師的神經(jīng)網(wǎng)絡(luò)其中：體現(xiàn)了權(quán)值改變量與學(xué)習(xí)效率和f()之間的關(guān)系于是就有：2 適用于導(dǎo)師學(xué)習(xí)（只適用于二進(jìn)制神經(jīng)元）其中：同（一）也就有：當(dāng)實(shí)際輸出達(dá)到期望誤差范圍時(shí)，權(quán)值不

9、需要調(diào)整；由dj可知：（3） 連續(xù)感知器學(xué)習(xí)規(guī)則BP傳播模型（多層前饋神經(jīng)網(wǎng)絡(luò)）模式結(jié)構(gòu)圖如下：學(xué)習(xí)過(guò)程：邊修正誤差系數(shù)邊向后傳播的過(guò)程分為正向傳播和反向傳播。正向傳播：略反向傳播：如果得不到實(shí)際的輸出，則轉(zhuǎn)入反向傳播過(guò)程，將誤差信號(hào)沿原來(lái)的連接線路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播進(jìn)行計(jì)算，再經(jīng)過(guò)正向傳播過(guò)程。這兩個(gè)過(guò)程的反復(fù)運(yùn)用，逐漸使得誤差信號(hào)達(dá)到期望范圍。BP算法如下：其中，l為學(xué)習(xí)率；oi為單元i的輸出；oj為單元j的輸出；Tj為輸出層單元j的期望輸出；Errj為與隱藏層單元j的誤差加權(quán)和；wjk為單元j與單元k相連的有向加權(quán)邊的權(quán)重；為改變單元j活性的偏量。輸入：訓(xùn)

10、練樣本S，學(xué)習(xí)率l，多層前饋網(wǎng)絡(luò)。輸出：一個(gè)訓(xùn)練的、對(duì)樣本分類的神經(jīng)網(wǎng)絡(luò)。方法：(1) 初始化網(wǎng)絡(luò)的權(quán)和閾值(2)  WHILE終止條件滿足(3)  FOR S中的每個(gè)訓(xùn)練樣本X(4)  FOR隱藏或輸出層每個(gè)單元j(5) ; /相對(duì)于前一層計(jì)算單元j的凈輸入(6) ; / 計(jì)算每個(gè)單元j的輸出(7)  FOR輸出層每個(gè)單元(8)  ; /計(jì)算誤差(9)  FOR由最后一個(gè)到第一個(gè)隱藏層，對(duì)于隱藏層每個(gè)單元j(10)  ; /計(jì)算關(guān)于下一個(gè)較高層k的誤差(11)  FOR網(wǎng)絡(luò)中的每一個(gè)權(quán)(12)  (13)  FOR網(wǎng)絡(luò)中每個(gè)單元偏量(14)