傳統(tǒng)BP與遺傳算法簡(jiǎn)介課件

傳統(tǒng)BP與遺傳算法簡(jiǎn)介匯報(bào)人：傳統(tǒng)BP與遺傳算法簡(jiǎn)介匯報(bào)人：11：?jiǎn)紊窠?jīng)元模型

2：傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)

3：傳統(tǒng)的遺傳算法

4：總結(jié)1：?jiǎn)紊窠?jīng)元模型2

1單神經(jīng)元模型

如圖中為神經(jīng)元的內(nèi)部狀態(tài)，為閾值，為輸入信號(hào)，，為表示從單元到單元的連接權(quán)系數(shù)，為外部輸入信號(hào)。神經(jīng)元模型可描述為：其中為激活函數(shù)（進(jìn)行非線性化）1單神經(jīng)元模型神經(jīng)元模型可描述為：其中為激活函數(shù)32傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)

BP算法又稱為誤差反向傳播算法，它是一個(gè)迭代算法，其基本思想是梯度下降法。采用梯度搜索技術(shù)，使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。

輸入層隱含層輸出層2傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)輸入層隱含層輸出層4前向傳播：將訓(xùn)練集數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過隱藏層，最后達(dá)到輸出層并輸出結(jié)果。神經(jīng)元h1的輸入加權(quán)和：神經(jīng)元h1的輸出：神經(jīng)元h2的輸出：神經(jīng)元h2的輸入加權(quán)和：輸入層

隱含層：前向傳播：將訓(xùn)練集數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)的輸入層，經(jīng)過隱藏層，最5神經(jīng)元o1的輸入加權(quán)和：神經(jīng)元o1的輸出：神經(jīng)元o2的輸入加權(quán)和：神經(jīng)元o2的輸出：隱含層

輸出層：這樣前向傳播的過程就結(jié)束了，之后計(jì)算期望值與輸出值之間誤差，對(duì)誤差進(jìn)行反向傳播，更新權(quán)重與閾值，重新計(jì)算輸出。神經(jīng)元o1的輸入加權(quán)和：神經(jīng)元o1的輸出：神經(jīng)元o2的輸入加62.反向傳播：計(jì)算期望輸出值與實(shí)際輸出值之間的誤差，并將該誤差從輸出層向隱藏層反向傳播，直至傳播到輸入層；同時(shí)在反向傳播的過程中，根據(jù)誤差調(diào)整相連神經(jīng)元的權(quán)重和閾值，使得總損失函數(shù)減小。計(jì)算損失函數(shù)：輸出層

隱含層：權(quán)值與閾值更新（以w5、b2與w1、b1為例）：w5對(duì)整體損失產(chǎn)生的影響：由梯度下降法，權(quán)值的修正值

與E的梯度成正比，更新w5、b1：2.反向傳播：計(jì)算期望輸出值與實(shí)際輸出值之間的誤差，并將該7隱含層

輸入層：w1對(duì)整體損失產(chǎn)生的影響：更新w1與b1：同理可以求出其它權(quán)值與閾值，通過不斷迭代上述三個(gè)步驟，更新權(quán)重與閾值（即對(duì)數(shù)據(jù)進(jìn)行反復(fù)訓(xùn)練），直到誤差滿足條件后停止。由于傳統(tǒng)的BP網(wǎng)絡(luò)是通過梯度下降法進(jìn)行學(xué)習(xí)，隨機(jī)生成權(quán)值和閾值，如果這兩個(gè)初始參數(shù)選擇不當(dāng)，網(wǎng)絡(luò)就會(huì)出現(xiàn)局部最優(yōu)或收斂速度慢等問題。隱含層輸入層：w1對(duì)整體損失產(chǎn)生的影響83遺傳算法遺傳算法（GeneticAlgorithm,GA）借鑒了達(dá)爾文的進(jìn)化論和孟德爾的遺傳學(xué)說。其本質(zhì)是一種高效、并行、全局搜索的優(yōu)化方法。GA中每一條染色體，對(duì)應(yīng)著一個(gè)解決方案，一般我們用適應(yīng)性函數(shù)來衡量這個(gè)解決方案的優(yōu)劣。所以從一個(gè)基因組到其解的適應(yīng)度形成一個(gè)映射?？梢园哑溥^程看作是一個(gè)在多元函數(shù)里面求最優(yōu)解的過程。3遺傳算法遺傳算法（GeneticAlgorithm,9例如我們用GA算法在既定的區(qū)間找到以下函數(shù)的最大值1.個(gè)體編碼將x表達(dá)為基因的過程，稱之為編碼，常見的編碼格式有二進(jìn)制編碼和浮點(diǎn)編碼。此處采用9位二進(jìn)制進(jìn)行編碼：將x的區(qū)間[-1,2]進(jìn)行編碼：那么其精度為：例如我們用GA算法在既定的區(qū)間找到以下函數(shù)的最大值1.個(gè)體10離散點(diǎn)-1到離散點(diǎn)2，分別對(duì)應(yīng)于從000000000(0)到111111111(512)之間的二進(jìn)制編碼000000000或111111111都表示一個(gè)個(gè)體的基因型（如果有多個(gè)變量，則直接串聯(lián)起來構(gòu)成一個(gè)基因型），表示一個(gè)可行解2.初始群體的產(chǎn)生遺傳算法是對(duì)群體進(jìn)行的進(jìn)化操作，需要給其淮備一些表示起始搜索點(diǎn)的初始群體數(shù)據(jù)。本例中，群體規(guī)模的大小取為103.適應(yīng)度計(jì)算遺傳算法中以個(gè)體適應(yīng)度的大小來評(píng)定各個(gè)個(gè)體的優(yōu)劣程度，從而決定其遺傳機(jī)會(huì)的大小。本例中，由于是以求函數(shù)最大值為優(yōu)化目標(biāo)，故可直接利用目標(biāo)函數(shù)值

作為個(gè)體的適應(yīng)度離散點(diǎn)-1到離散點(diǎn)2，分別對(duì)應(yīng)于從000000000(0)11則各個(gè)個(gè)體被選中的概率（生存概率）為：4.選擇運(yùn)算

進(jìn)行優(yōu)勝劣汰的方法是：每次從群體中隨機(jī)抽取p個(gè)人，將p個(gè)人中適應(yīng)度最好的保留下來，重復(fù)N次，得到N個(gè)保留下的個(gè)體形成下一代。很明顯，適應(yīng)度評(píng)分越高的個(gè)體被選中的概率越大。5.交叉運(yùn)算

交叉指的是交換染色體片段后產(chǎn)生兩個(gè)新的后代，例如典型的單點(diǎn)交叉方式：隨機(jī)選擇兩個(gè)個(gè)體組成一個(gè)父母對(duì)進(jìn)行交叉，按照以下的方式產(chǎn)生新的子代。則各個(gè)個(gè)體被選中的概率（生存概率）為：4.選擇運(yùn)算126.變異運(yùn)算

變異的作用，指的是染色體的某個(gè)基因片段或者某個(gè)基因點(diǎn)發(fā)生突變。例如單點(diǎn)突變可以通過下圖進(jìn)行表示：

突變的作用，是希望能夠擺脫局部最優(yōu)點(diǎn)，往更好的地方去。但是效果具有很大的隨機(jī)性。7.個(gè)體解碼6.變異運(yùn)算變異的作用，指的是染色體的某個(gè)基因片段13將個(gè)體解碼為十進(jìn)制公式為：遺傳算法流程圖：將個(gè)體解碼為十進(jìn)制公式為：遺傳算法流程圖：14效果圖：第一代適應(yīng)度的平均值為2.025，