第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用（AI應(yīng)用3版）

1、第 8 章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用教材： 王萬良人工智能及其應(yīng)用（第3版） 高等教育出版社，2016. 22第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用神經(jīng)網(wǎng)絡(luò)（neural networks，NN） 生物神經(jīng)網(wǎng)絡(luò)( natural neural network, NNN): 由中樞神經(jīng)系統(tǒng)（腦和脊髓）及周圍神經(jīng)系統(tǒng)（感覺神經(jīng)、運動神經(jīng)等）所構(gòu)成的錯綜復(fù)雜的神經(jīng)網(wǎng)絡(luò)，其中最重要的是腦神經(jīng)系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)(artificial neural networks, ANN): 模擬人腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能，運用大量簡單處理單元經(jīng)廣泛連接而組成的人工網(wǎng)絡(luò)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)方法： 隱式的知識表示方法3第8章 人工神經(jīng)網(wǎng)絡(luò)及

2、其應(yīng)用8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用 8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 8.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用8.6 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法求解JSP8.7 卷積神經(jīng)網(wǎng)絡(luò)及其應(yīng)用4第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn)8.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用8.6 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法求解JSP8.7 卷積神經(jīng)網(wǎng)絡(luò) 及其應(yīng)用58.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò)8.1.1 生物神經(jīng)元的結(jié)構(gòu)8.1.2 神經(jīng)元數(shù)

3、學(xué)模型8.1.3 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與工作方式68.1.1 生物神經(jīng)元的結(jié)構(gòu)人腦由一千多億（1011億 1014 億）個神經(jīng)細(xì)胞（神經(jīng)元）交織在一起的網(wǎng)狀結(jié)構(gòu)組成，其中大腦皮層約140億個神經(jīng)元，小腦皮層約1000億個神經(jīng)元。 神經(jīng)元約有1000種類型，每個神經(jīng)元大約與103 104個其他神經(jīng)元相連接，形成極為錯綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。 人的智能行為就是由如此高度復(fù)雜的組織產(chǎn)生的。浩瀚的宇宙中，也許只有包含數(shù)千憶顆星球的銀河系的復(fù)雜性能夠與大腦相比。78.1.1 生物神經(jīng)元的結(jié)構(gòu)（輸入）（輸出） 神經(jīng)沖動生物神經(jīng)元結(jié)構(gòu)88.1.1 生物神經(jīng)元的結(jié)構(gòu) 工作狀態(tài)： 興奮狀態(tài)：細(xì)胞膜電位 動作電位的

4、閾值 神經(jīng)沖動 抑制狀態(tài)：細(xì)胞膜電位 0, wij = wji , 則 ；當(dāng)且僅當(dāng) 738.4.3 隨機神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元狀態(tài)為1是根據(jù)其輸入是否大于閾值確定的，是確定性的。隨機神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元狀態(tài)為1是隨機的，服從一定的概率分布。例如，服從玻爾茲曼(Boltzmann)、高斯(Gaussian)、柯西(Cauchy)分布等，從而構(gòu)成玻爾茲曼機、高斯機、柯西機等隨機機。748.4.3 隨機神經(jīng)網(wǎng)絡(luò)1. Boltzmann機 1985年，加拿大多倫多大學(xué)教授欣頓(Hinton)等人借助統(tǒng)計物理學(xué)的概念和方法，提出了Boltzmann機神經(jīng)網(wǎng)絡(luò)模型。 Boltzmann機

5、是離散Hopfield神經(jīng)網(wǎng)絡(luò)的一種變型，通過對離散Hopfield神經(jīng)網(wǎng)絡(luò)加以擾動，使其以概率的形式表達(dá)，而網(wǎng)絡(luò)的模型方程不變，只是輸出值類似于Boltzmann分布以概率分布取值。 Boltzmann機是按Boltzmann概率分布動作的神經(jīng)網(wǎng)絡(luò)。758.4.3 隨機神經(jīng)網(wǎng)絡(luò)1. Boltzmann機 （續(xù)） 離散Hopfield神經(jīng)網(wǎng)絡(luò)的輸出： Boltzman機的內(nèi)部狀態(tài)： 神經(jīng)元 輸出值為0和1時的概率：768.4.3 隨機神經(jīng)網(wǎng)絡(luò)1. Boltzmann機 （續(xù)） Boltzmann的能量函數(shù)： 神經(jīng)元 狀態(tài)轉(zhuǎn)換時網(wǎng)絡(luò)能量的變化： 神經(jīng)元 改變?yōu)闋顟B(tài)“1”的概率： )exp(11T

6、EpiiD-+=77 2. 高斯機 8.4.3 隨機神經(jīng)網(wǎng)絡(luò) :均值為0的高斯隨機變量（白噪聲） ，其方差為 3. 柯西機 : 柯西隨機變量（有色噪聲） 788.4.4 混沌神經(jīng)網(wǎng)絡(luò)1. 混沌 混沌：自然界中一種較為普遍的非線性現(xiàn)象，其行 為看似混亂復(fù)雜且類似隨機，卻存在精致的內(nèi)在規(guī) 律性。 混沌的性質(zhì) ：（1）隨機性：類似隨機變量的雜亂表現(xiàn)。（2）遍歷性：不重復(fù)地歷經(jīng)一定范圍內(nèi)的所有狀態(tài)。（3）規(guī)律性：由確定性的迭代式產(chǎn)生。 791. 混沌 （續(xù)）混沌學(xué)的研究熱潮開始于20世紀(jì)70年代初期。1963年，Lorenz在分析氣候數(shù)據(jù)時發(fā)現(xiàn)：初值十分接近的兩條曲線的最終結(jié)果會相差很大，從而獲得了混

7、沌的第一個例子。1975年，Li-Yorke的論文周期3意味著混沌使“混沌”一詞首先出現(xiàn)在科技文獻(xiàn)中。混沌的發(fā)現(xiàn)，對科學(xué)的發(fā)展具有深遠(yuǎn)的影響。 8.4.4 混沌神經(jīng)網(wǎng)絡(luò)808.4.4 混沌神經(jīng)網(wǎng)絡(luò)2. 混沌神經(jīng)元 混沌神經(jīng)元（1987年，F(xiàn)reeman）：構(gòu)造混沌神經(jīng)網(wǎng)絡(luò)的基本單位。 混沌神經(jīng)元模型：818.4.4 混沌神經(jīng)網(wǎng)絡(luò)3. 混沌神經(jīng)網(wǎng)絡(luò) 1990年，Aihara等提出了第一個混沌神經(jīng)網(wǎng)絡(luò)模型(chaotic neural network，CNN)。 1991年，Inoue等利用兩個混沌振蕩子耦合成一個神經(jīng)元的方法，構(gòu)造出一個混沌神經(jīng)計算機. 1992年，Nozawa基于歐拉離散化的H

8、opfield神經(jīng)網(wǎng)絡(luò)，通過增加一個大的自反饋項，得到了一個與Aihara等提出的類似的CNN模型。 828.4.4 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò)（1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡(luò) 1995年，Chen等提出的暫態(tài)混沌神經(jīng)網(wǎng)絡(luò)(transient chaotic neural network，TCNN) ：838.4.4 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò)（1）基于模擬退火策略的自抑制混沌神經(jīng)網(wǎng)絡(luò) 具有暫態(tài)混沌特性。 能演化到一個穩(wěn)定狀態(tài)。 搜索區(qū)域為一分形結(jié)構(gòu)。 具有混沌退火機制。 一種廣義的混沌神經(jīng)網(wǎng)絡(luò)。 可求解0-1問題，也可求解連續(xù)非線性優(yōu)化問題。848.4.4 混沌神經(jīng)網(wǎng)絡(luò)

9、非線性函數(shù)： 858.4.4 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò)（2）基于加大時間步長的混沌神經(jīng)網(wǎng)絡(luò) CHNN的歐拉離散化： 1998年，Wang和Smith采用加大時間步長產(chǎn)生混沌：868.4.4 混沌神經(jīng)網(wǎng)絡(luò) 3. 混沌神經(jīng)網(wǎng)絡(luò)（3）引入噪聲的混沌神經(jīng)網(wǎng)絡(luò) 1995年，Hayakawa等的混沌神經(jīng)網(wǎng)絡(luò)：878.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法88如何實現(xiàn)HNN的聯(lián)想記憶功能? 網(wǎng)絡(luò)能夠通過聯(lián)想來輸出和輸入模式最為相似的樣本模式。8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用89例 傳感

10、器輸出：外形，質(zhì)地，重量T 8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用90例 樣本: 步驟： （1）設(shè)計DHNN結(jié)構(gòu)（2）設(shè)計連接權(quán)矩陣（3）測試具體怎樣實現(xiàn)聯(lián)想記憶？8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用 傳感器輸出：外形，質(zhì)地，重量T 91 樣本: （1）設(shè)計DHNN結(jié)構(gòu)3神經(jīng)元的DHNN結(jié)構(gòu)圖注：8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用92 樣本: ， 連接權(quán)：（ 2）設(shè)計連接權(quán)矩陣8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用93 樣本: ， 連接權(quán)：T01,0,)2(=x （2）設(shè)計連接權(quán)矩陣8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想

11、記憶中的應(yīng)用94 （2）設(shè)計連接權(quán)矩陣8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用95 輸入：1，1，1T 輸出 ? （3）測試8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用96 （3）測試 調(diào)整次序： 初始狀態(tài)： 測試用例： 樣本：8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用97 調(diào)整次序： 213k = 08.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用98k = 1 調(diào)整次序： 2138.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用99k = 2 調(diào)整次序： 2138.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用100k = 2k = 3k

12、= 0k = 1 樣本： 調(diào)整次序：2 1 32 1 32 1 32 1 38.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用101 例 輸入：1，1 ，1T 輸出：1，0 ，1T 8.5.1 Hopfield神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶中的應(yīng)用102 連續(xù)Hopfiled神經(jīng)網(wǎng)絡(luò)求解約束優(yōu)化問題的基本思路：8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法 1985年，霍普菲爾德和塔克（D. W. Tank）應(yīng)用連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)求解旅行商問題（traveling salesman problem，TSP）獲得成功。1038.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法 用神經(jīng)網(wǎng)絡(luò)方法求解優(yōu)化問

13、題的一般步驟：（1）將優(yōu)化問題的每一個可行解用換位矩陣表示。（2）將換位矩陣與由 n 個神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)相對應(yīng)：每一個可行解的換位矩陣的各元素與相應(yīng)的神經(jīng)元穩(wěn)態(tài)輸出相對應(yīng)。（3）構(gòu)造能量函數(shù)，使其最小值對應(yīng)于優(yōu)化問題的最優(yōu)解，并滿足約束條件。（4）用罰函數(shù)法構(gòu)造目標(biāo)函數(shù)，與Hopfield神經(jīng)網(wǎng)絡(luò)的計算能量函數(shù)表達(dá)式相等，確定各連接權(quán)和偏置參數(shù)。（5）給定網(wǎng)絡(luò)初始狀態(tài)和網(wǎng)絡(luò)參數(shù)等，使網(wǎng)絡(luò)按動態(tài)方程運行，直到穩(wěn)定狀態(tài)，并將它解釋為優(yōu)化問題的解。104 應(yīng)用舉例： Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法求解TSP。 1985年，霍普菲爾德和塔克（D. W. Tank）應(yīng)用連續(xù)Hopfield 神經(jīng)網(wǎng)

14、絡(luò)求解旅行商問題獲得成功。 旅行商問題（traveling salesman problem，TSP） ：有 n 個城市，城市間的距離或旅行成本已知，求合理的路線使每個城市都訪問一次，且總路徑（或者總成本）為最短。8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法105 應(yīng)用舉例：Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法求解TSP 旅行商問題（TSP）：典型的組合優(yōu)化問題用窮舉法，Cray 計算機的計算速度：108次/秒。 1985年，Hopfield 和Tank 用Hopfield網(wǎng)絡(luò)求解 n30 的TSP問題，0.2 s 就得到次優(yōu)解。 8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法106 5個城市的TS

15、P：神經(jīng)元數(shù)目：258.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法107 TSP的描述： 用罰函數(shù)法，寫出優(yōu)化問題的目標(biāo)函數(shù)：8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法108 Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)：8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法 令E1 與目標(biāo)函數(shù)J相等，確定神經(jīng)網(wǎng)絡(luò)的連接權(quán)值和偏置電流：109神經(jīng)網(wǎng)絡(luò)的動態(tài)方程：8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法110 選擇合適的A、B、C、D和網(wǎng)絡(luò)的初始狀態(tài)，按網(wǎng)絡(luò)動態(tài)方程演化直到收斂。8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法111 神經(jīng)網(wǎng)絡(luò)優(yōu)化計算目前存在的問題：（1）解的不穩(wěn)定性。（2）參數(shù)難以確定。（3）能量函

16、數(shù)存在大量局部極小值，難以保證最優(yōu) 解。8.5.2 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法1128.6 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法求解JSP8.6.1 作業(yè)車間調(diào)度問題8.6.2 JSP的Hopfield神經(jīng)網(wǎng)絡(luò)及其求解8.6.3 作業(yè)車間生產(chǎn)調(diào)度舉例8.6.4 基于隨機神經(jīng)網(wǎng)絡(luò)的生產(chǎn)調(diào)度方法1138.6.1 作業(yè)車間調(diào)度問題 作業(yè)車間調(diào)度問題（job-shop scheduling Problem，JSP）: 一類滿足任務(wù)配置和順序約束要求的資源分配問題。 問題描述：給定一個作業(yè)（工件）的集合和一個機器的集合，每個作業(yè)包括多道工序，每道工序需要在一臺給定的機器上非間斷地加工一段時間；每臺機器

17、一次最多只能加工一道工序，調(diào)度就是把工序分配給機器上某個時間段，使加工完成時間最短。114 Foo S. Y.和Y. Takefuji在1988年最早提出用Hopfield神經(jīng)網(wǎng)絡(luò)求解JSP。8.6.1 作業(yè)車間調(diào)度問題 對于單臺機器加工問題，如果有 個作業(yè)而每個作業(yè)只考慮加工時間以及與操作序列有關(guān)的安裝時間，則這個問題就和 個城市的TSP等價。 Conway 等（1967），生產(chǎn)調(diào)度理論：“一般作業(yè)車間調(diào)度問題是一個迷人的挑戰(zhàn)性問題。盡管問題本身描述非常容易，但是朝著問題求解的方向作任何的推進(jìn)都是極端困難的”。 1151. JSP的換位矩陣表示 01,1,11,2,22,2,12,1,21,

18、1,1100001,2,2000012,2,1001002,1,2100002作業(yè) 2機器 JSP8.6.2 JSP的Hopfield神經(jīng)網(wǎng)絡(luò)及其求解“工序(2,2,1)依賴于另一工序(1,2,2)”的命題成立 。(1,2,2)：作業(yè) 1 的工序 2 在機器 2 上執(zhí)行 。“工序 不依賴于任何別的工序”的命題。 1168.6.2 JSP的Hopfield神經(jīng)網(wǎng)絡(luò)及其求解 作業(yè) 機器JSP的工序約束條件：（1）各工序應(yīng)服從優(yōu)先順序關(guān)系。任一工序可以依賴于另一個工序，也可以不依賴于任何工序（如在0時刻啟動的工序）。（2） 所有工序不允許自依賴和互依賴。（3）允許在0時刻啟動的工序數(shù)不超過 。即在

19、時，在0時刻啟動的工序數(shù)應(yīng)為 。（4）在同一時刻啟動的同一作業(yè)的工序不多于一個。（5 ）在同一時刻同一機器上啟動的工序不多于一個。 1178.6.2 JSP的Hopfield神經(jīng)網(wǎng)絡(luò)及其求解 2. JSP計算能量函數(shù) : 與矩陣中 位置相對應(yīng)的神經(jīng)元的輸出狀態(tài)。 行約束 全局約束 非對稱約束 列約束 1188.6.2 JSP的Hopfield神經(jīng)網(wǎng)絡(luò)及其求解3. Hopfield 神經(jīng)網(wǎng)絡(luò)的參數(shù)連續(xù)型 Hopfield 神經(jīng)網(wǎng)絡(luò)的計算能量函數(shù): 神經(jīng)元 與神經(jīng)元 之間的連接權(quán) 神經(jīng)元 的偏置電流 : 1198.6.2 JSP的Hopfield神經(jīng)網(wǎng)絡(luò)及其求解4. Hopfield神經(jīng)網(wǎng)絡(luò)的運動

20、方程1208.6.2 JSP的Hopfield神經(jīng)網(wǎng)絡(luò)及其求解 5. 成本樹 step1 ：根據(jù)換位矩陣，構(gòu)造成本樹。 step2： 計算成本樹上各操作 的開始時間 和結(jié)束 時間 。 step3 ：判斷是否出現(xiàn)死鎖調(diào)度。 step4 ：調(diào)整死鎖調(diào)度。1218.6.2 JSP的Hopfield神經(jīng)網(wǎng)絡(luò)及其求解6. 甘特圖step1：根據(jù)換位矩陣，計算成本樹上各操作的開始時間和結(jié)束時間，并給出相應(yīng)的甘特圖。step2：判斷甘特圖中每臺機器上各作業(yè)的開始時間是否發(fā)生重疊。step 3：判斷同一作業(yè)的各操作的開始時間是否發(fā)生重疊。step4：重復(fù)step2 和step3，直至甘特圖中同一機器上各作業(yè)的

21、開始時間和同一作業(yè)的各操作的開始時間都不發(fā)生重疊為止。1228.6.3 作業(yè)車間生產(chǎn)調(diào)度舉例2作業(yè)3機器的JSP例子 所有的操作：111，122，133，213，221，232。 1238.6.3 作業(yè)車間生產(chǎn)調(diào)度舉例換位矩陣Hopfield 神經(jīng)網(wǎng)絡(luò)：6行7列的神經(jīng)元陣列 1248.6.3 作業(yè)車間生產(chǎn)調(diào)度舉例神經(jīng)網(wǎng)絡(luò)偏置電流矩陣 1258.6.3 作業(yè)車間生產(chǎn)調(diào)度舉例計算能量函數(shù)為0的換位矩陣 1268.6.3 作業(yè)車間生產(chǎn)調(diào)度舉例成本樹 返回1278.6.3 作業(yè)車間生產(chǎn)調(diào)度舉例甘特圖 返回128 基本思想： 在系統(tǒng)尋優(yōu)過程中，利用神經(jīng)元狀態(tài)更新的隨機性，允許向較差方向搜索，以跳出局部極

22、小。經(jīng)多次尋查后，最終使系統(tǒng)穩(wěn)定于能量最低狀態(tài)，使神經(jīng)網(wǎng)絡(luò)收斂到計算能量函數(shù)的最小值0，從而使神經(jīng)網(wǎng)絡(luò)輸出是一個可行調(diào)度解。8.6.4 基于隨機神經(jīng)網(wǎng)絡(luò)的生產(chǎn)調(diào)度方法129 根據(jù)改進(jìn)Metropolis方法，求解JSP的基于模擬退火的神經(jīng)網(wǎng)絡(luò)算法： （1）初始化： 設(shè)置初始溫度 ，合適的輸入偏置電流，凝結(jié)溫度 ，溫度下降速率 ，在每個溫度點的循環(huán)處理次數(shù) 。8.6.4 基于隨機神經(jīng)網(wǎng)絡(luò)的生產(chǎn)調(diào)度方法（2）隨機爬山： 對每個神經(jīng)元 ，由求解網(wǎng)絡(luò)方程計算輸出電壓。由網(wǎng)絡(luò)穩(wěn)定狀態(tài)集組成成本樹；求出最大成本變化量 。 1308.6.4 基于隨機神經(jīng)網(wǎng)絡(luò)的生產(chǎn)調(diào)度方法 若 ，則轉(zhuǎn)去（3）；否則計算能量變

23、化量 若 ，則令 否則，令 計算概率131第8章 人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用8.1 神經(jīng)元與神經(jīng)網(wǎng)絡(luò) 8.2 BP神經(jīng)網(wǎng)絡(luò)及其學(xué)習(xí)算法 8.3 BP神經(jīng)網(wǎng)絡(luò)的應(yīng)用 8.4 Hopfield神經(jīng)網(wǎng)絡(luò)及其改進(jìn) 8.5 Hopfield神經(jīng)網(wǎng)絡(luò)的應(yīng)用8.6 Hopfield神經(jīng)網(wǎng)絡(luò)優(yōu)化方法求解JSP8.7 卷積神經(jīng)網(wǎng)絡(luò)及其應(yīng)用1321328.7 卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）1962年Hubel和Wiesel通過對貓視覺皮層細(xì)胞的研究，提出了感受野(receptive field)的概念。視覺皮層的神經(jīng)元就是局部接受信息的，只受某些特定區(qū)域刺

24、激的響應(yīng)，而不是對全局圖像進(jìn)行感知。1984年日本學(xué)者Fukushima基于感受野概念提出神經(jīng)認(rèn)知機(neocognitron)。CNN可看作是神經(jīng)認(rèn)知機的推廣形式。1338.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)概念示范：輸入圖像通過與m個可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，在C1層產(chǎn)生m個特征映射圖，然后特征映射圖中每組的n個像素再求和，加權(quán)值，加偏置，通過Sigmoid函數(shù)得到m個S2層的特征映射圖。這些映射圖再進(jìn)過濾波得到C3層。這個層級結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)神經(jīng)網(wǎng)絡(luò)，得到輸出。CNN是一個多層的神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組

25、成，而每個平面由多個獨立神經(jīng)元組成。C層為特征提取層（卷積層）S層是特征映射層（下采樣層）。CNN中的每一個C層都緊跟著一個S層。1331341348.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特征提取層（卷積層）C層（Convolution layer）左圖展示了一個3*3的卷積核在5*5的圖像上做卷積的過程。卷積實際上提供了一個權(quán)重模板。卷積運算是一種用鄰域點按一定權(quán)重去重新定義該點值的運算。對圖像用一個卷積核進(jìn)行卷積運算，實際上是一個濾波的過程。每個卷積核都是一種特征提取方式，就像是一個篩子，將圖像中符合條件的部分篩選出來。1351358.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特征提取層（卷積層）C層（Convol

26、ution layer）大部分的特征提取都依賴于卷積運算利用卷積算子對圖像進(jìn)行濾波，可以得到顯著的邊緣特征。1361368.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特征映射層（下采樣層）S層（ Subsampling layer） 卷積層的作用是探測上一層特征的局部連接，然而下采樣層的作用是在語義上把相似的特征合并起來。1371378.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特征映射層（下采樣層）S層（ Subsampling layer）下采樣層降低了每個特征圖的空間分辨率。1381388.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)特征映射層（下采樣層）S層（ Subsampling layer）CNN中的每一個特征提取層（C）都緊跟

27、著一個用來求局部平均與二次提取的計算層（S）。這種特有的兩次特征提取結(jié)構(gòu)能夠容許識別過程中輸入樣本有較嚴(yán)重的畸變。1391398.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積過程：用一個可訓(xùn)練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是Feature Map了），然后加一個偏置bx，得到卷積層Cx。下采樣過程：鄰域n個像素通過池化（pooling）步驟變?yōu)橐粋€像素，然后通過標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后通過一個sigmoid激活函數(shù)，產(chǎn)生一個大概縮小n倍的特征映射圖Sx+1。1401408.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積后下采樣后1418.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積

28、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)概念示范：輸入圖像通過與m個可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，在C1層產(chǎn)生m個特征映射圖，然后特征映射圖中每組的n個像素再進(jìn)行求和，加權(quán)值，加偏置，通過一個Sigmoid函數(shù)得到m個S2層的特征映射圖。這些映射圖再進(jìn)過濾波得到C3層。這個層級結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。CNN是一個多層的神經(jīng)網(wǎng)絡(luò)，每層由多個二維平面組成，而每個平面由多個獨立神經(jīng)元組成。C層為特征提取層（卷積層）S層是特征映射層（下采樣層）。CNN中的每一個C層都緊跟著一個S層。1411421428.7.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)的4個

29、關(guān)鍵技術(shù)：局部連接（8.7.2）權(quán)值共享（8.7.3）多卷積核（8.7.4）池化（8.7.5）1431438.7.2 卷積神經(jīng)網(wǎng)絡(luò)的局部連接視覺皮層中每個神經(jīng)元不是對全局圖像進(jìn)行感知，而只對局部進(jìn)行感知，然后在更高層將局部的信息綜合起來得到全局信息。1441448.7.3 卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值共享隱含層的每一個神經(jīng)元如果只和10 x10個像素連接，也就是說每一個神經(jīng)元存在10 x10=100個連接權(quán)值參數(shù)。如果將每個神經(jīng)元的參數(shù)設(shè)置成相同，那么，不管隱層的神經(jīng)元個數(shù)有多少，兩層間的連接都只有100個參數(shù)，這就是卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值共享。1451458.7.3 卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值共享局部連接：每個神

30、經(jīng)元無需對全局圖像進(jìn)行感知，而只需對局部進(jìn)行感知，然后在更高層將局部的信息綜合起來得到全局信息。權(quán)值共享：每個神經(jīng)元參數(shù)設(shè)為相同，即權(quán)值共享，也即每個神經(jīng)元用同一個卷積核去卷積圖像。減少參數(shù)的方法：1461468.7.4 卷積神經(jīng)網(wǎng)絡(luò)的多卷積核下圖中不同的顏色表示不同的卷積核，每個卷積核都會將圖像生成為另一幅特征映射圖（即：一個卷積核提取一種特征）。為了使特征提取更充分，我們可以添加多個卷積核（濾波器）以提取不同的特征。 每層隱層神經(jīng)元的個數(shù)按卷積核的數(shù)量翻倍。每層隱層參數(shù)個數(shù)僅與特征區(qū)域大小、卷積核的多少有關(guān)。 例如：隱含層的每個神經(jīng)元都連接10 x10像素圖像區(qū)域，同時有100種卷積核（濾波器）。則參數(shù)總個數(shù)為：（10 x10+1）x100=10100個1471478.7.5 卷積神經(jīng)網(wǎng)絡(luò)