人工智能原理及MATLAB實現(xiàn) 課件 第3章 人工神經(jīng)網(wǎng)絡

第三章人工神經(jīng)網(wǎng)絡第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理ANN是在人類對其大腦神經(jīng)網(wǎng)絡認識理解的基礎上，人工構造的能夠實現(xiàn)某種功能的網(wǎng)絡系統(tǒng)，它對人腦進行了簡化、抽象和模擬，是大腦生物結構的數(shù)學模型。ANN由大量功能簡單而具有自適應能力的信息處理單元即人工神經(jīng)元按照大規(guī)模并行的方式，通過的拓撲結構連接而成。第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理3.1.1人工神經(jīng)元人工神經(jīng)元是對生物神經(jīng)元結構和功能的模擬?？梢园讶斯ど窠?jīng)網(wǎng)絡看成是以處理單元為節(jié)點、用加權有向弧相互連接而成的有向圖。其中處理單元是對生理神經(jīng)元的模擬，而有向弧則是對軸突－突觸－樹突對的模擬，有向圖的權值表示兩處理單元的相互作用的強弱。第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理3.1.2傳遞函數(shù)在人工神經(jīng)元系統(tǒng)中，其輸出是通過傳遞函數(shù)f（?）來完成的。傳遞函數(shù)的作用是控制輸入對輸出的激活作用，把可能的無限域變換到給定范圍的輸出，對輸入、輸出進行函數(shù)轉換，以模擬生物神經(jīng)元線性或非線性轉移特性。f函數(shù)形式多樣，它反映了神經(jīng)元的線性特征，這些特征一般可分為3種類型：簡單的映射關系、動態(tài)系統(tǒng)方程和概率統(tǒng)計模型。第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理3.1.3人工神經(jīng)網(wǎng)絡的基本特點人工神經(jīng)網(wǎng)絡具有一系列不同于其他計算方法的性質和特點：（1）神經(jīng)網(wǎng)絡將信息分布貯存在大量的神經(jīng)元中，且具有內(nèi)在的知識索引功能，也即具有將大量信息存貯起來并具有以一種更為簡便的方式對其訪問的能力。（2）人工神經(jīng)網(wǎng)絡能模擬人類的學習過程，并且有很強的容錯能力。（3）人工神經(jīng)網(wǎng)絡是一種非線性的處理單元。第三章人工神經(jīng)網(wǎng)絡3.1人工神經(jīng)網(wǎng)絡的基本原理3.1.4人工神經(jīng)網(wǎng)絡的數(shù)學基礎人工神經(jīng)網(wǎng)絡涉及許多數(shù)學知識。限于篇幅，在此僅介紹最基本的數(shù)學基礎知識：(1)向量的內(nèi)積與外積：設向量V＝(v1,v2,…,vn)和矩陣W＝(w1,w2,…,wn)。向量可用兩種方法來相乘，一種是稱為點乘，又稱內(nèi)積，另一種為外積。（2）矩陣運算與層次結構網(wǎng)絡：設給定一個向量V和一個矩陣W，則它們的乘積為一向量：W·V=U這種運算又稱為映射，即V被W映射成U：U=WV；若用W-1表示W(wǎng)的逆矩陣，則類似地有映射：V=W－1U。第三章人工神經(jīng)網(wǎng)絡3.2人工神經(jīng)網(wǎng)絡的結構形式3.2.1分層網(wǎng)絡結構分層網(wǎng)絡結構又稱為層次網(wǎng)絡結構，按層的多少，可分為單層、雙層和多層的網(wǎng)絡結構。1.單層或雙層網(wǎng)絡結構第三章人工神經(jīng)網(wǎng)絡3.2人工神經(jīng)網(wǎng)絡的結構形式3.2.1分層網(wǎng)絡結構2.多層網(wǎng)絡結構第三章人工神經(jīng)網(wǎng)絡3.2人工神經(jīng)網(wǎng)絡的結構形式3.2.2相互連接型結構相互連接型網(wǎng)絡可以認為是一種非線性動力學系統(tǒng)，其主要特點是模塊內(nèi)部的神經(jīng)元緊密相互連接，每個模塊則完成自己特定的功能。然后，模塊之間相互連接，以完成整體功能。模塊結構又與層次結構相結合，形成多層次多模塊結構。顯然，這種互連形式的人工神經(jīng)網(wǎng)絡將更接近于人腦神經(jīng)網(wǎng)絡系統(tǒng)的結構。第三章人工神經(jīng)網(wǎng)絡3.3神經(jīng)網(wǎng)絡模型分類（1）按學習方式分類按學習方式分為有導師學習（有監(jiān)督訓練）、強化學習和無導師（無監(jiān)督訓練）3類網(wǎng)絡模型。（2）按網(wǎng)絡的活動方式分類按網(wǎng)絡的活動方式即按網(wǎng)絡的學習技術，可分為確定性活動方式和隨機性活動方式。第三章人工神經(jīng)網(wǎng)絡3.3神經(jīng)網(wǎng)絡模型分類（3）按神經(jīng)網(wǎng)絡的建立原理分類按神經(jīng)網(wǎng)絡的建立原理，可分為數(shù)學模型和認知模型。（4）按網(wǎng)絡的信息處理能力分類按網(wǎng)絡的信息處理能力可分為模型識別、模式分類、組合優(yōu)化問題求解、數(shù)據(jù)聚簇與組合、數(shù)學映射逼近和聯(lián)想記憶等。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.1Hebb學習算法該算法又稱為Hebb學習規(guī)則，其思想描述如下：（1）如果一個突觸（連接）兩邊的兩個神經(jīng)元被同時激活，則該突觸的能量就有選擇性的增加。（2）如果一個突觸兩邊的兩個神經(jīng)元被異步激活，則該突觸的能量就被有選擇性的減弱或消除。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.2誤差修正學習算法該學習算法是一種有監(jiān)督的學習過程，它是利用神經(jīng)網(wǎng)絡的期望輸出與實際輸出間的偏差作為調整連接權值的依據(jù)，并最終減少這種偏差到規(guī)定的誤差范圍內(nèi)。設實際輸出yi(n)與期望輸出d(n)間的誤差e(n)為e(n)＝d(n)－yi(n)，性能函數(shù)為E(n)=e2(n)/2，則學習過程就是調整突觸權值，經(jīng)過反復迭代計算使性能函數(shù)E(n)達到最小或使系統(tǒng)收斂到穩(wěn)定狀態(tài)，即使突觸權值穩(wěn)定。這個學習過程稱為糾錯學習，也稱Delta規(guī)則。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.3隨機型學習算法隨機型學習算法也稱為Boltzmann學習規(guī)則，是結合隨機過程、概率和能量（函數(shù)）來調整網(wǎng)絡的變量，從而使網(wǎng)絡的目標函數(shù)達到最大（最?。?。在該學習規(guī)則設計出的神經(jīng)網(wǎng)絡稱為Boltzmann機。Boltzmann機的變化應遵循以下準則：（1）如果網(wǎng)絡的能量變化后，能量函數(shù)有更低的值，那么接受這種變化。（2）如果網(wǎng)絡的能量變化后，能量函數(shù)沒有更低的值，那么按一個預先選取有概率分布接受這種變化。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.4競爭型學習算法競爭型學習算法是指網(wǎng)絡的某些群體中所有單元相互競爭對外界刺激模式響應的活動方式，競爭取勝單元的連接權向著對這一刺激模式競爭更有利的方向變化，而且競爭取勝的單元又抑制了競爭失敗單元對模式的響應。因此在任一時間只能有一個輸出神經(jīng)元是活性的。競爭學習更一般化的形式是不允許單個勝利者出現(xiàn)，學習發(fā)生在取勝者集合（稱為取勝域）中各單元的連接權上，這種學習又被稱為協(xié)同學習。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.5基于記憶的學習算法在基于記憶的學習中，過去的學習結果被存儲在一個大的存儲器中，當輸入一個新的測試向量xtest時，學習過程就是將xtest歸到已存儲的某個類中。所有基于記憶的學習算法包括兩部分：用于定義xtest的局部鄰域的標準；用于在xtest的局部鄰域訓練樣本的學習規(guī)則。第三章人工神經(jīng)網(wǎng)絡3.4人工神經(jīng)網(wǎng)絡學習算法3.4.6結構修正學習算法生理學和解剖學的研究表明，神經(jīng)網(wǎng)絡結構的修正，即網(wǎng)絡拓撲結構的變化，對動物的學習過程也起到重要的作用。這意味著神經(jīng)網(wǎng)絡的學習不僅體現(xiàn)在權值的變化上，而且網(wǎng)絡結構的變化也會對學習產(chǎn)生影響。第三章人工神經(jīng)網(wǎng)絡3.5典型的人工神經(jīng)網(wǎng)絡（1）單層前向網(wǎng)絡：最簡單的人工神經(jīng)網(wǎng)絡，其網(wǎng)絡中的神經(jīng)元只有一層。最典型的單層前向網(wǎng)絡是感知機。（2）多層前向網(wǎng)絡及BP學習算法：為了解決非線性可分的問題，可以采用多層網(wǎng)絡，即在輸入層和輸出層之間加上隱層。這種由輸入層、隱層和輸出層組成的網(wǎng)絡就是多層前向神經(jīng)網(wǎng)絡。BP網(wǎng)絡就是一種單向的多層前向神經(jīng)網(wǎng)絡。（3）徑向基函數(shù)神經(jīng)網(wǎng)絡（RBF）：RBF網(wǎng)絡是20世紀80年代提出的一種人工神經(jīng)網(wǎng)絡結構，是具有單隱層的前向網(wǎng)絡。它不僅可以用來函數(shù)逼近，也可以進行預測。第三章人工神經(jīng)網(wǎng)絡3.5典型的人工神經(jīng)網(wǎng)絡（4）自組織競爭人工神經(jīng)網(wǎng)絡：在生物神經(jīng)系統(tǒng)中，存在著一種“側抑制”現(xiàn)象，即一個神經(jīng)細胞興奮后，通過它的分支會對周圍其他神經(jīng)細胞產(chǎn)生抑制。（5）對向傳播神經(jīng)網(wǎng)絡（CPN）：對向傳播（CounterPropagation，CPN）網(wǎng)絡是將自組織競爭網(wǎng)絡與Grossberg基本競爭型網(wǎng)絡相結合，發(fā)揮各自的特長的一種新型特征映射網(wǎng)絡。（6）反饋型神經(jīng)網(wǎng)絡（Hopfield）：Hopfield網(wǎng)絡由相同的神經(jīng)網(wǎng)絡元構成的單層，并且具有學習功能的自聯(lián)想網(wǎng)絡，可以完成制約優(yōu)化和聯(lián)想記憶等功能，是目前人們研究最多的模型之一。第三章人工神經(jīng)網(wǎng)絡3.6人工神經(jīng)網(wǎng)絡的matlab實戰(zhàn)人工神經(jīng)網(wǎng)絡在故障診斷、特征的提取和預測、非線性系統(tǒng)的自適應控制、不能用規(guī)則或公式描述的大量原始數(shù)據(jù)的處理等方面具有比經(jīng)典計算方法優(yōu)越的性能、且有極大的靈活性和自適應性。在實際應用中，面對一個實際問題，如要用人工神經(jīng)網(wǎng)絡求解，首先應根據(jù)問題的特點，確定網(wǎng)絡模型，再通過網(wǎng)絡仿真分析，分析確定網(wǎng)絡是否適合實際問題的特點。第三章人工神經(jīng)網(wǎng)絡3.6人工神經(jīng)網(wǎng)絡的matlab實戰(zhàn)例題

測定了18個芳香腈化合物對發(fā)光菌毒性的大小及某些理化性能參數(shù)，如表3.3所示。請根據(jù)結構性能關系，預測三個未知毒性化合物的類別。編號半致死量log(1/EC50)正辛醇/水分配系數(shù)logkowπ參數(shù)共軛場效應P立體效應ES克分子折射MRVeeloop參數(shù)L毒性分類123456789101112131415-2.397-2.383-2.330-2.297-2.179-1.927-1.812-1.810-1.702-1.570-1.052-1.032-1.018-1.008-0.9791.771.231.491.420.910.822.421.101.172.632.062.893.602.351.754.2793.6913.2893.7663.6873.5703.7913.7622.8935.0354.3544.6505.1614.2683.882-4.482-4.796-2.214-4.428-2.048-4.889-4.586-1.6800.534-2.048-4.1140.534-1.583-4.507-4.967-1.63-1.56-0.55-1.10-2.68-1.10-1.16-2.22-1.67-4.39-0.55-3.38-2.61-1.71-1.7119.8315.237.8715.7411.1410.728.8811.653.7826.127.8718.7824.7916.7511.738.367.423.987.963.206.723.833.74-0.247.313.983.877.397.816.571111122222333331617-2.091-1.5541.302.033.2143.877-2.582-1.9-1.01-0.627.3612.473.444.92

第三章人工神經(jīng)網(wǎng)絡解：可以用多種神徑網(wǎng)絡方法求解：（1）利用BP網(wǎng)絡：>>loadp%輸入歸一化后的化合物結構參數(shù)矩陣>>t=[111112222233333];>>net=newff(minmax(p(:,1:15)),[401],{'logsig''purelin'},'traingdm');>>net.trainParam.epochs=8000;net.trainParam.goal=0.001;[net,tr]=train(net,p,t);>>p1=[0.05120.0260;0.39090.2744;0.58260.4024;0.00200.0020;0.15950.0907;0.99800.9980;0.60530.4747];>>a=sim(net,p1)