工智能及專家系統(tǒng)敖志剛第11章基于神經網絡的專家系統(tǒng)

1、第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 敖志剛敖志剛 編制編制 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 敖志剛敖志剛 編制編制 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 111 神經網絡的概念與模型神經網絡的概念與模型 1111 生物神經元生物神經元 1112 人工神經網絡人工神經網絡 112 神經網絡模型和算法神經網絡模型和算法 1121 感知器的學習結構與算法感知器的學習結構與算法 1122 b-p模型模型 1123 hopfield模型模型 1124 典型的人工神經網絡模型典型的人工神經網絡模型 113 神經網絡專家系統(tǒng)神經網絡專

2、家系統(tǒng) 1131 基于神經網絡的知識表示與推理基于神經網絡的知識表示與推理 1132 基于神經網絡的故障診斷專家系統(tǒng)基于神經網絡的故障診斷專家系統(tǒng) 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 111 神經網絡的概念與模型神經網絡的概念與模型 神經網絡神經網絡(nn)是指由大量神經元互連而成的網絡，是指由大量神經元互連而成的網絡，包括包括生物生物nn與與人工神經網絡人工神經網絡(ann)兩個方面。兩個方面。 所謂所謂生物生物nn是指由中樞神經系統(tǒng)是指由中樞神經系統(tǒng)(腦和脊髓腦和脊髓)及周及周圍神經系統(tǒng)圍神經系統(tǒng)(感覺神經、運動神經、交感神經、副感覺神經、運動神經、交感神經、副交感

3、神經等交感神經等)所構成的錯綜復雜的所構成的錯綜復雜的nn，其中最重，其中最重要的是腦神經系統(tǒng)。要的是腦神經系統(tǒng)。 ann是指運用大量的簡單處理單元是指運用大量的簡單處理單元(神經元神經元)，由人，由人工方式建立起來的，經廣泛并行互連所構成的人工方式建立起來的，經廣泛并行互連所構成的人工網絡。它的組織能夠模擬生物設計系統(tǒng)的真實工網絡。它的組織能夠模擬生物設計系統(tǒng)的真實世界物體的交互作用，能夠模擬人腦神經系統(tǒng)的世界物體的交互作用，能夠模擬人腦神經系統(tǒng)的結構和功能。一般可采用結構和功能。一般可采用vlsi、光器件、分子器、光器件、分子器件構造人工神經元。件構造人工神經元。 第第11章章 基于神經網

4、絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1111 生物神經元生物神經元 細胞核細胞核神經末稍神經末稍軸突軸突細胞體細胞體樹突樹突突觸突觸細胞質細胞質細胞膜細胞膜來自其他細胞軸突的神經末稍來自其他細胞軸突的神經末稍圖圖11-1 生物神經元的結構生物神經元的結構閾值函數閾值函數器器 軸突軸突細胞體細胞體樹突樹突突觸結合突觸結合其他神經元其他神經元的神經末稍的神經末稍圖圖11-2 11-2 生物神經元的等效方框模式生物神經元的等效方框模式第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 神經元的一些重要特性神經元的一些重要特性 動態(tài)極化：動態(tài)極化：每一神經元的信息都是以預定方向每一神經元的信息

5、都是以預定方向流動的。流動的。 時空整合處理功能。時空整合處理功能。 神經元具有兩種常規(guī)工作狀態(tài)：神經元具有兩種常規(guī)工作狀態(tài)：即興奮狀態(tài)與即興奮狀態(tài)與抑制狀態(tài)。抑制狀態(tài)。 結構的可塑性。結構的可塑性。 脈沖與電位轉換：脈沖與電位轉換：突觸界面具有脈沖突觸界面具有脈沖/電位信電位信號轉換功能。號轉換功能。 響應不應期：響應不應期：細胞在相鄰的二次沖動之間對激細胞在相鄰的二次沖動之間對激勵不響應、不能傳遞神經沖動。勵不響應、不能傳遞神經沖動。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1112 人工神經網絡人工神經網絡 1. 神經網絡研究的發(fā)展歷史神經網絡研究的發(fā)展歷史 1890

6、年，美國生物學家年，美國生物學家w.james出版了出版了生理學生理學一書。一書。 1943年年mcculloch和和pitts提出提出m-p模型。模型。 1949年年donala u.hebb提出突觸聯系強度可變的假設。提出突觸聯系強度可變的假設。 1957年年frank rosenblatt定義了一個定義了一個nn結構，稱為感知器結構，稱為感知器(perceptron)。 1960年威德羅和霍夫率先把年威德羅和霍夫率先把nn用于自動控制研究。用于自動控制研究。 70年代年代, 日本日本fukusima的的neocognitron； 芬蘭芬蘭kohonen的自組織的自組織nn；stephen

7、 crossberg的共振自適應理論的共振自適應理論art網絡等。網絡等。 1982年年john j. hopfield提出了全連接網絡，離散的提出了全連接網絡，離散的nn模型，并證明了模型，并證明了網絡可達到穩(wěn)定的離散和連續(xù)兩種情況。網絡可達到穩(wěn)定的離散和連續(xù)兩種情況。 1986年美國的一個平行計算研究小組提出了前向反饋年美國的一個平行計算研究小組提出了前向反饋nn的的back propagation（bp）學習算法。）學習算法。 1987年在美國召開了第一屆世界年在美國召開了第一屆世界nn大會大會1000人參加。人參加。 88年日本國際貿易工業(yè)省提出以年日本國際貿易工業(yè)省提出以nn為核心的

8、為核心的nn計算機的研究計劃。計算機的研究計劃。第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 人工神經網絡的屬性人工神經網絡的屬性 非線性：非線性：人工神經元處于激活或抑制兩種狀態(tài)，人工神經元處于激活或抑制兩種狀態(tài)，在數學上表現為一種非線性。在數學上表現為一種非線性。 非局域性：非局域性：一個系統(tǒng)的整體行為主要通過單個一個系統(tǒng)的整體行為主要通過單個神經元和單元之間的大量連接模擬大腦的非局域神經元和單元之間的大量連接模擬大腦的非局域性。性。 非定常性：非定常性：nn是在不停地變化以適應外界環(huán)境是在不停地變化以適應外界環(huán)境的變化，可以通過樣本提示來模擬環(huán)境變換。的變化，可以通過

9、樣本提示來模擬環(huán)境變換。 非凸性：非凸性：非凸性是指某個特定的狀態(tài)函數有多非凸性是指某個特定的狀態(tài)函數有多個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將個極值，故系統(tǒng)具有多個較穩(wěn)定的平衡態(tài)，這將導致系統(tǒng)演化的多樣性。導致系統(tǒng)演化的多樣性。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 3. 人工神經網絡的主要特點人工神經網絡的主要特點 能較好地模擬人的形象思維、人腦神經系統(tǒng)結構和功能較好地模擬人的形象思維、人腦神經系統(tǒng)結構和功能，對信息進行并行分布處理。能，對信息進行并行分布處理。 具有大規(guī)模并行協(xié)同處理能力。具有大規(guī)模并行協(xié)同處理能力。組合簡單的、數量巨組合簡單的、數量巨大的神經元

10、進行并行、協(xié)同的工作和集體計算。大的神經元進行并行、協(xié)同的工作和集體計算。 具有較強的容錯能力和聯想能力。具有較強的容錯能力和聯想能力。當少量神經元或它當少量神經元或它們的連接發(fā)生故障時，對網絡功能的影響是很微小的，這們的連接發(fā)生故障時，對網絡功能的影響是很微小的，這使得網絡在整體上具有較強的魯棒性使得網絡在整體上具有較強的魯棒性(硬件的容錯性硬件的容錯性)。 具有較強的學習能力。具有較強的學習能力。 適應性集成。適應性集成。nn能夠適應在線運行，并能同時進行定能夠適應在線運行，并能同時進行定量和定性操作。量和定性操作。 硬件實現。硬件實現。nn不僅能夠通過軟件而且可借助軟件實現不僅能夠通過軟

11、件而且可借助軟件實現并行處理。并行處理。第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 人工智能與神經網絡之間的對比人工智能與神經網絡之間的對比 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 神經網絡計算機和數字電子計算機的主要區(qū)別神經網絡計算機和數字電子計算機的主要區(qū)別 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 4ann的優(yōu)缺點的優(yōu)缺點優(yōu)點包括：優(yōu)點包括：信息處理是并行性的；信息處理是并行性的；知識的存儲是分布的；知識的存儲是分布的；具有聯想、模糊推理、自適應或自學習的能力，可以通過訓練，自具有聯想、模糊推理、自適應或自學習的能力，可以通過訓練，自

12、動總結規(guī)律；動總結規(guī)律；局部錯誤對整體不會帶來嚴重的影響，能夠處理不完善的問題；局部錯誤對整體不會帶來嚴重的影響，能夠處理不完善的問題；能夠很好地完成多變量模式識別；能夠很好地完成多變量模式識別；能從部分樣本中學到的知識推廣到全體祥本；能從部分樣本中學到的知識推廣到全體祥本； 能通過采用直接的能通過采用直接的(有時是不精確的有時是不精確的)數值數據進行訓練，并能自動數值數據進行訓練，并能自動地確定原因地確定原因-結果關系。結果關系。存在許多問題：存在許多問題：如訓練時間長，需大量訓練數據，不能保證最佳結果，如訓練時間長，需大量訓練數據，不能保證最佳結果，不能保證完全可靠，容易陷入局部極小，不具

13、備增量學習能力，聯想不能保證完全可靠，容易陷入局部極小，不具備增量學習能力，聯想存儲網絡容量小，所存儲的信息相互干擾和退化，不適合于高精度計存儲網絡容量小，所存儲的信息相互干擾和退化，不適合于高精度計算，沒有很完善的學習方法，經驗參數太多。在實際應用中，也存在算，沒有很完善的學習方法，經驗參數太多。在實際應用中，也存在許多問題，如難以設計通用的神經元網絡芯片，大量的、動態(tài)的神經許多問題，如難以設計通用的神經元網絡芯片，大量的、動態(tài)的神經元互聯實現困難等。元互聯實現困難等。第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 5. 人工神經網絡的分類人工神經網絡的分類 按網絡的拓撲結構劃分

14、：按網絡的拓撲結構劃分：ann可分為單純的階可分為單純的階層網絡、具有反饋的階層網絡、層內互聯的階層層網絡、具有反饋的階層網絡、層內互聯的階層網絡、相互連接型網絡。網絡、相互連接型網絡。 按網絡的學習方法劃分：按網絡的學習方法劃分：可分為有師學習網絡、可分為有師學習網絡、無師學習網絡和強化學習網絡。無師學習網絡和強化學習網絡。 有師學習算法能夠根據期望的和實際的網絡輸有師學習算法能夠根據期望的和實際的網絡輸出之間的差來調整神經元間連接的強度或權。無出之間的差來調整神經元間連接的強度或權。無師學習算法不需要知道期望輸出。師學習算法不需要知道期望輸出。 按網絡的性能劃分：按網絡的性能劃分：可以分為

15、連續(xù)型與離散型可以分為連續(xù)型與離散型網絡；或分為確定型與隨機型網絡。網絡；或分為確定型與隨機型網絡。 按連接突觸的性質劃分，按連接突觸的性質劃分，可分為一階線性關聯可分為一階線性關聯網絡與高階非線性關聯網絡。網絡與高階非線性關聯網絡。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 6. nn的學習規(guī)則的學習規(guī)則 第一類稱為相關學習規(guī)則。第一類稱為相關學習規(guī)則。這種規(guī)則只根這種規(guī)則只根據連接間的激活水平改變權系數。據連接間的激活水平改變權系數。 第二類稱為糾錯學習規(guī)則。第二類稱為糾錯學習規(guī)則。這種規(guī)則根據這種規(guī)則根據輸出節(jié)點的外部反饋改變權系數。例如輸出節(jié)點的外部反饋改變權系數。例

16、如bp算法，用于統(tǒng)計性算法的模擬退火算法也算法，用于統(tǒng)計性算法的模擬退火算法也屬于這種學習規(guī)則。屬于這種學習規(guī)則。第三類稱為無教師學習規(guī)則。第三類稱為無教師學習規(guī)則。它是一種對它是一種對輸入測檢進行自適應的學習規(guī)則。輸入測檢進行自適應的學習規(guī)則。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 7. 人工神經網絡的研究與應用人工神經網絡的研究與應用 生物原型研究生物原型研究：從生理學、心理學、解剖學、腦科學、：從生理學、心理學、解剖學、腦科學、病理學等生物科學方面，從定性與定量、靜態(tài)與動態(tài)、微病理學等生物科學方面，從定性與定量、靜態(tài)與動態(tài)、微觀與宏觀等各種觀察角度，研究觀與宏觀等各

17、種觀察角度，研究nn、神經細胞、神經系、神經細胞、神經系統(tǒng)的生物原型的微觀和宏觀結構及功能機理，探明腦中物統(tǒng)的生物原型的微觀和宏觀結構及功能機理，探明腦中物理平面向認知平面映射的原理。理平面向認知平面映射的原理。 ann模型的研究：模型的研究：包括包括nn的概念模型、理論模型、知的概念模型、理論模型、知識模型、物理化學模型、數學模型、算法模型、聯想記憶識模型、物理化學模型、數學模型、算法模型、聯想記憶模型等。模型等。 nn基本理論的研究。基本理論的研究。非線性特性；非線性特性；特征分析：包特征分析：包括網絡的拓撲結構、網絡容量、計算能力、算法分析；括網絡的拓撲結構、網絡容量、計算能力、算法分析

18、；基本性能：包括穩(wěn)定性、收斂性、容錯性、魯棒性、動力基本性能：包括穩(wěn)定性、收斂性、容錯性、魯棒性、動力學復雜性；學復雜性； 認知科學的研究：探索包括感知、思考、認知科學的研究：探索包括感知、思考、記憶和語言等的腦信息處理模型以及聯想存儲、思維機制、記憶和語言等的腦信息處理模型以及聯想存儲、思維機制、模糊輸入、隨機輸入、不全信息輸入和動態(tài)連接機制等方模糊輸入、隨機輸入、不全信息輸入和動態(tài)連接機制等方法。法。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 7. 人工神經網絡的研究與應用人工神經網絡的研究與應用 nn的軟件模擬和硬件實現。的軟件模擬和硬件實現。 尋找使用軟硬件方法實現尋

19、找使用軟硬件方法實現nn計算機及其計算機及其仿真系統(tǒng)的途徑。仿真系統(tǒng)的途徑。 ann在智能信息處理方面的應用。在智能信息處理方面的應用。 認認知與人工智能；知與人工智能； 優(yōu)化與控制；優(yōu)化與控制； 信號處信號處理；理； 傳感器信息處理。傳感器信息處理。 ann在軍事領域的應用。在軍事領域的應用。包括無人駕駛包括無人駕駛飛機、車輛，航天器姿態(tài)控制、導彈的智飛機、車輛，航天器姿態(tài)控制、導彈的智能引導、衛(wèi)星圖片的識別、臉譜和指紋識能引導、衛(wèi)星圖片的識別、臉譜和指紋識別等。別等。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 8. 人工神經元的功能表示和結構人工神經元的功能表示和結構 人

20、工神經元的功能表示類似生物神經元，人工神經元的功能表示類似生物神經元，其功能可用圖其功能可用圖11-3來表示。來表示。 w1w2wn閾值函數器輸出s1s2sn輸入狀態(tài)求和器權輸入圖11-3 人工神經元功能方框圖xi第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 8. 人工神經元的功能表示和結構人工神經元的功能表示和結構 根據生物神經元的功能和結構，提出了一個將神根據生物神經元的功能和結構，提出了一個將神經元看作二進制閾值元件的簡單模型，即經元看作二進制閾值元件的簡單模型，即mp模型，模型，如圖如圖11-4所示。所示。 ui第i個神經元的內部狀態(tài)；x1xn表示從u1 un來的輸出信號

21、；wji表示從uj到ui傳遞信號的權；si 外部輸入信號；xi輸出信號；qi閾值； qi xix1x2x3xnsiui圖11-4 mp神經元模型 xi =f ( wjixj + siqi) 1 u0 0 u0sgn(u ) =nij第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 9. 人工神經元網絡的互連結構人工神經元網絡的互連結構 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 112 神經網絡模型和算法神經網絡模型和算法 121 感知器的學習結構與算法感知器的學習結構與算法 1. 感知器的學習結構感知器的學習結構 感知器的學習是感知器的學習是nn最典型的學習。一個有

22、最典型的學習。一個有教師的學習系統(tǒng)可以用圖教師的學習系統(tǒng)可以用圖11-6表示。表示。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 121 感知器的學習結構與算法感知器的學習結構與算法 學習機構可用圖學習機構可用圖11-7所示的結構表示。在圖所示的結構表示。在圖中，中，xl，x2，xn是輸入樣本信號，是輸入樣本信號，w1，w2，wn是權系數。是權系數。u=wixi=w1x1+w2x2+wnxn第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 感知器的學習算法感知器的學習算法 感知器是具有單層計算單元的感知器是具有單層計算單元的nn，由線性，由線性元件及閾值元件組成

23、，如圖元件及閾值元件組成，如圖11-8所示。所示。 感知器的數學模型感知器的數學模型niiiufxwfy1)()( 1 u0 0 u0 f(u ) = 1 a類類 -1 b類類 y =x2x1a類b類邊界w1x1+w2x2-=0圖11-9 感知器的分類ab第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 感知器學習算法的步驟感知器學習算法的步驟 對權系數對權系數w置初值。記為置初值。記為wl(0)，w2(0)，wn(0)，同時有，同時有wn+1(0)-。 輸入一樣本輸入一樣本x(x1，x2，xn+1)以及它的期望以及它的期望輸出輸出d。 計算實際輸出值：計算實際輸出值： 。 根據實際

24、輸出求誤差：根據實際輸出求誤差：ed-y(t)。 用誤差用誤差e去修改權系數。去修改權系數。wi(t+1)=wi(t)+exi, 當當實際輸出和期望值實際輸出和期望值d相同時有相同時有wi(t+1)=wi(t)。 轉到第轉到第點，一直執(zhí)行到一切樣本均穩(wěn)定為止。點，一直執(zhí)行到一切樣本均穩(wěn)定為止。 11)(t)(niiixwfy第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 示例示例 x1：0 0 1 1 x2：0 1 0 1 則則x1 v x2：0 1 1 1 以以x1 v x21為為a類，類， 以以x1 v x2=0為為b類，類， 則有方程組：則有方程組： w10+w20-0 有有

25、 0 w10+w21-0 w2 w11+w20-0 w1 w11+w21-0 w1 + w2 令令 w1=1,w2=2，則有，則有1。取。取=0.5，則有，則有 x1+x2-0.5=0,分類情況如圖分類情況如圖11-10所示。所示。圖圖11-1011-10 邏輯函數邏輯函數 x x1 1 v xv x2 2 的分類的分類x x2 2x x1 1x x1 1+x+x2 2=0.5=0.5(1,0)(1,0)(0.5,0)(0.5,0)(0,0)(0,0)(0,0.5)(0,0.5)(0,1)(0,1)(1,1)(1,1)第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1122 b-p

26、模型模型 1. b-p(back-progagation)模型概念模型概念 b-p模型是一種用于前向多層模型是一種用于前向多層nn的誤差反傳學習算法，用的誤差反傳學習算法，用于多層網絡，網絡中不僅有輸入層節(jié)點及輸出層節(jié)點，而于多層網絡，網絡中不僅有輸入層節(jié)點及輸出層節(jié)點，而且還有一層至多層隱層節(jié)點，如圖且還有一層至多層隱層節(jié)點，如圖11-11所示。所示。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1. b-p(back-progagation)模型概念模型概念 輸入：輸入：net=x1w1+x2w2+xnwn 輸出：輸出： y和和f(net)的曲線如圖的曲線如圖11-12所示

27、。所示。 )1 ()1 (111)(11)(2yyeenetfenetfynetnetnetf f(net)(net)y y0 00.50.51 10.250.250 0y y 1 1(0,0.5)(0,0.5) n en et t(0,0)(0,0)圖圖11-12 y11-12 y和和f f(net)(net)函數的曲線函數的曲線第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 學習算法學習算法 學習本質：學習本質：對各連接權值的動態(tài)調整。對各連接權值的動態(tài)調整。 學習規(guī)則：學習規(guī)則：權值調整規(guī)則。權值調整規(guī)則。 學習的類型：學習的類型：有導師學習。有導師學習。 核心思想：核

28、心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反將輸出誤差以某種形式通過隱層向輸入層逐層反傳傳將誤差分攤給各層的所有單元將誤差分攤給各層的所有單元各層單元的誤差信號各層單元的誤差信號修正各單元權值。修正各單元權值。 學習的過程：學習的過程：nn在外界輸入樣本的刺激下不斷改變網絡的在外界輸入樣本的刺激下不斷改變網絡的連接權值連接權值,以使網絡的輸出不斷地接近期望的輸出。其過程為信以使網絡的輸出不斷地接近期望的輸出。其過程為信號的正向傳播號的正向傳播誤差的反向傳播。誤差的反向傳播。 正向傳播：正向傳播：輸入樣本輸入樣本輸入層輸入層各隱層各隱層輸出層。輸出層。 判斷是否轉入反向傳播：判斷是否轉入反

29、向傳播：若輸出層的實際輸出與期望輸出不若輸出層的實際輸出與期望輸出不符，則符，則。 誤差反傳：誤差反傳：誤差在各層表示誤差在各層表示修正各層單元的權值。修正各層單元的權值。 網絡輸出的誤差減少到可接受的程度。網絡輸出的誤差減少到可接受的程度。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 學習算法學習算法 變量定義變量定義 設設 輸入層與中間層的連接權值為輸入層與中間層的連接權值為wih； 隱含層與輸出層的連接權值為隱含層與輸出層的連接權值為who； 隱含層各神經元的閾值為隱含層各神經元的閾值為bh； 輸出層各神經元的閾值為輸出層各神經元的閾值為bo； 樣本數據個數為樣本數

30、據個數為:k=1,2,m； 激活函數為激活函數為f()； 誤差函數為誤差函數為 。qoookyokde12)()(21第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 學習算法學習算法 向量表示向量表示 輸入向量為輸入向量為x=(x1,x2,xn)； 隱含層輸入向量為隱含層輸入向量為hi=(hi1,hi2,hip)； 隱含層輸出向量隱含層輸出向量ho=(ho1,ho2,hop)； 輸出層輸入向量為輸出層輸入向量為yi=(yi1,yi2,yiq)； 輸出層輸出向量輸出層輸出向量yo=(yo1,yo2,yoq)； 期望輸出向量為期望輸出向量為d0=(d1,d2,dq)。 第第11章

31、章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 學習算法學習算法 學習算法的步驟：學習算法的步驟： 第一步，第一步，網絡初始化。給各連接權值分別賦一個區(qū)間網絡初始化。給各連接權值分別賦一個區(qū)間(-1，1)內的隨機數，設定誤差函數內的隨機數，設定誤差函數e，給定計算精度值，給定計算精度值和最大和最大學習次數學習次數m。 第二步第二步,隨機選取第隨機選取第k個輸入樣本及對應期望輸出，個輸入樣本及對應期望輸出，x(k)=(x1(k),x2(k),xn(k)，d0(k)=(d1(k),d2(k),dq(k)。 第三步，第三步，計算隱含層各神經元的輸入和輸出。計算隱含層各神經元的輸入和輸出。 q

32、,1,2,o(k)(yi(k)b(k)h(k)yip,1,2,h(k)(hi(k)b(k)(k)hioooh1hohhh1hfoyowfohxwphoniiih第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 學習算法的步驟學習算法的步驟 第四步第四步，用期望輸出和實際輸出，用期望輸出和實際輸出,計算誤差函數對計算誤差函數對輸出層各神經元的偏導數輸出層各神經元的偏導數o(k)。 )()()()()()()()()(21()()(q1o112kkyifkyokdkyokyokdyikyokdyiekhowbkhowwyiwyiyieweooooqoooooqoooophhhoohphh

33、ohoohoooho第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 學習算法的步驟學習算法的步驟 第五步，第五步，利用隱含層到輸出層的連接權值、輸出層的利用隱含層到輸出層的連接權值、輸出層的o(k)和隱含層的輸出計算誤差函數對隱含層各神經元的偏導數和隱含層的輸出計算誤差函數對隱含層各神經元的偏導數h(k)。 )()(h ()()(h)(ho)()()()(h)(ho)(ho)(ho()(21()(h)(ho)(ho)()(21()(h)()(hhhh111121211kkifpwkkikpwkyifkyokdkikkbkwfkdkikkkyokdkiekxwbkxwwiwiiewe

34、hqohoohhhooqooohhhqophohhoohhhqooohniiihhiniihihhihhhih第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 學習算法的步驟學習算法的步驟 第六步，第六步，用輸出層各神經元的用輸出層各神經元的0(k)和隱含層各神和隱含層各神經元的輸出來修正連接權值經元的輸出來修正連接權值w0h(k)。 第七步，第七步，利用隱含層各神經元的利用隱含層各神經元的h(k)和輸入層各神和輸入層各神經元的輸入修正連接權。經元的輸入修正連接權。 phonhonhophohohokhokwwkhokwekw1h11h)()()()()(niihihihkxkwek

35、w1)()()(niihnihnihkxkww11)()(第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 學習算法的步驟學習算法的步驟 第八步，第八步，計算全局誤差計算全局誤差 第九步，第九步，判斷網絡誤差是否滿足要求。當判斷網絡誤差是否滿足要求。當誤差達到預設精度或學習次數大于設定的誤差達到預設精度或學習次數大于設定的最大次數，則結束算法。否則，選取下一最大次數，則結束算法。否則，選取下一個學習樣本及對應的期望輸出，返回到第個學習樣本及對應的期望輸出，返回到第三步，進入下一輪學習。三步，進入下一輪學習。 mkqoookykdme112)()(21第第11章章 基于神經網絡的專家系

36、統(tǒng)基于神經網絡的專家系統(tǒng) bp算法直觀解釋算法直觀解釋 圖11-13 直觀表達情況一0, 0hohowwe此時ehowhowe0,0hohowwe此時圖11-14 直觀表達情況二第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1123 hopfield模型模型 1982年，年，jhopfield提出了提出了hopfield網絡模型，網絡模型，它它可用作聯想記憶、分類和優(yōu)化計算的互連網絡?？捎米髀撓胗洃?、分類和優(yōu)化計算的互連網絡。這是一種帶有反饋連接的循環(huán)這是一種帶有反饋連接的循環(huán)nn，由于其輸出端，由于其輸出端有反饋到其輸入端，當有輸入之后，可以求取出有反饋到其輸入端，當有輸入之后

37、，可以求取出hopfield的輸出，這個輸出反饋到輸入從而產生新的輸出，這個輸出反饋到輸入從而產生新的輸出，這個反饋過程一直進行下去。如果的輸出，這個反饋過程一直進行下去。如果hopfield網絡是一個能收斂的穩(wěn)定網絡，則這個反網絡是一個能收斂的穩(wěn)定網絡，則這個反饋與迭代的計算過程所產生的變化越來越小，一饋與迭代的計算過程所產生的變化越來越小，一旦到達了穩(wěn)定平衡狀態(tài)，那么旦到達了穩(wěn)定平衡狀態(tài)，那么hopfield網絡就會輸網絡就會輸出一個穩(wěn)定的恒值。出一個穩(wěn)定的恒值。 hopfield網絡有網絡有離散型和連續(xù)型離散型和連續(xù)型兩種。兩種。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系

38、統(tǒng) 1. 離散離散hopfield網絡網絡 在離散在離散hopfield網絡中，所采用的神經元是網絡中，所采用的神經元是二值神經元，所輸出的離散值二值神經元，所輸出的離散值1和和0分別表分別表示神經元處于激活和抑制狀態(tài)。示神經元處于激活和抑制狀態(tài)。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1. 離散離散hopfield網絡網絡 對于二值神經元，它的計算公式為對于二值神經元，它的計算公式為 ， 這里這里xi為外部輸入，并且有：當為外部輸入，并且有：當uii時，時，yi=1；當；當ui0，當，當nn從從t0開始，有初始狀態(tài)開始，有初始狀態(tài)y(0)；經過有限時刻；經過有限時刻t，

39、有，有y(t+t)=y(t)，則稱網絡，則稱網絡是穩(wěn)定的。是穩(wěn)定的。nxtywjjniiij, 2 , 1j)(f(1)(ty1j其中，第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 連續(xù)連續(xù)hopfield網絡網絡 連續(xù)連續(xù)hopfield網絡網絡的每一個神經元的輸入和輸出關系為連的每一個神經元的輸入和輸出關系為連續(xù)可微單調上升函數，和其它神經元之間有連接權的關系。續(xù)可微單調上升函數，和其它神經元之間有連接權的關系。狀態(tài)變量直接影響輸入變量，使系統(tǒng)變成一個隨時間變化狀態(tài)變量直接影響輸入變量，使系統(tǒng)變成一個隨時間變化的動態(tài)系統(tǒng)。的動態(tài)系統(tǒng)。 連續(xù)連續(xù)hopfield網絡穩(wěn)定條

40、件都要求網絡穩(wěn)定條件都要求wij=wji。這種拓撲結構。這種拓撲結構和生物的神經系統(tǒng)中大量存在的神經反饋回路是相一致的。和生物的神經系統(tǒng)中大量存在的神經反饋回路是相一致的。兩種網絡不同的地方在于其函數兩種網絡不同的地方在于其函數g不是階躍函數，而是不是階躍函數，而是s形形的連續(xù)函數。一般取的連續(xù)函數。一般取 g(u)=1/(1+e-u) 連續(xù)連續(xù)hopfield網絡中各神經元是處于同步方式工作的。神網絡中各神經元是處于同步方式工作的。神經元經元j，其內部膜電位狀態(tài)用，其內部膜電位狀態(tài)用uj表示細胞膜輸入電容為表示細胞膜輸入電容為cj，細胞膜的傳遞電阻為細胞膜的傳遞電阻為rj，輸出電壓為，輸出電

41、壓為vj，外部輸入電流用，外部輸入電流用ij表示，則該網絡可用圖表示，則該網絡可用圖11-16所示的電路表示。所示的電路表示。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 連續(xù)連續(xù)hopfield網絡網絡 設有設有n個神經元互聯，個神經元互聯，vj(t) 和和uj(t)分別為輸出和輸入電位。分別為輸出和輸入電位。njtugtvirtutvwdujjjnijjjiijj,2,1)()()()(dtc1j第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 連續(xù)連續(xù)hopfield網絡網絡 根據圖根據圖11-16，定義系統(tǒng)的能量函數，定義系統(tǒng)的能量函數e(t)為：

42、為： 其中：其中：g-1(v)是是vj(t)gj(uj(t)的反函數。的反函數。 njtvjnjjjnjnijiijjdvvgritvtvtvwte1)(01111)(1)()()(21)(第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 連續(xù)連續(xù)hopfield網絡網絡 定理：如果連續(xù)定理：如果連續(xù)hopfield網絡中神經元傳遞函數是網絡中神經元傳遞函數是單調增長的連續(xù)并有界函數，并且單調增長的連續(xù)并有界函數，并且wijwji，則沿，則沿系統(tǒng)的運動軌跡有系統(tǒng)的運動軌跡有de(t)/dt0，當且僅當，當且僅當dvj(t)/dt=0時，有時，有de(t)/dt=0, j=1,2

43、,n。 這個定理說明這個定理說明hopfield網絡系統(tǒng)隨著時間的增長，網絡系統(tǒng)隨著時間的增長，網絡的各個神經元的狀態(tài)變化所造成的系統(tǒng)狀態(tài)網絡的各個神經元的狀態(tài)變化所造成的系統(tǒng)狀態(tài)軌跡在狀態(tài)空間中總是向能量減小方向變化，網軌跡在狀態(tài)空間中總是向能量減小方向變化，網絡穩(wěn)定點就是能量的極小點。因此保證了，該網絡穩(wěn)定點就是能量的極小點。因此保證了，該網絡是可以達到求解最優(yōu)點（極值點）。絡是可以達到求解最優(yōu)點（極值點）。第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1124 典型的人工神經網絡模型典型的人工神經網絡模型 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 11.2

44、.4 典型的人工神經網絡模型典型的人工神經網絡模型第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 113 神經網絡專家系統(tǒng)神經網絡專家系統(tǒng) 把神經網絡與傳統(tǒng)的把神經網絡與傳統(tǒng)的es有機地集成起來，協(xié)同工有機地集成起來，協(xié)同工作，達到取長補短的目的。這兩者在集成時有三作，達到取長補短的目的。這兩者在集成時有三種模式。種模式。 神經網絡神經網絡(nn)支持支持es。比如對比如對es提供的知識和提供的知識和樣例，通過樣例，通過nn自動獲取知識；運用自動獲取知識；運用nn的并行推的并行推理技術以提高推理效率。理技術以提高推理效率。 es支持支持nn。以以nn的有關技術為核心，建立相的有關技

45、術為核心，建立相應領域的應領域的es，采用，采用es的相關技術完成解釋等方面的相關技術完成解釋等方面的工作。的工作。 協(xié)同式的協(xié)同式的nn與與es。針對每個子問題的特點，選針對每個子問題的特點，選擇用擇用nn和和es加以實現，在加以實現，在nn和和es之間建立一種耦之間建立一種耦合聯系。合聯系。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1131 基于神經網絡的知識表示與推理基于神經網絡的知識表示與推理 1、基于、基于nn的知識表示的知識表示 nn中的知識表示是一種隱式的表示方法。中的知識表示是一種隱式的表示方法。nn的知的知識表示是把某一問題領域的若干知識彼此關聯地表識表示

46、是把某一問題領域的若干知識彼此關聯地表示在一個示在一個nn中。中。 一個一個nn可以用一個加權有向圖表示。加權有向圖可以用一個加權有向圖表示。加權有向圖中的節(jié)點連接關系和權值分布可以用一個矩陣來表中的節(jié)點連接關系和權值分布可以用一個矩陣來表示，這個矩陣稱為鄰接權矩陣。一個有示，這個矩陣稱為鄰接權矩陣。一個有m個節(jié)點的個節(jié)點的nn的鄰接權矩陣的鄰接權矩陣w=wijmn的定義為：的定義為： ，若節(jié)點，若節(jié)點i有至節(jié)點有至節(jié)點j的鄰接且權值為的鄰接且權值為wij ，若節(jié)點，若節(jié)點i無至節(jié)點無至節(jié)點j的鄰接的鄰接 0ijijww第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1、基于、基于

47、nn的知識表示的知識表示如對圖如對圖11-17所示的異或邏輯所示的異或邏輯( )的的nn來說，其鄰接矩陣為：來說，其鄰接矩陣為： 1221xxxxy圖圖11-17中神經元內的數據表示減去閾值中神經元內的數據表示減去閾值(如如-3=-1.0)。 第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 1、基于、基于nn的知識表示的知識表示 如果用產生式規(guī)則描述，則該網絡代表下如果用產生式規(guī)則描述，則該網絡代表下述述4條規(guī)則：條規(guī)則： if x1=0 and x2=0 then y=0 if x1=0 and x2=1 then y=1 if x1=1 and x2=0 then y=1 if

48、 x1=1 and x2=1 then y=0第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 2. 神經網絡的知識自動獲取神經網絡的知識自動獲取 nn是通過實例學習來實現知識自動獲取的。是通過實例學習來實現知識自動獲取的。使在具有同使在具有同樣輸入的條件下樣輸入的條件下nn能夠獲得與領域專家給出的解答盡可能夠獲得與領域專家給出的解答盡可能相同的輸出。解答的精度可用它與專家解答之間的方差能相同的輸出。解答的精度可用它與專家解答之間的方差一類準則來度量。在進行知識獲取時，要求領域專家提供一類準則來度量。在進行知識獲取時，要求領域專家提供學習實例及其相應的期望解，經過網絡自適應學習算法不

49、學習實例及其相應的期望解，經過網絡自適應學習算法不斷修改網絡的權值分布，一旦網絡穩(wěn)定后，就把領域專家斷修改網絡的權值分布，一旦網絡穩(wěn)定后，就把領域專家求解該問題的知識和經驗求解該問題的知識和經驗(通過提供的學習實例來表示通過提供的學習實例來表示)分分布到網絡的互連結構及權值分布上，從而得到推理所需要布到網絡的互連結構及權值分布上，從而得到推理所需要的知識庫。的知識庫。 nn專家系統(tǒng)的簡單結構如圖專家系統(tǒng)的簡單結構如圖11-18所示。所示。圖圖11-18 11-18 神經網絡專家系統(tǒng)的簡單結構神經網絡專家系統(tǒng)的簡單結構知識獲取知識獲取解釋器解釋器知識庫知識庫推理機推理機專家專家用戶用戶第第11章

50、章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 3.神經網絡的知識推理與解釋神經網絡的知識推理與解釋 nn專家系統(tǒng)專家系統(tǒng)是經過網絡計算，把用戶提供的原始證據作為網是經過網絡計算，把用戶提供的原始證據作為網絡輸入，通過網絡計算最終得出。絡輸入，通過網絡計算最終得出。nn的推理是一種正向的非的推理是一種正向的非線性數值計算過程。線性數值計算過程。它的推理過程包括如下幾個步驟：它的推理過程包括如下幾個步驟： 把已知證據作為輸入賦給網絡輸入層的各個節(jié)點。把已知證據作為輸入賦給網絡輸入層的各個節(jié)點。 利用特征函數分別計算網絡中各層的輸出，計算時，前面利用特征函數分別計算網絡中各層的輸出，計算時，前面

51、層次的輸出將作為直接后繼層各節(jié)點的輸入，逐層進行計算，層次的輸出將作為直接后繼層各節(jié)點的輸入，逐層進行計算，直至計算出輸出層的輸出值。直至計算出輸出層的輸出值。 用閾值函數對輸出層的輸出進行判定，從而得到輸出結果。用閾值函數對輸出層的輸出進行判定，從而得到輸出結果。 nn的推理是一種并行推理機制。的推理是一種并行推理機制。 由于由于nn各輸出節(jié)點的輸出是數值的，因此，需要一個解釋器各輸出節(jié)點的輸出是數值的，因此，需要一個解釋器對輸出模式進行解釋。對輸出模式進行解釋。 要實現神經網絡要實現神經網絡es的解釋機能，需利用神經網絡中的各個數的解釋機能，需利用神經網絡中的各個數據，如輸入數據，輸出數據

52、及隱含層神經元輸出數據。經過據，如輸入數據，輸出數據及隱含層神經元輸出數據。經過訓練形成各項權值，得出解釋規(guī)則，完成解釋任務。訓練形成各項權值，得出解釋規(guī)則，完成解釋任務。第第11章章 基于神經網絡的專家系統(tǒng)基于神經網絡的專家系統(tǒng) 3.組合神經網絡專家系統(tǒng)組合神經網絡專家系統(tǒng) 由于一個由于一個nn es可以用一個加權有向圖表示，因此，可以用一個加權有向圖表示，因此，可以方便地把同一個知識領域的幾個獨立的可以方便地把同一個知識領域的幾個獨立的nn es組合成一個規(guī)模更大的組合成一個規(guī)模更大的nn es，只要知道這幾個，只要知道這幾個nn之間有哪些節(jié)點有連接關系，可根據專家知識來判之間有哪些節(jié)點有連接關系，可根據專家知識來判斷兩個節(jié)點之間是否有模糊的因果關系，可以通過斷兩個節(jié)點之間是否有模糊的因果關系，可以通過學習來獲得連接權值。學習來獲得連接權值。 對于基于規(guī)則的幾個對于基于規(guī)則的幾個es組合成一個更大的組合成一個更大的es，由于，由于規(guī)則的冗余程度和不一致性都較大，各自的規(guī)則越規(guī)則的冗余程度和不一致性都較大，各自的規(guī)則越多，組合