1-4295071-神經(jīng)網(wǎng)絡(luò)在智能信息處理中的應(yīng)用

神經(jīng)網(wǎng)絡(luò)在智能信息處理方面的研究PAGEPAGE40湖南工學(xué)院D012401219彭楓林第一章概述神經(jīng)網(wǎng)絡(luò)與智能信息技術(shù)處理是當(dāng)今領(lǐng)銜世界信息技術(shù)處理潮流的一門邊緣學(xué)科。世界主要信息技術(shù)大國諸如日.美.德等均不遺余力里在研究這門技術(shù)。各國都想通過研究和在這方面的研究的突破在21世紀(jì)的信息王國占領(lǐng)一席之地。神經(jīng)網(wǎng)絡(luò)是一類新的計算模型，它是模仿人腦神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和某些工作機制而建立的一種計算模型。這種計算模型的特點是，利用大量的簡單計算單元（即神經(jīng)元）連成網(wǎng)絡(luò)，來實現(xiàn)大規(guī)模并行計算。神經(jīng)網(wǎng)絡(luò)的工作機理是通過學(xué)習(xí)，改變神經(jīng)元之間的連接強度。常用的神經(jīng)計算模型有多層感知機、反傳網(wǎng)絡(luò)、自適應(yīng)映射網(wǎng)絡(luò)等。最流行的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法是BP算法（Back-propagationalgorithm）。自1986年美國科學(xué)家莫克蘭迪發(fā)表了"ParallelDistributedProcessing"論著后，從事人工智能、計算機科學(xué)、信息科學(xué)的許多科學(xué)家對人工神經(jīng)網(wǎng)絡(luò)掀起了新的研究熱潮。1.1神經(jīng)網(wǎng)絡(luò)產(chǎn)生的背景人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks）理論是在怎樣的科學(xué)背景下產(chǎn)生的呢？要回答

這個問題，首先要明確什么是“智能”和“智能理論”？雖然到目前為止對“智能”還沒有一個統(tǒng)一、確切的定義，但簡單說來，智能是指人們認識客觀事物并運用知識解決實際問題的能力。它表現(xiàn)為運用知識認識新情況、解決新問題、學(xué)習(xí)新方法、預(yù)見新趨勢、創(chuàng)造新思維的能力。智能的高低反映在對客觀事物認識的深刻、正確、全面的程度以及運用知識解決實際問題的速度和質(zhì)量上。有了對

什么是“智能”的解釋，就不難推而得知什么是“智能理論”。簡言

之，“智能理論”包括兩個基本問題：探索人類智能的奧秘（研究人類的認識過程）和運用—從硬件結(jié)構(gòu)上模擬人腦的構(gòu)成；功能主義——撇開人腦的具體結(jié)構(gòu)，僅從輸出輸入關(guān)

系上構(gòu)造出與人腦功能相一致的人工智能系統(tǒng)。功能主義成了傳統(tǒng)人工智能理論的研究基礎(chǔ)人工手段模仿人類的智能行為。在對后一問題的研究上又有兩種主導(dǎo)思想：結(jié)構(gòu)主義—。這種理論的核心就是以馮·諾依曼型數(shù)字計算機為支持，編制出本領(lǐng)超凡的軟件程序，以此達到模擬人腦智能的目的。傳統(tǒng)人工智能理論在求解高精度計算問題以及過程模擬、過程控制等方面取得了巨大的成功。但是，這種理論也遇到了許多它無法克服的問題，對此讀者可從本書第一章結(jié)論中詳細了解到。與傳統(tǒng)的人工智能理論相對應(yīng)，以結(jié)構(gòu)主義為主導(dǎo)思想，從分析人腦神經(jīng)網(wǎng)絡(luò)的微觀結(jié)構(gòu)上入手，抓住人腦結(jié)構(gòu)的主要特征，即大量相對簡單的非線性神經(jīng)元之間復(fù)雜而又靈活的聯(lián)接

關(guān)系，深刻揭示人腦認識過程的結(jié)構(gòu)作用的研究——人工神經(jīng)網(wǎng)絡(luò)理論研究，成為人工智能理論研究的一大分支。正如本書始終貫穿的一個思想，人工智能理論研究的這兩大分支，不是相互替代、相互對立的關(guān)系，而是相輔相成、相互補充的關(guān)系。它們有著共同的研究基礎(chǔ)，這就是對信息的處理；所不同的只是處理方法上的差別。對于人工神經(jīng)網(wǎng)絡(luò)理論的研究，從80年代開始獲得蓬勃發(fā)

展，但人類對這一理論的探索可追溯到1943年，法國心理學(xué)家

McCulloch和數(shù)學(xué)家Pitts合作提出的神經(jīng)元數(shù)學(xué)模型，即著名的

M－P模型。這一模型的提出，開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)這一新興邊緣

學(xué)科研究的先河。在這之后，有關(guān)研究異?；钴S，一系列關(guān)于神經(jīng)元及神經(jīng)網(wǎng)絡(luò)的模型、計算方法被提出來，并引起學(xué)術(shù)界的極大興趣。1.2智能信息處理的產(chǎn)生及發(fā)展1.2.1計算智能的產(chǎn)生20世紀(jì)90年代以來，在智能信息處理研究的縱深發(fā)展過程中，人們特別關(guān)注到精確處理與非精確處理的雙重性，強調(diào)符號物理機智與聯(lián)接機智的綜合，傾向與沖破“無路學(xué)式”框架的“新進化論”新路，一門成為計算智能（ComputatiaonalIntelligence）的新學(xué)科分支被概括地提了出來了，并以更加明確的目標(biāo)蓬勃發(fā)展。1994年IIIE為了促進多學(xué)科滲透和結(jié)合，把模糊系統(tǒng)（Fuzzysustems）、和進化計算（eovlutionarycomputation）三個年會合并舉行，于1994年6月25日至7日計算智能大會（WWCL），出版了《計算智能、模仿生命》的論文集。大會決定計算智能會議每三年召開一次。此次會議是計算智能的第一次綜合性的大會，共收集了來自世界各國學(xué)者的約1600篇論文，大會的主題是計算智能。人們會提出這樣的問題：人工智能和計算智能有什么不同，有什么關(guān)系呢？首次給出計算智能定義的是美國學(xué)者JamesC.bezdek。1992年，他在近似推理的國際雜志上論道：計算智能依靠生產(chǎn)者提供的數(shù)字材料，而不是依賴于知識，而人工智能使用的是知識精華。Bezdek還說，人工神經(jīng)網(wǎng)絡(luò)稱為計算神經(jīng)網(wǎng)絡(luò)，即“人工”兩字應(yīng)該為“計算”。在人工智能AI和計算只能CI的關(guān)系上，Bezdek認為CI是AI的子集，即CI∈AI。而致辭大會主席Jacke.M.Zurada卻認為CI不是AI的子集，兩者只有部分重合。J.Bezdek在題為“什么是計算智能”的報告中講到:智能有三個層次,第一層是生物智能(BiologicaIntelligence,簡稱BI),它是由人腦的物理化學(xué)過程反映出來的,人腦是有機物,它是智能的物質(zhì)基礎(chǔ).第二層是人工智能(ArtificialIntelligence,簡稱AI),它是生物的,是人造的,常用符號表示,AI的來源是人的知識精華和傳感器數(shù)據(jù).第三層是計算智能(ComputationalIntelligence,簡稱CI),它是由數(shù)學(xué)方法和計算機實現(xiàn)的,CI的來源是數(shù)值計算和傳感器.以上三者第一個英文字符取出來稱之為ABCS.顯然,從復(fù)雜性看有三個層次,即B(有機)、A(符號)、C(數(shù)值)、而且BI包含了AI,AI包含了CI.按Bezdek的看法,AI是CI→BI的中間過度,因為AI中除了計算酸法外,還包含符號表示和數(shù)值信息處理.模糊集和模糊邏輯是CI→AI的平滑過度,因為它包含了數(shù)值信息和語義信息.他還認為:計算神經(jīng)網(wǎng)絡(luò)CNN是一個最底層最基本的環(huán)節(jié),也是CI的一個重要基石,組要用于模式識別.CNN由以下四個點決定:功能、結(jié)構(gòu)(連接拓撲和更新策略)、形式(集成和傳遞的節(jié)點函數(shù)式)、數(shù)據(jù)(用于訓(xùn)練/測試的數(shù)據(jù)).按以上幾點,CNN有多種形式,如前饋、自組織以及與Fuzzy結(jié)合的模糊神經(jīng)網(wǎng)絡(luò)等.目前國際上是提出計算智能就是以人工神經(jīng)網(wǎng)絡(luò)為主導(dǎo)、與模糊邏輯系統(tǒng)、進化計算以及信號與信息處理科學(xué)的綜合集成。我們認為新一代的計算智能信息處理技術(shù)是神經(jīng)網(wǎng)絡(luò)、模糊系統(tǒng)、進化計算、混沌動力學(xué)、分形理論、小波變換、人工生命等交叉學(xué)科的綜合集成。盡管對計算智能的定義、內(nèi)容以及與其他智能學(xué)科分支的關(guān)系尚沒有同意的看法,但計算智能的下兩個重要特征卻是人們比較共同的認識政治；1.計算智能與傳統(tǒng)人工智能不同，主要依賴的是生產(chǎn)者提供的數(shù)字材料，而不是依賴與知識在；它主要借助數(shù)學(xué)計算方法（特別是與數(shù)值相聯(lián)系的計算放發(fā)）的使用。這就是說，一方面，CI的內(nèi)容本身具有明顯的數(shù)值計算信息處理特征;另一方面,CI強調(diào)用”計算”的方法來研究和處理智能問題.需情調(diào)的是,CI中計算的概念的理解上已經(jīng)加以拓廣和加深。一般地,在接空間進行搜索的過程都被稱為計算。2.計算智能這個概念的提出(1992年由美國學(xué)者JamesC.Bezdek首先使用),顯然遠不止于具有科學(xué)研究分類學(xué)的意義,其積極意義在于促進基于的或基于符號物理想結(jié)合的各種的智能理論、模型、方法的綜合集成,以便在計算智能這個主題下發(fā)展思想更先進、功能更強大、能夠解決更復(fù)雜問題的大系統(tǒng)的智能科學(xué)成果。由此看來,當(dāng)前計算智能發(fā)展的重要方向之一就是不斷引進深入的數(shù)學(xué)理論和方法,以”計算”和”集成”作為學(xué)術(shù)指導(dǎo)思想,進行更高層次的綜合集成研究。這種綜合集成研究不僅不局限在模型及算法層次的綜合集成的框框,而且還進入了感知層次及認識層次的綜合集成。一般來說,智能信息處理可以劃分為兩大類,一類為基于傳統(tǒng)計算機的智能信息處理,另一類為基于神經(jīng)計算的智能信息處理.基于傳統(tǒng)計算機的只能信息處理系統(tǒng)包括智能儀器、自動跟蹤監(jiān)測儀器系統(tǒng)、自動控制制導(dǎo)系統(tǒng)、自動故障診斷系統(tǒng)等.在人工智能系統(tǒng)中,他們具有模仿或代替與人的思維有關(guān)的功能,通過邏輯符號處理系統(tǒng)的推理規(guī)則一步一步進行計算和操作，目前引用領(lǐng)域很廣。基于計算機（包括高速信號處理器開發(fā)系統(tǒng)）和人工智能信息處理系統(tǒng)仍在繼續(xù)向高新技術(shù)發(fā)展，但其發(fā)展速度已不太是適應(yīng)社會信息數(shù)量增長速度已不太適應(yīng)社會細心數(shù)量增長速度的需求，因而促使人們注意到新型智能信息處理系統(tǒng)的研究。人工神經(jīng)網(wǎng)絡(luò)是模仿延伸人腦認知功能的新型智能處理系統(tǒng)。由于大腦是人的智能、思維、意識等一切高級活動的物質(zhì)基礎(chǔ)，構(gòu)造具有腦智能的人工智能信息處理系統(tǒng)，可以解決轉(zhuǎn)同方法所不能或難以解決性、存儲的分布性、高度的容錯性、結(jié)構(gòu)的可變性、計算的非精確性等特點，它是由大量的簡單處理單元（人工神經(jīng)元）廣泛互連而有全新計算結(jié)構(gòu)模型的智能信息處理系統(tǒng)。它可以模仿人腦處理不完整的、不準(zhǔn)確的信息、甚至具有主力非常模糊的信息的能力。這種系統(tǒng)能聯(lián)想記憶和從部分信息中獲得全部信息。由于其非線形，當(dāng)不同模式在模式特征空間的分界面極為復(fù)雜時，仍能進行分類和識別。由于其自適應(yīng)、自學(xué)習(xí)功能，系統(tǒng)能從環(huán)境及輸入中獲取信息來自動修改網(wǎng)絡(luò)結(jié)構(gòu)極具連接強度，以適應(yīng)各種需要而用于知識推廣及知識分類。由于分布式存儲和自組織性，而使系統(tǒng)連接線即使被破壞50%，它仍能處在優(yōu)化工作狀態(tài)，在軍事電子系統(tǒng)設(shè)備中有著特別重要的意義。因此，基于神經(jīng)計算的智能信息處理是模擬人類形象思維、聯(lián)想記憶等高級精神活動的人工智能信息處理系統(tǒng)?？偟膩碚f，上述兩類智能信息處理系統(tǒng)有何不同呢？可以有傳統(tǒng)計算機與神經(jīng)計算機（即人工神經(jīng)網(wǎng)絡(luò)信息處理系統(tǒng)）的主要特征來看出其本質(zhì)上的區(qū)別。1.神經(jīng)計算機由大量簡單圣經(jīng)處理系統(tǒng)連成，解剖學(xué)表明，人腦有1011個神經(jīng)元，每個神經(jīng)元相當(dāng)于一個處理器，神經(jīng)網(wǎng)絡(luò)是以網(wǎng)絡(luò)形式進行計算的并行處理系統(tǒng)。而傳統(tǒng)計算機是以馮·諾依曼計算機思想設(shè)計的，即使用并行機連接成超高速的信息處理系統(tǒng)，但每個分機仍按一系列指令串行計算工作，且并行機之間的信息原很少有相互協(xié)作關(guān)系，故在計算原理上兩者有本質(zhì)的差異。2.從存儲記憶功能來看，馮·諾依曼計算機中信息與知識是存儲在是處理器分開的獨立存儲器中的，而神經(jīng)計算機是以各處理器本身的轉(zhuǎn)臺與他們的連接形式分布存儲信息的，這是神經(jīng)計算機具有強的自學(xué)習(xí)性、字組織性和高的魯棒性。3.傳統(tǒng)計算機和人工智能采取邏輯符號推理的途徑去研究人類智能的機器化，其智能信息處理系統(tǒng)具有人類的邏輯思維功能，神經(jīng)網(wǎng)絡(luò)計算機則以神經(jīng)員連接機制為基礎(chǔ)，從網(wǎng)絡(luò)結(jié)構(gòu)上去直接地模擬人類的智能，有人類的聯(lián)想思維功能。其智能信息處理系統(tǒng)具有形象思維靈感，當(dāng)然也有推理意識諸功能。4.從知識處理來看，在處理能明確定義的問題或運用能明確定義的概念作為知識時，計算機一般具有極快的速度和很高的精度。但是對于無法將知識用明確的數(shù)學(xué)模型表達，或者解決問題所需的信息是不完整的或局部的，或者問題中許多概念的定義是非常模糊的，例如從人群中迅速識別出一個熟人，從車輛繁忙的馬路上迅速決定自己能否通過等，這類智能處理，即使用超級計算機也顯得無能為力或相當(dāng)笨拙，而模仿人腦功能的新型智能信息處理系統(tǒng)就能快速處理。1.2.2智能信息處理的主要技術(shù)智能信息處理技術(shù)可以分為模糊計算技術(shù)和神經(jīng)計算技術(shù)兩大類。。模糊計算技術(shù)1965年，美國加洲大學(xué)伯克分校L。Zadeh教授發(fā)表了著名的論文“FuzzySets”（模糊集），開創(chuàng)了模糊理論。經(jīng)歷三十年曲折，這一領(lǐng)域已取得長足的進步，Zadeh也被國際上譽為“模糊之父”。最近十年來，模糊理論又在實際應(yīng)用中獲得重大突破，作為一種高新技術(shù)正在迅速發(fā)展，預(yù)計21世紀(jì)它將成為信息科學(xué)中的核心技術(shù)之一。Zadeh教授當(dāng)曾提出過一個著名的不相容原理：“隨著系統(tǒng)復(fù)雜性增加人們對系統(tǒng)進行精確而有效地描述的能力會降低，直至一域直，精確和有效成為互斥”。其實質(zhì)在于：真實世界中的問題，概念往往沒有明確的界限，而轉(zhuǎn)同數(shù)學(xué)的分類總試圖定義清晰的界限，這是一種矛盾一定條件下會變成對立的東西，從而引出一個極其簡單而有重要的思想：任何事情都離不開隸屬程度這樣一個概念。這就是模糊理論的基本出發(fā)點。因此可以這樣認為，隨著系統(tǒng)越來越復(fù)雜，當(dāng)其復(fù)雜性達到與人類思維系統(tǒng)可比擬時，傳統(tǒng)的數(shù)學(xué)分析方法就不適應(yīng)了。神經(jīng)計算技術(shù)腦神經(jīng)系統(tǒng)是以離子電流機構(gòu)為基礎(chǔ)的由神經(jīng)細胞組成的非線性的（Nonlinear）、適應(yīng)的（Adaptive）、并行的（Parallel）和模擬的（Analog）網(wǎng)絡(luò)（Network），簡稱NAPA。各個細胞基本上只有興奮與抑制兩種狀態(tài)。神經(jīng)細胞的響應(yīng)速度是毫秒級，比半導(dǎo)體器件要慢的多。神經(jīng)細胞主要依靠網(wǎng)絡(luò)的超并行性來實現(xiàn)高度的實時信息處理和信息表現(xiàn)的多樣性。神經(jīng)細胞上的突觸機構(gòu)具有很好的可塑性。這種可塑性使神經(jīng)網(wǎng)絡(luò)具有記憶和學(xué)習(xí)功能。突觸結(jié)合的連接形成了自組織特性，并隨學(xué)習(xí)而變化，使神經(jīng)網(wǎng)絡(luò)具有強大的自適應(yīng)功能。由于腦神經(jīng)系統(tǒng)的復(fù)雜性，至今還沒有可用于分析和設(shè)計NAPAN的理論。盡管人們早已經(jīng)知道在人的大腦中存在著NAPAN，但由于研究NAPAN的難度很大，而且電子計算機的功能已經(jīng)十分強大，因而人們一直未能對它進行深入的研究。只有在開始注重到數(shù)字計算機的局限性的今天，人們才感到必須研究NAPAN，希望通過它能實現(xiàn)嶄新的超并行模擬計算機。在這種趨勢中，對神經(jīng)網(wǎng)絡(luò)模型和學(xué)習(xí)酸法的研究獨具魅力。這種研究把學(xué)多簡單的神經(jīng)細胞模型并行地、分層地相互結(jié)合成網(wǎng)絡(luò)模型，提供了實現(xiàn)新的信息處理的一種手段，為建立NAPAN理論提供了一種途徑例如對于顏色等感覺信息，在腦內(nèi)的表現(xiàn)是多種而廣泛的多樣體，只有采用新的信息處理方法才能對它描述。也就是說，原先靠生理心理實驗難以分析高級中樞的信息處行為，由于采用神經(jīng)網(wǎng)絡(luò)理論與技術(shù)使之成為可能。這里所說的神經(jīng)網(wǎng)絡(luò)指的是人工神經(jīng)網(wǎng)絡(luò)，它是對真實腦神經(jīng)系統(tǒng)構(gòu)造和功能予以極端簡化的模型。對神經(jīng)網(wǎng)絡(luò)的研究，有助與人類對NAPAN的理解，有助與探明大腦的信息處理方式，建立腦模型，進一步弄清腦的并行信息處理的基本原則，并應(yīng)用角度尋求工程實現(xiàn)的方法。第二章神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識模擬人類實際神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)方法問世以來人們早已習(xí)慣了把這種人工神經(jīng)網(wǎng)絡(luò)直接稱為神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)在系統(tǒng)辨識．模式識別，智能控制等領(lǐng)域有著廣泛而吸引人的前景。特別在智能控制中，人們對神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)功能尤其感興趣，并且把神經(jīng)網(wǎng)絡(luò)這一重要特點看作是解決自動控制中控制器適應(yīng)能力這個難題的關(guān)鍵鑰匙之一。2.1神經(jīng)網(wǎng)絡(luò)的基本原理神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)在于神經(jīng)元。神經(jīng)元是以生物神經(jīng)系統(tǒng)的神經(jīng)細胞為基礎(chǔ)的生物模型。在人們對生物神經(jīng)系統(tǒng)進行研究，以探討人工智能的機制時，把神經(jīng)元數(shù)學(xué)化，從而產(chǎn)生了神經(jīng)元數(shù)學(xué)模型。大量的形式相同的神經(jīng)元連結(jié)在—起就組成了神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是一個高度的線性動力學(xué)系統(tǒng)。雖然，每個神經(jīng)元的結(jié)構(gòu)和功能都不復(fù)雖然，每個神經(jīng)元的結(jié)構(gòu)和功能都不復(fù)雜，但是神經(jīng)網(wǎng)絡(luò)的動態(tài)行為則是十分復(fù)雜的；因此，用神經(jīng)網(wǎng)絡(luò)可以表達實際物理世界的各種現(xiàn)象。神經(jīng)網(wǎng)絡(luò)模型是以神經(jīng)元的數(shù)學(xué)模型為基礎(chǔ)來引述的。神經(jīng)網(wǎng)絡(luò)模型由網(wǎng)絡(luò)拓撲．節(jié)點特點和學(xué)習(xí)規(guī)則來表示。神經(jīng)網(wǎng)絡(luò)對人們的巨大吸引力主要在下列幾點：1．并行分布處理。2．高度魯棒性和容錯能力。3．分布存儲及學(xué)習(xí)能力。4．能充分逼近復(fù)雜的非線性關(guān)系。2.1.1神經(jīng)網(wǎng)絡(luò)處理單元一.神經(jīng)細胞的基本結(jié)構(gòu)一個神經(jīng)細胞或神經(jīng)元的結(jié)構(gòu)如圖2.1.1-1所示。主要包括：細胞體、樹突、軸突和突觸。圖2.1.1-1神經(jīng)元的結(jié)構(gòu)1.細胞體細胞體是由很多分子形成的綜合體，內(nèi)部含有一個細胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等，它是神經(jīng)元活動的能量供應(yīng)地，在這里進行新陳代謝等各種生化過程。2.樹突細胞體伸延部分產(chǎn)生的分枝稱為樹突，樹突是接受從其它神經(jīng)元傳人的信息的入口。3.軸突細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。4.突觸，是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)系并進行信息傳送的結(jié)構(gòu)。突觸如圖2.1.1-2所示。它由突觸前成分，突觸間隙和突觸后成分組成。突觸前成分是一個神經(jīng)元的軸突末梢。突觸間隙是突觸前成分與后成分之間的距離空間，間隙一般為200—300?。突觸后成分可以是細胞體，樹突或軸突。圖2.1.1-2突觸的結(jié)構(gòu)目前，根據(jù)神經(jīng)生理學(xué)的研究，已經(jīng)發(fā)現(xiàn)神經(jīng)元及其問的突觸起碼有不同的4種行為。神經(jīng)元的4種生物行為有：(1)能處于抑制或興奮狀態(tài)；(2)能產(chǎn)生爆發(fā)和平臺兩種情況；(3)能產(chǎn)生抑制后的反沖；(4)具有適應(yīng)性。突觸的4種生物行為有：(1)能進行信息綜合；(2)能產(chǎn)生漸次變化的傳送；(3)有電接觸和化學(xué)接觸等多種連接方式；(4)會產(chǎn)生延時激發(fā)。目前，人工神經(jīng)網(wǎng)絡(luò)的研究僅僅是對神經(jīng)元的第一種行為和突觸的第一種行為進行模擬，其它行為尚未考慮。所以，神經(jīng)網(wǎng)絡(luò)的研究只是處于起步的初級階段，后邊還有大量的工作等人們?nèi)ヌ接懞脱芯俊Ｄ壳?，神?jīng)網(wǎng)絡(luò)的研究已向人們展示了其美好的前景；只要按階段不斷取得進展，神經(jīng)元和突觸的其它行為是完全可以實現(xiàn)人工模擬的。二.神經(jīng)元的信息處理與傳遞1.神經(jīng)元的興奮與抑制人工神經(jīng)網(wǎng)絡(luò)對神經(jīng)元的興奮與抑制進行模擬，故而首先應(yīng)了解神經(jīng)元的興奮與抑制狀態(tài)。一個神經(jīng)元的興奮和抑制兩種狀態(tài)是由細胞膜內(nèi)外之間不同的電位差來表征的。在抑制狀態(tài)，細胞膜內(nèi)外之間有內(nèi)負外正的電位差，這個電位差大約在-50—-100mv之間。在興奮狀態(tài)，則產(chǎn)生內(nèi)正外負的相反電位差，這時表現(xiàn)為約60—100mv的電脈沖。細胞膜內(nèi)外的電位差是由膜內(nèi)外的離子濃度不同導(dǎo)致的。細胞的興奮電脈沖寬度一般大約為1ms。神經(jīng)元的興奮過程電位變化如圖2.1.1-3所示。圖2.1.1-3神經(jīng)元的興奮過程電位變化2.神經(jīng)元的信息傳遞及閥值特性對神經(jīng)細細胞的研究結(jié)果表明：神經(jīng)元的電脈沖幾乎可以不衰減地沿著軸突傳送到其它神經(jīng)元去。由神經(jīng)元傳出的電脈沖信號通過軸突，首先到達軸突末梢，這時則使其中的囊泡產(chǎn)生變化從而釋放神經(jīng)遞質(zhì)，這種神經(jīng)遞質(zhì)通過突觸的間隙而進入到另一個神經(jīng)元的樹突中。樹突上的受體能夠接受神經(jīng)遞質(zhì)從而去改變膜向離子的通透性．使膜外內(nèi)離子濃度差產(chǎn)生變化；進而使電位產(chǎn)生變化。顯然，信息就從一個神經(jīng)元傳送到另一個神經(jīng)元中。當(dāng)神經(jīng)元接受來自其它神經(jīng)元的信息時，膜電位在開始時是按時間連續(xù)漸漸變化的。當(dāng)膜電位變化經(jīng)超出一個定值時，才產(chǎn)生突變上升的脈沖，這個脈沖接著沿軸突進行傳遞。神經(jīng)元這種膜電位高達一定閥值才產(chǎn)生脈沖傳送的特性稱域值特性。這種閥值域特性從圖2.1.1-3中也可以看出。神經(jīng)元的信息傳遞除了有閥域值特性之外，還有兩個特點。一個是單向性傳遞，即只能從前一級神經(jīng)元的軸突末梢傳向后一級神經(jīng)元的樹突或細胞體，不能反之。另一個是延時性傳遞．信息通過突觸傳遞，通常會產(chǎn)生0.5—1ms的延時。3.神經(jīng)元的信息綜合特性神經(jīng)元對來自其它神經(jīng)元的信息有時空綜合特性。在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上，大量不同的神經(jīng)元的軸突末梢可以到達同一個神經(jīng)元的樹突并形成大量突觸。來源不同的突觸所釋放的神經(jīng)遞質(zhì)都可以對同一個神經(jīng)元的膜電位變化產(chǎn)生作用。因此，在樹突上，神經(jīng)元可以對不同來源的輸入信息進行綜合。這就是神經(jīng)元對信息的空間綜合特性。對于來自同一個突觸的信息，神經(jīng)元可以對于不同時間傳人的信息進行綜合。故神經(jīng)元對信息有時間綜合特性。4.神經(jīng)元、突觸的D/A、A/D特性從神經(jīng)元軸突上傳遞的信息是等幅、恒寬、編碼的離散電脈沖信號，故而是一個數(shù)字量。但在突觸中神經(jīng)遞質(zhì)的釋放和樹突中膜電位的變化是連續(xù)的。故而，這時說明突觸有D/A功能。在神經(jīng)元的樹突膜電位高過一定閥域值時，則又變成電脈沖方式由軸突傳送出去。故而，這個過程說明神經(jīng)元有A/D功能。很明顯，信息通過一個神經(jīng)元傳遞時，神經(jīng)元對信息執(zhí)行了D/A、A/D轉(zhuǎn)換過程。從上面可知，神經(jīng)元對信息的處理和傳遞有閥值，D/A、A/D和綜合等一系列特性和功能。三、神經(jīng)元的數(shù)學(xué)模型從神經(jīng)元的特性和功能可以知道，神經(jīng)元是一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據(jù)神經(jīng)元的特性和功能，可以把神經(jīng)元抽象為一個簡單的數(shù)學(xué)模型。工程上用的人工神經(jīng)元模型如圖2.1.1-4

所示。圖2.1.1-4

神經(jīng)元的數(shù)學(xué)模型在圖2.1.1-4

中，X1，X2，……，Xn是神經(jīng)元的輸入，即是來自前級n個神經(jīng)元的軸突的信息A是i神經(jīng)元的閻值；Wi1，Wi2……，Win分別是i神經(jīng)元對X1，X2，……，Xn的權(quán)系數(shù)，也即突觸的傳遞效率；Yi是i神經(jīng)元的輸出；f[·]是激發(fā)函數(shù)，它決定i神經(jīng)元受到輸人X1，X2，……，Xn的共同刺激達到域值時以何種方式輸出。從圖2.1.1-4

的神經(jīng)元模型，可以得到神經(jīng)元的數(shù)學(xué)模型表達式：(2—1)圖2.1.1-5

典型激發(fā)函數(shù)對于激發(fā)函數(shù)f[·]有多種形式，其中最常見的有階躍型、線性型和S型三種形式，這三種形式如圖2.1.1-5

典型激發(fā)函數(shù)所示。為了表達方便，令：(2—2)則式(2-1)可寫成下式：Yi=F[Ui]；

(2—3)顯然，對于階躍型激發(fā)涵數(shù)有：(2—4)對于線性型激發(fā)函數(shù)，有：f(Ui)=Ku；

(2—5)對于S型激發(fā)函數(shù)，有：(2—6)對于階躍型激發(fā)函數(shù)，它的輸出是電位脈沖，故而這種激發(fā)函數(shù)的神經(jīng)元稱離散輸出模型。對于線性激發(fā)函數(shù)，它的輸出是隨輸入的激發(fā)總量成正比的；故這種神經(jīng)元稱線性連續(xù)型模型。對于用s型激發(fā)函數(shù)，它的輸出是非線性的；故這種神經(jīng)元稱非線性連續(xù)型模型。上面所敘述的是最廣泛應(yīng)用而且人們最熟悉的神經(jīng)元數(shù)學(xué)模型；也是歷史最長的神經(jīng)元模型。近若干年來，隨著神經(jīng)網(wǎng)絡(luò)理論的發(fā)展，出現(xiàn)了不少新穎的神經(jīng)元數(shù)學(xué)模型，這些模型包括邏輯神經(jīng)元模型，模糊神經(jīng)元模型等，并且漸漸也受到人們的關(guān)注和重視。2.1.2神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能神經(jīng)元和神經(jīng)網(wǎng)絡(luò)的關(guān)系是元素與整體的關(guān)系。神經(jīng)元的結(jié)構(gòu)很簡單，工作機理也不深奧；但是用神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)就非常復(fù)雜，其功能也十分奧妙。人們平常十分清楚磚頭是很簡單的，但是用簡單的磚頭，人們就可以筑造出各種美倫美煥的建筑物；無論是優(yōu)雅的別墅，亦或是高聳雄偉的大廈，或者是粗曠的金字塔，亦或是莊嚴肅穆的教堂，無一不是由簡單的磚頭堆砌而成。簡單的神經(jīng)元也是如此，通過不同方式的連接和信息傳遞，也就能產(chǎn)生豐富多彩的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，創(chuàng)造出令人贊嘆的優(yōu)異功能。一、神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)就是由許多神經(jīng)元互連在一起所組成的神經(jīng)結(jié)構(gòu)。把神經(jīng)元之間相互作用的關(guān)系進行數(shù)學(xué)模型化就可以得到神經(jīng)網(wǎng)絡(luò)模型。1.神經(jīng)網(wǎng)絡(luò)的基本屬性神經(jīng)網(wǎng)絡(luò)有些基本屬性，它們反映了神經(jīng)網(wǎng)絡(luò)的特質(zhì)。(1)非線性人腦的思維是非線性的，故人工神經(jīng)網(wǎng)絡(luò)模擬人的思維也應(yīng)是非線性的。(2)非局域性非局域性是人的神經(jīng)系統(tǒng)的一個特性，人的整體行為是非局域性的最明顯體現(xiàn)。神經(jīng)網(wǎng)絡(luò)以大量的神經(jīng)元連接模擬人腦的非局域性，它的分布存儲是非局域性的一種表現(xiàn)。(3)非定常性神經(jīng)網(wǎng)絡(luò)是模擬人腦思維運動的動力學(xué)系統(tǒng)，它應(yīng)按不同時刻的外界刺激對自己的功能進行修改，故而它是一個時變的系統(tǒng)。(4)非凸性神經(jīng)網(wǎng)絡(luò)的非凸性即是指它有多個極值，也即系統(tǒng)具有不只一個的較穩(wěn)定的平衡狀態(tài)。這種屬性會使系統(tǒng)的演化多樣化。神經(jīng)網(wǎng)絡(luò)的全局優(yōu)化算法就反映了這一點，例如模擬退火法。2.神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)在目前已有幾十種不同的模型。人們按不同的角度對神經(jīng)網(wǎng)絡(luò)進行分類，通?？砂?個原則進行神經(jīng)網(wǎng)絡(luò)的歸類。按照網(wǎng)絡(luò)的結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。按照學(xué)習(xí)方式區(qū)分，則有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)。按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機型和確定型網(wǎng)絡(luò)。按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)。按對生物神經(jīng)系統(tǒng)的層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。通常，人們較多地考慮神經(jīng)網(wǎng)絡(luò)的互連結(jié)構(gòu)。一段而言，神經(jīng)網(wǎng)絡(luò)有分層網(wǎng)絡(luò)，層內(nèi)連接的分層網(wǎng)絡(luò)．反饋連接的分層網(wǎng)絡(luò)，互連網(wǎng)絡(luò)等4種互連結(jié)構(gòu)，這些結(jié)構(gòu)如圖1—6所示。在人們提出的幾十種神經(jīng)網(wǎng)絡(luò)模型中，人們較多用的是Hopfield網(wǎng)絡(luò)、BP網(wǎng)絡(luò)、Kohonen網(wǎng)絡(luò)和ART(自適應(yīng)共振理論)網(wǎng)絡(luò)。(c)有反饋連接的分層網(wǎng)絡(luò)

(d)互連網(wǎng)絡(luò)圖2.1.2-1

幾種神經(jīng)網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)是最典型的反饋網(wǎng)絡(luò)模型，它是目前人們研究得最多的模型之一。Hopfield網(wǎng)絡(luò)是由相同的神經(jīng)元構(gòu)成的單層，并且不具學(xué)習(xí)功能的自聯(lián)想網(wǎng)絡(luò)。它需要對稱連接。BP網(wǎng)絡(luò)是反向傳播(BackPropagation)網(wǎng)絡(luò)。它是一種多層前向網(wǎng)絡(luò)，采用最小均方差學(xué)習(xí)方式。這是一種最廣泛應(yīng)用的網(wǎng)絡(luò)。它可用于語言綜合，識別和自適應(yīng)控制等用途。BP網(wǎng)路需有教師訓(xùn)練。Kohonen網(wǎng)絡(luò)是典型的自組織神經(jīng)網(wǎng)絡(luò)，這種網(wǎng)絡(luò)也稱為自組織特征映射網(wǎng)絡(luò)SOM。它的輸入層是單層單維神經(jīng)元；而輸出層是二維的神經(jīng)元，神經(jīng)元之間存在以“墨西哥帽”形式進行側(cè)向交互的作用。因而，在輸出層中，神經(jīng)元之間有近揚遠抑的反饋特性；從而使Kohonen網(wǎng)絡(luò)可以作為模式特征的檢測器。ART網(wǎng)絡(luò)也是一種自組織網(wǎng)絡(luò)模型。這是一種無教師學(xué)習(xí)網(wǎng)絡(luò)。它能夠較好地協(xié)調(diào)適應(yīng)性，穩(wěn)定性和復(fù)雜性的要求。在ART網(wǎng)絡(luò)中，通常需要兩個功能互補的子系統(tǒng)相互作用．這兩個子系統(tǒng)稱注意子系統(tǒng)和取向子系統(tǒng)。ART網(wǎng)絡(luò)主要用于模式識別，它不足之處是在于對轉(zhuǎn)換、失真和規(guī)模變化較敏感。二、神經(jīng)網(wǎng)絡(luò)信息處理的數(shù)學(xué)過程神經(jīng)網(wǎng)絡(luò)信息處理可以用數(shù)學(xué)過程來說明，這個過程可分為兩個階段；執(zhí)行階段和學(xué)習(xí)階段。下面以前向網(wǎng)絡(luò)情況說明這兩個階段。1.執(zhí)行階段執(zhí)行階段是指神經(jīng)網(wǎng)絡(luò)對輸入信息進行處理，并產(chǎn)生對應(yīng)的輸出過程。在執(zhí)行階段，網(wǎng)絡(luò)的連接結(jié)構(gòu)和權(quán)系數(shù)是已經(jīng)確定并且不會變化的。這時有：(2—7)Xi(t+1)=fi[ui(t+1)]其中：Xi是前級神經(jīng)元的輸出；Wij是第i個神經(jīng)元和前級j個神經(jīng)元突觸的權(quán)系數(shù)θi：是第i個神經(jīng)元的域值；fi為第i個神經(jīng)元的非線性激活函數(shù)；Xi為第i個神經(jīng)元的輸出。2.學(xué)習(xí)階段學(xué)習(xí)階段是指神經(jīng)網(wǎng)絡(luò)自完善的階段；這時，網(wǎng)絡(luò)按一定的學(xué)習(xí)規(guī)則修改突觸的權(quán)系數(shù)Wij，以使到結(jié)點的測度函數(shù)E達到最小。一般取：E=(Ti,Xi)

其中，Ti是教師信號；Xi是神經(jīng)元的輸出。學(xué)習(xí)公式可以表示為下面數(shù)學(xué)表達式：(2—8)其中：Ψ是一個非線性函數(shù)；ηij是權(quán)重變化率；n是學(xué)習(xí)時的迭代次數(shù)。對于梯度學(xué)習(xí)算法，則可以采用下面具體公式：(2—9)神經(jīng)網(wǎng)絡(luò)對信息的處理一般都需要學(xué)習(xí)階段和執(zhí)行階段結(jié)合，才能實現(xiàn)合理的處理過程。神經(jīng)網(wǎng)絡(luò)對信息的學(xué)習(xí)是為了取得對信息的適應(yīng)特性，或信息的特征；而神經(jīng)網(wǎng)絡(luò)對信息的執(zhí)行過程是對特征的檢索或者是對信息的分類過程。學(xué)習(xí)和執(zhí)行是神經(jīng)網(wǎng)絡(luò)不可缺少的兩個處理和功能。神經(jīng)網(wǎng)絡(luò)的各種有效的行為和作用，都是通過這兩個關(guān)鍵的過程來實現(xiàn)的。通過學(xué)習(xí)階段，可以把神經(jīng)網(wǎng)絡(luò)訓(xùn)練成對某種信息模式特別敏感，或具有某種特征的動力學(xué)系統(tǒng)。通過執(zhí)行階段，可以用神經(jīng)網(wǎng)絡(luò)識別有關(guān)信息模式或特征。在智能控制中，用神經(jīng)網(wǎng)絡(luò)作為控制器，則在學(xué)習(xí)時就是以神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)被控對象的特征，從而使神經(jīng)網(wǎng)絡(luò)能適應(yīng)被控對象的輸入輸出關(guān)系；這樣，在執(zhí)行時，神經(jīng)網(wǎng)絡(luò)就能以學(xué)習(xí)到的知識對被控對象實現(xiàn)恰如其分的控制。2.2模糊神經(jīng)網(wǎng)絡(luò)在模糊神經(jīng)網(wǎng)絡(luò)中，混合模糊神經(jīng)網(wǎng)絡(luò)在目前還是表示一種算法，所以它不存在學(xué)習(xí)問題。所謂學(xué)習(xí)，是指對邏輯模糊神經(jīng)網(wǎng)絡(luò)和常規(guī)模糊神經(jīng)網(wǎng)絡(luò)而言的。在這一節(jié)中，分別介紹邏輯模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，算術(shù)模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法。2.2.1邏輯模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法在圖中，xi，i＝O，1，…，n，是模糊輸入信號；Wj，j＝0，1，…，n，是模糊權(quán)系數(shù)。設(shè)Yd是輸出的期望值，Yd∈[-1，1]。而Y是模糊神經(jīng)元的實際輸出；則有輸出誤差e:e-Yd-Y∈[-1,1]執(zhí)行學(xué)習(xí)的目的就是修改神經(jīng)元中的權(quán)系數(shù)W'和增益參數(shù)g。使到輸出的誤差e最小。學(xué)習(xí)結(jié)構(gòu)框圖如圖2.2.1-1所示。圖2.2.1-1模糊神經(jīng)元學(xué)習(xí)框架如果輸入的信號屬于[0，1]n+1超立方體空間的，則先變換到[-1，1]n+1超立方體空間。再送入神經(jīng)元中，神經(jīng)元的輸出Y和給定的期望值Yd比較。產(chǎn)生誤差e。學(xué)習(xí)機構(gòu)根據(jù)誤差的情況分別對權(quán)系數(shù)W和激發(fā)函數(shù)的增益g進行修改。使神經(jīng)元的輸出Y趨于期望Yd。模糊神經(jīng)元的學(xué)習(xí)算法如下:1.權(quán)系數(shù)W'的學(xué)習(xí)算法W'(t+1)=W'(t)ORΔW'(t)=S[W'(t),ΔW'(t)]

(2-10)其中ΔW'(t)=Z(t)ANDe(t)=T|Z(t),e(t)|2.S函數(shù)的增益g的學(xué)習(xí)算法g(t+1)=g(t)ORΔg(t)=S|g(t),Δg(t)|

(2-11)其中Δg(t)=u(t)ANDe(t)=T[u(t),e(t)]圖2.2.1-2模糊神經(jīng)元的學(xué)習(xí)結(jié)構(gòu)在上面式(2-10)中，結(jié)出了模糊神經(jīng)元權(quán)系數(shù)學(xué)習(xí)的算法；它也表示了一種模糊神經(jīng)結(jié)構(gòu)的實際模型。如果認為權(quán)系數(shù)是外部輸人和樹突輸入之間的模糊關(guān)系，那么，模糊神經(jīng)網(wǎng)絡(luò)是可以通過經(jīng)驗進行學(xué)習(xí)的。

在上面式(2-11)中，修改g實際上是修改激發(fā)的靈敏度。因為參數(shù)g影響S函數(shù)的斜率，很明顯也就影響神經(jīng)元受激發(fā)的靈敏度。模糊神經(jīng)元的學(xué)習(xí)結(jié)構(gòu)如圖2.2.2-2所示。在圖2.2.2-2中，很明顯有2個學(xué)習(xí)環(huán)節(jié)，一個是權(quán)系數(shù)W'的學(xué)習(xí)環(huán)節(jié)，另一個是增益g的學(xué)習(xí)環(huán)節(jié)，它們是相互獨立的。在這兩個環(huán)節(jié)中，其中的Z-1處理框圖是表示延時一個采樣周期，故而它的輸入為W'(t+1)時，輸出為W'(t)；輸入為g(t+1)時，輸出為g(t)。就是說這時Z-1的z是脈沖傳遞函數(shù)的符號；而不是雙極信號z(t)中的信號。2.2.2算術(shù)模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法算術(shù)模糊神經(jīng)網(wǎng)絡(luò)也稱常規(guī)模糊神經(jīng)網(wǎng)絡(luò)，對算術(shù)模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法隨著這種網(wǎng)絡(luò)的提出也同時提出了，但在這方面的研究方法有多種，而這些方法各有特點；在不同的場合和條件下有各自的優(yōu)點。1992年，Buckley和Hayashi提出了模糊反向傳播算法；同時．Ishibuchi等人提出了基于。截集的反向傳播法。1994年，Buckley和Hayashi提出模糊神經(jīng)網(wǎng)絡(luò)的遺傳算法。1995年，Ishibuchi等人提出了具有三角模糊權(quán)的模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。還有人提出了一些其它的算法。在各種學(xué)習(xí)算法中，較有實際意義的是具有三角模糊權(quán)的模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法．和遺傳學(xué)習(xí)算法。對于模糊數(shù)N的α截集，用N[α]表示，并且有：(2-12)其中：N(n)是隸屬函數(shù)，R是全體實數(shù)集。

由于模糊數(shù)的水平截集是一個閉區(qū)間，故α截集N[α]可以表示為(2-13)其中nL(α)是N[α]的下限值；

nu(α)是N[α]的上限值。

根據(jù)區(qū)問算法，模糊數(shù)的運算可以寫成α截集的運算(2-14)(2-15)在bu(α)>bL(α)>0的情況中，則式(2-15)化為(2-16)一.模糊神經(jīng)網(wǎng)絡(luò)輸出的計算考慮一個三層的前向神經(jīng)網(wǎng)絡(luò)，用I表示輸入層，H表示隱層，O表示輸出層。假設(shè)其輸入、輸出、權(quán)系數(shù)和域值都是模糊量；其中輸人、輸出是任意模糊量，但權(quán)系數(shù)和閥值是三角模糊量。這種模糊神經(jīng)網(wǎng)絡(luò)如圖2.2.2-1所示:圖2.2.2-1模糊神經(jīng)網(wǎng)絡(luò)很明顯，對于圖2.2.2-1所示的網(wǎng)絡(luò)有如下輸入輸出關(guān)系，輸人層的輸出為Ii:

Ii=Xii=1,2,...,nI

(2-16)隱層的輸出為Hj： Hj=f(Uj),j=1,2,...,nH

(2-17)(2-18)輸出層的輸出為Ok：

Ok=f(Uk),k=1,2,...,nO

(2-19)(2-20)在上面(3—16)到(2-20)式中，Xi是模糊輸入，Wji，Wkj是模糊權(quán)系數(shù)，θj，θk是模糊域值。為方便計算，在圖2.2.2-1所示的模糊神經(jīng)網(wǎng)絡(luò)中，采用水平截集進行計算。對于α截集，則模糊神經(jīng)網(wǎng)絡(luò)輸入輸出關(guān)系可以寫為下面式子：對于輸入層，有Ii[α]=Xi[α]

(2-21)對于隱層，有Hj[α]=f(Uj[α])

(2-22)(2-23)對于輸出層，有Ok[α]=f(Uk[α])

(2-24)(2-25)從上面(2-21)到(2-25)式中，可以看出：神經(jīng)網(wǎng)絡(luò)的模糊量α截集輸出是由輸入，隱層和域值的α截集計算出來的。在輸入的模糊量的α截集Xi[α]是非負的，即有Xi[α]=[XL(α),XU(α)]

(2-26)并且0≤XL(α)≤XU(α)從而，對于輸入層，隱層及輸出層，可以用下列式子計算：1.對于輸入層:Ii[α]=Xi[α]=[XiL(α),XiU(α)]

(2-27)2.對于隱層：Hj[α]=[hjL(α),hjU(α)]

=[f(UjL(α)),f(UjU(α))]

(2-28)其中(2-29)(2-30)3.對于輸出層Ok[α]=[OkL(α),OkU(α)]

=[f(UkL(α)),f(UkU(α))]

(2-31)其中(2-32)(2-33)二.模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)在模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中首先要給出目標(biāo)函數(shù)，然后給出學(xué)習(xí)算法公式，再給出學(xué)習(xí)步驟。圖2.2.2-2目標(biāo)函數(shù)1.目標(biāo)函數(shù)考慮對應(yīng)于模糊輸人Xi，i＝1，2，…，nI，有目標(biāo)輸出Tk，k＝1，2，…，nO；對于網(wǎng)絡(luò)的第k個輸出端Ok的α截集以及相應(yīng)的目標(biāo)輸出Tk，可以定義目標(biāo)函數(shù)e。在圖2.2.2-2中，取Ok和Tk的α截集的上限值和下限值的誤差的平方，并用α值進行加權(quán)作為目標(biāo)函數(shù)e，有ek(α)=ekL(α)+ekU(α)

(2-34)其中：ekL(α)是Ok和Tk的α截集的下限值的誤差平方的。加權(quán)值(2-35)ekU(α)是Ok和Tk的α截集的上限值的誤差平方的α加權(quán)值(2-36)從而Ok和Tk的α截集的目標(biāo)函數(shù)可以定義為e(α)(2-37)則輸入輸出對Xi，Tk的目標(biāo)函數(shù)可以給出如下：(2-38)2.學(xué)習(xí)算法假設(shè)三角模糊權(quán)系數(shù)Wkj，Wji可以用三個參數(shù)表示，即Wkj=(WkjL,WkjC,WkjU)

(2-39)其中：WkjL是權(quán)系數(shù)的最小值，即其零截集的下限值；WkjC是權(quán)系數(shù)的中值，即其頂角所對應(yīng)的值；WkjU是權(quán)系數(shù)的最大值，即其零截集的上限值；Wji=(WjiL,WjiC,WjiU)

(2-40)其中參數(shù)的意義和Wkj中的類同。很明顯，有(2-41)(2-42)由于Wkj是表示隱層和輸出層之間的權(quán)系數(shù)，可以先考慮其學(xué)習(xí)算法。根據(jù)梯度法．可以用目標(biāo)函數(shù)對Wkj進行修正：(2-43)(2-44)其中：η是學(xué)習(xí)常數(shù)，β是修改常數(shù)。在上面式(2-43)，(2-44)中，說明利用目標(biāo)函數(shù)e修改權(quán)系數(shù)的零截集下限值WkjL以及上限值WkjU；故而也就修改了權(quán)系數(shù)Wkj。很明顯，在式(2-44)(2-44)中，關(guān)鍵在于求取從e(α)的定義可知：e(α)必定是權(quán)系數(shù)Wkj的函數(shù)，故而也是Wkj的α截集的上下限值的函數(shù)，即有e(α)=g(WkjL(α),WkjU(α))

(2-45)而WkjL，WkjU分別是Wkj的零截集的上下限值，則可知：WkjL(α)是WkjL或WkjU的函數(shù)；WkjU(α)也是WkjL或WkjU的函數(shù)。從全微分的角度則有：(2-46)(2-47)為了求式(2-46)(2-47)的結(jié)果，很明顯，需要求出WkjL、WkjU和WkjL(α)、WkjU(α)之間的關(guān)系。由于權(quán)系數(shù)Wkj是一個三角對稱模糊數(shù)，它的形狀如圖2.2.2-3所示。圖2.2.2-3WkjL、WkjU和WkjL(α)、WkjU(α)的關(guān)系示意在圖2.2.2-3中，可以看出有:即有

X=α.Y故有即最后有(2-48)(2-49)把式(2-48)(2-49)改寫為下列形式(2-50)(2-51)上兩式則明顯說明WkjL、WkjU和WkjL(α)、WkjU(α)的關(guān)系。

從而式(2-46)(2-47)則為：(2-52)(2-53)很明顯，要求取ae(α)/aWkjL，ae(α)/WkjU的結(jié)果，應(yīng)首先求出ae(α)/aWkjL(α)和ae(α)/WkjU(α)的結(jié)果。由于從式(2-21)—(2-26)可知：e(α)、UkL(α)和WkjL(α)之間，e(α)、UkU(α)和WkjU(α)之間有一定的函數(shù)關(guān)系。故而有：(2-54)(2-55)考慮：由于

OkL(α)=f(UkL(α))而故而f'(X)=f(X).(1-f(X))(2-56)(2-57)對于aUkL(α)/aWkjL(α)和aUkU(α)/aWkjU(α)，應(yīng)考慮WkjL(α)和WkjU(α)的值不同的情況。當(dāng)0≤WkjL(α)≤WkjU(α)時(2-58)(2-59)當(dāng)WkjL(α)≤WkjU(α)≤0時(2-60)(2-61)當(dāng)WkjL(α)<0≤WkjU(α)時(2-62)(2-63)很明顯；從式(2-52)—(2-63)則能求出的值，從而式(2-43)、(2-44)可解。最后，對稱三角形模糊權(quán)系數(shù)Wkj可以用下面公式進行學(xué)習(xí)校正WkjL(t+1)=WkjL(t)+ΔWkjL(t)

(2-64)WkjU(t+1)=WkjU(t)+ΔWkjU(t)

(2-65)(2-66)在校正之后．有可能出現(xiàn)WkjL>WkjU的情況，這時．令WkjL(t+1)=min{WkjL(t+1),WkjU(t+1)}WkjU(t+1)=max{WkjL(t+1),WkjU(t+1)}對于模糊權(quán)系數(shù)Wji和模糊域值θj，θk．也可以采用模糊權(quán)系數(shù)Wkj的校正方法進行校正。3.學(xué)習(xí)步驟假設(shè)有m個模糊向量輸入輸出對(XP，TP)，P＝1，2，…，m；用于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的截集有n個，即α1，α2，α3...，αn，在這種條件下，模糊神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法如下步驟：(1)對模糊系數(shù)和模糊域值取初值。(2)對α＝α1，α2，α3，...，αn，重復(fù)執(zhí)行第(3)步。(3)對I=1，2，…’m；重復(fù)執(zhí)行下列過程：正向計算：對應(yīng)于模糊輸入向量Xp，求其輸出模糊向量Op，并計算Op的。截集上下限。反向傳播：用目標(biāo)函數(shù)e(α)，校正神經(jīng)網(wǎng)絡(luò)的模糊權(quán)系數(shù)和模糊域值。如果預(yù)定的結(jié)束條件未能滿足，則返回第(2)步；否則校正結(jié)束。第三章神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)控制的研究始于20世紀(jì)60年代，1960年，widrow和Hoff首先把神經(jīng)網(wǎng)絡(luò)用于控制系統(tǒng)。Kilmer和McCulloch提出了KMB神經(jīng)網(wǎng)絡(luò)模型，并在“阿波羅”登月計劃中應(yīng)用取得良好的效果。1964年，widrow等用神經(jīng)網(wǎng)絡(luò)對小車倒立擺系統(tǒng)控制取得了成功。70年代神經(jīng)網(wǎng)絡(luò)研究處于低谷，所以神經(jīng)網(wǎng)絡(luò)控制沒有再發(fā)展。在80年代后期開始，神經(jīng)網(wǎng)絡(luò)控制隨著形勢發(fā)展至重受到重視．但大多數(shù)集中在自適應(yīng)控制方法上。目前，正朝智能控制深度的方向發(fā)展。3.1神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的非線性，學(xué)習(xí)功能，并行處理和綜合能力，使到它十分適用于智能控制：神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)的形式很多。英國Glasgow大學(xué)K.J.Hunt等神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)分為監(jiān)視控制、直接逆控制、模型參考控制、內(nèi)部模型控制、預(yù)測控制、適應(yīng)控制等。IEEE神經(jīng)網(wǎng)絡(luò)協(xié)會出版刊物主席ToshioFukuda教授和“神經(jīng)計算應(yīng)用手冊”作者P.J.Werbos則把神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)主要分成如下五大類：1.監(jiān)視控制(SupervisedControl)2.逆控制(InverseControl)3.經(jīng)適應(yīng)控制(NeuralAdaptiveControl)4.實用反問傳播控制(Back—propagationofUtility)5.適應(yīng)評價控制(AdaptiveCritics)根據(jù)這五大類的劃分情況，神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)有五類不同的結(jié)構(gòu)；而且，神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中的位置和功能有所不向，學(xué)習(xí)方法也相異。3.1.1監(jiān)視控制系統(tǒng)用神經(jīng)網(wǎng)絡(luò)模擬人的作用而組成的控制器去對被控對象執(zhí)行控制稱為監(jiān)視控制。在很多情況中，人們可以根據(jù)對象的輸出狀態(tài)而提供恰當(dāng)?shù)目刂菩盘?，從而實現(xiàn)良好的控制；也即是說人們在系統(tǒng)中能執(zhí)行反饋控制作用。往往在這種情況中，無法取得對象的分析模型；也即是說，用標(biāo)準(zhǔn)的控制技術(shù)無法設(shè)計出合適的控制器。

由子交替逼近的專家系統(tǒng)可以用于提供知識表達和控制形式；所以．神經(jīng)網(wǎng)絡(luò)可以用于模擬人的作用的控制器中。監(jiān)視控制系統(tǒng)的結(jié)構(gòu)如圖3.1.1-1中所示。從圖中可知：神經(jīng)網(wǎng)絡(luò)的功能在于取代人的控制作用。圖3.1.1-1監(jiān)視控制系統(tǒng)的結(jié)構(gòu)在監(jiān)視控制系統(tǒng)中，神經(jīng)網(wǎng)絡(luò)需要脫機進行訓(xùn)練。訓(xùn)練時是采用一系列示教數(shù)據(jù)的，這些數(shù)據(jù)是人們執(zhí)行人工控制時的輸入輸出數(shù)據(jù)。輸入數(shù)據(jù)一般是傳感器所檢測出的數(shù)據(jù)，輸出數(shù)據(jù)則是人所確定的數(shù)據(jù)。也就是說，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是執(zhí)行傳感輸入到人工控制作用的影射。這種控制在機器人控制等領(lǐng)域中有相當(dāng)大的作用。3.1.2逆控制系統(tǒng)逆控制系統(tǒng)有時也稱直接逆控制系統(tǒng)。在逆控制系統(tǒng)中，如果被控對象的模型用F表示，那么，神經(jīng)網(wǎng)絡(luò)所構(gòu)成的控制器的模型則是F-1，也即是說是一個逆模型。逆控制系統(tǒng)的結(jié)構(gòu)如圖3.1.2-1所示圖3.1.2-1逆控制系統(tǒng)的結(jié)構(gòu)如果被控對象的模型可以表示為Fy=F(u)

(3.1)那么，逆控制系統(tǒng)中神經(jīng)網(wǎng)絡(luò)控制器的模型則為F-1:u=F-1(y)

(3.2)在實際上，被控對象可以是一個未知的系統(tǒng)；在被控對象輸入端加入u*，則其輸出就會產(chǎn)生y*。用y*作為輸人，u*作為輸出去對神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練．則得到的神經(jīng)網(wǎng)絡(luò)就是被控對象的逆模型。在訓(xùn)練時，神經(jīng)網(wǎng)絡(luò)的實際輸出用u’表示。則用(u'-u*)這個偏差可以控制網(wǎng)絡(luò)的訓(xùn)練過程。一般來說，為了獲取良好的逆動力學(xué)性能．通常在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時所取值的范圍比實際對象的輸入輸出數(shù)據(jù)的取值范圍要大一些。在逆控制系統(tǒng)中，神經(jīng)網(wǎng)絡(luò)直接連在控制回路作為控制器用。則控制效果嚴重地依賴于控制器對對象逆向模型的真實程度。由于這種系統(tǒng)缺少反饋環(huán)節(jié)；所以，其魯棒性嚴重不足。對于要求有—定魯棒性的應(yīng)用目的，這種控制系統(tǒng)則存在問題。一般而言．通過在線學(xué)習(xí)可以在一定程度克服其魯棒性不好的問題。在允許在線學(xué)習(xí)的情況中．在線學(xué)習(xí)可以調(diào)整神經(jīng)網(wǎng)絡(luò)的參數(shù)．使神經(jīng)網(wǎng)絡(luò)對逆模型的真實度提高。直接逆控制在機器人中應(yīng)用較為廣泛。3.1.3神經(jīng)適應(yīng)控制系統(tǒng)神經(jīng)網(wǎng)絡(luò)模型參考適應(yīng)控制系統(tǒng)的結(jié)構(gòu)如圖3.1.3-1所示。它由參考模型M，非線性對象P，神經(jīng)網(wǎng)絡(luò)Nc，神經(jīng)網(wǎng)絡(luò)Ni等四個主要環(huán)節(jié)組成。神經(jīng)網(wǎng)絡(luò)模型參考適應(yīng)控制簡稱NMRAC(NeuralModelReferenceAdaptiveControl)．在系統(tǒng)結(jié)構(gòu)中，參考模型M是期望模型，其輸出ym是期望輸出。參考模型M由下式描述：M={r(t),ym(t)}

(3.3)圖3.1.3-1神經(jīng)網(wǎng)絡(luò)模型參考適應(yīng)控制系統(tǒng)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)Ni是非線性對象P的辯識器。它主要是利用對象P當(dāng)前和以前時刻的輸入輸出數(shù)據(jù)來預(yù)報下一時刻對象的輸出。預(yù)報輸出Yp和對象輸出yp的伯差ei反映了預(yù)報的準(zhǔn)確度：(3.4)神經(jīng)網(wǎng)絡(luò)Nc是控制器。它根據(jù)自身輸出，對象輸出和給定信號r而產(chǎn)生下時刻的控制信號u。Nc通常是Ni對對象辨識之后所得到的對象逆模型。NMRAC控制的目的在于產(chǎn)生一個恰當(dāng)?shù)目刂菩盘杣(k)，使對象輸出yp和參考模型的輸出ym的偏差小于給定誤差值c，即(3.5)yp和ym的偏差用ec來表示，可以寫下式：ec(k)=yp(k)-ym(k)(3.6)如果ec＝0．則說控制結(jié)果和期望值一樣。在NMRAC控制系統(tǒng)中，首先對辨識器Ni進行訓(xùn)練，預(yù)報偏差ei用于訓(xùn)練Ni。如果學(xué)習(xí)之后，Ni能精確地描述對象P，并P的逆模型存在；那么，則有Ni輸出yp(k+1)：(3.7)設(shè)參考模型為ym(k+1)=h[ym(k),ym(k-1),ym(k-s)]+r(k)

(3.8)則有逆模型(3.9)以ym(k+1)取代yp(k+1)，代入式(3.9)有u(k)=g-1{h[ym(k),ym(k-1),,ym(k-s)]+r(k)-f[yp(k),yp(k-1),,yp(k-n)]}-g'[u(k-1),,u(k-m)]

(3.10)為了構(gòu)成控制器，用對象輸出yp取代式(3.10))中的參考模型輸出ym，有u(k)=g-1{h[yp(k),yp(k-1),,yp(k-s)]+r(k)-f[yp(k),yp(k-1),,yp(k-n)]}-g'[u(k-1),,u(k-m)]

(3.11)用式(3.11)就可以組成神經(jīng)網(wǎng)絡(luò)控制器Ne。顯然，控制器Nc的輸入由三部分組成，即是給定r(t)，對象輸出yp(t)和控制器的輸出u(t)。如果對象P的逆模型難以用式(3.10)表示，那么．可以用辨識器Ni的輸出和參考模型M輸出的偏差；或者對象輸出和參考模型的偏差ec＝y(tǒng)p(k)—ym(k)對神經(jīng)網(wǎng)絡(luò)Nc進行訓(xùn)練．從而最終確定Nc。神經(jīng)網(wǎng)絡(luò)自校正控制簡稱NSTC(NeuralSelf-TuningControl)。在這種控制方式中，神經(jīng)網(wǎng)絡(luò)是一個自校正調(diào)節(jié)器。設(shè)對象模型和式(3.7)式同，則有yp(k+1)=f[yp(k),yp(k-1),,yp(k-n)]+g[u(k),u(k-1),,u(k-m)]

(3.12)

如果對象的逆模型存在，則得u(k)=g-1{yp(k+1)-f[yp(k),yp(k-1),yp(k-n)]}-g'[u(k-1),,u(k-m)](3.13)在g-1[·]和g’[·]未知時，可以采用兩個神經(jīng)網(wǎng)絡(luò)通過學(xué)習(xí)來逼近。則所得的神經(jīng)網(wǎng)絡(luò)控制器就是一個自校正控制器。這個系統(tǒng)就是NSTC系統(tǒng)。在系統(tǒng)中，要求yp(k+1)向I(k+1)逼近，故而上式(3.13)可寫成：u(k)=g-1{r(k+1)-f[yp(k),yp(k-1),,yp(k-n)]}-g'[u(k-1),,u(k-m)]

(3.14)NSTC系統(tǒng)的結(jié)構(gòu)如圖3.1.3-2所示。很明顯圖3.1.3-2NSTC系統(tǒng)的結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)控制器Nc是出實現(xiàn)g‘和g功能的兩個網(wǎng)絡(luò)組成的。學(xué)習(xí)訓(xùn)練時，用偏差信號。ep=r(k+1)-yp(k+1)來描述神經(jīng)網(wǎng)絡(luò)對逆模型的逼近程度。3.1.4實用反向傳播控制和適應(yīng)評價控制實用反向傳播控制和適應(yīng)評價控制是用神經(jīng)網(wǎng)絡(luò)實現(xiàn)最優(yōu)控制的通用方法。這兩種方法有著不同的思想。一、實用反向傳播(Back-propagationofutility)控制實用反向傳播是依時間反向傳播的一種擴展算法。由Werbos提出的依時間反向傳播(Back—Propagationthroughtime)是一種通常用于訓(xùn)練循環(huán)網(wǎng)絡(luò)的算法。在其基礎(chǔ)上發(fā)展的實用反向傳播在控制系統(tǒng)上可以形成間接逆控制系統(tǒng)。這種系統(tǒng)如圖3.1.4-1所示。圖3.1.4-1實用反向傳播控制實用反向傳播在目前要很透徹描述還存在一定困難；但是，它畢業(yè)是—種具有多方面應(yīng)用潛力的方法。二、適應(yīng)評價控制適應(yīng)評價(AdaptiveCritics)概念是增強學(xué)習(xí)(ReinforcementLearning)的擴充方法。增強學(xué)習(xí)是Barto等人提出來的；它用兩個神經(jīng)網(wǎng)絡(luò)執(zhí)行工作。適應(yīng)評價控制的結(jié)構(gòu)如圖3.1.4-2所示。圖3.1.4-2適應(yīng)評價網(wǎng)絡(luò)適應(yīng)評價的學(xué)習(xí)機構(gòu)由一個聯(lián)想搜索單元ASE(AssociativeSearchElement)和一個適應(yīng)評價單元(AdaptiveCriticElement)組成。在學(xué)習(xí)時，ASE在增強反饋的影響下通過搜索求取輸入與輸出的相聯(lián)關(guān)系；ACE構(gòu)成比增強反饋單獨可以提供的更豐富的信息評價函數(shù)。在這種學(xué)習(xí)算法中，ASE是作用網(wǎng)絡(luò)；ACE是評價網(wǎng)絡(luò)；并且無需被控過程的模型。這種由兩個網(wǎng)絡(luò)組成的適應(yīng)評價算法已經(jīng)在很多小的控制問題上取得了很好的效果。但是，由于評價的輸出J用于表示總效果，也即表示評價結(jié)果；而評價結(jié)果不足以確定作用網(wǎng)絡(luò)在學(xué)習(xí)中尋優(yōu)的方向。所以，在大的控制問題還有各種困難。和實用反向傳播一樣，適應(yīng)評價在目前還存在不少困難；但是它仍是一種有潛力的方法。3.2神經(jīng)網(wǎng)絡(luò)控制器與學(xué)習(xí)在神經(jīng)網(wǎng)絡(luò)控制系統(tǒng)中，有時需要對對象進行仿真；所以，在系統(tǒng)中設(shè)置有神經(jīng)對象仿真器NPE(NeuralPlantEmulator)；同時，在系統(tǒng)中還有神經(jīng)控制器NC(NeuralController)。不論對象仿真器PC，還是神經(jīng)控制器NC，都需要學(xué)習(xí)；而對于控制系統(tǒng)中，聯(lián)機學(xué)習(xí)是最重要的。在這一節(jié)中，介紹對象仿真器，神經(jīng)控制器，學(xué)習(xí)訓(xùn)練的結(jié)構(gòu)，聯(lián)機學(xué)習(xí)方法及算法。3.2.1對象仿真器及神經(jīng)控制器在控制中，大量采用多層前向神經(jīng)網(wǎng)絡(luò)。多層神經(jīng)網(wǎng)絡(luò)MNN(MultilayerNeuralNetwork)可以認為是一個有映射學(xué)習(xí)能力的結(jié)構(gòu)?；谟成淠芰?，得到兩種通用的神經(jīng)控制結(jié)構(gòu)：即對象仿真器PE和神經(jīng)控制器NC。對于一個單輸人單輸出的過程，從數(shù)字控制技術(shù)可知有如下離散數(shù)學(xué)模型：y(k+1)=f[y(k),y(k-1),,y(k-P+1),u(k),u(k-1),,u(k-Q)]

(3.15)其中：y是輸出，u是輸入，k是離散時間系數(shù)，P，Q是正整數(shù)．f[·]是函數(shù)。在很多情況中，對象的輸入信號u是在幅度上范圍有限的；既存在下限um和上限uM對于任何k，有um≤u(k)≤uM

(3.16)在描述對象的式(3.15)中，對應(yīng)P，Q的估計值分別用P，q表示。一、對象仿真器PE對象仿真器PE的作用和意義如圖3.2.1-1(a)所示。；圖3.2.1-1(b)表示PE框圖。從圖中看出，用多層神經(jīng)網(wǎng)絡(luò)MNN組成的PE有p+q+1=m個輸入，一個輸出。它可以用于對式(3．15)描述的對象進行仿真。PE的映射功用ΨE(.)表示，輸出用yE表示當(dāng)輸入為m維向量XE(k)，XE(k)=[y(k),,y(k-p+1),u(k),,u(k-q)]T

(3．17)則仿真器PE有輸出：yE=ΨE(XE)

(3.18)(a)(b)圖3.2.1-1對象仿真器PE二、神經(jīng)控制器NC神經(jīng)控制器NC的作用和意義如圖3.2.1-2所示。圖3.2.1-2(a)是NC在系統(tǒng)中的位置，圖3.2.1-2(b)是NC框圖。假定由式(3．15)所描述的過程對象是可逆的，則會存在函數(shù)g[·]，并且有u(k)=g[y(k+1),y(k),,y(k-p+1),u(k-1),u(k-2),,u(k-Q)]

(3.19)以神經(jīng)網(wǎng)絡(luò)可實現(xiàn)式(3.19)所描述的對象逆模型。并且，輸入為m維向量Xc，輸出為Uc，則輸出輸入關(guān)系表示為Uc=ψc(Xc)

(3.20)其中：ψc為輸入輸出映射。

如果ψc(·)的輸出逼近g(·)的輸出．則逆模型的神經(jīng)網(wǎng)絡(luò)可以看作是控制器。在k時刻，假設(shè)輸入xc(k)為Xc(k)=[r(k+1),y(k),,y(k-p+1),u(k-1)...,u(k-q)]T

(3.21)在上式(3.21)中，以給定輸入r(k+1)取代未知的y(k+1)；p和q分別是P和Q的估值。根據(jù)式(3.20)，則神經(jīng)網(wǎng)絡(luò)控制器NC有輸出uc(k)=ψc[r(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]

(3.22)在神經(jīng)網(wǎng)絡(luò)控制器NC的訓(xùn)練結(jié)果足以使輸出偏差e(k)＝r(k)-y(k)保持為一個很小的值時．則有Xc(k)=[r(k+1),r(k),...,r(k-p+1),u(k-1),...,u(k-q)]T

(3.23)在上式中，是以r(t)取代y(t)；這個式子明顯突出了神經(jīng)網(wǎng)絡(luò)控制NC的前饋特性。(a)(b)圖3.2.1-2神經(jīng)控制器NC3.2.2學(xué)習(xí)訓(xùn)練的結(jié)構(gòu)在神經(jīng)網(wǎng)絡(luò)控制器的訓(xùn)練中，一般要求對象輸出的偏差e(k)＝r(k)—y(k)所定義的偏差函數(shù)J最小化。為了能采用梯度法進行學(xué)習(xí)，同時還需考慮J對NC輸出的微分，即δ=—3J／Juc。有S之后，通過BP算法就可以改善NC的權(quán)系數(shù)。在這種基礎(chǔ)上，考慮直接逆控制，直接適應(yīng)控制和間接適應(yīng)控制的訓(xùn)練結(jié)構(gòu)。直接逆控制中的神經(jīng)網(wǎng)絡(luò)控制器NC是對象的逆模型。因此，可以通過圖3.2.2-1所示的結(jié)構(gòu)訓(xùn)練逆模型。圖3.2.2-1直接逆控制訓(xùn)練結(jié)構(gòu)在K+1時刻，設(shè)神經(jīng)網(wǎng)絡(luò)控制器NC的學(xué)習(xí)輸入為Xc*(k)Xc*(k)=[y(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]T

(3.24)則神經(jīng)網(wǎng)絡(luò)控制器NC有輸出Uc(k)uc(k)=ψc[Xc*(k)]

(3.25)即有uc(k)=ψc[y(k+1),y(k),...,y(k-p+1),u(k-1),...,u(k-q)]

(3.26)對于NC而言，有訓(xùn)練輸出偏差ecec(k)＝u(k)一uc(k)

(3.27)定義偏差函數(shù)J為J(k)=0．5[ec(k)]2=0．5[u(k)—uc(k)]2

(3.28)則J對uc的導(dǎo)數(shù)為δk(3.29)很明顯，這種訓(xùn)練結(jié)構(gòu)用BP算法是十分方便的。第四章神經(jīng)網(wǎng)絡(luò)在智能信息方面的應(yīng)用人腦是自然界中存在的非常有效的語音識別系統(tǒng)。人工神經(jīng)網(wǎng)絡(luò)是對生物神經(jīng)網(wǎng)絡(luò)的簡化的模擬，它保持生物神經(jīng)網(wǎng)絡(luò)的許多特性，而又便于在計算機上實現(xiàn)。因此，用人工神經(jīng)網(wǎng)絡(luò)構(gòu)識別系統(tǒng)有可能在人工語音識別系統(tǒng)的實時性和準(zhǔn)確率等方面取得進展。也正是由于神經(jīng)網(wǎng)絡(luò)這些優(yōu)點，人們在神經(jīng)網(wǎng)絡(luò)語音識別領(lǐng)域或進行了許多研究。4.1語音的神經(jīng)網(wǎng)絡(luò)識別技術(shù)芬蘭科學(xué)家Kohonen使用他所提出的著名的神經(jīng)網(wǎng)絡(luò)模型構(gòu)成了一種神經(jīng)網(wǎng)絡(luò)語音識別器并用于芬蘭語和日語的是被。這里我們可用Kohoonen神經(jīng)網(wǎng)絡(luò)模型來設(shè)計研制一個漢語語音是被系統(tǒng)。系統(tǒng)由語音信號出發(fā)器、5.3KHz低通濾波器、12bit模數(shù)轉(zhuǎn)換器、微機等組成(如圖4.1-1)。話筒觸發(fā)/LPFA/D話筒觸發(fā)/LPFA/DFFT濾波器陣Kohonen神經(jīng)網(wǎng)絡(luò)陣列參考匹配模板終端顯示識別結(jié)果圖4.1-1語音識別系統(tǒng)4.2基于玻耳茲曼機的音素識別統(tǒng)計玻耳茲曼機為求熵的全局穩(wěn)定狀態(tài)而采用退火方法的計算量是十分龐大的，所以盡管它在理論上很完善，但在語音識別等應(yīng)用中卻顯得并不實用，作為這種玻耳茲曼機的改進，有人提出了一種基于均場理論的算法模型。在該模型中，神經(jīng)元，神經(jīng)元取連續(xù)值且不斷改變，這個模型被稱為DBM模型（DeterministicBoltzmannMachine）。這里簡單介紹一下DBM算法在聲爆破中的應(yīng)用。該算法的學(xué)習(xí)過程分兩個階段，即正向階段和負向階段。在正向階段中，輸入層單元值是固定的（對應(yīng)于輸入功率譜模式的值），而隱層和輸出層的神經(jīng)元值則根據(jù)下述的逐次確定算法逐步變更值到實現(xiàn)穩(wěn)定狀態(tài)。在負向階段中，輸出層單元的值也是先對應(yīng)于輸入模式固定于1或0，然后再逐步變更。在上述兩個階段中，自由狀態(tài)的神經(jīng)元值都按式(4.1)進行計算(4.1)式中Oi是神經(jīng)元I的狀態(tài)值，Wij是神經(jīng)元I和神經(jīng)元j間的連接全重，б是Sigmoid函數(shù)，通過計算要使自由F逐漸變小。F的表達式為F=-(4.2)在DBM模型中，由于不進行模擬退火處理，所以系統(tǒng)僅存在著能量局部最小的可能。但是和B-P算法一樣，在實際應(yīng)用中問題不是很大。在逐次計算中，全重Wij是按下式更新的△Wij=ε(O+iO+j-O-iO-j)(4.3)式中ε是計算步長，O+i是正向階段中神經(jīng)元I的興奮值，O-i則市負向階段中神經(jīng)元i的興奮值。實驗中的學(xué)習(xí)樣本是從單詞音中的/b，d，g/中抽選出來的682個樣本，另外抽選出來的658個/b，d，g/語音數(shù)據(jù)則供識別評價用。由于網(wǎng)絡(luò)的初始值對識別率有影響，所以實驗所得到的識別率在98.2%-99.1%之間變動，學(xué)習(xí)次數(shù)則在37-55次之間變動。上述識別率十分接近基于B-P方法的TDNN模型和下面將要介紹LVO2 模型的識別率。用微機，DBM模型學(xué)習(xí)大約需要6h左右，這比TDNN模型的學(xué)習(xí)時間大幾十倍。但是，由于玻耳茲曼機采用熵（自由能量）這種更一般的尺度來進行判別，所以是一種B-P方法通用性更好的很有前途的方法。4.3基于矢量化器（LVQ）方法的音素識別采用Kohonen網(wǎng)絡(luò)進行語音識別的方法被視為是一種傳統(tǒng)的用多參照矢量進行模式匹配的手法。Kohonen網(wǎng)絡(luò)的核心在于用統(tǒng)的計學(xué)習(xí)方法有效地建立矢量空間類別判定邊界，其中，所用的矢量以及矢量間距離的選擇對于類別判定能力是十分重要的。發(fā)音者 樣本 識別數(shù)識別率 b 4 MAU d 4 93.3 g 3 b 5MHF d 0 98.7 g 8 b 8MHM d 1 97.8 g 5表4.3-1識別結(jié)構(gòu)通過上述的介紹可以看到基于神經(jīng)網(wǎng)絡(luò)的語音識別正在從基于B-P模型的音素識別向采用更優(yōu)秀的網(wǎng)絡(luò)模型的連續(xù)語音識別或不特定說話者的語音識別進展，這顯然是今后的一端時間內(nèi)語音識別領(lǐng)域中的神經(jīng)網(wǎng)絡(luò)研究的方向。輔音LVQ2K-means誤識數(shù)識別率（%）平均（%）平均（%）b5/22797.897.7%914.5%d4/17997.8g14/25294.4p9/1540.0t10/44097.7k151/116398.7m4/48199.2n6/26599.7N12/48897.5s17/53896.8sh0/316100h5/20797.6z8/11593.0ch7/12394.3ts6/17796.6τ9/72298.8W3/7896.2y8/17498.3表3.3-2實驗結(jié)果4.4小波神經(jīng)網(wǎng)絡(luò)信息融合故障診斷處理小波變換具有時域局部化特性，神經(jīng)網(wǎng)絡(luò)具有非線性映射特性，將小波變換和人工神經(jīng)網(wǎng)絡(luò)的優(yōu)點結(jié)合起來，用加權(quán)法實現(xiàn)細心的初級融合，用小波變換實現(xiàn)特性提取，再用神經(jīng)網(wǎng)絡(luò)實現(xiàn)細心的二極融合，這種融合方法可用于細心分類、故障診斷分析等方面。一、引言隨著設(shè)備自動化程度和復(fù)雜性的提高，設(shè)備運行的安全性和可靠性也越來越重要。這就需要新的狀態(tài)監(jiān)測和故障診斷方法與之相適應(yīng)。采用能夠全面反映設(shè)備狀態(tài)的多個傳感器，并多傳感器信息進行有效的融合和綜合是解決問題的有效途徑。在以往的監(jiān)測系統(tǒng)，雖然有的采用了多個傳感器，但各傳感器信息通常是單獨處理的，很少對信息進行融合與綜合處理。因此監(jiān)測系統(tǒng)的可靠性和診斷的有效性有待提高。多傳感器信息融合和綜合是在機器人領(lǐng)域率先提出的，是指經(jīng)過集成處理的多傳感器信心進行合成一個完善和準(zhǔn)確地反映被測對象特征。機械設(shè)備發(fā)生故障時，所測得的信號中含有非平穩(wěn)成分或時變成分而這些成分又往往直接反映了設(shè)備的運行狀態(tài)。因此基于平穩(wěn)信號的處理方法就不能有效地提取這些故障特征。小波變換具有時域局部化等特性，適合于非平衡信號和時變信號的特征提取。特別是連續(xù)小波變換，可提取信號中所需頻段隨時間變化的成分，不僅適合于設(shè)備穩(wěn)態(tài)信號特征提取，而且適合于狀態(tài)發(fā)生變化的識別，實現(xiàn)故障與征兆之間復(fù)雜的非線性映射，但它依賴于特征參數(shù)的有效性和網(wǎng)絡(luò)參數(shù)的選取。若將二者結(jié)合起來，必將提高診斷準(zhǔn)確性。二、基于小波變換特征提取的人工神經(jīng)網(wǎng)絡(luò)信息融合方法在信息融合的許多方法中，人工神經(jīng)網(wǎng)絡(luò)被認為是很有前途方法。但是，將含有豐富信息并含有噪聲的多傳感器信號直接應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)，不僅網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，計算量大，而且效果也不理想。只有將人工神經(jīng)網(wǎng)絡(luò)與有效的特性提取方法結(jié)合起來才可能獲得滿意的效果。鑒于小波變換Wx（s，t）是將信號x（t）與一個在時域和頻域都具有良好局部化特性的伸縮小波函數(shù)Ψs(t)=進行卷積，即(4.4)可提取x（t）信號有Ψs（t）頻譜所確定的成分。當(dāng)給Ψs（t）乘以頻移因子，小波變換(4.5)恰能用于提取x（t）中特征頻率ω1頻帶（由Ψs（t）頻譜確定）的狀態(tài)信息，又由于設(shè)備狀態(tài)變化或者出現(xiàn)故障時，Ψs（t）的帶通特性適應(yīng)特征頻率成分的活動。因此，小波變換可用于故障診斷中特征提取。若需提取較寬頻帶的成分，可用組合小波實現(xiàn)。網(wǎng)絡(luò)性能的好壞主要取決于小波變換特征成分的提取、特征參數(shù)的選擇以及網(wǎng)絡(luò)結(jié)構(gòu)。在實際應(yīng)用中，適當(dāng)調(diào)整幾次，就可達到滿意的效果。當(dāng)用標(biāo)準(zhǔn)故障模式對網(wǎng)絡(luò)訓(xùn)練后，可循環(huán)采集多個傳感器的信號進行提取和識別，以準(zhǔn)確、實時地診斷故障。特征提取x1(k) i1Wjm特征提取 WmnO1特征提取x2(k) 12特征提取On特征提取xi(k) ij特征提取輸入信號小波變換層特征提取層網(wǎng)絡(luò)輸入隱層網(wǎng)絡(luò)輸出層4.4-1網(wǎng)絡(luò)結(jié)構(gòu)示意圖三、旋轉(zhuǎn)機械故障診斷應(yīng)用實例在轉(zhuǎn)字實驗帶軸承座的水平和垂直方向安裝傳感器，所采集的6類轉(zhuǎn)子故障模式振動信號為x1（k），x2（k）包絡(luò)包絡(luò)包絡(luò)包絡(luò)包絡(luò)包絡(luò)包絡(luò)包絡(luò)包絡(luò)包絡(luò)包絡(luò)包絡(luò) i2 WmnO1x1(k) i3 i4 I5 i6 OnX2(k) i7圖4.4-2旋轉(zhuǎn)機械故障診斷網(wǎng)絡(luò)圖在圖3.3-2中，利用小波變換提取特征頻率成分進行特征提取的小波函數(shù)為故障模式輸入期望值i1i2i3i4i5i6i7O1O2O3O4O5綜合故障1綜合故障2座松動座平移座偏斜不平衡0.2380180.3453620.9110240.4531110.5417990.3869680.3340580.3086870.9398660.4578360.6243180.4132301.0000001.0000001.0000001.0000001.0000001.0000000.6121220.4717410.8948870.9695250.9421840.6380680.187530.5837400.8143510.7846920.9617870.7887190.148480.1055460.1348450.2464140.1609870.1231520.260460.1214650.1190060.3140170.2053320.142491110001000100010010000020010000表4.4-1