模糊控制與神經網絡

1、BP神經網絡BP （Back Propagati on）神經網絡是一種神經網絡學習算法，全稱基于誤差反向傳播算法的人工神經網絡。如圖所示拓撲結構的單隱層前饋網絡，一般稱為三層前饋網或三層感知器，即：輸入層、中間層（也稱隱層） 和輸出層。它的特點是：各層神經元僅與相鄰層神經元之間相互全連接，同層內神經元之間無連接，各層神經元之 間無反饋連接，夠成具有層次結構的前饋型神經網絡系統(tǒng)。單計算層前饋神經網絡只能求解線性可分問題，能夠求 解非線性問題的網絡必須是具有隱層的多層神經網絡。在人工神經網絡發(fā)展歷史中，很長一段時間里沒有找到隱層的連接權值調整問題的有效算法。直到誤差反向傳播算法（BP算法）的提出，

2、成功地解決了求解非線性連續(xù)函數的多層前饋神經網絡權重調整問題。BP （Back Propagation）神經網絡，即誤差反傳誤差反向傳播算法的學習過程，由信息的正向傳播和誤差的反向 傳播兩個過程組成。輸入層各神經元負責接收來自外界的輸入信息，并傳遞給中間層各神經元；中間層是內部信息 處理層，負責信息變換，根據信息變化能力的需求，中間層可以設計為單隱層或者多隱層結構；最后一個隱層傳遞 到輸出層各神經元的信息，經進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結 果。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層 權值，向隱

3、層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也 是神經網絡學習訓練的過程，此過程一直進行到網絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次數為止。神經網絡 神經網絡是： 思維學普遍認為，人類大腦的思維分為抽象（邏輯）思維、形象（直觀）思維和靈感（頓悟）思維三種基本方 式。邏輯性的思維是指根據邏輯規(guī)則進行推理的過程；它先將信息化成概念，并用符號表示，然后，根據符號運算 按串行模式進行邏輯推理；這一過程可以寫成串行的指令，讓計算機執(zhí)行。然而，直觀性的思維是將分布式存儲的 信息綜合起來，結果是忽然間產生想法或解決問題的辦法。這種思維方式的根本之點在

4、于以下兩點:1.信息是通過神經元上的興奮模式分布儲在網絡上;2.信息處理是通過神經元之間同時相互作用的動態(tài)過程來完成的。人工神經網絡就是模擬人思維的第二種方式。這是一個非線性動力學系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個神經元的結構極其簡單，功能有限，但大量神經元構成的網絡系統(tǒng)所能實現的行為卻是極其 豐富多彩的。神經網絡的研究內容相當廣泛，反映了多學科交叉技術領域的特點。目前，主要的研究工作集中在以下幾個方 面：（1）生物原型研究。從生理學、心理學、解剖學、腦科學、病理學等生物科學方面研究神經細胞、神經網絡、 神經系統(tǒng)的生物原型結構及其功能機理。（2）建立理論模型。根據生物原型

5、的研究，建立神經元、神經網絡的理論模型。其中包括概念模型、知識模 型、物理化學模型、數學模型等。（3）網絡模型與算法研究。在理論模型研究的基礎上構作具體的神經網絡模型，以實現計算機饃擬或準備制 作硬件，包括網絡學習算法的研究。這方面的工作也稱為技術模型研究。（4 ）人工神經網絡應用系統(tǒng)。在網絡模型與算法研究的基礎上，利用人工神經網絡組成實際的應用系統(tǒng)，例 如，完成某種信號處理或模式識別的功能、構作專家系統(tǒng)、制成機器人等等?？v觀當代新興科學技術的發(fā)展歷史，人類在征服宇宙空間、基本粒子，生命起源等科學技術領域的進程中歷經 了崎嶇不平的道路。我們也會看到，探索人腦功能和神經網絡的研究將伴隨著重重困難

6、的克服而日新月異。【人工神經網絡的工作原理】人工神經網絡首先要以一定的學習準則進行學習，然后才能工作?，F以人工神經網絡對手寫“ A” “ B兩個字母的識別為例進行說明，規(guī)定當“ A輸入網絡時，應該輸出“ 1,而當輸入為“ B時，輸出為“ 0。所以網絡學習的準則應該是：如果網絡作出錯誤的的判決，則通過網絡的學習，應使得網絡減少下次犯同樣錯 誤的可能性。首先，給網絡的各連接權值賦予（0，1）區(qū)間內的隨機值，將 “ A所對應的圖象模式輸入給網絡，網絡將輸入模式加權求和、與門限比較、再進行非線性運算，得到網絡的輸出。在此情況下，網絡輸出為“ 1和“0的概率各為50%，也就是說是完全隨機的。 這時如果輸

7、出為 “ 1結果正確），則使連接權值增大，以便使網絡再次遇到 “A” 模式輸入時，仍然能作出正確的判斷。如果輸出為“0即結果錯誤），則把網絡連接權值朝著減小綜合輸入加權值的方向調整，其目的在于使網絡下次再遇到“A”莫式輸入時，減小犯同樣錯誤的可能性。 如此操作調整，當給網絡輪番輸入若干個手寫字母“A” “ B后,經過網絡按以上學習方法進行若干次學習后，網絡判斷的正確率將大大提高。這說明網絡對這兩個模式的學習已經獲得了成功，它已將這兩個模式分布地記憶在網絡的各個連接權值上。當網絡再次遇到其中任何一個模式時，能夠 作出迅速、準確的判斷和識別。一般說來，網絡中所含的神經元個數越多，則它能記憶、識別的

8、模式也就越多。人腦是如何工作的？ ”人類能否制作模擬人腦的人工神經元？”多少年以來，人們從醫(yī)學、生物學、生理學、哲學、信息學、計算機科學、認知學、組織協(xié)同學等各個角度企 圖認識并解答上述問題。在尋找上述問題答案的研究過程中，近年來逐漸形成了一個新興的多學科交叉技術領域， 稱之為神經網絡”神經網絡的研究涉及眾多學科領域，這些領域互相結合、相互滲透并相互推動。不同領域的科 學家又從各自學科的興趣與特色出發(fā)，提出不同的問題，從不同的角度進行研究。心理學家和認知科學家研究神經網絡的目的在于探索人腦加工、儲存和搜索信息的機制， 弄清人腦功能的機理，建立人類認知過程的微結構理論。生物學、醫(yī)學、腦科學專家試

9、圖通過神經網絡的研究推動腦科學向定量、精確和理論化體系發(fā)展，同時也寄希 望于臨床醫(yī)學的新突破； 信息處理和計算機科學家研究這一問題的目的在于尋求新的途徑以解決目前不能解決或解 決起來有極大困難的大量問題，構造更加逼近人腦功能的新一代計算機。人工神經網絡是由大量的簡單基本元件神經元相互聯接而成的自適應非線性動態(tài)系統(tǒng)。每個神經元的結構和功能比較簡單，但大量神經元組合產生的系統(tǒng)行為卻非常復雜。人工神經網絡反映了人腦功能的若干基本特性，但并非生物系統(tǒng)的逼真描述，只是某種模仿、簡化和抽象。與數字計算機比較，人工神經網絡在構成原理和功能特點等方面更加接近人腦，它不是按給定的程序一步一步地執(zhí)行運算，而是能夠

10、自身適應環(huán)境、總結規(guī)律、完成某種運算、識別或過程控制。人工神經元的研究起源于腦神經元學說。19世紀末，在生物、生理學領域，Waldeger等人創(chuàng)建了神經元學說。人們認識到復雜的神經系統(tǒng)是由數目繁多的神經元組合而成。大腦皮層包括有100億個以上的神經元， 每立方毫米約有數萬個，它們互相聯結形成神經網絡，通過感覺器官和神經接受來自身體內外的各種信息，傳遞至中樞神經系 統(tǒng)內，經過對信息的分析和綜合，再通過運動神經發(fā)出控制信息，以此來實現機體與內外環(huán)境的聯系，協(xié)調全身的 各種機能活動。神經元也和其他類型的細胞一樣，包括有細胞膜、細胞質和細胞核。但是神經細胞的形態(tài)比較特殊，具有許多 突起，因此又分為細胞

11、體、軸突和樹突三部分。細胞體內有細胞核，突起的作用是傳遞信息。樹突是作為引入輸入 信號的突起，而軸突是作為輸出端的突起，它只有一個。樹突是細胞體的延伸部分，它由細胞體發(fā)出后逐漸變細，全長各部位都可與其他神經元的軸突末梢相互聯系， 形成所謂 突觸”在突觸處兩神經元并未連通，它只是發(fā)生信息傳遞功能的結合部，聯系界面之間間隙約為（1550） M0米。突觸可分為興奮性與抑制性兩種類型，它相應于神經元之間耦合的極性。每個神經元的突觸數目正常， 最高可達10個。各神經元之間的連接強度和極性有所不同，并且都可調整、基于這一特性，人腦具有存儲信息的 功能。利用大量神經元相互聯接組成人工神經網絡可顯示出人的大腦

12、的某些特征。下面通過人工神經網絡與通用的計算機工作特點來對比一下：若從速度的角度出發(fā)，人腦神經元之間傳遞信息的速度要遠低于計算機，前者為毫秒量級，而后者的頻率往往 可達幾百兆赫。但是，由于人腦是一個大規(guī)模并行與串行組合處理系統(tǒng)，因而，在許多問題上可以作出快速判斷、 決策和處理，其速度則遠高于串行結構的普通計算機。人工神經網絡的基本結構模仿人腦，具有并行處理特征，可 以大大提高工作速度。人腦存貯信息的特點為利用突觸效能的變化來調整存貯內容，也即信息存貯在神經元之間連接強度的分布上，存貯區(qū)與計算機區(qū)合為一體。雖然人腦每日有大量神經細胞死亡（平均每小時約一千個），但不影響大腦的正常思維活動。普通計算

13、機是具有相互獨立的存貯器和運算器，知識存貯與數據運算互不相關，只有通過人編出的程序使之溝通，這種溝通不能超越程序編制者的預想。元器件的局部損壞及程序中的微小錯誤都可能引起嚴重的失常。人類大腦有很強的自適應與自組織特性，后天的學習與訓練可以開發(fā)許多各具特色的活動功能。如盲人的聽覺和觸覺非常靈敏；聾啞人善于運用手勢；訓練有素的運動員可以表現出非凡的運動技巧等等。普通計算機的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結編制程序將十分困難。人工神經網絡也具有初步的自適應與自組織能力。在學習或訓練過程中改變突觸權重值，以適應周圍環(huán)境的要求。同一網絡因學習方式及內容不同可具有不同的功能。

14、人工神經網絡是一個具有學習能力的系統(tǒng)，可以發(fā)展知識，以致超過設計者原有的知識水平。通常，它的學習訓練方式可分為兩種，一種是有監(jiān)督或稱有導師的學習，這時利 用給定的樣本標準進行分類或模仿；另一種是無監(jiān)督學習或稱無為導師學習，這時，只規(guī)定學習方式或某些規(guī)則， 則具體的學習內容隨系統(tǒng)所處環(huán)境(即輸入信號情況)而異，系統(tǒng)可以自動發(fā)現環(huán)境特征和規(guī)律性，具有更近似人腦的功能。人工神經網絡早期的研究工作應追溯至本世紀40年代。下面以時間順序，以著名的人物或某一方面突出的研究成果為線索，簡要介紹人工神經網絡的發(fā)展歷史。1943年，心理學家 WMcculloch和數理邏輯學家 WPitts在分析、總結神經元基本

15、特性的基礎上首先提出神經 元的數學模型。此模型沿用至今，并且直接影響著這一領域研究的進展。因而，他們兩人可稱為人工神經網絡研究 的先驅。1945年馮 諾依曼領導的設計小組試制成功存儲程序式電子計算機，標志著電子計算機時代的開始。1948年，他在研究工作中比較了人腦結構與存儲程序式計算機的根本區(qū)別，提出了以簡單神經元構成的再生自動機網絡結 構。但是，由于指令存儲式計算機技術的發(fā)展非常迅速，迫使他放棄了神經網絡研究的新途徑，繼續(xù)投身于指令存 儲式計算機技術的研究，并在此領域作出了巨大貢獻。雖然，馮諾依曼的名字是與普通計算機聯系在一起的，但他也是人工神經網絡研究的先驅之一。50年代末，F Rosen

16、blatt設計制作了 感知機”，它是一種多層的神經網絡。這項工作首次把人工神經網絡的研 究從理論探討付諸工程實踐。當時，世界上許多實驗室仿效制作感知機，分別應用于文字識別、聲音識別、聲納信 號識別以及學習記憶問題的研究。然而，這次人工神經網絡的研究高潮未能持續(xù)很久，許多人陸續(xù)放棄了這方面的 研究工作，這是因為當時數字計算機的發(fā)展處于全盛時期，許多人誤以為數字計算機可以解決人工智能、模式識別、專家系統(tǒng)等方面的一切問題，使感知機的工作得不到重視；其次，當時的電子技術工藝水平比較落后，主要的元件 是電子管或晶體管，利用它們制作的神經網絡體積龐大，價格昂貴，要制作在規(guī)模上與真實的神經網絡相似是完全 不

17、可能的；另外，在 1968年一本名為感知機的著作中指出線性感知機功能是有限的，它不能解決如異感這樣 的基本問題，而且多層網絡還不能找到有效的計算方法，這些論點促使大批研究人員對于人工神經網絡的前景失去信心。60年代末期，人工神經網絡的研究進入了低潮。另外，在60年代初期，Widrow提出了自適應線性元件網絡，這是一種連續(xù)取值的線性加權求和閾值網絡。后 來，在此基礎上發(fā)展了非線性多層自適應網絡。當時，這些工作雖未標出神經網絡的名稱，而實際上就是一種人工 神經網絡模型。隨著人們對感知機興趣的衰退，神經網絡的研究沉寂了相當長的時間。80年代初期，模擬與數字混合的超大規(guī)模集成電路制作技術提高到新的水平

18、，完全付諸實用化，此外，數字計算機的發(fā)展在若干應用領域遇到困難。這 一背景預示，向人工神經網絡尋求出路的時機已經成熟。美國的物理學家 Hopfield于1982年和1984年在美國科學院院刊上發(fā)表了兩篇關于人工神經網絡研究的論文，引起了巨大的反響。人們重新認識到神經網絡的威力以及付諸應用的現實性。隨即，一大批學者和研究人員圍繞著Hopfield提出的方法展開了進一步的工作，形成了 80年代中期以來人工神經網絡的研究熱潮?！救斯ど窠浘W絡的主要研究機構】模糊理論模糊理論(Fuzzy Logic)模糊的基本概念概念是思維的基本形式之一，它反映了客觀事物的本質特征。人類在認識過程中，把感覺到的事物的共

19、同特點抽象出來加以概括，這就形成了概念。比如從白雪、白馬、白紙等事物中抽象出白”的概念。一個概念有它的內涵和外延，內涵是指該概念所反映的事物本質屬性的總和，也就是概念的內容。外延是指一個概念所確指的對象的范 圍。例如 人”這個概念的內涵是指能制造工具，并使用工具進行勞動的動物，外延是指古今中外一切的人。所謂模糊概念是指這個概念的外延具有不確定性，或者說它的外延是不清晰的，是模糊的。例如青年”這個概念，它的內涵我們是清楚的，但是它的外延，即什么樣的年齡階段內的人是青年，恐怕就很難說情楚，因為在年輕”和不年輕”之間沒有一個確定的邊界，這就是一個模糊概念。需要注意的幾點：首先，人們在認識模糊性時，是

20、允許有主觀性的，也就是說每個人對模糊事物的界限不完全一樣，承認一定的主觀性是認識模糊性的一個特點。例如，我們讓100個人說出 年輕人”的年齡范圍，那么我們將得到100個不同的答案。盡管如此，當我們用模糊統(tǒng)計的方法進行分析時，年輕人的年齡界限分布又具有一定的規(guī) 律性；其次，模糊性是精確性的對立面，但不能消極地理解模糊性代表的是落后的生產力，恰恰相反，我們在處理客 觀事物時，經常借助于模糊性。例如，在一個有許多人的房間里，找一位年老的高個子男人”，這是不難辦到的。這里所說的年老”高個子”都是模糊概念，然而我們只要將這些模糊概念經過頭腦的分析判斷，很快就可以在人 群中找到此人。如果我們要求用計算機查

21、詢，那么就要把所有人的年齡，身高的具體數據輸入計算機，然后我們才 可以從人群中找這樣的人。最后，人們對模糊性的認識往往同隨機性混淆起來，其實它們之間有著根本的區(qū)別。隨機性是其本身具有明確 的含義，只是由于發(fā)生的條件不充分，而使得在條件與事件之間不能出現確定的因果關系，從而事件的出現與否表 現出一種不確定性。而事物的模糊性是指我們要處理的事物的概念本身就是模糊的，即一個對象是否符合這個概念難以確定，也就是由于概念外延模糊而帶來的不確定性。模糊理論的發(fā)展模糊理論是在美國加州大學伯克利分校電氣工程系的L.A.zadeh教授于1965年創(chuàng)立的模糊集合理論的數學基礎上發(fā)展起來的，主要包括模糊集合理論、模

22、糊邏輯、模糊推理和模糊控制等方面的內容早在20世紀20年代，著名的哲學家和數學家B.Russell就寫出了有關”含糊性”的論文他認為所有的自然語言均是模糊的，比如”紅的”和老的”等概念沒有明確的內涵和外延，因而是不明確的和模糊的可是，在特定的環(huán)境中，人們用這些概念來描述某個具體對象時卻又能心領神會，很少引起誤解和歧義美國加州大學的L.A.Zadeh教授在1965年發(fā)表了著名的論文，文中首次提出表達事物模糊性的重要概念：隸屬函數，從而突破了 19世紀末笛卡爾的經典集合理論，奠定模糊理論的基礎1966年,P.N.Marinos發(fā)表模糊邏輯的研究報告，1974年丄.A.Zadeh發(fā)表模糊推理的研究報

23、告，從此，模糊理論成了 一個熱門的課題。1974年,英國的E.H.Mamdani首次用模糊邏輯和模糊推理實現了世界上第一個實驗性的蒸汽機控制，并取得了比傳統(tǒng)的直接數字控制算法更好的效果 ，從而宣告模糊控制的誕生。1980年丹麥的L.P.Holmblad和Ostergard在水泥窯 爐采用模糊控制并取得了成功，這是第一個商業(yè)化的有實際意義的模糊控制器。事實上,模糊理論應用最有效，最廣泛的領域就是模糊控制，模糊控制在各種領域出人意料的解決了傳統(tǒng)控制理論無法解決的或難以解決的問題，并取得了一些令人信服的成效。模糊控制的基本思想：把人類專家對特定的被控對象或過程的控制策略總結成一系列以IF（條件）TH

24、EN（作用）形式表示的控制規(guī)則,通過模糊推理得到控制作用集，作用于被控對象或過程.控制作用集為一組條件語句，狀態(tài)語句和控制作用均為一組 被量化了的模糊語言集，如正大,負大,正小,負小，零等。模糊控制的幾個研究方向：模糊控制的穩(wěn)定性研究模糊模型及辯識模糊最優(yōu)控制模糊自組織控制模糊自適應控制多模態(tài)模糊控制模糊控制的主要缺陷：信息簡單的模糊處理將導致系統(tǒng)的控制精度降低和動態(tài)品質變差若要提高精度則必然增加量化級數，從而導致規(guī)則搜索范圍擴大，降低決策速度，甚至不能實時控制模糊控制的設計尚缺乏系統(tǒng)性，無法定義控制目標控制規(guī)則 的選擇，論域的選擇，模糊集的定義，量化因子的選取多采用試湊發(fā) ，這對復雜系統(tǒng)的控

25、制是難以奏效的。編輯本段模糊理論的基本精神模糊理論是以模糊集合（fuzzy set）為基礎，其基本精神是接受模糊性現象存在的事實，而以處理概念模糊不確 定的事物為其研究目標，并積極的將其嚴密的量化成計算機可以處理的訊息，不主張用繁雜的數學分析即模型來解決模型。模糊理論至今的應用模糊理論發(fā)展至今已接近三十余年，應用的范圍非常廣泛，從工程科技到社會人文科學都可以發(fā)現模糊理論研究的蹤跡與成果。我們分別由工程科技與社會人文科學的角度，了解模糊理論應用的范疇。一、工程科技方面1、型樣識別：文字識別、指紋識別、手寫字體辨識、影像辨識、語音辨識2、控制工程：機器人控制、汽車控制、家電控制、工業(yè)儀表控制、電力

26、控制3、信號及資訊處理：影像處理、語音處理、資料整理、數據庫管理4、人工智能及專家系統(tǒng)：故障診斷、自然語言處理、自動翻譯、地震預測、工業(yè)設計5、環(huán)保：廢水處理、凈水處理廠工程、空氣污染檢驗、空氣品質監(jiān)控6、其他：建筑結構分析、化工制程控制二、教育、社會及人文科學方面1、教育：教學成果評量、心理測驗、性向測驗、計算機輔助教學2、心理學：心理分析、性向測驗3、決策決定：決策支援、決策分析、多目標評價、綜合評價、風險分析模糊神經網絡自適應及模糊信模糊神經網絡 (Fuzzy network-FNN)就是模糊理論同神經網絡相結合的產物，它匯集了神經網絡與模糊理論的優(yōu)點，集學習、聯想、識別、息處理于一體。

27、模糊理論和神經網絡技術是近年來人工智能研究較為活躍的兩個領域。人工神經網絡是模擬人腦結構的思維功能，具有較強的自學習和聯想功能，人工干預少，精度較高，對專家知識的利用也較少。但缺點是它不能處理和描 述模糊信息，不能很好利用已有的經驗知識，特別是學習及問題的求解具有黑箱特性，其工作不具有可解釋性，同 時它對樣本的要求較高；模糊系統(tǒng)相對于神經網絡而言，具有推理過程容易理解、專家知識利用較好、對樣本的要 求較低等優(yōu)點，但它同時又存在人工干預多、推理速度慢、精度較低等缺點，很難實現自適應學習的功能，而且如 何自動生成和調整隸屬度函數和模糊規(guī)則，也是一個棘手的問題。如果將二者有機地結合起來，可以起到互補

28、的效 果。模糊神經網絡有如下三種形式：1 邏輯模糊神經網絡2算術模糊神經網絡3 混合模糊神經網絡模糊神經網絡就是具有模糊權系數或者輸入信號是模糊量的神經網絡。上面三種形式的模糊神經網絡中所執(zhí)行的運算方法不同。模糊神經網絡無論作為逼近器，還是模式存儲器，都是需要學習和優(yōu)化權系數的。學習算法是模糊神經網絡優(yōu) 化權系數的關鍵。對于邏輯模糊神經網絡，可采用基于誤差的學習算法，也即是監(jiān)視學習算法。對于算術模糊神經 網絡，則有模糊BP算法，遺傳算法等。對于混合模糊神經網絡，目前尚未有合理的算法；不過，混合模糊神經網 絡一般是用于計算而不是用于學習的，它不必一定學習。模糊神經網絡可用于模糊回歸、模糊控制器、模糊專家系統(tǒng)、模糊譜系分析、模糊矩陣方程、通用逼近器。 在控制領域中，所關心的是由模糊神經網絡構成的模糊控制器。在這一章中.介紹模糊神經網絡的基本結構、 遺傳算法、模糊神經網絡的學習算法，以及模糊神經網絡的應用。仿生學仿生學是發(fā)展相當迅速的一門新興科學，仿生學主要