神經網絡的Levenberg-Marquardt算法研究

1、摘神經絡的 Levenberg-Marquardt 法研究要：本文主要介紹 LM(Levenberg-Marquardt)經網絡算法，LM 算法是梯度下降法和高斯牛頓法的結合，這種神經網絡算法綜合了這兩種方法的優(yōu)點， 在一定程度上克服了基本的 BP 網絡收斂速度慢和容易陷入局部最小點等問題。對 LM 算法的計算步驟作了簡要的闡述。最后介紹了 神經網絡算法再監(jiān)督控制上的 應用。關鍵詞：神經網絡；LM 算法；計算步驟；監(jiān)督控制0 引言神經網絡 BP 學習算法在理論上具有逼近任意非線性連續(xù)映射的能力，在非線 性系統(tǒng)的建模及控制領域里有著廣泛的應用。然而 算法存在一些不足，主要是 收斂速度很慢；往往收

2、斂于局部極小點；數(shù)值穩(wěn)定性差，學習率、動量項系數(shù)和初 始權值等參數(shù)難以調整，非線性神經網絡學習算法 可以有效地克服 BP 算法所存 在的這些缺陷1。LM 算法是高斯牛頓法和最速下降法的結合，具有高斯牛頓法的局部收斂 性和梯度下降法的全局特性。它通過自適應調整阻尼因子來達到收斂特性，具有更 高的迭代收斂速度，在很多非線性優(yōu)化問題中得到了穩(wěn)定可靠解。在 算法的計 算過程中，初值是一個很重要的因素。若選擇的初值 接近真值時，收斂速度很 快且能夠得到全局最優(yōu)解，但如果初值遠離真解時，優(yōu)化結果往往過早的陷入局部 最優(yōu)解從而得到的結果完全背離真解。要解決該問題，一是通過得到大量的原始信 息來對真值有一個較

3、準確的估計，但這在實際問題中往往不太可能達到；另外就是 選擇一種合理的全局最優(yōu)化算法與其相結合，消除 算法對初值的依賴且具有很 快的收斂速度2。1 神經網絡神經網絡具有高度的自學習、自組織和自適應能力，能通過學習和訓練獲取 網絡的權值和結構。多層前向神經網絡具有理論上可逼近任意非線性連續(xù)映射的能 力，因而非常適合于非線性系統(tǒng)的建模及控制，是目前使用較多的一種神經網絡模 型3。BP 網絡(Back Propagation Network)稱為誤差反向傳播神經網絡，它是一種 能朝著滿足給定的輸入/輸出關系方向進行自組織的神經網絡，其典型的結構圖如 圖 1 所示，由三部分組成：輸入層、隱含層、輸出層

4、，三部分之間通過各層節(jié)點之 間的連接權依次前向連接。目前，在人工神經網絡的實際應用中，絕大部分的神經 網絡模型是采用 BP 網絡和它的變化形式，它也是前饋型網絡的核心部分，并體現(xiàn) 了人工神經網絡最精華的部分。BP 網絡主要應用于函數(shù)逼近、模式識別、分類以 及數(shù)據(jù)壓縮中。BP 網絡用于函數(shù)逼近就是用輸入矢量和相應的輸出矢量訓練一個 網絡逼近一個函數(shù)，即可實現(xiàn)從輸入到輸出的任意的非線性映射。在確定了 BP 網 絡的結構后，利用輸入/輸出樣本集進行學習訓練，也就是對網絡的權值和偏差進 行學習和調整，使網絡實現(xiàn)給定的輸入/輸出映射關系，完成對系統(tǒng)的辨識。經過 訓練的 BP 網絡，對于不是訓練樣本集中的

5、輸入也能給出合適的輸出，這種性質就 是所謂的泛化能力。在實際應用中，原始的 BP 算法很難勝任，存在許多不足之處，主要是訓練時 間長，收斂速度很慢，往往收斂于局部極小點，其數(shù)值穩(wěn)定性差，初始權值、學習 率和動量項系數(shù)等參數(shù)難以調整4。圖 1 BP 網絡模型結構2 LM 算法原理原始的 BP 學習算法是梯度下降法。參數(shù)沿著與誤差梯度相反的方向移動，使 誤差函數(shù)減小，直到取得極小值，它的計算的復雜度主要是由計算偏導數(shù)引起的。 但是，這種基于梯度下降方法的線性收斂速度很慢。而 算法是一種利用標準的 數(shù)值優(yōu)化技術的快速算法，它是梯度下降法與高斯牛頓法的結合，也可以稱為是 高斯牛頓法的改進形式，既有高斯

6、牛頓法的局部收斂性，又具有梯度法的全局 特性。由于 LM 算法利用了近似的二階導數(shù)信息，所以 算法比梯度法快得多 5。下面對 LM 算法作簡要闡述：設誤差指標函數(shù)為（1）式中：期望的網絡輸出向量；實際的網絡輸出向量；P樣本數(shù)目；w網絡權值和閾值所組成的向量； 誤差。設表示第 k 次迭代的權值和閾值所組成的向量，新的權值和閾值所組成的向量 為。在 LM 方法中，權值增量計算公式如下：（2）式中：I單位矩陣；用戶定義的學習率；Jacobian 矩陣，即：從(2)式可看出，如果比例系數(shù)=0，則為高斯牛頓法；如果取值很大，則 LM 算法接近梯度下降法，每迭代成功一步，則減小一些，這樣在接近誤差目標的時

7、候，逐漸與高斯牛頓法相似。高斯牛頓法 在接近誤差的最小值的時候，計算速度更快，精度也更高。由于 算法利用了近 似的二階導數(shù)信息，它比梯度下降法快得多，實踐證明，采用 算法可以較原來 的梯度下降法提高速度幾十甚至上百倍。另外由于是正定的，所以(2)式的解總是存在的，從這個意義上說， 算法也優(yōu)于高斯牛 頓法，因為對于高斯牛頓法來說，是否滿秩還是個潛在的問題。在實際的操作中，是一個試探性的參數(shù)，對于給定的，如果求得的能使誤差指標函數(shù)降低，則降低；反之，則增加。用(2)式修改一次權值和閾值時需要求 階的代數(shù)方程（n 為網絡中權值數(shù) 目）。LM 算法的計算復雜度為，若 n 很大，則計算量和存儲量都非常大

8、。然而，每次迭代效率的顯著提高，可大 大改善其整體性能，特別是在精度要求高的時候4。3 LM 算法的計算步驟LM 算法的計算步驟描述如下：1)給出訓練誤差允許值，常數(shù)和( 0 1) ，并且初始化權值和閾值向量，令 k =0,=；2)計算網絡輸出及誤差指標函數(shù)；3)計算 Jacobian 矩陣；4)計算；5)若，轉到(7)；6)以為權值和閾值向量，計算誤差指標函數(shù)，若，則令，轉到 2)，否則，轉到 4)。7)算法結束6。4 基于 LM 算法的神經網絡監(jiān)督控制策略在傳統(tǒng)的比例、積分及微分(簡稱 PID)控制器的基礎上，增加一個神經網絡 控制器，如圖 2 所示。此時，神經網絡控制器實際是一個前饋控制

9、器，因此建立的 是被控對象的逆模型。其中，常規(guī)控制器可用作保證系統(tǒng)的穩(wěn)定性，而神經網絡控 制器作為前饋控制器來實現(xiàn)對象的補償，以改善控制系統(tǒng)的跟蹤性能。在結構中， 前饋控制與反饋控制相結合，由于前饋控制的作用不需要等到輸出量發(fā)生變化并形 成偏差以后才產生糾正偏差的作用， 而是在控制作用施加于系統(tǒng)的同時產生反饋 作用，最終是為了消除誤差。由圖中可以看出，神經網絡控制器通過向傳統(tǒng)控制器的輸出進行學習，在線調整自己，目標是使反饋誤差趨近于 ，從而使自己逐漸在 控制作用中占據(jù)主導地位，以便最終取消反饋控制器的作用。由于 算法收斂 快，因此可以在線學習及控制。因為系統(tǒng)中反饋控制器仍然存在，所以一旦出現(xiàn)干

10、 擾等，反饋控制器仍然可以起作用。采用這種前饋加反饋的監(jiān)督控制方法，不僅可 以確?？刂葡到y(tǒng)的穩(wěn)定性和魯棒性，而且可有效地提高系統(tǒng)的精度78。圖 2神經網絡監(jiān)督控制結構圖5 結論本文介紹了基于帶有學習率的 LM 算法的神經網絡系統(tǒng)辨識方法，這種網絡綜 合了梯度下降法和高斯牛頓方法的優(yōu)點，在一定程度上克服了基本的 BP 網絡收 斂速度慢和容易陷入局部最小點等問題。簡要的闡述了 算法的計算步驟。基于 帶有學習率的 LM 算法的神經網絡在線監(jiān)督控制方法是一種先進的控制策略，采用 這種監(jiān)督控制方法，不僅可以確?？刂葡到y(tǒng)的穩(wěn)定性和魯棒性，而且可有效地提高 系統(tǒng)的精度。參考文獻1董一芬.Levenberg-Marquardt 神經網絡算法研究J.商場現(xiàn)代化,2009(3):385.2羅亞中,袁端才,唐國金.求解非線性方程組的混合遺傳算法J.計算力 學,2005(1):109-114.3耐格納威斯基.人工智能系統(tǒng)指南M.力栩譯.北京:機械工業(yè)出版社, 2007.4黃豪彩,黃宜堅,楊冠魯.基于 LM 算法的神經網絡系統(tǒng)辨識J.組合機床與 自動化加工技術,2003(2):6-11.5李合平,鄒明虎,王志云,黃允華.基于 算法的雷達板級電路快速故障診 斷J.測試技術學報,2004,18 (4):364-368.6楊益君,古