數據融合實用教案

1、神經網絡性質(xngzh)和能力n1.非線性2. 輸入輸出映射(yngsh)3. 適應性4. 證據(zhngj)響應5. 背景的信息6. 容錯性7. VLSI 實現8. 分析和設計的一致性9. 神經生物類比第1頁/共40頁第一頁，共40頁。神經網絡性質(xngzh)和能力 1. 非線性。一個人工神經元可以是線性或者是非線性的。 一個由非線性神經元互聯(lián)而成的神經網絡自身是非線性的, 并且非線性是一種分布于整個(zhngg)網絡中的特殊性質。第2頁/共40頁第二頁，共40頁。2. 2. 輸入輸出映射(yngsh)(yngsh) 有監(jiān)督學習(xux)或有教師學習(xux)是一個學習(xux)的流行范

2、例, 涉及使用帶標號的訓練樣本或任務例子對神經網絡的權值進行修改。 每個樣本由一個惟一的輸入信號和相應期望響應組成。從一個訓練集中隨機選取一個樣本給網絡, 網絡就調整它的突觸權值 ( 自由參數 ), 以最小化期望響應和由輸入信號以適當的統(tǒng)計準則產生的實際響應之間的差別。第3頁/共40頁第三頁，共40頁。 使用訓練集中的很多例子重復神經網絡的訓練, 直到網絡到達沒有顯著的突觸權值修正的穩(wěn)定狀態(tài)為止。 先前用過的例子可能還要在訓練期間以不同順序重復使用。因此對當前(dngqin)問題網絡通過建立輸入輸出映射從例子中進行學習。第4頁/共40頁第四頁，共40頁。3. 3. 適應性 神經網絡(wnglu

3、)嵌入了一個調整自身突觸權值以適應外界變化的能力。特別是一個在特定運行環(huán)境下接受訓練的神經網絡(wnglu), 對環(huán)境條件不大的變化可以容易進行重新訓練。而且, 當它在一個時變環(huán)境中運行時, 網絡(wnglu)突觸權值就可以設計成隨時間變化。n用于模式識別(m sh sh bi)(m sh sh bi)、信號處理和控制的神經網絡與它的自適應能力結合, , 就可以變成能進行自適應模式識別(m sh sh bi)(m sh sh bi)、自適應信號處理和自適應控制的有效工具。第5頁/共40頁第五頁，共40頁。 一般規(guī)則, 在保證系統(tǒng)保持穩(wěn)定時一個系統(tǒng)的自適應性越好, 當要求在一個時變環(huán)境(hunj

4、ng)下運行時它的性能就越具魯棒性。n但是, , 需要(xyo)(xyo)強調的是, , 自適應性不一定導致魯棒性, , 實際可能相反。為最大限度實現自適應性, , 系統(tǒng)的主要時間常數應該長到可以忽略寄生干擾, , 而短到可以反應環(huán)境的重要變化。第6頁/共40頁第六頁，共40頁。4.證據(zhngj)響應 在模式識別的問題中, 神經網絡可以設計成既提供不限于選擇哪一個(y )特定模式的信息, 也提供決策的置信度的信息。 后者可以用來拒判那些出現的過于模糊的模 式。有這些信息, 網絡的分類性能就會改善。第7頁/共40頁第七頁，共40頁。5. 背景(bijng)的信息 神經網絡的特定結構和激發(fā)狀態(tài)

5、代表知識。網絡中每一個神經元潛在地都受網絡中所有(suyu)其他神經元全局活動的影響。因此, 背景信息自然由一個神經網絡處理。第8頁/共40頁第八頁，共40頁。6.容錯性 一個以硬件形式實現后的神經網絡有天生容錯的潛質, 或者魯棒計算的能力, 意即它的性能在不利運行條件下逐漸下降。 比如, 一個神經元或它的連接損壞了, 存儲模式的回憶在質量(zhling)上被削弱。但是 , 由于網絡信息存儲的分布特性, 在網絡的總體響應嚴重惡化之前這種損壞是分散的。因此, 原則上,一個神經網絡的性能顯示了一個緩慢惡化而不是災難性的失敗。第9頁/共40頁第九頁，共40頁。7.VLSI 實現(shxin) 神經網

6、絡的大規(guī)模并行性使它具有快速處理某些任務的潛在能力. 這一特性使得神經網絡很適合用超大規(guī)模集成 (very-large-scale-integrated,VLSI) 技術實現. VLSI特殊優(yōu)點是提供一個以高度(god)分層的方式捕捉真實復雜性行為的方法。第10頁/共40頁第十頁，共40頁。8. 分析(fnx)和設計的一致性 基本上, 神經網絡作為信息處理器具有通用性。即涉及神經網絡的應用的所有領域都使用同樣記號。這種特征以不同的方式表現出來: 神經元: 不管形式如何, 在所有的神經網絡中都代表一個相同成分。 這種共性使得在不同應用中的神經網絡共享相同的理論和學習算法成為可能。 模塊化網絡可以

7、(ky)用模塊的無縫集成來實現。第11頁/共40頁第十一頁，共40頁。9. 神經(shnjng)生物類比 神經網絡的設計是由對人腦的類比引發(fā)的, 人腦是一個容錯的并行處理的活生生的例子, 說明這種處理不光在物理上可實現的而且還是(hi shi)快速高效的。n神經生物學家將( ( 人工 ) )神經網絡看作是一個(y )(y )解釋神經生物現象的研究工具。另一方面, , 工程師注意神經生物學是將其作為解決復雜問題的新思路, , 這些問題比基于常規(guī)的硬件線路設計技術所能解決的問題更復雜。第12頁/共40頁第十二頁，共40頁。網絡結構 1.單層前饋網絡(wnglu) 2.多層前饋網絡(wnglu) 3

8、.遞歸網絡(wnglu)第13頁/共40頁第十三頁，共40頁。網絡結構 1.單層前饋網絡 源節(jié)點構成(guchng)輸入層，直接映射到神經元輸出層上。源節(jié)點(ji din)(ji din)輸入層神經元輸出(shch)層單層前饋或無圈神經元網絡圖第14頁/共40頁第十四頁，共40頁。2.2.多層前饋網絡(wnglu)(wnglu) 網絡有一層或多層隱藏節(jié)點層, 相應的計算節(jié)點稱為隱藏單元或隱藏神經元。 隱藏神經元的功能是以某種有用(yu yn)方式介入外部輸入和網絡輸出之中。加上一個或多個隱藏層, 網絡可以引出高階統(tǒng)計特性。 當輸入層很大的時候, 隱藏層提取高階統(tǒng)計特性的能力就更有價值了。 第1

9、5頁/共40頁第十五頁，共40頁。 每一層的輸入都是上一層的輸出, 最后的輸出層給出相對于源節(jié)點的激活(j hu)模式的網絡輸出。圖中只有一個隱藏層以簡化神經網絡的布局。這是一個 10-42 網絡, 其中有 10 個源節(jié)點,4個隱藏神經元,2 個輸出神經元。源 節(jié) 點( j i din)輸入層隱藏(yncng ) 神 經元層輸出神經元層具有一個隱層和輸出層 的全連接前饋或元圈網絡圖n完全連接網絡, , 相鄰層的任意一對節(jié)點都有連接。如果不 是這樣, ,稱為部分連接網絡 第16頁/共40頁第十六頁，共40頁。3.遞歸網絡(wnglu) 單層網絡的每一個神經元的輸出都反饋到所有(suyu)其他神經

10、元的輸入中去。沒有自反饋環(huán)沒有隱藏層。 自反饋環(huán)表示神經元的輸出反饋到它自己的輸入上去。無自反饋(fnku)環(huán)和隱藏神經元的遞歸網絡圖第17頁/共40頁第十七頁，共40頁。 圖示是帶有隱藏神經元的一類遞歸網絡(wnglu), 反饋連接的起點包括隱藏層神經元和輸出神經元。有隱藏(yncng)神經元的遞歸網絡第18頁/共40頁第十八頁，共40頁。 對于神經網絡具有首要意義的性質是網絡能從環(huán)境中學習的能力, 并通過學習改善(gishn)其行 為。 對行為的改善(gishn)是隨時間依據某一規(guī)定的度量進行的。神經網絡通過施加于它的權值和偏置水平的調節(jié)的交互過程來學習它的環(huán)境。理想情況下, 神經網絡在每

11、一次重復學習過 程后對它的環(huán)境便有更多的了解。第19頁/共40頁第十九頁，共40頁。神經網絡的背景(bijng)中定義學習 學習是一個過程, 通過這個過程神經網絡的自由參數在其嵌入的環(huán)境的激勵過程之下得到調節(jié)。學習的類型由參數改變的方式決定。 這個學習過程的定義(dngy)隱含著如下的事實: 1. 神經網絡被一個環(huán)境所激勵。 2. 作為這個激勵的結果, 神經網絡在它的自由參數上發(fā)生變化。 3. 由于神經網絡內部結構的改變而以新的方式響應環(huán)境。 解決學習問題的一個恰當定義(dngy)的規(guī)則集合稱作學習算法第20頁/共40頁第二十頁，共40頁。單層感知器 感知器是用于線性可分模式分類(fn li)

12、的最簡單的神經網絡模型?；旧纤梢粋€具有可調權值和偏置的神經元組成。n如果用來訓練感知器的模式( (向量) )取自兩個(lin )(lin )線性可分的類, , 感知器算法是收斂的, , 稱為感知器收斂定理。第21頁/共40頁第二十一頁，共40頁。LMSLMS算法(sun f)(sun f) 單個神經元也構成一個自適應濾波器的基礎, 自適應濾波器是不斷發(fā)展(fzhn)的信號處理主題的一個基本功能模塊。自適應濾波器的發(fā)展(fzhn)很大程度上要歸功于有關最小均方(least mean square,LMS) 算法 (也被稱為delta 規(guī)則) 的經典論文。第22頁/共40頁第二十二頁，共40頁

13、。 LMS算法雖然實現很簡單, 但在應用(yngyng)中有很高的效率。事實上, 它在線性自適應濾波中起著關鍵作用,線性指的是神經元在線性模型下運行。 自適應濾波器在天線、通信系統(tǒng)、控制系統(tǒng)、雷達、聲納、地震學和生物醫(yī)學工程等很多領域都有應用(yngyng). LMS算法和感知器本質上是相關的。第23頁/共40頁第二十三頁，共40頁。多層感知器 多層前饋網絡(wnglu)典型地由三部分組成: 一組感知單元( 源節(jié)點 )組成輸入層, 一層或多層計算節(jié)點的隱藏層, 還有一層計算節(jié)點的輸出層。 輸入信號在層層遞進基礎上前向傳播通過網絡(wnglu)。這些神經網絡(wnglu)通常被稱為 (multi

14、layer perceptrons,MLPs), 它代表單層感知器的推廣。第24頁/共40頁第二十四頁，共40頁。 在監(jiān)督學習(xux)的方式下使用通稱為誤差反向傳播算法訓練多層感知器, 它們已經成功應用于不同的復雜而困難的問題。誤差反向傳播算法是基于誤差修正學習(xux)規(guī)則的。第25頁/共40頁第二十五頁，共40頁。 基本上, 誤差反向傳播學習由兩次經過網絡不同層的通過組成: 一次前向通過和一次反向通過。 在前向通過中,一個活動(hu dng)模式( 輸入向量 )作用于網絡感知節(jié)點,它的影響經過網絡一層接一層地傳播。最后產生一個輸出作為網絡的實際響應。在前向通過中,網絡的權值全為固定的。第

15、26頁/共40頁第二十六頁，共40頁。 多層感知器有三個突出的特點 : 1. 網絡中的每個神經元模型包括一個非線性激活函數。感知器使用(shyng)的限幅函數,非線性是光滑的 ( 即處處可微 ) 。滿足非線性要求的一個普遍應用形式是由 logistic 函數第27頁/共40頁第二十七頁，共40頁。 另一方面,在反向通過中,權值全部根據誤差修正規(guī)則來調整。特別是從目標響應減去網絡的實際響應而產生誤差信號(xnho)。這個誤差信號(xnho)反向傳播經過網絡, 因此叫誤差反向傳播 。權值被調整使得網絡的實際響應從統(tǒng)計意義上接近目標響應。 誤差反向傳播算法在文獻中稱為反向傳播算法 (back-pro

16、pagation algorithm), 或是簡單稱為反向傳播 (back-prop) 。第28頁/共40頁第二十八頁，共40頁。 2. 網絡包括一層或多層隱藏神經元, 它們不是網絡輸入輸出的部分。這些隱藏層神經元逐步從輸人模式( 向量 )中提取(tq)更多的有用特征, 可以使網絡學習復雜的任務。第29頁/共40頁第二十九頁，共40頁。 3. 網絡展示出高度的連接性,它由網絡突觸決定。網絡連接的改變需要突觸連接數量或其權值的改變。 正是由上述特性以及通過訓練從經驗中學習的能力相結合使得(sh de)多層感知器具有它的計算能力。第30頁/共40頁第三十頁，共40頁。徑向(jn xin)(jn x

17、in)基函數網絡 反向傳播算法可以看作是腦技術的應用, 這種技術在統(tǒng)計學中通稱為隨機逼近。 將神經網絡的設計看作是一個高維空間中的曲線擬合(逼近)問題, 學習等價于在多維空間中尋找(xnzho)一個能夠最佳擬合訓練數據的曲面, “最佳擬合”的準則是在某種統(tǒng)計意義上的最佳擬合。 泛化等價于利用這個多維曲面對測試數據進行插值。第31頁/共40頁第三十一頁，共40頁。 是徑向基函數方法的出發(fā)點。在神經網絡的背景下, 隱藏單元提供一個(y ) “ 函數 ” 集 , 該函數集在輸入模式 ( 向量 ) 擴展至隱藏空間時為其構建了一個(y )任意的 “基”; 這個函數集中的函數稱為徑向基函數。徑向基函數首先

18、是在實多變量插值問題的解中引人的。徑向基函數是目前數值分析研究中的一個(y )主要領域。第32頁/共40頁第三十二頁，共40頁。 最基本形式的徑向基函數 (RBF) 網絡的構成包括三層, 其中每一層都有著完全不同的作用。輸入層由一些源點 ( 感知單元 ) 組成, 它們將網絡與外界環(huán)境連結起來。第二層是網絡中僅有的一個隱層, 它的作用是從輸入空間到隱藏空間之間進行(jnxng)非線性變換; 在大多數情況下隱藏空間有較高的維數。輸出層是線性的, 它為作用于輸入層的激活模式( 信號 )提供響應。第33頁/共40頁第三十三頁，共40頁。 如非線性變換之后跟隨線性變換，一個模式分類問題如果映射到一個高維空間將會比映射到一個低維更可能是線性可分的, 這就是(jish)徑向基函數網絡的隱藏空間的維數通常都較高的原因。n還有一個重要的原因(yunyn), (yunyn), 就是隱藏空間的維數與網絡能否逼近一個光滑的輸入輸出映射有直接的聯(lián)系：隱藏空間的維數越高, , 逼近就越精確。第34頁/共40頁第三十四頁，共40頁。 反向傳播算法訓練(xnlin)的多層感知器， 徑向基網絡都是