機器學習神經網絡的論文

“機器學習”論文112007053311計科邵顯倫摘要：神經網絡是計算機智能和機器學習研究、開發(fā)和應用最活潑的分支之一。本文首先通過對誤差回傳神經網絡(BPNN)和徑向基函數(shù)神經網絡(RBFNN)的知識進行學習，并且對各自的原理進行了簡單的分析，最后在各自的功能上進行了比擬。人工神經網絡〔ArtificialNeuralNetworks〕是參照生物神經網絡開展起來的模擬人腦生物過程的人工智能技術。它是由大量的神經元互連形成的一種非線性系統(tǒng)。因此，神經網絡根據神經元互連模式可分為前向網絡〔前饋網絡〕和反應網絡。經過十幾年的開展，神經網絡理論在模式識別、人工智能、控制與優(yōu)化、空間科學、通訊等應用領域取得了令人矚目的成就。BP網絡和RBFNN網絡的分析與比擬1BP網絡原理BP神經網絡也稱為誤差后向傳播神經網絡，它是一種無反應的前向網絡，是神經網絡模型中使用最廣泛的一類。BP神經網絡是典型的多層結構，分為輸入層、隱層和輸出層，層與層之間多采用全互聯(lián)方式，同一層單元之間不存在相互連接接。1.1Sigmoid閾值單元XX1X0X2XnW1∑W2WnW0圖1Sigmoid單元先計算它的輸入的線性組合，然后應用到一個閾值上，閾值輸出是輸入的連續(xù)函數(shù)其中1.2反向傳播算法BP網絡可以有多層，我們采用梯度下降方法試圖最小化網絡輸出值和目標值之間的誤差平方，首先定義網絡輸出的總誤差：其中：outputs是網絡輸出單元的集合，tkd和okd是與訓練樣例d和第k個輸出單元相關的輸出值。1.2.1隨機梯度下降法兩層sigmoid單元的前饋網絡的反向傳播算法如下：BackPropagation(training_examples,,nin,nout,nhidden)training_examples是序偶<,>的集合，是網絡輸入值向量，是目標輸出值。是學習速率，nin是網絡輸入的數(shù)量，nhidden是隱藏層單元數(shù)，nout是輸出單元數(shù)，從單元i到單元j的輸入表示為xji，單元i到單元j的權值表示為wji。創(chuàng)立具有nin個輸入，nhidden個隱藏，nout個輸出單元的網絡初始化所有的網絡權值為小的隨機值在遇到終止條件前對于訓練樣例training_examples中的每個<,>:把輸入沿網絡前向傳播把實例輸入網絡，并計算網絡中每個單元u的輸出ou,使誤差沿網絡反向傳播對于網絡每個輸出單元k,計算它的誤差項kkok(1-ok)(tk-ok)對于網絡每個隱藏單元h，計算它的誤差項hhoh(1-oh)更新每個網絡權值wjiwjiwji+wji，其中wji=jxji1.2.2算法推導隨機梯度下降算法迭代處理訓練樣例，每次處理一個，對于每個訓練樣例d，利用關于這個樣例的誤差Ed的梯度修改權值。符號說明如下：xji，單元j的第i個輸入wji，與xji相關聯(lián)的權值netj，單元j的輸入的加權和oj，單元j計算出的輸出tj，單元j的目標輸出，sigmoid函數(shù)outputs，網絡最后一層的輸出單元的集合Downstream(j)，單元j的輸出到達的單元的集合分情況討論的推導Case1:輸出單元Case2:隱藏單元收斂性和局部極小值對于多層網絡，誤差曲面可能含有多個不同的局部極小值，梯度下降可能陷入這些局部極小值中的任何一個對于多層網絡，反向傳播算法僅能保證收斂到誤差E的某個局部極小值，不一定收斂到全局最小誤差盡管缺乏對收斂到全局最小誤差的保證，反向傳播算法在實踐中仍是非常有效的函數(shù)逼近算法2徑向基函數(shù)神經網絡(RBFNN)徑向基函數(shù)〔radialbasisfunction，RBF〕方法是在高維空間進行插值的一種技術。Broommhead和Lowe在1998率先使用該技術，提出了神經網絡學習的一種新手段。那就是RBFNN，是以徑向基函數(shù)作為隱單元的‘基’構成隱含層空間，隱含層對輸入矢量進行變換將低維的模式輸入數(shù)據變換到高維空間內，使得在低維線性不可分問題變成在高維空間內線性可分。它是一種局部逼近網絡，對于每個訓練樣本，它只需對少量的權值和閥值進行修正具有學習速度快，收斂性好，實時性強。2.1RBF神經元模型圖2RBF神經元模型2.2RBF神經網絡的結構徑向基函數(shù)神經網絡的構成包括三層：第一層為輸入層，第二層為隱含層，第三層為輸出層。其網絡拓撲結構如3圖所示。RBF網絡從輸入空間到隱含空間的變換是非線性的，而從隱含層空間到輸出層空間的變換那么是線性的。這種網絡結構，隱含層的單元是感知單元，每個感受知單元的輸出為：Ri=r(‖X-Ci‖)(1-1)，其中，X為n維輸入向量；Ci為第i個隱節(jié)點的中心，i=1,2,…，h。‖·‖通常為歐氏范數(shù)；r(·)為RBF函數(shù)?；瘮?shù)的形式，可以有以下幾種形式的選擇：多二次函數(shù)、逆多二次函數(shù)、樣條函數(shù)、高斯函數(shù)。通常使用的是高斯函數(shù)，那么由式(1-1)可得式(1-2)：Ri(x)=exp‖-(X-Ci)/(2σ2)‖,i=1,2…，m(1-2)，其中，σi為基寬度；m為感知單元的個數(shù)。由圖3可以看出，網絡輸出層k個節(jié)點的輸出為隱節(jié)點輸出的線性組合：yk=,k=1,2,…，p(1-3)，其中，p為輸出節(jié)點數(shù)；Ri(x)為高斯函數(shù)；wik為Ri(x)→yk的連接權值。圖3RBF網絡結構2.3基于聚類的RBF網絡設計算法基于聚類的RBF網絡算法是一種無導師學習，也稱為非監(jiān)督學習，是對所有輸入樣本進行聚類，從而求得各隱層節(jié)點的RBF的中心。聚類算法主要有HCM、K-均值聚類、最近鄰聚類〔NN算法〕等。目前最常用的是K-均值聚類算法，具體的步驟如下：〔1〕初始化：給定各隱層節(jié)點的初始中心Ci(0)。〔2〕相似匹配：計算距離〔歐氏空間〕并求出最小距離的節(jié)點：Di(t)=‖x(t)-ci(t-1)‖1≤i≤h(2-1)Dmin(t)=minDi(t)=Dr(t)(2-2)〔