絕對(duì)經(jīng)典RBF神經(jīng)網(wǎng)絡(luò)4ppt課件.ppt

RBF網(wǎng)絡(luò)特點(diǎn) 只有一個(gè)隱層 且隱層神經(jīng)元與輸出層神經(jīng)元的模型不同 隱層節(jié)點(diǎn)激活函數(shù)為徑向基函數(shù) 輸出層節(jié)點(diǎn)激活函數(shù)為線性函數(shù) 隱層節(jié)點(diǎn)激活函數(shù)的凈輸入是輸入向量與節(jié)點(diǎn)中心的距離 范數(shù) 而非向量?jī)?nèi)積 且節(jié)點(diǎn)中心不可調(diào) 隱層節(jié)點(diǎn)參數(shù)確定后 輸出權(quán)值可通過(guò)解線性方程組得到 隱層節(jié)點(diǎn)的非線性變換把線性不可分問(wèn)題轉(zhuǎn)化為線性可分問(wèn)題 MLP 這意味著逼近一個(gè)輸入輸出映射時(shí) 在相同逼近精度要求下 RBF所需的時(shí)間要比MLP少 合適的隱層節(jié)點(diǎn)數(shù) 節(jié)點(diǎn)中心和寬度不易確定 1 1 Gauss 高斯 函數(shù) 2 反演S型函數(shù) 3 擬多二次函數(shù) 稱為基函數(shù)的擴(kuò)展常數(shù)或?qū)挾?越小 徑向基函數(shù)的寬度越小 基函數(shù)就越有選擇性 徑向基函數(shù) RBF 2 全局逼近和局部逼近 全局逼近網(wǎng)絡(luò) 局部逼近網(wǎng)絡(luò) 當(dāng)神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)可調(diào)參數(shù) 權(quán)值和閾值 對(duì)任何一個(gè)輸出都有影響 則稱該神經(jīng)網(wǎng)絡(luò)為全局逼近網(wǎng)絡(luò) 對(duì)網(wǎng)絡(luò)輸入空間的某個(gè)局部區(qū)域只有少數(shù)幾個(gè)連接權(quán)影響網(wǎng)絡(luò)的輸出 則稱該網(wǎng)絡(luò)為局部逼近網(wǎng)絡(luò) 學(xué)習(xí)速度很慢 無(wú)法滿足實(shí)時(shí)性要求的應(yīng)用 學(xué)習(xí)速度快 有可能滿足有實(shí)時(shí)性要求的應(yīng)用 3 RBF網(wǎng)絡(luò)的工作原理 函數(shù)逼近 以任意精度逼近任一連續(xù)函數(shù) 一般函數(shù)都可表示成一組基函數(shù)的線性組合 RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù) 然后用輸出層來(lái)進(jìn)行線性組合 以完成逼近功能 分類 解決非線性可分問(wèn)題 RBF網(wǎng)絡(luò)用隱層單元先將非線性可分的輸入空間設(shè)法變換到線性可分的特征空間 通常是高維空間 然后用輸出層來(lái)進(jìn)行線性劃分 完成分類功能 4 RBF神經(jīng)網(wǎng)絡(luò)兩種模型 正規(guī)化網(wǎng)絡(luò)RN 廣義網(wǎng)絡(luò)GN 通用逼近器 模式分類 基本思想 通過(guò)加入一個(gè)含有解的先驗(yàn)知識(shí)的約束來(lái)控制映射函數(shù)的光滑性 若輸入一輸出映射函數(shù)是光滑的 則重建問(wèn)題的解是連續(xù)的 意味著相似的輸入對(duì)應(yīng)著相似的輸出 基本思想 用徑向基函數(shù)作為隱單元的 基 構(gòu)成隱含層空間 隱含層對(duì)輸入向量進(jìn)行變換 將低維空間的模式變換到高維空間內(nèi) 使得在低維空間內(nèi)的線性不可分問(wèn)題在高維空間內(nèi)線性可分 5 兩種模型的比較 隱節(jié)點(diǎn) 輸入樣本數(shù) 隱節(jié)點(diǎn) 輸入樣本數(shù) 所有輸入樣本設(shè)為徑向基函數(shù)的中心 徑向基函數(shù)的中心由訓(xùn)練算法確定 徑向基函數(shù)取統(tǒng)一的擴(kuò)展常數(shù) 徑向基函數(shù)的擴(kuò)展常數(shù)不再統(tǒng)一由訓(xùn)練算法確定 沒(méi)有設(shè)置閾值 輸出函數(shù)的線性中包含閾值參數(shù) 用于補(bǔ)償基函數(shù)在樣本集上的平均值與目標(biāo)值之平均值之間的差別 RN GN 6 函數(shù)逼近問(wèn)題 內(nèi)插值 一般函數(shù)都可表示成一組基函數(shù)的線性組合 RBF網(wǎng)絡(luò)相當(dāng)于用隱層單元的輸出構(gòu)成一組基函數(shù) 然后用輸出層來(lái)進(jìn)行線性組合 以完成逼近功能 給定樣本數(shù)據(jù) 尋找函數(shù) 使其滿足 7 1 網(wǎng)絡(luò)隱層使用 個(gè)隱節(jié)點(diǎn) 2 把所有 個(gè)樣本輸入分別作為 個(gè)隱節(jié)點(diǎn)的中心 3 各基函數(shù)取相同的擴(kuò)展常數(shù) 4 確定權(quán)值可解線性方程組 設(shè)第j個(gè)隱節(jié)點(diǎn)在第i個(gè)樣本的輸出為 可矩陣表示 若R可逆 則解為根據(jù)Micchelli定理可得 如果隱節(jié)點(diǎn)激活函數(shù)采用徑向基函數(shù) 且各不相同 則線性方程組有唯一解 RBF網(wǎng)絡(luò)輸出 8 舉例 RBF網(wǎng)絡(luò)實(shí)現(xiàn)函數(shù)逼近 1 問(wèn)題的提出 假設(shè)如下的輸入輸出樣本 輸入向量為 11 區(qū)間上等間隔的數(shù)組成的向量P 相應(yīng)的期望值向量為T(mén) P 1 0 1 1 T 0 9602 0 5770 0 07290 37710 64050 66000 46090 1336 0 2013 0 4344 0 5000 0 3930 0 16470 09880 30720 39600 34490 1816 0 0312 0 2189 0 3201 以輸入向量為橫坐標(biāo) 期望值為縱坐標(biāo) 繪制訓(xùn)練用樣本的數(shù)據(jù)點(diǎn) figure plot P T title 訓(xùn)練樣本 xlabel 輸入矢量P ylabel 目標(biāo)矢量T gridon 目的是找到一個(gè)函數(shù)能夠滿足這21個(gè)數(shù)據(jù)點(diǎn)的輸入 輸出關(guān)系 其中一個(gè)方法是通過(guò)構(gòu)建徑向基函數(shù)網(wǎng)絡(luò)來(lái)進(jìn)行曲線擬合 9 2 網(wǎng)絡(luò)設(shè)計(jì) 設(shè)計(jì)一個(gè)徑向基函數(shù)網(wǎng)絡(luò) 網(wǎng)絡(luò)有兩層 隱含層為徑向基神經(jīng)元 輸出層為線性神經(jīng)元 p 3 0 1 3 a radbas p figure plot p a title 徑向基傳遞函數(shù) xlabel 輸入p ylabel 輸出a gridon 每一層神經(jīng)元的權(quán)值和閾值都與徑向基函數(shù)的位置和寬度有關(guān)系 輸出層的線性神經(jīng)元將這些徑向基函數(shù)的權(quán)值相加 如果隱含層神經(jīng)元的數(shù)目足夠 每一層的權(quán)值和閾值正確 那么徑向基函數(shù)網(wǎng)絡(luò)就完全能夠精確的逼近任意函數(shù) a2 radbas p 1 5 a3 radbas p 2 a4 a a2 1 a3 0 5 figure plot p a b p a2 b p a3 b p a4 m title 徑向基傳遞函數(shù)之和 xlabel 輸入p ylabel 輸出a gridon 應(yīng)用newb 函數(shù)可以快速構(gòu)建一個(gè)徑向基神經(jīng)網(wǎng)絡(luò) 并且網(wǎng)絡(luò)自動(dòng)根據(jù)輸入向量和期望值進(jìn)行調(diào)整 從而進(jìn)行函數(shù)逼近 預(yù)先設(shè)定均方差精度為eg以及散布常數(shù)sc eg 0 02 sc 1 net newrb P T eg sc 10 3 網(wǎng)絡(luò)測(cè)試 將網(wǎng)絡(luò)輸出和期望值隨輸入向量變化的曲線繪制在一張圖上 就可以看出網(wǎng)絡(luò)設(shè)計(jì)是否能夠做到函數(shù)逼近 figure plot P T xlabel 輸入 X 1 0 01 1 Y sim net X holdon plot X Y holdoff legend 目標(biāo) 輸出 gridon 11 分類問(wèn)題 低維空間 線性不可分高維空間 線性可分 空間轉(zhuǎn)換 關(guān)于對(duì)單層感知器的討論可知 若N維輸入樣本空間的樣本模式是線性可分的 總存在一個(gè)用線性方程描述的超平面 使兩類線性可分樣本截然分開(kāi) 若兩類樣本是非線性可分的 則不存在一個(gè)這樣的分類超平面 但根據(jù)Cover定理 非線性可分問(wèn)題可能通過(guò)非線性變換獲得解決 Cover定理可以定性地表述為 將復(fù)雜的模式分類問(wèn)題非線性地投射到高維空間將比投射到低維空間更可能是線性可分的 12 1 x X2 X1 2 x w11 w11 Outputy 舉例 邏輯運(yùn)算異或的分類 XOR異或 空間變換前 13 基函數(shù) 空間變換后 14 RBF學(xué)習(xí)算法 RBF學(xué)習(xí)的三個(gè)參數(shù) 基函數(shù)的中心 方差 擴(kuò)展常數(shù) 隱含層與輸出層間的權(quán)值 當(dāng)采用正歸化RBF網(wǎng)絡(luò)結(jié)構(gòu)時(shí) 隱節(jié)點(diǎn)數(shù)即樣本數(shù) 基函數(shù)的數(shù)據(jù)中心即為樣本本身 參數(shù)設(shè)計(jì)只需考慮擴(kuò)展常數(shù)和輸出節(jié)點(diǎn)的權(quán)值 當(dāng)采用廣義RBF網(wǎng)絡(luò)結(jié)構(gòu)時(shí) RBF網(wǎng)絡(luò)的學(xué)習(xí)算法應(yīng)該解決的問(wèn)題包括 如何確定網(wǎng)絡(luò)隱節(jié)點(diǎn)數(shù) 如何確定各徑向基函數(shù)的數(shù)據(jù)中心及擴(kuò)展常數(shù) 以及如何修正輸出權(quán)值 15 兩種方法中心的選取 1 中心從樣本輸入中選取 2 中心自組織選取 常采用各種動(dòng)態(tài)聚類算法對(duì)數(shù)據(jù)中心進(jìn)行自組織選擇 在學(xué)習(xí)過(guò)程中需對(duì)數(shù)據(jù)中心的位置進(jìn)行動(dòng)態(tài)調(diào)節(jié) 常用的方法是K means聚類 其優(yōu)點(diǎn)是能根據(jù)各聚類中心之間的距離確定各隱節(jié)點(diǎn)的擴(kuò)展常數(shù) 由于RBF網(wǎng)的隱節(jié)點(diǎn)數(shù)對(duì)其泛化能力有極大的影響 所以尋找能確定聚類數(shù)目的合理方法 是聚類方法設(shè)計(jì)RBF網(wǎng)時(shí)需首先解決的問(wèn)題 除聚類算法外 還有梯度訓(xùn)練方法 資源分配網(wǎng)絡(luò) RAN 等 一般來(lái)說(shuō) 樣本密集的地方中心點(diǎn)可以適當(dāng)多些 樣本稀疏的地方中心點(diǎn)可以少些 若數(shù)據(jù)本身是均勻分布的 中心點(diǎn)也可以均勻分布 總之 選出的數(shù)據(jù)中心應(yīng)具有代表性 徑向基函數(shù)的擴(kuò)展常數(shù)是根據(jù)數(shù)據(jù)中心的散布而確定的 為了避免每個(gè)徑向基函數(shù)太尖或太平 一種選擇方法是將所有徑向基函數(shù)的擴(kuò)展常數(shù)設(shè)為 16 一 自組織中心選取法 1989年 Moody和Darken提出了一種由兩個(gè)階段組成的混合學(xué)習(xí)過(guò)程的思路 兩個(gè)步驟 無(wú)監(jiān)督的自組織學(xué)習(xí)階段 有監(jiān)督學(xué)習(xí)階段 其任務(wù)是用自組織聚類方法為隱層節(jié)點(diǎn)的徑向基函數(shù)確定合適的數(shù)據(jù)中心 并根據(jù)各中心之間的距離確定隱節(jié)點(diǎn)的擴(kuò)展常數(shù) 一般采用Duda和Hart1973年提出的k means聚類算法 其任務(wù)是用有監(jiān)督學(xué)習(xí)算法訓(xùn)練輸出層權(quán)值 一般采用梯度法進(jìn)行訓(xùn)練 17 在聚類確定數(shù)據(jù)中心的位置之前 需要先估計(jì)中心的個(gè)數(shù) 從而確定了隱節(jié)點(diǎn)數(shù) 一般需要通過(guò)試驗(yàn)來(lái)決定 由于聚類得到的數(shù)據(jù)中心不是樣本數(shù)據(jù)本身 因此用表示第n次迭代時(shí)的中心 應(yīng)用K means聚類算法確定數(shù)據(jù)中心的過(guò)程如下 1 初始化 選擇個(gè)互不相同的向量作為初始聚類中心 2 計(jì)算輸入空間各樣本點(diǎn)與聚類中心點(diǎn)的歐式距離 1 中心學(xué)習(xí) 18 3 相似匹配 令代表競(jìng)爭(zhēng)獲勝隱節(jié)點(diǎn)的下標(biāo) 對(duì)每一個(gè)輸入樣本根據(jù)其與聚類中心的最小歐式距離確定其歸類 即當(dāng)時(shí) 被歸為第類 從而將全部樣本劃分為個(gè)子集每個(gè)子集構(gòu)成一個(gè)以聚類中心為典型代表的聚類域 19 4 更新各類的聚類中心 采用競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則進(jìn)行調(diào)整將n值加1 轉(zhuǎn)到第 2 步 重復(fù)上述過(guò)程直到 其他 20 2 確定擴(kuò)展常數(shù) 各聚類中心確定后 可根據(jù)各中心之間的距離確定對(duì)應(yīng)徑向基函數(shù)的擴(kuò)展常數(shù) 令則擴(kuò)展常數(shù)可取為 為重疊系數(shù) 21 3 學(xué)習(xí)權(quán)值 權(quán)值的學(xué)習(xí)可以用LMS學(xué)習(xí)算法注意 LMS算法的輸入為RBF網(wǎng)絡(luò)隱含層的輸出 RBF網(wǎng)絡(luò)輸出層的神經(jīng)元只是對(duì)隱含層神經(jīng)元的輸出加權(quán)和 因此RBF網(wǎng)絡(luò)的實(shí)際輸出為其中用LMS方法求解用偽逆方法求解 為期望響應(yīng)是矩陣的偽逆 偽逆的求法 奇異矩陣或非方陣的矩陣不存在逆矩陣 若XAX A AXA X則X稱為A的偽逆陣 在matlab中用pinv A 求偽逆 22 23 二 有監(jiān)督選取中心算法 RBF中心以及網(wǎng)絡(luò)的其他自由參數(shù)都是通過(guò)有監(jiān)督的學(xué)習(xí)來(lái)確定 以單輸出的RBF為例定義目標(biāo)函數(shù)誤差信號(hào)尋求網(wǎng)絡(luò)的自由參數(shù) 與中心有關(guān) 使目標(biāo)函數(shù)達(dá)到最小 N是訓(xùn)練樣本的個(gè)數(shù) 24 1 輸出層權(quán)值 2 隱含層RBF中心 25 3 隱含層RBF的擴(kuò)展 其中是的導(dǎo)數(shù) 26 27 三 隨機(jī)選取中心法 條件 典型的訓(xùn)練樣本 隱含單元的中心是隨機(jī)的在輸入樣本中選取 且中心固定 因此此算法學(xué)習(xí)的參數(shù)只有兩個(gè) 方差和權(quán)值四 OLS學(xué)習(xí)算法RBF神經(jīng)網(wǎng)絡(luò)的性能嚴(yán)重依賴于所選擇的中心數(shù)目和位置是否合適實(shí)際中 人們一般是隨機(jī)地從輸入模式中選擇中心 或用某種聚類算