MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型.ppt

MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型 神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介 MATLAB7對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱的版本為Version4 0 3 它以神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ) 利用MATLAB腳本語(yǔ)言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù) 如線性 競(jìng)爭(zhēng)性和飽和線性等激活函數(shù) 使設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)輸出的計(jì)算變成對(duì)激活函數(shù)的調(diào)用 還可根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值規(guī)則 加上網(wǎng)絡(luò)的訓(xùn)練過(guò)程 利用MATLAB編寫出各種網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的子程序 用戶根據(jù)自己的需要去調(diào)用 神經(jīng)網(wǎng)絡(luò)工具箱的主要應(yīng)用 函數(shù)逼近和模型擬合信息處理和預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)控制故障診斷 應(yīng)用神經(jīng)網(wǎng)絡(luò)工具箱求解問(wèn)題的一般過(guò)程 確定信息表達(dá)方式數(shù)據(jù)樣本已知數(shù)據(jù)樣本之間相互關(guān)系不確定輸入 輸出模式為連續(xù)的或者離散的輸入數(shù)據(jù)按照模式進(jìn)行分類 模式可能會(huì)具有平移 旋轉(zhuǎn)或伸縮等變化形式數(shù)據(jù)樣本的預(yù)處理將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本確定網(wǎng)絡(luò)模型選擇模型的類型和結(jié)構(gòu) 也可對(duì)原網(wǎng)絡(luò)進(jìn)行變形和擴(kuò)充網(wǎng)絡(luò)參數(shù)的選擇確定輸入輸出神經(jīng)元數(shù)目訓(xùn)練模型的確定選擇合理的訓(xùn)練算法 確定合適的訓(xùn)練步數(shù) 指定適當(dāng)?shù)挠?xùn)練目標(biāo)誤差網(wǎng)絡(luò)測(cè)試選擇合適的測(cè)試樣本 人工神經(jīng)元的一般模型 神經(jīng)元模型及其簡(jiǎn)化模型如圖所示 輸入向量 權(quán)值矩陣 與閾值的加權(quán)和 內(nèi)積運(yùn)算 送入累加器 形成凈輸入 即 人工神經(jīng)元模型 圖中 xi i 1 2 n 為加于輸入端 突觸 上的輸入信號(hào) i為相應(yīng)的突觸連接權(quán)系數(shù) 它是模擬突觸傳遞強(qiáng)度的 個(gè)比例系數(shù) 表示突觸后信號(hào)的空間累加 表示神經(jīng)元的閾值 表示神經(jīng)元的響應(yīng)函數(shù) 該模型的數(shù)學(xué)表達(dá)式為 與生物神經(jīng)元的區(qū)別 1 生物神經(jīng)元傳遞的信息是脈沖 而上述模型傳遞的信息是模擬電壓 2 由于在上述模型中用一個(gè)等效的模擬電壓來(lái)模擬生物神經(jīng)元的脈沖密度 所以在模型中只有空間累加而沒(méi)有時(shí)間累加 可以認(rèn)為時(shí)間累加已隱含在等效的模擬電壓之中 3 上述模型未考慮時(shí)延 不應(yīng)期和疲勞等 響應(yīng)函數(shù)的基本作用 1 控制輸入對(duì)輸出的激活作用 2 對(duì)輸入 輸出進(jìn)行函數(shù)轉(zhuǎn)換 3 將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出 根據(jù)響應(yīng)函數(shù)的不同 人工神經(jīng)元有以下幾種類型 閾值單元 響應(yīng)函數(shù)如圖a所示 線性單元 其響應(yīng)函數(shù)如圖b所示 非線性單元 常用響應(yīng)函數(shù)為S型 Sigmoid 函數(shù) 如圖c d所示 Hardlimx 0y 1 x 0y 1 x1y 1 x 0Logsig y 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 單個(gè)神經(jīng)元的功能是很有限的 人工神經(jīng)網(wǎng)絡(luò)只有用許多神經(jīng)元按一定規(guī)則連接構(gòu)成的神經(jīng)網(wǎng)絡(luò)才具有強(qiáng)大的功能 神經(jīng)元的模型確定之后 一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法 人工神經(jīng)網(wǎng)絡(luò)連接的基本形式 1 前向網(wǎng)絡(luò)網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示 網(wǎng)絡(luò)中的神經(jīng)元是分層排列的 每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接 最右一層為輸出層 隱含層的層數(shù)可以是一層或多層 前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用很廣泛 例如 感知器就屬于這種類型 2 反饋前向網(wǎng)絡(luò) 網(wǎng)絡(luò)的本身是前向型的 與前一種不同的是從輸出到輸入有反饋回路 內(nèi)層互連前饋網(wǎng)絡(luò) 通過(guò)層內(nèi)神經(jīng)元之間的相互連接 可以實(shí)現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機(jī)制 從而限制層內(nèi)能同時(shí)動(dòng)作的神經(jīng)數(shù) 或者把層內(nèi)神經(jīng)元分為若干組 讓每組作為一個(gè)整體來(lái)動(dòng)作 一些自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就屬于這種類型 互連網(wǎng)絡(luò) 互連網(wǎng)絡(luò)有局部互連和全互連兩種 全互連網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與其他神經(jīng)元相連 局部互連是指互連只是局部的 有些神經(jīng)元之間沒(méi)有連接關(guān)系 Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬于互連網(wǎng)絡(luò)的類型 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式 有教師學(xué)習(xí) 監(jiān)督學(xué)習(xí) 1 均方誤差mse meansquarederror 誤差信號(hào)的不同定義 2 平均絕對(duì)誤差mae meanabsoluteerror 3 誤差平方和sse sumsquarederror 無(wú)教師學(xué)習(xí) 無(wú)監(jiān)督學(xué)習(xí) MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 1 人工神經(jīng)元的一般模型在 中 令 則 人工神經(jīng)元的一般模型 由此構(gòu)成人工神經(jīng)元的一般模型 如下圖所示 上式可寫成矩陣向量形式 a f Wp b 由S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò) MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 多層網(wǎng)絡(luò)的簡(jiǎn)化表示 MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型 基本概念 標(biāo)量 小寫字母 如a b c等 列向量 小寫黑體字母 如a b c等 意為一列數(shù) 矩陣向量 大寫黑體字母 如A B C等 權(quán)值矩陣向量W t 標(biāo)量元素 i為行 j為列 t為時(shí)間或迭代函數(shù)列向量行向量 閾值向量b t 標(biāo)量元素 i為行 t為時(shí)間或迭代函數(shù) 網(wǎng)絡(luò)層符號(hào) 加權(quán)和 m為第m個(gè)網(wǎng)絡(luò)層 為第個(gè)神經(jīng)元 n為加權(quán)和網(wǎng)絡(luò)層輸出 m為第m個(gè)網(wǎng)絡(luò)層 為第個(gè)神經(jīng)元 a為輸出輸入層權(quán)值矩陣 網(wǎng)絡(luò)層權(quán)值矩陣 其中 上標(biāo)k l表示第l個(gè)網(wǎng)絡(luò)層到第k個(gè)網(wǎng)絡(luò)層的連接權(quán)值矩陣向量 例 表示輸入向量的第R個(gè)輸入元素到輸入層的第個(gè)神經(jīng)元的連接權(quán) 表示 表示 第i個(gè)網(wǎng)絡(luò)層的第個(gè)神經(jīng)元的閾值 例 n1為第一層神經(jīng)元的中間運(yùn)算結(jié)果 即連接權(quán)向量與閾值向量的加權(quán)和 大小為 即 a1為第一層神經(jīng)元的輸出向量 大小為 神經(jīng)網(wǎng)絡(luò)的層數(shù)為神經(jīng)元網(wǎng)絡(luò)層的數(shù)目加1 即隱層數(shù)目加1 多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 多層網(wǎng)絡(luò)簡(jiǎn)化形式 圖中 說(shuō)明 輸入層神經(jīng)元的個(gè)數(shù)決定IW的行數(shù) 輸入向量元素的個(gè)數(shù)決定IW的列數(shù) 即S1行R列 4 公式和圖形中的變量符號(hào)在編程代碼中的表示方法 細(xì)胞矩陣 將多個(gè)矩陣向量作為細(xì)胞矩陣的 細(xì)胞 Cell 細(xì)胞矩陣的各個(gè)元素值為對(duì)應(yīng)細(xì)胞的大小和數(shù)值類型 訪問(wèn)元素 m 1 n 1 1 m 2 n 2 1 n 2 1 4 5 變量符號(hào)在MATLAB中的表示 1 上標(biāo)變量以細(xì)胞矩陣 Cellarray 即大括號(hào)表示p1 1 2 下標(biāo)變量以圓括號(hào)表示 p1 p 1 例 神經(jīng)網(wǎng)絡(luò)工具箱常用函數(shù)列表 重要的感知器神經(jīng)網(wǎng)絡(luò)函數(shù) 初始化 initp訓(xùn)練 trainp仿真 simup學(xué)習(xí)規(guī)則 learnp 線性神經(jīng)網(wǎng)絡(luò)函數(shù) 初始化 initlin設(shè)計(jì) solvelin仿真 simulin離線訓(xùn)練 trainwh在線自適應(yīng)訓(xùn)練 adaptwh學(xué)習(xí)規(guī)則 learnwh BP網(wǎng)絡(luò)函數(shù) initff 初始化不超過(guò)3層的前向網(wǎng)絡(luò) simuff 仿真不超過(guò)3層的前向網(wǎng)絡(luò) trainbp trainbpx trainlm 訓(xùn)練BPtrainbp 最慢 trainbpx 次之 trainlm 速度最快 但需要更多的存儲(chǔ)空間 learnbp 學(xué)習(xí)規(guī)則 自組織網(wǎng)絡(luò) 初始化 initsm仿真 simuc訓(xùn)練 trainc 利用競(jìng)爭(zhēng)規(guī)則訓(xùn)練trainsm 利用Kohonen規(guī)則訓(xùn)練 反饋網(wǎng)絡(luò) Hopfield網(wǎng)絡(luò) 仿真 simuhop設(shè)計(jì) solvehopsolvehop設(shè)計(jì)Hopfield網(wǎng)絡(luò)solvelin設(shè)計(jì)線性網(wǎng)絡(luò)rands產(chǎn)生對(duì)稱隨機(jī)數(shù)learnbp反向傳播學(xué)習(xí)規(guī)則learnhHebb學(xué)習(xí)規(guī)則learnp感知層學(xué)習(xí)規(guī)則learnwhWidrow Hoff學(xué)習(xí)規(guī)則initlin線性層初始化initp感知層初始化initsm自組織映射初始化plotsm繪制自組織映射圖trainbp利用反向傳播訓(xùn)練前向網(wǎng)絡(luò)trainp利用感知規(guī)則訓(xùn)練感知層trainwh利用Widrow Hoff規(guī)則訓(xùn)練線性層trainsm利用Kohonen規(guī)則訓(xùn)練自組織映射 神經(jīng)網(wǎng)絡(luò)例子