matlab建立BP神經(jīng)網(wǎng)絡(luò)

1、 BP神經(jīng)網(wǎng)絡(luò)基于BP神經(jīng)網(wǎng)絡(luò)的PtlOO熱電阻值特性模型及預(yù)測的MATLAB實現(xiàn)。人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型一概述人工神經(jīng)網(wǎng)絡(luò)根據(jù)其模型建立的原理，可以分為數(shù)學(xué)模型和認知模型。數(shù)學(xué)模型主要是在神經(jīng)元生理特性的基礎(chǔ)上，通過抽象用數(shù)學(xué)表達式描述。而認知模型主要是根據(jù)神經(jīng)系統(tǒng)信息處理的過程建立的。本章著重討論人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型，包括前向網(wǎng)絡(luò)、反饋網(wǎng)絡(luò)、隨機網(wǎng)絡(luò)等。下章將討論人工神經(jīng)網(wǎng)絡(luò)的認知模型。前向網(wǎng)絡(luò)網(wǎng)絡(luò)中各神經(jīng)元接受前一級的輸入，并輸出到下一級，網(wǎng)絡(luò)中沒有反饋，可以用一個有向無環(huán)路圖表示，這種神經(jīng)網(wǎng)絡(luò)稱為前向網(wǎng)絡(luò)。前向網(wǎng)絡(luò)中節(jié)點分為兩類，輸入節(jié)點和計算節(jié)點。每個輸入節(jié)點可以有任意個輸入，但只

2、有一個輸出。而輸出可以耦合到任意多個其他節(jié)點的輸入。前向網(wǎng)絡(luò)通常可以分為不同的層，第】層的輸入僅與第層的輸出連接。一般認為輸入節(jié)點為第一層，具有一層計算節(jié)點的網(wǎng)絡(luò)實際上是一個兩層網(wǎng)絡(luò)。由于輸入節(jié)點和輸出節(jié)點可以和外界連接，直接接受環(huán)境的影響，所以稱為可見層。而其他中間層則稱為隱層(hiddenlayer)o前向網(wǎng)絡(luò)的工作原理是映射，所以是一種映射網(wǎng)絡(luò)。映射網(wǎng)絡(luò)是有界映射的近似實現(xiàn)，即函數(shù)AuR”T對,利用映射作用的訓(xùn)練標本(可,兒)，(工2，兒)，(x”,兒)，其中yk=F(xk),實現(xiàn)從n維歐幾里徳空間有界子集A到加維歐幾里德空間有界子集打乂的映射。映射網(wǎng)絡(luò)基本上有兩類：基于特征的網(wǎng)絡(luò)和基于

3、原型的網(wǎng)絡(luò)。基于特征的網(wǎng)絡(luò)實現(xiàn)函數(shù)的輸入輸出關(guān)系，這種關(guān)系可以用一種通用的、可修改的函數(shù)形式表示。反傳網(wǎng)絡(luò)是屬于特征網(wǎng)絡(luò)?；谠偷娜斯ど窠?jīng)網(wǎng)絡(luò)是通過創(chuàng)建一組具體的輸入輸出實例(叫宀)，,K，V),統(tǒng)計的表示映射作用。然后,將未知的新向量X與網(wǎng)絡(luò)中的存儲的向量叫進行比較，把比較的結(jié)果與輸入向量均組合，產(chǎn)生映射作用。對傳網(wǎng)絡(luò)(counter-propagation)是原型網(wǎng)絡(luò)的例子。反饋網(wǎng)絡(luò)1982-1986年，美國物理學(xué)家霍普菲爾特(Hopfield)對反饋網(wǎng)絡(luò)進行了研究，并可以應(yīng)用解決實際問題，引起人們的興趣。一般講這種單層反饋網(wǎng)絡(luò)稱為霍普菲爾特(Hopfield)網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)可用一個無向

4、的完備圖來表示，為簡單起見，除另外說明外，我們?nèi)约俣ǜ鞴?jié)點是線性閾值單元，網(wǎng)絡(luò)唯一的由權(quán)值矩陣和閾值9來確定，并且“是對稱的，對角線元素為零的nxn矩陣(n為網(wǎng)絡(luò)中的節(jié)點數(shù))，節(jié)點！與節(jié)點丿間連線上的權(quán)值=-9是閾值，岡是單元！的閾值。3工作方式根據(jù)系統(tǒng)狀態(tài)的改變，神經(jīng)網(wǎng)絡(luò)有異步和同步兩種工作方式。假定時間是離散的，則任一時刻(才為正整數(shù))單元乙之狀態(tài)為Xt(t),整個網(wǎng)絡(luò)狀態(tài)是X(t)G+1,-1”。異步方式各單元分別改變狀態(tài)，即單元】Xc+1)=Sgn(f耳Xj(0-切單元/而其余各單元狀態(tài)不變，即單元丿同步方式所有單元同時改變狀態(tài)，即對于所有單元/X何+1)=sgn(f冷七-旳對于全部】

5、有時也可以一部分節(jié)點同時改變狀態(tài)。反饋網(wǎng)絡(luò)的輸出與輸入之間在時間上有延時，因而要用動態(tài)方程描述神經(jīng)元和系統(tǒng)的數(shù)學(xué)模型。系統(tǒng)穩(wěn)定狀態(tài)的分析比較困難。聯(lián)想記憶丄腦記憶的主要特征之一是聯(lián)想。由于反饋網(wǎng)絡(luò)會收斂到穩(wěn)定狀態(tài)，因此可以用作聯(lián)想記憶。記憶是人腦對過去經(jīng)驗中發(fā)生過的事物的反映，是新獲得行為的保持。由于記憶，人才能保持過去的反映，使當前的反映在以前的反映的基礎(chǔ)上進行，使反映更全面、更深入。也就是有了記憶，人才能積累經(jīng)驗，擴大經(jīng)驗。記憶是心理在時間上的持續(xù)，有了記憶，先后的經(jīng)驗才能聯(lián)系起來，使心理活動成為一個發(fā)展的過程，使一個人的心理活動成為統(tǒng)一的過程，并形成他的心理特征。記憶是反映機能的一個基本

6、方面。目前，根據(jù)記憶操作的時間長短，人類記憶有三種類型：感覺記憶、短時記憶和長時記憶。近年來，許多人對聯(lián)想記憶機制進行了大量研究。根據(jù)輸出與輸入信息的關(guān)系，聯(lián)想記憶可以分為兩類：自聯(lián)想記憶和異聯(lián)想記憶。設(shè)在學(xué)習(xí)過程中存入M個樣本X(),上=,2,，M,使用時要求：若輸入0=其中是M個學(xué)習(xí)樣本之一，v是偏差項(可代表噪聲、圖形的缺損、崎變)，要求輸出y=即使之復(fù)原。這種人工神經(jīng)網(wǎng)絡(luò)稱為自聯(lián)想記憶(AutoAssociativeMemory)。異聯(lián)想記憶中，規(guī)定兩組樣本間有一定的對應(yīng)關(guān)系Xkyk,k=,2,M。例如，X上代表某人照片，而h代表他的姓名，使用時若輸入XJT+u,要求輸出y嚴。隨機神經(jīng)

7、網(wǎng)絡(luò)每個神經(jīng)元的興奮與抑制具有隨機性，其概率取決于神經(jīng)元的輸入。釆用概率統(tǒng)計分析的方法與信息的處理和測量非常相近。因此，概率計算的神經(jīng)網(wǎng)絡(luò)有可能得到更好的效果。在一定約束條件下，用并行分布概率神經(jīng)網(wǎng)絡(luò)進行反復(fù)迭代搜索以找到一個穩(wěn)定解的問題。既是一個有吸引力的研究課題乂具有潛在的廣闊應(yīng)用前景。概率神經(jīng)網(wǎng)絡(luò)的研究主要關(guān)心下列問題：網(wǎng)絡(luò)必須收斂到一個穩(wěn)定點，不能出現(xiàn)漫無止境的震蕩。網(wǎng)絡(luò)具有足夠的計算能力，能夠?qū)崿F(xiàn)所需的分類、復(fù)原功能。較好的解決計算復(fù)雜性問題，完成搜索所需的反復(fù)迭代次數(shù)不能過多。容錯性好，神經(jīng)元之間的信息傳送容許有誤差。人腦神經(jīng)元之間的信息傳送精讀不會超過5%o調(diào)整權(quán)值系數(shù)的學(xué)習(xí)算法

8、，以便將外界知識存儲在網(wǎng)絡(luò)的權(quán)值系數(shù)中。二線性限幅單元線性限幅單元是最基本的前向映射網(wǎng)絡(luò)，它具有n個輸入，XwR”，一個輸出yel,-l,n個權(quán)值爐丘尺”，和閾值圖給出了線性限幅單元的結(jié)構(gòu)。y=f1若工:嚴“,mo1若工匸嚴兀一呂VO三感知機感知機(Perceptron)是一種典型的前向人工神經(jīng)網(wǎng)絡(luò)。最早由美國學(xué)者羅森勃拉特于1957年提出，它實際上是一個具有單層計算單元的神經(jīng)網(wǎng)絡(luò)，并由線性限幅單元組成。感知機學(xué)習(xí)算法開始賦給每個權(quán)值眶(0)以任一較小的不為零的隨機數(shù)，即吒(0)工0；隨機輸入一個樣本=(匂,勺,，務(wù))和期望輸出C,如果X屬于期望的類時，則C=l,否則C=-l；如果權(quán)值“對樣本

9、Z進行正確分類，即爲0和C/=+l或者%V0和C7=-1則對權(quán)值不作修改。否則形成如下新的權(quán)值W(t+l)=W(t)+ClEl轉(zhuǎn)到2.,直到對一切樣本，權(quán)值W穩(wěn)定為止。感知機收斂定理告訴我們，若函數(shù)是線性可分的，則上述學(xué)習(xí)過程在有限次數(shù)迭代后可收斂到正確的數(shù)值。感知機 四簡單的實際問題目前，在人工神經(jīng)網(wǎng)絡(luò)算法上，較常用的仍然是枚舉算法，因此，對于算法的改進和優(yōu)化具有很大的空間和實際意義。簡單的實際問題（NOIP2003第一題）首先，我們來分析一個簡單的神經(jīng)網(wǎng)絡(luò)的例子，這只是最基本的問題，以后將不斷將問題復(fù)雜化并解決。而且這個問題只是不基于生物理論的假設(shè)，并不一定是正確的。我們把神經(jīng)網(wǎng)絡(luò)看成一張

10、有向圖，圖中的結(jié)點就是神經(jīng)元，定義神經(jīng)的輸入和輸出為圖中的邊。對于一個神經(jīng)元，有信息的輸入、輸出渠道和當前狀態(tài)及閾值。神經(jīng)元按照一定順序排列，構(gòu)成神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)分為輸入層、輸出層和若干個中間層。如果把神經(jīng)元的狀態(tài)定義為Ci,閾值定義為Ui,假設(shè)可以得到公式，形如:Ci二工WjPCHJi其中，Ci0時我們認為神經(jīng)元是興奮的。Ci可以認為是興奮信號的強度，將向下一層神經(jīng)元傳送。如此，在輸入層的神經(jīng)元被激發(fā)后，整個網(wǎng)絡(luò)系統(tǒng)就在信息傳輸?shù)耐苿酉逻\作。對于給定的神經(jīng)網(wǎng)絡(luò)，如果我們加入適當?shù)臈l件，就能通過輸入層的狀態(tài)用計算機程序設(shè)計算法簡單的求出輸出層的狀態(tài)。這就是一個簡單的ANN實用程序（這是NOI

11、P2003的第一題，公式等皆來源于題目，尚未加以嚴格的分析，研究開始后必定要重新分析過）。類似的問題很多，而且也肯定不局限于神經(jīng)興奮的傳導(dǎo)，而且現(xiàn)在我所了解的算法也只是枚舉級別的模擬算法，有很大的可能優(yōu)化。五最小二乘分類學(xué)習(xí)算法對于線性可分類，可用前面所述學(xué)習(xí)算法，且保證收斂。但是線性可分的條件畢竟過于嚴格，能夠滿足這個條件的情況是不多的。在實際情況中，兩個類別的集合往往是非線性可分的，共至是相互重疊的，對于這種情況，我們就不能簡單的嚴格要求神經(jīng)元的輸出值為1和0進行分類，我們只能做到，當輸入向量為時，輸出值盡可能為1,否則接近0。按最小二乘算法的統(tǒng)計意義而言，就是要求實際輸出值與這兩個理想的

12、輸出值（1和0）之間的誤差均方值為最小。如果有一種學(xué)習(xí)算法能夠?qū)崿F(xiàn)這個目標，即稱為最小二乘或LMS學(xué)習(xí)算法（LMS是Leastmeansquare的縮寫）。為此，需要把單元特性更為可微函數(shù)，例如sigmoid形式。當給定訓(xùn)練集后，我們的目標是尋找*，使得f（W%乙）與緯盡可能接近，用E表示二者之間的差異。Ni=l其中Yk*=f（WxXk）o所以應(yīng)使E達到最小，先求E的梯度gradwE=些dW # #其中，Ek=-(Yk-Yk)若用k=Wxxk，則有2dWQ%dWdYk*d&K孔一（緯-分）八臥）最 # 則W的修改規(guī)則為N=分）.廠何）乙fc=l在上式中，/0o這種學(xué)習(xí)方法，權(quán)值修正是按最陡下降

13、方向進行。因此,有時稱他為梯度學(xué)習(xí)算法。六.基于BP神經(jīng)網(wǎng)絡(luò)的PtlOO熱電阻值特性模型及預(yù)測的MATLAB實現(xiàn)訓(xùn)練程序：P=-200:660;T=185218.9519.3819.8220.2520.6821.1121.5421.9722.422.8323.2523.6824.1124.5424.9725.3925.8226.2426.6727.127.5227.9528.372&829.2229.6430.0730.4930.9131.3431.7632.1832.633.0233.4433.8634.2834.735.1235.5435.9636.3836.837.2237.6438.0

14、538.4738.8939.3139.7240.1440.5640.9741.3941.842.2242.6343.0543.4643.8844.2944.745.1245.5345.9446.3646.7747.1847.594848.4248.8349.2449.6550.0650.4750.8851.2951.752.1152.5252.9353.3453.7554.1554.5654.9755.3855.7956.1956.657.0157.4157.8258.2358.6359.0459.4459.8560.2660.6661.0761.4761.8862.2862.6863.096

15、3.4963.964.364.765.1165.5165.9166.3166.7267.1267.5267.9268.3368.7369.1369.5369.9370.3370.7371.1371.5371.9372.3372.7373.1373.5373.9374.3374.7375.1375.5375.9376.3376.7377.1277.5277.9278.3278.7279.1179.5179.9180.3180.781.181.581.8982.2982.6983.0883.4883.8784.2784.6785.0685.4685.8586.2586.6487.0487.4387

16、.8388.2288.6289.0189.489.890.1990.5990.9891.3791.7792.1692.5592.9593.3493.7394.1294.5294.9195.395.6996.0996.4896.8797.2697.6598.0498.4498.8399.2299.6110010039100.78101.17101.56101.95102.34102.73103.12103.51103.9104.29104.68105.07105.46105.85106.24106.63107.02107.4107.79108.18108.57108.96109.35109.73

17、110.12110.51110.9111.29111.67112.06112.45112.83113.22113.61114114.38114.77115.15115.54115.93116.31116.7117.08117.47117.86118.24118.63119.01119.4119.78120.17120.55120.94121.32121.71122.09122.47122.86123.24123.63124.01124.39124.78125.16125.54125.93126.31126.69127.08127.46127.84128.2212&61128.99129.371

18、29.75130.13130.52130.9131.28131.66132.04132.42132.8133.18133.57133.95134.33134.71135.09135.47135.85136.23136.61136.99137.37137.75138.13138.51138.88139.26139.64140.02140.4140.78141.16141.54141.91142.29142.67143.05143.43143.8144.18144.56144.94145.31145.69146.07146.44146.82147.2147.57147.9514&33148.714

19、9.08149.46149.83150.21150.58150.96151.33151.71152.08152.46152.83153.21153.58153.96154.33154.71155.08155.46155.83156.2156.58156.95157.33157.7158.07158.4515&82159.19159.56159.94160.31160.68161.05161.43161.8162.17162.54162.91163.29163.66164.03164.4164.77165.14165.51165.89166.26166.63167167.37167.74168.

20、11168.48168.85169.22169.59169.96170.33170.7171.07171.43171.8172.17172.54172.91173.28173.65174.02174.38174.75175.12175.49175.86176.22176.59176.96177.33177.69178.06178.43178.79179.16179.53179.89180.26180.63180.99181.36181.72182.09182.46182.82183.19183.55183.92184.28184.65185.01185.38185.74186.11186.47

21、186.84187.2187.56187.93188.29188.66189.02189.38189.75190.11190.47190.84191.2191.56191.92192.29192.65193.01193.37193.74194.1194.46194.82195.18195.55195.91196.27196.63196.99197.35197.71198.07198.43198.79199.15199.51199.87200.23200.59200.95201.31201.67202.03202.39202.75203.11203.47203.83204.19204.55204

22、.9205.26205.62205.98:206.34206.7207.05207.41207.77208.13208.48:208.841209.2209.56209.91210.27210.63210.98211.34211.7212.05212.41212.76213.12213.48213.83214.19214.54214.9.215.25:215.61215.96216.32216.67217.03217.38217.74218.09218.44218.8.219.15.219.51219.86220.21220.57220.92221.27221.63221.98222.3322

23、2.68223.04223.39223.74224.09224.45224.8225.15225.5225.85226.21226.56226.91227.26227.61227.96228.31228.66229.02229.37229.72230.07230.42230.77231.12231.47231.82232.17232.52232.87233.21233.56233.91234.61234.96235.31235.66236236.35236.7237.05237.4237.74238.09238.44238.79239.13239.48239.83240.18240.52240

24、.87241.22241.56241.91242.6242.95243.29243.64243.99244.33244.68245.02245.37245.71246.06246.4246.75247.09247.44247.78248.13248.47248.81249.16249.5249.85250.19250.53250.88251.22251.56251.91252.25252.59252.93253.28253.62253.96254.3254.65254.99255.33255.67256.01256.35256.7257.04257.38257.72258.06258.4025

25、8.74259.08259.42259.76260.1260.44260.78261.12261.46261.8262.14262.48262.82263.16263.5263.84264.18264.52264.86265.2265.53265.87266.21266.55266.89267.22267.56267.9268.24268.57268.91269.25269.59269.92270.26270.6270.93271.27271.61271.94272.28272.61272.95273.29273.62273.96274.29274.63274.96275.3275.63275

26、.97276.3276.64276.97277.31277.64277.98278.31278.64278.98279.31279.64279.98280.31280.64280.98281.31281.64281.98282.31282.64282.97283.31283.64283.97284.3284.63284.97285.3285.63285.96286.29286.62286.95287.29287.62287.95288.28288.61288.94289.27289.6289.93290.26290.59290.92291.25291.58291.91292.24292.562

27、92.89293.22293.55293.88294.21294.54294.86295.19295.52295.85296.18296.5296.83297.16297.49297.81298.14298.47298.8299.12299.45299.78300.1300.43300.75301.08301.41301.73302.06302.38302.71303.03303.36303.69304.01304.34304.66308.23311.78304.98305.31305.63305.96306.28306.61306.93307.25307.58307.9308.55308.8

28、7309.2309.52309.84310.16310.49310.81311.13311.45312.1312.42312.74313.06313.39313.71314.03314.35314.67314.99315.31315.64315.96316.28316.6316.92317.24317.56317.88318.2318.5231&84319.16319.48319.8320.12320.43320.75321.07321.39321.71322.03322.35322.67322.98323.3323.62323.94324.26324.57324.89325.21325.53325.84 329.32326.16326.48326.79327.11327.43327.74328.06328.38328.69329.01329.64329.96330.27330.59330.9331.22331.53331.85332.16332.48332.79;Pii4ninp4naxp,Tn4iiint,maxt=pr