神經(jīng)網(wǎng)絡(luò)理論概述

上海大學(xué)模式識(shí)別(論文)上海大學(xué)2015～2016學(xué)年秋季學(xué)期研究生課程考試文獻(xiàn)閱讀報(bào)告課程名稱：《模式識(shí)別》課程編號(hào)：08SB69004題目:神經(jīng)網(wǎng)絡(luò)理論概述以及實(shí)現(xiàn)研究生姓名:張三學(xué)號(hào):1111111論文評(píng)語(yǔ):成績(jī):任課教師:1111111評(píng)閱日期:

神經(jīng)網(wǎng)絡(luò)理論概述以及實(shí)現(xiàn)2016-01-12摘要: 由于其強(qiáng)大的學(xué)習(xí)能力，人工神經(jīng)網(wǎng)絡(luò)己經(jīng)成為研究模式識(shí)別如人臉辨識(shí)、字符識(shí)別、車牌識(shí)別(LPR)、語(yǔ)音識(shí)別和信號(hào)處理等分類問(wèn)題的重要工具。研究證明，神經(jīng)網(wǎng)絡(luò)的性能主要取決于三個(gè)因素:首先是用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的樣本的特征選擇方法，采用合適的特征選擇模型，尋找最佳的神經(jīng)網(wǎng)絡(luò)優(yōu)化算法。本文主要講述BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、Hopfield離散型神經(jīng)網(wǎng)絡(luò)和Hopfield連續(xù)型神經(jīng)網(wǎng)絡(luò)。本文給出了這四種神經(jīng)網(wǎng)絡(luò)的思想步驟，并且舉例子用代碼認(rèn)證。關(guān)鍵字：神經(jīng)網(wǎng)絡(luò),分類器,模式識(shí)別,擬合仿真OverviewofneuralnetworktheoryandtherealizationAbstract:Artificialneuralnetwork(ANN)hasbeenanimportanttooltoinvestigateclassificationproblemssuchasfacerecognition,characterrecognition,licenseplaterecognition(LPR),speech,andsignalprocessingduetostronglearningability.Manyresearchersagreethattheperformanceofaneuralnetworkdependsstronglyonthreefactors:featureselectionmethodforthetrainingdatasets,optimizationalgorithmfortheneuralnetwork.ThisarticlefocusesontheBPneuralnetwork,RBFneuralnetwork,HopfielddiscreteHopfieldcontinuousneuralnetworksandneuralnetworks.Thispaperpresentstheideastepfourneuralnetworks,andexamplesgivencodecertification.Keywords:Neuralnetwork,Classifier,PatternRecognition,FittingSimulation

目錄1.緒論 31.1神經(jīng)網(wǎng)絡(luò)的概述 31.2論文的構(gòu)成 32.神經(jīng)網(wǎng)絡(luò)的分類理論 42.1分類理論及實(shí)現(xiàn)過(guò)程 42.1.1分類的定義 42.1.2分類的實(shí)現(xiàn)過(guò)程 42.1.3幾種主要的分類方法及特性 52.2基于神經(jīng)網(wǎng)絡(luò)的分類理論 62.2.1神經(jīng)網(wǎng)絡(luò)特征 62.2.2神經(jīng)網(wǎng)絡(luò)分類方法 72.3本章小結(jié) 83.四種神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn) 93.1BP神經(jīng)網(wǎng)絡(luò) 93.2神經(jīng)網(wǎng)絡(luò)RBF 143.3hopfield神經(jīng)網(wǎng)絡(luò) 183.3.1原理簡(jiǎn)介： 183.3.2離散型Hopfield 193.3.3連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò) 214結(jié)束語(yǔ) 24參考文獻(xiàn)： 25附錄一 26附錄二 31

1.緒論1.1神經(jīng)網(wǎng)絡(luò)的概述人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks，簡(jiǎn)寫(xiě)為ANNs)是由大量類似于生物神經(jīng)元的處理單元相互連接而成的非線性復(fù)雜網(wǎng)絡(luò)系統(tǒng)。它是用一定的簡(jiǎn)單的數(shù)學(xué)模型來(lái)對(duì)生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行描述，并在一定的算法指導(dǎo)下，使其能夠在某種程度上模擬生物神經(jīng)網(wǎng)絡(luò)所具有的智能行為，解決傳統(tǒng)算法所不能勝任的智能信息處理的問(wèn)題。它是巨量信息并行處理和大規(guī)模并行計(jì)算的基礎(chǔ)，神經(jīng)網(wǎng)絡(luò)既是高度非線性動(dòng)力學(xué)系統(tǒng)，又是自組織自適應(yīng)系統(tǒng)，可用來(lái)描述認(rèn)知、決策和控制的智能行為。1.2論文的構(gòu)成論文撰寫(xiě)的過(guò)程是從理論上由淺入深地研究，再對(duì)理論進(jìn)行驗(yàn)證的過(guò)程。本文共分四章，具體章節(jié)安排如下:第一章是緒論，主要闡述了神經(jīng)網(wǎng)絡(luò)的定義以及內(nèi)容以及構(gòu)成。第二章是神經(jīng)網(wǎng)絡(luò)的分類理論主要講述分類的定義、分類的實(shí)現(xiàn)過(guò)程。神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，神經(jīng)網(wǎng)絡(luò)的分類方法。最后對(duì)第二章進(jìn)行總結(jié)。第三章講述四種神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)，主要講述BP神經(jīng)網(wǎng)絡(luò)、RBF神經(jīng)網(wǎng)絡(luò)、離散型Hopfield神經(jīng)網(wǎng)絡(luò)、連續(xù)型神經(jīng)網(wǎng)絡(luò)。最后有代碼實(shí)現(xiàn)這四個(gè)神經(jīng)網(wǎng)絡(luò)。第四章是總結(jié)講述本文的不足以及各種神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)。第五章參考文獻(xiàn)，附錄一和附錄二

2.神經(jīng)網(wǎng)絡(luò)的分類理論2.1分類理論及實(shí)現(xiàn)過(guò)程2.1.1分類的定義分類(Classification)是一種重要的模式識(shí)別和數(shù)據(jù)挖掘技術(shù)，其作用是根據(jù)數(shù)據(jù)集的點(diǎn)，找出描述并區(qū)分?jǐn)?shù)據(jù)類或概念的模型或函數(shù)(我們一般稱之為分類器)，以便能夠使用該模型或函數(shù)預(yù)測(cè)類標(biāo)記未知的對(duì)象類，導(dǎo)出模型是基于對(duì)訓(xùn)練數(shù)據(jù)集(即其類標(biāo)記己知的數(shù)據(jù)對(duì)象)的分析。實(shí)現(xiàn)分類的關(guān)鍵步驟有兩個(gè)，一是根據(jù)己知類別的訓(xùn)練數(shù)據(jù)集，訓(xùn)練并構(gòu)造一個(gè)分類器，用于描述預(yù)定的數(shù)據(jù)類集或概念集;二是使用所獲得的模型函數(shù)，對(duì)未知對(duì)象進(jìn)行分類。2.1.2分類的實(shí)現(xiàn)過(guò)程分類的實(shí)現(xiàn)一般具有以下三個(gè)過(guò)程:一、數(shù)據(jù)的預(yù)處理。進(jìn)行數(shù)據(jù)預(yù)處理的目的在于按照分類的要求對(duì)數(shù)據(jù)集進(jìn)行優(yōu)化，以保證分類的準(zhǔn)確性和有效性，數(shù)據(jù)的預(yù)處理可能包含以下若干步驟:(1)數(shù)據(jù)清理。減少或消除數(shù)據(jù)中存在的系統(tǒng)噪聲或隨機(jī)噪聲，刪除數(shù)據(jù)集中存在的明顯錯(cuò)誤的數(shù)據(jù)，以及對(duì)空缺的數(shù)據(jù)進(jìn)行處理。(2)數(shù)據(jù)的相關(guān)性分析。需要分類的數(shù)據(jù)集中可能存在一些屬性，與分類任務(wù)不相關(guān)。如果在分類過(guò)程中包含這些屬性可能會(huì)減慢甚至誤導(dǎo)學(xué)習(xí)過(guò)程，影響分類結(jié)果的準(zhǔn)確性。進(jìn)行數(shù)據(jù)相關(guān)性分析的目的就是去除這些不相關(guān)或冗余的屬性。(3)數(shù)據(jù)變換。數(shù)據(jù)集中某些連續(xù)的數(shù)據(jù)需要離散化，定性的數(shù)據(jù)需要定量化。(4)數(shù)據(jù)歸約。分類過(guò)程中有些數(shù)據(jù)需要按照比例進(jìn)行縮放，也叫做數(shù)據(jù)的歸一化。二、分類器的建立。構(gòu)造分類器的過(guò)程分為訓(xùn)練階段和測(cè)試階段。一般的實(shí)現(xiàn)分類的過(guò)程中，需要將數(shù)據(jù)集分成兩部分，一部分用于分類器的訓(xùn)練，另一部分則用于分類器的測(cè)試。在訓(xùn)練階段，使用一定的規(guī)則或算法對(duì)訓(xùn)練數(shù)據(jù)集中各屬性數(shù)據(jù)進(jìn)行學(xué)習(xí)，由于預(yù)先知道每個(gè)訓(xùn)練樣本的類別屬性值，所以該過(guò)程也稱為有導(dǎo)師的學(xué)習(xí);在測(cè)試階段，使用測(cè)試數(shù)據(jù)集對(duì)該分類器的分類準(zhǔn)確性進(jìn)行評(píng)估。將測(cè)試數(shù)據(jù)集輸入到分類器中進(jìn)行分類，用得出的預(yù)測(cè)類與己知的目標(biāo)進(jìn)行匹配，如果相同，則表明分類成功。三、分類器的運(yùn)用。進(jìn)行準(zhǔn)確性評(píng)估后，如果該分類器可以達(dá)到用戶需求，則可以使用該分類器對(duì)其他數(shù)據(jù)進(jìn)行分類。2.1.3幾種主要的分類方法及特性構(gòu)造分類器的方法有多種，其中比較成熟、應(yīng)用比較廣泛的包括:決策樹(shù)、貝葉斯算法、關(guān)聯(lián)規(guī)則、支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等方法。(1)決策樹(shù)分類算法決策樹(shù)(DecisionTree)分類算法也稱貪心算法，是一種以實(shí)例為基礎(chǔ)的歸納學(xué)習(xí)算法。決策樹(shù)算法以ID3算法、C5.0算法為代表，采用自頂向下的方式構(gòu)造，它從一組無(wú)次序無(wú)規(guī)則的實(shí)例中構(gòu)建樹(shù)形的分類信息。樹(shù)的節(jié)點(diǎn)為遞歸選取的測(cè)試樣本屬性，一旦一個(gè)屬性在某個(gè)節(jié)點(diǎn)出現(xiàn)，則不會(huì)在該節(jié)點(diǎn)的后代出現(xiàn)。在構(gòu)造決策樹(shù)的過(guò)程中，一般還需要根據(jù)某一規(guī)則完成樹(shù)的剪枝。決策樹(shù)分類算法的優(yōu)點(diǎn)在于，首先它的構(gòu)造過(guò)程比較簡(jiǎn)單，計(jì)算量小，且構(gòu)造規(guī)則便于理解;其次，決策樹(shù)的構(gòu)建速度快，不存在無(wú)解的情況，且可以處理非數(shù)值數(shù)據(jù)。決策樹(shù)分類算法的缺點(diǎn)是可擴(kuò)展性較差，當(dāng)增加新的實(shí)例時(shí)，原決策樹(shù)就不可再用，需要重新構(gòu)建新的決策樹(shù);對(duì)噪聲比較敏感，當(dāng)數(shù)據(jù)質(zhì)量比較差時(shí)很構(gòu)建效果不理想。(2)貝葉斯分類算法貝葉斯((Bayes)算法是一類基于概率統(tǒng)計(jì)知識(shí)來(lái)進(jìn)行分類的算法。使用該算法預(yù)測(cè)類的可能性，需要己知先驗(yàn)概率與類的條件概率。設(shè)每個(gè)數(shù)據(jù)樣本具有n個(gè)屬性值，則使用一個(gè)n維特征向量來(lái)表示，即，設(shè)共有m個(gè)類，記為。一個(gè)未知類屬的數(shù)據(jù)樣本X,用貝葉斯分類法將它歸為類，則必有1<_j<_m,，即通過(guò)計(jì)算，選擇可能性最大的類別作為該數(shù)據(jù)樣本X的類別，根據(jù)貝葉斯公式計(jì)算而得。其中，是的先驗(yàn)概率，是條件概率。貝葉斯算法能夠達(dá)到良好分類效果的條件是待分類樣本間屬性相互獨(dú)立，否則會(huì)大幅影響分類精度，并且造成極大的計(jì)算開(kāi)銷。并且貝葉斯算法只有在大樣本量數(shù)據(jù)前提下才有較好的分類效果，不適合小樣本數(shù)據(jù)。(3)關(guān)聯(lián)規(guī)則分類算法關(guān)聯(lián)規(guī)則分類算法(Classificationbasedonassociationrule,CBA)以經(jīng)典算法Apriori為代表，是一類通過(guò)關(guān)聯(lián)規(guī)則發(fā)現(xiàn)方法來(lái)進(jìn)行分類的算法。Apriori算法將發(fā)現(xiàn)關(guān)聯(lián)規(guī)則的過(guò)程分為兩個(gè)步驟:第一步通過(guò)迭代，檢索出事務(wù)數(shù)據(jù)庫(kù)中的所有頻繁項(xiàng)集，即支持度不低于用戶設(shè)定的閡值的項(xiàng)集;第二步利用頻繁項(xiàng)集構(gòu)造出滿足用戶最小置信度的規(guī)則。Apriori是一種廣度優(yōu)先的算法，受計(jì)算機(jī)硬件條件約束，時(shí)間代價(jià)高昂。在此基礎(chǔ)上，研究人員提出了一系列改良的關(guān)聯(lián)規(guī)則分類算法。該類算法在很多領(lǐng)域被廣泛應(yīng)用。(4)支持向量機(jī)分類算法支持向量機(jī)(SupportVectorMachine,SVM)}是一種強(qiáng)大的機(jī)器學(xué)習(xí)方法，其基礎(chǔ)是Vapnik創(chuàng)建的統(tǒng)計(jì)學(xué)習(xí)理論(statisticallearningtheory,STL)，采用結(jié)構(gòu)風(fēng)險(xiǎn)最小化(structuralriskminimization,SRM)準(zhǔn)則，在最小化樣本點(diǎn)誤差的同時(shí)，最小化結(jié)構(gòu)風(fēng)險(xiǎn)，提高了模型的泛化能力，并且沒(méi)有數(shù)據(jù)維數(shù)的限制。在進(jìn)行線性分類時(shí)，將分類面取在離兩類樣本距離較大的地方;在進(jìn)行非線性分類時(shí)，通過(guò)高維空間變換，將低維的線性不可分問(wèn)題變換成高維空間的線性可分問(wèn)題。2.2基于神經(jīng)網(wǎng)絡(luò)的分類理論2.2.1神經(jīng)網(wǎng)絡(luò)特征(1)非局限性。網(wǎng)絡(luò)由大量神經(jīng)元構(gòu)成，其中單個(gè)神經(jīng)元的結(jié)構(gòu)和功能都比較簡(jiǎn)單，整個(gè)系統(tǒng)的功能依賴神經(jīng)元間的相互作用和相互影響。(2)非線性。網(wǎng)絡(luò)中的神經(jīng)元模擬生物神經(jīng)元的特征，具有激活和抑制兩種狀態(tài)，決定了網(wǎng)絡(luò)的非線性特征。也決定了神經(jīng)網(wǎng)絡(luò)非常適合解決實(shí)際中的非線性問(wèn)題，具有較高的存儲(chǔ)容量和容錯(cuò)特性。(3)非凸性。一定的情況下，某些函數(shù)可能存在著多個(gè)極值，對(duì)應(yīng)著系統(tǒng)的多個(gè)穩(wěn)定的狀態(tài)，而每個(gè)穩(wěn)定狀態(tài)可能代表著系統(tǒng)朝著某個(gè)方向進(jìn)行演化的能力。所以，神經(jīng)網(wǎng)絡(luò)的非凸性體現(xiàn)在它可能具有多個(gè)穩(wěn)定的平衡態(tài)，繼而可以向多個(gè)方向進(jìn)行演化，具有演化多樣性的特征。(4)非常定性。網(wǎng)絡(luò)會(huì)根據(jù)信息處理的過(guò)程與非線性動(dòng)力系統(tǒng)同時(shí)發(fā)生變化，這便是神經(jīng)網(wǎng)絡(luò)的自組織、自學(xué)習(xí)和自適應(yīng)的能力。神經(jīng)網(wǎng)絡(luò)正是因?yàn)榫哂幸陨咸匦裕阅芙鉀Q許多數(shù)學(xué)方法或基于統(tǒng)計(jì)的方法無(wú)法解決的實(shí)際問(wèn)題，因而得到了非常廣泛的研究與應(yīng)用。目前，神經(jīng)網(wǎng)絡(luò)的應(yīng)用領(lǐng)域不僅包括了計(jì)算機(jī)領(lǐng)域和信息領(lǐng)域，還融合在各大領(lǐng)域中的方方面面。2.2.2神經(jīng)網(wǎng)絡(luò)分類方法神經(jīng)網(wǎng)絡(luò)的應(yīng)用和研究所涉及的領(lǐng)域十分廣泛，如優(yōu)化計(jì)算、智能控制、模式識(shí)別、智能計(jì)算機(jī)研制、計(jì)算機(jī)視覺(jué)、語(yǔ)言的識(shí)別、理解與合成以及經(jīng)濟(jì)等領(lǐng)域，其所解決的問(wèn)題也涵蓋方方面面。然而歸根結(jié)底，神經(jīng)網(wǎng)絡(luò)所解決的問(wèn)題只有兩種，即分類(Classification)與回歸(Regression)。所處理的問(wèn)題是兩者中的哪一個(gè)，僅取決于網(wǎng)絡(luò)的輸出，分類問(wèn)題輸出的是離散的類別標(biāo)記，而回歸問(wèn)題輸出連續(xù)和有序值。故而，分類問(wèn)題在神經(jīng)網(wǎng)絡(luò)研究中占據(jù)半壁江山。如何針對(duì)具體問(wèn)題利用神經(jīng)網(wǎng)絡(luò)構(gòu)建分類器，對(duì)數(shù)據(jù)集進(jìn)行準(zhǔn)確的分類，該研究方向被廣泛關(guān)注。在神經(jīng)網(wǎng)絡(luò)分類中，存在兩類問(wèn)題，是由實(shí)際問(wèn)題和網(wǎng)絡(luò)的學(xué)習(xí)理論相協(xié)調(diào)的結(jié)果。其一是數(shù)據(jù)集中己知數(shù)據(jù)被分為幾類和每個(gè)樣本的類別，即在神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和a}n,」試的時(shí)候，都預(yù)先給出網(wǎng)絡(luò)的期望輸出。網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程，就是根據(jù)預(yù)測(cè)輸出和期望輸出的差值來(lái)調(diào)整網(wǎng)絡(luò)權(quán)重，使得實(shí)際輸出盡可能的逼近期望輸出，這種神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)被稱為“有導(dǎo)師”的學(xué)習(xí)(或“有監(jiān)督”的學(xué)習(xí))，此種分類即為“有導(dǎo)師”的分類。而另外一種情況則相反，數(shù)據(jù)集中沒(méi)有告知樣本被分為幾類和每個(gè)樣本的類別標(biāo)號(hào)，即網(wǎng)絡(luò)無(wú)期望輸出，在此種情況下，所要?jiǎng)澐值念愂俏粗?。此時(shí)網(wǎng)絡(luò)的分類實(shí)際上是一種探索行為，根據(jù)數(shù)據(jù)的特征，進(jìn)行分析與比較，找到內(nèi)在規(guī)律，將對(duì)象的集合聚集而成由類似的對(duì)象所組成的若干類。這種神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)被稱為“無(wú)導(dǎo)師”(或“無(wú)監(jiān)督”的學(xué)習(xí))，此種分類即為“無(wú)導(dǎo)師”的分類，也被稱作“聚類”在某個(gè)實(shí)際的分類問(wèn)題中，需要進(jìn)行“有導(dǎo)師”的分類還是“無(wú)導(dǎo)師”的分類，這是由數(shù)據(jù)集的特征決定的。神經(jīng)網(wǎng)絡(luò)通過(guò)對(duì)己知類別的數(shù)據(jù)集進(jìn)行學(xué)習(xí)，而實(shí)現(xiàn)對(duì)未知類別的數(shù)據(jù)集的分類，即為“有導(dǎo)師”的分類;神經(jīng)網(wǎng)絡(luò)對(duì)未知類別的數(shù)據(jù)集進(jìn)行學(xué)習(xí)，從而將數(shù)據(jù)集中相似的對(duì)象所組成若干類，即為“無(wú)導(dǎo)師”的分類?！盁o(wú)導(dǎo)師”分類中重要的一點(diǎn)是，分類結(jié)果中潛在的知識(shí)是神經(jīng)網(wǎng)絡(luò)研究人員未知的，即研究人員不知道為何要將數(shù)據(jù)集分為這幾類，以及每類所代表的內(nèi)在含義，需要將分類結(jié)果送交相關(guān)領(lǐng)域的專家(如農(nóng)業(yè)領(lǐng)域?qū)＜?進(jìn)行分析和判斷才有可能得出結(jié)論。因此，解決這類問(wèn)題需要具備相關(guān)領(lǐng)域的知識(shí)或有相關(guān)領(lǐng)域?qū)＜覅f(xié)同研究。此外，進(jìn)行兩種分類所選取的神經(jīng)網(wǎng)絡(luò)也是不同的，需要與該神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)模式相匹配。在“有導(dǎo)師”分類問(wèn)題中，可以選取的神經(jīng)網(wǎng)絡(luò)有BP神經(jīng)網(wǎng)絡(luò)，徑向基神經(jīng)網(wǎng)絡(luò)等;在“無(wú)導(dǎo)師”分類問(wèn)題中，可以選用的神經(jīng)網(wǎng)絡(luò)有自組織神經(jīng)網(wǎng)絡(luò)，SOM神經(jīng)網(wǎng)絡(luò)，ART神經(jīng)網(wǎng)絡(luò)等。在本文中，僅研究“有導(dǎo)師”的分類。圖2-1神經(jīng)網(wǎng)絡(luò)分類器設(shè)計(jì)流程2.3本章小結(jié)本章闡述了分類的相關(guān)理論，包括分類的定義，一般步驟，評(píng)價(jià)一個(gè)分類器的相關(guān)標(biāo)準(zhǔn)，并簡(jiǎn)述了幾種傳統(tǒng)的分類方法。重點(diǎn)闡述了神經(jīng)網(wǎng)絡(luò)分類的特點(diǎn)，并結(jié)合智能算法，云計(jì)算等相關(guān)理論分析了神經(jīng)網(wǎng)絡(luò)分類算法的改進(jìn)研究現(xiàn)狀。本文將在現(xiàn)有的研究基礎(chǔ)上，在接來(lái)的章節(jié)中，針對(duì)不同規(guī)模的農(nóng)業(yè)數(shù)據(jù)集，設(shè)計(jì)改進(jìn)及優(yōu)化的神經(jīng)網(wǎng)絡(luò)分類器，實(shí)現(xiàn)對(duì)數(shù)據(jù)集的準(zhǔn)確分類。

3.四種神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)3.1BP神經(jīng)網(wǎng)絡(luò)BP神經(jīng)網(wǎng)絡(luò)概念介紹BP(BackPropagation)網(wǎng)絡(luò)是一種按誤差反向傳播的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。BP網(wǎng)絡(luò)由輸入層、隱層、輸出層構(gòu)成，每層由許多并行運(yùn)算的簡(jiǎn)單神經(jīng)元組成，網(wǎng)絡(luò)的層與層之間的神經(jīng)元采用全互連方式，同層神經(jīng)元之間無(wú)相互連接。其結(jié)構(gòu)如圖2.2所示。圖2.2三層BP網(wǎng)絡(luò)結(jié)構(gòu)BP算法原理分析.BP算法的基本思想是把學(xué)習(xí)過(guò)程分為兩個(gè)階段:第一階段(正向傳播過(guò)程)，給出輸入信息通過(guò)輸入層經(jīng)各隱層逐層處理并計(jì)算每個(gè)單元的實(shí)際輸出值;第二階段(反向過(guò)程)，若在輸出層未能得到期望的輸出值，則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之間的差值(即誤差)，通過(guò)梯度下降法來(lái)修改權(quán)值，使得總誤差函數(shù)達(dá)到最小。以三層BP網(wǎng)絡(luò)為例簡(jiǎn)介其算法思想，如圖2.2所示。設(shè)網(wǎng)絡(luò)的輸入、隱層、輸出節(jié)點(diǎn)數(shù)分別為。n、q、m，輸入樣本總數(shù)為P,表示第p個(gè)樣本的第i個(gè)輸入值，表示輸入層第i個(gè)節(jié)點(diǎn)到隱層第k個(gè)節(jié)點(diǎn)的權(quán)值，為隱層第k個(gè)節(jié)點(diǎn)到輸出層第j個(gè)節(jié)點(diǎn)的權(quán)值。為方便起見(jiàn)，把閾值寫(xiě)入連接權(quán)中，則隱層第k個(gè)節(jié)點(diǎn)的輸出為輸出層第j個(gè)節(jié)點(diǎn)的輸出為：其中激勵(lì)函數(shù)f選用標(biāo)準(zhǔn)的Simoid函數(shù)其導(dǎo)數(shù)滿足定義全局誤差函數(shù)為其中為第p個(gè)樣本的誤差，為理想輸出根據(jù)梯度下降法推導(dǎo)如下的權(quán)值調(diào)整公式。輸出層的的調(diào)整其中稱為學(xué)習(xí)效率，一般取值范圍為0.1~0.3。定義誤差信號(hào)為：其中第一項(xiàng)：第二項(xiàng)于是從而輸出層個(gè)神經(jīng)元權(quán)值公式為隱層權(quán)值的調(diào)整定義誤差信號(hào)為其中于是從而隱層個(gè)神經(jīng)元的權(quán)值調(diào)整公式為3.2.2BP算法的程序的實(shí)現(xiàn)BP算法編程步驟如下：初始化對(duì)權(quán)值矩陣W,V賦隨機(jī)數(shù)，將樣本模式計(jì)數(shù)器p和訓(xùn)練次數(shù)計(jì)數(shù)器i設(shè)置為1，誤差E設(shè)置為0，學(xué)習(xí)率兮設(shè)為0~1間的一個(gè)數(shù)，網(wǎng)絡(luò)訓(xùn)練后達(dá)到的精度Emin。設(shè)為一個(gè)較小正數(shù);輸入訓(xùn)練樣本對(duì)，根據(jù)公式(3.1)、(3.2)計(jì)算隱層和輸出層的輸出;根據(jù)公式(3.3)計(jì)算網(wǎng)絡(luò)輸出誤差;檢查是否對(duì)所有樣本完成一次輪訓(xùn)。若p<P，計(jì)數(shù)器p增1，返回步驟=2\*GB3②，否則轉(zhuǎn)步驟⑤;根據(jù)公式(3.4)、(3.6)計(jì)算各層誤差信號(hào);根據(jù)公式((3.5),(3.7)調(diào)整各層權(quán)值;檢查網(wǎng)絡(luò)總誤差是否達(dá)到精度要求。若E<Emin，訓(xùn)練結(jié)束。計(jì)數(shù)器p增1，i增1，返回步驟②訓(xùn)練結(jié)束，否則p置1,圖3.2BP算法流程用MATLAB程序?qū)崿F(xiàn)一個(gè)BP神經(jīng)網(wǎng)絡(luò)（實(shí)驗(yàn)一）：代碼如下clear;clc;X=[012345678910];D=[01234321234];figure;plot(X,D,'*');%繪制原始數(shù)據(jù)分布圖net=newff([010],[51],{'tansig','purelin'})net.trainParam.epochs=100;net.trainParam.goal=0.005;net=train(net,X,D);O=sim(net,X);figure;plot(X,D,'*',X,O);%繪制訓(xùn)練后得到的結(jié)果和誤差曲線（附錄：2-2、2-3）V=net.iw{1,1}%輸入層到中間層權(quán)值theta1=net.b{1}%中間層各神經(jīng)元閾值W=net.lw{2,1}%中間層到輸出層權(quán)值theta2=net.b{2}%輸出層各神經(jīng)元閾值圖3.1BP神經(jīng)網(wǎng)絡(luò)（左）運(yùn)行圖，（仿真圖像）圖3.2BP神經(jīng)網(wǎng)絡(luò)運(yùn)行時(shí)間3.2神經(jīng)網(wǎng)絡(luò)RBFRBF網(wǎng)絡(luò)是一種三層前向網(wǎng)絡(luò)：第一層為輸入層，由信號(hào)源節(jié)點(diǎn)組成。第二層為隱含層，隱單元的變換函數(shù)是一種局部分布的非負(fù)非線性函數(shù)，他對(duì)中心點(diǎn)徑向?qū)ΨQ且衰減。隱含層的單元數(shù)由所描述問(wèn)題的需要確定。第三層為輸出層，網(wǎng)絡(luò)的輸出是隱單元輸出的線性加權(quán)。RBF網(wǎng)絡(luò)的輸入空間到隱含層空間的變換是非線性的，而從隱含層空間到輸出層空間的變換是線性。不失一般性，假定輸出層只有一個(gè)隱單元，令網(wǎng)絡(luò)的訓(xùn)練樣本對(duì)為，其中為訓(xùn)練樣本的輸入，為訓(xùn)練樣本的期望輸出，對(duì)應(yīng)的實(shí)際輸出為;基函數(shù)為第個(gè)隱單元的輸出為基函數(shù)的中心;為第個(gè)隱單元與輸出單元之間的權(quán)值。單輸出的RBF網(wǎng)絡(luò)的拓?fù)鋱D如圖1所示:圖3.3RBF網(wǎng)絡(luò)的拓?fù)鋱D當(dāng)網(wǎng)絡(luò)輸入訓(xùn)練樣本時(shí)，網(wǎng)絡(luò)的實(shí)際輸出為:(1)通常使用的RBF有：高斯函數(shù)、多二次函數(shù)(multiquadricfunction)、逆多二次函數(shù)、薄板樣條函數(shù)等。普通RBF網(wǎng)絡(luò)采用的是高斯函數(shù)。當(dāng)“基函數(shù)”采用的高斯基函數(shù)具備如下的優(yōu)點(diǎn)：①表示形式簡(jiǎn)單，即使對(duì)于多變量輸入也不增加太多的復(fù)雜性；②徑向?qū)ΨQ；③光滑性好，任意階導(dǎo)數(shù)均存在；由于該基函數(shù)表示簡(jiǎn)單且解析性好，因而便于進(jìn)行理論分析。RBF網(wǎng)絡(luò)具有良好的逼近任意非線性函數(shù)和表達(dá)系統(tǒng)內(nèi)在的難以解析的規(guī)律性的能力，并且具有極快的學(xué)習(xí)收斂速度。基于徑向基函數(shù)網(wǎng)絡(luò)的上述優(yōu)點(diǎn)，我們將其應(yīng)用于對(duì)非線性函數(shù)的模擬當(dāng)中。用MATLAB實(shí)現(xiàn)RBF神經(jīng)網(wǎng)絡(luò)代碼來(lái)擬合，取點(diǎn)數(shù)為400clc;clear;closeall;%產(chǎn)生輸入,generatethelearingdatald=400;%學(xué)習(xí)數(shù)據(jù)個(gè)數(shù)x=rand(2,ld);%0-1x=(x-0.5)*1.5*2;%-1.5,1.5x1=x(1,:);x2=x(2,:);F=20+x1.^2-10*cos(2*pi*x1)+x2.^2-10*cos(2*pi*x2);%創(chuàng)建并訓(xùn)練網(wǎng)絡(luò)net=newrb(x,F);%generatethetestingdatainterval=0.1;[i,j]=meshgrid(-1.5:interval:1.5);row=size(i);%數(shù)據(jù)轉(zhuǎn)化成一維數(shù)據(jù)tx1=i(:);tx1=tx1';tx2=j(:);tx2=tx2';tx=[tx1;tx2];%合并起來(lái)轉(zhuǎn)化成輸入%testing把tx帶到網(wǎng)絡(luò)中來(lái)進(jìn)行模擬ty=sim(net,tx);%這個(gè)數(shù)神經(jīng)網(wǎng)絡(luò)的結(jié)果v=reshape(ty,row);figuresubplot(1,3,2)mesh(i,j,v);zlim([0,60])%plottheoriginalfunctioninterval=0.1;[x1,x2]=meshgrid(-1.5:interval:1.5);%把tx數(shù)據(jù)帶到原始數(shù)據(jù)中產(chǎn)生輸出數(shù)據(jù)F=20+x1.^2-10*cos(2*pi*x1)+x2.^2-10*cos(2*pi*x2);%這個(gè)是理想狀態(tài)下的結(jié)果subplot(1,3,1)mesh(x1,x2,F);zlim([0,60])%plottheerrorsubplot(1,3,3)mesh(x1,x2,F-v);%F-V表示誤差zlim([0,60])程序運(yùn)行結(jié)果如下圖3.4RBF擬合圖圖3.4中左圖是誤差函數(shù)，右圖是第一個(gè)是真實(shí)圖像，第二個(gè)是擬合圖像，第三個(gè)是真是圖像和擬合圖像的誤差?？梢园l(fā)現(xiàn)擬合后誤差一般出現(xiàn)在邊緣。暫時(shí)還沒(méi)有弄明白。下面是運(yùn)行的集體細(xì)節(jié)NEWRB,neurons=0,MSE=108.563NEWRB,neurons=25,MSE=48.7566NEWRB,neurons=50,MSE=3.67744NEWRB,neurons=75,MSE=0.127232NEWRB,neurons=100,MSE=0.00159733NEWRB,neurons=125,MSE=0.000151675NEWRB,neurons=150,MSE=2.15227e-005NEWRB,neurons=175,MSE=1.25495e-005NEWRB,neurons=200,MSE=6.46469e-006NEWRB,neurons=225,MSE=9.7884e-007NEWRB,neurons=250,MSE=1.35793e-006NEWRB,neurons=275,MSE=6.16389e-007NEWRB,neurons=300,MSE=1.14665e-007NEWRB,neurons=325,MSE=1.0913e-007NEWRB,neurons=350,MSE=1.04774e-007NEWRB,neurons=375,MSE=1.24328e-007NEWRB,neurons=400,MSE=6.41081e-0083.3hopfield神經(jīng)網(wǎng)絡(luò)3.3.1原理簡(jiǎn)介：Hopfield網(wǎng)絡(luò)是有反饋的全互聯(lián)型網(wǎng)絡(luò)，其形式如圖3.5所示，N為神經(jīng)元的數(shù)目，V表示神經(jīng)元的輸入向量，U表示輸出向量，W為神經(jīng)元之間的權(quán)值。離散Hopfield網(wǎng)絡(luò)中每個(gè)神經(jīng)元的輸出只能取“1”或“-1”兩種狀態(tài)，各神經(jīng)元的狀態(tài)可用向量V表示：V={v1，v2，…vn}。網(wǎng)絡(luò)中各神經(jīng)元彼此互相連接，即每個(gè)神經(jīng)元將自己的輸出通過(guò)連接權(quán)傳給其它神經(jīng)元，同時(shí)每個(gè)神經(jīng)元接受其它神經(jīng)元傳來(lái)的信息。圖3.5有反饋的全互聯(lián)型網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)的穩(wěn)定性是由能量函數(shù)來(lái)描述的，即對(duì)網(wǎng)絡(luò)的每個(gè)狀態(tài)發(fā)生變化時(shí)，能量函數(shù)E隨著網(wǎng)絡(luò)狀態(tài)變化而嚴(yán)格單調(diào)遞減，這樣Hopfield模型的穩(wěn)定與能量函數(shù)E在狀態(tài)空間的局部極小點(diǎn)將一一對(duì)應(yīng)。設(shè)有N個(gè)神經(jīng)元構(gòu)成的Hopfield網(wǎng)絡(luò)，其中第i個(gè)和第j個(gè)神經(jīng)元節(jié)點(diǎn)狀態(tài)分別記為vi和vj；w是神經(jīng)元i和j的連接權(quán)，為神經(jīng)元i的閾值。節(jié)點(diǎn)的能量可表示為：則整個(gè)Hopfield網(wǎng)絡(luò)整體能量函數(shù)定義為：E=-設(shè)有N個(gè)神經(jīng)元構(gòu)成的Hopfield神經(jīng)網(wǎng)絡(luò)，第i個(gè)神經(jīng)元在t時(shí)刻所接收的來(lái)自其它N-1個(gè)神經(jīng)元輸入信號(hào)的總和記為ui（t），t+1時(shí)刻第i個(gè)神經(jīng)元的輸出值vi（t+1）是符號(hào)函數(shù)作用于ui（t）的某個(gè)閾值時(shí)，該神經(jīng)元將觸發(fā)成興奮狀態(tài)。據(jù)此可知Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則為：在網(wǎng)絡(luò)中隨機(jī)地選擇一個(gè)神經(jīng)元；求所選神經(jīng)元i（1iN）的輸入總和ui(t)=；根據(jù)ui(t)的值大小，更新神經(jīng)元的狀態(tài)if（ui(t)）0thenvi（t+1）=1elsevi（t+1）=0；神經(jīng)元i以外的神經(jīng)元j的狀態(tài)不變化；轉(zhuǎn)向（1），直到網(wǎng)絡(luò)達(dá)到穩(wěn)定。Hopfield網(wǎng)絡(luò)作為記憶的學(xué)習(xí)時(shí)，穩(wěn)定狀態(tài)是給定的，通過(guò)網(wǎng)絡(luò)的學(xué)習(xí)求適合的權(quán)矩陣W（對(duì)稱陣），學(xué)習(xí)完成后以計(jì)算的方式進(jìn)行聯(lián)想。對(duì)給定的M個(gè)模式，Hopfield網(wǎng)絡(luò)可按Hebb規(guī)則來(lái)進(jìn)行學(xué)習(xí)。按上述規(guī)則求出權(quán)矩陣后，可認(rèn)為網(wǎng)絡(luò)已經(jīng)將這M個(gè)模式存入到網(wǎng)絡(luò)的連接權(quán)中。3.3.2離散型Hopfield問(wèn)題描述：設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，使其具有聯(lián)想記憶功能，能正確識(shí)別阿拉伯?dāng)?shù)字，當(dāng)數(shù)字被噪聲污染后仍可以正確地識(shí)別。程序流程：先設(shè)計(jì)好標(biāo)準(zhǔn)的數(shù)字點(diǎn)陣（本文采用10*10矩陣表示），根據(jù)這些標(biāo)準(zhǔn)的數(shù)字點(diǎn)陣創(chuàng)建并訓(xùn)練網(wǎng)絡(luò)，使網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)，用帶噪聲的數(shù)字測(cè)試訓(xùn)練的網(wǎng)絡(luò)。噪聲有兩種形式：一種是固定噪聲；另一種是隨機(jī)噪聲，本文對(duì)兩種噪聲都做討論。設(shè)計(jì)數(shù)字點(diǎn)陣設(shè)計(jì)數(shù)字點(diǎn)陣（0-9）創(chuàng)建Hopfield網(wǎng)絡(luò)產(chǎn)生帶噪聲的數(shù)字點(diǎn)陣數(shù)字識(shí)別測(cè)試結(jié)果分析代碼實(shí)現(xiàn)：（見(jiàn)附錄一）圖3.6matlab數(shù)字點(diǎn)陣實(shí)現(xiàn)圖3.7加入噪聲后的Hopfield復(fù)原圖在圖3.7中，第一行是原圖像，第二行數(shù)是加入噪聲圖像最后一行是用Hopfield圖像仿真的圖像。Hopfield仿真后仍然有些誤差，入2字上部分仿真就不怎么好。3.3.3連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)連續(xù)型Hopfield網(wǎng)絡(luò)（CHNN）是由一些簡(jiǎn)單的電子線路連接起來(lái)實(shí)現(xiàn)的。每個(gè)神經(jīng)元均具有連續(xù)時(shí)間變化的輸出值。采用具有飽和非線性的運(yùn)算放大器來(lái)模擬神經(jīng)元的S型單調(diào)輸入——輸出關(guān)系，即對(duì)于一個(gè)N節(jié)點(diǎn)的CHNN模型來(lái)說(shuō)，其神經(jīng)元狀態(tài)變量的動(dòng)態(tài)變化可用下述非線性微分方程組來(lái)描述圖3.8連續(xù)Hopfield示意圖能量函數(shù)定義為應(yīng)用Hopfield神經(jīng)網(wǎng)絡(luò)來(lái)解決優(yōu)化計(jì)算問(wèn)題的一般步驟為：1）分析問(wèn)題：網(wǎng)絡(luò)輸出與問(wèn)題的解相對(duì)應(yīng)；2）構(gòu)造網(wǎng)絡(luò)能量函數(shù)：使其最小值對(duì)應(yīng)問(wèn)題最佳解；3）設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)：由能量函數(shù)和網(wǎng)絡(luò)穩(wěn)定條件設(shè)計(jì)網(wǎng)絡(luò)參數(shù)，得到動(dòng)力學(xué)方程；4）硬件實(shí)現(xiàn)或軟件模擬。問(wèn)題描述它假定有n個(gè)城市A，B，C，……，它們之間的相互距離分別為要求尋找一條閉合路徑，此路徑歷經(jīng)每個(gè)城市且經(jīng)過(guò)一次，返回起始城市，要求此路徑最短。不考慮方向性和周期性，在給定n的條件下，可能存在的閉合路徑數(shù)目為1/2(n-1)!。隨著n的增大，計(jì)算量急劇增大，會(huì)發(fā)生所謂的“組合爆炸”問(wèn)題。置換矩陣圖3.8不同城市數(shù)中路徑數(shù)量A，B，C，D，E（對(duì)應(yīng)各行）表示城市名稱；1，2，3，4，5（對(duì)應(yīng)各列）表示路徑順序；矩陣中“1”表示該城市在路徑全程中所居順序，其余元素均為“0”。此處路徑順序?yàn)镃→A→E→B→D→C。特點(diǎn)：每行只有一個(gè)“1”，其余元素均為“0”；2）每列只有一個(gè)“1”，其余元素均為“0”；3）全部元素中“1”的總和為n。圖3.9城市連通圖的矩陣描述

具體算法步驟1）置初值和權(quán)值，t=0，A=1.5，D=1.0，U0=0.02；2）讀入N個(gè)城市之間的距離3）神經(jīng)網(wǎng)絡(luò)輸入的初始化；其中，，N為城市個(gè)數(shù)，為（-1，+1）區(qū)間的隨機(jī)值；4）利用動(dòng)態(tài)方程計(jì)算；5）根據(jù)一階歐拉法計(jì)算；6）采用sigmoid函數(shù)計(jì)算;7）計(jì)算能量函數(shù)E；8）檢查路徑合法性，判斷迭代是否結(jié)束，若未結(jié)束返回到第4）步；9）輸出迭代次數(shù)、最優(yōu)路徑、能量函數(shù)、路徑長(zhǎng)度及能量變化。代碼實(shí)現(xiàn)見(jiàn)附件（附錄二）圖3.10實(shí)驗(yàn)原始圖（左）和TSP算法實(shí)現(xiàn)的圖（右）

4結(jié)束語(yǔ)BP神經(jīng)網(wǎng)絡(luò)具有高度的非線性映射能力，能以任意精度逼近非線性函數(shù)，因此比較適合于一些復(fù)雜問(wèn)題的建模。但由于其自身的缺點(diǎn)，如收斂速度慢、目標(biāo)函數(shù)存在局部極小點(diǎn)、難以確定隱含層數(shù)和隱節(jié)點(diǎn)數(shù)等，使其在應(yīng)用方面受到限制。本論文對(duì)人工神經(jīng)網(wǎng)絡(luò)，特別是BP網(wǎng)絡(luò)作了系統(tǒng)的綜述，對(duì)BP網(wǎng)絡(luò)的工作原理進(jìn)行了詳細(xì)的推導(dǎo)、給出了算法步驟，并對(duì)網(wǎng)絡(luò)的性能及存在缺陷的原因作了詳盡分析。RBF網(wǎng)絡(luò)確實(shí)比BP網(wǎng)絡(luò)體現(xiàn)出更強(qiáng)的函數(shù)逼近和分類能力。而且訓(xùn)練速度明顯提高，訓(xùn)練步數(shù)顯著減少。由此，可以看出RBF網(wǎng)絡(luò)具有下列優(yōu)點(diǎn):①它具有唯一最佳逼近的特性，且無(wú)局部極小問(wèn)題存在。②RBF神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的輸入和輸出映射功能，并且理論證明在前向網(wǎng)絡(luò)中RBF網(wǎng)絡(luò)是完成映射功能的最優(yōu)網(wǎng)絡(luò)。③網(wǎng)絡(luò)連接權(quán)值與輸出呈線性關(guān)系。=4\*GB3④分類能力好。=5\*GB3⑤學(xué)習(xí)過(guò)程收斂速度快。Hopfield神經(jīng)網(wǎng)絡(luò)BP網(wǎng)絡(luò)是誤差反向傳播網(wǎng)絡(luò),屬于多層感知器網(wǎng)絡(luò),輸入和輸出節(jié)點(diǎn)數(shù)根據(jù)需要設(shè)置,可用于模式識(shí)別,分類,預(yù)測(cè)等,Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield網(wǎng)絡(luò)屬于無(wú)監(jiān)督學(xué)習(xí)神經(jīng)元網(wǎng)絡(luò),網(wǎng)絡(luò)是單層反饋網(wǎng)絡(luò),有連續(xù)性和離散型之分。Hopfield網(wǎng)絡(luò)的原型是一個(gè)非線性動(dòng)力學(xué)系統(tǒng),目前,已經(jīng)在聯(lián)想記憶和優(yōu)化計(jì)算中得到成功應(yīng)用.基于上面三種神經(jīng)網(wǎng)絡(luò)以及代碼實(shí)現(xiàn)我們發(fā)現(xiàn)每個(gè)神經(jīng)網(wǎng)絡(luò)都有其優(yōu)缺點(diǎn)，具體應(yīng)用時(shí)具體分析。

參考文獻(xiàn)：[1](加)jiawenhan，MichelineKamber,孟小峰譯數(shù)據(jù)挖掘概念與技術(shù)[M].2008:184-229.[2]高鵬毅,陳傳波,BP神經(jīng)網(wǎng)絡(luò)分類器優(yōu)化技術(shù)研究[D]2012:39-83[3]陳琪，葉吉祥,基于RBF的語(yǔ)音情感識(shí)別方法研究[D]2010:28-41[4]孫娓娓，劉瓊蓀,BP神經(jīng)網(wǎng)絡(luò)的算法改進(jìn)及應(yīng)用研究[D]2009:1-14[5]韓家煒,孟小峰,王靜等,Web挖掘研究[J],計(jì)算機(jī)研究與發(fā)展,2001,(38).[6]李楊,楊寶華,基于神經(jīng)網(wǎng)絡(luò)的分類器設(shè)計(jì)及優(yōu)化[D]2013:6-20[7]王雅琊,瞎幼明,基于樸素貝葉斯和BP神經(jīng)網(wǎng)絡(luò)的中文文本分類問(wèn)題研究[D]2008:9-43[8]馬芳,基于神經(jīng)網(wǎng)絡(luò)文本挖掘在專利自動(dòng)分類中的研究應(yīng)用[D]2009:14-24[9]CritesRH,BartoAG.Elevatorgroupcontrolusingmultiplereinforcementlearningagents.MachineLearning,1998,33(2-3):235-262[10]StanleyKO,MiikkulainenR.Evolvingneuralnetworksthroughaugmentingtopologies.EvolutionaryComputation,2002,10(2):99-127[11]Y.Peng,Z.Wu,J.Jiang.Anovelfeatureselectionapproachforbiomedicaldataclassification.JournalofBiomedicalInformatics,2010,43(1):15-23.

附錄一number_model.mzero=[-111111111-1;-111111111-1;...-111-1-1-1-111-1;-111-1-1-1-111-1;...-111-1-1-1-111-1;-111-1-1-1-111-1;...-111-1-1-1-111-1;-111-1-1-1-111-1;...-111111111-1;-111111111-1];ZERO=imresize(zero,20);subplot(2,5,1)imshow(ZERO)one=[-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1];ONE=imresize(one,20);subplot(2,5,2)imshow(ONE)two=[-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-111111111-1;-111111111-1;...-111-1-1-1-1-1-1-1;-111-1-1-1-1-1-1-1;...-111111111-1;-111111111-1];TWO=imresize(two,20);subplot(2,5,3)imshow(TWO)three=[-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-111111111-1;-111111111-1];THREE=imresize(three,20);subplot(2,5,4)imshow(THREE)four=[-111-1-1-1-111-1;-111-1-1-1-111-1;...-111-1-1-1-111-1;-111-1-1-1-111-1;...-111-1-1-1-111-1;-111111111-1;...-111111111-1;-1-1-1-1-1-1-111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1];FOUR=imresize(four,20);subplot(2,5,5)imshow(FOUR)five=[-111111111-1;-111111111-1;...-111-1-1-1-1-1-1-1;-111-1-1-1-1-1-1-1;...-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-111111111-1;-111111111-1];FIVE=imresize(five,20);subplot(2,5,6)imshow(FIVE)six=[-111111111-1;-111111111-1;...-111-1-1-1-1-1-1-1;-111-1-1-1-1-1-1-1;...-111111111-1;-111111111-1;...-111-1-1-1-111-1;-111-1-1-1-111-1;...-111111111-1;-111111111-1];SIX=imresize(six,20);subplot(2,5,7)imshow(SIX)seven=[-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1];SEVEN=imresize(seven,20);subplot(2,5,8)imshow(SEVEN)eight=[-111111111-1;-111111111-1;...-111-1-1-1-111-1;-111-1-1-1-111-1;...-111111111-1;-111111111-1;...-111-1-1-1-111-1;-111-1-1-1-111-1;...-111111111-1;-111111111-1];EIGHT=imresize(eight,20);subplot(2,5,9)imshow(EIGHT)nine=[-111111111-1;-111111111-1;...-111-1-1-1-111-1;-111-1-1-1-111-1;...-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-111111111-1;-111111111-1];NINE=imresize(nine,20);subplot(2,5,10)imshow(NINE)Hopfield.m%%0和1的標(biāo)準(zhǔn)矩陣standardnumberarrayone=[-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1];two=[-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-111111111-1;-111111111-1;...-111-1-1-1-1-1-1-1;-111-1-1-1-1-1-1-1;...-111111111-1;-111111111-1];%%畫(huà)出0,1的矩陣-plotstandardnumberfigureONE=imresize(one,20);subplot(3,2,1)imshow(ONE)title('standnumber')TWO=imresize(two,20);subplot(3,2,2)imshow(TWO)title('standnumber')%%創(chuàng)建網(wǎng)絡(luò)createhopfieldnetT=[one;two]';net=newhop(T);%人工加噪聲這個(gè)是產(chǎn)生0,1的噪聲generatenoise%noisearray(fixednoise)%no1=[-1-1-1-111-1-1-1-1;-1-1-1-11-1-1-1-1-1;...%-1-11-111-1-1-1-1;-1-1-1-1111-1-1-1;...%-1-1-1-1-11-1-1-1-1;-1-1-1-111-11-1-1;...%-1-1-1-111-1-1-1-1;-11-1-111-1-1-1-1;...%-1-1-1-1-11-1-1-1-1;-1-1-1-111-1-11-1];%%no2=[-1111-111-11-1;-111111111-1;...%-1-11-11-1-111-1;-1-1-11-11-111-1;...%-111111111-1;-111111111-1;...%-111-1-1-1-1-1-1-1;-111-1-1-1-1-1-1-1;...%-1111-11111-1;-111-111111-1];%隨機(jī)加噪聲的noisearray(randnoise)%這是一個(gè)產(chǎn)生隨機(jī)噪聲的方法rand('state',0);%初始化fori=1:100a=rand;ifa<0.15%加入百分之十的噪聲，由我們修改one(i)=-one(i);%把原本是是1的地方改為-1two(i)=-two(i);%原本是-1的地方改為1endendno1=one;%賦值給兩個(gè)噪聲矩陣no2=two;%畫(huà)加入噪聲后圖形的樣子plotnoisyfiguresubplot(3,2,3)NO1=imresize(no1,20);imshow(NO1)title('noisynumber')subplot(3,2,4)NO2=imresize(no2,20);imshow(NO2)title('noisynumber')%仿真的結(jié)果plotidentifyfigurenoise1={(no1)'};tu1=sim(net,{10,10},{},noise1);tu1{10}'subplot(3,2,5)imshow(imresize(tu1{10}',20))title('identifynumber')noise2={(no2)'};tu2=sim(net,{10,10},{},noise2);tu2{10}'subplot(3,2,6)imshow(imresize(tu2{10}',20))title('identifynumber;附錄二8.txt0.10.10.90.50.90.10.450.90.90.80.70.90.10.450.450.1DeltaU.mfunctiondu=DeltaU(V,d,A,D)[n,n]=size(V);t1=repmat(sum(V,2)-1,1,n);t2=repmat(sum(V,1)-1,n,1);PermitV=V(:,2:n);PermitV=[PermitVV(:,1)];t3=d*PermitV;du=-1*(A*t1+A*t2+D*t3);Energy.m%%%%%%計(jì)算能量函數(shù)functionE=Energy(V,d,A,D)[n,n]=size(V);t1=sumsqr(sum(V,2)-1);t2=sumsqr(sum(V,1)-1);PermitV=V(:,2:n);PermitV=[PermitVV(:,1)];temp=d*PermitV;t3=sum(sum(V.*temp));E=0.5*(A*t1+A*t2+D*t3);Final_RouteLength.m%%%%%%計(jì)算最終總