基于BP神經(jīng)網(wǎng)絡(luò)的花卉種類分類

基于BP神經(jīng)網(wǎng)絡(luò)的花卉種類分類專業(yè)：電子與通信工程摘要：文章對BP神經(jīng)網(wǎng)絡(luò)的基本原理做了介紹。選用Iris數(shù)據(jù)集作為數(shù)據(jù)源，通過MATLAB的BP網(wǎng)絡(luò)工具箱對訓(xùn)練集進(jìn)行訓(xùn)練，使用生成的分類器對測試集數(shù)據(jù)進(jìn)行分類。仿真實(shí)驗(yàn)結(jié)果表明，基于BP神經(jīng)網(wǎng)絡(luò)分類器的識別方法具有較高的識別率。關(guān)鍵詞：BP神經(jīng)網(wǎng)絡(luò)；數(shù)據(jù)分類；MATLABAbstract:ThepaperintroducesthebasicprincipleofBPneuralnetwork.TheIrisdatasetistrainedandtestedbasedontheBPneuralnetworktoolboxofMATLAB.TheresultofsimulationshowsthattherecognitionmethodbasedontheBPneuralnetworkhasahighrecognitionrate.Keywords:BPneuralnetwork;Dataclassification;MATLAB1引言隨著互聯(lián)網(wǎng)的廣泛應(yīng)用和數(shù)據(jù)庫技術(shù)的發(fā)展，數(shù)據(jù)挖掘技術(shù)越來越受到人們重視。目前數(shù)據(jù)挖掘的功能主要包括概念描述、關(guān)聯(lián)和相關(guān)性分析、分類與回歸、聚類分析和偏差檢測等。分類的主要方法有決策樹分類、樸素貝葉斯分類、貝葉斯信念網(wǎng)絡(luò)分類、神經(jīng)網(wǎng)絡(luò)分類、支持向量機(jī)分類等[1]。人工神經(jīng)網(wǎng)絡(luò)算法(Artificial

Neural

Networks，ANNs)是機(jī)器學(xué)習(xí)中一種十分重要的算法，人工神經(jīng)網(wǎng)絡(luò)以其獨(dú)特的優(yōu)點(diǎn)，受到了機(jī)器學(xué)習(xí)領(lǐng)域的廣泛關(guān)注。

本文主要關(guān)注的是一類特殊的人工神經(jīng)網(wǎng)絡(luò)—后向傳播神經(jīng)網(wǎng)絡(luò)(簡稱BP神經(jīng)網(wǎng)絡(luò))。BP神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)算法中一種應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)[2]。其主要具有如下特點(diǎn)：可以以任何精度逼近任意的非線性函數(shù)，而無需事先描述該關(guān)系的數(shù)學(xué)方程；.具有一定的抗噪能力或訓(xùn)練實(shí)例的容錯(cuò)性；能夠在一定程度上對未分類實(shí)例進(jìn)行區(qū)分。因此，BP神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中具有極為廣泛的用途[3]。2BP神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)和原理2.1BP神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)BP(Back-Propagation)神經(jīng)網(wǎng)，也稱為誤差后向傳播神經(jīng)網(wǎng)絡(luò)[4]。后向傳播算法在多層前饋神經(jīng)網(wǎng)絡(luò)上學(xué)習(xí)，多層前饋神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層、一個(gè)或多個(gè)隱藏層和一個(gè)輸出層組成，如圖1所示。網(wǎng)絡(luò)是前饋的，其權(quán)重都不回送到輸入單元，或前一層的輸出單元；網(wǎng)絡(luò)是全連接的，其每個(gè)單元都向下一層的每個(gè)單元提供輸入。輸入層和隱藏層之間以及隱藏層和輸出層之間通過權(quán)值來表示連接強(qiáng)度。隱藏層的數(shù)量是任意的，給定足夠多的隱藏單元和足夠的訓(xùn)練樣本,多層前饋神經(jīng)網(wǎng)絡(luò)可以逼近任意函數(shù)。目前，最流行的神經(jīng)網(wǎng)絡(luò)算法是后向傳播[5]。圖1神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)2.2BP算法基本原理BP算法的基本思想：迭代地處理訓(xùn)練元組數(shù)據(jù)集,將每個(gè)元組的網(wǎng)絡(luò)預(yù)測與實(shí)際知道的類標(biāo)號相比較進(jìn)行學(xué)習(xí)，對于每個(gè)訓(xùn)練樣本,修改權(quán)重使得網(wǎng)絡(luò)預(yù)測和實(shí)際類之間的均方誤差最小。一般地，權(quán)重將最終收斂，學(xué)習(xí)過程停止。BP算法是信號的正向傳播與誤差的反向傳播兩個(gè)過程，其實(shí)質(zhì)是求取誤差函數(shù)的最小值問題[6]。BP神經(jīng)網(wǎng)絡(luò)按有師學(xué)習(xí)方法進(jìn)行訓(xùn)練，當(dāng)一對學(xué)習(xí)模式提供給網(wǎng)絡(luò)后，其神經(jīng)元的激活值將從輸入層經(jīng)各隱藏層向輸出層傳播，在輸出層的各神經(jīng)元輸出對應(yīng)輸入模式的網(wǎng)絡(luò)響應(yīng)。然后，按減少希望輸出與實(shí)際輸出誤差的原則，從輸出層經(jīng)各隱藏層、最后回到輸入層逐層修正各連接權(quán)[7]。由于這種修正過程是從輸出層到輸入層逐層進(jìn)行的，所以稱其為“誤差逆?zhèn)鞑ニ惴ā?。隨著這種誤差逆?zhèn)鞑ビ?xùn)練的不斷進(jìn)行，網(wǎng)絡(luò)對輸入模式響應(yīng)的正確率也將不斷提高。BP算法的具體步驟如下：2.2.1初始化權(quán)重和偏倚網(wǎng)絡(luò)的權(quán)重被初始化為小隨機(jī)數(shù)(例如：由-1.0到1.0，或由-0.5到0.5)。每個(gè)單元都有一個(gè)相關(guān)聯(lián)的偏倚，類似地,偏倚也初始化為小隨機(jī)數(shù)。2.2.2計(jì)算向前傳播輸入和輸出首先，訓(xùn)練元組提供給網(wǎng)絡(luò)的輸入層，計(jì)算隱藏層和輸出層每個(gè)單元的凈輸入和輸出。對于輸入層的單元j，它的輸出等于它的輸入。然后，計(jì)算隱藏層和輸出層每個(gè)單元的凈輸入和輸出。給定隱藏層或輸出層的單元j，到單元j的凈輸入是：其中，是上一層的單元i到單元j的連接權(quán)重；是上一層的單元i的輸出；是單元j的偏倚。隱藏層和輸出層的每個(gè)單元取其凈輸入，然后將激活函數(shù)作用于它，如圖2所示。對于每個(gè)隱藏層，直到輸出層，我們計(jì)算輸出值，給出網(wǎng)絡(luò)預(yù)測，單元j的輸出為：圖2隱藏層和輸出層單元輸出示意圖2.2.3更新向后傳播誤差通過更新權(quán)重和反映網(wǎng)絡(luò)預(yù)測誤差的偏倚，調(diào)整向后傳播誤差。對于輸出層單元j,其誤差計(jì)算公式為：其中，是單元j的實(shí)際輸出，是給定訓(xùn)練元組的已知目標(biāo)值，是激活函數(shù)的導(dǎo)數(shù)。隱藏層單元j的誤差為：其中，是由下一較高層中單元k到單元j的連接權(quán)重，是單元k的誤差。更新權(quán)重和偏倚，以反映傳播的誤差。權(quán)重更新公式為：其中，是權(quán)重的改變量，變量是學(xué)習(xí)率，通常取0到1之間的常數(shù)值后向傳播使用梯度下降法搜索權(quán)重的集合，這些權(quán)重?cái)M合訓(xùn)練數(shù)據(jù)，使得樣本的網(wǎng)絡(luò)預(yù)測與元組的已知目標(biāo)值之間的均方距離最小。學(xué)習(xí)率有助避免陷入決策空間的局部極小，并有助于找到全局最小。如果學(xué)習(xí)率太低，則學(xué)習(xí)將進(jìn)行得很慢。如果學(xué)習(xí)率太高，則可能出現(xiàn)在不適當(dāng)?shù)慕庵g的擺動(dòng)[8]。偏倚由下式進(jìn)行更新，其中，是偏倚的改變量。2.2.4終止條件當(dāng)前一周期所有的都小于某個(gè)指定的閾值，或前一周期未正確分類的元組百分比小于某個(gè)閾值，或訓(xùn)練周期數(shù)超過預(yù)先指定的周期數(shù)，則訓(xùn)練終止。3BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練與測試訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前，在開始訓(xùn)練之前，用戶必須說明輸入層的單元數(shù)、隱藏層數(shù)(如果多于一層)、每一隱藏層的單元數(shù)和輸出層的單元數(shù)，以確定網(wǎng)絡(luò)拓?fù)?。?gòu)建完了BP神經(jīng)網(wǎng)絡(luò)分類器的結(jié)構(gòu)即各層單元個(gè)數(shù)，我們就可以通過訓(xùn)練來確定各層單元之間的連接權(quán)重，從而得到一個(gè)BP神經(jīng)網(wǎng)絡(luò)分類器，使用訓(xùn)練生成的分類器對測試集數(shù)據(jù)進(jìn)行測試，然后對該分類器進(jìn)行評價(jià)[9]。BP神經(jīng)網(wǎng)絡(luò)分類器訓(xùn)練和測試流程如圖3所示。圖3訓(xùn)練及測試流程圖本文采用UCI上的Iris數(shù)據(jù)集作為訓(xùn)練樣本，該數(shù)據(jù)集也稱為鳶尾花卉數(shù)據(jù)集，是一類多重變量分析的數(shù)據(jù)集[10]。其數(shù)據(jù)集包含了150個(gè)樣本，都屬于鳶尾屬下的三個(gè)亞屬，分別是山鳶尾(Irissetosa)，變色鳶尾(Irisversicolor)和維吉尼亞鳶尾(Irisvirginica)。四個(gè)特征被用作樣本的定量分析，分別是花萼的長度、花瓣的長度、花萼的寬度、花瓣的寬度。試驗(yàn)中所用的數(shù)據(jù)集已經(jīng)分為三類，第一組為山鳶尾數(shù)據(jù)，類別號為1；第二組為變色鳶尾數(shù)據(jù)，類別號為2；第三組為維吉尼亞鳶尾數(shù)據(jù)，類別號為3。實(shí)驗(yàn)將每一類的前三十個(gè)樣本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，每一類剩余的二十個(gè)樣本數(shù)據(jù)作為測試集數(shù)據(jù)。網(wǎng)絡(luò)拓?fù)涞妮斎雽釉O(shè)立四個(gè)輸入單元，分別對應(yīng)每一類花卉的四個(gè)特征，輸出層設(shè)立三個(gè)單元。使用matlab函數(shù)庫中的newff函數(shù)創(chuàng)建BP神經(jīng)網(wǎng)絡(luò)，調(diào)用train函數(shù)進(jìn)行訓(xùn)練得到分類器。將測試樣本代入訓(xùn)練得到的分類器中進(jìn)行測試，得到分類結(jié)果與測試性能曲線。4仿真結(jié)果分析根據(jù)BP神經(jīng)網(wǎng)絡(luò)的基本原理以及訓(xùn)練和測試流程，首先通過MATLAB對訓(xùn)練訓(xùn)練的過程和結(jié)果進(jìn)行仿真。輸出單元為三個(gè)，輸出100為山鳶尾花卉，輸出010為變色鳶尾花卉，輸出為001為維吉尼亞鳶尾花卉，隱藏層使用Sigmoid函數(shù)作為傳輸函數(shù)數(shù)[10-11]。BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置如圖4所示圖4BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)圖其中，隱藏層單元數(shù)為5，輸出層單元數(shù)為3，訓(xùn)練迭代次數(shù)為1000，學(xué)習(xí)率為0.01。訓(xùn)練集樣本均方誤差與訓(xùn)練次數(shù)關(guān)系曲線圖如圖5所示。圖5BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果使用得到的BP神經(jīng)網(wǎng)絡(luò)分類器對測試集進(jìn)行分類，其識別率和分類結(jié)果三維散點(diǎn)圖分別如圖6和圖7所示。圖6識別率圖7分類結(jié)果(2)BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置如圖8所示圖8BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練參數(shù)圖其中，隱藏層單元數(shù)為10，輸出層單元數(shù)為3，8訓(xùn)練迭代次數(shù)為1000，學(xué)習(xí)率為0.01。訓(xùn)練集樣本均方誤差與訓(xùn)練次數(shù)關(guān)系曲線圖如圖9所示。圖9BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果使用得到的BP神經(jīng)網(wǎng)絡(luò)分類器對測試集進(jìn)行分類，其識別率和分類結(jié)果三維散點(diǎn)圖分別如圖10和圖11所示。圖10識別率圖11分類結(jié)果測試實(shí)驗(yàn)結(jié)果表明：改變訓(xùn)練次數(shù)和隱藏層單元數(shù)目，可以降低訓(xùn)練誤差，同時(shí)提高樣本分類的識別率。采用BP神經(jīng)網(wǎng)絡(luò)算法對包含四個(gè)屬性、三個(gè)類別的數(shù)據(jù)集進(jìn)行分類，其分類器識別率達(dá)到了98.333%，該分類器具有良好的分類效果。但是誤差并沒有達(dá)到目標(biāo)值，這是由于訓(xùn)練樣本數(shù)目足夠多，增加樣本數(shù)可以進(jìn)一步縮小均方誤差。通過以上的MATLAB仿真，我們從訓(xùn)練樣本中得到了BP神經(jīng)網(wǎng)絡(luò)分類器，然后對于這個(gè)分類器進(jìn)行測試也得到了理想的分類效果。實(shí)際中，我們也可以在允許的范圍內(nèi)調(diào)整學(xué)習(xí)步長、增減隱藏層單元數(shù)目、增加訓(xùn)練迭代次數(shù)、改變傳遞函數(shù)形式等方式，可以改善BP神經(jīng)網(wǎng)絡(luò)分類器。5結(jié)論本文介紹了BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)和后向傳播算法的基本原理，并運(yùn)用IRIS數(shù)據(jù)集進(jìn)行了實(shí)例仿真，通過MATLAB軟件的神經(jīng)網(wǎng)絡(luò)工具箱訓(xùn)練得到BP神經(jīng)網(wǎng)絡(luò)分類器，通過測試數(shù)據(jù)集驗(yàn)證對三類花卉進(jìn)行分類，證明該分類器具有良好的分類的效果。參考文獻(xiàn)[1]董艷,程文俊.數(shù)據(jù)挖掘原理與應(yīng)用[M].北京：清華大學(xué)出版社,2010.[2]余靜,游志勝.自動(dòng)目標(biāo)識別與跟蹤技術(shù)研究綜述[J].計(jì)算機(jī)應(yīng)用研究,2005(1):12-15.[3]張明路,彭商賢.用于移動(dòng)機(jī)器人避障的人工神經(jīng)網(wǎng)絡(luò)和模糊邏輯控制技術(shù)[J].中國機(jī)械工程,1997,8(2):21-24.[4]楊淑瑩.模式識別與智能計(jì)算[M].北京:電子工業(yè)出版社,2011.[5]JiaweiHan.數(shù)據(jù)挖掘:概念與技術(shù)[M].范明,孟小峰等譯.北京:機(jī)械工業(yè)出版社,2001.[6]張秋豪,孟憲輝.基于BP神經(jīng)網(wǎng)絡(luò)的障礙物模式識別[J].電腦知識與技術(shù),2011,7(35):9205-9208.[7]ZHANGGP.Neuralnetworksforclassification[J].IEEETransonSystemsManandCybemetics-PartC:ApplicationandReviews,2000,