基于BP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別實(shí)驗(yàn)報(bào)告

1、基于BPBP神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識(shí)別實(shí)驗(yàn)報(bào)告基于BP神經(jīng)網(wǎng)絡(luò)的手寫體數(shù)字圖像識(shí)別PT1700105PT1700105寧崇宇PT1700106PT1700106陳玉磊PT1700104PT1700104安傳旭摘要在信息化飛速發(fā)展的時(shí)代，光學(xué)字符識(shí)別是 一個(gè)重要的信息錄入與信息轉(zhuǎn)化的手段， 其中手 寫體數(shù)字的識(shí)別有著廣泛地應(yīng)用，女口：郵政編碼、 統(tǒng)計(jì)報(bào)表、銀行票據(jù)等等，因其廣泛地應(yīng)用范圍， 能帶來(lái)巨大的經(jīng)濟(jì)與社會(huì)效益本文結(jié)合深度學(xué)習(xí)理論，利用 BPBP神經(jīng)網(wǎng)絡(luò)對(duì)手寫體數(shù)字?jǐn)?shù)據(jù)集MNISTMNIST進(jìn)行分析，作為機(jī)器 學(xué)習(xí)課程的一次實(shí)踐，熟悉了目前廣泛使用的MatlabMatlab工具，深入理解了神經(jīng)

2、網(wǎng)絡(luò)的訓(xùn)練過(guò)程， 作為非計(jì)算機(jī)專業(yè)的學(xué)生，結(jié)合該課題掌握了用 習(xí)與自身領(lǐng)域相結(jié)合打下了基礎(chǔ)1引言從計(jì)算機(jī)發(fā)明之初，人們就希望它能夠幫助甚至代替人類完成重復(fù)性勞作。 利用巨大的存儲(chǔ)空間和超高的運(yùn)算速度，計(jì)算機(jī)已經(jīng)可以非常輕易地完成一些對(duì) 于人類非常困難的工作，然而，一些人類通過(guò)直覺(jué)可以很快解決的問(wèn)題， 卻很難 通過(guò)計(jì)算機(jī)解決，這些問(wèn)題包括自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別等等，它們 就是人工智能需要解決的問(wèn)題。計(jì)算機(jī)要想人類一樣完成更多的智能工作， 就需要掌握關(guān)于這個(gè)世界的海量 知識(shí)，很多早期的人工智能系統(tǒng)只能成功應(yīng)用于相對(duì)特定的環(huán)境，在這些特定環(huán)境下，計(jì)算機(jī)需要了解的知識(shí)很容易被嚴(yán)格完整地定義。

3、為了使計(jì)算機(jī)更多地掌握開放環(huán)境下的知識(shí)，研究人員進(jìn)行了很多的嘗試。 其中影響力很大的一個(gè)領(lǐng)域就是知識(shí)圖庫(kù)（Ontology），WordNet是在開放環(huán) 境中建立的一個(gè)較 大且有影響力的知識(shí)圖庫(kù)，也有不少研究人員嘗 試將 Wikipedia中的知識(shí)整理成知識(shí)圖庫(kù)，但是建立知識(shí)圖庫(kù)一方面需要花費(fèi)大量的 人力和物力，另一方面知識(shí)圖庫(kù)方式明確定義的知識(shí)有限，不是所有的知識(shí)都可 以明確地定義成計(jì)算機(jī)可以理解的固定格式。很大一部分無(wú)法明確定義的知識(shí)， 就是人類的經(jīng)驗(yàn)，如何讓計(jì)算機(jī)跟人類一樣從歷史的經(jīng)驗(yàn)中獲取新的知識(shí)，這就是機(jī)器學(xué)習(xí)需要解決的問(wèn)題?？▋?nèi)基梅隆大學(xué)的Tom Michael Mitchell教授

4、在1997年出版的書籍中將機(jī) 器學(xué)習(xí)定義為“如果一個(gè)程序可以在任務(wù)T上，隨著經(jīng)驗(yàn)E的增加，效果P也可 以隨之增加，則稱這個(gè)程序可以從經(jīng)驗(yàn)中學(xué)習(xí)”。邏輯提取算法可以從訓(xùn)練數(shù)據(jù) 中計(jì)算出每個(gè)特征和預(yù)測(cè)結(jié)果的相關(guān)度，在大部分情況下，在訓(xùn)練數(shù)據(jù)達(dá)到一定 數(shù)量之前，越多的訓(xùn)練數(shù)據(jù)可以使邏輯回歸算法的判斷越精確，但是邏輯回歸算法有可能無(wú)法從數(shù)據(jù)中學(xué)習(xí)到好的特征表達(dá)，這也是很多傳統(tǒng)機(jī)器學(xué)習(xí)算法的共同冋題。對(duì)機(jī)器學(xué)習(xí)問(wèn)題來(lái)說(shuō)，特征提取不是一件簡(jiǎn)單的事情。在一些復(fù)雜問(wèn)題上， 要通過(guò)人工的方式設(shè)計(jì)有效的特征集合，需要很多的時(shí)間和精力，甚至需要整個(gè)領(lǐng)域數(shù)十年的研究投入。既然人工無(wú)法很好地抽取實(shí)體中的特征， 那么是否

5、有自 動(dòng)的方式呢？深度學(xué)習(xí)解決的核心問(wèn)題就是自動(dòng)地將簡(jiǎn)單的特征組合成更加復(fù) 雜的特征，并使用這些特征解決問(wèn)題。因?yàn)樯疃葘W(xué)習(xí)的通用性，深度學(xué)習(xí)的研究者往往可以跨越多個(gè)研究方向， 甚 至同時(shí)活躍于數(shù)個(gè)研究方向。雖然深度學(xué)習(xí)受到了大腦工作原理的啟發(fā)， 但現(xiàn)代 深度學(xué)習(xí)研究的發(fā)展并不拘泥于模擬人腦神經(jīng)元和人腦的工作原理， 各種廣泛應(yīng) 用的機(jī)器學(xué)習(xí)框架也不是由神經(jīng)網(wǎng)絡(luò)啟發(fā)而來(lái)的。MATLAB是美國(guó)MathWorks公司出品的商業(yè)數(shù)學(xué)軟件，用于算法開發(fā)、數(shù) 據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計(jì)算的高級(jí)技術(shù)計(jì)算語(yǔ)言和交互式環(huán)境， 主要包括 MATLAB和Simulink兩大部分。MNIST是一個(gè)非常有名的手寫體數(shù)字

6、識(shí)別數(shù)據(jù)集，被廣泛用作機(jī)器學(xué)習(xí)的 入門樣例，它包含了 60000張圖片作為訓(xùn)練數(shù)據(jù)，10000張圖片作為測(cè)試數(shù)據(jù)， 每一張圖片代表了 09中的一個(gè)數(shù)字，圖片的大小為 28x28，且數(shù)字會(huì)出現(xiàn)在 圖片的正中間。本文以該數(shù)據(jù)集為例，基于Matlab來(lái)分析BP神經(jīng)網(wǎng)絡(luò)的性能。f(z)1 exp( z)2運(yùn)行環(huán)境本設(shè)計(jì)在 Windows 10下進(jìn)行設(shè)計(jì)、主要利用 Matlab工具環(huán)境，進(jìn)行模 擬演示。3方法概述3.1神經(jīng)元網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算 法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連 接的關(guān)系，從而達(dá)到處理信息的目的。神經(jīng)

7、網(wǎng)絡(luò)由多個(gè)神經(jīng)元構(gòu)成，下圖就是單個(gè)神經(jīng)元的圖 1所示：圖1 1神經(jīng)元模型這個(gè)神經(jīng)元是以 Xi, X2,X3以及截距1為輸入值的運(yùn)算單元，其輸出為hW,b(x)f(WTx) f( 3WN b)，其中函數(shù)f()被稱作“激活函數(shù)”。一般選用sigmoid函數(shù)作為激活函數(shù)f ()圖2 2 sigmoidsigmoid函數(shù)圖像神經(jīng)網(wǎng)絡(luò)就是將許多個(gè)單一的神經(jīng)元聯(lián)結(jié)在一起，這樣，一個(gè)神經(jīng)元的輸出就可以是另一個(gè)神經(jīng)元的輸入例如，下圖就是一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò):layer qLayer圖3 3神經(jīng)網(wǎng)絡(luò)示意圖我們用a(l)第l層第i單元的激活值(輸出值)。當(dāng)丨1時(shí)，a(l)人，也就是 第i個(gè)輸入值。對(duì)于給定的參數(shù)集合

8、 W,b，神經(jīng)網(wǎng)絡(luò)就可以按照函數(shù)hw,b(x)來(lái)計(jì) 算輸出結(jié)果。3.2 BP神經(jīng)網(wǎng)絡(luò)BP(back propagation)神經(jīng)網(wǎng)絡(luò)是 1986 年由 Rumelhart 和 McClelland 為 首的科學(xué)家提出的概念，是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng) 絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)。BP神經(jīng)網(wǎng)絡(luò)是一種按誤差反向傳播(簡(jiǎn)稱 誤差反傳)訓(xùn)練的多層前饋網(wǎng)絡(luò)，其算法稱為BP算法，它的基本思想是梯度下降 法，利用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值和期望輸出值的誤差均方差為 最小。基本BP算法包括信號(hào)的前向傳播和誤差的反向傳播兩個(gè)過(guò)程。即計(jì)算誤差 輸出時(shí)按從輸入到輸出的方向進(jìn)行，而調(diào)

9、整權(quán)值和閾值則從輸出到輸入的方向進(jìn) 行。正向傳播時(shí)，輸入信號(hào)通過(guò)隱含層作用于輸出節(jié)點(diǎn)，經(jīng)過(guò)非線性變換，產(chǎn)生 輸出信號(hào)，若實(shí)際輸出與期望輸出不相符，則轉(zhuǎn)入誤差的反向傳播過(guò)程。誤差反 傳是將輸出誤差通過(guò)隱含層向輸入層逐層反傳，并將誤差分?jǐn)偨o各層所有單元， 以從各層獲得的誤差信號(hào)作為調(diào)整各單元權(quán)值的依據(jù)。通過(guò)調(diào)整輸入節(jié)點(diǎn)與隱層 節(jié)點(diǎn)的聯(lián)接強(qiáng)度和隱層節(jié)點(diǎn)與輸出節(jié)點(diǎn)的聯(lián)接強(qiáng)度以及閾值，使誤差沿梯度方向下降，經(jīng)過(guò)反復(fù)學(xué)習(xí)訓(xùn)練，確定與最小誤差相對(duì)應(yīng)的網(wǎng)絡(luò)參數(shù)(權(quán)值和閾值)，訓(xùn)練即告停止。此時(shí)經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)即能對(duì)類似樣本的輸入信息，自行處理輸出誤差最小的經(jīng)過(guò)非線形轉(zhuǎn)換的信息。4數(shù)據(jù)結(jié)果分析經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)

10、絡(luò)對(duì)手寫數(shù)字識(shí)別的精確度 是85.88%,85.88%,以下是數(shù)據(jù)結(jié)果：圖4.14.1 MSEMSE走勢(shì)曲線：4.1 MSE走勢(shì)曲線圖4.24.2梯度和校驗(yàn)檢查曲線:* NetxalTraitimg Training State tp*ottMlnr5tat) )1 Epoch I O. X丈件迪 鈿IE 査世)工XD 三血曲 HDOtfi令HtttD?伽卄M s0(X)127645. at|KCii 10001OZ-!-p-、- -!-B-圖4.2梯度和校驗(yàn)檢查曲線圖4.34.3回歸曲線hlriwrir thnrpHgL|Wh amri. Mim-irVi立D MU- 山.umi Mxm B

11、Q豐.圖4.3回歸曲線圖4.44.4訓(xùn)練結(jié)構(gòu)圖Trjlriinfl|-RBfl.M71Sr rnana * * I I WS.-30WS.-30L L ECEC a a * * YepligYeplig 曰 MFMF ISOISOVlildMbOh RaQJZfiTI$ A 0 *口*1“901“90lala 150150T*ra*tPlotsPertofTnnce:plotperformiTrainingi State pllattraintatepliQlTpq resion)IRsFqrFsstonPlot Interval：I 10D epochs如尸 Opni ng Rogrss-s

12、ion Plot Stop Traanimg Cancel圖4.4訓(xùn)練結(jié)構(gòu)圖總結(jié)本次設(shè)計(jì)在MATLABMATLAB上進(jìn)行測(cè)試訓(xùn)練集，驗(yàn)證了 BPBP神經(jīng)網(wǎng)絡(luò)的計(jì)算過(guò)程由正向計(jì)算過(guò)程和反向計(jì)算過(guò)程組成。正向傳播過(guò)程，輸入模式從輸入層經(jīng)隱單元層逐層處理，并轉(zhuǎn)向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)入反向 Neural Network Training (nntra ntoo AlqanthmsData Divhion: Raridtoin H 切門門廣尺Trainiing- RProp (trsincpi PwfocmiinfSgurpd rrro

13、r 門卩宀 C.alrullation: MFXHiddErii L i erQipuit LiyeiDullhjiEpockTinn 勒：Pwfcrfnnancei Grdidient-Vftiidtftion Checks:傳播，將誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò)修改各神經(jīng)元的權(quán)值，使得誤差信號(hào)最小。BPBP神經(jīng)網(wǎng)絡(luò)無(wú)論在網(wǎng)絡(luò)理論還是在性能方面已比較成熟。其突出優(yōu)點(diǎn)就是具有很強(qiáng)的非線性 映射能力和柔性的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)的中間層數(shù)、 各層的神經(jīng)元個(gè)數(shù)可根據(jù)具體情況任意設(shè)定，并且隨著結(jié)構(gòu)的差異其性能也有所不同。但是 BPBP 神經(jīng)網(wǎng)絡(luò)也存在以下的一些主要缺陷。 學(xué)習(xí)速度 慢，即使是一個(gè)簡(jiǎn)單的問(wèn)題，一般也需要幾百次 甚至上千次的學(xué)習(xí)才能收斂；容易陷入局部極小 值；網(wǎng)絡(luò)層數(shù)、神經(jīng)元