BP神經(jīng)網(wǎng)絡(luò)分類器

1、BP神經(jīng)網(wǎng)絡(luò)分類器摘要 本文主要介紹了BP神經(jīng)網(wǎng)絡(luò)的分類器使用方法，結(jié)合USPS手寫數(shù)字集，對該數(shù)據(jù)集進行了訓(xùn)練和分類，對結(jié)果做了分析。手寫體數(shù)字識別是模式識別中一個非常重要和活躍的研究領(lǐng)域，數(shù)字識別也不是一項孤立的技術(shù)，它所涉及的問題是模式識別的其他領(lǐng)域都無法回避的；應(yīng)用上，作為一種信息處理手段，字符識別有廣闊的應(yīng)用背景和巨大的市場需求。因此，對數(shù)字識別的研究具有理論和應(yīng)用的雙重意義。語音識別分為說話人識別和語義識別，這里介紹說話人識別，說話人識別提取出特征參數(shù)之后，需要采用分類器對特征空間進行分類。人工神經(jīng)網(wǎng)絡(luò)識別方法是近年該研究領(lǐng)域的一種新方法，該方法具有一些傳統(tǒng)技術(shù)所沒有的優(yōu)點：良好的

2、容錯能力、分類能力強、并行處理和自學(xué)習(xí)能力，并且是離線訓(xùn)練和在線識別的。這些優(yōu)點使它在手寫體字符的識別中能對大量數(shù)據(jù)進行快速實時處理，并達到良好的識別效果。 本文主要介紹了BP神經(jīng)網(wǎng)絡(luò)的分類器使用方法，結(jié)合USPS手寫數(shù)字集，語音識別一節(jié)他人論文。關(guān)鍵詞： USPS手寫數(shù)字，BP人工神經(jīng)網(wǎng)絡(luò)，語音識別1 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Networks，NN）是由大量的、簡單的處理單元（稱為神經(jīng)元）廣泛地互相連接而形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，它反映了人腦功能的許多基本特征，是一個高度復(fù)雜的非線性動力學(xué)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有大規(guī)模并行、分布式存儲和處理、自組織、自適應(yīng)和自學(xué)習(xí)能

3、力，特別適合處理需要同時考慮許多因素和條件的、不精確和模糊的信息處理問題。神經(jīng)網(wǎng)絡(luò)的發(fā)展與神經(jīng)科學(xué)、數(shù)理科學(xué)、認知科學(xué)、計算機科學(xué)、人工智能、信息科學(xué)、控制論、機器人學(xué)、微電子學(xué)、心理學(xué)、微電子學(xué)、心理學(xué)、光計算、分子生物學(xué)等有關(guān)，是一門新興的邊緣交叉學(xué)科。神經(jīng)網(wǎng)絡(luò)具有非線性自適應(yīng)的信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺的缺陷，因而在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用。神經(jīng)網(wǎng)絡(luò)與其他傳統(tǒng)方法相組合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，神經(jīng)網(wǎng)絡(luò)在模擬人類認知的道路上更加深入發(fā)展，并與模糊系統(tǒng)、遺傳算法、進化機制等組合，形成計算智能，成為人工智能的一

4、個重要方向。1 人工神經(jīng)網(wǎng)絡(luò)的研究背景和意義人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的交互反應(yīng)5。人工神經(jīng)網(wǎng)絡(luò)就是模擬人思維的一種方式，是一個非線性動力學(xué)系統(tǒng)，其特色在于信息的分布式存儲和并行協(xié)同處理。雖然單個神經(jīng)元的結(jié)構(gòu)極其簡單，功能有限，但大量神經(jīng)元構(gòu)成的網(wǎng)絡(luò)系統(tǒng)所能實現(xiàn)的行為卻是極其豐富多彩的。近年來通過對人工神經(jīng)網(wǎng)絡(luò)的研究，可以看出神經(jīng)網(wǎng)絡(luò)的研究目的和意義有以下三點：（1）通過揭示物理平面與認知平面之間的映射，了解它們相互聯(lián)系和相互作用的機理，從而揭示思維的本質(zhì)，探索智能的本源。（2）爭取構(gòu)造出盡可能與人腦具有相似功

5、能的計算機，即神經(jīng)網(wǎng)絡(luò)計算機。（3）研究仿照腦神經(jīng)系統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)，將在模式識別、組合優(yōu)化和決策判斷等方面取得傳統(tǒng)計算機所難以達到的效果。人工神經(jīng)網(wǎng)絡(luò)特有的非線性適應(yīng)性信息處理能力，克服了傳統(tǒng)人工智能方法對于直覺，如模式、語音識別、非結(jié)構(gòu)化信息處理方面的缺陷，使之在神經(jīng)專家系統(tǒng)、模式識別、智能控制、組合優(yōu)化、預(yù)測等領(lǐng)域得到成功應(yīng)用。人工神經(jīng)網(wǎng)絡(luò)與其它傳統(tǒng)方法相結(jié)合，將推動人工智能和信息處理技術(shù)不斷發(fā)展。近年來，人工神經(jīng)網(wǎng)絡(luò)正向模擬人類認知的道路上更加深入發(fā)展，與模糊系統(tǒng)、遺傳算法、進化機制等結(jié)合，形成計算智能，成為人工智能的一個重要方向，將在實際應(yīng)用中得到發(fā)展。將信息幾何應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的

6、研究，為人工神經(jīng)網(wǎng)絡(luò)的理論研究開辟了新的途徑。神經(jīng)計算機的研究發(fā)展很快，已有產(chǎn)品進入市場。光電結(jié)合的神經(jīng)計算機為人工神經(jīng)網(wǎng)絡(luò)的發(fā)展提供了良好條件。2 BP神經(jīng)網(wǎng)絡(luò)2.1 神經(jīng)元與網(wǎng)絡(luò)結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，ANN）是模仿生物神經(jīng)網(wǎng)絡(luò)功能的一種經(jīng)驗?zāi)Ｐ?。生物神?jīng)元受到傳入的刺激，其反應(yīng)又從輸出端傳到相聯(lián)的其它神經(jīng)元，輸入和輸出之間的變換關(guān)系一般是非線性的。神經(jīng)網(wǎng)絡(luò)是由若干簡單（通常是自適應(yīng)的）元件及其層次組織，以大規(guī)模并行連接方式構(gòu)造而成的網(wǎng)絡(luò)，按照生物神經(jīng)網(wǎng)絡(luò)類似的方式處理輸入的信息。模仿生物神經(jīng)網(wǎng)絡(luò)而建立的人工神經(jīng)網(wǎng)絡(luò)，對輸入信號有功能強大的反應(yīng)

7、和處理能力。歸納一下生物神經(jīng)元傳遞信息的過程：生物神經(jīng)元是一個多輸入、單輸出單元。常用的人工神經(jīng)元模型可用圖2.2模擬。圖2.2 人工神經(jīng)元（感知器）示意圖當(dāng)神經(jīng)元j有多個輸入xi(i=1，2,m)和單個輸出yj時，輸入和輸出的關(guān)系可表示為: (2.3)其中j為閾值，wij為從神經(jīng)元i到神經(jīng)元j的連接權(quán)重因子，f( )為傳遞函數(shù)，或稱激勵函數(shù)。2.1.2人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成神經(jīng)元的模型確定之后，一個神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓撲結(jié)構(gòu)及學(xué)習(xí)方法。 2.2 BP神經(jīng)網(wǎng)絡(luò)定義2.2.1 BP神經(jīng)網(wǎng)絡(luò)模型及其基本原理BP神經(jīng)網(wǎng)絡(luò)是誤差反向傳播神經(jīng)網(wǎng)絡(luò)的簡稱，它由一個輸入層，一個或多個隱含層和一

8、個輸出層構(gòu)成，每一次由一定數(shù)量的的神經(jīng)元構(gòu)成。這些神經(jīng)元如同人的神經(jīng)細胞一樣是互相關(guān)聯(lián)的。其結(jié)構(gòu)如圖2.8所示： 圖2.8 BP神經(jīng)網(wǎng)絡(luò)模型生物神經(jīng)元信號的傳遞是通過突觸進行的一個復(fù)雜的電化學(xué)等過程, 在人工神經(jīng)網(wǎng)絡(luò)中是將其簡化模擬成一組數(shù)字信號通過一定的學(xué)習(xí)規(guī)則而不斷變動更新的過程，這組數(shù)字儲存在神經(jīng)元之間的連接權(quán)重。網(wǎng)絡(luò)的輸入層模擬的是神經(jīng)系統(tǒng)中的感覺神經(jīng)元，它接收輸入樣本信號。輸入信號經(jīng)輸入層輸入， 通過隱含層的復(fù)雜計算由輸出層輸出，輸出信號與期望輸出相比較，若有誤差，再將誤差信號反向由輸出層通過隱含層處理后向輸入層傳播。在這個過程中，誤差通過梯度下降算法，分攤給各層的所有單元，從而獲得

9、各單元的誤差信號，以此誤差信號為依據(jù)修正各單元權(quán)值，網(wǎng)絡(luò)權(quán)值因此被重新分布。此過程完成后， 輸入信號再次由輸入層輸入網(wǎng)絡(luò)，重復(fù)上述過程。這種信號正向傳播與誤差反向傳播的各層權(quán)值調(diào)整過程周而復(fù)始地進行著，直到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或進行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。權(quán)值不斷調(diào)整的過程就是網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。BP 神經(jīng)網(wǎng)絡(luò)的信息處理方式具有如下特點: 1）信息分布存儲。人腦存儲信息的特點是利用突觸效能的變化來調(diào)整存儲內(nèi)容， 即信息存儲在神經(jīng)元之間的連接強度的分布上， B P神經(jīng)網(wǎng)絡(luò)模擬人腦的這一特點，使信息以連接權(quán)值的形式分布于整個網(wǎng)絡(luò)。2) 信息并行處理。人腦神經(jīng)元之間傳遞脈沖信號的速

10、度遠低于馮·諾依曼計算機的工作速度，但是在很多問題上卻可以做出快速的判斷、決策和處理，這是由于人腦是一個大規(guī)模并行與串行組合的處理系統(tǒng)。BP神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)模仿人腦，具有并行處理的特征，大大提高了網(wǎng)絡(luò)功能。3）具有容錯性。生物神經(jīng)系統(tǒng)部分不嚴(yán)重損傷并不影響整體功能，BP神經(jīng)網(wǎng)絡(luò)也具有這種特性，網(wǎng)絡(luò)的高度連接意味著少量的誤差可能不會產(chǎn)生嚴(yán)重的后果，部分神經(jīng)元的損傷不破壞整體，它可以自動修正誤差。這與現(xiàn)代計算機的脆弱性形成鮮明對比。4）具有自學(xué)習(xí)、自組織、自適應(yīng)的能力。BP神經(jīng)網(wǎng)絡(luò)具有初步的自適應(yīng)與自組織能力，在學(xué)習(xí)或訓(xùn)練中改變突觸權(quán)值以適應(yīng)環(huán)境，可以在使用過程中不斷學(xué)習(xí)完善自己的功能

11、，并且同一網(wǎng)絡(luò)因?qū)W習(xí)方式的不同可以具有不同的功能，它甚至具有創(chuàng)新能力，可以發(fā)展知識，以至超過設(shè)計者原有的知識水平。2.2.2 BP神經(jīng)網(wǎng)絡(luò)的主要功能目前，在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中。絕大部分的神經(jīng)網(wǎng)絡(luò)模型都采用BP神經(jīng)網(wǎng)絡(luò)及其變化形式。它也是前向網(wǎng)絡(luò)的核心部分，體現(xiàn)了人工神經(jīng)網(wǎng)絡(luò)的精華。BP網(wǎng)絡(luò)主要用于以下四方面3。（1） 函數(shù)逼近：用輸入向量和相應(yīng)的輸出向量訓(xùn)練一個網(wǎng)絡(luò)以逼近一個函數(shù)。（2） 模式識別：用一個待定的輸出向量將它與輸入向量聯(lián)系起來。（3） 分類：把輸入向量所定義的合適方式進行分類。（4） 數(shù)據(jù)壓縮：減少輸出向量維數(shù)以便傳輸或存儲。2.2.3 BP網(wǎng)絡(luò)的優(yōu)點以及局限性BP神經(jīng)網(wǎng)絡(luò)

12、最主要的優(yōu)點是具有極強的非線性映射能力12。理論上，對于一個三層和三層以上的BP網(wǎng)絡(luò)，只要隱層神經(jīng)元數(shù)目足夠多，該網(wǎng)絡(luò)就能以任意精度逼近一個非線性函數(shù)。其次，BP神經(jīng)網(wǎng)絡(luò)具有對外界刺激和輸入信息進行聯(lián)想記憶的能力。這是因為它采用了分布并行的信息處理方式，對信息的提取必須采用聯(lián)想的方式，才能將相關(guān)神經(jīng)元全部調(diào)動起來。BP 神經(jīng)網(wǎng)絡(luò)通過預(yù)先存儲信息和學(xué)習(xí)機制進行自適應(yīng)訓(xùn)練，可以從不完整的信息和噪聲干擾中恢復(fù)原始的完整信息。這種能力使其在圖像復(fù)原、語言處理、模式識別等方面具有重要應(yīng)用。再次，BP 神經(jīng)網(wǎng)絡(luò)對外界輸入樣本有很強的識別與分類能力。由于它具有強大的非線性處理能力，因此可以較好地進行非線性分

13、類, 解決了神經(jīng)網(wǎng)絡(luò)發(fā)展史上的非線性分類難題。另外， BP 神經(jīng)網(wǎng)絡(luò)具有優(yōu)化計算能力。BP神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個非線性優(yōu)化問題, 它可以在已知的約束條件下，尋找一組參數(shù)組合，使該組合確定的目標(biāo)函數(shù)達到最小。不過，其優(yōu)化計算存在局部極小問題，必須通過改進完善。由于BP網(wǎng)絡(luò)訓(xùn)練中穩(wěn)定性要求學(xué)習(xí)效率很小，所以梯度下降法使得訓(xùn)練很慢。動量法因為學(xué)習(xí)率的提高通常比單純的梯度下降法要快一些，但在實際應(yīng)用中還是速度不夠，這兩種方法通常只應(yīng)用于遞增訓(xùn)練。多層神經(jīng)網(wǎng)絡(luò)可以應(yīng)用于線性系統(tǒng)和非線性系統(tǒng)中，對于任意函數(shù)模擬逼近。當(dāng)然，感知器和線性神經(jīng)網(wǎng)絡(luò)能夠解決這類網(wǎng)絡(luò)問題。但是，雖然理論上是可行的，但實際上BP網(wǎng)絡(luò)并

14、不一定總能有解。對于非線性系統(tǒng)，選擇合適的學(xué)習(xí)率是一個重要的問題。在線性網(wǎng)絡(luò)中，學(xué)習(xí)率過大會導(dǎo)致訓(xùn)練過程不穩(wěn)定。相反，學(xué)習(xí)率過小又會造成訓(xùn)練時間過長。和線性網(wǎng)絡(luò)不同，對于非線性多層網(wǎng)絡(luò)很難選擇很好的學(xué)習(xí)率。對那些快速訓(xùn)練算法，缺省參數(shù)值基本上都是最有效的設(shè)置。非線性網(wǎng)絡(luò)的誤差面比線性網(wǎng)絡(luò)的誤差面復(fù)雜得多，問題在于多層網(wǎng)絡(luò)中非線性傳遞函數(shù)有多個局部最優(yōu)解。尋優(yōu)的過程與初始點的選擇關(guān)系很大，初始點如果更靠近局部最優(yōu)點，而不是全局最優(yōu)點，就不會得到正確的結(jié)果，這也是多層網(wǎng)絡(luò)無法得到最優(yōu)解的一個原因。為了解決這個問題，在實際訓(xùn)練過程中，應(yīng)重復(fù)選取多個初始點進行訓(xùn)練，以保證訓(xùn)練結(jié)果的全局最優(yōu)性。 網(wǎng)絡(luò)隱

15、層神經(jīng)元的數(shù)目也對網(wǎng)絡(luò)有一定的影響。神經(jīng)元數(shù)目太少會造成網(wǎng)絡(luò)的不適性，而神經(jīng)元數(shù)目太多又會引起網(wǎng)絡(luò)的過適性。3 USPS手寫數(shù)字集3.1 USPS數(shù)據(jù)集介紹數(shù)據(jù)采用USPS美國郵政服務(wù)手寫數(shù)字識別庫，庫中均為16*16像素的灰度圖像的值，灰度值已被歸一化。庫中共有9298個手寫數(shù)字圖像，其中7291個用于訓(xùn)練，2021 個用于測試。訓(xùn)練時可將整幅圖像作為特征輸入，也可引入PCA等降維方法。在數(shù)據(jù)中traindata為特征，共256維，traintarg為對應(yīng)的數(shù)字，一共10行，10行中值為1的那一行代表數(shù)字。比如第一列中，第七個值為1，則代表這個數(shù)為7，第十行表示0。測試集同理。 公司印章管理

16、制度一、目的 公司印章是公司對內(nèi)對外行使權(quán)力的標(biāo)志，也是公司名稱的法律體現(xiàn)， 因此，必須對印章進行規(guī)范化、合理化的嚴(yán)格管理，以保證公司各項業(yè)務(wù)的正常運作，由公司指定專人負責(zé)管理。二、印章的種類1、 公章，是按照政府規(guī)定，由主管部門批準(zhǔn)刻制的代表公司權(quán)力的印章。2、 專用章，為方便工作專門刻制的用于某種特定用途的印章，如：合同專用章、財務(wù)專用章、業(yè)務(wù)專用章、倉庫簽收章等。 3、手章(簽名章)，是以公司法人代表名字刻制的用于公務(wù)的印章。三、印章的管理規(guī)定1、 印章指定專人負責(zé)保管和使用，保管印章的地方(桌、柜等)要牢固加鎖，印章使用后要及時收存。2、 財務(wù)專用章由財務(wù)部負責(zé)保管，向銀行備案的印章，

17、應(yīng)由財務(wù)部會計、總經(jīng)辦分別保管。 3、印章要注意保養(yǎng)，防止碰撞，還要及時清洗，以保持印跡清晰。4、一般情況下不得將印章攜出公司外使用，如確實因工作所需，則應(yīng)由印章管理員攜帶印章到場蓋章或監(jiān)印。 5、印章管理人員離職或調(diào)任時，須履行印章交接手續(xù)。四、公章刻制印章需本公司法人代表批準(zhǔn)，并由印章管理專責(zé)人負責(zé)辦理刻制并啟用并交由專人進行保管。 五、印章的使用1、 使用任何的印章，需由相應(yīng)負責(zé)人審核簽字。為方便工 作，總經(jīng)理可授權(quán)印章管理專責(zé)人審核一般性事務(wù)用印。2、 用印前印章管理人員須認真審核，明確了解用印的內(nèi)容和目的，確 認符合用印的手續(xù)后，在用印登記簿上逐項登記，方可蓋章。 3、對需要留存的材料，蓋印后應(yīng)留存一份立卷歸檔。 4、不得在空白憑證、便箋上蓋章。 5、上報有關(guān)部門的文件資料，未經(jīng)部門經(jīng)理、總經(jīng)理審簽，不得蓋章。 6、以公司名義行文，未經(jīng)總經(jīng)理簽發(fā)，不得蓋章。 7、按照合同會簽制度的規(guī)定，所有