[精品論文]基于VC++的數(shù)字識(shí)別系統(tǒng)的論文

畢業(yè)設(shè)計(jì)課程定做 QQ1714879127第1章緒論1.1數(shù)字識(shí)別概述模式識(shí)別是六十年代初迅速發(fā)展起來(lái)的一門學(xué)科。由于它研究的是如何用機(jī)器來(lái)實(shí)現(xiàn)人(及某些動(dòng)物)對(duì)事物的學(xué)習(xí)、識(shí)別和判斷能力，因而受到了很多科技領(lǐng)域研究人員的注意，成為人工智能研究的一個(gè)重要方面。字符識(shí)別是模式識(shí)別的一個(gè)傳統(tǒng)研究領(lǐng)域。從50年代開(kāi)始，許多的研究者就在這一研究領(lǐng)域開(kāi)展了廣泛的探索，并為模式識(shí)別的發(fā)展產(chǎn)生了積極的影響。字符識(shí)別一般可以分為兩類:1.聯(lián)機(jī)字符識(shí)別;2.光學(xué)字符識(shí)別(Optical Chara- cter Recognition，OCR)或稱離線字符識(shí)別。在聯(lián)機(jī)字符識(shí)別中，計(jì)算機(jī)能夠通過(guò)與計(jì)算機(jī)相連的輸入設(shè)備獲得輸入字符筆劃的順序、筆劃的方向以及字符的形狀，所以相對(duì)OCR來(lái)說(shuō)它更容易識(shí)別一些。但聯(lián)機(jī)字符識(shí)別有一個(gè)重要的不足就是要求輸入者必須在指定的設(shè)備上書寫，然而人們?cè)谏钪写蟛糠值臅鴮懬闆r是不滿足這一要求的，比如人們填寫各種表格資料，開(kāi)具支票等。如果需要計(jì)算機(jī)去認(rèn)識(shí)這些己經(jīng)成為文字的東西，就需要OCR技術(shù)。比起聯(lián)機(jī)字符識(shí)別來(lái)，OCR不要求書寫者在特定輸入設(shè)備上書寫，它可以與平常一樣書寫，所以O(shè)CR的應(yīng)用更為廣泛。OCR所使用的輸入設(shè)備可以是任何一種圖像采集設(shè)備，如CCD、掃描儀、數(shù)字相機(jī)等。通過(guò)使用這類采集設(shè)備，OCR系統(tǒng)將書寫者已寫好的文字作為圖像輸入到計(jì)算機(jī)中，然后由計(jì)算機(jī)去識(shí)別。由于OCR的輸入只是簡(jiǎn)單的一副圖像，它就不能像聯(lián)機(jī)輸入那樣比較容易的從物理特性上獲得字符筆劃的順序信息，因此OCR是一個(gè)更具挑戰(zhàn)性的問(wèn)題。數(shù)字識(shí)別是多年來(lái)的研究熱點(diǎn)，也是字符識(shí)別中的一個(gè)特別問(wèn)題，它是本文研究的重點(diǎn)。數(shù)字識(shí)別在特定的環(huán)境下應(yīng)用特別廣泛，如郵政編碼自動(dòng)識(shí)別系統(tǒng)，稅表和銀行支票自動(dòng)處理系統(tǒng)等。一般情況下，當(dāng)涉及到數(shù)字識(shí)別時(shí)，人們往往要求識(shí)別器有很高的識(shí)別可靠性，特別是有關(guān)金額的數(shù)字識(shí)別時(shí)，如支票中填寫的金額部分，更是如此。因此針對(duì)這類問(wèn)題的處理系統(tǒng)設(shè)計(jì)的關(guān)鍵環(huán)節(jié)之一就是設(shè)計(jì)出高可靠性和高識(shí)別率的數(shù)字識(shí)別方法。然而可以說(shuō)還沒(méi)有哪個(gè)數(shù)字識(shí)別器達(dá)到完美的識(shí)別效果。在過(guò)去的數(shù)十年中，研究者們提出了許許多多的識(shí)別方法。按使用的特征不同，這些方法可以分為兩類:基于結(jié)構(gòu)特征的方法和基于統(tǒng)計(jì)特征的方法。結(jié)構(gòu)特征通常包括圓、端點(diǎn)、交叉點(diǎn)、筆劃、輪廓等，統(tǒng)計(jì)特征通常包括點(diǎn)密度的測(cè)量、矩、特征區(qū)域等，一般來(lái)說(shuō)，兩類特征各有優(yōu)勢(shì)。例如，使用統(tǒng)計(jì)特征的分類器易于訓(xùn)練，而且對(duì)于使用統(tǒng)計(jì)特征的分類器，在給定的訓(xùn)練集上能夠得到相對(duì)較高的識(shí)別率，而結(jié)構(gòu)特征的主要優(yōu)點(diǎn)之一是能描述字符的結(jié)構(gòu)，在識(shí)別過(guò)程中能有效地結(jié)合幾何和結(jié)構(gòu)的知識(shí)，因此能夠得到可靠性較高的識(shí)別結(jié)果。1.2神經(jīng)網(wǎng)絡(luò)在數(shù)字識(shí)別中的應(yīng)用神經(jīng)網(wǎng)絡(luò)模型用于模擬人腦神經(jīng)元活動(dòng)的過(guò)程。其中包括對(duì)信息的加工、處理、存儲(chǔ)和搜索等過(guò)程，它具有如下基本特點(diǎn):1、神經(jīng)網(wǎng)絡(luò)具有分布式存儲(chǔ)信息的特點(diǎn)。它存儲(chǔ)信息的方式與傳統(tǒng)的計(jì)算機(jī)的思維方式是不同的，一個(gè)信息不是存在一個(gè)地方，而是分布在不同的位置。網(wǎng)絡(luò)的某一部分也不只存儲(chǔ)一個(gè)信息，它的信息是分布式存儲(chǔ)的。神經(jīng)網(wǎng)絡(luò)是用大量神經(jīng)元之間的連接及對(duì)各連接權(quán)值的分布來(lái)表示特定的信息。因此，這種分布式存儲(chǔ)方式即使當(dāng)局部網(wǎng)絡(luò)受損時(shí)，仍具有能夠恢復(fù)原來(lái)信息的優(yōu)點(diǎn)。2、神經(jīng)網(wǎng)絡(luò)對(duì)信息的處理及推理的過(guò)程具有并行的特點(diǎn)。每個(gè)神經(jīng)元都可以根據(jù)接收到的信息作獨(dú)立的運(yùn)算和處理，然后將結(jié)果傳輸出去，這體現(xiàn)了一種并行處理。神經(jīng)網(wǎng)絡(luò)對(duì)于一個(gè)特定的輸入模式，通過(guò)前向計(jì)算產(chǎn)生一個(gè)輸出模式，各個(gè)輸出節(jié)點(diǎn)代表的邏輯概念被同時(shí)計(jì)算出來(lái)。在輸出模式中，通過(guò)輸出節(jié)點(diǎn)的比較和本身信號(hào)的強(qiáng)弱而得到特定的解，同時(shí)排出其余的解。這體現(xiàn)了神經(jīng)網(wǎng)絡(luò)并行推理的特點(diǎn)。3、神經(jīng)網(wǎng)絡(luò)對(duì)信息的處理具有自組織、自學(xué)習(xí)的特點(diǎn)。神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間的連接強(qiáng)度用權(quán)值大小來(lái)表示，這種權(quán)值可以事先定出，也可以為適應(yīng)周圍環(huán)境而不斷地變化，這種過(guò)程稱為神經(jīng)元的學(xué)習(xí)過(guò)程。神經(jīng)網(wǎng)絡(luò)所具有的自學(xué)習(xí)過(guò)程模擬了人的形象思維方法，這是與傳統(tǒng)符號(hào)邏輯完全不同的一種非邏輯非語(yǔ)言的方法。在神經(jīng)網(wǎng)絡(luò)研究的歷史進(jìn)程中，它在模式識(shí)別方面的應(yīng)用一直是最活躍和最成功的領(lǐng)域。神經(jīng)網(wǎng)絡(luò)與它在模式識(shí)別中的應(yīng)用是息息相關(guān)，密不可分的。幾乎可以說(shuō)，神經(jīng)網(wǎng)絡(luò)模式識(shí)別研究的發(fā)展史貫穿了整個(gè)神經(jīng)網(wǎng)絡(luò)的研究歷程。目前, 隨著計(jì)算機(jī)的迅速發(fā)展，性能價(jià)格比的不斷提高，模式識(shí)別技術(shù)己經(jīng)從理論探討為主發(fā)展到大量的實(shí)際應(yīng)用，人們將更多的注意力開(kāi)始轉(zhuǎn)向那些用于語(yǔ)音，圖像、機(jī)器人以及人工智能等的模式識(shí)別實(shí)際問(wèn)題。解決這些問(wèn)題的關(guān)鍵是需要進(jìn)行復(fù)雜而龐大的實(shí)時(shí)數(shù)據(jù)處理，而現(xiàn)有計(jì)算機(jī)的存貯容量及計(jì)算復(fù)雜性的局限，使得真正實(shí)時(shí)化的應(yīng)用受阻。這種面向?qū)崟r(shí)應(yīng)用的模式識(shí)別問(wèn)題促使人們開(kāi)始將并行處理的神經(jīng)網(wǎng)絡(luò)應(yīng)到模式識(shí)別，而神經(jīng)網(wǎng)絡(luò)模式識(shí)別技術(shù)又將模式識(shí)別實(shí)時(shí)應(yīng)用推進(jìn)了一大步，數(shù)字識(shí)別就是這種應(yīng)用的一個(gè)很重要的領(lǐng)域。數(shù)字識(shí)別是一項(xiàng)極具研究?jī)r(jià)值的課題，隨著神經(jīng)網(wǎng)絡(luò)和模糊邏輯技術(shù)的發(fā)展，人們對(duì)這一問(wèn)題的研究又采用了許多新的方法和手段，也使得這一古老的課題煥發(fā)出新的生命力.目前國(guó)際上有相當(dāng)多的學(xué)者在研究這一課題，它包括了模式識(shí)別領(lǐng)域中所有典型的問(wèn)題:數(shù)據(jù)的采集、處理及選擇、輸入樣本表達(dá)的選擇、模式識(shí)別分類器的選擇以及用樣本集對(duì)識(shí)別器的有指導(dǎo)的訓(xùn)練。人工神經(jīng)網(wǎng)絡(luò)為數(shù)字識(shí)別提供了新的手段。正是神經(jīng)網(wǎng)絡(luò)所具有的這種自組織自學(xué)習(xí)能力、推廣能力、非線性和運(yùn)算高度并行的能力使得模式識(shí)別成為目前神經(jīng)網(wǎng)絡(luò)最為成功的應(yīng)用領(lǐng)域。1.3數(shù)字圖像處理的應(yīng)用數(shù)字圖像處理主要研究的內(nèi)容有以下幾個(gè)方面： 1、圖像變換。由于圖像陣列很大，直接在空間域中進(jìn)行處理，涉及計(jì)算量很大。因此，往往采用各種圖像變換的方法，如傅立葉變換、沃爾什變換、離散余弦變換等間接處理技術(shù)，將空間域的處理轉(zhuǎn)換為變換域處理，不僅可減少計(jì)算量，而且可獲得更有效的處理（如傅立葉變換可在頻域中進(jìn)行數(shù)字濾波處理）。目前新興研究的小波變換在時(shí)域和頻域中都具有良好的局部化特性，它在圖像處理中也有著廣泛而有效的應(yīng)用。 2、圖像編碼壓縮。圖像編碼壓縮技術(shù)可減少描述圖像的數(shù)據(jù)量（即比特?cái)?shù)），以便節(jié)省圖像傳輸、處理時(shí)間和減少所占用的存儲(chǔ)器容量。壓縮可以在不失真的前提下獲得，也可以在允許的失真條件下進(jìn)行。編碼是壓縮技術(shù)中最重要的方法，它在圖像處理技術(shù)中是發(fā)展最早且比較成熟的技術(shù)。 3、圖像增強(qiáng)和復(fù)原。圖像增強(qiáng)和復(fù)原的目的是為了提高圖像的質(zhì)量，如去除噪聲，提高圖像的清晰度等。圖像增強(qiáng)不考慮圖像降質(zhì)的原因，突出圖像中所感興趣的部分。如強(qiáng)化圖像高頻分量，可使圖像中物體輪廓清晰，細(xì)節(jié)明顯；強(qiáng)化低頻分量可減少圖像中噪聲影響。圖像復(fù)原要求對(duì)圖像降質(zhì)的原因有一定的了解，一般講應(yīng)根據(jù)降質(zhì)過(guò)程建立“降質(zhì)模型”，再采用某種濾波方法，恢復(fù)或重建原來(lái)的圖像。 4、意義的特征部分提取出來(lái)，其有意義的特征有圖像中的邊緣、區(qū)域等，這是進(jìn)一步進(jìn)行圖像識(shí)別、分析和理解的基礎(chǔ)。雖然目前已研究出不少邊緣提取、區(qū)域分割的方法，但還沒(méi)有一種普遍適用于各種圖像的有效方法。因此，對(duì)圖像分割的研究還在不斷深入之中，是目前圖像處理中研究的熱點(diǎn)之一。 5、圖像描述。圖像描述是圖像識(shí)別和理解的必要前提。作為最簡(jiǎn)單的二值圖像可采用其幾何特性描述物體的特性，一般圖像的描述方法采用二維形狀描述，它有邊界描述和區(qū)域描述兩類方法。對(duì)于特殊的紋理圖像可采用二維紋理特征描述。隨著圖像處理研究的深入發(fā)展，已經(jīng)開(kāi)始進(jìn)行三維物體描述的研究，提出了體積描述、表面描述、廣義圓柱體描述等方法。 6、圖像分類（識(shí)別）。圖像分類（識(shí)別）屬于模式識(shí)別的范疇，其主要內(nèi)容是圖像經(jīng)過(guò)某些預(yù)處理（增強(qiáng)、復(fù)原、壓縮）后，進(jìn)行圖像分割和特征提取，從而進(jìn)行判決分類。圖像分類常采用經(jīng)典的模式識(shí)別方法，有統(tǒng)計(jì)模式分類和句法（結(jié)構(gòu)）模式分類，近年來(lái)新發(fā)展起來(lái)的模糊模式識(shí)別和人工神經(jīng)網(wǎng)絡(luò)模式分類在圖像識(shí)別中也越來(lái)越受到重視。在數(shù)字識(shí)別中分類識(shí)別之前要利用數(shù)字圖象處理和計(jì)算機(jī)圖形學(xué)的知識(shí)進(jìn)行圖象的預(yù)處理以便進(jìn)行下面的特征提取以及識(shí)別。圖象的預(yù)處理包括二值化、圖象的增強(qiáng)、圖象的銳化以及圖象的分割等。1.4 本論文所做的工作本論文在數(shù)字識(shí)別及預(yù)處理方面做了如下工作:1、介紹了數(shù)字識(shí)別廣闊的應(yīng)用前景和常用的識(shí)別方法，通過(guò)分析指出數(shù)字識(shí)別的難點(diǎn)在于無(wú)法建立精確的數(shù)學(xué)模型和做出簡(jiǎn)單可行的識(shí)別系統(tǒng)。2、本文第二、三章介紹了人工神經(jīng)元網(wǎng)絡(luò)基本原理和它的BP學(xué)習(xí)算法，然后論述了模式識(shí)別的方法和有關(guān)概念，指出了神經(jīng)網(wǎng)絡(luò)之所以能夠用于數(shù)字識(shí)別的內(nèi)在機(jī)理和獨(dú)特優(yōu)勢(shì)。3、第四章分析了常規(guī)數(shù)字識(shí)別的基本步驟，并指出數(shù)字識(shí)別的關(guān)鍵步驟是預(yù)處理和特征提取。詳細(xì)了圖像預(yù)處理的步驟及BP神經(jīng)網(wǎng)絡(luò)在數(shù)字識(shí)別中的應(yīng)用。第2章模式識(shí)別及人工神經(jīng)網(wǎng)絡(luò)概述2.1模式識(shí)別簡(jiǎn)述在觀察各種事物或接受各種客觀現(xiàn)象時(shí)，人們總是不斷地進(jìn)行模式識(shí)別。各種具有相似的特征又不完全相同的事物和現(xiàn)象組成不同的類別。在同一類別中，事物和現(xiàn)象不盡相同，但它們總是表現(xiàn)出某些方面的相近之處。例如，每個(gè)人寫出來(lái)的數(shù)字“8”可能千差萬(wàn)別，但它們的共同之處在于，它們都屬于數(shù)字，“8”這個(gè)范疇。也就是說(shuō)，這些千差萬(wàn)別的數(shù)字“8”的共性是它們具有相同的屬性特征。人的思維可以對(duì)初次見(jiàn)到的事物進(jìn)行分類。比如，即使人們初到一個(gè)城市，也可以輕易地辨認(rèn)出“街道”、“房屋”、“汽車”這樣的事物。同樣，看到另外一種寫法的“8”，人們?nèi)匀豢梢郧宄刂浪暮x。正是人腦的這種推廣能力，使得人們利用見(jiàn)到過(guò)的有限事物和現(xiàn)象，形成各種事物類別的概念。這些有限的、個(gè)別的事物和現(xiàn)象就可以稱為模式，而整個(gè)類別的現(xiàn)象和事物則可以稱為模式類，或者簡(jiǎn)稱為類。人們根據(jù)所見(jiàn)模式的特性，將其劃歸為某一類的過(guò)程，實(shí)際上就是模式識(shí)別的過(guò)程。模式識(shí)別這個(gè)詞既可以是指人對(duì)事物的，一個(gè)分析、描述、判斷和識(shí)別的過(guò)程，也可以是指利用計(jì)算機(jī)對(duì)某些物理對(duì)象進(jìn)行分類的這門學(xué)科。模式和集合的概念是分不開(kāi)的，模式可以看作是集合論中的元素，而類則可以看作是子集。2.2 人工神經(jīng)網(wǎng)絡(luò)模式識(shí)別具體的模式識(shí)別是多種多樣的，如果從識(shí)別的基本方法上劃分，傳統(tǒng)的模式識(shí)別大體分為統(tǒng)計(jì)模式識(shí)別和句法模式識(shí)別，在識(shí)別系統(tǒng)中引入神經(jīng)網(wǎng)絡(luò)是一種近年來(lái)發(fā)展起來(lái)的新的模式識(shí)別方法。盡管引入神經(jīng)網(wǎng)絡(luò)的方法和引入網(wǎng)絡(luò)的結(jié)構(gòu)可以各不相同，但都可稱為神經(jīng)網(wǎng)絡(luò)模式識(shí)別。而且這些識(shí)別方法在解決傳統(tǒng)方法較難處理的某些問(wèn)題上帶來(lái)了新的進(jìn)展和突破，因而得到了人們?cè)絹?lái)越多的重視和研究。人工神經(jīng)元網(wǎng)絡(luò)(Artificial Neural Network)簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)，是基于日前人們對(duì)自然神經(jīng)系統(tǒng)的認(rèn)識(shí)而提出的一些神經(jīng)系統(tǒng)的模型，一般是由一系列被稱為神經(jīng)元的具有某種簡(jiǎn)單計(jì)算功能的節(jié)點(diǎn)經(jīng)過(guò)廣泛連接構(gòu)成的一定網(wǎng)絡(luò)結(jié)構(gòu)，而其網(wǎng)絡(luò)連接的權(quán)值根據(jù)某種學(xué)習(xí)規(guī)則在外界輸入的作用下不斷調(diào)節(jié)，最后使網(wǎng)絡(luò)具有某種期望的輸出特性。神經(jīng)網(wǎng)絡(luò)的這種可以根據(jù)輸入樣本學(xué)習(xí)的功能使得它非常適合于用來(lái)解決模式識(shí)別問(wèn)題，這也是神經(jīng)網(wǎng)絡(luò)目前最成功的應(yīng)用領(lǐng)域之一。神經(jīng)網(wǎng)絡(luò)模式識(shí)別的基本方法是，首先用己知樣本訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使之對(duì)不同類別的己知樣本給出所希望的不同輸出，然后用該網(wǎng)絡(luò)識(shí)別未知的樣本，根據(jù)各樣本所對(duì)應(yīng)的網(wǎng)絡(luò)輸出情況來(lái)劃分未知樣本的類別。神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別的一般步驟如圖2-1所示，分為如下幾個(gè)部分。 預(yù)處理神經(jīng)網(wǎng)絡(luò)識(shí)別特征變換常規(guī)處理樣本獲取圖 2-1 神經(jīng)網(wǎng)絡(luò)模式識(shí)別基本構(gòu)成1、樣本獲取這一步驟主要是為了得到一定數(shù)量的用于訓(xùn)練和識(shí)別的樣本。2、常規(guī)處理其作用相當(dāng)于傳統(tǒng)模式識(shí)別中的數(shù)據(jù)獲取和常規(guī)處理兩步的功能。即通過(guò)對(duì)識(shí)別對(duì)象的有效觀測(cè)、進(jìn)行采樣量化，獲得一系列數(shù)據(jù)，再經(jīng)過(guò)去除噪聲、加強(qiáng)有用信息等工作獲得盡量逼真的原始數(shù)據(jù)。通過(guò)這一步驟，得到了樣本的原始表達(dá)。3、特征變換在原始樣本表達(dá)的基礎(chǔ)上，進(jìn)行適當(dāng)?shù)淖儞Q，得到適合神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別的樣本的特征表達(dá)。以上兩步構(gòu)成了神經(jīng)網(wǎng)絡(luò)模式識(shí)別中的預(yù)處理過(guò)程。這一步驟與傳統(tǒng)模式識(shí)別的特征提取選擇的位置很相似，不同的是，神經(jīng)網(wǎng)絡(luò)可以對(duì)原始樣本直接進(jìn)行處理，因此這種變換在神經(jīng)網(wǎng)絡(luò)模式識(shí)別中不象傳統(tǒng)模式識(shí)別的特征提取選擇那樣必不可少，神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)處理的要求與傳統(tǒng)模式識(shí)別對(duì)特征提取選擇的要求也有所不同。4、神經(jīng)網(wǎng)絡(luò)識(shí)別根據(jù)識(shí)別對(duì)象和研究問(wèn)題的不同，選用不同的網(wǎng)絡(luò)結(jié)構(gòu)并采用適當(dāng)?shù)膶W(xué)習(xí)算法，用已知樣本作為訓(xùn)練集對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其網(wǎng)絡(luò)連接的權(quán)值不斷調(diào)整，直到網(wǎng)絡(luò)的輸出特性與期望的相符合。訓(xùn)練過(guò)程結(jié)束以后，網(wǎng)絡(luò)相當(dāng)于一個(gè)固定的映射器，新的輸入樣木(測(cè)試樣本)通過(guò)網(wǎng)絡(luò)映射到不同的類別。神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用于模式識(shí)別，關(guān)鍵在于它具有一般數(shù)學(xué)模型所不具有的諸多優(yōu)點(diǎn)。1、分布存儲(chǔ)和容錯(cuò)性一個(gè)信息不是存儲(chǔ)在一個(gè)地方，而是按內(nèi)容而分布在整個(gè)網(wǎng)絡(luò)上，網(wǎng)絡(luò)某一處不是只存儲(chǔ)一個(gè)外部信息，而每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。網(wǎng)絡(luò)的每部分對(duì)信息的存儲(chǔ)有等勢(shì)作用。這種分布式存儲(chǔ)算法是存儲(chǔ)區(qū)與運(yùn)算區(qū)合為一體的。在神經(jīng)網(wǎng)絡(luò)中，要獲得存儲(chǔ)的知識(shí)則采用“聯(lián)想”的辦法，即當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)輸入一個(gè)激勵(lì)時(shí)，它要在己存的知識(shí)中尋找與該輸入匹配最好的存儲(chǔ)知識(shí)為其解。當(dāng)然在信息輸出時(shí)也還要經(jīng)過(guò)一種處理。而不是直接從記憶中取出。這種存儲(chǔ)方式的優(yōu)點(diǎn)在于若部分信息不完全，就是說(shuō)或者丟失或者損壞甚至有錯(cuò)誤的信息，它仍能恢復(fù)出原來(lái)正確的完整的信息，系統(tǒng)仍能運(yùn)行。這就是網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能，自然是表現(xiàn)出較強(qiáng)的魯莽性。人的大腦的容錯(cuò)性是它的一種重要的智慧形式。2、大規(guī)模并行處理人工神經(jīng)元網(wǎng)絡(luò)在結(jié)構(gòu)上是并行的，而且網(wǎng)絡(luò)的各個(gè)單元可以同時(shí)進(jìn)行類似的處理過(guò)程。因此，網(wǎng)絡(luò)中的信息處理是在大量單元中平行而又有層次地進(jìn)行，運(yùn)算速度高，大大超過(guò)傳統(tǒng)的序列式運(yùn)算的數(shù)字機(jī)。雖然每個(gè)神經(jīng)元的信息傳遞(神經(jīng)脈沖)速度是以毫秒計(jì)算的，比普通序列式計(jì)算機(jī)要慢很多，但是人通常能在1秒內(nèi)即可作出對(duì)外界事物的判斷和決策、這就是能神奇地完成所謂“百步”決策。這按照現(xiàn)有傳統(tǒng)的計(jì)算機(jī)及人工智能技術(shù)目前還是做不到的。3、自學(xué)習(xí)、自組織和自適應(yīng)性學(xué)習(xí)和適應(yīng)要求在時(shí)間過(guò)程中系統(tǒng)內(nèi)部結(jié)構(gòu)和聯(lián)系方式有改變，神經(jīng)元網(wǎng)絡(luò)是一種變結(jié)構(gòu)系統(tǒng)，恰好能完成對(duì)環(huán)境的活應(yīng)和對(duì)外界事物的學(xué)習(xí)能力。神經(jīng)元之間的連接有多種多樣，各神經(jīng)元之間連接強(qiáng)度具有一定的可塑性，相當(dāng)于突觸傳遞信息能力的變化，這樣，網(wǎng)絡(luò)可以通過(guò)學(xué)習(xí)和訓(xùn)練進(jìn)行自組織以適應(yīng)不同信息處理的要求。神經(jīng)元網(wǎng)絡(luò)是大量神經(jīng)元的集體行為，并不是各單元行為的簡(jiǎn)單的相加，而表現(xiàn)出一般復(fù)雜非線性動(dòng)態(tài)系統(tǒng)的特性。如不可預(yù)測(cè)性、不可逆性、有各種類型的吸引子(信息正是“存儲(chǔ)”在定點(diǎn)吸引子)和出現(xiàn)混沌現(xiàn)象等。正是由于神經(jīng)網(wǎng)絡(luò)具有這些特點(diǎn)，所以可以處理一些環(huán)境信息十分復(fù)雜、知識(shí)背景不清楚和推理規(guī)則不明確的問(wèn)題。例如語(yǔ)音識(shí)別和識(shí)別、醫(yī)學(xué)診斷以及市場(chǎng)估計(jì)等，都是具有復(fù)雜非線性和不確定性對(duì)象的控制。在那里，信源提供的模式豐富多彩，有的互相間存在矛盾，而判定決策原則又無(wú)條理可循。通過(guò)神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)(按照學(xué)習(xí)法則)，從典型事例中學(xué)會(huì)處理具體事例，給出比較滿意的解答。2.3 人工神經(jīng)網(wǎng)絡(luò)的基本原理2.3.1神經(jīng)細(xì)胞以及人工神經(jīng)元的組成神經(jīng)系統(tǒng)的基本構(gòu)造單元是神經(jīng)細(xì)胞，也稱神經(jīng)元。它和人體中其他細(xì)胞的關(guān)鍵區(qū)別在于具有產(chǎn)生、處理和傳遞信號(hào)的功能。每個(gè)神經(jīng)元都包括三個(gè)主要部分:細(xì)胞體、樹(shù)突和軸突。樹(shù)突的作用是向四方收集由其他神經(jīng)細(xì)胞傳來(lái)的信息，軸突的功能是傳出從細(xì)胞體送來(lái)的信息。每個(gè)神經(jīng)細(xì)胞所產(chǎn)生和傳遞的基本信息是興奮或抑制。在兩個(gè)神經(jīng)細(xì)胞之間的相互接觸點(diǎn)稱為突觸。簡(jiǎn)單神經(jīng)元網(wǎng)絡(luò)及其簡(jiǎn)化結(jié)構(gòu)如圖2-2所示。從信息的傳遞過(guò)程來(lái)看，一個(gè)神經(jīng)細(xì)胞的樹(shù)突，在突觸處從其他神經(jīng)細(xì)胞接受信號(hào)。這些信號(hào)可能是興奮性的，也可能是抑制性的。所有樹(shù)突接受到的信號(hào)都傳到細(xì)胞體進(jìn)行綜合處理，如果在一個(gè)時(shí)間間隔內(nèi)，某一細(xì)胞接受到的興奮性信號(hào)量足夠大，以致于使該細(xì)胞被激活，而產(chǎn)生一個(gè)脈沖信號(hào)。這個(gè)信號(hào)將沿著該細(xì)胞的軸突傳送出去，并通過(guò)突觸傳給其他神經(jīng)細(xì)胞.神經(jīng)細(xì)胞通過(guò)突觸的聯(lián)接形成神經(jīng)網(wǎng)絡(luò)。（1）細(xì)胞體（2）樹(shù)突（3）軸突（4）突觸圖2-2 簡(jiǎn)單神經(jīng)元網(wǎng)絡(luò)及其簡(jiǎn)化結(jié)構(gòu)圖人們正是通過(guò)對(duì)人腦神經(jīng)系統(tǒng)的初步認(rèn)識(shí)，嘗試構(gòu)造出人工神經(jīng)元以組成人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)來(lái)對(duì)人的智能，甚至是思維行為進(jìn)行研究:嘗試從理性角度闡明大腦的高級(jí)機(jī)能。經(jīng)過(guò)幾十年的努力與發(fā)展，己涌現(xiàn)出上百種人工神經(jīng)網(wǎng)絡(luò)模型，它們的網(wǎng)絡(luò)結(jié)構(gòu)、性能、算法及應(yīng)用領(lǐng)域各異，但均是根據(jù)生物學(xué)事實(shí)衍生出來(lái)的。由于其基本處理單元是對(duì)生物神經(jīng)元的近似仿真，因而被稱之為人工神經(jīng)元。它用于仿效生物神經(jīng)細(xì)胞最基本的特性，與生物原型相對(duì)應(yīng)。人工神經(jīng)元的主要結(jié)構(gòu)單元是信號(hào)的輸入、綜合處理和輸出，其輸出信號(hào)的強(qiáng)度大小反映了該單元對(duì)相鄰單元影響的強(qiáng)弱。人工神經(jīng)元之間通過(guò)互相聯(lián)接形成網(wǎng)絡(luò)，稱為人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)元之間相互聯(lián)接的方式稱為聯(lián)接模式，相互之間的聯(lián)接度由聯(lián)接權(quán)值體現(xiàn)在人工神經(jīng)網(wǎng)絡(luò)中，改變信息處理過(guò)程及其能力，就是修改網(wǎng)絡(luò)權(quán)值的過(guò)程。目前多數(shù)人工神經(jīng)網(wǎng)絡(luò)的構(gòu)造大體上都采用如下的一些原則:1、由一定數(shù)量的基本單元分層聯(lián)接構(gòu)成;2、每個(gè)單元的輸入、輸出信號(hào)以及綜合處理內(nèi)容都比較簡(jiǎn)單;3、網(wǎng)絡(luò)的學(xué)習(xí)和知識(shí)存儲(chǔ)體現(xiàn)在各單元之間的聯(lián)接強(qiáng)度上。2.3.2人工神經(jīng)元的模型神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個(gè)多輸入/單輸出的非線性元件。神經(jīng)元輸出除受輸入信號(hào)的影響外，同時(shí)也受到神經(jīng)元內(nèi)部其它因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個(gè)額外輸入信號(hào)、稱為偏差(bais)，有時(shí)也稱為閾值或門限值。一個(gè)具有r個(gè)輸入分量的神經(jīng)元如圖2-2所示。其中，輸入分量通過(guò)與和它相乘的權(quán)值分量相連，以的形式求和后，形成激活函數(shù)f()的輸入。激活函數(shù)的另一個(gè)輸入是神經(jīng)元的偏差b,權(quán)值Wj和輸入分量的矩陣形式可以由W的行矢量以及P的列矢量來(lái)表示: （2.1）2.4神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與學(xué)習(xí)規(guī)則2.4.1神經(jīng)網(wǎng)絡(luò)的聯(lián)接形式人腦中大量的神經(jīng)細(xì)胞都不是孤立的，而是通過(guò)突觸形式相互聯(lián)系著，構(gòu)成結(jié)構(gòu)與功能十分復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。為了便于從結(jié)構(gòu)出發(fā)模擬智能，因此必須將一定數(shù)量的神經(jīng)元適當(dāng)?shù)芈?lián)接成網(wǎng)絡(luò)，從而形成多種神經(jīng)網(wǎng)絡(luò)模型。通常所說(shuō)的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，主要指它的聯(lián)接方式。神經(jīng)網(wǎng)絡(luò)按照拓?fù)浣Y(jié)構(gòu)屬于以神經(jīng)元為節(jié)點(diǎn)，以及節(jié)點(diǎn)間有向連接為邊的一種圖，其結(jié)構(gòu)大體上可分為層狀和網(wǎng)狀兩大類。層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般地同層內(nèi)的神經(jīng)元不能聯(lián)接，網(wǎng)狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)中，任何兩個(gè)神經(jīng)元之間都可能雙向聯(lián)接。下面介紹幾種網(wǎng)絡(luò)結(jié)構(gòu)：1、前向網(wǎng)絡(luò)前向網(wǎng)絡(luò)通常包含許多層，如圖2-3所示為3層網(wǎng)絡(luò)。這種網(wǎng)絡(luò)特點(diǎn)是只有前后相鄰兩層之間神經(jīng)元相互聯(lián)接，各神經(jīng)元之間沒(méi)有反饋。每個(gè)神經(jīng)元可以從前一層接收多個(gè)輸入，并只有一個(gè)輸出送給下一層的各神經(jīng)元。三層前向網(wǎng)絡(luò)分為輸入層、隱層和輸出層。在前向網(wǎng)絡(luò)中有計(jì)算功能的節(jié)點(diǎn)稱為計(jì)算單元，而輸入節(jié)點(diǎn)無(wú)計(jì)算功能。2、反饋網(wǎng)絡(luò)反饋網(wǎng)絡(luò)從輸出層到輸入層有反饋。即每一個(gè)節(jié)點(diǎn)同時(shí)接收外來(lái)輸入和來(lái)自其它節(jié)點(diǎn)的反饋輸入，其中也包括神經(jīng)元輸出信號(hào)引回到本身輸入構(gòu)成的自環(huán)反饋，如圖2-4所示。這種反饋網(wǎng)絡(luò)每個(gè)節(jié)點(diǎn)都是一個(gè)計(jì)算單元。圖2-3前向網(wǎng)絡(luò) 圖2-4反饋網(wǎng)絡(luò)3、相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò)如圖2-5所示，它是屬于網(wǎng)狀結(jié)構(gòu)。構(gòu)成網(wǎng)絡(luò)中各個(gè)神經(jīng)元都可能相互雙向聯(lián)接，所有的神經(jīng)元既作輸入，同時(shí)也用于輸出。在這種網(wǎng)絡(luò)中，如果在某一時(shí)刻從神經(jīng)網(wǎng)絡(luò)外部施加一個(gè)輸入，各個(gè)神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，直到使網(wǎng)絡(luò)所有神經(jīng)元的活性度或輸出值，收斂于某個(gè)平均值為止作為信息處理的結(jié)束。圖2-5網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò) 圖2-6混合型網(wǎng)絡(luò)4、混合型網(wǎng)絡(luò)上述的前向網(wǎng)絡(luò)和相互結(jié)合型網(wǎng)絡(luò)分別是典型的層狀結(jié)構(gòu)網(wǎng)絡(luò)和網(wǎng)絡(luò)結(jié)構(gòu)網(wǎng)絡(luò)，介于這兩種網(wǎng)絡(luò)中間的一種聯(lián)接方式，如圖2-6所示，在前向網(wǎng)絡(luò)的同層間神經(jīng)元有互聯(lián)的結(jié)構(gòu)，稱為混合型網(wǎng)絡(luò)。這種在同一層內(nèi)的互聯(lián)，目的是為了限制同層內(nèi)神經(jīng)元同時(shí)興奮或抑制的神經(jīng)元數(shù)目，以完成特定的功能。2.4.2神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練人腦中一個(gè)典型神經(jīng)元通過(guò)許多樹(shù)突的精細(xì)結(jié)構(gòu)，收集來(lái)自其它神經(jīng)元的信息，神經(jīng)元又通過(guò)軸突發(fā)出電活性脈沖。軸突分裂上千條分支，在每條分支末端，通過(guò)突觸的結(jié)構(gòu)把來(lái)自軸突的電活性變?yōu)殡娮饔茫瑥亩古c之相連的各種神經(jīng)元的活性受到抑制或興奮。當(dāng)一個(gè)神經(jīng)元收到興奮輸入，而興奮輸入又比神經(jīng)元的抑制輸入足夠大時(shí)，神經(jīng)元把電活性脈沖向下傳到它的軸突，改變軸突的有效性，從而使一個(gè)神經(jīng)元對(duì)另一個(gè)神經(jīng)元的影響改變，便發(fā)生了學(xué)習(xí)行為。因此，可以認(rèn)為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的本質(zhì)特征在于神經(jīng)細(xì)胞特殊的突觸結(jié)構(gòu)所具有的可塑性連接，而如何調(diào)整連接權(quán)重就構(gòu)成了不同的學(xué)習(xí)算法。神經(jīng)網(wǎng)絡(luò)按學(xué)習(xí)方式分為有教師學(xué)習(xí)和無(wú)教師學(xué)習(xí)兩大類。1、有教師學(xué)習(xí)為了使神經(jīng)網(wǎng)絡(luò)在實(shí)際應(yīng)用中解決各種問(wèn)題，必須對(duì)它進(jìn)行訓(xùn)練，就是從應(yīng)用環(huán)境中選出一些樣本數(shù)據(jù)，通過(guò)不斷地調(diào)整權(quán)值矩陣，直到得到合適的輸入輸出關(guān)系為止，這個(gè)過(guò)程就是對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，這種訓(xùn)練的過(guò)程需要有教師示范，提供訓(xùn)練數(shù)據(jù)，又稱樣本數(shù)據(jù)。在訓(xùn)練過(guò)程中又需教師的監(jiān)督，故這種有教師的學(xué)習(xí)又稱監(jiān)督式學(xué)習(xí)。有教師學(xué)習(xí)方法雖然簡(jiǎn)單，但是要求教師對(duì)環(huán)境和網(wǎng)絡(luò)的結(jié)構(gòu)應(yīng)該比較熟悉，當(dāng)系統(tǒng)復(fù)雜，環(huán)境變化時(shí)，就變得困難。為了適應(yīng)環(huán)境變化就要重新調(diào)整加權(quán)值，這樣，當(dāng)學(xué)習(xí)到新知識(shí)的同時(shí)，也容易忘掉已學(xué)過(guò)的舊知識(shí)，這一些是有教師學(xué)習(xí)方法的缺點(diǎn)。2、無(wú)教師學(xué)習(xí)無(wú)教師學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集中，只有輸入而沒(méi)有目標(biāo)輸出，訓(xùn)練過(guò)程神經(jīng)網(wǎng)絡(luò)自動(dòng)地將各輸入數(shù)據(jù)的特征提取出來(lái)，并將其分成若干類。經(jīng)過(guò)訓(xùn)練好的網(wǎng)絡(luò)能夠識(shí)別訓(xùn)練數(shù)據(jù)集以外的新的輸入類別，并相應(yīng)獲得不同的輸出。顯然，無(wú)教師的訓(xùn)練方式可使網(wǎng)絡(luò)具有自組織和自學(xué)習(xí)的功能。2.4.3神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則人類高度發(fā)展的智能，主要是通過(guò)學(xué)習(xí)獲得的。要模擬人腦神經(jīng)系統(tǒng)的學(xué)習(xí)功能，必須使得人工神經(jīng)網(wǎng)絡(luò)具有學(xué)習(xí)功能。因此，有關(guān)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法的研究一直占有特殊的地位。神經(jīng)網(wǎng)絡(luò)中常用的有四種學(xué)習(xí)規(guī)則：1、聯(lián)想式學(xué)習(xí)Hebb規(guī)則。2、誤差傳播式學(xué)習(xí)Delta學(xué)習(xí)規(guī)則。3、概率式學(xué)習(xí)。4、競(jìng)爭(zhēng)式學(xué)習(xí)。第3章前饋多層網(wǎng)絡(luò)結(jié)構(gòu)及其BP學(xué)習(xí)算法3.1前向多層網(wǎng)絡(luò)的結(jié)構(gòu)及BP學(xué)習(xí)算法前向網(wǎng)絡(luò)是目前研究最多的網(wǎng)絡(luò)形式之一。如圖3-1所示，在此模式中，共有三層神經(jīng)元，每層由若干節(jié)點(diǎn)組成，第k層的每個(gè)節(jié)點(diǎn)與第k+1層的每個(gè)節(jié)點(diǎn)連接。第一層為輸入層;第二層為中間層，又稱為隱層;最后一層為網(wǎng)絡(luò)的輸出層。其結(jié)構(gòu)可以表示為:n-q-m網(wǎng)絡(luò)，n為輸入層節(jié)點(diǎn)數(shù)，q為隱含層節(jié)點(diǎn)數(shù)，m為輸出層節(jié)點(diǎn)數(shù)。每個(gè)連接對(duì)應(yīng)一個(gè)權(quán)值，通過(guò)修正這些權(quán)值“學(xué)習(xí)”或“訓(xùn)練”網(wǎng)絡(luò)，從而修正輸入到輸出映射的網(wǎng)絡(luò)函數(shù)。輸入單元的活性(狀態(tài))代表輸入此網(wǎng)絡(luò)中的原始信息。每個(gè)隱單元的活性取決于輸入單元的活性及該輸入單元與隱單元之間聯(lián)接權(quán)值。同樣輸出單元的行為取決于隱單元的活性及隱單元和輸出單元之何的權(quán)值。上述網(wǎng)絡(luò)的信息傳播是由輸入單元傳到隱單元，最后傳到輸出單元。這種含有隱層的前向網(wǎng)絡(luò)有一個(gè)重要特征，即隱單元可以任意構(gòu)成它們自身的輸入表示，輸入單元和隱單元間的權(quán)值決定每個(gè)隱單元何時(shí)是活性的，因此，借修改這些權(quán)值，一個(gè)隱單元可以選擇它代表什么。 圖3-1 BP網(wǎng)絡(luò)結(jié)構(gòu)BP(Back Propagation)算法是誤差反向傳播算法，網(wǎng)絡(luò)的學(xué)習(xí)由四部分組成：1、 輸入模式由輸入層經(jīng)向輸出層的模式順傳播過(guò)程。2、 網(wǎng)絡(luò)的希望輸出與網(wǎng)絡(luò)實(shí)際輸出之間的誤差信號(hào)，由輸出層經(jīng)中間層向輸入層的誤差逆?zhèn)鞑ミ^(guò)程。3、 由模式順傳播與誤差逆?zhèn)鞑シ磸?fù)交替進(jìn)行的網(wǎng)絡(luò)記憶訓(xùn)練過(guò)程。4、 網(wǎng)絡(luò)趨向收斂即網(wǎng)絡(luò)的全局誤差趨向極小值的學(xué)習(xí)收斂過(guò)程。3.2 BP網(wǎng)絡(luò)誤差反向傳播學(xué)習(xí)算法的基本思想為了研究神經(jīng)網(wǎng)絡(luò)是怎樣從經(jīng)驗(yàn)中學(xué)習(xí)的，我們應(yīng)該首先向網(wǎng)絡(luò)提供一些訓(xùn)練例子，并可以通過(guò)下述方法，能教會(huì)一個(gè)三層前向網(wǎng)絡(luò)完成某個(gè)特定的任務(wù)。其方法步驟如下:（1）向網(wǎng)絡(luò)提供訓(xùn)練例子，包括輸入單元的活性模式和期望的輸出單元活性模式;（2）確定網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間允許的誤差；（3）改變網(wǎng)絡(luò)中所有聯(lián)接權(quán)值，使網(wǎng)絡(luò)產(chǎn)生的輸出更接近于期望的輸出，直到滿足確定的允許誤差。下面以網(wǎng)絡(luò)識(shí)別數(shù)字為例說(shuō)明上述方法。比如使用64個(gè)傳感器組成傳感器陣列，每個(gè)傳感器記錄一個(gè)數(shù)字的一小部分面積內(nèi)是否有筆寫的墨跡存在。因此，網(wǎng)絡(luò)需要64個(gè)輸入單元(每個(gè)傳感器一個(gè))，10個(gè)輸出單元(每種數(shù)字一個(gè))和許多隱單元。為便于傳感器記錄每種數(shù)字，網(wǎng)絡(luò)應(yīng)在適當(dāng)?shù)妮敵鰡卧挟a(chǎn)生高活性，并在其它輸單元中產(chǎn)生低的活性。為了訓(xùn)練此網(wǎng)絡(luò)，提供一幅某個(gè)數(shù)字的圖像并把10個(gè)輸出單元的實(shí)際活性和期望活性加以比較，然后計(jì)算誤差，將實(shí)際活性與期望活性差值的平方定義為誤差。其次，改變網(wǎng)絡(luò)中所有聯(lián)接權(quán)值以減少誤差。針對(duì)每種數(shù)字的多種不同圖像重復(fù)訓(xùn)練，直到網(wǎng)絡(luò)能對(duì)每個(gè)數(shù)字正確地歸類為止。實(shí)現(xiàn)上述訓(xùn)練過(guò)程的關(guān)鍵是必須改變的每個(gè)權(quán)值，且其變化量應(yīng)正比于權(quán)值改變時(shí)誤差的變化率，此量稱權(quán)值的誤差導(dǎo)數(shù)，簡(jiǎn)記為EW。但是，要對(duì)EW的有效計(jì)算是十分復(fù)雜棘手的問(wèn)題。如果采取稍許擾動(dòng)每個(gè)權(quán)值，并觀察誤差如何變化，這種方法效率太低，因?yàn)橐髮?duì)每一個(gè)權(quán)值都要單獨(dú)加擾動(dòng)。1979年前后，正在哈佛大學(xué)攻讀博士的Werbos發(fā)明了一種高效的計(jì)算EW的方法，即誤差反向傳播算法，只因發(fā)明后多年來(lái)未受重視，也沒(méi)有充分體會(huì)到它的用處，直到1985年Rumelhart和Parker兩人各自再次發(fā)現(xiàn)該算法后才得以推廣。首先研究網(wǎng)絡(luò)的單元是線性時(shí)誤差反向傳播的算法.首先計(jì)算改變一個(gè)單元活性水平時(shí)誤差的變化率EA，再計(jì)算每個(gè)權(quán)值的誤差導(dǎo)數(shù)EW。對(duì)于輸出單元，EA只是實(shí)際輸出和期望輸出間的差值。為計(jì)算在輸出層前面一層的一個(gè)隱單元的Eel，首先辨別該隱單元和與它相聯(lián)的那些輸出用數(shù)字識(shí)別的BP神經(jīng)網(wǎng)絡(luò)單元間的所有權(quán)值，然后把這些權(quán)值乘以這些輸出單元的EA并求和，此和值即為所選定的隱單元的EA。將所有隱單元的EA計(jì)算出后，可用類似的方法計(jì)算其它層的Eel值，計(jì)算的順序恰好與活性專播過(guò)網(wǎng)絡(luò)路徑相反的方向逐層進(jìn)行，故稱為誤差反向傳播算法。計(jì)算出一個(gè)單元的EA后，再計(jì)算該單元每條輸入聯(lián)接的EW，EW是EA和經(jīng)過(guò)該輸入聯(lián)接活性的乘積。對(duì)于非線性單元，反向傳播算法還包括另外一步，即在反向傳播前，必須把FA變換為EI，EI是一個(gè)單元所收到的總輸入變化時(shí)誤差的變化率。綜上所述，為了訓(xùn)練前向網(wǎng)絡(luò)完成某項(xiàng)任務(wù)，必須調(diào)整每個(gè)單元的權(quán)值，即減小期望輸出與實(shí)際輸出之間的誤差，為此必須計(jì)算每個(gè)權(quán)值變化時(shí)誤差的變化，即誤差導(dǎo)數(shù)EW，而反向傳播算法是一種確定EW使用的最有效的方法。誤差反傳學(xué)習(xí)算法一種改進(jìn)算法可以用圖3-2表示,它添加了多個(gè)隱層. 圖3-2誤差反向傳播學(xué)習(xí)算法網(wǎng)絡(luò)結(jié)構(gòu)圖在如圖3.1所給出的前向多層BP網(wǎng)絡(luò)，設(shè)單元j、i分別是輸出層和它前面一層中的一個(gè)單元。為計(jì)算輸出單元j的活性，首先計(jì)算總加權(quán)輸入，即 （3.1）其中Y是前面一層中第1個(gè)單元的活性水平,Wij是第i個(gè)單元和第j個(gè)單元的聯(lián)接權(quán)值.其次，為了利用上述求得的總加權(quán)輸入Xi來(lái)計(jì)算Yi，必須使用某個(gè)函數(shù)來(lái)激活輸入與輸出函數(shù)。一般常用S型函數(shù): （3.2）在確定了所有輸出單元的活性之后，利用下式計(jì)算網(wǎng)絡(luò)的誤差: （3.3）式中Yj是輸出層中第j個(gè)單元的活性水平，dj是第j個(gè)單元的期望輸出概括起來(lái)反向傳播算法包括下列四個(gè)步驟:(1)一個(gè)輸出單元活性改變時(shí)的誤差導(dǎo)數(shù)EA，即實(shí)際活性與期望活性的差值： （3.4）(2)計(jì)算一個(gè)單元所接受總輸入變化時(shí)的誤差導(dǎo)數(shù)EI，EI實(shí)際上等于上述步驟(1)的結(jié)果乘以一個(gè)單元的總輸入變化時(shí)其輸出的變化率，即 （3.5）(3)計(jì)算一個(gè)與輸出單元聯(lián)接權(quán)值改變時(shí)的誤差變化率EW。 （3.6）不難看出等于上述步驟(2)的結(jié)果，乘以與該輸出單元相連接單元i的活性水平(4)計(jì)算前面一層中一個(gè)單元活性改變時(shí)的誤差變化率，前面一層中一個(gè)單元活性的改變會(huì)影響與該單元相連接的所有輸出單元的活性。因此，為了計(jì)算對(duì)誤差總的影響，把對(duì)各輸出單元的所有單獨(dú)影響相加. （3.7）運(yùn)用步驟(2)和(4),可把一層單元的EA變成前面一層單元的FA，為了得到期望的前面各層的EA?？芍貜?fù)此計(jì)算步驟。當(dāng)?shù)玫揭粋€(gè)單元的EA后，可用步驟(2)和(3)來(lái)計(jì)算作用于它的輸入聯(lián)接上的EW。3.3 BP算法的計(jì)算機(jī)實(shí)現(xiàn)流程BP算法的計(jì)算機(jī)實(shí)現(xiàn)按下述步驟進(jìn)行:(1)初始化，對(duì)所有權(quán)值賦以隨機(jī)任意小值，并對(duì)閥值設(shè)定初值;(2)給定訓(xùn)練數(shù)據(jù)集，即提供輸入向量x和期望輸出y:(3)計(jì)算實(shí)際輸出y （3.8）其中f函數(shù)為Sigmoid函數(shù):(4)調(diào)整權(quán)值，按誤差反向傳播方向，從輸出節(jié)點(diǎn)開(kāi)始返回到隱層按下式修正權(quán)值. （3.9）其中為大于0的增益，為節(jié)點(diǎn)j的誤差，的計(jì)算根據(jù)節(jié)點(diǎn)j的形式不同，由下式分別計(jì)算: （3.10）(5)返回(2)步重復(fù)，直至誤差滿足要求為止。3.4激活轉(zhuǎn)移函數(shù)激活函數(shù)(Activation transfer function)是一個(gè)神經(jīng)元及網(wǎng)絡(luò)的核心。網(wǎng)絡(luò)解決問(wèn)題的能力與功效除了與網(wǎng)絡(luò)結(jié)構(gòu)有關(guān)，在很大程度上取決于網(wǎng)絡(luò)所采用的激活函數(shù)。激活函數(shù)的基本作用是:（1）控制輸入對(duì)輸出的激活作用;（2）對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換;（3）可將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。在這個(gè)設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)中我們選擇的是S型（Sigmod型）激活函數(shù)。S型激活函數(shù)將任意輸入值壓縮到(0,1)的范圍內(nèi)，如圖3-3所示。 帶有偏差的對(duì)數(shù)S型曲線 帶有偏差的雙曲S型函數(shù) 圖3-3 S型激活函數(shù)此種激活函數(shù)常用對(duì)數(shù)或雙曲正切等一類S形狀的曲線來(lái)表示，如對(duì)數(shù)S型激活函數(shù)關(guān)系為: (3.12)而雙曲正切S型曲線的輸入輸出函數(shù)關(guān)系為： （3.13）S型激活函數(shù)具有非線性放大增益，對(duì)任意輸入的增益等于在輸入/輸出曲線中該輸入點(diǎn)處的曲線斜率值。當(dāng)輸入由無(wú)窮增大到零時(shí)，其增益由0增至最大，然后當(dāng)輸入由0增加至正無(wú)窮時(shí)，其增益又由最大逐漸降低至0，并總為正值。利用該函數(shù)可以使同一神經(jīng)網(wǎng)絡(luò)既能處理小信號(hào)，也能處理大信號(hào)。因?yàn)樵摵瘮?shù)的中間高增益區(qū)解決了處理小信號(hào)的間題，而在伸向兩邊的低增益區(qū)正好適用于處理大信號(hào)的輸入。一般地，稱一個(gè)神經(jīng)網(wǎng)絡(luò)是線性或非線性是由網(wǎng)絡(luò)神經(jīng)元中所具有的激活函數(shù)的線性或非線性來(lái)決定的。第4章數(shù)字識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)4.1系統(tǒng)的流程幾種常用的解決問(wèn)題的軟件開(kāi)發(fā)方法，一種是對(duì)問(wèn)題追述的方法，也就是從問(wèn)題的結(jié)果分析起一步一步找到問(wèn)題的源頭。另一種解決問(wèn)題的方法是尋找容易解決的或者是己經(jīng)解決的相關(guān)的問(wèn)題轉(zhuǎn)而應(yīng)用到解決當(dāng)前的問(wèn)題來(lái)。但是當(dāng)前軟件開(kāi)發(fā)中更為流行和常用的方法是逐步求精法。這種方法是一種由頂向下的方法，也就是由一般到特殊的方法，它的基本思想是將原始的問(wèn)題分割成若干個(gè)子問(wèn)題，子問(wèn)題較整個(gè)大問(wèn)題容易解決。本文程序設(shè)計(jì)采用逐步求精法，將整個(gè)系統(tǒng)問(wèn)題分割成若干個(gè)子問(wèn)題來(lái)做，主要包括圖像數(shù)據(jù)輸入模塊GetDIB()、二值化模塊Threshold()、平滑濾波模塊Smooth()、分割模塊divide()、字符切分模塊CharSegment()、字符識(shí)別模塊CharRecognition()。首先分別對(duì)每個(gè)模塊進(jìn)行單元測(cè)試分析和模塊測(cè)試，然后再組合成系統(tǒng)，進(jìn)行系統(tǒng)測(cè)試。圖 4-1 系統(tǒng)邏輯模型流程圖此圖為系統(tǒng)邏輯模型流程圖，其中細(xì)箭頭代表程序的進(jìn)程，整個(gè)程序就是按上圖所示流程編寫的。4.2系統(tǒng)的軟件實(shí)現(xiàn)面對(duì)琳瑯滿目的各種開(kāi)發(fā)環(huán)境和開(kāi)發(fā)軟件,我沒(méi)有使用MATLAB,最主要的原因是VC對(duì)內(nèi)存的掌控很好,這對(duì)運(yùn)算量極大的BP算法有著關(guān)鍵的作用,要知道,設(shè)計(jì)一個(gè)BP網(wǎng)絡(luò)不難,難的是設(shè)計(jì)一個(gè)高效,高速,穩(wěn)定的BP網(wǎng)絡(luò),這就需要我們來(lái)對(duì)內(nèi)存進(jìn)行優(yōu)化,對(duì)算法進(jìn)行最大程度的發(fā)掘.否則設(shè)計(jì)出來(lái)的BP算法將是不健壯、不穩(wěn)定、不實(shí)用的.一定要注意在設(shè)計(jì)時(shí)盡可能多的釋放掉不使用的內(nèi)存.Visua1C+6.0，是Microsoft公司開(kāi)發(fā)的Visual Studio集成開(kāi)發(fā)環(huán)境中功能最為強(qiáng)大、代碼效率最高的開(kāi)發(fā)工共。利用VisualC+6.0可以兩種方式編寫Win32應(yīng)用程序，一種方式是基于Windows API的C編程方式，另一種是基于MFC的C+編程方式。C編程方式是傳統(tǒng)的、久經(jīng)考驗(yàn)的編程方式，代碼的效率較高，但開(kāi)發(fā)難度與開(kāi)發(fā)的工作量都很大。而C+編程方式代碼運(yùn)行效率相對(duì)較低，其開(kāi)發(fā)難度小、開(kāi)發(fā)工作量小、源代碼效率高，尤其Microsoft基礎(chǔ)類庫(kù)（Microsoft Foundation Class Library,MFC）為用戶提供了Windows95/NT環(huán)境下面向?qū)ο蟮某绦蜷_(kāi)發(fā)界面，它提供了大量預(yù)先編寫好的類及支持代碼，用于處理多數(shù)標(biāo)準(zhǔn)Windows編程任務(wù)，因此大大簡(jiǎn)化了Windows應(yīng)用程序編寫工作。MFC類庫(kù)的優(yōu)越性表現(xiàn)在以下幾個(gè)方面：1、MFC幾乎完整地封裝了WindowsAPI函數(shù)。包括窗口函數(shù)、消息、控件、菜單、對(duì)話框、GDI對(duì)象、對(duì)象鏈接，以及多文檔界面等。2、MFC支持多線程，所有的應(yīng)用至少有一個(gè)線程，這個(gè)線程由CWinApp類的對(duì)象創(chuàng)建，被稱為“主”線程口為方便多線程編程，MFC還提供了同步對(duì)象類。3、MFC庫(kù)提供了自動(dòng)消息處理功能。MFC庫(kù)自動(dòng)處理每一個(gè)Windows消息，且每一條Windows消息被直接映射到一個(gè)進(jìn)行處理的成員函數(shù)。4.2.1 BMP圖像格式簡(jiǎn)介程序中能夠進(jìn)行處理的是灰度圖像?；叶葓D是只含亮度信息，不含色彩信息的圖像，就像平時(shí)看到亮度由暗到明變化連續(xù)的黑白照片一樣。因此要表示灰度圖，就需要把亮度值進(jìn)行量化，通常劃分成0到255共256個(gè)級(jí)別，0最暗(全黑)，255最亮(全白)，并將所有灰度圖像轉(zhuǎn)化為DIB(Device-Independent Bitmap設(shè)備無(wú)關(guān)位圖)位圖文件格式。位圖(BMP)文件中DIB的結(jié)構(gòu)由四部分組成:第1部分為位圖文件頭BITMAPFILEH -EADER，指定文件為BMP文件類型，并且指定了從文件頭到實(shí)際位圖數(shù)據(jù)的偏移字節(jié)數(shù);第二部分為位圖信息BITMAPINFOHEADER,其中說(shuō)明了位圖包含的基本信息，如大小，寬度，高度，顏色位數(shù)，水平和垂直分辨率等;第三部分調(diào)色板(Palette)保存顏色信息;第四部分就是實(shí)際的圖像數(shù)據(jù)。由于DIB位圖能獨(dú)立的保存固有的圖像信息，能在不同的系統(tǒng)中重現(xiàn)其圖像，故成為Windows環(huán)境中的基本圖像格式。由MFC中沒(méi)有設(shè)計(jì)一處理DIB位圖的類，因此，利用Visual C+進(jìn)行DIB位圖編程時(shí)只能使用“非面向?qū)ο蟆钡姆椒?，即直接調(diào)用Win32 SDK的有關(guān)API函數(shù)，這是一個(gè)很大的缺陷，彌補(bǔ)的最好方法就是定義一個(gè)處理DIB位圖的專用類，比如一個(gè)名為CDib的類，在其中封裝必需的DIB數(shù)據(jù)成員和處理函數(shù)。但是在構(gòu)建CDib類時(shí)會(huì)遇到許多的困難，因?yàn)閃in32SDK沒(méi)有提供多少直接處理DIB位圖的API函數(shù)，僅支持一些重要的DIB訪問(wèn)，在實(shí)際應(yīng)用時(shí)很不夠，必須定義一套完整的DIB處理函數(shù)。但是Win32 SDK中的DIB API函數(shù)是定義DIB處理函數(shù)集的基礎(chǔ)，因此，還是要分析Win32 SDK中的DIB API函數(shù)，如表4.1所示。從這些函數(shù)中可以看出它們能完成DIB位圖的一些最基本的功能，如能申請(qǐng)到內(nèi)存，完成DIB位圖的構(gòu)造，能縮放顯示DIB于顯示器和打印機(jī)上，直接從磁盤文件中讀入位圖，返回該句柄，能設(shè)置和獲取位圖的顏色表。在構(gòu)造自己的CDib類時(shí)，也要以這些函數(shù)和功能為基礎(chǔ)。表4-1 Win32 SDK中的DIBAPI函數(shù)函數(shù)功能GetDIBits從DDB中獲取位圖的圖象位，用于將DDB轉(zhuǎn)換為DIB格式SetDIBits設(shè)置DIB位圖的圖象位，用于將DIB轉(zhuǎn)換為DDB形式CreateDIBitmap用指定的DIB來(lái)創(chuàng)建DDB，并用DIB信息初始化位圖的圖象位SetDIBitsToDevice直接將DIB位圖的圖象位輸出到設(shè)備，用于顯示DIBStretchDIBits將DIB位圖映射輸出到設(shè)備的一個(gè)矩形區(qū)域，位圖可能被縮放CreateDIBSection創(chuàng)建一個(gè)可直接寫入的DIBGetDIBColorTable獲取DIB的顏色表SetDIBColorTable設(shè)置DIB的顏色表4.2.2 CDib類的構(gòu)造一、CDib類設(shè)計(jì)的目標(biāo)面向?qū)ο笤O(shè)計(jì)的重點(diǎn)是類的設(shè)計(jì)，而不是對(duì)象的設(shè)計(jì)，如果將對(duì)象比作房子，那么類就是房子的設(shè)計(jì)圖紙。對(duì)于C+程序而言，設(shè)計(jì)孤立的類比較容易，難的是正確設(shè)置其基類及派生類。1、功能根據(jù)對(duì)DIB操作的分析，以及參照CBitmap的功能設(shè)計(jì)，CDib類的基本操作功能應(yīng)該包括如下:（1）多種形式的構(gòu)造函數(shù)，包括創(chuàng)建空DIB，從DIB句柄創(chuàng)建，從DIB數(shù)據(jù)塊指針創(chuàng)建及從屏幕或顯示創(chuàng)建等。（2）DIB文件的讀寫操作。（3）DIB的顯示和縮放顯示。（4）提供DIB的空間、顏色和格式特征等信息。（5）DIB格式轉(zhuǎn)換和調(diào)色板操作。（6）能獲取DIB位圖數(shù)據(jù)的句柄并且生成DIB數(shù)據(jù)的拷貝。2、父類由于MFC中已有一個(gè)支持DDB操作的CBitmap類，因此容易想到以CBitmap類作為基類派生出CDib類。但是這樣做有諸多的不適，首先，CBitmap類是為DDB的操作而設(shè)計(jì)的，其中沒(méi)有處理DIB的功能，故CDib類不能從中繼承任何可用的功能；其次，CBitmap類是從CGdiObject中派生出來(lái)的，CBitmap類以及它從CGdiObject類繼承來(lái)的數(shù)據(jù)成員和功能函數(shù)對(duì)CDib來(lái)說(shuō)都是不合適的，也是多余的。此外，CBitmap類沒(méi)有提供有效的文件操作機(jī)制，而DIB主要是一種“外部”位圖，即它主要以文件形式進(jìn)行存儲(chǔ)和交換，所以CDib類應(yīng)該能很好的處理文件操作。MFC中的CObject類是MFC中其他大多數(shù)類的基類。它不但提供許多有用的特性，還包括對(duì)文件串行化的支持，運(yùn)行時(shí)的類信息和對(duì)象診斷的輸出等。如果從CObject類來(lái)派生，則可以繼承該類的這種特性。另外，CObject類具有最低限度的成員數(shù)據(jù)和函數(shù)，從CObject類派生的類所花的代價(jià)是最低的，因此，采用CObject類作為CDib類的基類是很合理的。3、數(shù)據(jù)成員數(shù)據(jù)成員很少，只有四個(gè)，都定義為公有變量public:HDIB mhDib /DIB位圖句柄CPalette *m_pPalette /位圖調(diào)色板類成員對(duì)象指針CBitmap * m_pBitmap /bitmap類成員對(duì)象指針VVin32 SDK使用句柄來(lái)表示操作內(nèi)存對(duì)象，因此，這里也定義了一個(gè)DIB句柄來(lái)表示DIB的內(nèi)存數(shù)據(jù)塊:# define HDIB HANDLEHDIB 定義為存儲(chǔ)BITMAPINFO結(jié)構(gòu)和位圖位數(shù)數(shù)據(jù)塊的內(nèi)存句柄，用GlobalLock鎖定HDIB得到DIB數(shù)據(jù)塊的地址指針，并可將該指針強(qiáng)制為L(zhǎng)PBITMAPINF()或LPBITMAPINFOHEADER來(lái)使用，如HDIB hDIBLPBITMAPINFO lpbi;LPBI TMAPINFOHEADER Ipbih;Lpbi = (LPBITMAPINFO)G lobalLock(HDIB):Lpbih = (LPBITMAPINFOHEADER)lp bi;二、CDib類成員函數(shù)以下介紹的Win32SDKAPI函數(shù)和CDib類的數(shù)據(jù)成員是磚石，現(xiàn)在可以開(kāi)始構(gòu)筑CDib類的成員函數(shù)也即DIB處理類的根基了，將定義的DIB處理函數(shù)分為以下幾類:初始化函數(shù)類，屬性函數(shù)類，顯示函數(shù)類，操作函數(shù)類，調(diào)色板函數(shù)類。初始化函數(shù)類用來(lái)創(chuàng)建DIB,讀入DIB數(shù)據(jù)，保存DIB文件和釋放DIB內(nèi)存空間等;屬性函數(shù)是為了方便得到DIB的空間、顏色和圖像數(shù)據(jù)方面的信息如圖像的高度，寬度，數(shù)據(jù)塊地址等;操作函數(shù)類定義了對(duì)DIB文件的各類實(shí)際操作和變換，這個(gè)類的函數(shù)可以改寫DIB的數(shù)據(jù)所以是個(gè)核心函數(shù)類;調(diào)色板函數(shù)類完成對(duì)調(diào)色板的操作。DIB處理函數(shù)集的各個(gè)函數(shù)的名稱和功能說(shuō)明如表4-2所示:表4-2 DIB處理函數(shù)集各個(gè)函數(shù)函數(shù)類型函數(shù)名稱功能初始化函數(shù)CreateDIB創(chuàng)建一個(gè)空的DIBCreateDefaultDIB用當(dāng)前的系統(tǒng)調(diào)色板創(chuàng)建一個(gè)空的DIBDestroyDIB釋放DIB內(nèi)存塊LoadDIB從DIB文件裝載DIB數(shù)據(jù)SaveDIB將DIB存