基于特征提取人工神經網絡和自組織映射網絡的手寫字母數(shù)字識別

基于特征提取人工神經網絡和改進型自組織映射網絡的手寫字母數(shù)字識別簡介本文提出了一種手寫字母和數(shù)字識別的新方法。本文使用特征來表示手寫字母的相對拓撲結構，這些特征包括：行的終點、角、聯(lián)結點、交叉點、不同特征點之間的線段、孤立的圓。這些特征的提取通過多層相互聯(lián)結的人工神經網絡提取。標準樣本的特征點通過自組織神經網絡（SOM）映射到樣本上。通過比較與標準樣本的特征分布的相似度來識別樣本的特征。改進型的SOM有如下幾點優(yōu)點：1.因為一個特征被分類到幾個組中所以它的特征點會很少。2.為了找到合適的特征點，SOM網絡從不同的環(huán)形區(qū)域組建。3.特征點同時從樣本和標準樣本的提取。4.會從不同的行特征提取相鄰的點。這些改進會使SOM網絡更加穩(wěn)定，組建網絡更加快速。計算機訪真顯示，提出的方法能夠識別大量的不同的樣本。1引言手寫字母的識別是人工神經網絡非常重要的一個就用。因為傳統(tǒng)的計算方法無法很好的達到識別目標，科學家希望人工神經網絡在此方面能夠表現(xiàn)得更好些，因為人工神經網絡是通過模擬人的大腦對信息的處理方式來對數(shù)據(jù)進行處理。但是要模擬出人的信息處理方式并不是件容易的事，這方面的知識太少。然而仍然提出了有許多與人大腦信息處理方式相接近的人工神經網絡感知識是第一個用于模試識別網絡模型。近年來，提出了許多與bp神經網絡及SOM網絡相似的網絡模型。其中的一些通過不同的網絡模型從手寫字母中提取大量的特征，這此特征又被用于神經網絡的模式識別。另一種方法則是輸入特征真接作用于神經網絡，特征提取和模式識別的過程則在網絡中同時完成。本文中，我們提出了一種新的手寫字母數(shù)字的識別方法。本文中的系統(tǒng)由特征提取網絡和改進的SOM網絡組成。為表示出相近的網絡拓撲結構，我們只保留關鍵的特征。本文提出了幾個對SOM的改進，以便使som網絡能夠更好的應用于手寫字母的識別。同時我們做了字母和數(shù)字識別的的訪真。2手寫數(shù)字，字母的特征特征的提取是手寫數(shù)字、字母識別過程中很重要的一個環(huán)節(jié)。因此我們提出了以下幾種特征：行的終點。小于等于90度的角。聯(lián)結點（像T型的）。十字交叉點（十）孤立圓中的一個任意點兩個特征點之間的中點中點表示了兩個特征點之間的線段。圖1中分別表示了這些不同的特征?！穑捍頍o效區(qū)域?！瘛睢铮捍碛行^(qū)域。更進一步，★代表特征點，☆代表兩個特征之間的中點。（a）行的終點（b1）（b2）小于等于90度的角，（c）聯(lián)結點，（d）十字交叉點，（e）兩個特征之間的中點，（f）孤立圓中的一個任意點和中點。3特征提取神經網絡3.1結構框圖圖2是特征提取網絡的結構框圖。手寫字母輸入到Ⅰ層。在Ｆ層，F(xiàn)1層提取行的終點，F(xiàn)2層會提取物征：小于90度的角、聯(lián)結點、十字交叉點，F(xiàn)3層則提取由兩角直線組成的90度的角。在TR層有一個神經網絡，用于從特征點開始跟蹤模式的每行。通過統(tǒng)計從同一特征點開始跟蹤點的數(shù)目來確定它的特征。同時兩條跟蹤路線的相交點則認為是一兩個特征的中點。3.2F層的特征提取本文中所說的模式被認為是標準的模式，事實上要獲得很好的標準模式必須要有些預處理。一個模式首先從Ⅰ層輸入，它的輸出只有0或1。第Ⅰ層中的第i個神經元到F層的第j個神經元的連接權W（IF）由下式決定：每個神經元單元有8個鄰接單元如圖：Ⅰ層到F層的連接，單元●有8個鄰接單元○（a）F1層神經網絡通過控制神經元的輸入是不否等于9，是否激活，提取行的終點。（b）F2神經網絡候選的特征點通過使用等式1中的連接權值，位于特征點右側或鄰接的單元有最大的輸入，這些單元至少有3個鄰接單元，當這些單元的輸入大于等于11時則會激活這些單元。如圖：◆：輸入大于等于11的單元。競爭學習在初始時由于可能有多個單元處于激活狀態(tài)，此情況通過競爭學習來挑選出合適的單元。每一個單元都和它的鄰接單元相連接,并且有一個自循環(huán)。假設鄰接單元中的第ｉ個單元到第ｊ個單元之間的連接權是由下式決定的：式中：，其中Ｖf2i(n)和Ｖf2j(n)是輸出。Ｖf2j(n)是初使輸出由下式決定上：Vij是第Ⅰ層的輸出。當n>=1時第j個單元的輸出由下式決定上：其中:0<η<ε。如果一個單元的輸出值比與它相連的單元閾值要大，則此單元接收正輸入，否則此單元接收負輸入。通過重復上述的步驟，如果某個單元在n=0時有最大輸入，或者位于所有活動單元的中心，則比單元會被選定。（c）F3神經網絡如圖所于的90度角是不能在F2層網絡中提取出來的：因為它只有兩個鄰接的單元。這樣的90度角將在F3層網絡中提取出來。下圖是各層的連接關系：

1，

2，

3，

4，是F3層的輸入，它們接收第I層的輸出，對就為（①②）（①③）（②④）（③④）。如果這些單元的輸入是2輸出是1，那么它們就會被激活。◎單元通過連接權WtF3j=8和Waf3kj=1接收★單元和

k的輸出并且通過Wif3ij=-8接收○k的輸入?？煽闯鯳iF3j+Waf3kj=9，所以當◎k=9時，此單元則是激活的。3.3TR層的標準模式跟蹤正如前面所介紹的F2網絡從特征點提取唯一的特征，它們的特征通過TR層的模式跟蹤來確定。TR層的網絡是一個互相連接的人工神經網絡。它的第i個單元通過權值Wtij和第j個單元相連接。更進一步，它接收第I層的第F層的輸出作為輸入，通過權值WiTij和Wftij，它們的值由下式決定：下圖表示了這種關系：○單元是◎T單元的鄰接單元，它們通過權值Wtij相連。在初使狀態(tài)，標準的模式單元從第I層接收輸入8。更進一步如果輸入特征和標標準的模式單元一致，那么它將從F層接收入輸入1。從而8+1=9，通過設置它的閾值為9，則只有合適的特征單元才能激活，它們成為了起始的單元。下一步，激活的單元通過連接權Wtij向它們鄰接單元輸出1。因此鄰接單元的輸入變成了9。然而激活單元通過模式行傳遞，為了跟蹤一行有兩個激活單元的行，每一個活動單元在兩個時間段保持激活狀態(tài)。3.4M層網絡確定特征和中點行終點，角，連接點，十字交叉點，分別有一，二，三，四個跟蹤點。跟蹤點的個數(shù)在M層確定。M層接收第I層，F(xiàn)層，TR層的輸出作為輸入。如下圖所示：○D1，○D2檢測包含兩個激活單元的跟蹤點。它們分別通過權值Wtd1ij=0.5和權值Wtd2ij=1.5接收單元①和單元②的輸入。通過設置此單元的閾值為2，只有當檢測到跟蹤點時它們才會被激活?！餏單元用于統(tǒng)計跟蹤點的數(shù)目。它分別通過權值Wffij=10接和權值Wdfkj=1接收單元

F和單元

DK的輸出。當它的輸出大于等于11時將會被激活。它的輸入是跟蹤點的數(shù)目加10，并且會被起直接傳遞到M層的

M單元?！餻單元檢測兩上跟蹤點交匯處的中點。為了避免把特征點當成中點對待，此單元通過權值Wffij=-10和一個大的抑制連接接收第F層

f的輸出。此單元同時也分別通過權值Wifjj=8，Wtpjj=1和Wdpkj=1接收第I層

i單元，第TR層

T單元和○Dk單元的輸出。更進一步它通過繼承連接關系接收○單元的輸出。當它的輸出等于10時此單元會被激活，并且輸出10到M層的

M單元。

M單元有兩個來自于○F單元和○P單元的輸入。因此，如果它的輸入等于10，則

M單元代表的是中點。另一方面，如輸入等于或者大于11，

M單元則代表了特征點，此輸入減10是跟蹤點的個數(shù)，并且決定的些特征。3.5孤立圓的提取孤立的圓，在前面的過程中沒有到它的特征，因此也不能在F層中提取出來。在TR層的跟蹤過程之后，一個圓單位會被隨機的提取出來。在此單元中圓開始被跟蹤提取，并且中點也將會被確定。4特征點的分布式映射4.1標準模式的選擇使用P(m)和Q分別代表標準樣本和輸入樣本。它們的特征點分別用(α,β,...)和(a,b,...)代表。α和a代表行的終點，依此類推。標準樣本能過下面的公式近似選?。篘（α）和N（a）代表分別α和a的特征點的個數(shù)。它們都是P和Q向量的一個元素。分子中的||表示向量的規(guī)一值。4.2改進型SOM網絡P(m)和Q的特征點都被分布到同一個平面上。為了簡化，將會使用一個N*N的矩陣來表示平面。每個特征點都分配在此矩陣之中，它們的坐標用（i，j）表示。映身到P(m)上的特征點都被映射到時相應的Q上。因為標準的模式保存了合適的拓撲結構，這些約束用于映射。第1步：從一個區(qū)域選出坐標為（1，j）（N，j）（i，1）（1，N）的特征點（1<=I,j<=N），這些區(qū)域叫做第1區(qū)域（1st-regin）。下圖是一個例子：為了避免在映射過程中的振動，特征點會同時從兩個模式中提取。第2步：當α中的一個元素αm被選擇，相就的a中的特征am也會被選取。此點以αn表示，它可以在第1區(qū)域中找到。另一方面，如果αn是第一個從第1區(qū)域選取的，那么相應的am也會從a中選取。以下的過程與此類似。第3步：選擇那些通過標準模式連接到αm的特征點作為αm的鄰接點。我們把它們稱為第一階鄰接點。下一個特征點叫做第二階鄰接點。第r階鄰接點為αmrk。第4步：把αm向an移動d(αm)個距離。同樣的，把第r階αr向ar移動d(αmrk)個距離。移動的距離按如下規(guī)律減?。和ㄟ^使用第2步中鄰接點和權值的距離移動，P(m)中相似的拓撲網絡結構能夠保存在網絡映射中。第5步：在相同的區(qū)域中選擇另外一個特征點，重復第2到第4步之間的過程。如果第一個區(qū)域中的特征點被選擇完，則從下一個區(qū)域中選擇特征點，也就是第二個區(qū)域：(2，j)，(N-1，j)，(i，2)，(i，N-1)，2<=I,j<=N-1。同樣的在此區(qū)域中重復第2到第4步的過程。因此映射的區(qū)逐步向內部中心變小，如上圖，向中心移動的區(qū)域?？梢酝ㄟ^設置一個變量可以方便人選擇出合適的特征點坐標對。當?shù)竭_區(qū)域的中心，映射處理過程返回到第1步，不斷的重復上述過程，直到網絡達到時一個合適的收斂值。4.3模式識別在特征點映射之后，通過以下式的近似計算來從向量P(m)和Q中分辨出樣本所對應的正確的字符。在上式中，每一個變量的值按如果方式取值：如果αm是精確的映射到an上，則(αm,an)=1,αm=0,an=0并且rmn=1。如果αm與an只是相近，則(αm,an)=1,αm=0,an=0并且rmn>1。rmn是αm與an之間距離的比例系數(shù)。如果沒有合適的特征與和αm與an相近則(αm,an)=0,αm=1,an=1，[β]N,D和[γ]N,D與前面的[]N，D與α和a的操作一樣。如果P(m)的特征分布完全映射到Q上，則C的近似值為1，否則小于1。5訪真5.1特征提取本例中使用打印表上16*16點陣字母和數(shù)字作為標準模板。下圖顯示了標準樣本特征提取的結果：●：行終點，◆：角，T：連接點，十：十字交叉點，▼：第1中點，▲：第2中點。本例中太短的線并沒有檢測中點，這個可以通過增加點陣來改進。盡管有些特征點會偏向左邊，但是可通過SOM網絡進行補償。5.2特征點映射下圖是一個樣本的特征點實例：此樣本的特征點通過式9提取，包含模式4，5，N，Z和z。為了能連續(xù)的移動特征點，在處理過程中使用了一個32*32的矩陣。下圖是一個特征點映射的網絡的實例（使用N，Z，5作為標準模式）：分別使用虛線和實線來分別表示樣本和映射的網絡。這些線并不是精確的和樣本模式一樣。模