神經(jīng)網(wǎng)絡(luò)及其在圖像處理中的應(yīng)用論文.pdf

摘要 人工神經(jīng)網(wǎng)絡(luò)由于具有并行計(jì)算 自組織 自學(xué)習(xí)的特性和全局逼近能力而 受到人們的廣泛關(guān)注 并已經(jīng)被成功地應(yīng)用r 模式識(shí)別 圖像處理 函數(shù)逼近 白適應(yīng)控制等方面 b p 神經(jīng)網(wǎng)絡(luò)是各種神經(jīng)網(wǎng)絡(luò)模型中最具代表意義的一種網(wǎng) 絡(luò) 本文首先對(duì)b p 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及b p 算法進(jìn)行了綜述 尤其對(duì)目前b p 算法 的改進(jìn)動(dòng)態(tài)做了系統(tǒng)的分析研究 在此基礎(chǔ)上 本文提出了一種直接白適應(yīng)b p 算法 該算法著重改進(jìn)了權(quán)值的調(diào)整方法 和標(biāo)準(zhǔn)b p 算法和以學(xué)習(xí)速率改變?yōu)?基礎(chǔ)的算法相比 此算法縮短了學(xué)習(xí)時(shí)間 提高了學(xué)習(xí)效率 有效地避免了b p 算法收斂速度慢 易陷入局部極小等缺陷 其次 本文將改進(jìn)的b p 算法用于字符圖像的識(shí)別 取得了良好的效果 為 改善神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法對(duì)樣本的依賴性 本文提出了 種基于神經(jīng) 模糊推淪系 統(tǒng)進(jìn)行印刷體字符圖像識(shí)別的方法 該方法具有識(shí)別率高及對(duì)噪聲不敏感的特 一眭 仿真結(jié)果電證明其優(yōu)于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法 再次 本文提出一種基于鄰域灰度變化極值和神經(jīng)網(wǎng)絡(luò)的圖像邊緣檢測(cè)新方 法 浚方法首先基于鄰域狄度極值提取邊界候選圖像 然后以邊界候選象素及其 鄰域象素的二值模式作為樣本集輸入對(duì)邊緣檢測(cè)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練 為加快網(wǎng)絡(luò) 的收斂速度 本文提出了滾動(dòng)訓(xùn)練方法 實(shí)驗(yàn)證明本文提出的邊緣檢測(cè)新方法較 之于已有的神經(jīng)網(wǎng)絡(luò)方法提高了學(xué)習(xí)效率 獲得的邊緣圖像封閉性好 邊緣描述 真實(shí) 最后 本文提出并實(shí)現(xiàn)了一種使用v b a c c e s s m a t l a b 混合編程的神經(jīng)網(wǎng)絡(luò) 模式識(shí)別系統(tǒng) 在系統(tǒng)中提出了基于數(shù)據(jù)庫(kù)模式的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)架構(gòu) 并為 進(jìn) 步形成基于圖像數(shù)據(jù)庫(kù)模式的神經(jīng)網(wǎng)絡(luò)數(shù)掘存儲(chǔ)架構(gòu)奠定了基礎(chǔ) 系統(tǒng)較目 前普遍采用的方法更為簡(jiǎn)便 高效 且具有良好的模塊化結(jié)構(gòu)和可移植性以及透 明性 經(jīng)試驗(yàn)證明具有良好的效果 對(duì)于各種模式識(shí)別的情況 都具有較高的實(shí) 用性和參考價(jià)值 關(guān)鍵詞 神經(jīng)網(wǎng)絡(luò) 模式識(shí)別 神經(jīng)模糊系統(tǒng) 邊緣檢測(cè) 卜 卜 a b s t r a c t a n i f i c i a ln e 刪n e t w 口r k sa t 仃a c tm o r ea n dm o r ea t t e n t i o ni nr e c e n tv e a r s hh a s b e e n s u c c e s s m l l ya p p l i e d t o m a n yf i e i d s s u c h a s p a t t e mr e c o g m t i o l l i m a g e p r o c e s s i n g f i l n c t i o n 印p r o x i m a t i o n s e l f a d 印t i v ec o n t r o l b pn e u r a ln e t w o r ki so n e o f t h er e p r e s e n t a t i v en e u r a ln e t w o r km o d e l s f i r s t t h e s t n j c m r eo fb pn e t w o r ka 芏l dc l a s s i c a j b a c k p r o p a g a t i o nl e a m i n g a l g o r i m mi si n 的d u c e di l l t l l ep 印盯 a i l dt i l c ns y s t e r n a t i ca 1 1 a l y s i sa f l dr e s e a r c ha r e m a d et ot 1 1 ev a r i o l l sl e a m i n gm e t h o d so fi m p r o v e db pa l g o 枷 l i r i ad i r e c ta d a p t i v e b pl e 鋤i 1 1 9 兩n c i p l e b a s e do nm es t a i l d a r db pa l g o 血l l i n i sp r e s e n t e d w l l i c h s t r e s s e do nt l l ea d j l l s t i i l e n tm e t h o do ft h ew e i g h t e x p e r i m e n tr e s u l t ss h o wt h a tt h e i m p r o v e db pa l g o r i t h mh a sm ec h a r a c t e r i s t i co ft h es h o r tt i m ea n dh i 啦e m c i e n c yo f l e 鋤i n g s e c o n d c 1 1 a r a c t e ri m a g er e c o g i l i t i o nu s i n gi m p r o v e db pa l g o r i t h mi sp mf b n a l d i nt 1 1 ep 印 w h i c ho b t a i l l s9 0 0 de 仃e c t a l l dn l e nam e t h o do fb l o c kl e t t e rr c c o g n i t i o n u s i n ga n f i s a d a f t i v e n e t w o r k b a s e df u z z yi n f e r e n c es y s t e m s i sp r o p o s e d w h i c hh a sc h a m c t e r i s t i co fm g hr e c o g n i t i o nr a t ea n dr o b u s tw h e nt l ec h a r a c t e ra r e p o l l u t e d e 叩e r i m e mr e s u l t si i l d i c a 飴t i l a ti ti ss l l p e r i o rt 0t h em e t h o do fa f n t 1 1 i r d am e t h o do fe d g ed e t e c t i o l l w h i c h 弧do nm a x i m u f n 乒e yv a l u e s c h a i i g i n go fn e a r b yp i x e l s 鋤dn e u m ln e 帆o r ki sp r o p o s e di i lt h ep 印e r t h em e t h o d u s e sal o g i c a lj u d g e m e n ta l g o r i 仉mt og e te d g ec a n d i d a t ci m a g e s a i l dm e n e d g ep i x e l s a n dm e i rn e i g h b o rp i x e l sc o m p o s et h eb i n a r y s a i i l p l e so ft 佗n e 啊a ln e t w o r k a s c m l l l e a m i n gm e m o di sa l s op r o p o s e dt oa c c e l e r a t et h ec o n v e 唱e n c es p e e d t h et e s t o ni m a g e sp r o v e st 1 1 a tt l l e i i i l a g es e 舯e m e db yt h i sm e t h o dh a sag o o de d g e c l o s e d n e s sa n dn l l ee d g e f i n a j l y ah y b r i dp r o 伊a l i l n l i n gm e t h o d v i t hv b a c c e s sa n dm a t l a bt 0d e s i g n a i l dp e 響徹an e u 蹦n e t w o r kp l a t f b r i nf o rp a 滟m r e c o g n i t i o ni sd e v e l o p e di i lt l e p 印e las c o r a g em i r i l e v o r kb a s e do nd a t a b a s et om a n a g e 也en e l l r a ln e t r kl e a m i n g d a 詛i sp r o p o s e di nt h ep l a t f o 帥 n c n 恤p l a t f o mi sm eo n e 誦t hb e a u t i 削 m o d u l 撕t ya n da l s 0p e n e t r a b i l i 夠f o ra l l yk i n d so fp a t t e mr e c o g l l i t i o np r o b l e m s i t l l a sm e l l i g h e rv a i u 懿o f a p p l i c a t i o no rr e f e r e n c e k e yw o r d s n e u 腳n e t w o r kp a t t e mr e c o g l l i t i o n a n f i s e d g ed e t e c t i o l l 第一章緒論 第一章緒論 1 1 神經(jīng)網(wǎng)絡(luò)及其基本特征 神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò) 它的組織 能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體做出交互反應(yīng) 它是在現(xiàn)代神經(jīng)科學(xué)研究 成果的基礎(chǔ)之上提出柬的 反映了人腦功能的基本特性 但神經(jīng)網(wǎng)絡(luò)并不是人腦 的真實(shí)描寫 而只是它的某種抽象 簡(jiǎn)化與模擬 網(wǎng)絡(luò)的信息處理由神經(jīng)元之間 的相互作用束實(shí)現(xiàn) 知識(shí)與信息的存貯表現(xiàn)為網(wǎng)絡(luò)元件互連 日j 分布式的物理聯(lián) 系 網(wǎng)絡(luò)的識(shí)別和學(xué)習(xí)決定于各神經(jīng)元連接權(quán)的動(dòng)態(tài)演化過(guò)程 神經(jīng)網(wǎng)絡(luò)是一個(gè)具有高度非線性的超大規(guī)模連續(xù)時(shí)間動(dòng)力系統(tǒng) 其最主要特 征為連續(xù)時(shí)間非線性動(dòng)力學(xué) 網(wǎng)絡(luò)的全局作用 大規(guī)模并行分前 處理及高度的魯 棒性和學(xué)習(xí)聯(lián)想能力 同時(shí)它又具有一般非線性動(dòng)力系統(tǒng)的共性 即 不可預(yù)測(cè) 性 吸引性 耗散性 非平衡性 不可逆性 高維性 廣泛連接性與自適應(yīng)性 因此 神經(jīng)網(wǎng)絡(luò)實(shí)際上是一個(gè)超大規(guī)模非線性連續(xù)時(shí) 日j 自適應(yīng)信息處理系統(tǒng) j 1 2 神經(jīng)網(wǎng)絡(luò)研究的內(nèi)容與學(xué)習(xí)規(guī)則 1 2 1 神經(jīng)網(wǎng)絡(luò)研究的內(nèi)容 人工神經(jīng)網(wǎng)絡(luò)的研究的內(nèi)科1 0 j 刀可分為兩個(gè)大的方面 一方面是理論研究 另一方面是應(yīng)用研究 1 2 1 1 理論研究 神經(jīng)網(wǎng)絡(luò)理論研究可分為兩類 一類是利用神經(jīng)生理與認(rèn)知科學(xué)研究人類思維及智能機(jī)理 例如 人們通過(guò) 大量的生理學(xué) 解剖學(xué)實(shí)驗(yàn)掌握了大腦神經(jīng)系統(tǒng)的結(jié)構(gòu)特征 初步探明了大腦神 經(jīng)活動(dòng)機(jī)理 以及與神經(jīng)活動(dòng)有關(guān)的一些生物化學(xué)反應(yīng) 對(duì)人腦的生理機(jī)構(gòu)研究 則為構(gòu)造人工神經(jīng)網(wǎng)絡(luò)模型及完善網(wǎng)絡(luò)算法打下了基礎(chǔ) 當(dāng)然大腦神經(jīng)網(wǎng)絡(luò)的奧 秘還有待進(jìn)一步研究 理論研究的另 類是 利用神經(jīng)網(wǎng)絡(luò)基礎(chǔ)理論的研究成果 用數(shù)理方法探索 功能更加完善 性能更加優(yōu)越的神經(jīng)網(wǎng)絡(luò)模型 深入研究網(wǎng)絡(luò)算法的性能 如穩(wěn) 定性 收斂性 容錯(cuò)性 魯棒性 動(dòng)力學(xué)復(fù)雜性等 丌發(fā)新的網(wǎng)絡(luò)數(shù)理理論 如 第一帝緒論 神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué) 非線性神經(jīng)場(chǎng)等 1 2 1 2 應(yīng)用研究 人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究可分為兩類 一類是神經(jīng)網(wǎng)絡(luò)的軟件模擬和硬件實(shí)現(xiàn)的研究 在通用計(jì)算機(jī) 專用計(jì)算機(jī)或者并行計(jì)算機(jī)上進(jìn)行軟件模擬 或由專用數(shù)字 信號(hào)處理芯片構(gòu)成神經(jīng)網(wǎng)絡(luò)仿真器 出模擬集成電路 數(shù)字集成電路或者光器件在硬件上實(shí)現(xiàn)神經(jīng)芯片 基于硬 件實(shí)現(xiàn)的人工神經(jīng)網(wǎng)絡(luò)通稱第六代計(jì)算機(jī) 它是一種模擬人腦的超分散超平行的 信息處理系統(tǒng) 它不僅有自學(xué)習(xí)自組織的功能 而且無(wú)需復(fù)雜程序的啟動(dòng) 電子 神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)是第六代計(jì)算機(jī)技術(shù)中發(fā)展的較為成熟的一種 美國(guó)的t r w 公 司于1 9 9 5 年研制出了在3 6 c i n 2 芯片上集成了l o 億個(gè)神經(jīng)元的人工神經(jīng)網(wǎng)絡(luò) 另一類是神經(jīng)網(wǎng)絡(luò)在各個(gè)領(lǐng)域中的應(yīng)用研究 i t 8 l 神經(jīng)網(wǎng)絡(luò)理論的應(yīng)用已經(jīng) 滲透到各個(gè)領(lǐng)域 并在計(jì)算機(jī)視覺 模式識(shí)別 智能控制 語(yǔ)音處理 傳感技術(shù) 與機(jī)器人 生物醫(yī)學(xué)工程等方面取得令人鼓舞的進(jìn)展 例如 工業(yè)控制中 采用 神經(jīng)網(wǎng)絡(luò)自校正調(diào)節(jié)器后 可以隨環(huán)境和特性的變化自動(dòng)調(diào)整 使被控過(guò)程輸出 對(duì)其設(shè)定值的方差達(dá)到最小 不僅使產(chǎn)品質(zhì)量穩(wěn)定 還能降低原材料的消耗 美 國(guó)聯(lián)邦航空管理局利用神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)場(chǎng)行李炸彈檢測(cè)等 1 2 2 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 人工神經(jīng)網(wǎng)絡(luò)是實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)思維和學(xué)習(xí)的物質(zhì)基礎(chǔ) 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程 是通過(guò)不斷調(diào)整網(wǎng)絡(luò)的連接權(quán)值束實(shí)現(xiàn)的 根據(jù)學(xué)習(xí)算法所采用的學(xué)習(xí)規(guī)則 可 以分為相關(guān)規(guī)則j 糾錯(cuò)規(guī)則 無(wú)教師學(xué)習(xí)規(guī)則 1 2 2 1 相關(guān)規(guī)則 僅僅根掘連接f 8 j 的激活水平改變權(quán)系 即如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元同另一 直接與它連接的神經(jīng)元同時(shí)處于興奮狀態(tài) 那么這兩個(gè)神經(jīng)元之間的連接將得到 加強(qiáng) 相關(guān)規(guī)則常用于自聯(lián)想網(wǎng)絡(luò) 執(zhí)行特殊記憶狀態(tài)的死記式學(xué)習(xí) h o p f i e l d 神 經(jīng)網(wǎng)絡(luò)即是如此 所采用的修正的h e b b 規(guī)則為 2 一1 2 一1 這黽 和一分別是節(jié)點(diǎn)f 和 的系激勵(lì)值 2 第一市緒論 1 2 2 2 糾錯(cuò)規(guī)則 依賴關(guān)于輸出節(jié)點(diǎn)的外部反饋改變權(quán)系 從方法上等效于梯度下降法 通過(guò) 再局部最大改善的方向上一小步 一小步地進(jìn)行修正 力圖達(dá)到表示函數(shù)功能問(wèn) 題的全局解 感知器學(xué)習(xí)即是使用糾錯(cuò)規(guī)則 對(duì)于萬(wàn)學(xué)習(xí)規(guī)則 可分為一般占規(guī)則和廣義萬(wàn)規(guī)則 1 萬(wàn)學(xué)習(xí)規(guī)則 它優(yōu)于感知器學(xué)習(xí) 因?yàn)?不是一固定量而是與誤差成正 比 即 瑚 曬y i 這罩可是全局控制系數(shù) 而4 一 即期望值與實(shí)際值之差 2 廣義萬(wàn)規(guī)則 它可在多網(wǎng)絡(luò)上有效地學(xué)習(xí) 其關(guān)鍵是對(duì)隱節(jié)點(diǎn)的偏差艿如 何定義和計(jì)算 對(duì)b p 算法 當(dāng)f 為隱節(jié)點(diǎn)時(shí) 定義 4 朋 甌既 這罩既是節(jié)點(diǎn)f 到上一層節(jié)點(diǎn)后的權(quán)值 廠 為c 函數(shù) 將某一隱節(jié)點(diǎn)饋入上 一層節(jié)點(diǎn)的誤差的比例總和 加權(quán)和 作為該隱節(jié)點(diǎn)的誤差 通過(guò)可觀察的輸出 節(jié)點(diǎn)誤差 下一層隱節(jié)點(diǎn)的誤差就能遞歸得到 廣義j 規(guī)則可學(xué)習(xí)非線性可分函 數(shù) 3 b o l t z m a n 機(jī)學(xué)習(xí)規(guī)則 它是基于模擬退火的統(tǒng)計(jì)方法來(lái)替代廣義艿規(guī)則 適應(yīng)于多層網(wǎng)絡(luò) 它提供了隱節(jié)點(diǎn)學(xué)習(xí)的一個(gè)有效方法 能學(xué)習(xí)復(fù)雜的非線性可 分函數(shù) 主要缺點(diǎn)是學(xué)習(xí)速度太慢 因?yàn)樵谀M退火過(guò)程中要求系統(tǒng)進(jìn)入平衡時(shí) 冷卻 必須慢慢的進(jìn)行 否則易陷入局部極小 它基本上是梯度下降法 所以 要提供大量的例子 糾錯(cuò)規(guī)則基于梯度下降法 因此不能保證達(dá)到全局最優(yōu)解 同時(shí)要求大量訓(xùn) 練樣本 因而收斂速度慢 糾錯(cuò)規(guī)則對(duì)樣本的表示次序變化比較敏感 必須精心 組織 于 能有效學(xué)習(xí) 1 2 2 3 無(wú)教師學(xué)習(xí)規(guī)則 學(xué)習(xí)表現(xiàn)為自適應(yīng)于輸入空間的檢測(cè)規(guī)則 諸如g f o s s b e 曜等的a r t k o h o n e n 的自組織特征映射等都是無(wú)教師學(xué)習(xí) 在這類學(xué)習(xí)規(guī)則中 關(guān)鍵不在于 實(shí)際節(jié)點(diǎn)的輸出怎樣與外部的期望輸出相一致 而在于調(diào)整參數(shù)以反映觀察事件 的分布 這類無(wú)教師學(xué)習(xí)系統(tǒng)的學(xué)習(xí)并不在于尋找一個(gè)特殊映射函數(shù)的表示 而是將 事件空間分類成輸入活動(dòng)區(qū)域 并有選擇地對(duì)這些區(qū)域響應(yīng) 它在應(yīng)用于丌發(fā)出 第一帝緒論 多層競(jìng)爭(zhēng)族組成的網(wǎng)絡(luò)方面有良好的f i 景 它的輸入可以是連續(xù)值 對(duì)噪聲宵較 強(qiáng)的抗干擾能力 但對(duì)較少的輸入樣本 結(jié)果可能要依賴于輸入順序 1 3 神經(jīng)網(wǎng)絡(luò)研究的歷史與發(fā)展前景 1 3 7 9 1 3 1 神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程 神經(jīng)網(wǎng)絡(luò)的發(fā)展 可追溯到一個(gè)世紀(jì)以前 其發(fā)展歷程可分為五個(gè)時(shí)期 即 初創(chuàng)時(shí)期 仞始發(fā)展期 低潮時(shí)期 復(fù)興時(shí)期和發(fā)展高潮期 1 8 9 0 年 美國(guó)生物學(xué)家w j 鋤e s 出版了 塵物學(xué) 一書 首次闡明了有關(guān) 人腦結(jié)構(gòu)和功能 以及一些相關(guān)學(xué)習(xí) 聯(lián)想記憶的基本規(guī)則 1 9 4 3 年 心理學(xué) 家m c c u l l o c h 和數(shù)學(xué)家p i n s 合作提出了形式神經(jīng)元的數(shù)學(xué)模型 稱之為m p 模 型 從此丌創(chuàng)了計(jì)算神經(jīng)科學(xué)理論研究的時(shí)代 1 9 4 4 年 h e b b 從條件反射的 研究中提出了h e b b 學(xué)習(xí)規(guī)則 到5 0 年代未 以r d s e n b l a t t 提出的感知器為代表 形成了a n n 研究的第一次高潮 1 9 4 9 年m i i l s k y 和p a p e r t 的 p e r c e p t i o n 一書 出版 在大量數(shù)學(xué)分析的基礎(chǔ)上 指出了感知器的局限性 從而導(dǎo)致了神經(jīng)網(wǎng)絡(luò) 研究的降溫 到7 0 年代 僅有少數(shù)學(xué)者還致力于神經(jīng)網(wǎng)絡(luò)的研究 進(jìn)入8 0 年代以來(lái) 國(guó)際上再次掀起a n n 的研究熱湖 并取得了一大批引 人矚目的成果 1 9 8 2 年 物理學(xué)家h o p f i e l d 提出了h n n 模型 從而有力地推動(dòng) 了a n n 的研究 h i r l t o n 和s e j n o w s k i 采用多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法 提出了 b o l t z m a n 機(jī)模型 來(lái)保證整個(gè)系統(tǒng)趨于全局穩(wěn)定點(diǎn) r u r n e m a n 和m c c l e l l a n d 等 人提出了p d p 并行分布處理 理論 并發(fā)展了多層網(wǎng)絡(luò)的b p 算法 1 9 8 8 年美 國(guó)加州大學(xué)的l 0 c h u a 等人提出了細(xì)胞神經(jīng)網(wǎng)絡(luò)模型 它是一個(gè)大規(guī)模的非線 性模擬系統(tǒng) 同時(shí)具有細(xì)胞自動(dòng)機(jī)的動(dòng)力學(xué)特性 a n n 的研究引起了美國(guó) 歐洲與同本等國(guó)科學(xué)家和企業(yè)家的巨大熱情 腦 電學(xué) 心理學(xué) 認(rèn)知科學(xué) 計(jì)算機(jī)科學(xué) 哲學(xué)等不同學(xué)科的科學(xué)工作者正在為此 進(jìn)行合作研究 新的研究小組 實(shí)驗(yàn)室和公司與同俱增 美國(guó)星球大戰(zhàn)計(jì)劃 歐 洲尤里卡計(jì)劃都將神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)作為重大研究項(xiàng)目 有關(guān)神經(jīng)網(wǎng)絡(luò)的國(guó)際會(huì)議 頻繁召丌 目前 a n n 理論已經(jīng)在諸多領(lǐng)域得到了廣泛的應(yīng)用 1 3 2 神經(jīng)網(wǎng)絡(luò)的發(fā)展前景 1 9 針對(duì)神經(jīng)網(wǎng)絡(luò)存在的問(wèn)題和社會(huì)的需求 今后發(fā)展的主要方向可分為理論研 究和應(yīng)用研究?jī)蓚€(gè)方面 1 利用神經(jīng)生理與認(rèn)知科學(xué) 研究大腦思維及智能的機(jī)理 計(jì)算理論 4 第一章緒論 人工神經(jīng)網(wǎng)絡(luò)提供了一種揭示智能和了解人腦工作方式的合理途徑 但是由 于人類起初對(duì)神經(jīng)系統(tǒng)了解非常有限 對(duì)于自身腦結(jié)構(gòu)及其活動(dòng)機(jī)理的認(rèn)識(shí)還十 分膚淺 而且?guī)в心撤N先驗(yàn)性 例如 b o l 機(jī)引入隨機(jī)擾動(dòng)來(lái)避免局部極 小 有其卓越之處 然而缺乏必要的腦生理基礎(chǔ) 毫無(wú)疑問(wèn) 人工神經(jīng)網(wǎng)絡(luò)的發(fā) 展與完善要結(jié)合神經(jīng)科學(xué)的研究 而且 神經(jīng)科學(xué) 生理學(xué)和認(rèn)知科學(xué)等方面提 出的一些重大問(wèn)題是向神經(jīng)網(wǎng)絡(luò)理論科學(xué)研究提出的挑戰(zhàn) 這些問(wèn)題的解決有助 于完善和發(fā)展神經(jīng)網(wǎng)絡(luò)理論 因此利用神經(jīng)生理和認(rèn)知科學(xué)研究大腦思維及認(rèn)知 科學(xué)的機(jī)理 如有新的突破 將會(huì)改變智能和機(jī)器關(guān)系的認(rèn)識(shí) 利用神經(jīng)科學(xué)基礎(chǔ)理論研究的成果 用數(shù)理方法探索智能水平更高的人工神 經(jīng)網(wǎng)絡(luò)模型 深入研究網(wǎng)絡(luò)的算法和性能 如神經(jīng)計(jì)算 進(jìn)化計(jì)算 穩(wěn)定性 收 斂性 計(jì)算復(fù)雜性 容錯(cuò)性 魯棒性等 開發(fā)新的網(wǎng)絡(luò)數(shù)理理論 由于神經(jīng)網(wǎng)絡(luò) 的非線性 因此非線性的研究是神經(jīng)網(wǎng)絡(luò)理論發(fā)展的一個(gè)最大動(dòng)力 特別是人們 發(fā)現(xiàn)大腦中存在著混沌現(xiàn)象以來(lái) 用混沌動(dòng)力學(xué)啟發(fā)神經(jīng)網(wǎng)絡(luò)的研究或用神經(jīng)網(wǎng) 絡(luò)產(chǎn)生混沌成為擺在人們面前的新課題 因?yàn)閺纳肀举|(zhì)角度出發(fā)是研究神經(jīng)網(wǎng) 絡(luò)的根本手段 2 神經(jīng)網(wǎng)絡(luò)軟件模擬 硬件實(shí)現(xiàn)的研究及神經(jīng)網(wǎng)絡(luò)在各科學(xué)領(lǐng)域應(yīng)用的研究 由于人工神經(jīng)網(wǎng)絡(luò)可以用傳統(tǒng)計(jì)算機(jī)模擬 也可以用集成電路芯片組成神經(jīng) 計(jì)算機(jī) 甚至還可以用光學(xué)的 生物芯片的方式實(shí)現(xiàn) 因此研制純軟件模擬 虛 擬模擬和全硬件實(shí)現(xiàn)的電子神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)潛力巨大 如何使神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)與 傳統(tǒng)的計(jì)算機(jī)和人工智能技術(shù)相結(jié)合也是前沿課題 如何使神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)的功 能向智能化發(fā)展 研制與人腦功能相似的智能計(jì)算機(jī) 如光學(xué)神經(jīng)計(jì)算機(jī) 分子 神經(jīng)計(jì)算機(jī) 將具有十分誘人的前景 1 4 本文的主要工作 本論文所做的工作主要有以下幾個(gè)方面 1 b p 神經(jīng)網(wǎng)絡(luò)研究 對(duì)b p 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和b p 算法作了一個(gè)系統(tǒng)的綜述 提出了一種改進(jìn)的b p 算法 并仿真證明該方法的有效性 2 基于神經(jīng)網(wǎng)絡(luò)的字符識(shí)別 介紹神經(jīng)網(wǎng)絡(luò)應(yīng)用于字符識(shí)別的方法 給出了神經(jīng)網(wǎng)絡(luò)識(shí)別加噪的數(shù)學(xué)符號(hào) 的仿真結(jié)果 提出了一種基于神經(jīng)模糊推理系統(tǒng)的印刷體字符識(shí)別的方法 并針 對(duì)英文大寫字母和數(shù)字的識(shí)別仿真證明此方法優(yōu)于神經(jīng)網(wǎng)絡(luò)的方法 3 基于神經(jīng)網(wǎng)絡(luò)的圖像邊緣檢測(cè) 第 章緒論 將神經(jīng)網(wǎng)絡(luò)用于圖像邊緣檢測(cè) 提出了一種基于神經(jīng)網(wǎng)絡(luò)的邊緣檢測(cè)新方 法 并實(shí)驗(yàn)證明此方法較之于已有的神經(jīng)網(wǎng)絡(luò)方法檢測(cè)效果好 速度快 4 神經(jīng)網(wǎng)絡(luò)模式識(shí)別系統(tǒng)的開發(fā)和設(shè)計(jì) 結(jié)合v b 和m a t i a b 的優(yōu)點(diǎn) 以v b n e w b 6 編寫操作界面 丌發(fā)基于數(shù)據(jù) 庫(kù)模式的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)架構(gòu) 完成各項(xiàng)功能的調(diào)用及數(shù)據(jù)的i o 操作 以 m a t l a b 6 1 進(jìn)行有關(guān)神經(jīng)網(wǎng)絡(luò)的運(yùn)算 開發(fā)神經(jīng)網(wǎng)絡(luò)模式識(shí)別系統(tǒng) 并實(shí)驗(yàn)證明 它對(duì)各種模式識(shí)別問(wèn)題都具有廣泛的適用性 6 第二市b p 神纖嘲絡(luò)研究 第二章b p 神經(jīng)網(wǎng)絡(luò)研究 在神經(jīng)網(wǎng)絡(luò)的理論研究方面 至今尚未有一種新方法從理論上證明在各種情 況下全面優(yōu)于反向傳播算法 b p 算法 因此 b p 算法的改進(jìn)研究一直是神經(jīng) 網(wǎng)絡(luò)理論研究的熱點(diǎn) 但對(duì)此進(jìn)行綜述的文章卻很少見 本章首先對(duì)b p 神經(jīng)網(wǎng) 絡(luò)結(jié)構(gòu)及b p 算法進(jìn)行了綜述 尤其對(duì)目前b p 算法的改進(jìn)動(dòng)態(tài)做了系統(tǒng)的分析 研究 在此基礎(chǔ)上 本文提出了一種直接自適應(yīng)b p 算法 該算法采用了變化的 權(quán)更新值來(lái)直接修改權(quán)值 和標(biāo)準(zhǔn)b p 算法和以學(xué)習(xí)速率改變?yōu)榛A(chǔ)的算法相比 學(xué)習(xí)規(guī)律簡(jiǎn)單和清楚 計(jì)算上的花費(fèi)很少 實(shí)驗(yàn)證明此算法縮短了學(xué)習(xí)時(shí)間 提 高了學(xué)習(xí)效率 有效地避免了b p 算法收斂速度慢 易陷入局部極小等缺陷 2 1b p 網(wǎng)絡(luò)結(jié)構(gòu)分析 r 在已出現(xiàn)的眾多神經(jīng)網(wǎng)絡(luò)模型中 b p 神經(jīng)網(wǎng)絡(luò)模型是最典型也是應(yīng)用最為 廣泛和成功的網(wǎng)絡(luò)之一 特別地 它在函數(shù)逼近 模式識(shí)別和故障診斷的應(yīng)用中 取得了巨大的成功 然而 盡管b p 神經(jīng)網(wǎng)絡(luò)的研究取得了激動(dòng)人心的成果 其 應(yīng)用也解決了一些實(shí)際問(wèn)題 但還存在著不完善之處 如初始權(quán)值選擇問(wèn)題 局 部極小值問(wèn)題 網(wǎng)絡(luò)結(jié)構(gòu)問(wèn)題等 其中 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)更是難點(diǎn) 眾所周知 神 經(jīng)網(wǎng)絡(luò)應(yīng)用的前提就是要確定一個(gè)合適的網(wǎng)絡(luò)結(jié)構(gòu)模型 這對(duì)網(wǎng)絡(luò)的性能 收斂 性 推廣能力等 有著重大的影響 典型的b p 網(wǎng)絡(luò) 如圖2 1 所示 是三層 j i 向網(wǎng)絡(luò) 出輸入層 隱含層和輸出層組成 輸入 輸入層 隱層 輸出層 輸出 圖2 1 典型的b p 網(wǎng)絡(luò)結(jié)構(gòu)圖 般情況下 神經(jīng)網(wǎng)絡(luò)的輸入層和輸出層的神經(jīng)元數(shù)目由問(wèn)題本身的性質(zhì)決 7 第一二章b p 掙并喇絡(luò)研究 定 隱層的層數(shù)和各隱層的節(jié)點(diǎn)數(shù)由設(shè)計(jì)者根據(jù)問(wèn)題的性質(zhì)和對(duì)神經(jīng)網(wǎng)絡(luò)的性能 要求來(lái)決定 2 1 1 輸入層和輸出層設(shè)計(jì) 輸入層起緩沖存儲(chǔ)器的作用 把數(shù)據(jù)源加到網(wǎng)絡(luò)上 其節(jié)點(diǎn)數(shù)目取決于數(shù)據(jù) 源的維數(shù) 即這些節(jié)點(diǎn)能夠代表每個(gè)數(shù)據(jù)源 所以 最困難的設(shè)計(jì)判決是弄清楚 正確的數(shù)據(jù)源 如果數(shù)據(jù)源中有大量的未經(jīng)處理的或者虛假的信息數(shù)據(jù) 那必將 會(huì)妨礙對(duì)網(wǎng)絡(luò)的正確訓(xùn)練 所以要剔除那些無(wú)效的數(shù)據(jù) 確定出數(shù)據(jù)源的合適數(shù) 目 大體上需要經(jīng)過(guò)四步l j j 1 確定與應(yīng)用有關(guān)的數(shù)掘 2 剔除那些在技術(shù)上和經(jīng)濟(jì)上不符合實(shí)際的數(shù)據(jù)源 3 剔除那些邊沿的或者不可靠的數(shù)掘源 4 丌發(fā)一個(gè)能組合或預(yù)處理數(shù)掘的方法 使這些數(shù)據(jù)更具有實(shí)用意義 人工神經(jīng)網(wǎng)絡(luò)只能處理表示成數(shù)值的輸入數(shù)據(jù) 所以經(jīng)常需要將外部的信息 交換或編碼 輸入的神經(jīng)單元可以根據(jù)需要求解的問(wèn)題和數(shù)據(jù)表示的方式而定 如果輸入 的是模擬信號(hào)波形 那么輸入層可以根據(jù)波形的采樣點(diǎn)數(shù)決定輸入單元的維數(shù) 也可以用一個(gè)單元輸入 這時(shí)輸入樣本為采樣的時(shí)間序列 如果輸入為圖像 則 輸入單元可以為圖像的象素 也可以是經(jīng)過(guò)處理后的圖像特征 輸出層的維數(shù)根據(jù)使用者的要求來(lái)確定 如果b p 網(wǎng)絡(luò)用作分類器 其類別 為研個(gè) 有兩種方法確定輸出神經(jīng)元的個(gè)數(shù) 1 輸出層有m 個(gè)神經(jīng)元 其訓(xùn)練樣本集中x q 屬于第 類 要求其輸出為 m y o o o 1 0 o 0 即第 個(gè)神經(jīng)元的輸出為1 其余輸出為0 2 輸出神經(jīng)元還可根據(jù)類別進(jìn)行編碼 即朋類的輸出只要用l o g 腳個(gè)輸 出單元即可 2 1 2 隱含層數(shù)和層內(nèi)節(jié)點(diǎn)數(shù)的選擇 2 1 2 1 隱含層數(shù)的確定 對(duì)于多層神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō) 首先要確定選用幾層隱含層 對(duì)于如何確定隱含層 數(shù)的問(wèn)題 已有不少學(xué)者對(duì)此進(jìn)行了理論上的研究 l i p p m a 越的研究指出 1 2 對(duì)于函數(shù)近似和數(shù)據(jù)分類問(wèn)題 可能需要兩個(gè)隱層來(lái)學(xué)習(xí)按段連續(xù)函數(shù) 第二章b p 神繹網(wǎng)絡(luò)研究 c y b e n k o l 3 j 證明了具有單隱層及任意固定的連續(xù)s i 舯o i d 非線性函數(shù)的反傳 m l p 可以以任意精度逼近緊集上的任何連續(xù)函數(shù) 當(dāng)被用作具有硬限位 階躍 激勵(lì)函數(shù)的二進(jìn)制取值神經(jīng)元網(wǎng)絡(luò)時(shí) 具有兩個(gè)隱層的反傳m l p 可以形成任意 復(fù)雜的決策區(qū)域以區(qū)分不同的類別 r o b c r t h e c h t n i e l s e n 1 3 證明了對(duì)于任何在閉 區(qū)間內(nèi)的一個(gè)連續(xù)函數(shù)都可以用一個(gè)隱層的b p 網(wǎng)絡(luò)來(lái)逼近 因而一個(gè)三層的 b p 網(wǎng)絡(luò)可以完成任意的療維到朋維的映射 h o 肋i k 1 2 j 等人證明了用一個(gè)隱層和 足夠數(shù)量的神經(jīng)節(jié)點(diǎn)可以實(shí)現(xiàn)任意精度的輸入輸出映射關(guān)系 隱含層起抽象的作用 即它能從輸入提取特征 增加隱含層可增加人工神經(jīng) 元網(wǎng)絡(luò)的處理能力 但是必將使訓(xùn)練復(fù)雜化 訓(xùn)練樣本數(shù)目增加和訓(xùn)練時(shí)間的增 加 目前人們認(rèn)為二進(jìn)制分類或判決邊界問(wèn)題 一個(gè)隱含層就足夠了 但是 如 果要求輸出是輸入的任意連續(xù)函數(shù) 那就要用兩個(gè)隱含層或者采用不同的激活函 數(shù) 在線性可分的情況下 隱含層是不需要的 3 1 2 1 2 2 隱含層內(nèi)節(jié)點(diǎn)數(shù)的確定 韋崗的研究成果表明i lo 多層前向網(wǎng)絡(luò)的函數(shù)逼近能力與隱層數(shù)目及隱層 神經(jīng)元特性函數(shù)的具體形式關(guān)系不大 而主要取決于網(wǎng)絡(luò)的隱層神經(jīng)元數(shù)目 所 以 層內(nèi)節(jié)點(diǎn)數(shù)需要進(jìn)行恰當(dāng)?shù)倪x擇 一般情況下 隱層節(jié)點(diǎn)數(shù)較多時(shí) 網(wǎng)絡(luò)結(jié) 構(gòu)比較復(fù)雜 學(xué)習(xí)時(shí)間長(zhǎng) 能夠很好的學(xué)習(xí)堋練樣本 輸出誤差小 但推廣能力 差 隱層節(jié)點(diǎn)數(shù)較少時(shí) 網(wǎng)絡(luò)結(jié)構(gòu)比較簡(jiǎn)單 雖然有較好的泛化能力 但完成對(duì) 可 l 練樣本的學(xué)習(xí)較為困難 因此存在一個(gè)最佳的隱單元數(shù) 許多學(xué)者對(duì)此進(jìn)行了 研究 h e c h t n i e l s e n 提出隱含層節(jié)點(diǎn)數(shù)目為2 l p p m 鋤 鯽 認(rèn)為最大隱含層 節(jié)點(diǎn)的數(shù)目為m 1 k u a l c 3 認(rèn)為最大隱含層節(jié)點(diǎn)的數(shù)目為m 3 a j m a r e n p 等人認(rèn)為 對(duì)小型網(wǎng)絡(luò)來(lái)說(shuō) 輸入節(jié)點(diǎn)數(shù)大于輸出節(jié)點(diǎn)數(shù)時(shí) 最佳隱 含層節(jié)點(diǎn)數(shù)等于 m 其中 為輸入的節(jié)點(diǎn)數(shù) m 為輸出層節(jié)點(diǎn)數(shù) 可供 參考的估算公式還有 1 l m d 其中 m 為輸出神經(jīng)元數(shù) 療為輸入神經(jīng)元數(shù) 口為 l 一1 0 之間的常數(shù) 2 l o g 療 其中以為輸入神經(jīng)元數(shù) 近年來(lái) 許多學(xué)者提出了變結(jié)構(gòu)動(dòng)態(tài)調(diào)整隱含層神經(jīng)元數(shù)目的方法 一種稱 為增長(zhǎng)方法 3 l j 2 即在開始時(shí)放入比較少的隱含單元 訓(xùn)練過(guò)程中 針對(duì)實(shí)際 問(wèn)題 根據(jù)網(wǎng)絡(luò)性能要求逐步增加隱含單元個(gè)數(shù) 直到滿足網(wǎng)絡(luò)性能要求 另一 種稱為修剪方法 1o t 1 6 1 即在開始時(shí)構(gòu)造一個(gè)含有冗余節(jié)點(diǎn)的網(wǎng)絡(luò) 然后在訓(xùn)練 的過(guò)程中逐步刪除那些不必要的節(jié)點(diǎn)和權(quán)值 一直減少到不可收縮為止 這樣做 9 第二章b p 神弊州絡(luò)研究 對(duì)于硬件完成的b p 多層網(wǎng)有一定的好處 但是 也存在著計(jì)算量大 效率低等 缺點(diǎn) 增加隱含層的節(jié)點(diǎn)數(shù)可以改善網(wǎng)絡(luò)與訓(xùn)練組匹配的精度 該精度近似比例于 隱含層節(jié)點(diǎn)數(shù)的平方 然而 為了改善網(wǎng)絡(luò)的概括推論能力 又要求適當(dāng)減少 隱含層的節(jié)點(diǎn)數(shù) 所以 對(duì)一特定的應(yīng)用網(wǎng)絡(luò) 其隱含層的節(jié)點(diǎn)數(shù)應(yīng)該是按精確 度和概括性綜合統(tǒng)一考慮 2 1 2 3 仿真 用具有不同隱含單元數(shù)的b p 算法 對(duì)字母識(shí)別問(wèn)題進(jìn)行仿真 實(shí)驗(yàn)中 每一個(gè)字母都定義為7 5 象素 按行展開后的3 5 個(gè)象素作為神經(jīng) 網(wǎng)絡(luò)的輸入 輸出層取2 6 個(gè)神經(jīng)元 對(duì)于各個(gè)字母 按順序在其相應(yīng)位置上輸 出為l 其余為o 學(xué)習(xí)結(jié)束條件為跚 o o i f 如果掣 o 2 1 6 d 其他 其中警表示第療次迭代時(shí)的梯度信息 喲表示權(quán)值更新值 d q 的選擇 開始學(xué)習(xí)時(shí) q 選取一個(gè)相對(duì)較大的值 有利于加快學(xué)習(xí) 速度 一般來(lái)說(shuō) 初始的 q 可在o 1 2 之間選取 而快到極值點(diǎn)時(shí) q 取較 小的值 有利于網(wǎng)絡(luò)的收斂 具體可采用下式束實(shí)現(xiàn) 酬加酬o 1 一最 q 1 7 其中 0 是初始更新值 是總的迭代次數(shù) m 是一個(gè)正數(shù) 2 3 2 改進(jìn)算法學(xué)習(xí)步驟 1 置各網(wǎng)絡(luò)參數(shù)的初始值 2 將訓(xùn)練集樣本輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練 計(jì)算梯度 望 日 u 3 按 2 1 6 2 1 7 調(diào)整網(wǎng)絡(luò)參數(shù) 4 計(jì)算網(wǎng)絡(luò)的誤差 如滿足精度要求 轉(zhuǎn)入 5 否則 轉(zhuǎn) 2 5 結(jié)束 1 7 第二章b p 神繹剛絡(luò)研究 2 3 3 計(jì)算機(jī)仿真 為了證明算法的有效性 就異或問(wèn)題本算法同其它b p 算法比較的試驗(yàn)結(jié)果 如下 神經(jīng)網(wǎng)絡(luò)模型為2 2 1 本算法初始更新值 o 取1 0 總的迭代次數(shù) 取 5 0 0 m 取2 0 0 學(xué)習(xí)結(jié)束條件船p o 1 另外 為了增加可比性 學(xué)習(xí)次數(shù)為 十次收斂學(xué)習(xí)的平均值 輸出為其中某次的輸出 結(jié)果如表2 1 所示 另外 因?yàn)槌跏紮?quán)值是隨機(jī)的 標(biāo)準(zhǔn)b p 算法在學(xué)習(xí)中有相當(dāng)高的失敗率 幾乎高達(dá)9 0 的學(xué)習(xí)不收斂 學(xué)習(xí)率自適應(yīng)算法也有4 0 可能陷入局部極小值 而本文算法偶見失敗 表2 1 算法比較 輸出 學(xué)習(xí)率學(xué)習(xí)次數(shù) oool1011 標(biāo)準(zhǔn)b p 算法 o 35 4 6 2o 0 9 8 7 o 9 0 1 2 0 9 1 3 7 o 0 8 7 4 0 51 6 8 40 0 9 5 6o 9 3 9 lo 9 1 1 8o 0 9 9 l 0 81 0 9 5o 0 9 4 20 9 3 0 8o 9 4 3 50 0 5 6 4 學(xué)習(xí)率自適應(yīng)算法1 3 6o 0 8 9 91 0 3 4 4o 9 3 4 6o 0 3 4 4 本文算法5 8 o 0 8 7 2 o 9 4 5 7 1 0 2 1 1 o 0 2 5 6 從仿真結(jié)果可以看出 本文提出的直接自適應(yīng)b p 算法在學(xué)習(xí)性能和學(xué)習(xí)速 度上都明顯優(yōu)于標(biāo)準(zhǔn)b p 算法和學(xué)習(xí)率自適應(yīng)b p 算法 這是因?yàn)楸疚乃惴ú捎?了變化的權(quán)更新值的辦法來(lái)修改權(quán)值 和標(biāo)準(zhǔn)b p 算法和以學(xué)習(xí)速率改變?yōu)榛A(chǔ) 的算法相比 不僅學(xué)習(xí)規(guī)律簡(jiǎn)單和清楚 計(jì)算上的花費(fèi)很少 而且消除了偏導(dǎo)數(shù) 的大小對(duì)權(quán)值的有害影響 使權(quán)值的修改結(jié)果不會(huì)被不可預(yù)見的梯度性能模糊 另外 一般的梯度下降方法遠(yuǎn)離輸出層的權(quán)較少得到修改和學(xué)習(xí)更慢 而改進(jìn)的 b p 算法 權(quán)步的大小僅僅取決于偏導(dǎo)數(shù)的符號(hào) 不取決于它的幅度 這樣 學(xué) 習(xí)同樣地被推廣到整個(gè)網(wǎng)絡(luò) 使得接近輸入層的權(quán)和接近輸出層的權(quán)得到了同等 的機(jī)會(huì)學(xué)習(xí) 第三市苯十神繹網(wǎng)絡(luò)的寧符識(shí)別 第三章基于神經(jīng)網(wǎng)絡(luò)的字符識(shí)別 基于神經(jīng)網(wǎng)絡(luò)的字符識(shí)別方法其分類結(jié)果與訓(xùn)練樣本的選擇和神經(jīng)網(wǎng)絡(luò)的 結(jié)構(gòu)具有很大的相關(guān)性 因此 當(dāng)訓(xùn)練樣本不能完全反映被識(shí)別類的特征時(shí) 識(shí) 別效果就很差 有時(shí) 為了提高網(wǎng)絡(luò)的性能 只能用增大訓(xùn)練樣本集 減少訓(xùn)練 誤差的方法來(lái)解決 而這又帶來(lái)了學(xué)習(xí)時(shí)間長(zhǎng)或泛化能力差的矛盾 據(jù)此 本文 提出一種印刷體字符識(shí)別的新方法 該方法通過(guò)設(shè)置規(guī)則建立識(shí)別字符的神經(jīng) 模糊推理系統(tǒng) 并且無(wú)需訓(xùn)練就能達(dá)到識(shí)別存在較大噪聲的印刷體字符的目的 仿真結(jié)果也證明其優(yōu)于神經(jīng)網(wǎng)絡(luò)的識(shí)別方法 3 1 模式識(shí)別概述 3 1 1 簡(jiǎn)介 模式識(shí)別也稱為特征識(shí)別 簡(jiǎn)單地說(shuō) 就是把一種研究對(duì)象 根據(jù)它的某些 特征進(jìn)行識(shí)別并分類的一門綜合性新興技術(shù) 它所研究的對(duì)象 如文字 聲音 圖像 產(chǎn)品等 概括起來(lái)通稱為模式 模式數(shù)掘可以是對(duì)象的定量或定性的描述 如圖書分類 數(shù)字識(shí)別 股票分析等 隨著智能機(jī)器人的發(fā)展和應(yīng)用 模式識(shí)別技術(shù)作為一門學(xué)科有著系統(tǒng)的理論 基礎(chǔ)和技術(shù)方法 而且作為學(xué)習(xí)控制論中的一個(gè)內(nèi)容 目 i i 正在發(fā)展中 從它的 應(yīng)用領(lǐng)域來(lái)說(shuō) 其中相當(dāng)一部分與圖像處理技術(shù)有著緊密的聯(lián)系 如圖文識(shí)別 指紋識(shí)別等 作為數(shù)字圖像處理的具體應(yīng)用 本文將對(duì)字符識(shí)別的問(wèn)題進(jìn)行研究 字符識(shí)別是模式識(shí)別領(lǐng)域的一項(xiàng)傳統(tǒng)的課題 盡管許多學(xué)者研究了多年 但 目前國(guó)際上仍有許多學(xué)者在研究它 這是因?yàn)樽煮炎R(shí)別不是一個(gè)孤立的問(wèn)題 而 是模式識(shí)別領(lǐng)域中大多數(shù)課題都會(huì)遇到的基本問(wèn)題 并且在不同的課題中 出于 具體的條件不同 解決的方法也不盡相同 因而字符識(shí)別的研究仍具有理論和實(shí) 踐意義 3 3 3 1 2 字符識(shí)別的方法綜述 針對(duì)模式特征的不同選擇及其判別決策方法的不同 可將模式識(shí)別方法大致 分為5 大類 這5 種識(shí)別方法均可實(shí)現(xiàn)字符識(shí)別 但它們特點(diǎn)不同 必須根據(jù)條 件進(jìn)行選擇 1 統(tǒng)計(jì)模式法 9 第 帚幕卡種絳州絡(luò)的字符識(shí)別 對(duì)己知類別的模式樣本進(jìn)行各種特征的提取和分析 選取對(duì)分類有利的特 征 并對(duì)其統(tǒng)計(jì)均值等按已知類別分別進(jìn)行學(xué)習(xí) 按b a v e s 最小誤差準(zhǔn)則 根據(jù) 以上統(tǒng)計(jì)特征設(shè)計(jì)出一個(gè)分類誤差最小的決策超平面 識(shí)別過(guò)程就是對(duì)未知模式 進(jìn)行相同的特征提取和分類 通過(guò)決策平面方程決定該特征相應(yīng)的模式所屬的類 別 此方法比較成熟 能考慮干擾 噪聲等的影響 識(shí)別模式基元能力強(qiáng) 但它 的抗干擾能力不足 對(duì)存在較大噪聲的字符的識(shí)別比較困難 2 句法結(jié)構(gòu)方法 分為訓(xùn)練過(guò)程和識(shí)別過(guò)程 訓(xùn)練過(guò)程就是用已知結(jié)構(gòu)信息的模式作為訓(xùn)練樣 本 先識(shí)別出基元和它們之問(wèn)的連接關(guān)系 并用字母符號(hào)表示它們 然后用構(gòu)造 句子的方法來(lái)描述生成這些場(chǎng)景的過(guò)程 并由此推斷出生成該場(chǎng)景的一種文法規(guī) 則 識(shí)別過(guò)程就是對(duì)未知結(jié)構(gòu)的模式進(jìn)行基元識(shí)別及其相互關(guān)系分析 然后用訓(xùn) 練過(guò)程中獲得的文法對(duì)其作句法分析 如果它能被已知結(jié)構(gòu)信息的文法分析出 來(lái) 則該模式具有與該文法相同的結(jié)構(gòu) 否則就可判定不是這種結(jié)構(gòu) 此方法識(shí) 別方便 可從簡(jiǎn)單的基元丌始由簡(jiǎn)至繁 能反映模式的結(jié)構(gòu)特征 能描述模式的 性質(zhì) 對(duì)圖像畸變的抗干擾能力較強(qiáng) 但當(dāng)存在干擾及噪聲時(shí) 抽取基元困難 且易失誤 對(duì)存在較大噪聲的字符識(shí)別不合適 3 邏輯特征法 其特征的選擇對(duì)一類模式識(shí)別問(wèn)題柬說(shuō)是獨(dú)一無(wú)二的 即在一類問(wèn)題中只有 1 個(gè)模式具有某1 種 或某l 組合的 邏輯特征 此方法建立了關(guān)于知識(shí)表示及 組織 目標(biāo)搜索及匹配的完整體系 對(duì)需通過(guò)眾多規(guī)則的推理達(dá)到識(shí)別目標(biāo)的問(wèn) 題 有很好的效果 但當(dāng)樣品有缺損 背景不清晰 規(guī)則不明確甚至有歧義時(shí) 效果不好 它不適于存在較大噪聲的字符的識(shí)別 4 模糊模式方法 就是在模式識(shí)別過(guò)程中引入了模糊集的概念 由于隸屬度函數(shù)作為樣品與模 板相似程度的量度 故能反映整體的 主要的特性 模糊模式有相當(dāng)程度的抗干 擾與畸變 從而允許樣品有相當(dāng)程度的干擾與畸變 適于存在較大噪聲的字符的 識(shí)別 但準(zhǔn)確合理的隸屬度函數(shù)往往難以建立 目前有學(xué)者在研究 并將其引入 神經(jīng)網(wǎng)絡(luò)方法形成模糊神經(jīng)網(wǎng)絡(luò)識(shí)別系統(tǒng) 5 神經(jīng)網(wǎng)絡(luò)方法 就是使用人工神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)摸式識(shí)別 可處理一些環(huán)境信息十分復(fù)雜 背景知識(shí)不清楚 推理規(guī)則不明確的問(wèn)題 允許樣品有較大的缺損 畸變 神經(jīng) 網(wǎng)絡(luò)方法的缺點(diǎn)是其模型在不斷豐富完善中 目前能識(shí)別的模式類別還不夠多 神經(jīng)網(wǎng)絡(luò)方法允許樣品有較大的缺損和畸變 這正是識(shí)別存在較大噪聲的字符所 需要的f 4 4 1 第二章基于種 爭(zhēng)啊絡(luò)的寧符識(shí)別 3 1 3 基于神經(jīng)網(wǎng)絡(luò)的字符識(shí)別原理 3 1 3 1 神經(jīng)網(wǎng)絡(luò)字符識(shí)別原理 t 壹 卜 一竺 一 圖3 1 神經(jīng)網(wǎng)絡(luò)字符識(shí)別原理示意圖 一般神經(jīng)網(wǎng)絡(luò)字符識(shí)別系統(tǒng)由預(yù)處理 特征提取和神經(jīng)網(wǎng)絡(luò)分類器三部分組 成 2 識(shí)別系統(tǒng)的流程如圖3 1 所示 預(yù)處理就是將原始數(shù)掘中的無(wú)用信息刪除 常用的預(yù)處理一般包括了二值 化 細(xì)化或輪廓化 平滑 去噪 幅度歸一化等 神經(jīng)網(wǎng)絡(luò)字符識(shí)別系統(tǒng)中的特征提取部分不一定存在 這樣就分為兩大類 1 有特征提取部分的 這一類系統(tǒng) 3 5 1 實(shí)際上是傳統(tǒng)方法與神經(jīng)網(wǎng)絡(luò)方法技術(shù)的結(jié)合 這種方法可 以充分利用人的經(jīng)驗(yàn)來(lái)獲取模式特征以及神經(jīng)網(wǎng)絡(luò)分類能力來(lái)識(shí)別字符 特征提 取必須能反應(yīng)整個(gè)字符的特征 但它的抗干擾能力不如第2 類 2 無(wú)特征提取 3 6 j 9 部分的 省去特征抽取 整個(gè)字符直接作為神經(jīng)網(wǎng)絡(luò)的輸入 有人稱此種方式是使用 字符網(wǎng)格特征 這種方式下 系統(tǒng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的復(fù)雜度大大增加了 輸入 模式維數(shù)的增加導(dǎo)致了網(wǎng)絡(luò)規(guī)模的龐大 使得網(wǎng)絡(luò)的訓(xùn)練 學(xué)習(xí)非常困難 此外 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)需要完全自己消除模式變形的影響 目前用于字符識(shí)別的人工神經(jīng)網(wǎng)絡(luò)模型有 h o p f i e l d 網(wǎng)絡(luò) 多層前向網(wǎng)絡(luò) 如 b p 網(wǎng)絡(luò) r b f 網(wǎng)絡(luò)等 自適應(yīng)共振 a r t 網(wǎng)絡(luò) 自組織特征映射 s o f m 神經(jīng)認(rèn)知機(jī)等等 其中 b p 網(wǎng)絡(luò)是應(yīng)用最廣泛的一種網(wǎng)絡(luò) 在一定的字符集上 取得了很好的識(shí)別效果h 1 刪 目前 人們還在研究將神經(jīng)網(wǎng)絡(luò)方法和傳統(tǒng)的識(shí)別 方法結(jié)合起來(lái)使用 互相取長(zhǎng)補(bǔ)短 如 神經(jīng)網(wǎng)絡(luò)和h m m 隱形m a r k o v 相 組合 模糊神經(jīng)網(wǎng)絡(luò) 4 5 舶l(fā) 的使用等 或先用傳統(tǒng)的方法抽取較為穩(wěn)定的特征 然 后再用神經(jīng)網(wǎng)絡(luò)進(jìn)行自組織聚類學(xué)習(xí)并設(shè)計(jì)性能良好的分類器等 3 1 3 2 神經(jīng)網(wǎng)絡(luò)模式識(shí)別特點(diǎn) 1 神經(jīng)網(wǎng)絡(luò)模式分類器不但能在模式空間形成各種復(fù)雜的判決表面 而且 攔 軍 時(shí)母 墼 第 審皋十神繹網(wǎng)絡(luò)的字符識(shí)男町 神經(jīng)網(wǎng)絡(luò)方法最大的特點(diǎn)是網(wǎng)絡(luò)具有自適應(yīng)能力 即網(wǎng)絡(luò)不但能自適應(yīng)學(xué)習(xí) 而 且能自適應(yīng)地調(diào)整網(wǎng)絡(luò)的規(guī)模大小 2 般的神經(jīng)網(wǎng)絡(luò)模式分類器兼有模式變換和模式特征提取的作用 所以 不需要對(duì)輸入的模式做明顯的特征提取 網(wǎng)絡(luò)的隱層本身就具有特征提取的功 能 3 神經(jīng)網(wǎng)絡(luò)分類器一般對(duì)輸入信息的不完備和特征的缺損不太敏感 和傳 統(tǒng)的識(shí)別方法比較起來(lái) 神經(jīng)網(wǎng)絡(luò)分類器在背景噪聲統(tǒng)計(jì)特性未知的情況下 其 性能更好 而且網(wǎng)絡(luò)具有更好的推廣能力 2 o 3 2 基于改進(jìn)型b p 算法的字符圖像識(shí)別 洛曼哈脫曾經(jīng)證明 多層人工神經(jīng)網(wǎng)絡(luò)的b p 算法在網(wǎng)絡(luò)權(quán)值和閡值每次調(diào) 整步長(zhǎng)無(wú)限小時(shí) j 能收斂 引入動(dòng)量項(xiàng)能加快計(jì)算速度 但學(xué)習(xí)率和動(dòng)量項(xiàng)選擇 不當(dāng)時(shí) 同樣造成收斂慢或引起振蕩現(xiàn)象 改進(jìn)的直接自適應(yīng)b p 算法由于采用 了變化的權(quán)更新值的辦法來(lái)修改權(quán)值 具有收斂速度快 學(xué)習(xí)時(shí)問(wèn)短的特點(diǎn) 因 此本文提出將改進(jìn)型的b p 算法用于數(shù)學(xué)符號(hào)的識(shí)別 1 數(shù)據(jù)獲取 選用微軟w o r d 數(shù)學(xué)編輯器中的3 0 個(gè)常用數(shù)學(xué)符號(hào) 形成3 0 個(gè)1 6 1 6 2 以象素為單位 黑白兩色 字符數(shù)掘?yàn)楹?背景為白 b m p 文件 對(duì)文件中 的符號(hào)數(shù)據(jù)部分按行展開形成3 0 個(gè)2 5 6 維向量 構(gòu)成訓(xùn)練樣本集c 0 在c o 上 分別按一定比例隨機(jī)污染 另形成2 個(gè)訓(xùn)練樣本集c f l 2 污染率分別為 l o 和2 0 每個(gè)訓(xùn)練樣本集包含3 0 0 個(gè)樣本 試驗(yàn)的測(cè)試樣本集共有7 個(gè) 分別為c o 以及在c 0 上 按一定比例隨機(jī)污染 形成的6 個(gè)測(cè)試樣本集f f 1 2 6 污染率分別為5 1 0 1 5 2 0 2 5 3 0 每個(gè)測(cè)試樣本集包含3 0 個(gè)樣本 圖3 2 給出訓(xùn)練和測(cè)試樣本 集中部分符號(hào)的圖像 2 網(wǎng)絡(luò)構(gòu)成 試驗(yàn)取3 層b p 網(wǎng)絡(luò) 其中輸入層為2 5 6 r 個(gè)神經(jīng)元 輸出層為3 0 s 2 個(gè)神經(jīng)元 隱層神經(jīng)元數(shù)目按經(jīng)驗(yàn)取為2 5 s 1 隱層和輸出層的激活函數(shù)取為 l o g s i g 為了使網(wǎng)絡(luò)具有抗干擾能力 在網(wǎng)絡(luò)訓(xùn)練后 再將其輸出后經(jīng)過(guò)一層競(jìng) 爭(zhēng)網(wǎng)絡(luò)的處理 使網(wǎng)絡(luò)的輸出只在最近輸入值的輸出位置輸出為1 保證在其它 位置為0 網(wǎng)絡(luò)模型如圖3 3 所示 第三章摹十神紓網(wǎng)絡(luò)的7 符識(shí)別 污粢率 0 回國(guó)圉圈圓 圓國(guó)圉圖圓 圓國(guó)圈固圓 回國(guó)圜圓圈 圖3 2 訓(xùn)練和測(cè)試樣本集中部分符號(hào)的圖像 b a c kp r 仲a g a t i l 4 y e r c o 叩e t i t i v e1 a y e r 廠 1 廠 l n p l n h i d d e nl a y e r o u i p u ll a y e r 竺竺 蘭 蘭 蘭 犁 l o 薩j g f l w j l p i 十b 艫2 慨 醬f l 陽(yáng)j 疊i k 圖3 3 數(shù)學(xué)符號(hào)識(shí)別的網(wǎng)絡(luò)模型圖 3 算法 b p 算法在最快下降方向 負(fù)梯度方向 調(diào)整權(quán)值 在該方向誤差函數(shù)下降 最快 收斂速度卻不一定最快 為此 本網(wǎng)絡(luò)的誤差反傳層采用本文提出的改進(jìn) 的b p 算法 網(wǎng)絡(luò)的競(jìng)爭(zhēng)層由兩個(gè)層次組成 即輸入層次和競(jìng)爭(zhēng)層次 在競(jìng)爭(zhēng)層次中 神 經(jīng)元之間相互競(jìng)爭(zhēng) 最終只有一個(gè)或幾個(gè)神經(jīng)元活躍 以適應(yīng)當(dāng)前的輸入樣本 競(jìng)爭(zhēng)勝利的神經(jīng)元就代表著當(dāng)前輸入樣本的分類模式 4 識(shí)別結(jié)果及其分析 試驗(yàn)構(gòu)建了兩組網(wǎng)絡(luò) 網(wǎng)絡(luò)1 只對(duì)無(wú)污染的樣本集g 進(jìn)行訓(xùn)練 訓(xùn)練目標(biāo) 為o 1 為了獲得一個(gè)對(duì)噪聲不敏感的網(wǎng)絡(luò) 網(wǎng)絡(luò)2 首先對(duì)所有訓(xùn)練樣本集 第二審摯十神繹嘲絡(luò)的字符識(shí)別 c f 0 1 2 進(jìn)行訓(xùn)練 即理想樣本與加入隨機(jī)噪聲的樣本 訓(xùn)練目標(biāo)為 船p 0 5 然后再對(duì)無(wú)污染的樣本集c 0 進(jìn)行訓(xùn)練 訓(xùn)練目標(biāo)為冊(cè) o 1 以使網(wǎng) 絡(luò)對(duì)無(wú)污染的樣本j 下確識(shí)別 兩組網(wǎng)絡(luò)進(jìn)行性能檢測(cè)時(shí) 每個(gè)污染率下測(cè)試l o o 組隨機(jī)污染的測(cè)試樣本 每組有3 0 個(gè)樣本 然后求其1 0 0 組的平均誤識(shí)率 結(jié) 果如圖3 4 所示 圖3 4b p 神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)符號(hào)識(shí)別結(jié)果圖 從圖示可以看出 網(wǎng)絡(luò)1 因?yàn)闆]有對(duì)噪聲樣本進(jìn)行訓(xùn)練 所以誤識(shí)率高于網(wǎng) 絡(luò)2 這也證明了在樣本中添加隨機(jī)噪聲 是改善神經(jīng)網(wǎng)絡(luò)泛化能力的一種有效 方法 事實(shí)上 當(dāng)訓(xùn)練數(shù)據(jù)被循環(huán)地作為網(wǎng)絡(luò)的輸入時(shí) 出于每次添加的噪聲不 同 結(jié)果是一方面相當(dāng)于增加了訓(xùn)練樣本的數(shù)量 另 方面迫使神經(jīng)網(wǎng)絡(luò)不能精 確地?cái)M和訓(xùn)練數(shù)據(jù) 從而對(duì)噪聲起到平滑作用 防止了過(guò)擬和瞄 另外 不同算法的仿真證明 采用本文提出的直接自適應(yīng)b p 算法其c p u 學(xué)習(xí)時(shí) 日j 僅為學(xué)習(xí)率自適應(yīng)b p 算法的1 3 3 3 神經(jīng)模糊系統(tǒng)理論 3 3 1 神經(jīng)網(wǎng)絡(luò)與模糊邏輯融合技術(shù) 7 刪 神經(jīng)網(wǎng)絡(luò)是由大量的簡(jiǎn)單處理單元構(gòu)成的非線性動(dòng)力系統(tǒng) 它以生物神經(jīng)網(wǎng) 絡(luò)為模擬基礎(chǔ) 具有巨量并行性 存儲(chǔ)分卻性 結(jié)構(gòu)可變性 高度非線性 自學(xué) 習(xí)性及自組織等特點(diǎn) 神經(jīng)網(wǎng)絡(luò)能夠處理不完整的信息 并能通過(guò)學(xué)習(xí)從給定的 經(jīng)驗(yàn)訓(xùn)練中生成映射規(guī)則 但網(wǎng)絡(luò)中映射規(guī)則是不可見的和難以理解的 另外神 經(jīng)網(wǎng)絡(luò)不適合于表達(dá)基于規(guī)則的知識(shí) 因此對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí) 常常只能將 2 4 第三章笨于神繹嘲絡(luò)的字符識(shí)別 初始權(quán)