畢業(yè)設計（論文）基于BP神經網絡的脈沖噪聲圖像恢復方法

1、摘 要在信息化的社會里，圖像在信息傳播中所起的作用越來越大，而數(shù)字圖像在獲取與傳播中，可能會受到脈沖噪聲的污染。所以，消除產生的噪聲，保證圖像受污染度最小，成了數(shù)字圖像處理領域里的重要部分。本文主要針對數(shù)字圖像的脈沖噪聲污染問題，采用一種窗口自適應開關中值濾波方法消除噪聲。利用bp神經網絡將圖像中的每個像素點分類為信號點或噪聲點，再采用改進的中值濾波器對檢測后的圖像進行濾波處理，根據噪聲檢測結果，濾波器自適應調整窗口大小并選擇性取樣，逐點濾波消除圖像中的噪聲。該方法在抑制脈沖噪聲、保護圖像細節(jié)方面均優(yōu)于以往基于中值濾波的方法，即使在圖像遭受噪聲密度70%噪聲污染的極端情況下，仍能得到很好恢復。

2、關鍵詞：圖像去噪；脈沖噪聲檢測；自適應開關中值濾波abstractin the information society, the image in the information transmission is used more and more widely. during the digital images transmission, they could be affected by the impulsive noise pollution. therefore, ensuring the minimum of the noise and pollution in the proc

3、ess of image collection and transmission became an important part of the field.in order to denoise impulse noises in images, an adaptive window switching median filtering method is adopted in this paper. first, each pixel is classified as signal or noisy point by the bp-net. next, the image is filte

4、red by an improved median filter. according to the result of noise detection, the filter can adjust adaptively w indows width and sample choicely, each noisy point in image is denoised by filtering in terms of suppressing impulse noise and preserving image details, the adopted method is better than

5、that based on median filter even in the extreme case of 70% noise corruption, noisy images can be effectively recovered.key words: image denoising; impulse noise detection; adaptive switching median filters目 錄第1章 概述11.1 圖像去噪技術研究的意義11.2 噪聲檢測的方法21.3 濾波的方法21.4 噪聲種類與圖像質量評價標準21.5本文的主要工作4第2章 bp神經網絡簡介52.1

6、人工神經網絡簡介52.2 bp神經網絡92.3 多層前饋網絡的主要能力112.4 bp學習算法112.5 本章小結17第3章 基于bp神經網絡的脈沖噪聲檢測183.1 脈沖噪聲圖像的數(shù)學模型183.2 噪聲檢測弱分類器的設計193.3 噪聲檢測強分類器的設計203.4 本章小結25第4章 窗口自適應開關中值濾波264.1 中值濾波的基本理論264.2 開關中值濾波器284.3 窗口自適應開關中值濾波294.4 本章小結31第5章 實驗結果與討論325.1 性能評價指標定義325.2 視覺效果對比325.3 噪聲檢測性能對比325.4 去噪性能對比345.5 實驗結果討論35結論36參考文獻37

7、致 謝38第1章 概述1.1 圖像去噪技術研究的意義 圖像作為人們感知世界的視覺基礎，是人類獲取信息、表達信息和傳遞信息的重要手段。研究表明，人類獲取的視覺圖像信息在人類接受的信息中的比重達到四分之三。在各類圖像系統(tǒng)中，由于圖像的傳送和轉換，如成像、復制、掃描、傳輸、顯示等，總要造成圖像的降質，典型的表現(xiàn)為圖像模糊、失真、有噪聲等。而在眾多的應用領域中，又需要清晰的、高質量的圖像，因此，為了抑制噪聲，改善圖像質量，復原圖像具有非常重要的意義。在數(shù)字圖像處理領域圖像噪聲的濾除一直是最重要、最基本的研究課題之一。得益于應用數(shù)學理論的發(fā)展和計算機技術的進步，現(xiàn)代圖像去噪濾波技術己取得豐富成果。 圖像

8、主要是反映客觀事物或某些過程與空間、時間有相互關聯(lián)的特征量的信息列陣。它具有兩個基本要素：像素值層次分辨和圖像空間分辨。像素值可反映圖像的層次細節(jié)，是構成圖像必不可少的基本要素之一。另一個基本要素是圖像空間分辨率，可由像素值在可分辨條件下的像元總數(shù)來表示?？煞直娴南裨倲?shù)越多，則反映自然界中客觀事物的細節(jié)就越清楚。一般地，圖像在空間和亮度上都是連續(xù)取值的，稱為連續(xù)圖像或模擬圖像如果連續(xù)圖像在空間和亮度上進行離散化，就成為數(shù)字圖像，這是唯一能夠用計算機進行處理的圖像形式。數(shù)字圖像可表示為如公式1-1的一個矩陣： (1-1)其中，。數(shù)字圖像處理，就是把數(shù)字圖像經過一些特定數(shù)理模式的加工處理，以達到

9、有利于人眼視覺或某種接收系統(tǒng)所需要的圖像的過程。如對被噪聲污染的圖像除去噪聲，對信息微弱的圖像進行增強處理，對失真的圖像進行幾何校正等。隨著計算機軟硬件技術的突飛猛進，以及數(shù)字處理技術的不斷發(fā)展，數(shù)字圖像處理在科學研究、工業(yè)生產、國防以及現(xiàn)代管理決策等各行各業(yè)都得到越來越多的應用。在數(shù)字圖像處理領域，有很多傳統(tǒng)的圖像去噪方法它們可能已經被提出以至被應用很久了。在這樣的學術背景下依然研究圖像去噪的意義在于：（1）在圖像去噪領域，傳統(tǒng)方法呈百花齊放之態(tài)，但是這些方法并非十全十美，主要表現(xiàn)在去噪的同時對圖像細節(jié)的丟失。因此進一步研究新的去噪方法或者完善己有的算法意義依然重大。（2）不同算法都有著不同

10、的數(shù)學理論基礎，對圖像去噪的效果也表現(xiàn)不同。探求它們的內部機理，尋求相應的關系，研究不同算法之間如何取長補短，以達到更好的去噪效果，也是很有意義的。（3）研究圖像去噪對數(shù)字圖像其他處理環(huán)節(jié)性能的提升也有著促進意義。1.2 噪聲檢測的方法傳統(tǒng)的噪聲檢測方法有多種，如將窗口中所有像素點灰度值的中值與中心點灰度值的差值大于閾值的視為噪聲點1，該方法在圖像受噪聲污染較大時無法把某些真正的噪聲點檢測出來；另一種檢測方法是根據圖像中的某點灰度值與其鄰域內像素點灰度值及極小值的關系進行檢測2；還有些方法是根據圖像中某點灰度值與其鄰域內像素點灰度值的均值的關系進行噪聲檢測3。這些方法的弊端在于會將非噪聲點誤判

11、為噪聲點，這種矛盾在圖像中噪聲干擾較大時表現(xiàn)的尤為明顯4。1.3 濾波的方法為消除脈沖噪聲，人們提出了各種濾波方法。由于線性濾波器會引起圖像的嚴重模糊，而非線性濾波器更有利于保護圖像細節(jié)，因此，非線性濾波方法被廣泛采用5。其中，標準中值濾波器sm已成為最通用的非線性濾波器之一，它對濾波窗口內的像素進行排序，再用中間值替代窗口中心像素值，具有算法實現(xiàn)簡單運行效率高等優(yōu)點。之后，人們在標準中值濾波器的基礎上，又提出了各種改進方法，如加權中值濾波器wm、中心加權濾波器cwm等。這些傳統(tǒng)的中值濾波方法無條件地對每個像素點進行中值濾波處理、而對應完整保留的信號點濾波，必然會造成回復后圖像質量嚴重退，為了

12、避免對信號點進行濾波，濾波前的噪聲監(jiān)測機制必不可少，因此，一些開關中值濾波方法被廣泛采用，這些方法在特定條件下，都有各自的優(yōu)勢，當圖像噪聲密度低于50%時都能表現(xiàn)出較好的去噪性能，而對于噪聲密度高于50%的高密度噪聲圖像，往往由于其噪聲檢測精度的下降，而嚴重影響去噪性能。1.4 噪聲種類與圖像質量評價標準在不同應用中，存在著不同類型的噪聲影響，如:各種白噪聲、白高斯噪聲、正向脈沖和負向脈沖噪聲、椒鹽噪聲、乘性噪聲、與信號有關的噪聲及它們的混合噪聲等。任何濾波器都有一定的優(yōu)點和缺點，因此對于特定應用場合很難說出哪種濾波器最合適。濾波器設計就是考慮如何濾除某種類型噪聲。實際上，濾波器性能完全取決于

13、應用場合。常用的一些濾波器性能測量項目有:對不同類型噪聲的濾波特性；邊緣保護；細節(jié)信息保護；無偏性；計算復雜度。濾波器的計算復雜性包括輸出所需的代數(shù)運算次數(shù)如乘法、比較以及加法等。在并行運算情況下，用所需硬件和時延來測量。在串行運算情況下，利用運算速度測量，還與算法程序以及計算機性能有關?？梢姙V波器計算復雜度由許多因素決定。噪聲濾波特性通常通過輸出方差或連續(xù)濾除脈沖噪聲的比率來測得。另外一些性能測量如歸一化均方誤差和灰度峰值信噪比等。這些測量的主要缺點是它們與人主觀判定準則相對來說差得較遠。主要原因是人的視覺相對復雜得多，它的特性無法用一個性能表達函數(shù)來描述。邊緣保護是濾波器一個重要性質，其量

14、度是保護邊緣的能力。細節(jié)信息保護的特性主要是保護圖像上各類線段、尖角和其他圖像細節(jié)的能力。濾波器通常只能增強某一方向的圖像或者增強某種照度特征的圖像區(qū)域。所有性能測量都是定性測量，他們不能用某種嚴格的定量標準描述，因此，上述測量都帶有相對主觀性。在對幾種濾波器進行性能比較時，通常都針對某一給定噪聲圖像進行濾波，然后用某種測量結果進行比較。本文主要考慮脈沖噪聲的濾波處理。之所以考察這種噪聲是因為它的存在范圍較廣，具有典型的代表性。對濾波效果從主觀視覺評價和客觀參數(shù)標準(psnr峰值信噪比)兩個角度進行度量。在具體衡量過程中，圖像的主觀評價即目測法是評價去噪效果好壞的最直接方法。要想讓一種去噪模型

15、得到肯定，首先應該通過眼睛這一關的許可。通過人的眼睛來觀察圖像，對圖像的優(yōu)劣做出主觀評定。這時評價出的圖像質量與觀察者的特性及觀察條件等因素有關，測試條件應盡可能與使用條件相匹配。但是一些研究場合，由于試驗條件的限制，希望對圖像質量有一個定量的客觀描述。圖像質量客觀評價由于著眼點不同而有多種想法，常采用峰值信噪比（psnr）、噪聲點被檢測為信號點的像素數(shù)量（md）以及信號點被檢測為噪聲點的像素數(shù)量（fa），其計算公式為： psnr, (1-2) mse. (1-3)其中，和分別表示圖像行數(shù)與列數(shù)，和分別表示原始圖像和濾波圖像的像素值。在具體的仿真實驗中常常要人為的加入某種特定的人工噪聲，以測試

16、去噪方法對特定噪聲模型的去噪效果。在具體評價去噪模型時，我們需要考慮的幾個因素總結如下：去噪后圖像應盡量的平滑，不存在或有較少的噪聲痕跡；去噪結果不能使圖像過渡的失去結構細節(jié)變得模糊；沒有由于具體去噪方法產生的人工噪聲；方法噪聲盡量地接近自然隨機噪聲；峰值信噪比(psnr)盡可能大，歸一化均方差(nmse)盡可能小。常用的去噪模型評價方法是在一幅清晰的圖像上加入某種噪聲，然后在加噪的圖像上用特定的方法進行去噪實驗。1.5 本文的主要工作本文首先在噪聲檢測階段，采用一種基于bp神經網絡的脈沖噪聲圖像恢復方法，也就是說先將bdnd噪聲檢測方法改進后，作為弱分類器對像素點進行初步分類，再利用bp神經

17、網絡對初分類結果進行加工處理，并做出最終判決，得到噪聲的二值分布。在濾波階段，結合本文噪聲檢測方法的特點，采用一種新的窗口自適應開關中值濾波方法，并根據噪聲檢測結果做出噪聲密度估計，依噪聲密度的不同而自適應地調整濾波窗口的大小并選擇性取樣濾波，這樣就完成了整個濾波過程。最后利用matlab仿真實現(xiàn)本文所述方法，并選取不同濾波器對同一幅含噪圖像進行濾波的實驗與對比，從多個角度說明本文方法對于傳統(tǒng)濾波方法的優(yōu)勢，同時在總結的時候也指出本文方法的不足。第2章 bp神經網絡簡介2.1 人工神經網絡簡介自從模擬人類實際神經網絡的數(shù)學方法問世以來，人們已慢慢習慣了把這種人工神經網絡(artificial

18、neural network，ann)直接稱為神經網絡6。神經網絡是一種運算模型，由大量的節(jié)點(或稱神經元，或單元)和之間相互聯(lián)接構成。每個節(jié)點代表一種特定的輸出函數(shù)，稱為激勵函數(shù)(activation function)。每兩個節(jié)點間的連接都代表一個對于通過該連接信號的加權值，稱之為權重(weight)，這相當于人工神經網絡的記憶。網絡的輸出則按網絡的連接方式，權重值和激勵函數(shù)的不同而不通。而網絡自身通常都是對自然界某種算法或者函數(shù)的逼近，也可能是對一種邏輯策略的表達。神經網絡的基礎在于神經元。神經元是以生物神經系統(tǒng)的神經細胞為基礎的生物模型。在人們對生物神經系統(tǒng)進行研究，以探討人工智能的機

19、制時，把神經元數(shù)學化，從而產生了神經元數(shù)學模型。大量的形式相同的神經元連結在一起就組成了神經網絡7。神經網絡是一個高度非線性動力學系統(tǒng)，用神經網絡可以表達實際物理世界的各種現(xiàn)象。神經元是神經網絡基本元素。在人體內，神經元的結構形式并非是完全相同的；但是，無論結構形式如何，神經元都是由一些基本的成份組成的。神經元的生物學解釋可以用圖2-1所示的結構表示。從圖中可以看出：神經元是由細胞體、樹突和軸突三部分組成。圖2-1 神經元結構圖細胞體是由很多分子形成的綜合體，內部含有一個細胞核、核糖體、原生質網狀結構等，它是神經元活動的能量供應地，在這里進行新陳代謝等各種生化過程。神經元也即是整個細胞，整個細

20、胞的最外層稱為細胞膜。細胞體的伸延部分產生的分枝稱為樹突，樹突是接受從其它神經元傳人的信息的入口。細胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達1米以上。軸突是把神經元興奮的信息傳出到其它神經元的出口。從神經元的特性和功能可以知道，神經元是一個多輸入單輸出的信息處理單元，而且，它對信息的處理是非線性的。根據神經元的特性和功能，可以把神經元抽象為一個簡單的數(shù)學模型。工程上用的人工神經元模型如圖2-2所示。y f 圖2-2 神經元的數(shù)學模型在上圖中，x,x,，x是神經元的輸入，即來自前級n個神經元的軸突的信息；是i神經元的閾值；w,w， , w分別是i神經元對x,x,，x的權系數(shù)，也即突觸的

21、傳遞效率；y是i神經元的輸出f提激發(fā)函數(shù)，它決定i神經元受到輸人x,x,，x的共同刺激達到閾值時以何種方式輸出。神經網絡在目前已有幾十種不同的模型。人們按不同的角度對神經網絡進行分類，通?？砂?個原則進行神經網絡的歸類。按照網絡的結構區(qū)分，則有前向網絡和反饋網絡。按照學習方式區(qū)分，則有教師學習和無教師學習網絡。按照網絡性能區(qū)分，則有連續(xù)型和離散型網絡，隨機型和確定型網絡。按照突觸性質區(qū)分，則有一階線性關聯(lián)網絡和高階非線性關聯(lián)網絡8。按對生物神經系統(tǒng)的層次模擬區(qū)分，則有神經元層次模型，組合式模型，網絡層次模型，神經系統(tǒng)層次模型和智能型模型。在人們提出的幾十種神經網絡模型中，人們較多用的是hopf

22、ield網絡、bp網絡、kohonen網絡和art(自適應共振理論)網絡9。hopfield網絡是最典型的反饋網絡模型，它是目前人們研究得最多的模型之一。這個網絡習以完成制約優(yōu)化和聯(lián)想記憶等功能。bp網絡是反向傳播(back propagation)網絡10。它是一種多層前向網絡，采用最小均方差學習方式。這是一種最廣泛應用的網絡。它可用于語言綜合，識別和自適應控制等用途。bp網絡需有教師訓練。kohonen網絡是典型的自組織神經網絡，這種網絡也稱為自組織特征映射網絡som。它的輸入層是單層單維神經元，而輸出層是二維的神經元，神經元之間存在以“墨西哥帽”形式進行側向交互的作用。因而，在輸出層中，

23、神經元之間有近揚遠抑的反饋特性，從而使kohonen網絡可以作為模式特征的檢測器。art網絡也是一種自組織網絡模型。這是一種無教師學習網絡。它能夠較好地協(xié)調適應性，穩(wěn)定性和復雜性的要求。在art網絡中，通常需要兩個功能互補的子系統(tǒng)相互作用，這兩個子系統(tǒng)為注意子系統(tǒng)和取向子系統(tǒng)。art網絡主要用于模式識別，它不足之處是在于對轉換、失真和規(guī)模變化較敏感?？傊斯ど窠浘W絡是由大量簡單的處理單元組成的非線性、自適應、自組織系統(tǒng)，是在現(xiàn)代神經科學研究成果的基礎上，試圖通過模擬人類神經系統(tǒng)對信息進行加工、記憶和處理的方式，設計出的一種具有人腦風格的信息處理系統(tǒng)。它提供了一種普遍而實用的方法從樣本中學習值

24、為實數(shù)、離散值或向量的函數(shù)。ann學習對于訓練數(shù)據中的錯誤健壯性很好，且已被成功應用到很多領域中，例如文本識別、語音識別、圖像復原、圖像分割、目標跟蹤等。一般而言，ann與經典計算方法相比并非優(yōu)越，只有當常規(guī)方法解決不了或效果不佳時ann方法才能顯示出其優(yōu)越性11。尤其對問題的機理不甚了解或不能用數(shù)學模型表示的系統(tǒng)，如故障診斷、特征提取和預測等問題，ann往往是最有利的工具。另一方面，ann對處理大量原始數(shù)據而不能用規(guī)則或公式描述的問題，表現(xiàn)出極大的靈活性和自適應性。2.1.1 神經網絡的學習方法（1）學習方式通過向環(huán)境學習獲取知識并改進自身性能是神經網絡的一個重要特點。在一般情況下，性能的改

25、善是按照某種預定的度量通過調節(jié)自身參數(shù)逐步達到的。學習方式一般有如下幾種：監(jiān)督學習監(jiān)督學習需要外界存在一個“教師”，它可以對給定一組輸入提供應有的輸出結果，這組己知的輸入輸出數(shù)據稱為訓練樣本集，學習系統(tǒng)可根據己知輸出與實際輸出之間的差值來調節(jié)系統(tǒng)參數(shù)。非監(jiān)督學習 非監(jiān)督學習時不存在外部教師，學習系統(tǒng)完全按照環(huán)境提供數(shù)據的某些統(tǒng)計規(guī)律來調節(jié)自身參數(shù)或結構，以表示外部輸入的某種固有特性。再勵學習再勵學習介于上面兩種情況之間，外部環(huán)境對系統(tǒng)輸出結果只給出評價信息(獎勵或者懲罰)而不是給出正確答案。學習系統(tǒng)通過強化那些受獎勵的動作來改善自身性能。（2）學習算法誤差糾正學習誤差糾正學習的目的是使某一基于

26、誤差信號的目標函數(shù)達到最小，以使網絡中每一個輸出單元的實際輸出在某種統(tǒng)計意義上逼近應有輸出。一旦選定了目標函數(shù)形式，誤差糾正學習就變成一個典型的最優(yōu)化問題，最常用的目標函數(shù)是均方誤差判據，定義為誤差平方和的均值。在自適應濾波器理論中，對這種學習的收斂性及其統(tǒng)計特性有較深入的分析。 hebb學習 由hebb提出的，可以歸納為當某一突觸(連接)兩端的神經元同步激活(同激活或抑制)時，該連接的強度應增強，反之應減弱。 競爭學習競爭學習中，網絡各輸出單元互相競爭，最后達到只有一個最強者激活，最常見的一種情況是輸出神經元之間有側向抑制性連接，這樣原來輸出單元中如有某一單元較強，則它將獲勝并抑制其他單元，

27、最后只有此強單元處于激活狀態(tài)。 （3）學習與自適應當學習系統(tǒng)所處環(huán)境平穩(wěn)時，從理論上講通過監(jiān)督學習可以學到環(huán)境的統(tǒng)計特性，這些統(tǒng)計特性可被學習系統(tǒng)作為經驗記住。如果環(huán)境是非平穩(wěn)的，通常的監(jiān)督學習沒有能力跟蹤這種變化，為解決此問題，需要網絡有一定的自適應能力，此時對每一不同輸入都作為一個新的例子來對待。2.2 bp神經網絡bp (back propagation)神經網絡是一種神經網絡學習算法，全稱是基于誤差反向傳播算法的人工神經網絡12。bp神經網絡的學習過程，分為由信息的正向傳播和誤差的反向傳播兩個過程。輸入層各神經元負責接收來自外界的輸入信息，并傳遞給中間層各神經元；中間層是內部信息處理層

28、，負責信息變換，根據信息變化能力的需求，中間層可以設計為單隱層結構或者多隱層結構，最后一個隱層傳遞到輸出層各神經元的信息，經進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結果。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也是神經網絡學習訓練的過程，此過程將一直循環(huán)進行，直到網絡輸出的誤差減少到可以接受的程度，或者預先設定好的學習次數(shù)為止。bp神經網絡相對比其他的神經網絡，具有運算速度快，疊加性好等特點。 bp算法的基本思

29、想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經各隱層逐層處理后，傳向輸出層。若輸出層的實際輸出與期望的輸出（教師信號）不符，則轉入誤差的反向傳播階段。圖2-3 多層前饋網絡模型誤差反傳是將輸出層誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也就是網絡的學習訓練過程。此過程一直進行到網絡輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數(shù)為止。多層前饋網絡模型采用b

30、p算法的多層前饋網絡是至今為止應用最為廣泛的神經網絡，在多層前饋網的應用中，以上圖所示的單隱層網絡的應用最為普遍。一般習慣將單純隱層前饋網成為三層前饋網或三層感知器，所謂三層包括了輸入層、隱層和輸出層。三層前饋網中，輸入向量為，如加入，可為隱層神經元引入閾值；隱層輸出向量為，如加入，可為輸出層神經元引入閾值；輸出層輸出向量；期望輸出向量為。輸入層到隱層之間的權值矩陣用v表示，v=（v，v，v，v），其中列向量v為隱層第個神經元對應的權向量；隱層到輸出層之間的權值矩陣用w表示，w=(w，w，w，w)，其中列向量w為輸出層第個神經元對應的權向量。下面分析各層信號之間的數(shù)學關系。對于輸入層，有 （2

31、-1） （2-2）對于隱層，有 （2-3） （2-4）以上兩式中，轉移函數(shù)均為單極性sigmoid函數(shù) （2-5）具有連續(xù)、可導的特點，且有 （2-6）式（2-1）式（2-6）共同構成了三層前饋網的數(shù)學模型。2.3 多層前饋網絡的主要能力多層前饋網之所以是目前應用最多的神經網絡，主要歸結于基于bp算法的多層前饋網絡具有以下的一些重要能力。（1）非線性映射能力 多層前饋網能學習和存儲大量的輸入輸出模式映射關系，而無需事先了解描述這種映射關系的數(shù)學方程。只要能提供足夠多的樣本模式對供bp網絡進行學習訓練，它便能完成由維輸入空間到維輸出空間的非線性映射。在工程上及許多技術領域中經常遇到這樣的問題：對

32、某輸入輸出系統(tǒng)已經積累了大量相關的輸入輸出數(shù)據，但對其內部蘊含的規(guī)律仍未掌握，因此無法用數(shù)學方法來描述該規(guī)律。這一類為題的共同特點是：難以得到解析解；缺乏專家經驗；能夠表示和轉化為模式識別或非線性映射問題。對于這類問題，多層前饋網絡具有無可比擬的優(yōu)勢。（2）泛化能力 多層前饋網絡訓練后將所提取的樣本對中的非線性映射關系存儲在權值矩陣中，在其后的工作階段，當向網絡輸入訓練時未曾見過的非樣本數(shù)據，網絡也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網的泛化能力，它是衡量多層前饋網絡性能優(yōu)劣的一個重要的指標。（3）容錯能力 多層前饋網絡的魅力還在于，允許輸入樣本中帶有較大的誤差甚至個別錯

33、誤。因為對權值矩陣的調整過程也是從大量的樣本對中提取統(tǒng)計特性的過程，反映正確規(guī)律的知識來自全體樣本，個別樣本中的錯誤不能左右對權值矩陣的調整。2.4 bp學習算法bp算法的基本思想是，學習過程中由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經各隱層逐層處理后，傳向輸出層。若輸出層的實際輸出與期望輸出（教師信號）不符，則轉入是、誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，并將誤差分攤給各層的所有單元，從而或得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號爭相傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行

34、。權值不斷調整的過程，也就是網絡的學習訓練過程。此過程一直進行到網絡輸出地誤差減小到可接受的程度，或進行到預先設定的學習次數(shù)為止。2.4.1 網絡誤差與權值調整當網絡誤差與期望輸出不等時，存在輸出誤差e，定義如下 (2-7)將以上誤差定義式展開至隱層，有 (2-8)進一步展開至輸入層，有 (2-9)由上式可以看出，網絡誤差是各層權值、的函數(shù)，因此調整權值可改變誤差。顯然調整權值的原則是使誤差不斷地減小，因此應使權值的調整量與誤差的負梯度成正比，即 ； (2-10) ； (2-11)式中負號表示梯度下降，常數(shù)表示比例系數(shù)，在訓練中反映了學習速率。2.4.2 bp算法的原理推導式(2-8)僅是對權

35、值調整思路的數(shù)學表達，而不是具體的權值調整計算公式。下面推導三層bp算法權值調整的計算公式。在全部推導過程中，對輸出層均有；對隱層均有；。對于輸出層，式(2-10)可寫為 (2-12)對于隱層，式(2-12)可寫為 (2-13)對于輸出層和隱層各定義一個誤差信號，令 (2-14) (2-15)綜合應用式(2-5)和式(2-14)，可將式(2-12)的權值調整式改寫為 (2-16)同樣，式(2-15)改為 (2-17)可以看出，只要計算出式(2-12)中的誤差信號和，權值調整量的計算推導即可完成。下面推導如何求和。對于輸出層，可展開為 (2-18)對于隱層，可展開為 (2-19)下面求式(2-1

36、3)中網絡誤差對各層輸出地偏導。對于輸出層，利用式(2-7)，可得 (2-20)對于隱層，利用式(2-8)，可得 (2-21)將以上結果帶入式(2-15)，并應用激活函數(shù)的性質得， (2-22) (2-23)至此兩個誤差信號的推導已完成，將式(2-16)代回到式(2-13)，得到三層前饋網的bp學習算法權值調整計算公式為 (2-24) (2-25)2.4.3 bp算法的程序實現(xiàn)之前推導出的算法是bp算法的基礎，稱為標準bp算法。由于目前神經網絡的實現(xiàn)仍以軟件編程為主，現(xiàn)在介紹標準bp算法的編程步驟13。（1）初始化 對權值矩陣、賦隨機數(shù)，將樣本模式計數(shù)器和訓練次數(shù)計數(shù)器置1，總誤差置0，學習率

37、設為01間小數(shù)，網格訓練后達到的精度設為一正小數(shù)；（2）輸入訓練樣本計算各層輸出，用當前樣本、對向量數(shù)組、賦值，計算和中各分量；（3）計算網絡輸出誤差 設共有對訓練樣本，網絡對應不同的樣本具有不同的誤差，可用其中最大者代表網絡的總誤差，也可以用其均方根作為網絡的總誤差；（4）計算各層誤差信號 即計算和；（5）調整各層權值 計算、中各分量；（6）檢查是否對所有樣本完成一次輪訓 若，計數(shù)器、增1，返回步驟2，否則轉步驟5。從以上步驟可以看出，在標準bp算法中，每輸入一個樣本，都要回傳誤差并調整權值，這種對每個樣本輪訓的權值調整方法又稱為單樣本訓練。由于單樣本訓練只針對每個樣本產生的誤差進行調整，難

38、免顧此失彼，使整個訓練的次數(shù)增加，導致收斂速度過慢。另一種方法是在所有的樣本輸入之后，計算網絡的總誤差 = (2-26)然后根據總誤差計算各層的誤差信號并調整權值，這種積累誤差的批處理方式稱為批訓練或周期訓練。由于批訓練遵循以減小全局誤差的原則，因而可以保證總誤差向減小方向變化。在樣本數(shù)較多時，批訓練比單樣本訓練時的收斂速度要快。批訓練流程可參見圖2-4。初始化v、w計數(shù)器q=1，p=1輸入樣本，計算各層輸出,計算誤差計算各層誤差信號， 調整各層權值， ， ppeemin結束p增1，q增1e=0，p=1圖2-4 批訓練流程圖2.5 本章小結本章主要介紹了神經網絡的起源與發(fā)展，是全文的理論指導，

39、在本章的后半段著重介紹本文引用的bp神經網絡理論的數(shù)學模型及其特性，在2.3與2.4小節(jié)給出了bp神經網絡的計算機算法與訓練流程，這為我們接下來的計算機模擬仿真提供了理論依據。第3章 基于bp神經網絡的脈沖噪聲檢測3.1 脈沖噪聲圖像的數(shù)學模型一般來說，圖像中像素的灰度是連續(xù)漸變的，脈沖噪聲點的灰度是該點正?；叶扰c噪聲灰度的疊加，由于脈沖噪聲的上沖與下沖特性，其灰度值往往接近于圖像中最大或最小的灰度值，從而與其周圍相鄰像素點的灰度值相差較大。為了標識脈沖噪聲，首先定義與待檢測圖像的維數(shù)大小相同的矩陣，定義為噪聲標識矩陣w，在該矩陣中每個矩陣元素都與待處理的噪聲圖像中每個像素相對應，用表示。即：

40、 （3-1）其中：可取1或0,0代表原圖像像素，1代表該元素所對應的原圖像像素為脈沖噪聲。w初始化為全1矩陣，在進行噪聲檢測的過程中，根據脈沖噪聲的檢測結果將矩陣中的元素值設置為0或保持原值1。3.1.1 脈沖噪聲模型為了更好地驗證本文方法對各種脈沖噪聲圖像的去噪性能，下面給出兩種脈沖噪聲模型。1. 噪聲模型.對任意像素點，若其為信號點，則像素值為；若其為噪聲點，則像素值為，的概率密度函數(shù)定義為： （3-2）噪聲取值于長度為的兩個固定范圍內，噪聲點隨機地取范圍內的任意值，且高強度和低強度脈沖噪聲按相同比例分布。當時，為椒鹽噪聲。2. 噪聲模型. （3-3）其中，且類似于模型，但高強度和低強度脈

41、沖噪聲按不同比例分布。3.2 噪聲檢測弱分類器的設計根據脈沖噪聲的圖像特征，利用待識別像素及其鄰域灰度差值來判斷一個像素是否為噪聲點。本文噪聲判別參照傳統(tǒng)的bdnd方法。由上面給出的脈沖噪聲模型定義易見，噪聲點必然取0或255附近的某個值。以當前點為中心定義一個窗口： （3-4）對窗口內的像素點排序后，要設法確定兩個邊界和，可將窗口內的像素點按，劃分為3個子集，使得噪聲點位于和區(qū)間內，而非噪聲點位于區(qū)間內。若當前點像素值位于區(qū)間內，則分類為信號點；否則，分類為噪聲點。具體算法描述如下：（1）以當前點為中心，取尺寸為窗口；（2）將窗口內的點按像素值升序排序，排序后向量記為，且向量中間元素元素記為

42、；（3）計算向量中相鄰兩個元素間的差值（后一個元素減去前一個元素），形成差異向量；（4）對于向量中位于區(qū)間內的元素，在向量中定位最大差值位置，并將向量中相應未知元素確定為邊界；（5）類似地，對于向量位于區(qū)間內的元素，可以確定出邊界；若當前點像素值位于區(qū)間內，則分類為信號點；否則，分類為噪聲點。易見，確定邊界和的準確度，將直接影響該弱分類器的精度。3.3 噪聲檢測強分類器的設計對于同一像素點、不同尺寸的弱分類器，可能會給出相反的分類結果。而且，同一個弱分類器，對于不同噪聲密度的含噪圖像也會表現(xiàn)出不同的分類能力。因此，對于一幅含噪圖像，首先要用若干不同尺寸的弱分類器進行分類；再綜合考慮各弱分類器針

43、對不同噪聲密度圖像的分類能力以及各弱分類器之間的聯(lián)系，采用bp神經網絡，訓練出強分類器，給出最終判決，得到含噪圖像的二進制影射圖，0代表信號點，1代表噪聲點。bp神經網絡的設計包括訓練樣本集設計、訓練與測試和網絡結構設計三方面內容。3.3.1 訓練和檢驗樣本集設計訓練和檢驗數(shù)據的準備工作是網絡設計與訓練的基礎，數(shù)據選擇以及數(shù)據表示的科學合理性對于網絡設計具有極為重要的作用。一般來說，訓練樣本數(shù)越多，訓練結果越能正確反映其內在規(guī)律，但樣本數(shù)據多到一定程度時，網絡的精度也很難進一步提高，訓練誤差與樣本數(shù)之間的關系如圖3-1所示。誤差樣本數(shù)0圖3-1 網絡誤差與樣本數(shù)的關系實踐表明，網絡訓練所需的樣

44、本數(shù)取決于輸入-輸出間非線性關系的復雜程度，映射關系越復雜，樣本中含有的噪聲越大，為了保證精度所需的樣本數(shù)也就越多，而且網絡的規(guī)模也越大。一些學者經過長時間的學習實踐，總結出了一個關于樣本數(shù)的經驗規(guī)則：訓練樣本數(shù)是網絡連接權總數(shù)的5到10倍。由于本網絡結構采用了“3-3-1”形式，故根據此原則，訓練樣本數(shù)應該設定在60到120之間，取網絡連接權總數(shù)的10倍，即120個訓練樣本。3.3.2 樣本的選擇與組織網絡訓練中提取的規(guī)律都蘊含在樣本中，因此樣本一定要有代表性。樣本的選擇要注意樣本類別的均衡，盡量使每個類別的樣本數(shù)量大致相等。即使是同一類樣本也要照顧樣本的多樣性與均勻性。這種“平均主義”原則

45、選擇的樣本能使網絡在訓練時見多識廣，而且可以避免網絡對樣本數(shù)量多的類別“印象深”，而對出現(xiàn)次數(shù)少的類別“印象淺”。樣本的組織要注意將不同類別的樣本交叉輸入，或從訓練集中隨機選擇輸入樣本。因為同類樣本太集中會使網絡訓練時傾向于只建立與其匹配的映射關系，當另一類樣本集中輸入時，權值的調整又轉向新的映射關系而將前面的訓練結果否定。當各類樣本輪流集中輸入時，網絡的訓練會出現(xiàn)振蕩使訓練時間延長。3.3.3 輸入輸出量的選擇與表示一般來說，輸入量是選取對輸出影響大而且能夠檢測或提取的變量。本文中輸入量為由弱分類器分類得到的0,1序列。所謂輸出量代表系統(tǒng)要實現(xiàn)的目標功能，實際上是網絡訓練的期望輸出，本文選擇

46、數(shù)值表示法，即輸出值為0,1內實數(shù)，當輸出值大于0.5時，認為是噪聲點。在訓練樣本選擇上遵循如下準則：（1）半數(shù)以上弱分類器能夠正確分類的像素點作為待選樣本，確保樣本特征明顯；（2）樣本數(shù)量約為網絡連接權總數(shù)的10倍，確保樣本的多樣性；（3）不同類別樣本（目標結果為0或1）數(shù)量大致相等，確保樣本的均勻性；（4）隨機抽取，確保樣本間的不相關性。3.3.4 多層前饋網絡結構設計本文設計的bp神經網絡為單隱層的3層前饋網，包括輸入層、隱層和輸出層。其中，輸入層節(jié)點數(shù)等于弱分類器的個數(shù)；輸出層的節(jié)點數(shù)為1；隱層節(jié)點數(shù)可根據輸入層節(jié)點數(shù)確定。隱層及輸出層狀態(tài)轉移函數(shù)均采用單極性sigmoid函數(shù)： （3

47、-5）1. 隱層數(shù)的設計理論分析已經證明，在不限制隱層節(jié)點的前提條件下，具有單隱層的前饋神經網絡可以映像所有連續(xù)函數(shù)。在設計多層前饋網絡時，一般來說先考慮設計一個隱層。雖然說增加隱層數(shù)可以降低網絡誤差，提高精度，但是也會使網絡復雜化，從而增加了網絡的訓練時間甚至有“過擬合”的傾向。但是實際上，我們可以同多增加隱層的節(jié)點數(shù)來改善這個問題，不需要多設置一個隱層。因此，本文在設計網絡時，也采取單隱層的神經網絡結構，即網絡結構為一個輸入層，一個輸出層和一個隱含層。2. 輸入層節(jié)點數(shù)在前文中己經說明本文章中輸入變量為由弱分類器分類得到的0,1序列。因此，本文構建的bp神經網絡的輸入節(jié)點為3個。3. 輸出

48、層節(jié)點數(shù)本文選擇數(shù)值表示法，即輸出值為0,1內實數(shù)，當輸出值大于0.5時，認為是噪聲點，小于0.5時認為是信號點。因此，輸出層節(jié)點數(shù)為1個。4. 隱含層節(jié)點數(shù)隱含層節(jié)點的作用是從樣本中提取并儲存其內在的規(guī)律，每個節(jié)點有若干個權值，而每個權值都是增強網絡映像能力的一個參數(shù)。一般來說，如果一個神經網絡的隱含層包含有無數(shù)隱含層節(jié)點，那么該神經網絡可以實現(xiàn)從輸入到輸出的任意精度的非線性映像。但是現(xiàn)實中我們無法實現(xiàn)無數(shù)個隱含層節(jié)點，我們必學根據需要確定隱含層節(jié)點數(shù)。一方面，如果節(jié)點數(shù)設置的太少，網絡從樣本中獲取信息的能力就差，不足以概括和體現(xiàn)訓練集中的樣本規(guī)律;另一方面，隱含層節(jié)點數(shù)量過多，則有可能把非

49、規(guī)律性的內容如噪音也學會記牢，從而出現(xiàn)“過擬合”的現(xiàn)象，反而降低了神經網絡的泛化能力。此外，隱含層節(jié)點數(shù)量太多還會增加訓練時間。因此，設置多少個隱含層節(jié)點取決于訓練樣本的多少、樣本噪聲的大小以及樣本中蘊含規(guī)律的復雜程度。確定最佳隱含層節(jié)點數(shù)的一個常用的方法成為試湊法，可以先設置較少的隱含節(jié)點訓練網絡，然后逐漸增加隱含層節(jié)點數(shù)，用同一樣本集進行訓練，從中確定網絡誤差最小時對應的隱含層節(jié)點數(shù)。在適用試湊法的時候，可以用一些確定隱含層節(jié)點數(shù)的經驗公式。這些公式計算出來的隱含層節(jié)點數(shù)可以作為試湊法的初始值。有以下幾個公式: （3-6） （3-7） （3-8）以上各式中，為隱藏節(jié)點數(shù)，為輸入層節(jié)點數(shù)，為

50、輸出層節(jié)點數(shù)，為1 10之間的常數(shù)。試湊法的另一種做法是先設置較多的隱含層節(jié)點，進行訓練時采用以下誤差代價函數(shù)： 其中； （3-9） 其中為網絡輸出的誤差平方和，對于單隱含層bp神經網絡，n表示輸入層節(jié)點數(shù)，m表示隱含層節(jié)點數(shù)，其作用相當于一個遺忘項，其目的是為了使訓練后的連接權值盡量小。根據該算法，在訓練過程中影響小的權值將逐漸衰減到零，因此可以去掉相應的節(jié)點，最終能夠保留下來的即為最佳的隱含層節(jié)點數(shù)。在本文中選擇的是第一種方法，先算出試湊法的初始值，再根據訓練情況逐漸增加隱含層的節(jié)點數(shù)，從而確定網絡誤差最小時的隱含層節(jié)點數(shù)。根據試湊法，我們選擇公式計算出試湊法的初始值為4，即隱層網絡的節(jié)點

51、數(shù)由4個開始。根據多次實驗發(fā)現(xiàn)，當a=6的時候，即隱含層節(jié)點數(shù)為10個的時候，網絡達到速度和穩(wěn)定性的最佳狀態(tài)，訓練和檢驗的效果都最好。因此，在本文中隱含層節(jié)點數(shù)為10個。5轉移函數(shù)關于轉移函數(shù)前面章節(jié)已做過介紹，這里不再贅述。本模型采用單極性sigmoid函數(shù) （3-10）其特點如圖3-2所示 0 0.5 1.0xx 圖3-2 型轉移函數(shù)3.3.5 樣本數(shù)據的選擇和數(shù)據的預處理網絡訓練中提取的規(guī)律從蘊含在樣本中，因此樣本一定要有代表性。樣本的選擇要注意樣本類別的均衡，盡量使每個類別的樣本數(shù)量大致相等。即使是同一類樣本也要照顧樣本的多樣性與均勻性。這種“平均主義”原則選擇的樣本能使網絡在訓練是見

52、多識廣，而且可以避免網絡對樣本數(shù)量多的類別“印象深”，而對出現(xiàn)次數(shù)少的類別“印象淺”。樣本的組織要注意將不同類別的樣本交叉輸入，或從訓練集中隨機選擇輸入樣本。因為同類樣本太集中會使網絡訓練時傾向于只建立與其匹配的映射關系，當另一類樣本集中輸入時，權值的調整又轉向新的映射關系而將前面的訓練結果否定。當各類樣本輪流集中輸入時，網絡的訓練會出現(xiàn)振蕩使訓練時間延長。3.3.6 網絡的訓練與測試訓練時對所有樣本數(shù)據正向運行一輪并反向修改權值一次稱為一次訓練。在訓練過程中要反復使用樣本數(shù)據，但每一輪不要按固定的順序取數(shù)據，這樣做可以防止出現(xiàn)“過擬合”現(xiàn)象的出現(xiàn)。為了找到最佳訓練次數(shù)，訓練時將訓練和測試交替進行，每訓練一次記錄一次訓練均方誤差，然后保持網絡權值不變，用測試數(shù)據正向運行網絡，記錄測試均方誤差。利用這兩種誤差數(shù)據繪出圖3-3中的兩種均方誤差隨訓練次數(shù)變化的曲線。f訓練數(shù)據均方誤差訓練次數(shù)測試數(shù)據 圖3-3 兩種均方誤差曲線從誤差曲線可以看出，在某一個訓練次數(shù)之前，隨著訓練次數(shù)的增加，兩條曲線同時下降。當超