基于不變矩和支持向量機的小樣本圖像識別

1、 FILENAME 修改的論文格式.doc PAGE - PAGE 8 -基于不變矩和支持向量機的小樣本圖像識別 本課題得到山西省軟科學研究項目（No. 2007041032-2）資助。孫貝 ，曹軍太原理工大學信息工程學院，太原(030024)E-mail：摘 要： 基于統(tǒng)計的圖像識別方法只有在樣本足夠大時，其性能才有保證。而實際中如果難以提供大量樣本，就可能因信息量不足導致識別性能下降。為此提出一種小波矩結(jié)合支持向量機的目標識別算法，這種算法立足尋找現(xiàn)有樣本信息下的最優(yōu)解，適合分析小樣本。文章首先提取樣本數(shù)目有限的坦克圖像的Hu矩、Zernike矩、小波矩特征，然后將提取到的特征值分別輸入神

2、經(jīng)網(wǎng)絡和支持向量機分類器，進而實現(xiàn)對圖像的分類。實驗結(jié)果表明，在小樣本情況下該算法具有較好的識別效果。關(guān)鍵詞：圖像識別；小樣本；不變矩；神經(jīng)網(wǎng)絡；支持向量機中圖分類號：TP391引 言 圖像模式識別是近20年來發(fā)展起來的一門新興技術(shù)，是通過運用現(xiàn)代信息處理技術(shù)和計算機技術(shù)來完成人的認知和理解過程，它以研究根據(jù)圖像的特征進行識別和分類為主要內(nèi)容，應用范圍非常廣泛。不變矩算法是通過對目標圖像提取具有平移、旋轉(zhuǎn)和比例不變性的數(shù)學特征，從而進行圖像識別的方法。1961年提出的Hu的7個不變矩1是由圖像的低階歸一化中心矩線性組合構(gòu)成的；Zernike不變矩2是圖像在正交多項式上的投影，是一種正交矩不變量

3、，它在信息冗余度以及圖像表達方面比Hu矩要好。這兩種矩都是在整個圖像空間中計算，得到的是圖像全局特征，不利于分類。當可用樣本的數(shù)目較少時，選擇最好的、最有表示能力的圖像特征就顯得非常重要。基于小波變換的小波矩3 能同時得到圖像的全局特征和局部特征，在識別相似形狀及有噪聲的目標時更有優(yōu)越性，因而成為近年研究的熱點。Vapnic在20世紀6070年代提出了統(tǒng)計學理論，并在90年代中期不斷發(fā)展和成熟。該理論針對小樣本問題建立了一套新的理論體系：統(tǒng)計推理規(guī)則不僅考慮了對漸進性能的要求，還追求在現(xiàn)有有限信息的條件下得到最優(yōu)解4。支持向量機5（Support Vector Machine, SVM）是建立

4、在統(tǒng)計學維理論和結(jié)構(gòu)風險最小原理基礎上的新的學習方法，相比以經(jīng)驗風險最小化為原則的神經(jīng)網(wǎng)絡方法有更好的泛化能力，其結(jié)果是基于有限支持向量個數(shù)得出的結(jié)論,得到的是有限樣本信息下的全局最優(yōu)點。該文將不變矩特征作為特征值，結(jié)合支持向量機分類器對小樣本坦克圖像進行分類識別，并對比了不變矩特征分別結(jié)合BP神經(jīng)網(wǎng)絡和小波神經(jīng)網(wǎng)絡分類器的識別效果。矩特征提取2.1 矩特征表示表示直角坐標系上的二維數(shù)字圖像，其規(guī)則矩定義為： （1）圖像的尺寸大小為。由將圖像轉(zhuǎn)換到極坐標系中成為，采用極坐標表示的矩特征形式為： （2）是關(guān)于半徑的函數(shù)，為整數(shù)參數(shù)。容易證明，模具有旋轉(zhuǎn)不變性6。進一步可將上式寫為： （3）其中：

5、 （4）需要注意的是：當定義在半徑的全局范圍內(nèi)時，提取的為圖像的全局特征；當定義在半徑的局部范圍內(nèi)時，提取的為圖像的局部特征?？梢宰C明，Hu矩、Zernike矩都可以通過取不同的 和得到4。小波變換有良好的時頻域分析能力，同Hu矩和Zernike矩相比，基于小波多尺度分析的小波矩不僅可以得到圖像的全局特征，還能得到圖像的局部特征，增強了圖像的抗噪性和對精細特征的把握能力。2.2 小波不變矩的計算該文使用三次B樣條小波母函數(shù)7構(gòu)造小波矩：取小波基函數(shù)作為式（2）中的，小波矩實質(zhì)上就是圖像在徑向小波空間的投影，定義為： （5）式中，為徑向小波基函數(shù)，定義為： （6）式中，N為圖像像素點，為小波的縮

6、放和平移因子。從小波矩的構(gòu)造過程可以看出，實際上是圖像在縮放因子為m,平移因子為n時，在相位空間中的第個頻率特征。選擇不同的縮放因子和平移因子，就可以提取圖像的全局信息和局部信息，從而使小波矩可以提供在不同的縮放時的特征。小波矩的這一特點，使其能夠區(qū)別有細微差別的模式，這正是Hu矩和Zernike矩這些全局矩無法做到的。需要注意的是：和Zernike矩一樣，小波矩也只具有旋轉(zhuǎn)不變性，為保證平移和比例不變性，應在提取矩特征前對圖像進行平移和尺度歸一化，該文使用參考文獻7中的歸一化方法。分類算法在獲得圖像特征后，如何做出合理的判決就是分類算法要討論的問題。設計分類精度高、誤識率低、可靠性好的分類器

7、是識別的最終目的。3.1 神經(jīng)網(wǎng)絡分類算法經(jīng)典的三層結(jié)構(gòu)BP神經(jīng)網(wǎng)絡，隱層和輸出層采用的神經(jīng)元傳遞函數(shù)為函數(shù)。通過BP算法訓練網(wǎng)絡，訓練方法為有動量的梯度下降法5。小波神經(jīng)網(wǎng)絡的結(jié)構(gòu)與BP神經(jīng)網(wǎng)絡結(jié)構(gòu)類似，其思想是用小波元代替神經(jīng)元：用已定位的小波函數(shù)（該文使用morlet小波6）代替Sigmoid函數(shù)作為激活函數(shù)，輸入層到隱層的權(quán)值及隱含層閾值分別由小波函數(shù)的尺度和平移參數(shù)所代替。待確定的參數(shù)有連接權(quán)值、尺度系數(shù)和平移系數(shù)，參數(shù)調(diào)整算法依然是BP算法。小波神經(jīng)網(wǎng)絡的基元和整個結(jié)構(gòu)是根據(jù)小波分析理論確定的，避免了BP神經(jīng)網(wǎng)絡結(jié)構(gòu)設計上的盲目性，理論上對于同樣的學習任務，小波神經(jīng)網(wǎng)絡收斂速度更快

8、，精度更高。3.2 支持向量機分類算法支持向量機是一種基于統(tǒng)計學習理論的機器學習方法，是由Boser,Guyon和Vapnik在 4上首次提出，最初是針對識別中的兩類線性可分問題提出的：有線性可分樣本,根據(jù)類別的不同分為正樣本子集和負樣本子集，確立一個超平面，將這兩類樣本集分開，并具有最大間隔，這樣的超平面就稱為最優(yōu)分類超平面。圖 1中，H就表示最優(yōu)分類超平面求最優(yōu)分類面，實質(zhì)上就是求解二次規(guī)劃問題，在線性約束條件下最小化二次型。用經(jīng)典的Lagrange乘子法求解，Lagrange方程為： （7）其中為Largrange乘子，對和b求偏微分并令其為0，得到關(guān)系式： （8） （9）代入式（7）得

9、到 （10）為了構(gòu)造最優(yōu)超平面，在，且滿足式（9）的條件下，對式（10）求解得到，代入式（8）得到向量： （11）這是一個不等式約束下的二次函數(shù)極值問題，存在唯一解，根據(jù)Karush-Kuhn-Tucker互補條件5，最優(yōu)解必須滿足： （12）這就表示函數(shù)間隔為1的樣本向量，也就是最靠近超平面的點對應的非零，稱這樣的向量為支持向量（SV,Support Vector）。圖1中，和上的數(shù)據(jù)構(gòu)成支持向量。最優(yōu)解和可由二次規(guī)劃算法求得，最優(yōu)判別函數(shù)具有如下形式： （13）對于線性不可分情況，通過非線性映射將輸入空間中的向量映射到高維特征空間，在中構(gòu)造最優(yōu)分類超平面。如圖2表示，將輸入空間的線性不可分

10、數(shù)據(jù)經(jīng)過運算映射到一個高維的特征空間，在這個特征空間中，樣本是線性可分的：只需要進行內(nèi)積運算，這種內(nèi)積運算可以用輸入空間的某些特殊函數(shù)來實現(xiàn)，而無需知道變換的具體形式，這樣就把計算集中在了輸入空間，避免了“維數(shù)災難”。這些特殊的函數(shù)稱為核函數(shù)。該文使用徑向基核函數(shù)5 。 （14）此時，最優(yōu)分類函數(shù)： （15）就稱為支持向量機。其中，為支持向量，為待分類向量，為對應的拉格朗日乘子。是解決兩類分類問題的有效方法，因此先將多類問題轉(zhuǎn)化為兩類問題:通過組合多個二分類器來實現(xiàn)多分類器的構(gòu)造。該文使用“一對一”（one-versus-one）方法：在任意兩類樣本之間設計一個SVM。當對一個未知樣本進行分類

11、時，最后“得票”最多的類別即為該未知樣本的類別。 圖1 最優(yōu)化分類平面和支持向量 圖2 高維特征空間中構(gòu)造最優(yōu)分類超平面由于SVM 的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此SVM 的解是全局唯一的最優(yōu)解。這樣就避免了神經(jīng)網(wǎng)絡求解時易陷入“局部極小點”而無法自拔的情況，保證了運算的速度和精度。而且，支持向量機針對有限樣本情況，目標是得到現(xiàn)有樣本信息下的最優(yōu)解，因而在遇到小樣本情況時也有神經(jīng)網(wǎng)絡無法比擬的優(yōu)越性。4實驗結(jié)果與分析仿真實驗采用的是計算機平臺windows XP操作系統(tǒng)和MATLAB 7.04。選用的3種不同類型的標準二值坦克圖像。圖3、圖6和圖9分別為三類坦克標準圖像，分別表示88B

12、坦克、B2坦克和M2坦克。每幅圖后的兩幅圖像為標準圖經(jīng)旋轉(zhuǎn)、平移和比例縮放綜合變換得到的圖像。每類坦克樣本用于獲取先驗知識的訓練圖像只有3幅，屬于典型的小樣本情況。 圖3 88Ba 圖4 88Bb 圖5 88Bc 圖6 B2a 圖 7 B2b 圖8 B2c 圖9 M2a 圖10 M2b 圖11M2c4.1 不變矩特征提取表1 用于訓練的Hu矩特征提取結(jié)果圖像編號圖31.25713.06895.67496.124312.19497.747114.1543圖41.25873.07615.70156.147715.18977.773914.2143圖51.25003.05735.59776.0389

13、12.19367.652713.9888圖61.22862.91096.90236.990414.11458.476916.7414圖71.23682.93326.99297.164114.24258.671916.9154圖81.23022.91377.00117.058914.38088.546416.9477圖91.49213.79877.74519.665921.436911.928719.6565 圖101.49853.82817.83919.769920.250311.982220.0870 圖111.48973.78827.74789.709118.774412.002119.5

14、958由于Zernike矩和小波矩只具有旋轉(zhuǎn)不變性，所以為保證特征的平移和尺度不變性，在提取這兩個特征之前，首先要對圖像進行標準歸一化處理。圖12到圖20為將圖3到圖11標準歸一化處理后的圖像,編號從a到i。 圖12 a 圖13 b 圖14 c 圖15 d 圖16 e 圖17 f 圖18 g 圖19 h 圖20 i表2 用于訓練的Zernike矩特征提取結(jié)果編號abcdefghi25.058326.546927.100127.480727.368527.700316.811818.207918.2471107.6468113.8302114.8526117.3473116.9981117.83

15、3176.120681.872082.1379241.9111254.9570253.4998260.6747260.0451260.2781183.1350194.8590195.806817.929619.461321.279322.349322.784723.30468.75439.877310.3012表3 用于訓練的小波矩特征提取結(jié)果編號abcdefghi5.88225.22245.58086.59045.43566.74076.93255.58476.59155.99575.19395.75886.72065.60626.96566.93385.35406.614320.95291

16、5.952220.791224.380821.649124.822828.645423.170528.355920.686715.409720.468925.990421.341928.460228.160528.283527.99384.2 神經(jīng)網(wǎng)絡和支持向量機分類結(jié)果取18幅測試圖像，分別為三類標準圖像經(jīng)旋轉(zhuǎn)、平移和縮放后得到的，提取測試圖像的Hu矩、Zernike矩和小波矩。矩特征提取完畢后，神經(jīng)網(wǎng)絡分類器中輸入層節(jié)點數(shù)為特征維數(shù)，隱層節(jié)點個數(shù)使用經(jīng)驗值： BP神經(jīng)網(wǎng)絡參數(shù)設計如下：輸入節(jié)點數(shù)取特征維數(shù)；隱層節(jié)點數(shù)根據(jù)經(jīng)驗值取特征維數(shù)的2倍加1；最大訓練次數(shù)取5000；訓練要求精度取；學

17、習率=0.01；最小梯度要求?。粍恿恳蜃?0.9；輸出節(jié)點取2個，采用二進制的00、01和11分別表示坦克類別；輸入出到隱層以及隱層到輸出層之間的傳遞函數(shù)分別采用雙曲正切S函數(shù)（tansig）和對數(shù)單極性S函數(shù)（logsig）。小波神經(jīng)網(wǎng)絡參數(shù)設計為：小波神經(jīng)網(wǎng)絡的參數(shù)值設計如下，輸入節(jié)點數(shù)和隱層節(jié)點數(shù)均取特征維數(shù)，輸出節(jié)點取1：用-1、0和1分別表示表示識別的88B、B2和M2坦克的類別；調(diào)整權(quán)值的學習率=0.01；調(diào)整伸縮因子a和平移因子b的學習率=0.001，訓練次數(shù)取定值1000；輸入出到隱層之間的傳遞函數(shù)為morlet小波函數(shù)，隱層到輸出層之間的傳遞函數(shù)為Sigmoid線性函數(shù)。支持

18、向量機分類時，取懲罰因子8C=1, 徑向基核函數(shù)中的參數(shù)據(jù)經(jīng)驗取特征維數(shù)的倒數(shù)；用-1、0和1分別表示待識別的三類坦克。支持向量個數(shù)：識別Hu矩時有8個，識別Zernike矩和小波矩時有9個。表4列出了三種分類算法的識別性能參數(shù)。表4 仿真識別結(jié)果圖像序號BP神經(jīng)網(wǎng)絡小波神經(jīng)網(wǎng)絡支持向量機訓練時間誤差識別率訓練時間誤差識別率訓練時間識別率Hu矩34.79秒0.1374 66.7%1.8461秒1e-872.2%0.1368秒83.3%Zernike矩35.36秒0.1226 66.7%1.1953秒1e-877.8%0.0069秒89%小波矩33.41秒0.0680 77.8%1.3526秒1

19、e-877.8%0.0068秒100%從表4可以看出，將Hu矩、Zernike矩和小波矩提取的特征值分別輸入到BP神經(jīng)網(wǎng)絡分類識別時，小波矩的識別率最高，Hu矩最低，而且有時識別率出現(xiàn)幅度較大的波動；小波神經(jīng)網(wǎng)絡對BP神經(jīng)網(wǎng)絡結(jié)構(gòu)上的改進，使得矩特征輸入到小波神經(jīng)網(wǎng)絡時，訓練時間和誤差都有很大的改進但識別率并未有明顯提高；而矩特征輸入到支持向量機中時，無論訓練時間還是識別率都有了大幅度提高，Zernike矩在訓練中識別率是100%，測試時達到89%，小波矩在訓練和測試中識別率均達到100%。以上是在圖像無噪聲情況下得到的結(jié)果，為驗證算法的抗噪性，給圖像加入不同強度的噪聲：設圖像為I，隨機噪聲矩

20、陣為N=randn(128),加噪圖像表示為I+N。定義A類噪聲強度為N/5,B類噪聲強度為N/3,C類噪聲強度為N，顯然A、B、C噪聲強度是遞增的。對用于測試的三類共18幅圖像分別加入這三類噪聲，得到共54幅圖像，然后對它們提取Hu矩、Zernike矩和小波矩，表5列出了BP神經(jīng)網(wǎng)絡和支持向量機分類器在不同的噪聲強度下對三種矩特征的識別效果。表5 BP神經(jīng)網(wǎng)絡和SVM分類對加噪圖像識別結(jié)果分類算法噪聲Hu矩識別率Zernike矩識別率小波矩識別率BP神經(jīng)網(wǎng)絡分類A44.4%66.7%55.6%B44.4%33.3%50.0%C27.8%38.9%50.0%SVM分類A50.0%61.1%88

21、.9%B50.0%55.6%77.8%C44.4%38.9%77.8%從表5可以看出，隨著噪聲的增加，該文的算法仍能保持較高的識別率。雖然兩種算法的識別率都有所下降，BP神經(jīng)網(wǎng)絡分類算法的這種趨勢更為明顯。5結(jié)論 該文通過對數(shù)目有限的坦克圖像提取Hu矩、Zernike矩和小波矩特征，并輸入BP神經(jīng)網(wǎng)絡、小波神經(jīng)網(wǎng)絡和支持向量機分類器進行分類識別，實驗結(jié)果表明：小樣本情況下，小波矩特征結(jié)合支持向量機分類器的算法具有更好的識別效果。參考文獻1 Hu Ming-Kuei. Visual pattern recognition by moment invariant J. IRE Trans Info

22、rmation Theory, 1962, 8: 179-187.2 王耀明. Zernike矩及它們的應用J. 上海電機學院學報， 2008，11（1）:4446.3 Dinggang Shen, Horace H.S. Ip. Discriminative wavelet shape descriptors for recognition of 2-D patternJ. Image Computing Group, 1999,32（2）: 151165.4 Nello Cristianini, John Shawe-Talor. An Introduction to Support Ve

23、ctor Machine and Other Kernel-based Learning MethodsM.李國正，王猛，曾華軍譯.北京：電子工業(yè)出版社,2003.5 楊淑瑩. 模式識別與智能計算M， 北京：電子工業(yè)出版社，2008.6 劉進. 不變量特征的構(gòu)造及在目標識別中的應用D.，武漢：華中科技大學，2004.7 張虹，陳文楷. 一種基于小波矩的圖像識別方法J. 北京工業(yè)大學學報，2004，30(4):427431.8 侯媛彬，杜京義，汪梅. 神經(jīng)網(wǎng)絡M. 西安：西安電子科技大學出版社，2007.RESEARCH ON SMALL SAMPLE IMAGE RECOGNITION BAS

24、ED ON INVARIANT MOMENT AND SUPPORT VECTOR MACHINESun Bei , Cao Jun Department of Information, Taiyuan University of Technology, Taiyuan, PRC, (030024)AbstractMethod of image recognition based on statistics can achieve fine performance only if its provided with large numbers of samples. In practice however, sometimes its impossible to obtain so many samples, which may results in the poor re