基于改進bp算法的裂縫檢測方法

基于改進bp算法的裂縫檢測方法

0路面病害識別方法隨著我國高架建設的快速發(fā)展，路面質量監(jiān)控體系得到完善，要求水平得到提高。由于車輛在高等級公路上行駛時對路面的平整度、路面完好率要求很高,當路面出現(xiàn)凹凸、裂縫等病害時應及時進行維修。因此,如何設計有效的自動病害檢測算法,以獲取路面病害數(shù)據(jù),已成為發(fā)展交通事業(yè)亟待解決的問題。路面病害自動檢測系統(tǒng)的一個關鍵問題是對裂縫進行識別和分類。對路面裂縫進行分類的常用方法有貝葉斯分類法、線性分類法和非線性分類法等,但這些方法對于復雜的路面病害識別率不高。由于應用神經網絡分類器進行路面裂縫識別效果較好,因此,基于人工神經網絡的分類算法成為路面病害自動識別的研究熱點。文獻中采用基于小波神經網絡的路面病害識別方法,將小波分析和神經網絡相結合,應用小波函數(shù)或尺度函數(shù)作為神經元的激勵函數(shù),取得了比較好的結果。此外采用模糊邏輯與人工神經網絡相結合的方法,對路面病害進行實時檢測,分類效果也比較好。由于神經網絡具有實時性、容錯性和學習性等特點,近年來被廣泛應用于路面裂縫的檢測識別中。然而,由于路面裂縫種類繁多,隨機性很強,神經網絡分類器的分類精度并不能令人滿意。基于誤差逆?zhèn)鞑サ腂P學習算法是目前普遍采用的算法之一,但它主要存在2個問題,即收斂速度慢和易陷入局部極小,尤其對于較復雜的路面裂縫圖像,最大迭代次數(shù)甚至達到了萬次以上。因此,從神經網絡在模式識別中的發(fā)展來看,大型網絡結構的優(yōu)化問題和網絡學習問題還亟待進一步解決和提高。目前,網絡模型的改進主要包括網絡結構改進和學習算法改進2個方面。BP網絡結構的改進主要在互連方式、轉換函數(shù)以及隱含層節(jié)點等方面;而算法改進主要通過修改誤差函數(shù)、增大激勵函數(shù)的導數(shù)以及與其他智能算法相結合等來提高網絡性能。為此,本文構造了一種復合誤差函數(shù),以避免局部極小;同時,提出一種新的學習算法,采用分層調整不同學習率的新方法來加快收斂速度。試驗結果表明,該BP改進算法能顯著提高網絡性能。1表達層至輸出層的連接權值以路面裂縫檢測系統(tǒng)所采用的3層BP網絡為例,假設輸入層和隱含層的神經元個數(shù)分別為N和M,檢測系統(tǒng)中輸出層的神經元個數(shù)定為2,對應任意輸入樣本向量ξk=(ξk1,ξk2,…,ξkΝ)(1≤k≤P)的實際輸出向量Ck=(Ck1,Ck2)(1≤k≤P)。其中,P為樣本個數(shù);期望輸出向量yk=(yk1,yk2)(1≤k≤P);輸入層到隱含層的連接權值wij(1≤i≤N,1≤j≤M);隱含層至輸出層的連接權值vjt(1≤j≤M,1≤t≤2);隱含層各單元的輸出閾值θj(1≤j≤M);輸出層各單元的輸出閾值γt(t=1,2);g(x)和f(x)分別為隱含層和輸出層的傳遞函數(shù)。用輸入樣本ξk=(ξk1,ξk2,…,ξkΝ)連接權值wij和閾值θj,計算隱含層各神經元的輸入Skj,然后用Skj通過g(x)計算隱含層各神經元的輸出bkj,計算公式為Skj=Ν∑i=1wijξki-θjj=1,2,?,Μ(1)bkj=g(Skj)j=1,2,…,M(2)同樣,用隱含層的輸出bkj、連接權值vjt和閾值γt,計算輸出層各神經元的輸出Lkt,然后用Lkt通過f(x)計算輸出層各神經元的響應Ckt,計算公式為Lkt=Μ∑j=1vjtbkj-γtt=1,2(3)Ckt=f(Lkt)t=1,2(4)根據(jù)Delta學習規(guī)則,傳統(tǒng)BP算法中隱含層和輸出層各神經元的連接權值修正公式分別為wij(m+1)=wij(m)+η[2∑t=1(ykt-Ckt)?Ckt(1-Ckt)vjt]bkj(1-bkj)ξkj(5)vjt(m+1)=vjt(m)+η(ykt-Ckt)Ckt(1-Ckt)bkj(6)式中:t=1,2;i=1,2,…,N;j=1,2,…,M;η為學習率,且0<η<1;1≤k≤P。2bp網絡的特點在實際應用中,傳統(tǒng)BP算法主要存在以下幾個問題。(1)學習算法的收斂速度比較慢。即使一個簡單的問題,通常也需要幾百步或更多的迭代。更何況在處理路面裂縫在線檢測這樣一個比較復雜的問題時,由于系統(tǒng)實時性要求很高,這就要求學習算法的收斂速度要更快。(2)易陷入局部極小值。BP網絡采用梯度下降法,訓練是從某一起始點開始的斜面逐漸達到誤差的最小值。對于復雜的網絡,其誤差函數(shù)為多維空間的曲面,因而在其訓練過程中,可能陷入某一小谷區(qū)而產生局部極小值,以致于訓練無法跳出這一局部極小值。(3)網絡隱含層的層數(shù)以及隱含層神經元數(shù)的選取尚無理論指導,而是根據(jù)經驗選取,因此,網絡往往有很大的冗余性,無形中也增加了網絡學習的時間。同時,網絡的學習、記憶具有不穩(wěn)定性,新加入的樣本會影響到已學完的樣本。3新的bp改進算法3.1兩組線性一般網絡模型的對比在路面裂縫檢測系統(tǒng)中,由于訓練網絡時的樣本數(shù)量較多,而且具有一定數(shù)量的重復樣本,所以在BP改進算法中,嘗試采用分組批處理的訓練方式。假設先把P個訓練樣本分為n組,每組的樣本數(shù)為Pi(1≤i≤n),然后再對Pi個樣本進行網絡訓練,讓每組樣本循環(huán)經過一次學習后再調整學習率,而不是每輸入一個樣本就調整一次學習率。采用分組批處理方式訓練網絡的好處是:既能使不同學習率在每組樣本圖像循環(huán)訓練完成后得到適當調整,在時間上節(jié)省調整學習率的開銷,又能充分比較各分組間不同學習率對組間均方誤差的影響。因此,在分組批處理的訓練方式中,對于各分組中Pi(1≤i≤n)個訓練樣本,神經網絡實際輸出值(Ckt)與理想輸出值(ykt)間的全局均方誤差函數(shù)E可表示為E=12ΡiΡi∑k=12∑t=1(ekt)2=12ΡiΡi∑k=12∑t=1(ykt-Ckt)2(7)式中:ekt為輸出層第t個神經元的誤差,ekt=ykt-Ckt。同時,在BP改進算法中,選擇傾斜度參數(shù)α的雙曲正切S形函數(shù)作為隱含層的傳遞函數(shù)g(x),即g(x)=tanh(αx)=eαx-e-αxeαx+e-αx=1-e-2αx1+e-2αx=21+e-2αx-1α＞0(8)該傳遞函數(shù)是以傾斜度α為參數(shù)的單調遞增的有界函數(shù),它的基本特性為limx→-∞g(x)=-1,limx→∞g(x)=1,limx→ming(x)≈12αx?g′(x)=αsech2(αx)=α(1-tanh2(αx))=α[1+g(x)][1-g(x)]α取5、3、1、0.5共4個不同值時,傳遞函數(shù)曲線如圖1所示;用αx/2線性逼近傳遞函數(shù)時,誤差百分比如圖2所示。從圖1、圖2可以看出,α值越小,非線性傳遞函數(shù)g(x)越接近于線性函數(shù)αx/2,并且線性逼近的誤差百分比也越小。因此,從式(8)、式(9)和傳遞函數(shù)的基本特性可以看出,隱含層的修正量Δwij和閾值θj與非線性傳遞函數(shù)以及傾斜度參數(shù)是成比例的。為了花費更少的訓練時間和減少每次訓練的計算量,當然期望降低傳遞函數(shù)的α值,使非線性運算用線性運算代替;但降低α值會使整個非線性網絡更趨于線性網絡,這在一定程度上大大降低了多層非線性網絡在路面裂縫檢測應用上的優(yōu)勢。由于以線性函數(shù)為傳遞函數(shù),多層網絡在實現(xiàn)時可以用一單層網絡替代。因此,必須選擇一個傳遞函數(shù)最佳α值,以權衡網絡訓練的速度和裂縫檢測的效果。3.2復合誤差函數(shù)傳統(tǒng)BP算法收斂速度慢的一個重要原因是全局均方誤差函數(shù)的設計問題。BP算法本質上是以誤差平方和函數(shù)為目標函數(shù)、用梯度下降法求其最小值的算法。在訓練樣本的初始階段,輸出值遠離期望值,E值相對較大,ΔE值有較大的下降空間,所以E對加快網絡的收斂速度有較大的貢獻;隨著訓練樣本以及訓練次數(shù)的逐漸增加,輸出值逐漸靠近期望值,E值在不斷減小,ΔE值的下降空間也不斷縮小,此時網絡的收斂速度將變得非常緩慢。同時,由于全局均方誤差函數(shù)E是個非線性函數(shù),這就意味著由E構成的連接空間不是只有一個極小點的拋物面,而是存在多個局部極小點的超曲面。因此,誤差逆?zhèn)鞑ゾW絡的收斂過程很可能進入局部極小值,而無法最終收斂到全局最小值。導致這一缺陷的原因是,由于BP學習規(guī)則采用了沿誤差函數(shù)梯度下降的方向進行收斂。因此,本文構造了復合誤差函數(shù)G(λ)=λE+(1-λ)EG,并用G(λ)來代替?zhèn)鹘y(tǒng)算法中的全局均方誤差函數(shù)E。在訓練樣本的初始階段,λ=1,此時G(λ)=E,即為全局均方誤差函數(shù),網絡收斂速度加快;隨著訓練樣本以及訓練次數(shù)的逐漸增加,E值在不斷減小,當λ值從1趨向于0時,(1-λ)EG部分貢獻值增大,此時G(λ)=EG,網絡收斂速度同樣加快,這就在一定程度上克服了傳統(tǒng)BP算法收斂速度慢的缺點。復合誤差函數(shù)G(λ)的展開式為G(λ)=λE+(1-λ)EG=0.5λ∑k=1Ρ∑t=12(etk)2+(1-λ)∑k=1Ρ∑t=12(ytketk)(9)式中:λ=exp(-|ΔE|/E2),其中ΔE為誤差變化量,ΔE=E(k)-E(k-1)?ΔEE為誤差變化率;E(k)為分組樣本在第k次循環(huán)學習時的全局均方誤差;E(k-1)為分組樣本在第k-1次循環(huán)學習時的全局均方誤差。采用|ΔE|E2作為λ參數(shù)的原因是,當ΔE>0時,E(k)>E(k-1),說明全局均方誤差E正在增大,輸出值遠離期望值。由于誤差變化量ΔE相對E2值要小得多,此時|ΔE|E2=ΔEE2能夠迅速減小,使得λ值趨于1,λE部分貢獻值增大,能夠加快網絡收斂速度;當ΔE<0時,E(k)<E(k-1),說明全局均方誤差E正在減小,輸出值靠近期望值。此時,雖然誤差變化量ΔE很小,但誤差變化率ΔEE2相對ΔE要大得多,因此|ΔE|E2=-ΔEE2能夠迅速增大,使得λ值趨于0,(1-λ)EG部分貢獻值增大,同樣能加快網絡收斂速度。3.3各神經元連接權值的修正BP算法中網絡參數(shù)每次調節(jié)的幅度,均以一個與網絡誤差函數(shù)大小成正比的學習率η為步長進行調節(jié)。在傳統(tǒng)BP算法中,無論是在隱含層還是在輸出層,在其連接權值和閾值參數(shù)的修正過程中,學習率η總是固定不變的。其原因是,誤差函數(shù)E是個復雜的非線性函數(shù),很難通過求極小值的方法得到最佳步長。這樣,在誤差曲面較平坦處,連接權值和閾值參數(shù)的調節(jié)幅度較小,需要經過更多次調整才能將誤差函數(shù)曲面降低;而在誤差曲面較陡處,連接權值和閾值參數(shù)的調節(jié)幅度較大,這樣誤差函數(shù)在最小點附近就發(fā)生過沖現(xiàn)象,使得權值參數(shù)調節(jié)路徑呈現(xiàn)鋸齒形,難以收斂到最小值,這也是傳統(tǒng)BP算法收斂速度慢的一個重要原因。本文采用一種分層動態(tài)調整不同學習率的新方法,即分開調整輸出層的學習率η1和隱含層的學習率η2,從而替代了傳統(tǒng)算法中固定不變的學習率η。故根據(jù)Delta學習規(guī)則,隱含層至輸出層的連接權值vjt的修正量Δvjt、輸入層到隱含層的連接權值wij的修正量Δwij分別為Δvjt=η1(-?G(λ)?vjt)=-η1?G(λ)?etk?etk?Ctk?Ctk?Ltk?Ltk?vjt=η1(ytk-λCtk)Ctk(1-Ctk)bjk(10)Δwij=η2(-?G(λ)?wij)=-η2?G(λ)?etk?etk?Ctk?Ctk?Ltk?Ltk?bjk?bjk?Sjk??Sjk?wij=η2[∑t=12(ytk-λCtk)Ctk(1-Ctk)vjt]?α(1-bjk)(1+bjk)ξjk(11)同時,在BP改進算法中,對于η1、η2采用的修正公式為η1(k+1)=η1(k)-τΔEE0＜τ＜1η2(k+1)=η2(k)-τΔEE0＜τ＜1(12)式中:η1(k+1)為分組樣本圖像在第k+1次循環(huán)學習時輸出層的學習率;η2(k+1)為分組樣本圖像在第k+1次循環(huán)學習時隱含層的學習率;η1(k)為分組樣本圖像在第k次循環(huán)學習時輸出層的學習率;η2(k)為分組樣本圖像在第k次循環(huán)學習時隱含層的學習率;τ為常數(shù),取值范圍為0<τ<1,這里統(tǒng)一取τ=0.5。每次對分組樣本圖像完成一次循環(huán)學習以后,就計算一次組內均方誤差變化率ΔEE=E(k)-E(k-1)E(k)(13)采用誤差學習率作為修正參數(shù),當ΔE>0時,說明學習誤差正在增大,輸出值遠離期望值,權值調整過大,需要減小Δvjt和Δwij。由式(10)、式(11)可知,若降低學習率η1和η2,Δvjt和Δwij也必然減小;同時,由式(12)可看出,η1(k+1)<η1(k),η2(k+1)<η2(k),η1和η2在減小,故能夠加快網絡收斂速度。當ΔE<0時,說明學習誤差正在減小,輸出值靠近期望值,需要增大Δvjt和Δwij。但此時誤差已經很小,ΔE的變化也小,收斂速度很慢,但ΔE/E的變化比ΔE要大得多。因此,從式(12)可以看出,η1(k+1)>η1(k),η2(k+1)>η2(k),η1和η2有明顯的增大,同樣也能加快網絡收斂速度。在BP改進算法中,輸出層各神經元的連接權值vjt和閾值γt修正公式為式中:t=1,2;j=1,2,…,M;0<η1<1;1≤k≤P。BP改進算法中,隱含層各神經元的連接權值wij和閾值θj修正公式為wij(m+1)=wij(m)+η2(m)[∑t=12(ytk-λCtk)?Ctk(1-Ctk)vjt]α(1-bjk)(1+bjk)ξjk(16)θj(m+1)=θj(m)+η2(m)[∑t=12(ytk-λCtk)?Ctk(1-Ctk)vjt]α(1-bjk)(1+bjk)(17)式中:i=1,2…,N;j=1,2,…,M;0<η2<1;1≤k≤P。3.4各層中神經元連接權值的修正基于以上分析,BP改進算法具體實現(xiàn)步驟如下。(1)初始化連接權值(wij、vjt)、閾值(θj、γt)、學習率(η1、η2)和傳遞函數(shù)傾斜度參數(shù)α。假設把所有P個訓練樣本分為n組,每組的樣本數(shù)為Pi(1≤i≤n),設定組內期望誤差標準ε以及最大循環(huán)迭代次數(shù)M。設Ck(m)=(C1k(m),C2k(m))(1≤k≤Pi)為組內第m次迭代時網絡的實際輸出向量,yk=(y1k,y2k)(1≤k≤Pi)為組內期望輸出向量,m為循環(huán)迭代次數(shù),令m=0。(2)隨機輸入該組內任意樣本ξk=(ξ1k,ξ2k,…,ξΝk)(1≤k≤Pi)。(3)對輸入樣本ξk,按式(1)和式(3)分別計算隱含層和輸出層的輸入值;按式(2)和式(4)分別計算隱含層和輸出層的輸出值。其中,隱含層的傳遞函數(shù)選擇雙曲正切S形函數(shù)g(x)=(eαx-e-αx)/(eαx+e-αx),輸出層的傳遞函數(shù)選擇常見的Sigmoid形函數(shù)f(x)=1/(1+e-x)。(4)由yk和上一步求得的Ck(m),計算該樣本的均方誤差值Ek=12∑i=12(ytk-Ctk(m))2,判斷該組所有Pi個訓練樣本是否都學習完畢。若是,則計算出該組訓練樣本的全局均方誤差值E=1ΡiEk=12Ρi∑k=1Ρi∑t=12(ytk-Ctk)2,并令m=m+1;否則,轉至步驟(2)。(5)判斷循環(huán)學習次數(shù)m是否大于最大循環(huán)迭代次數(shù)M。若是,則轉至步驟(9);否則,判斷該組訓練樣本的第m次循環(huán)迭代的全局均方誤差值是否小于期望誤差標準ε,即|E(m)|<ε。此外,還可判斷連接權值的變化是否已經很小,即|vjt(m+1)-vjt(m)|<ε,|wij(m+1)-wij(m)|<ε。若是,則轉至步驟(7);否則,轉至步驟(6)。(6)判斷ΔE,若ΔE>0.001,則需重新設置該組樣本不同學習率η1(m)、η2(m)和傳遞函數(shù)傾斜度參數(shù)α,并重新返回步驟(2);若ΔE<0.001,則對該組所有輸入樣本ξk=(ξ1k,ξ2k,…,ξΝk)(1≤k≤Pi),先按式(12)修正學習率η1(m)、η2(m),接著按式(14)、式(15)修正輸出層各神經元的連接權值vjt(m)和閾值γt(m),最后按式(16)、式(17)修正隱含層各神經元的連接權值wij(m)和閾值θj(m)。(7)對于同組訓練樣本,在學習率不變的條件下,判斷α值的改變是否超過3次。若是,則轉至步驟(8);否則,適當改變α值,并重新返回步驟(2)。(8)在相同學習率(η1、η2)和不同α參數(shù)值條件下,比較該組訓練樣本全局均方誤差值的大小,得出該組樣本均方誤差最小時的α參數(shù)值。4路面裂縫檢測路面裂縫檢測系統(tǒng)中,實現(xiàn)了一種裂縫樣本圖像內任意區(qū)域的實時在線檢測方法。對于樣本圖像中任意感興趣的區(qū)域(一般都是有裂縫的部分),用任意矩形框將該區(qū)域框起來后,只需要對該矩形框區(qū)域內的所有像素點從右到左、從下到上進行掃描,就可計算出各像素點的灰度值,并提取該矩形框區(qū)域內圖像的NMI特征、低階不變矩(IM1、IM2、IM3、IM4)特征、矩形框區(qū)域所有像素點的灰度平均值(Avg)和灰度方差值(Var)共7個特征量作為裂縫圖像的特征矢量。通過BP網絡訓練后,系統(tǒng)能在很短時間內檢測出該矩形框區(qū)域內是否存在缺陷,以及缺陷的嚴重程度(以0～1之間的數(shù)量值來衡量,精度為10-6)。若接近缺陷的程度越趨向于0,則表明路面缺陷程度越重;若接近缺陷的程度越趨向于1,則表明路面缺陷程度越輕。系統(tǒng)采用以上BP改進算法,BP網絡仍采用3層結構,輸入層和隱含層分別設有7個和15個神經元,隨機初始權值和初始閾值范圍均為-0.5～0.5,各組內最大迭代次數(shù)M=500。設輸出層神經元數(shù)目為2。為簡單起見,網絡的響應只考慮“有缺陷”(0,0)和“無缺陷”(1,1)這2種情況。系統(tǒng)選擇隱含層的傳遞函數(shù)為傾斜度參數(shù)α的雙曲正切S形函數(shù)g(x)=(eαx-e-αx)/(eαx+e-αx),輸出層的傳遞函數(shù)為Sigmoid形函數(shù)f(x)=1/(1+e-x)。為避免學習算法不收斂,提高學習速度,這里設期望輸出為相應小數(shù),即(0.0001,0.0001)判為“有缺陷”,(0.9999,0.9999)判為“無缺陷”?；贑CD攝像機的路面裂縫檢測系統(tǒng)工作環(huán)境比較復雜,由于路面材料的不均勻性導致裂縫圖像嚴重程度不同,其大小、面積也各異。一般來說,在采集到的路面圖像中包含2類對象:①狀況良好的路面,即背景良好;②破損路面,包括橫向裂縫、縱向裂縫、龜裂和塊裂等。路面裂縫檢測系統(tǒng)現(xiàn)場采集的路面橫向裂縫樣本如圖3所示。圖3(a)、圖3(c)是通過系統(tǒng)提取裂縫圖像不同特征量,并結合BP改進算法,對裂縫進行檢測的效果圖;圖3(b)、圖3(d)是經過網絡計算后的反映路面表面裂縫程度的數(shù)量值。檢測時所有樣本圖像均是濾波后的灰度圖。從試驗結果可以看出,系統(tǒng)得到了令人滿意的檢測結果。從圖3可以看出,這是一幅較為復雜的帶有橫向裂縫的路面裂縫樣本圖像。在該圖像的區(qū)域1(圖3(a))和區(qū)域2(圖3(c))內均檢測出有裂縫缺陷。從圖3還可明顯看出,2個區(qū)域內橫向裂縫的嚴重程度不一樣,區(qū)域1、區(qū)域2接近裂縫缺陷的程度分別為0.299114和0.365286。這說明區(qū)域1內裂縫的嚴重程度比區(qū)域2內裂縫的嚴重程度要小。雖然從數(shù)值上看兩者的裂縫程度相差不大,但這僅僅是方便檢測人員對路面裂縫做定量分析。試驗中,選取路面常見的4種裂縫樣本圖像訓練網絡,包括橫向裂縫、縱向裂縫、龜裂和塊裂。訓練樣本圖像的獲取方法:專業(yè)檢測人員對現(xiàn)場采集的路面樣本圖像的裂縫圖像和標準圖像進行集中標定后,從中挑選出480張典型的、能代表各類裂縫的樣本圖像作為訓練樣本圖像。其中,絕大部分都是本文所涉及的常見的幾種裂縫類型,但裂縫圖像質量以及裂縫部分的方位卻不盡相同。將所挑選的480個訓練樣本分成6組,前3組每組樣本數(shù)為95,后3組每組樣本數(shù)為65。對于各組樣本,在學習率η1、η2一定的條件下,比較3個不同傾斜度參數(shù)α所對應的組內全局均方誤差值,具體試驗結果見表1。從表1可以看出:對于數(shù)量較多的訓練樣本組,在學習率η1、η2一定的條件下,傾斜度參數(shù)α不同取值所對應的組內全局均方誤差值相差較大;而對于數(shù)量較少的訓練樣本組,在學習率η1、η2一定的條件下,傾斜度參數(shù)α不同取值所對應的組內全局均方誤差值相差較小。而傳統(tǒng)BP算法大約需要500步才能收斂,因此BP改進算法網絡收斂速度提高了30%。為研究α取不同值時對BP改進算法收斂情況以及各組組內均方誤差的影響,從表1的