智能交通信息感知理論與技術(shù) 課件 第4次課-車輛信息感知理論與技術(shù)

第二章

車輛信息感知理論與技術(shù)

本章主要研究?jī)?nèi)容：

首先提出一種新的車輛區(qū)域檢測(cè)方法，確定車型識(shí)別感興趣區(qū)域（ROI），之后提取感興趣區(qū)域（ROI）圖像特征，最后引入一種帶有“拒識(shí)”功能的級(jí)聯(lián)集成分類器對(duì)車輛圖像特征進(jìn)行識(shí)別。首先，分析車輛圖像數(shù)據(jù)來(lái)源、篩選及預(yù)處理方法。其次，研究圖像特征描述方法。最后，研究具有“拒識(shí)”功能的級(jí)聯(lián)集成分類器。2.1車輛圖像采集及車輛目標(biāo)區(qū)域檢測(cè)

圖2.1部分圖像數(shù)據(jù)圖2.2不同位置、角度、光照條件的車輛圖像

選取包含15種品牌的18種車型共4500張圖片，這些車型包括奧迪（Audi），別克（Buick）（2種），長(zhǎng)安（Changan），奇瑞（Chery）（2種），雪佛蘭（Chevrolet），雪鐵龍（Citroen），福特（Ford），本田（Honda），現(xiàn)代（Hyundai）（2種），馬自達(dá)（Mazda），日產(chǎn)（Nissan），標(biāo)志（Peugeot），大眾（Volkswagen），豐田（Toyota）和五菱（Wulin）。2.1.1基于對(duì)稱特征的車輛檢測(cè)方法第一步：首先生成輸入灰度圖像的邊緣圖像，采用拉普拉斯算子進(jìn)行車輛邊緣檢測(cè)，之后對(duì)邊緣圖像進(jìn)行中值濾波。輸入圖像

(b)邊緣檢測(cè)圖2.3輸入圖像及車輛邊緣檢測(cè)結(jié)果檢測(cè)車輛輪廓豎直對(duì)稱軸檢測(cè)車牌水平和豎直對(duì)稱軸感興趣區(qū)域（ROI）定位第二步：設(shè)置車輛對(duì)稱軸搜索區(qū)域如圖2.4(a)所示，計(jì)算水平掃描線上每個(gè)像素點(diǎn)的對(duì)稱值圖2.4（a）車輛對(duì)稱軸搜索區(qū)域圖2.4（b）掃描線對(duì)稱值計(jì)算其中，V(x,y)為(x,y)處對(duì)稱值，W為計(jì)算每個(gè)像素點(diǎn)對(duì)稱值的幅寬，本文根據(jù)車輛圖像的像素寬度假設(shè)為300，每條掃描線上像素對(duì)稱值計(jì)算結(jié)果如圖2.4(b)所示。第三步：根據(jù)車輛輪廓幾何特征，車輛輪廓對(duì)稱值在其豎直對(duì)稱軸處最大而在車輛邊緣處對(duì)稱值最小，根據(jù)公式（2.4）計(jì)算每列對(duì)稱值之和：其中，val為行距，Vcol(x)為第x列對(duì)稱值之和。對(duì)Vcol(x)進(jìn)行排序，得到最大對(duì)稱值Vcol(xm)對(duì)應(yīng)列xm作為車輛輪廓的對(duì)稱軸。第四步：使用以下公式檢索對(duì)稱值最大區(qū)段：

得到Vcol(xm,n)最大時(shí)對(duì)應(yīng)的掃描行nm,對(duì)應(yīng)圖像縱坐標(biāo)為ym=nm*val。圖2.5（a）所示豎直線為實(shí)驗(yàn)車輛圖像的對(duì)稱軸，白色圓點(diǎn)(xm,ym)為對(duì)稱值最大區(qū)段起始行。第五步：以參考點(diǎn)(xm,ym)作基準(zhǔn)，在其下方搜索車牌水平和豎直對(duì)稱軸。計(jì)算車牌水平對(duì)稱軸搜索區(qū)域每條豎直掃描線上像素點(diǎn)對(duì)稱值，將每行對(duì)稱值之和最大行作為車牌水平對(duì)稱軸，圖2.5（b）中水平線所示位置即車牌水平對(duì)稱軸。圖2.5（a）輪廓對(duì)稱軸圖2.5（b）車牌對(duì)稱軸確定第六步：根據(jù)車輛對(duì)稱軸和基準(zhǔn)點(diǎn)假設(shè)車輛區(qū)域，假設(shè)車輛區(qū)域在由和確定的矩形包圍框內(nèi)。使用基于灰度積分投影的方法搜索車輛區(qū)域，邊緣圖像豎直及水平積分投影計(jì)算公式為：其中，f(x,y)是點(diǎn)(x,y)處的像素值，如圖2.6(a)所示為假設(shè)區(qū)域內(nèi)車輛灰度水平和豎直投影直方圖。第七步：分別計(jì)算豎直和水平積分投影的最大值mv及mh，從上向到下搜索水平投影目標(biāo)像素個(gè)數(shù)超過(guò)閾值0.5mh的第一行作為上邊界，從左到右搜索豎直投影目標(biāo)像素個(gè)數(shù)超過(guò)閾值0.5mv的第一列作為左邊界，使用同樣的方法搜索得到右邊界和下邊界。圖2.6（b）為車輛區(qū)域檢測(cè)的最終結(jié)果。圖2.6（a）車輛區(qū)域假設(shè)圖2.6（b）

車輛區(qū)域驗(yàn)證2.1.2感興趣區(qū)域（ROI）定位由于監(jiān)控相機(jī)角度及位置固定，所拍攝圖像中車牌尺寸固定，假設(shè)車牌大小為，在車牌搜索區(qū)域內(nèi)進(jìn)行遍歷匹配，考慮到車輛前臉圖像尺寸與車牌圖像尺寸之間的固定關(guān)系，假設(shè)車牌的寬度為，使用圖2.8（a）所示的方法確定車輛前臉感興趣區(qū)域，圖2.8（b）是最終獲取的車臉ROI區(qū)域。圖2.8（a）車輛圖像ROI區(qū)域檢測(cè)圖2.8（b）車臉ROI區(qū)域方法結(jié)果融合特征輪廓特征車牌GLCMGaborTeoh[18]檢測(cè)率90.7%82.8%80.9%86.4%

80.8%87.6%檢測(cè)時(shí)間(ms)125140125651317609109表2.1六種車輛檢測(cè)方法的檢測(cè)率及檢測(cè)時(shí)間圖2.9偏差較大ROI及正確獲取ROI，第一行為偏差加大ROI，第二行為正確獲取ROI2.2特征描述器

2.2.1梯度方向直方圖（HOG）2.2.2Contourlet變換Contourlet變換是結(jié)合拉普拉斯塔形分解（LP）和方向?yàn)V波器組（DFB）實(shí)現(xiàn)的一種多分辨率、多方向的、局域的圖像表示方法。每一層LP分解將產(chǎn)生一個(gè)下采樣的低通部分和一個(gè)該圖像與預(yù)測(cè)圖像的差圖像。對(duì)低通圖像繼續(xù)分解得到下一層的低通圖像和差值圖像。（a）（b）（c）（d）圖2.13輸入車輛圖像的三層Contourlet分解2.2.3特征降維

在訓(xùn)練樣本固定的情況下，一些分類器（如貝葉斯網(wǎng)絡(luò)、k近鄰）的預(yù)測(cè)能力通常隨著特征向量維度的增加而減小，所以在將樣本輸入分類器之前通常采取一些降低維數(shù)的措施。

主成分分析（PCA）是一個(gè)高普適用方法，通過(guò)PCA方法求出數(shù)據(jù)集的主元，將其余的維數(shù)省去，從而達(dá)到維數(shù)降低和簡(jiǎn)化模型的目的。具體實(shí)現(xiàn)過(guò)程如下所述：1）計(jì)算所有樣本的均值向量2）計(jì)算協(xié)方差矩陣3）計(jì)算矩陣S的特征值和對(duì)應(yīng)的特征向量；4）對(duì)特征值進(jìn)行遞減排序，并將特征向量重排為和排序后的特征值一致；5）定義貢獻(xiàn)率為主要特征值（主成分）在所有特征值之和中占的比重，取前r個(gè)主要特征值（主成分）代替原來(lái)所有的特征值時(shí)，累計(jì)貢獻(xiàn)率的大小反映了這種取代的可靠性。6）用輸入特征向量乘以r個(gè)主成分所對(duì)應(yīng)的特征向量構(gòu)建的投影矩陣，即可達(dá)到數(shù)據(jù)維數(shù)降低的目的，將輸入樣本特征維數(shù)從D維降低到r維。2.2.4組合特征及降維

直接將兩種特征如HOG和Contourlet特征簡(jiǎn)單串聯(lián)是一種有效的提升識(shí)別率的方法。2.3基于級(jí)聯(lián)集成分類器的可靠分類帶有“拒識(shí)”功能的級(jí)聯(lián)集成分類器方案如下圖所示：圖2.15級(jí)聯(lián)集成分類器方案2.3基于級(jí)聯(lián)集成分類器的可靠分類

引入“拒識(shí)”功能后，我們采用[54]中的方法如下定義識(shí)別率（RecognitionRate,RR），“拒識(shí)”率（RejectionRate,ReR），錯(cuò)誤率（ErrorRate,ER）以及系統(tǒng)可靠性：多層識(shí)別系統(tǒng)可以由若干個(gè)兩級(jí)級(jí)聯(lián)識(shí)別系統(tǒng)組成，如圖2.15所示，第二級(jí)的集成分類器的輸入測(cè)試樣本是在第一級(jí)級(jí)聯(lián)分類器中被拒絕識(shí)別的樣本。對(duì)于兩層集成分類器，相應(yīng)的識(shí)別率，“拒識(shí)”率和誤識(shí)率滿足以下關(guān)系：樸素貝葉斯分類器

使用這個(gè)分類器的時(shí)候，需要學(xué)習(xí)車輛類型對(duì)應(yīng)的類型值，計(jì)算每個(gè)類別在訓(xùn)練樣本中的出現(xiàn)頻率以及每個(gè)特征屬性劃分對(duì)每個(gè)類別的條件概率估計(jì)，并將結(jié)果記錄。識(shí)別過(guò)程中，對(duì)于輸入向量X尋找聯(lián)合概率最大時(shí)對(duì)應(yīng)的類型值，即可實(shí)現(xiàn)樣本自動(dòng)分類。k-近鄰分類器k-近鄰分類算法是所有的機(jī)器學(xué)習(xí)算法中最簡(jiǎn)單的算法之一：給定一個(gè)常數(shù)K，若某個(gè)樣本在特征空間中的K個(gè)最相似樣本中大多數(shù)屬于某一類，則將輸入樣本分配給該類。多層神經(jīng)網(wǎng)絡(luò)（MLP）

在模式識(shí)別中使用最多的為多層前饋網(wǎng)絡(luò)，其中又以BP網(wǎng)絡(luò)為代表。BP（Back-Propagation）網(wǎng)絡(luò)即反向傳播算法，其實(shí)質(zhì)是使用非線性優(yōu)化問(wèn)題解決樣本輸入輸出之間關(guān)系映射問(wèn)題，并通過(guò)梯度下降算法結(jié)合迭代運(yùn)算來(lái)求解網(wǎng)絡(luò)傳播權(quán)值的一種學(xué)習(xí)方法。支持向量機(jī)（SVM）

支持向量機(jī)（SVM）是Cortes和Vapnik[54]首次提出的，它在解決小樣本、非線性及高維數(shù)等方面表現(xiàn)出較大的優(yōu)勢(shì)。圖2.18集成分類器表決機(jī)制圖2.19基于MLP的旋轉(zhuǎn)森林集成分類器

本部分實(shí)驗(yàn)所使用的車輛前臉圖像所使用的樣本集為18種類型車輛共4140張圖像，隨機(jī)選擇其中的85%作為訓(xùn)練樣本，其余15%作為測(cè)試樣本，為達(dá)到比較好的識(shí)別結(jié)果，訓(xùn)練樣本盡可能包含了各種光照、顏色及不同角度的車輛前臉圖像，部分車輛前臉樣本如圖2.20所示。圖2.20部分車輛前臉圖像2.4實(shí)驗(yàn)分析2.4.1單個(gè)分類器實(shí)驗(yàn)

分類器特征

樸素貝葉斯k-近鄰MLPSVMHOG92.4%90.6%89.6%94.6%Contourlet77.0%80.4%76.3%78.5%HOG+Contourlet86.3%81.7%90.6%94.6%表2.2樸素貝葉斯、kNN、MLP和SVM結(jié)合HOG、Contourlet特征分類圖2.22使用SVM分類器結(jié)合HOG特征車型識(shí)別結(jié)果混淆矩陣混淆矩陣對(duì)每一類的識(shí)別效果及每一類與其他類別的相似性進(jìn)行分析，混淆矩陣的行和列分別為樣本實(shí)際和預(yù)測(cè)的類型，對(duì)角線上的元素為每一類樣本正確識(shí)別的概率，非對(duì)角線上的元素為該類識(shí)別成其他類型的概率。結(jié)論：圖2.22可得，18種類型車輛有8種車型的識(shí)別率為100%，包括Audi，CheryII型及Citroen等。圖2.23CheryI型車識(shí)別成其他類型車輛例圖，第一列為原車型，第二列為識(shí)別目標(biāo)類型

結(jié)論：從2.23可得，被錯(cuò)誤識(shí)別的車輛存在幾個(gè)問(wèn)題：（1）與其他類型車輛相似度比較高，如圖2.23

（a）兩種車型具有相同的散熱器；（2）光照條件的影響，如2.23（b）中車輛圖像

是晚間拍攝，邊緣細(xì)節(jié)信息已經(jīng)模糊，對(duì)

識(shí)別顯然有影響；（3）截取感興趣區(qū)域的位置，如果所截取的車

輛前臉區(qū)域包含較多的非車輛區(qū)域，則會(huì)

對(duì)車型的識(shí)別產(chǎn)生影響。(a)CheryI識(shí)別為Hyundai（b）CheryI識(shí)別為CheryII（c）CheryI識(shí)別為Wulin2.4.2級(jí)聯(lián)集成分類器實(shí)驗(yàn)

識(shí)別率（RR）拒識(shí)樣本數(shù)誤識(shí)樣本數(shù)拒識(shí)率（ReR）可靠性第一級(jí)76.30%127123.52%99.80%第二級(jí)62.99%38929.92%92.91%識(shí)別系統(tǒng)91.11%38107.04%98.15%表2.3兩層級(jí)聯(lián)分類器對(duì)樣本識(shí)別指標(biāo)圖2.24級(jí)聯(lián)分類器的識(shí)別性能指標(biāo)根據(jù)兩級(jí)集成分類器級(jí)聯(lián)方案，首先將輸入樣本送入級(jí)聯(lián)分類器的第一級(jí)即具有不同基分類器的集成分類器中識(shí)別，之后將