基于攝像頭的圖像采集與處理應(yīng)用

1、基于攝像頭的圖像采集與處理應(yīng)用1、攝像頭工作原理圖像傳感器，是組成數(shù)字攝像頭的重要組成部分。根據(jù)元件的材料不同，可分為CCD（Charge Coupled Device，電荷耦合元件）和CMOS（Complementary Metal-Oxide Semiconductor，金屬氧化物半導(dǎo)體元件）兩大類。電荷藕合器件圖像傳感器CCD（Charge Coupled Device），它使用一種高感光度的半導(dǎo)體材料制成，能把光線轉(zhuǎn)變成電荷，通過模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成數(shù)字信號，數(shù)字信號經(jīng)過壓縮以后由相機內(nèi)部的閃速存儲器或內(nèi)置硬盤卡保存，因而可以輕而易舉地把數(shù)據(jù)傳輸給計算機，并借助于計算機的處理手段，根據(jù)

2、需要和想像來修改圖像。CCD由許多感光單位組成，通常以百萬像素為單位。當CCD表面受到光線照射時，每個感光單位會將電荷反映在組件上，所有的感光單位所產(chǎn)生的信號加在一起，就構(gòu)成了一幅完整的畫面?；パa性氧化金屬半導(dǎo)體CMOS（Complementary Metal-Oxide Semiconductor）和CCD一樣同為在圖像傳感器中可記錄光線變化的半導(dǎo)體。CMOS主要是利用硅和鍺這兩種元素所做成的半導(dǎo)體，使其在CMOS上共存著帶N（帶電）和 P（帶+電）級的半導(dǎo)體，這兩個互補效應(yīng)所產(chǎn)生的電流即可被處理芯片紀錄和解讀成影像。然而，CMOS的缺點就是太容易出現(xiàn)雜點, 這主要是因為早期的設(shè)計使CMOS

3、在處理快速變化的影像時，由于電流變化過于頻繁而會產(chǎn)生過熱的現(xiàn)象。CCD和CMOS在制造上的主要區(qū)別是CCD是集成在半導(dǎo)體單晶材料上，而CMOS是集成在被稱做金屬氧化物的半導(dǎo)體材料上，工作原理沒有本質(zhì)的區(qū)別。CCD制造工藝較復(fù)雜，采用CCD的攝像頭價格都會相對比較貴。事實上經(jīng)過技術(shù)改造，目前CCD和CMOS的實際效果的差距已經(jīng)減小了不少。而且CMOS的制造成本和功耗都要低于CCD不少，所以很多攝像頭生產(chǎn)廠商采用的CMOS感光元件。成像方面：在相同像素下CCD的成像通透性、明銳度都很好，色彩還原、曝光可以保證基本準確。而CMOS的產(chǎn)品往往通透性一般，對實物的色彩還原能力偏弱，曝光也都不太好，由于自

4、身物理特性的原因，CMOS的成像質(zhì)量和CCD還是有一定距離的。但由于低廉的價格以及高度的整合性，因此在攝像頭領(lǐng)域還是得到了廣泛的應(yīng)用工作原理：為了方便大家理解，我們拿人的眼睛來打個比方。當光線照射景物，景物上的光線反射通過人的晶狀體聚焦，在視網(wǎng)膜上就可以形成圖像，然后視網(wǎng)膜的神經(jīng)感知到圖像將信息傳到大腦，我們就能看見東西了。攝像頭成像的原理和這個過程非常相似，光線照射景物，景物上的光線反射通過鏡頭聚焦，圖像傳感器就會感知到圖像。具體部分是這樣的，攝像頭按一定的分辨率，以隔行掃描的方式采集圖像上的點，當掃描到某點時，就通過圖像傳感芯片將該點處圖像的灰度轉(zhuǎn)換成與灰度一一對應(yīng)的電壓值，然后將此電壓值

5、通過視頻信號端輸出。如圖1所示，攝像頭連續(xù)地掃描圖像上的一行，則輸出就是一段連續(xù)的電壓信號，該電壓信號的高低起伏反映了該行圖像的灰度變化。當掃描完一行，視頻信號端就輸出一個低于最低視頻信號電壓的電平（如 0.3V），并保持一段時間。這樣相當于，緊接著每行圖像信號之后會有一個電壓“凹槽”，此“凹槽”叫做行同步脈沖，它是掃描換行的標志。然后，跳過一行后（因為攝像頭是隔行掃描的），開始掃描新的一行，如此下去，直到掃描完該場的視頻信號，接著會出現(xiàn)一段場消隱區(qū)。該區(qū)中有若干個復(fù)合消隱脈沖，其中有個持續(xù)時間遠長于其它的消隱脈沖，稱為場同步脈沖，它是掃描換場的標志。場同步脈沖標志著新的一場的到來，不過，場消

6、隱區(qū)恰好跨在上一場的結(jié)尾和下一場的開始部分，得等場消隱區(qū)過去，下一場的視頻信號才真正到來。攝像頭每秒掃描25幅圖像，每幅又分奇、偶兩場，先奇場后偶場，故每秒掃描50 場圖像。奇場時只掃描圖像中的奇數(shù)行，偶場時則只掃描偶數(shù)行。攝像頭有兩個重要的指標：分辨率和有效像素。分辨率實際上就是每場行同步脈沖數(shù)，這是因為行同步脈沖數(shù)越多，則對每場圖像掃描的行數(shù)也越多。事實上，分辨率反映的是攝像頭的縱向分辨能力。有效像素常寫成兩數(shù)相乘的形式，如“320x240”，其中前一個數(shù)值表示單行視頻信號的精細程度，即行分辨能力；后一個數(shù)值為分辨率，因而有效像素=行分辨能力×分辨率。圖 1 攝像頭視頻信號2、圖

7、像采集CCD攝像要能有效地對視頻信號進行采樣，首先要處理好的問題是如何提取出攝像頭信號中的行同步脈沖、消隱脈沖和場同步脈沖，否則，單片機將無法識別所接收到的視頻信號處在哪一場，也無法識別是在該場中的場消隱區(qū)還是視頻信號區(qū)，更無法識別是在視頻信號區(qū)的第幾行。這里有兩種可行的方法。第一，直接采用A/D轉(zhuǎn)換進行提取。當攝像頭信號為行同步脈沖、消隱脈沖或場同步脈沖時，攝像頭信號電平就會低于這些脈沖模式之外時的攝像頭信號電平。據(jù)此，可設(shè)一個信號電平閾值來判斷A/D轉(zhuǎn)換采樣到的攝像頭信號是否為行同步脈沖、消隱脈沖或場同步脈沖。第二，就是給單片機配以合適的外圍芯片，此芯片要能夠提取出攝像頭信號的行同步脈沖、

8、消隱脈沖和場同步脈沖以供單片機作控制之用。由于單片機的處理速度有限，而一些脈沖的間隔時間又較短，我們就采用了第二種方法進行信號提取。LM1881 視頻同步信號分離芯片可從攝像頭信號中提取信號的時序信息，如行同步脈沖、場同步脈沖和奇、偶場信息等，并將它們轉(zhuǎn)換成TTL 電平直接輸給單片機的I/O 口作控制信號之用。LM1881的端口接線方式如圖2所示。 圖2 LM1881其中，引腳2 為視頻信號輸入端，引腳1 為行同步信號輸出端（如圖3中的b）。引腳3 為場同步信號輸出端，當攝像頭信號的場同步脈沖到來時，該端將變?yōu)榈碗娖?，一般維持230us，然后重新變回高電平（如圖3中的c）。引腳7 為奇-偶場同

9、步信號輸出端，當攝像頭信號處于奇場時，該端為高電平，當處于偶場時，為低電平。事實上，不僅可以用場同步信號作為換場的標志，也可以用奇-偶場間的交替作為換場的標志。圖3 LM1881 信號時序圖CMOS攝像頭的灰度值、以及場、行中斷直接給出數(shù)字量，無需A/D轉(zhuǎn)換以及幀、場分離。圖像采集的關(guān)鍵是時序的把握。此外，中斷的優(yōu)先級一定要保證，要不然無法采集到完整的圖像。攝像頭每秒掃描25幅圖像（即25幀數(shù)據(jù)），每幅又分奇、偶兩場，先奇場后偶場，故每秒掃描50場圖像。奇場時只掃描圖像中的奇數(shù)行，偶場時則只掃描偶數(shù)行。我們使了ECT的通道1捕捉場中斷，通道0捕捉行中斷。如下面攝像頭信號采集時序圖所示：（1）在

10、采集時乎略TCLK，首先是因為它太快了，捕捉不到，另外也沒有必要捕捉到它。圖4 攝像頭信號采集時序圖采集圖像時盡快地一個點一個點的取就行了，和模擬攝像頭一樣。（2）VYNSC是判斷是否一幅圖像開始，周期是20mS， 其中高電平持續(xù)時間很短，忽略； HREF是判斷是否一行圖像的開始，周期是63us左右，其中高電平持續(xù)時間為40us，低電平持續(xù)時間23us ，那么可以算一下一場有多少行：20ms/63us=317，當然實際上沒有這么多，消隱和無效信號去掉之后只有292行。（3）必須明確：場中斷要通過下降沿捕捉，行中斷要通過上升沿捕捉。若用IRQ捕捉行中斷必須加反相器。（4）有效的灰度數(shù)據(jù)是在行中斷

11、之后的上升沿內(nèi)，所以不要在行中斷后的23US后采集，那是廢數(shù)據(jù)。計算一下一行OV6620有多少個點： 40us/110ns=363消隱和無效信號去掉之后只有356個點。3、圖像處理本設(shè)計針對的是基于攝像頭簡單黑白道路采集。攝像頭采集到賽道圖像后，必須對圖像數(shù)據(jù)進行正確的處理，才能提取出賽道位置，保證后續(xù)工作的順利進行。圖像處理簡單的來說就是根據(jù)攝像頭傳回來的視頻信號中提取出黑線的位置。常用的黑線提取算法劃分為二值化算法、直接邊緣檢測算法和跟蹤邊緣檢測算法。二值化算法的思路是：設(shè)定一個閾值valve，對于視頻信號矩陣中的每一行，從左至右比較各像素值和閾值的大小，若像素值大于或等于閾值，則判定該像

12、素對應(yīng)的是白色賽道；反之，則判定對應(yīng)的是黑色的目標引導(dǎo)線。記下第一次和最后一次出現(xiàn)像素值小于閾值時的像素點的列號，算出兩者的平均值，以此作為該行上目標引導(dǎo)線的位置。直接邊緣檢測算法：采用逐行搜索的算法，首先找到從白色像素到黑色像素的下降沿和從黑色像素到白色像素的上升沿，然后計算上升沿和下降沿的位置差，如果大于一定的標準值，即認為找到了黑線，并可求平均值算出黑線的中心點。至于上升沿、下降沿的檢測，可以通過上上次采樣數(shù)與這次采樣數(shù)的差值的絕對值是否大于一個閾值來判斷，如果“是”且差值為負，則為上升沿；如果“是”且差值為正，則為下降沿。跟蹤邊緣檢測算法：由于黑色的目標引導(dǎo)線是連續(xù)曲線，所以相鄰兩行的

13、左邊緣點比較靠近。跟蹤邊緣檢測正是利用了這一特性，對直接邊緣檢測進行了簡化。其思路是若已尋找到某行的左邊緣，則下一次就在上一個左邊緣附近進行搜尋。這種方法的特點是始終跟蹤每行左邊緣的附近，去尋找下一列的左邊緣，所以稱為“跟蹤”邊緣檢測算法。4、圖像應(yīng)用我們采用的是直接邊緣檢測算法，因為該方法抗環(huán)境光強變化干擾的能力更強，同時還能消除垂直交叉黑色引導(dǎo)線的干擾。由于智能車上安裝的攝像頭相對于賽道存在一定的傾斜角度，因此會造成采集到的賽道圖像具有一定的梯形失真，即圖像中的賽道遠端窄、近端寬，遠端圖像不清晰而近端圖像清晰可靠，如圖5所示圖5 圖像采集的還原圖所以就將一場圖像分為兩部分，近端部分和遠端部

14、分。為了給單片機處理節(jié)約時間我們采用了全場動態(tài)范圍來提取黑線即首先取得第一幅圖像得到近處基準行黑線位置，在此基礎(chǔ)上確定下一幅圖像搜索范圍由于黑先是連續(xù)變化的，遠端部分黑線就根據(jù)前兩行黑線位置的偏差量再加上一個固定范圍來尋找。在圖像濾波算法中，還應(yīng)考慮以下幾個方面：首先，根據(jù)圖像模型去噪，例如，由于賽道的黑色引導(dǎo)線是絕對連續(xù)的，故兩個中間有黑線的行之間不能有全白行（注意中間二字：如果黑線在邊緣，則可能是由于攝像頭的視野太窄或智能車身不正導(dǎo)致在過彎道時只能看到部分黑色引導(dǎo)線），這主要是解決光線對攝像頭的反光問題；其次，在理想的情況下，根據(jù)賽道的黑色引導(dǎo)線的連續(xù)性，如果某一行求取的中心線位置與相鄰的

15、兩行都相差很大，則可以認為該行數(shù)值錯誤，拋棄該行的數(shù)據(jù)或使用其前后兩行數(shù)據(jù)的平均值來替代該錯誤數(shù)值用以校正。這樣一來提取出的黑線就比較可靠了，不過在實際調(diào)試中遠處圖像畸變比較大而且行距也大，偶爾還是可能會出現(xiàn)錯誤提取黑線，但是這對車體的控制影響不是很大。攝像頭車相對于電磁車與光電車最大的優(yōu)勢在于有較遠的前瞻，所以圖像精度就非常重要了即行分辨率和分辨率越高圖取出來的黑線位置就越穩(wěn)定可靠，這也是所有控制算法的基礎(chǔ)。由于單片機內(nèi)存只有8K，存儲圖像數(shù)據(jù)的數(shù)組就不能開的太大，否則再加上一些全局變量，靜態(tài)變量，臨時變量，明顯內(nèi)存就不夠用了。我們想到的第一個解決辦法是買到更大內(nèi)存的單片機可是這個沒實現(xiàn)，經(jīng)過嘗試與多方設(shè)想我們采用動態(tài)內(nèi)存刷新來提高圖像精度然后再加上鎖相環(huán)超頻到64M提高了圖像的縱向與橫向精度，從而使前瞻達到了原來的兩倍多。為了使智能車適應(yīng)能力更強抗啊繞能力越好，我們將原來靜態(tài)閾