基于攝像頭的圖像采集與處理應(yīng)用

1、基于攝像頭的圖像采集與處理 應(yīng)用作者:日期:基于攝像頭的圖像采集與處理應(yīng)用1、攝像頭工作原理圖像傳感器，是組成數(shù)字?jǐn)z像頭的重要組成部分。根據(jù)元件的材料不同，可分為ccd（charge coupled de v ice,電荷耦合元件 dcmos（co m plementary me t a l-ox ide se miconducto r,金屬氧化物半導(dǎo)體元件）兩大類。電荷藕合器件圖像傳感器 ccd （charge coupl e d devic e ）,它使用一種高感光度 的半導(dǎo)體材料制成，能把光線轉(zhuǎn)變成電荷，通過模數(shù)轉(zhuǎn)換器芯片轉(zhuǎn)換成數(shù)字信號，數(shù)字信號經(jīng)過壓縮以后由相機(jī)內(nèi)部的閃速存儲器或內(nèi)置硬

2、盤卡保存，因而可以輕而易舉地把數(shù)據(jù)傳輸給計(jì)算機(jī)，并借助于計(jì)算機(jī)的處理手段，根據(jù)需要和想像來修改圖像。ccd由許多感光單位組成，通常以百萬像素為單位。當(dāng)ccd表面受到光線照射時(shí)，每個(gè)感光單位會(huì)將電荷反映在組彳上，所有的感光單位所產(chǎn)生的信號加在一起，就構(gòu)成了一幅完整的畫面。互補(bǔ)性氧化金屬半導(dǎo)體 cm o s （c o m p 1 emen t a r y metal-o x i de sem i c ond u ctor）和cc d一樣同為在圖像傳感器中可記錄光線變化的半導(dǎo)體。cmo s主要是利用硅和錯(cuò)這兩種元素所做成的半導(dǎo)體，使其在cm os上共存著帶n （帶-電）和p（帶+電）級的半導(dǎo)體，這兩

3、個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流即可被處理芯片紀(jì)錄和解讀成影像。然而，cmos的缺點(diǎn)就是太容易出現(xiàn)雜點(diǎn)，這主要是因?yàn)樵缙诘脑O(shè)計(jì)使 cmo s在處理快速變化的影像 時(shí)，由于電流變化過于頻繁而會(huì)產(chǎn)生過熱的現(xiàn)象。ccd和cmo s在制造上的主要區(qū)別是c cd是集成在半導(dǎo)體單晶材料上，而cmos是集成在被稱做金屬氧化物的半導(dǎo)體材料上，工作原理沒有本質(zhì)的區(qū)別。ccd制造工藝較復(fù)雜，采用c cd的攝像頭價(jià)格都會(huì)相對比較貴。事實(shí)上經(jīng)過技術(shù)改造，目前 ccd和cmos的實(shí)際 效果的差距已經(jīng)減小了不少。而且cmos的制造成本和功耗都要低于 ccd不少，所以很多攝像頭生產(chǎn)廠商采用的 cmos感光元件。成像方面：在相同彳t素

4、下ccd的成像通透性、 明銳度 都很好，色彩還原、曝光可以保證基本準(zhǔn)確。而cmos的產(chǎn)品往往通透性一般，對實(shí)物的色彩還原能力偏弱，曝光也都不太好，由于自身物理特性的原因，cmos的成像質(zhì)量和ccd還是有一定距離的。但由于低廉的價(jià)格以及高度的整合性，因此在攝像頭領(lǐng)域還是得到了廣泛的應(yīng)用工作原理：為了方便大家理解，我們拿人的眼睛來打個(gè)比方。當(dāng)光線照射景物，景物 上的光線反射通過人的晶狀體聚焦，在視網(wǎng)膜上就可以形成圖像，然后視網(wǎng)膜的神經(jīng)感知到圖像將信息傳到大腦， 我們就能看見東西了。 攝像頭成像的原理和這個(gè)過程非常相似，光線照射景物，景物上的光線反射通過鏡頭聚焦，圖像傳感器就會(huì)感知到圖像。具體部分是

5、這樣的，攝像頭按一定的分辨率，以隔行掃描的方式采集圖像上的點(diǎn)，當(dāng)掃描到某點(diǎn)時(shí)，就通過圖像傳感芯片將該點(diǎn)處圖像的灰度轉(zhuǎn)換成與灰度一一對應(yīng)的電壓值，然 后將此電壓值通過視頻信號端輸出。如圖1所示，攝像頭連續(xù)地掃描圖像上的一行 ，則輸出就是一段連續(xù)的電壓信號，該電壓信號的高低起伏反映了該行圖像的灰度變化。當(dāng)掃描完一行 視頻信號端就輸出一個(gè)低于最低視頻信號電壓的電平（如0. 3v）,并保持一段時(shí)間。這樣相當(dāng)于，緊接著每行圖像信號之后會(huì)有一個(gè)電壓凹槽”，此 凹槽”叫做行同步脈沖，它是掃描換行的標(biāo)志。然后，跳過一行后 （因?yàn)閿z像頭是隔行掃描的，開始掃描新的一行，如此下去， 直到掃描完該場的視頻信號，接著會(huì)

6、出現(xiàn)一段場消隱區(qū)。該區(qū)中有若干個(gè)復(fù)合消隱脈沖，其 中有個(gè)持續(xù)時(shí)間遠(yuǎn)長于其它的消隱脈沖，稱為場同步脈沖，它是掃描換場的標(biāo)志。場同步脈沖標(biāo)志著新的一場的到來，不過，場消隱區(qū)恰好跨在上一場的結(jié)尾和下一場的開始部分得等場消隱區(qū)過去，下一場的視頻信號才真正到來。攝像頭每秒掃描2 5幅圖像，每幅又分奇、偶兩場，先奇場后偶場，故每秒掃描 50場圖像。奇場時(shí)只掃描圖像中的奇數(shù)行，偶場時(shí)則只掃描偶數(shù)行。攝像頭有兩個(gè)重要的指標(biāo)：分辨率和有效像素。分辨率實(shí)際上就是每場行同 步脈沖數(shù)，這是因?yàn)樾型矫}沖數(shù)越多 ，則對每場圖像掃描的行數(shù)也越多。事實(shí)上，分辨率反映的是攝像頭的縱向分辨能力。有效像素常寫成兩數(shù)相乘的形式，如

7、“320 2 4 0，其中前，因而有效像素=行分辨能力一個(gè)數(shù)值表示單行視頻信號的精細(xì)程度，即行分辨能力；后一個(gè)數(shù)值為分辨率圖1攝像頭視頻信號2、圖像采集ccd攝像要能有效地對視頻信號進(jìn)行采樣，首先要處理好的問題是如何提取出攝像頭信號中的行同步脈沖、 消隱脈沖和場同步脈沖， 否則，單片機(jī)將無法識別所接收到的視頻信 號處在哪一場，也無法識別是在該場中的場消隱區(qū)還是視頻信號區(qū)，更無法識別是在視頻信號區(qū)的第幾行。這里有兩種可行的方法。第一，直接采用a/d轉(zhuǎn)換進(jìn)行提取。當(dāng)攝像頭信號為行同步脈沖、消隱脈沖或場同步脈沖時(shí)，攝像頭信號電平就會(huì)低于這些脈沖模式之外時(shí)的 攝像頭信號電平。據(jù)此，可設(shè)一個(gè)信號電平閾值

8、來判斷 a/d轉(zhuǎn)換采樣到的攝像頭信號是否為 行同步脈沖、消隱脈沖或場同步脈沖。 第二，就是給單片機(jī)配以合適的外圍芯片 ，此芯片要能 夠提取出攝像頭信號的行同步脈沖、消隱脈沖和場同步脈沖以供單片機(jī)作控制之用。由于單片機(jī)的處理速度有限，而一些脈沖的間隔時(shí)間又較短，我們就采用了第二種方法進(jìn)行信號提取。lm1881視頻同步信號分離芯片可從攝像頭信號中提取信號的時(shí)序信息如行同步脈沖、場同步脈沖和奇、偶場信息等，并將它們轉(zhuǎn)換成tt l電平直接輸給單片機(jī)的i/o 口作控制信號之用。lm1 881的端口接線方式如圖2所示。lmittu-in圖2 lm1 8 81其中，引腳2為視頻信號輸入端，引腳1為行同步信號

9、輸出端（如圖3中的b）。引腳3 為場同步信號輸出端，當(dāng)攝像頭信號的場同步脈沖到來時(shí)，該端將變?yōu)榈碗娖剑话憔S持230us,然后重新變回高電平（如圖3中的c）。引腳7為奇一偶場同步信號輸出端,當(dāng)攝像頭 信號處于奇場時(shí)，該端為高電平，當(dāng)處于偶場時(shí)，為低電平。事實(shí)上，不僅可以用場同步信號作為換場的標(biāo)志，也可以用奇-偶場間的交替作為換場的標(biāo)志。視頻場同步脈沖. wwvinnnnauuuuuinnnnnrihw 卜|川j-twnnnnnnnumnnnnnnnnnr黑頻電位偶場奇場圖磬疆看營行同步信號,co場同步信號;圖3 lm1881信號時(shí)序圖cmos攝像頭的灰度值、以及場、行中斷直接給出數(shù)字量，無需a

10、/d轉(zhuǎn)換以及幀、場分離。圖像采集的關(guān)鍵是時(shí)序的把握。此外，中斷的優(yōu)先級一定要保證，要不然無法采集到完整的圖像。攝像頭每秒掃描 25幅圖像（即2 5幀數(shù)據(jù)，每幅又分奇、偶兩場，先奇場后偶場故每秒掃描50場圖像。奇場時(shí)只掃描圖像中的奇數(shù)行，偶場時(shí)則只掃描偶數(shù)行。我們使了ect的通道1捕捉場中斷，通道0捕捉行中斷。如下面攝像頭信號采集時(shí)序圖所示：(1 )在采集日乎略tclk，首先是因?yàn)樗炝?，捕捉不到，另外也沒有必要捕捉到它。nnn皿叫皿iire尸石 汨門qus,子氐為a 七u i k 為 i 1 oitis圖4攝像頭信號采集時(shí)序圖采集圖像時(shí)盡快地一個(gè)點(diǎn)一個(gè)點(diǎn)的取就行了，和模擬攝像頭一樣。(2

11、)vyns c是判斷是否一幅圖像開始， 周期是20ms,其中高電平持續(xù)時(shí)間很短，忽略; href是判斷是否一行圖像的開始 ，周期是6 3us左右 淇中高電平持續(xù)時(shí)間為 40u s低電平 持續(xù)時(shí)間23us ，那么可以算一下一場有多少行：20ms/63u s=31 7 ,當(dāng)然實(shí)際上沒有這么多，消隱和無效信號去掉之后只有29 2行。(3 )必須明確：場中斷要通過下降沿捕捉，行中斷要通過上升沿捕捉。若用 irq捕捉行 中斷必須加反相器。(4)有效的灰度數(shù)據(jù)是在行中斷之后的上升沿內(nèi)，所以不要在行中斷后的23us后采集那是廢數(shù)據(jù)。計(jì)算一下一行 ov6 6 2 0有多少個(gè)點(diǎn)： 40 u s /11 0 n

12、s =363消隱和無效信 號去掉之后只有3 56個(gè)點(diǎn)。3、圖像處理本設(shè)計(jì)針對的是基于攝像頭簡單黑白道路采集。攝像頭采集到賽道圖像后，必須對圖像數(shù)據(jù)進(jìn)行正確的處理，才能提取出賽道位置，保證后續(xù)工作的順利進(jìn)行。圖像處理簡單的來說就是根據(jù)攝像頭傳回來的視頻信號中提取出黑線的位置。常用的黑線提取算法劃分為二值化算法、直接邊緣檢測算法和跟蹤邊緣檢測算法。二值化算法的思路是:設(shè)定一個(gè)閾值valve,對于視頻信號矩b$中的每一行 ，從左至右比較各像素值和閾值的大 小，若像素值大于或等于閾值則判定該像素對應(yīng)的是白色賽道；反之，則判定對應(yīng)的是黑色的目標(biāo)引導(dǎo)線。記下第一次和最后一次出現(xiàn)像素值小于閾值時(shí)的像素點(diǎn)的列

13、號，算出兩者的平均值，以此作為該行上目標(biāo)引導(dǎo)線的位置。直接邊緣檢測算法：采用逐行搜索的算法， 首先找到從白色像素到黑色像素的下降沿和從黑色像素到白色像素的上升沿，然后計(jì)算上升沿和下降沿的位置差，如果大于一定的標(biāo)準(zhǔn)值，即認(rèn)為找到了黑線，并可求平均值算出黑線的中心點(diǎn)。至于上升沿、下降沿的檢測，可以通過上上次采樣數(shù)與這次采樣數(shù)的差值的絕對值是否大于一個(gè)閾值來判斷，如果是且差值為負(fù)，則為上升沿；如果是”且差值為正，則為下降沿。跟蹤邊緣檢測算法： 由于黑色的目標(biāo)引導(dǎo)線是連續(xù)曲線，所以相鄰兩行的左邊緣點(diǎn)比較靠近。跟蹤邊緣檢測正是利用了這一特性，對直接邊緣檢測進(jìn)行了簡化。其思路是若已尋找到某行的左邊緣，則下

14、一次就在上一個(gè)左邊緣附近進(jìn)行搜尋。這種方法的特點(diǎn)是始終跟 蹤每行左邊緣的附近，去尋找下一列的左邊緣，所以稱為 跟蹤”邊緣檢測算法。4、圖像應(yīng)用我們采用的是直接邊緣檢測算法，因?yàn)樵摲椒弓h(huán)境光強(qiáng)變化干擾的能力更強(qiáng)，同時(shí)還能消除垂直交叉黑色引導(dǎo)線的干擾。由于智能車上安裝的攝像頭相對于賽道存在一定的傾斜角度，因此會(huì)造成采集到的賽道圖像具有一定的梯形失真，即圖像中的賽道遠(yuǎn)端窄、近端寬,遠(yuǎn)端圖像不清晰而近端圖像清晰可靠，如圖5所示圖5圖像采集的還原圖所以就將一場圖像分為兩部分，近端部分和遠(yuǎn)端部分。為了給單片機(jī)處理節(jié)約時(shí)間我 們采用了全場動(dòng)態(tài)范圍來提取黑線即首先取得第一幅圖像得到近處基準(zhǔn)行黑線位置，在此基

15、礎(chǔ)上確定下一幅圖像搜索范圍由于黑先是連續(xù)變化的，遠(yuǎn)端部分黑線就根據(jù)前兩行黑線位置的偏差量再加上一個(gè)固定范圍來尋找。在圖像濾波算法中，還應(yīng)考慮以下幾個(gè)方面：首先，根據(jù)圖像模型去噪，例如，由于賽道的黑色引導(dǎo)線是絕對連續(xù)的，故兩個(gè)中間有黑線的行之 間不能有全白行（注意中間二字：如果黑線在邊緣，則可能是由于攝像頭的視野太窄或智能 車身不正導(dǎo)致在過彎道時(shí)只能看到部分黑色引導(dǎo)線，這主要是解決光線對攝像頭的反光問題；其次，在理想的情況下，根據(jù)賽道的黑色引導(dǎo)線的連續(xù)性，如果某一行求取的中心線位 置與相鄰的兩行都相差很大，則可以認(rèn)為該行數(shù)值錯(cuò)誤，拋棄該行的數(shù)據(jù)或使用其前后兩行數(shù)據(jù)的平均值來替代該錯(cuò)誤數(shù)值用以校正

16、。 這樣一來提取出的黑線就比較可靠了， 不過在實(shí) 際調(diào)試中遠(yuǎn)處圖像畸變比較大而且行距也大 ，偶爾還是可能會(huì)出現(xiàn)錯(cuò)誤提取黑線，但是這對車 體的控制影響不是很大。攝像頭車相對于電磁車與光電車最大的優(yōu)勢在于有較遠(yuǎn)的前瞻，所以圖像精度就非常重要了即行分辨率和分辨率越高圖取出來的黑線位置就越穩(wěn)定可靠，這也是所有控制算法的基礎(chǔ)。由于單片機(jī)內(nèi)存只有 8k,存儲圖像數(shù)據(jù)的數(shù)組就不能開的太大，否則再加上一些全局變量，靜態(tài)變量，臨時(shí)變量，明顯內(nèi)存就不夠用了。我們想到的第一個(gè)解決辦法是買到更 大內(nèi)存的單片機(jī)可是這個(gè)沒實(shí)現(xiàn) ，經(jīng)過嘗試與多方設(shè)想我們采用動(dòng)態(tài)內(nèi)存刷新來提高圖像精 度然后再加上鎖相環(huán)超頻到 64m提高了圖像的縱向與橫向精度，從而使前瞻達(dá)到了原來的兩 倍多。為了使智能車適應(yīng)能力更強(qiáng)抗啊繞能力越