課件：雙目視覺傳感器結(jié)構(gòu)講解

雙目視覺傳感器結(jié)構(gòu)主講人：吳航視覺傳感器的類型智能化網(wǎng)聯(lián)化汽車制造與裝配技術(shù)專業(yè)資源庫(kù)視覺傳感器，又稱車載攝像頭，是將物體通過鏡片產(chǎn)生光學(xué)圖像投射在CMOS光電傳感器上，經(jīng)過模數(shù)轉(zhuǎn)換后變?yōu)閿?shù)字信號(hào)，再由DSP將信號(hào)處理成特定格式的圖像在顯示屏上顯示。自動(dòng)駕駛汽車安裝的車載攝像頭主要為單目攝像頭、雙目攝像頭和三目攝像頭。①單目攝像頭：通過攝像頭拍攝的平面圖像來感知和判斷周邊環(huán)境，識(shí)別車輛、路標(biāo)、行人等固定物體和移動(dòng)物體，是目前汽車攝像頭的主流解決方案，其依靠復(fù)雜算法進(jìn)行測(cè)距，準(zhǔn)確度低；②雙目攝像頭：通過模仿人眼的功能實(shí)現(xiàn)對(duì)物體距離和大小的感知，進(jìn)而感知周邊環(huán)境，可通過視差和立體匹配計(jì)算精準(zhǔn)測(cè)距；③三目攝像頭：通過三個(gè)攝像頭覆蓋不同范圍的場(chǎng)景，解決了攝像頭無法切換焦距的問題，相比于單目攝像頭和雙目攝像頭，其擁有更好的視野廣度和精度。三目攝像頭由于計(jì)算量大，對(duì)芯片的數(shù)據(jù)處理能力要求高，目前成本相對(duì)較高。1、什么是雙目立體視覺？雙目立體視覺（BinocularStereoVision）是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測(cè)物體的兩幅圖像，通過計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息的方法。與單目視覺相比，雙目視覺不依賴龐大的訓(xùn)練集，測(cè)距精度較高。如下圖所示，利用左相機(jī)以及右相機(jī)同步對(duì)場(chǎng)景進(jìn)行成像，與人類雙眼成像原理相同，在左眼右眼成像中，同一個(gè)物體所處的位置是不一樣的。如圖b所示，如果我們將左右眼成像進(jìn)行對(duì)比，會(huì)發(fā)現(xiàn)近處的物體在左右眼之間的位置變化比較劇烈，而遠(yuǎn)處的物體在左右眼中的位置差異較小。立體視覺利用視差精準(zhǔn)測(cè)距的示意圖這種視覺差異也就是我們所說的視差，在世界坐標(biāo)系中的每一點(diǎn)離立體相機(jī)的距離都可以通過視差來轉(zhuǎn)化。在數(shù)據(jù)計(jì)算中，視差是指同一物體在左右圖中的橫坐標(biāo)之差。深度距離和視差成反比，物體距離雙目相機(jī)越遠(yuǎn)，視差越小，離相機(jī)越近，視差越大。雙目與單目區(qū)別有幾點(diǎn)：首先雙目是測(cè)量距離而非估算，其次是雙目可以在不識(shí)別目標(biāo)的情況獲得深度（距離）數(shù)據(jù)。下圖為雙目的距離計(jì)算公式，準(zhǔn)確度比單目要高得多。f2、雙目立體視覺的優(yōu)點(diǎn)雙目立體視覺是可見光的視覺，其能力和人眼差不多，人眼能識(shí)別的雙目立體視覺基本都能識(shí)別，人眼不能識(shí)別的（如極端場(chǎng)景：大雪天、大雨、大霧、沒有任何紋理的白墻、玻璃以及夜晚……）雙目視覺同樣無可奈何。雙目立體視覺提供非常精確的靜止的小目標(biāo)探測(cè)能力（如小型雪糕桶也可識(shí)別）。雙目立體視覺技術(shù)無需海量數(shù)據(jù)進(jìn)行訓(xùn)練，也不受障礙物屬性的限制，精度非常高。通過進(jìn)行信息和路面分析，可以獲得前面是否有危險(xiǎn)。雙目立體視覺既有類似激光雷達(dá)的高密度點(diǎn)云的特點(diǎn)，又具備視覺識(shí)別的能力。我們甚至可以把雙目立體視覺傳感器近似理解為100米以內(nèi)的一個(gè)千線激光雷達(dá)+彩色相機(jī)。雙目立體視覺無需建模就可直接由立體點(diǎn)云提取障礙物，利用視差精準(zhǔn)測(cè)距而非識(shí)別后估距，并可利用單路圖像識(shí)別障礙物類型，形成高質(zhì)量的單雙目融合感知數(shù)據(jù)。雙目立體視覺可以測(cè)量物體高度，對(duì)于車輛行駛過程中遇到的限高桿、天橋、隧道口等可測(cè)量其高度，避免車輛撞上限高桿或者天橋等。這也是毫米波雷達(dá)或者是單目相機(jī)無法做到的，因?yàn)樯婕八懔栴}系統(tǒng)中無法對(duì)“限高桿”做過多分類，而“限高桿”在不同的地方形態(tài)各異，有的是橋洞，有的是小桿，有的是一個(gè)大的鐵塊，除了上述優(yōu)點(diǎn)之外，雙目立體視覺可以同時(shí)提供二維（圖像）、三維（距離）信息，可為智能汽車及其他智能設(shè)備提供更豐富的數(shù)據(jù)信息。兩個(gè)攝像頭之間距離為22厘米，兩個(gè)攝像頭的FOV（視場(chǎng)角）是53度*30度，像素為1280*960，配合大燈夜間探測(cè)距離為40米，白天為80米）寶馬的雙目全部由大陸汽車提供，奔馳的大部分雙目也由大陸汽車提供，也有部分由韓國(guó)LG提供。博世的雙目系統(tǒng)，用于LandRoverDiscoverySportSUV、Jaguar的XFL、XE之上，兩個(gè)攝像頭之間距離為12厘米，像素?cái)?shù)為1080