《計(jì)算機(jī)視覺》知識要點(diǎn)總結(jié)終極

1、1、 、。視覺是人類觀察世界、認(rèn)知世界的重要功能手段。人類從外界獲得信息約有80%來 自視覺系統(tǒng)。2、計(jì)算機(jī)視覺是指用計(jì)算機(jī)實(shí)現(xiàn)人類的視覺功能，即對客觀世界中三維場景的感知、加工 和理解。計(jì)算機(jī)視覺的研究方法只有有兩種：一種是仿生學(xué)的方法，參照人類視覺系統(tǒng)的結(jié)構(gòu)原 理，建立相應(yīng)的處理模塊完成類似的功能和工作；另一種是工程的方法，即從分析人類視覺過程的功能著手，并不刻意模擬人，視覺系統(tǒng)內(nèi)部結(jié)構(gòu)，而僅考慮系統(tǒng)的輸入和輸出，并采用任何現(xiàn)有的手段來實(shí)現(xiàn)系統(tǒng)的功能。計(jì)算機(jī)視覺主要 研究目標(biāo) 有兩個(gè)：一是建立計(jì)算機(jī)視覺系統(tǒng)來完成各種視覺任務(wù)； 二是把該研究作為探索人腦視覺工作機(jī)理的手段，即生物學(xué)機(jī)理。3、

2、計(jì)算機(jī)視覺系統(tǒng)的 功能模塊主要有以下幾個(gè)模塊：圖像采集、預(yù)處理、基元檢測、目標(biāo)分割、表達(dá)描述、形狀分析等，參考下圖1.4.14、整個(gè)視覺過程是由 光學(xué)過程，化學(xué)過程 和神經(jīng)處理過程 這3個(gè)順序的子過程所構(gòu)成。 光學(xué)過程：我們需要掌握的是人眼水平截面的示意圖，見圖2.1.1。光學(xué)過程基本確定了成像的尺寸。類似照相機(jī)。圖2.1.1人眼水平橫截面的示意圖化學(xué)過程：視網(wǎng)膜表面的光接收細(xì)胞可分為：錐細(xì)胞（亮視覺）和柱細(xì)胞（暗視覺）?；瘜W(xué)過程，基本確定了成像的亮度或顏色。神經(jīng)處理過程：將對光的感覺轉(zhuǎn)換為對景物的知覺。視覺處理過程流圖2.1,2如下：/視阿腹A神經(jīng)處理右眼刺1猷左眼神經(jīng)虻理圖 2.L2丸朋皮

3、層th理1.4替事考圖煉（訶 * tl:<1fc-2.信息址理3,特征煲取/4.決/久描述視垃過程葢圖5、形狀知覺是對景物各部分相對關(guān)系的知覺，也與視野中各種空間關(guān)系的知覺有關(guān)。6、輪廓（封閉的邊界）是形狀知覺中最基本的概念，人在知覺一個(gè)形狀以前一定先看到輪廓。輪廓的構(gòu)成如果用數(shù)學(xué)語言來說就是輪廓對應(yīng)亮度的二階導(dǎo)數(shù)。輪廓與輪廓不等于形狀。輪廓在幫助構(gòu)成形狀時(shí)還有“方向性”。輪廓通常傾向于對它所包圍的空間發(fā)生影響，即輪廓一般是向內(nèi)部而不是向外部發(fā)揮構(gòu)成形狀的作用。7、主觀輪廓：在沒有直接刺激作用下產(chǎn)生的輪廓知覺。主觀的基礎(chǔ)上進(jìn)行知覺假設(shè)的結(jié)果8、空間知覺的問題本質(zhì)是一個(gè)深度感知的問題。人對

4、覺實(shí)現(xiàn)。9、 圖像采集是獲取圖像的技術(shù)和過程。對應(yīng)于視覺過程中的光學(xué)和化學(xué)過程。需要利用幾_何學(xué)原理解決場景中目標(biāo)的投影位置在圖像中國的什么地方的問題和利用光度學(xué)原 （或輻射度學(xué)）建立場景中的亮度與圖像中對應(yīng)位置灰度的聯(lián)系。10、圖像采集中主要的模型：幾何成像模型和亮度成像模型11、 世界坐標(biāo)系：也稱為真實(shí)或現(xiàn)實(shí)世界坐標(biāo)系XYZ，是客觀事件的絕對坐標(biāo)（也稱為客 觀坐標(biāo)系統(tǒng)）。一般的3-D場景都是用這個(gè)坐標(biāo)系統(tǒng)來表示的。攝像機(jī)坐標(biāo)系：是以攝像機(jī)為中心指定的坐標(biāo)系統(tǒng)xyz，一般取攝像機(jī)的光學(xué)軸為 z軸。圖像平面坐標(biāo)系：在攝像機(jī)內(nèi)形成的圖像平面的坐標(biāo)系統(tǒng)x'' 一般取圖像平面與攝像機(jī)

5、坐標(biāo)系統(tǒng)xy平面平行，且x軸與x'軸，y與y '軸分別重合，這樣圖像平面的原點(diǎn)就在攝 像機(jī)的光學(xué)軸上。12、固態(tài)陣列中最常用的主要元件是用電荷耦合器件（ change-coupled device，CCD ），特點(diǎn) 是具有非?？斓目扉T速度。CMOS （ complementary metal oxide semiconductor）攝像機(jī)基于互補(bǔ)型金屬氧化物半導(dǎo) 體工藝，其傳感器主要包括傳感器核心、模/數(shù)轉(zhuǎn)換器、輸出寄存器、控制寄存器、增益放大器等。特點(diǎn)是低功耗、尺寸小，總體成本低。但是噪聲水平比CCD高一個(gè)量級。電荷注射器件（charge-injection device，

6、CID），有一個(gè)和圖像矩陣對應(yīng)的電極矩陣，在 每一個(gè)像素位置有兩個(gè)隔離絕緣的能產(chǎn)生電位阱的電極。優(yōu)點(diǎn)是，隨機(jī)訪問，不會產(chǎn)生圖像浮散。但是相對 CCD，CID對光電敏感度要低很多。13、 采集裝置基本性能指標(biāo)：線T，快門速度,讀取速率。14、圖像采集的方式主要由光源、采集器和景物三者決定。15、 空間分辨率（即數(shù)字化的空間采樣點(diǎn)數(shù)）。幅度分辨率（即采樣點(diǎn)值的量化級數(shù)）。輻射 到圖像采集矩陣中光電感受單元的信號在空間上被采樣，而在強(qiáng)度上被量化。16、成像方式|光源采集器物單目成像周定固定周定刈目（立體）成像圃定兩個(gè)位置周定券目（立體成像圃定賽傘位置周定光移£光度立體）成像超動固定固宦主動

7、視覺成像周定運(yùn)動囪定上動視覺（口垢動）成像固定運(yùn)動第動視頻洋列咸像固定/運(yùn)動周定/運(yùn)動運(yùn)動/固定結(jié)構(gòu)光成像固定f轉(zhuǎn)動尚定/轉(zhuǎn)動轉(zhuǎn)動/固定表5.3.1 常用成像廳式的特點(diǎn)概述17、攝像機(jī)標(biāo)定的一般程序和步驟:1、令&=*«兀 Z 中白勺元賽包扌舌攝俸機(jī)平移 淀輕豐口般景安考數(shù)亠標(biāo)定步辣第1步二 標(biāo)是旌轉(zhuǎn)矩陣J?和平簽矢量才第2步=標(biāo)龍焦距1第3步= 禰定車竟頭徑向 失真系數(shù)圧第4斗禰定不確定性圖像尺廢囚子a兩極標(biāo)定法：（參考P53-例341-攝像機(jī)外部參數(shù)的標(biāo)定示例）先夕卜咅國參數(shù)”即攝像曲L穽態(tài)參數(shù)女?dāng)z像初L的 位宣、和方冋或千移、掃視角干口傾斜角）后內(nèi)部參數(shù). 擦像用L自身

8、參數(shù) C女口焦足巨“ 鏡夕工 徑向夫真"不確定性圖像尺度因子女口果嚴(yán) 已知I” 標(biāo)定時(shí)只需用一巾畐含有一組菲面 基準(zhǔn)點(diǎn)的圖像即可女口果知” 標(biāo)定時(shí)需用巾禺含有組不共直T基準(zhǔn)點(diǎn)的圖像18、坐標(biāo)的基本變換:2.平務(wù)變換KJ®00(I0 0 0 0£000VSy 00 Ik旋轉(zhuǎn)變換00COS0 sin 0-血0邸”sin/? 0-血卩cos 00 01r>r wo *1 甘»in &C<"i 皿Q1Il oOjLoO1円d/擰 >4-糧話擰 一亠ti winMill * ji冶.欄血宦 jfcjOD1種典型的通過對圖像的直方

9、圖進(jìn)行修正來獲得圖像增強(qiáng)效果的自動19、直方圖均衡化：懸方法?；舅枷胧前言紙D的直方圖變換為在整個(gè)灰度范圍內(nèi)均勻分布的形式，這樣就增加了像素灰度值的動態(tài)范圍，從而達(dá)到增強(qiáng)圖像整體對比度的效果。直方圖均衡化列表計(jì)算參考 p65 例 431。列表計(jì)算對照OS40.2叵右舊門衝化示例0GML/(s)sZ p(o - S p0)7=020、直方圖規(guī)定化:用戶可指定規(guī)定化函數(shù)來得到特殊的增強(qiáng)功能。3個(gè)步驟：（1）對原始圖的直方圖進(jìn)行灰度均衡化（2）規(guī)定需要的直方圖，并計(jì)算能使規(guī)定的直方圖均衡化的變換將第1步得到的變換反轉(zhuǎn)過來，即將原始直方圖對應(yīng)映射到規(guī)定的直方圖。在上述步驟（3）中的對應(yīng)映射規(guī)則有單映

10、射規(guī)則（ SML ）和組映射規(guī)則（GML ）。分別 如下所示：SMLJJ為M)_遲PO)j=0;=021、邊緣檢測：一階導(dǎo)數(shù)算子 ：prewitt; sobel;馬爾；canny;編程實(shí)現(xiàn)上述算法的代碼如下：%邊緣檢測clear;roberts; kirsch;二階導(dǎo)數(shù)算子：拉普拉斯;11 = imread('C:UsersacerDesktopcar.jpg');%I=rgb2gray(I1);BW1 = edge(I,'roberts'); %Roberts 算子BW2 = edge(l,'sobel'); %Sobel 算子BW3 = ed

11、ge(I,'prewitt'); %Prewitt 算子BW4 = edge(I,'log'); %log 算子BW5 = edge(I,'ca nn y'); %CANNY 算子 h = fspecial('gaussia n',5);BW6 = edge(l,'zerocross',h); %zerocross 算子subplot(2,4,1),imshow(l);title('原圖像灰度圖');subplot(2,4,2),imshow(BW1);title('Roberts edge

12、 check'); subplot(2,4,3),imshow(BW2);title('sobel edge check');subplot(2,4,4),imshow(BW3);title('prewitt edge check');subplot(2,4,5),imshow(BW4);title('log edge check');subplot(2,4,6),imshow(BW5);title('ca nny edge check');subplot(2,4,7),imshow(BW6);title('zer

13、ocross edge check');以上為計(jì)算機(jī)視覺課本上的要點(diǎn)小結(jié)。機(jī)器視覺課本大家基本都有，那部分的知識要點(diǎn)各位就自己補(bǔ)充完善一下。機(jī)器視覺偏重于計(jì)算機(jī)視覺技術(shù)工程化，能夠自動獲取和分析特定的圖像，以控制相應(yīng)的行為。計(jì)算機(jī)視覺為機(jī)器視覺提供圖像和景物分析理論及算法基礎(chǔ)，機(jī)器視覺為計(jì)算機(jī)視覺的實(shí)現(xiàn)提供傳感器模型、系統(tǒng)構(gòu)造和實(shí)現(xiàn)手段。機(jī)器視覺系統(tǒng)：視覺傳感器視頻輸入高速圖像采集系統(tǒng) 圖像數(shù)專用圖像處理系統(tǒng)j*計(jì)算機(jī) 斗-標(biāo)準(zhǔn)/控制總線視覺系統(tǒng)三個(gè)層次：計(jì)算理論、表達(dá)和算法、硬件實(shí)現(xiàn) 圖像恢復(fù)形狀信息名稱目的基元圖像亮度表示圖像中每一點(diǎn)的亮度值基兀圖表示二維圖像中的亮度變化位置及其幾

14、何 分布和組織結(jié)構(gòu)零交叉、斑點(diǎn)、端點(diǎn)和不連續(xù) 點(diǎn)、邊緣、有效線段、組合群、 曲線組織2.5維基圖在以觀測者為中心的坐標(biāo)系中，表示可見 表面的方向、深度值和不連續(xù)的輪廓局部表面朝向("針”基兀)、 離觀測者的距離、深度上的不 連續(xù)點(diǎn)、表面朝向的不連續(xù)點(diǎn)三維模型表示在以物體為中心的坐標(biāo)系中，用由體積基 元和面積基元構(gòu)成的模塊化多層次表示， 描述形狀及其空間組織形式分層次組成若干三角模型，每 個(gè)三角模型都是在幾個(gè)軸線 空間的基礎(chǔ)上構(gòu)成的，所有體 積基元或面積形狀基元都附 著在軸線上齊次坐標(biāo)表示法，由 n+1維矢量表示一個(gè)n維矢量邊緣是指圖像中像素灰度有階躍變化或屋頂狀變化的那些像素的集合而

15、垂直于邊緣走向的幅像素級融合方法、特征級圖像亮度的一階導(dǎo)數(shù)的幅度在階躍邊緣上非常大而在非邊緣上為零 邊緣有方向和幅度兩個(gè)特性，通常沿邊緣走向的幅度變化比較平緩,度變化比較劇烈。攝像機(jī)標(biāo)定建立攝像機(jī)圖像像素位置和場景位置的關(guān)系R和T是旋轉(zhuǎn)矩陣和平移矩陣，外部參數(shù)雙目立體視覺基于視差原理，由三角法原理進(jìn)行三維信息獲取 信息融合：冗余性、互補(bǔ)性、時(shí)效性融合方法：信號級融合方法(加權(quán)平均法屬于信息級融合方法) 融合方法、決策級融合方法。變形輪廓線：主動輪廓線、動態(tài)輪廓線。 平移變換不能用矩陣形式來表示。均衡化程序：Im=imread('regi on.j pg');J=histeq(l

16、m); % 均衡化subplot(2,2,1);imshow(lm);title('原圖');%顯示原圖subplot(2,2,2);imhist(lm);title('原圖直方圖');%顯示原圖的直方圖subplot(2,2,3);imshow(J);title('均衡化結(jié)果');%顯示均衡化后的圖像subplot(2,2,4);imhist(J);title('均衡化結(jié)果的直方圖');%顯示均衡化后的直方圖原圖原圖直方圖均衡化結(jié)果均衡化結(jié)果的直方圖規(guī)定化程序：l=imread('tire.tif);J=histeq(l

17、,32);co un ts,x=imhist(J);Q=imread('1.jpg');figure;imshow(Q);title('原圖像');A=rgb2gray(Q);figure;imhist(A);title('原圖像直方圖');M=histeq(A,co un ts); figure;imshow(M);title('直方圖規(guī)定化后的圖像)；figure;imhist(M); title('規(guī)定直方圖');小波變換及融合實(shí)驗(yàn)代碼桌面 i.jpg');X1=X;map仁map; subplot(2,2,

18、1);image(X1); colormap(map1);title('可見光圖像');桌面 2.jpg');X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title('紅外光圖像');c1 L1=wavedec2(X1,1,'sym4');c2 L2=wavedec2(X2,1,'sym4');c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,L1,'sym4');subplot(2,2,3);image(XX);titl

19、e('融合結(jié)果一');Csize仁size(c1);for i=1:Csize1c1(i)=0.8*c1(i);en d;Csize2=size(c2);for j=1:Csize2c2(j)=1.2*c2(j);en d;C=0.6*(c1+c2);XXX=waverec2(c 丄2,'sym4'); subplot(2,2,4);image(XXX);title('融合后結(jié)果二');1.邊緣檢測實(shí)驗(yàn)代碼I = imread('1.jpg');%如果是其他類型圖像，請先轉(zhuǎn)換為灰度圖BW_sobel = edge(I,'s

20、obel');BW_prewitt = edge(l,'prewitt');BW_roberts = edge(I,'roberts');BW_laplace = edge(I,'log');BW_ca nny = edge(I,'ca nn y');figure(1);subplot(2,3,1),imshow(l),xlabel('原始圖像'); subplot(2,3,2),imshow(BW_sobel),xlabel('sobel 檢測');subplot(2,3,3),imsho

21、w(BW_prewitt),xlabel('prewitt 檢測'); subplot(2,3,4),imshow(BW_roberts),xlabel('roberts 檢測'); subplot(2,3,5),imshow(BW_laplace),xlabel('laplace 檢測'); subplot(2,3,6),imshow(BW_canny),xlabel('canny 檢測');%加入高斯噪聲(卩=0 , d A2=0.01 )檢測結(jié)果I_g1 = imn oise(l,'gaussia n',0,

22、0.01);BW_sobel = edge(I_g1,'sobel');BW_prewitt = edge(I_g1,'prewitt');BW_roberts = edge(I_g1,'roberts');BW_laplace = edge(I_g1,'log');BW_ca nny = edge(I_g1,'ca nny');figure(2);d A2=0.01)圖像');subplot(2,3,1),imshow(I_g1),xlabel('加入高斯噪聲(卩=0, subplot(2,3,2

23、),imshow(BW_sobel),xlabel('sobel 檢測'); subplot(2,3,3),imshow(BW_prewitt),xlabel('prewitt 檢測'); subplot(2,3,4),imshow(BW_roberts),xlabel('roberts 檢測'); subplot(2,3,5),imshow(BW_laplace),xlabel('laplace 檢測'); subplot(2,3,6),imshow(BW_canny),xlabel('canny 檢測');%加入高斯噪聲(卩