視覺感知與圖像的基本概念

視覺感知與圖像的基本概念本章內(nèi)容簡介視覺感知數(shù)字圖像的概念與描述圖像的數(shù)字化數(shù)字圖像的存儲格式灰度直方圖第2頁,共51頁，2024年2月25日，星期天2.1視覺感知圖像處理的研究需要了解人類視覺機(jī)理：人們能夠區(qū)分的光強(qiáng)度差別有多大？我們眼睛的空間清晰度是多少？對運(yùn)動(dòng)的感覺如何?我們估計(jì)和比較距離和面積的精度是多少？人類特性視覺的光譜是怎樣的?人的視覺中彩色起什么作用？人類是如何獲得視覺感知，如何認(rèn)知周圍事物的？人們對于自己視覺機(jī)構(gòu)的生物、生理、物理過程的了解，以及神經(jīng)、精神方面的了解還處于低級階段，認(rèn)識還很不完善，還有很大的局限性。第3頁,共51頁，2024年2月25日，星期天人眼構(gòu)造第4頁,共51頁，2024年2月25日，星期天視桿細(xì)胞與視錐細(xì)胞視網(wǎng)膜上有桿狀細(xì)胞和錐狀細(xì)胞兩類視覺接收器；視桿細(xì)胞(Rodcell)：細(xì)長而薄，數(shù)量上約1.2億個(gè)，它們提供暗視(ScotopicVision)，即在低幾個(gè)數(shù)量級亮度時(shí)的視覺響應(yīng)，其光靈敏度高。視錐細(xì)胞(Conecell)：結(jié)構(gòu)上短而粗，數(shù)量少，約600萬~700萬，光靈敏度較低，它們提供明視(PhotopicVision)，其響應(yīng)光亮度范圍比視桿細(xì)胞要高5～6個(gè)數(shù)量級。在中間亮度范圍是兩種視覺細(xì)胞同時(shí)起作用。視錐體集中分布在視網(wǎng)膜中心。第5頁,共51頁，2024年2月25日，星期天視覺感知視覺感知是視覺的內(nèi)在表象。視覺感知包括兩個(gè)不同的感知層次：視覺的低級感知層次視覺的高級感知層次第6頁,共51頁，2024年2月25日，星期天視覺低級感知層次視覺系統(tǒng)從外界獲取圖像。眼睛視網(wǎng)膜上獲得周圍世界的光學(xué)信號，然后視覺接收器發(fā)生光電化學(xué)反應(yīng)（桿狀細(xì)胞和錐狀細(xì)胞在視網(wǎng)膜上作為視覺接收器），產(chǎn)生視神經(jīng)脈沖，從而將光圖像信息轉(zhuǎn)化為視網(wǎng)膜的神經(jīng)活動(dòng)電信息，最后通過視神經(jīng)纖維，把這些圖像信息傳送入大腦，由大腦獲得圖像感知。視覺系統(tǒng)的可視波長范圍為=380nm～780nm;視覺系統(tǒng)的可響應(yīng)的亮度范圍是:1～10個(gè)量級的幅度范圍。第7頁,共51頁，2024年2月25日，星期天視覺高級感知層次大腦對視神經(jīng)纖維傳送來的圖像信息進(jìn)行分析和理解，通過圖像獲得對周圍世界感知的信息和知識。人們對大腦的高級感知層次至今知之甚少,仍是生理學(xué)、神經(jīng)科學(xué)、生物物理學(xué)、生物化學(xué)研究的重要課題。第8頁,共51頁，2024年2月25日，星期天視覺和視覺感知“視覺是一個(gè)信息處理過程。它能從外部世界的圖像中得到一個(gè)即對觀察者有用又不受無關(guān)信息干擾的描述?！薄耙曈X感知又是和過去留存于記憶中的同類活動(dòng)有關(guān)，視覺儲積起大量的視覺意象。記憶形象可用于對知覺對象的辨認(rèn)，解釋和補(bǔ)充?！笔褂?jì)算機(jī)具有人類視覺能力，研究人類的視覺感知，模仿人類的視覺感知，是研究工作的重要途徑。第9頁,共51頁，2024年2月25日，星期天視覺特性視覺特性是視覺的外在表現(xiàn)；圖像是周圍世界的一種映射，對于運(yùn)動(dòng)圖像，空間座標(biāo)x,y,z都是時(shí)間t的函數(shù)，若在連續(xù)的不同時(shí)間獲取圖像，可以獲得序列圖像對于按不同波段獲取圖像，可獲得彩色圖像或不同波段的圖像信號(如遙感圖像,醫(yī)學(xué)圖像等)。對于按不同視角，即不同的x,y,z間相互關(guān)系，可以得到不同視角的不同圖像。因此，視覺特性包括有視覺對光強(qiáng)，對各種波長、彩色的光譜效應(yīng)，對物體邊緣等空間頻率變化的響應(yīng)，以及視覺對時(shí)間瞬時(shí)變化運(yùn)動(dòng)的響應(yīng)。第10頁,共51頁，2024年2月25日，星期天相對視敏函數(shù)人眼對不同波長的光有不同的敏感度，不同波長而幅射功率相同的光不僅給人以不同的色彩感覺，而且亮度感覺也不同。視敏函數(shù)：描述人眼視敏特性的物理量為視敏函數(shù)和相對視敏函數(shù)。在相同亮度感覺的條件下，不同波長光輻射功率的倒數(shù)用來衡量人眼對各波長光明亮感覺的敏感程度。對于人眼，是鐘形曲線。第11頁,共51頁，2024年2月25日，星期天相對視敏曲線視桿細(xì)胞和視錐細(xì)胞的相對視敏曲線有所不同，對視錐細(xì)胞情況，在=555nm時(shí)綠光亮度最敏感，對視桿細(xì)胞暗視情況,則=505nm時(shí)綠光最敏感。

第12頁,共51頁，2024年2月25日，星期天對比靈敏度在均勻照度背景I上，有一照度為I+△I的光斑，稱眼睛剛好能分辨出的照度差△I與I的比（△I/I）為對比靈敏度；由于背景亮度I增大，△I也需要增大，因此在相當(dāng)寬的強(qiáng)度范圍內(nèi)，對比靈敏度是一個(gè)常數(shù)，約等于0.02，這個(gè)比值稱為韋伯比（Weber比）。亮度很強(qiáng)（弱）時(shí)不為常數(shù)。第13頁,共51頁，2024年2月25日，星期天同時(shí)對比度在相同亮度的刺激下,由于背景亮度不同，人眼所感受到的主觀亮度不同，這種效應(yīng)稱為同時(shí)對比度。由于同時(shí)對比是由亮度差別引起的，故也稱為亮度對比。相對應(yīng)的還有色度對比。

第14頁,共51頁，2024年2月25日，星期天馬赫帶Mach在1865年討論了“Mach帶”現(xiàn)象“Mach帶”一條有均勻黑的區(qū)域和均勻白的區(qū)域每級階躍的灰度差相同“Mach帶”，人們在觀察現(xiàn)象：每個(gè)條帶內(nèi)灰度是不均勻的每級階梯的右邊比左邊更暗第15頁,共51頁，2024年2月25日，星期天人類視覺感知能力的特點(diǎn)人類視覺系統(tǒng)在對物體的識別上有特殊強(qiáng)大的功能；但在對灰度、距離和面積的絕對的估計(jì)上卻有某些欠缺；以傳感器單元的數(shù)目比較：視網(wǎng)膜包含接近1.3億個(gè)光接收器，這極大的大于CCD片上的傳感器單元數(shù)；和它每次執(zhí)行運(yùn)算的數(shù)目比較：和計(jì)算機(jī)的時(shí)鐘頻率相比，神經(jīng)處理單元的開關(guān)時(shí)間將比之大約慢倍；不論這慢的定時(shí)和大量的接收器，人類的視覺系統(tǒng)是比計(jì)算機(jī)視覺系統(tǒng)要強(qiáng)大得多。它能實(shí)時(shí)分析復(fù)雜的景物以使我們能即時(shí)的反應(yīng)。第16頁,共51頁，2024年2月25日，星期天2.2數(shù)字圖像的概念與描述所謂的數(shù)字圖像的描述是指如何用一個(gè)數(shù)值方式來表示一個(gè)圖像。數(shù)字圖像是圖像的數(shù)字表示，像素是其最小的單位。可以用矩陣來描述數(shù)字圖像。描述數(shù)字圖像的矩陣目前采用的是整數(shù)陣，即每個(gè)像素的亮暗，用一個(gè)整數(shù)來表示。第17頁,共51頁，2024年2月25日，星期天數(shù)字圖像的概念與描述

——

圖像的坐標(biāo)系矩陣是按照行列的順序來定位數(shù)據(jù)的，但是圖像是在平面上定位數(shù)據(jù)的，所以有一個(gè)坐標(biāo)系定義上的特殊性。為了實(shí)現(xiàn)方便起見，這里以矩陣坐標(biāo)系來定義圖像的坐標(biāo)。行（i）列（j）矩陣A(i,j)矩陣坐標(biāo)系X軸（i）Y軸（j）圖像f(i,j)直角坐標(biāo)系第18頁,共51頁，2024年2月25日，星期天數(shù)字圖像的概念與描述

——

黑白圖像黑白圖像是指圖像的每個(gè)像素只能是黑或者白，沒有中間的過渡，故又稱為２值圖像。2值圖像的像素值為0、1。第19頁,共51頁，2024年2月25日，星期天數(shù)字圖像的概念與描述

——

灰度圖像灰度圖像是指每個(gè)像素的信息由一個(gè)量化的灰度級來描述的圖像，沒有彩色信息。第20頁,共51頁，2024年2月25日，星期天數(shù)字圖像的概念與描述

——

彩色圖像彩色圖像是指每個(gè)像素的信息由RGB三原色構(gòu)成的圖像，其中RGB是由不同的灰度級來描述的。彩色圖像不能用一個(gè)矩陣來描述了，一般是用三個(gè)矩陣同時(shí)來描述。第21頁,共51頁，2024年2月25日，星期天2.3圖像的數(shù)字化我們?nèi)粘Ｉ钪幸姷降膱D像一般是連續(xù)形式的模擬圖像，可由一個(gè)二維連續(xù)函數(shù)f(x,y)來描述。其中：

(x,y)是圖像平面上任意一個(gè)二維坐標(biāo)點(diǎn)，f(x,y)則是該點(diǎn)顏色的深淺。數(shù)字圖像處理的一個(gè)先決條件就是將連續(xù)圖像經(jīng)采樣、量（離散）化，轉(zhuǎn)換為數(shù)字圖像。第22頁,共51頁，2024年2月25日，星期天圖像的數(shù)字化數(shù)字化的過程也稱為A/D轉(zhuǎn)換：是將光電傳感器產(chǎn)生的模擬量轉(zhuǎn)換為數(shù)字量，以便計(jì)算機(jī)處理；轉(zhuǎn)換過程：采樣、量化、編碼；轉(zhuǎn)換精度：ADC位數(shù)；轉(zhuǎn)換速度：采樣速率；量化誤差。第23頁,共51頁，2024年2月25日，星期天圖像的數(shù)字化經(jīng)數(shù)字化的圖像方可用計(jì)算機(jī)來處理。圖像f(x,y)必須在空間上和在顏色深淺的幅度上都進(jìn)行數(shù)字化：空間坐標(biāo)(x,y)的數(shù)字化被稱為圖像采樣；顏色深淺幅度的數(shù)字化被稱為灰度級量化。第24頁,共51頁，2024年2月25日，星期天圖像的數(shù)字化

——采樣間隔采樣時(shí)的注意點(diǎn)是：采樣間隔的選取。采樣間隔太小，則增大數(shù)據(jù)量；采樣間隔太大，則會發(fā)生信息的混疊，導(dǎo)致細(xì)節(jié)無法辨認(rèn)。第25頁,共51頁，2024年2月25日，星期天圖像的數(shù)字化

——采樣指標(biāo)分辨率分辨率

是指映射到圖像平面上的單個(gè)像素的景物元素的尺寸。單位：像素/英寸，像素/厘米

（如：三星智能手機(jī)GALAXYS4顯示屏為441ppi）

分辨率

或者是指要精確測量和再現(xiàn)一定尺寸的圖像所必需的像素個(gè)數(shù)。

單位：像素×像素

（如：數(shù)碼相機(jī)指標(biāo)1210萬像素（4000×3000））第26頁,共51頁，2024年2月25日，星期天圖像的數(shù)字化

——量化概念量化是將各個(gè)像素所含的明暗信息離散化后，用數(shù)字來表示。一般的量化值為整數(shù)。充分考慮到人眼的識別能力之后，目前非特殊用途的圖像均為8bit量化，即采用0~255的整數(shù)來描述“從黑到白”。在3bit以下的量化，會出現(xiàn)偽輪廓現(xiàn)象。第27頁,共51頁，2024年2月25日，星期天圖像的數(shù)字化

——量化方法量化可分為均勻量化和非均勻量化。均勻量化是簡單地在灰度范圍內(nèi)等間隔量化。非均勻量化是對像素出現(xiàn)頻度少的部分量化間隔取大，而對出現(xiàn)頻度大的部分量化間隔取小。

一般情況下，對灰度變化比較平緩的部分用比較多的量化級。第28頁,共51頁，2024年2月25日，星期天圖像質(zhì)量的確定數(shù)字化時(shí)，關(guān)鍵是要決定：采樣點(diǎn)數(shù)M×N

（行和列）量化級別G

（灰度級數(shù)）為了便于處理，采樣點(diǎn)數(shù)N與量化級別G都為2的冪次方，即M=2m，N=2n

，G=2k

（m，n，k均為正整數(shù)）。記錄一幅圖像所需的字節(jié)（byte）B可由下式計(jì)算：

B＝M×N×k÷8實(shí)際上：M、N一般取64、128、256、640、1024、1240等值；k一般取1、4、8、16、24、32等值。一般地說，圖像質(zhì)量隨M、N和k的增加而增高。第29頁,共51頁，2024年2月25日，星期天采樣傳感器采樣傳感器CCD(ChargeCoupleDevice)：電荷耦合器件；CMOS(ComplementaryMetalOxideSemiconductor)：互補(bǔ)性金屬氧化物半導(dǎo)體。第30頁,共51頁，2024年2月25日，星期天CCDCCD是20世紀(jì)70年代初發(fā)展起來的半導(dǎo)體器件。CCD以電荷為信號，而不是以電壓為信號。CCD利用感光二極管(photodiode)進(jìn)行光電轉(zhuǎn)換，將圖像轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù).CCD的基本功能是電荷的產(chǎn)生、存儲和轉(zhuǎn)移。其基本原理是：通過光學(xué)系統(tǒng)將景物成像在CCD象敏面上，象敏面將照在每一個(gè)象敏單元上的光照強(qiáng)度轉(zhuǎn)換為電荷存儲在象敏單元中，然后再轉(zhuǎn)移到CCD的移位寄存器中，在驅(qū)動(dòng)脈沖的作用下順序移出器件，形成強(qiáng)弱不同的電信號。第31頁,共51頁，2024年2月25日，星期天CCD的三層結(jié)構(gòu)第一層“微型鏡頭”：CCD成像的關(guān)鍵是在于其感光層，為了擴(kuò)展CCD的采光率，必須擴(kuò)展單一像素的受光面積，增加感光面積。第二層“分色濾色片”：有兩種分色方式，一是RGB原色分色法，另一個(gè)則是CMYK補(bǔ)色分色法。這兩種方法各有優(yōu)缺點(diǎn)。第三層感光層：主要是負(fù)責(zé)將穿過濾色層的光源轉(zhuǎn)換成電子信號，并將信號傳送到影像處理芯片，將影像還原。第32頁,共51頁，2024年2月25日，星期天線陣CCD：單元數(shù)有：256，1024，2048，4096等；面陣CCD：第33頁,共51頁，2024年2月25日，星期天CMOSCMOS和CCD一樣都是可用來感受光線變化的半導(dǎo)體。CMOS是利用硅和鍺兩種元素做成的半導(dǎo)體，通過CMOS上帶負(fù)電和帶正電的晶體管來實(shí)現(xiàn)基本功能的。產(chǎn)生的電流即可被處理芯片紀(jì)錄和解讀成影像。CMOS針對CCD最主要的優(yōu)勢是價(jià)格低廉、制造工藝較簡單且非常省電,其耗電量只有普通CCD的1/3左右。CMOS傳感器可以在每個(gè)像素基礎(chǔ)上進(jìn)行信號放大，采用這種方法可以進(jìn)行快速數(shù)據(jù)掃描；CMOS主要問題是在處理快速變化的影像時(shí)，由于電流變化過于頻繁而過熱。但是現(xiàn)在CMOS絕非只局限于簡單的應(yīng)用，也在發(fā)展高清系列。第34頁,共51頁，2024年2月25日，星期天2.4數(shù)字圖像的存儲格式數(shù)字圖像是由排成矩形點(diǎn)陣的像素組成的。圖像有不同的編碼方式：無壓縮、無損壓縮、有損壓縮。圖像文件通常與操作系統(tǒng)有關(guān)：Windows、Linux、Mac；把一幅圖像記錄進(jìn)文件時(shí)，必須同時(shí)記錄下各像素在點(diǎn)陣中的位置及像素的灰度值。實(shí)際上我們可以利用各像素在文件中的記錄位置來表示其在圖像點(diǎn)陣中的位置，這樣就可以省去記錄像素位置坐標(biāo)的數(shù)據(jù)量，而各像素的數(shù)據(jù)只用來記錄其灰度值。第35頁,共51頁，2024年2月25日，星期天數(shù)字圖像的存儲格式（二）圖像的尺寸（長與寬，均以像素為單位）通常記錄在文件頭（header）中。文件頭是有關(guān)圖像整體的信息數(shù)據(jù)塊，除記錄圖像的尺寸外，還記錄諸如像素的位長、圖像的顏色表等有關(guān)信息。文件頭之后才是圖像的數(shù)據(jù)流。因此，圖像數(shù)據(jù)文件是文件頭加數(shù)據(jù)流。第36頁,共51頁，2024年2月25日，星期天數(shù)字圖像的存儲格式（三）圖像數(shù)據(jù)的文件格式隨著圖像的各種信息的內(nèi)容取舍與記錄次序的不同而異。其中，關(guān)于圖像數(shù)據(jù)的記錄方式基本相同，主要的差異在于header的內(nèi)容。應(yīng)用較廣，比較常見的靜態(tài)圖像文件格式有：RAW、BMP/DIB、JPEG、Tiff、Gif、WMF。常見的動(dòng)態(tài)圖像文件格式有：MPEG4、SWF（ShockwaveFormat）、AVI、nAVI、rm、rmvb、MOV、MKV……第37頁,共51頁，2024年2月25日，星期天數(shù)字圖像的存儲----位圖文件Bmp是MicrosoftWindows設(shè)備無關(guān)位圖（MicrosoftDeviceIndependentBitmap）文件，又稱為DIB。是Windows操作系統(tǒng)的標(biāo)準(zhǔn)文件格式。Bmp可以包含每個(gè)像素1位、4位、8位或24位的圖像。其中1、4和8位圖形有彩色映像（調(diào)色板），而24位元圖像則是全彩（TrueColor）。優(yōu)點(diǎn)：在MicrosoftWindows下得到廣泛使用。缺點(diǎn)：除了MicrosoftWindows外，無法在其他環(huán)境下使用。第38頁,共51頁，2024年2月25日，星期天數(shù)字圖像的存儲位圖文件

——文件的總體結(jié)構(gòu)

文件頭

BITMAPFILEHEADER

信息頭

BITMAPINFOHEADER

調(diào)色板

RGBQUAD

數(shù)據(jù)區(qū)

文件頭

BITMAPFILEHEADER

信息頭

BITMAPINFOHEADER

數(shù)據(jù)區(qū)

像素的RGB值

像素的調(diào)色板索引值真彩色模式索引色模式第39頁,共51頁，2024年2月25日，星期天數(shù)字圖像的存儲位圖文件

——文件頭信息

文件頭BITMAPFILEHEADERbfType文件類型標(biāo)識“BM”bfSize文件總字節(jié)數(shù)(包括文件頭的14字節(jié))bfOffBits從文件頭到實(shí)際的位圖數(shù)據(jù)的偏移字節(jié)數(shù)第40頁,共51頁，2024年2月25日，星期天數(shù)字圖像的存儲位圖文件

——信息頭信息biSize信息頭結(jié)構(gòu)體長度，為40biWidth圖像寬度，單位是像素

biHeight圖像高度，單位是像素

biPlanes必須為1，暫無意義

biCompression指定位圖是否壓縮

biSizeImage實(shí)際位圖數(shù)據(jù)所占字節(jié)數(shù)

biXperlsPerMeter位圖水平分辨率，每米像素?cái)?shù)

biYperlsPerMeter位圖垂直分辨率，每米像素?cái)?shù)

信息頭

BITMAPINFOHEADER第41頁,共51頁，2024年2月25日，星期天數(shù)字圖像的存儲位圖文件

——索引色模式的調(diào)色板

調(diào)色板RGBQUAD索引值RGB1R1G1B12R2G2B2

：:::NRNGNBN第42頁,共51頁，2024年2月25日，星期天數(shù)字圖像的存儲位圖文件

——索引色模式的數(shù)據(jù)區(qū)索引值RGB1R1G1B12R2G2B2

：:::NRNGNBN

數(shù)據(jù)區(qū)像素的調(diào)色板索引值第43頁,共51頁，2024年2月25日，星期天矢量圖矢量（Vector）圖：亦稱向量圖，是用稱之為矢量的直線、曲線、多邊形和填充的色塊來描繪圖形的。可以無限放大圖形中的細(xì)節(jié)，不用擔(dān)心會造成失真和色塊。矢量圖文件比點(diǎn)陣圖文件存儲空間要小很多。一般地，矢量圖是圖形。A類型：line起點(diǎn)坐標(biāo)xx.xxx,yy.yyyy終點(diǎn)坐標(biāo)xx.xxx,yy.yyyy顏色、線型、線寬類型：文字起點(diǎn)坐標(biāo)xx.xxx,yy.yyyy顏色、字體、字型、字號第44頁,共51頁，2024年2月25日，星期天常見的靜態(tài)圖像文件格式（一）JPEG全稱為（JointPhotographicExptrsGroup，聯(lián)合圖像專家組），是24位的圖像文件格式。JPEG文件格式是面向連續(xù)色調(diào)靜止圖像的一種壓縮標(biāo)準(zhǔn)。

JPEG格式是目前網(wǎng)絡(luò)上最流行的圖像格式。JPEG壓縮技術(shù)十分先進(jìn)，它用有損壓縮方式去除冗余的圖像數(shù)據(jù)。JPEG格式壓縮的主要是高頻信息，對色彩的信息保留較好，適合應(yīng)用于互聯(lián)網(wǎng)，可減少圖像的傳輸時(shí)間。JPEG是一種很靈活的格式，具有調(diào)節(jié)圖像質(zhì)量的功能，允許用不同的壓縮比例對文件進(jìn)行壓縮，支持多種壓縮級別，壓縮比率通常在10：1到40：1之間，壓縮比越大，品質(zhì)就越低；相反地，品質(zhì)就越高。第45頁,共51頁，2024年2月25日，星期天常見的靜態(tài)圖像文件格式（二）TIFF――TagImageFileFormat，標(biāo)簽圖像文件格式。是一種跨平臺的位圖格式，不針對某個(gè)特定的操作平臺，可用于多種操作平臺和應(yīng)用軟件。數(shù)據(jù)結(jié)構(gòu)是可變的，文件具有可改寫性，程序員可以修改原始規(guī)范以添加功能或滿足特定的需要。