圖像信息和處理方法

1、圖像信息和處理方法顏色的基本概念一幅圖像f (x,y) 其分辨率為 512512 256256 PAL制 25幀/秒NTSC制 30幀/秒圖像是二維數(shù)據(jù)視頻是三維數(shù)據(jù) 多媒體計(jì)算機(jī)處理圖像和視頻，首先必須把連續(xù)的圖像函數(shù)f (x,y) 進(jìn)行空間和幅值的離散化處理。采 樣：空間連續(xù)坐標(biāo)(x,y)的離散化，叫做采樣；量 化：f(x,y)顏色的離散化，稱(chēng)之為量化。數(shù)字化：兩種離散化結(jié)合在一起，叫做數(shù)字化， 離散化的結(jié)果稱(chēng)為數(shù)字圖像。采樣和量化YXf ( x , y )X Y的離散化稱(chēng)為采樣f ( x , y )值的離散化稱(chēng)為量化 亮度、色調(diào)、飽和度Y 亮度： 光的強(qiáng)和弱。H 色調(diào)： 光的波長(zhǎng)、人眼的

2、感覺(jué)(反映)顏 色(的基本特征)。S 飽和度： 顏色滲入白光的程度(表示)顏色 深淺的程度。紅 + 白光 粉紅色 飽和度下降紅 + 另一種顏色的光 色調(diào)發(fā)生變化三基色(RGB)的原理： 自然界常見(jiàn)的各種顏色光，都是由紅(R)、綠(G)、藍(lán)(B)三種顏色光按不同比例相配而成，同樣絕大多數(shù)顏色也可以分解成紅、綠、藍(lán)三種色光，這就是色度學(xué)中最基本的原理三基色原理。 紅色+綠色=黃色紅色+藍(lán)色=品紅綠色+藍(lán)色=青色紅色+綠色+藍(lán)色=白色 RGB和黑白電視信號(hào)不兼容，希望空中發(fā)射的信號(hào)轉(zhuǎn)換成YUV信號(hào)。 當(dāng)白光的亮度用Y來(lái)表示時(shí)，它和紅、綠、藍(lán)三色的關(guān)系可用如下方程描述： Y=0.299R+0.587G

3、+0.114B 3.1.2 彩色空間 RGB彩色空間 顯示器需要的彩色空間2 . YUV 和 YIQ 彩色空間 PAL 制式使用YUV 彩色空間 NTSC制式使用YIQ彩色空間3. HSI彩色空間4. 其它彩色空間表示Y是亮度，UV和IQ是色差 1. RGB 空間任意顏色的光F，其配色方程可寫(xiě)成： F= rR+ gG+bB 其中r、g、b 為三個(gè)系數(shù) rR、gG、bB為F色光的三色分量2 . YUV 和 YIQ 彩色空間 在 現(xiàn) 代 彩 色 電 視 系 統(tǒng) 中， 常 采 用 三 管 彩 色 攝 像 機(jī) 或 彩 色 C C D 攝 像 機(jī) ，它 把 攝 得 的 彩 色 圖 像 信 號(hào) ， 經(jīng) 分

4、 色 棱 鏡 分 成 R 、G 、B 三 個(gè) 分 量 的 信 號(hào) ，分 別 經(jīng) 放 大 和 校 正得到RGB，再經(jīng)過(guò)矩陣變換電路得到亮度信號(hào)Y、色差信號(hào)R-Y和B-Y，最后發(fā)送端將Y、R-Y及B-Y三個(gè)信號(hào)進(jìn)行編碼，用同一信道發(fā)送出去。這就是我們常用的YUV彩色空間。3333QFVI圖3.-3 IQ軸與UV軸的關(guān)系U美國(guó)、日本等國(guó)采用的NTSC制，選用了YIQ彩色空間，Y仍為亮度信號(hào)，I、Q仍為色差信號(hào)，但它們與U、V是不同的，其區(qū)別是色度矢量圖中的位置不同，如圖所示，Q、I為互相正交的坐標(biāo)軸，它與U、V正交軸之間有33夾角。3333QFVI圖3.3 IQ軸與UV軸的關(guān)系U由圖可知I、Q與V、

5、U之間的關(guān)系可以表示成： 用YUV和YIQ的好處： (1). 亮度信號(hào)Y解決了彩色電視機(jī)與黑白電 視的兼容問(wèn)題。 (2). 大量實(shí)驗(yàn)表明，人眼對(duì)色差信號(hào)不敏 感，而對(duì)亮度信號(hào)特別敏感。 Y 帶寬（PAL） （因?yàn)槊舾校?U、V 帶寬1.3MHz (因?yàn)椴幻舾?(4). 量化比例 由于人眼對(duì)亮度信號(hào)敏感，選擇量化的比例為： Y:U:V= 8:4:4 Y:U:V= 8:2:2 Y:U:V= 8:8:8 3. HSI彩色空間在HSI彩色空間中，人們常用H、S、I3個(gè)參數(shù)描述顏色特性，其中H表示色調(diào)（Hue），S表示顏色的飽和度（Saturation），I表示光的強(qiáng)度（Intensity）。用一個(gè)三維

6、空間的棗形立體圖（見(jiàn)圖），可以把顏色的這三個(gè)參量的特性更加形象的表示出來(lái)。白 黑亮度綠黃綠藍(lán)綠綠藍(lán)藍(lán)亮 和 度紫飽和度色調(diào)黃橙紅圖3.4 顏色立體圖4. 其它彩色空間表示彩色空間表示還有很多種，如CIE（國(guó)際照明委員會(huì)）制定的CIE XYZ，CIE LAB彩色空間，CCIR（Consultative Committee International Radio）制定的CCIR601-2YCbCr彩色空間。按照CCIR601-2建議，歐洲電視專(zhuān)家組將非線性的RGB信號(hào)編碼成YCbCr，編碼過(guò)程開(kāi)始是先采用符合SMPTE-CRGB（它定義了三種熒光粉及一種參考白光，應(yīng)用于演播室監(jiān)視器及電視接收機(jī)標(biāo)準(zhǔn)

7、的RGB）基色作為校正信號(hào)。非線性RGB信號(hào)很容易與一個(gè)常量矩陣相乘而得到亮度Y和兩個(gè)色差信號(hào)Cb和Cr?？拷行妮S的彩色，其亮度信號(hào)與CIEXYZ的Y成分的r校正形式非常接近，CCIR601-2YCbCr通常在圖像壓縮時(shí)選作彩色空間，而在通信中是一種非正式標(biāo)準(zhǔn)。3.1.3 彩色空間的轉(zhuǎn)換其實(shí)現(xiàn)技術(shù) RGB與YUV和YIQ之間的轉(zhuǎn)換 HSI空間與RGB之間的轉(zhuǎn)換1. RGB與YUV和YIQ之間的轉(zhuǎn)換 Y 0.3 0.59 0.11 R U = -0.15 -0.29 0.44 G V 0.61 -0.52 -0.096 B Y 0.3 0.59 0.11 R I = 0.6 -0.28 -0.

8、32 G Q 0.21 -0.52 0.31 B 3. HSI空間 H：Hue 代表色調(diào)（純度、顏色） S： Saturation 代表飽和度 I： Intensity 代表亮度 HSI彩色空間與RGB彩色空間之間的轉(zhuǎn)換例: 黃色=藍(lán)色 RGB處理黃藍(lán)紅143綠143藍(lán)313131255RGB值組成黃色像素紅色值143綠色值143藍(lán)色值31新的RGB值組成藍(lán)色像素紅色值31綠色值31藍(lán)色值255HSI處理黃藍(lán)色調(diào)60飽和度180亮度105240180105HSI值組成黃色像素色調(diào)值60飽和度180亮度105新的HSI值組成藍(lán)色像素色調(diào)值240飽和度180亮度105多媒體計(jì)算機(jī)系統(tǒng)涉及到多種彩色

9、空間，在CD-I系統(tǒng)中，支持的圖像格式、視頻方式有DYUV、RGB5:5:5、CLUT8、CLUT7、CLUT4、RL7以及RL3。其中DYUV方式與CCIR601-2YCbCr有密切聯(lián)系；RGB5:5:5方式采用RGB彩色空間，RGB每個(gè)分量占用5位；CLUT8、CLUT7、CLUT4、RL7以及RL3采用的也是RGB彩色空間，它用彩色查找表（Color Look-up Table-CLUT，也叫調(diào)色板）進(jìn)行映射和解碼。在DVI系統(tǒng)中采用YUV彩色空間，它所支持的圖像格式又涉及到Y(jié)IQ、RGB彩色空間，其中RGB支持8位、16位和24位。綜上所述，搞清楚彩色空間表示以及它們之間的轉(zhuǎn)換，是多媒

10、體計(jì)算機(jī)彩色圖形、靜態(tài)圖像以及動(dòng)態(tài)圖像（Video）處理算法的基礎(chǔ)。3.1.4 彩色全電視信號(hào) 黑白全電視信號(hào)3. 彩色全電視信號(hào) 電視攝像機(jī)是一種廣泛使用的視頻和圖像的輸入設(shè)備，它能將景物、圖片等光學(xué)信號(hào)轉(zhuǎn)變?yōu)槿娨曅盘?hào)，目前主要有黑白和彩色兩種攝像機(jī)。3.1.4 黑白和彩色全電視信號(hào) 黑白全電視信號(hào)3. 彩色全電視信號(hào)1. 黑白全電視信號(hào)全電視信號(hào)主要由三個(gè)部分組成：圖像信號(hào)復(fù)合消隱信號(hào)復(fù)合同步信號(hào)從時(shí)間上看全電視信號(hào)：每行時(shí)間為 64 s行消隱 圖像 53.2s行同步信號(hào) 4.7 s行延遲 1.3 s 一幀 = 奇數(shù)場(chǎng) + 偶數(shù)場(chǎng) 625行 場(chǎng)消隱 = 25 = 1611.8 s 場(chǎng)同步

11、 = 3 64 = 192 s 全電視信號(hào)3.1.4 黑白和彩色全電視信號(hào) 黑白全電視信號(hào)3. 彩色全電視信號(hào)3. 彩色全電視信號(hào) 在現(xiàn)代彩色電視系統(tǒng)中，通常采用YUV彩色空間或YIQ彩色空間，Y為亮度信號(hào)，它可以與黑白全電視信號(hào)兼容，U和V用載波頻率SC調(diào)制加到亮度Y上，最后形成彩色全電視信號(hào)，如下式所示： CVBS = Y + UsinSCt + S (t)VcosSCt _ 在NTSC制系統(tǒng)中，U信號(hào)調(diào)制在副載波的零相位上，而V信號(hào)是固定地調(diào)制在90。的相位上的。在PAL制系統(tǒng)中，調(diào)制情況略有差別。U信號(hào)的調(diào)制與NTSC制相同，而V信號(hào)的調(diào)制是：第一行調(diào)制在90。的相位上（與NTSC制相

12、同，稱(chēng)為NTSC行）；下一行（同隔行掃描是下面的第三行）調(diào)制在270。的相位上（稱(chēng)為PAL行）；再下一行又回到90。的相位上。按此順序，V信號(hào)調(diào)制相位逐行倒相180。 在PAL制系統(tǒng)中，調(diào)制情況略有差別。圖示出了PAL制的平衡正交調(diào)制的倒相原理。根據(jù)圖的矢量圖，可寫(xiě)出PAL制色度信號(hào)Ch的表達(dá)式Ch = UsinSCt + S(t)VcosSCt （）式中，S(t)稱(chēng)為PAL開(kāi)關(guān)函數(shù)，它是雙極性矩形脈沖，其重復(fù)周期為行周期Th的兩倍，幅度為+1和-1。PAL開(kāi)關(guān)函數(shù)S(t)代表PAL制系統(tǒng)的根本特征，它的引入相當(dāng)有效地克服了NTSC制系統(tǒng)中對(duì)信道微分相位敏感的缺點(diǎn)，這是PAL制取得成功的原因。

13、 最后將亮度、復(fù)合同步信號(hào)混合放大，形成PAL制彩色全電視信號(hào)。以100%幅度和100%飽和度(簡(jiǎn)寫(xiě)為100/100)的彩條信號(hào)為例的彩色全電視信號(hào)如圖所示。 在75歐負(fù)載上，100/100彩條的彩色全電視信號(hào)各部分的電平標(biāo)準(zhǔn)（輸入信號(hào)R、G、B、幅度為時(shí))3.2.1 視頻信號(hào)獲取器的工作原理1. A/D變換和數(shù)字解碼3. 窗口控制器 3. 幀存儲(chǔ)器系統(tǒng)4. 數(shù)模轉(zhuǎn)換和矩陣變換5. 視頻信號(hào)和VGA信號(hào)的疊加6. 數(shù)字式多制式視頻信號(hào)編碼部分37圖3.10 多媒體計(jì)算機(jī)視頻信號(hào)獲取器總體框圖 381. A/D變換和數(shù)字解碼 圖3.11 視頻模擬輸入接口TDA 8708原理方框圖393. 窗口控

14、制器 圖3.12 PC Video窗口控制器 40 3. 幀存儲(chǔ)器系統(tǒng) 幀存儲(chǔ)器的主要作用有三個(gè)： (1). 從攝像機(jī)來(lái)的視頻信號(hào)，經(jīng)過(guò)A/D變換，數(shù) 字解碼，在視頻窗口控制器的控制下，將他 們實(shí)時(shí)的村到幀存儲(chǔ)器，大約74ns存一個(gè)像 素?cái)?shù)據(jù)。 (2). 彩色監(jiān)視器每隔74ns要從幀存儲(chǔ)器去一個(gè)像 素?cái)?shù)據(jù)，經(jīng)D/A轉(zhuǎn)換，變成模擬的RGB信號(hào)， 供彩色監(jiān)視器顯示幀存儲(chǔ)器中真彩色全屏幕 運(yùn)動(dòng)圖像使用。 (3). 計(jì)算機(jī)可以通過(guò)視頻窗口控制器，對(duì)陣存儲(chǔ) 器的內(nèi)容進(jìn)行讀寫(xiě)操作。414. 數(shù)模轉(zhuǎn)換和矩陣變換 這部分由兩個(gè)器件組成，即D/A轉(zhuǎn)換器SAA9065和視頻信號(hào)處理器TDA4680。5. 視頻信號(hào)

15、和VGA信號(hào)的疊加 由于兩路信號(hào)均為模擬信號(hào)，因此使用了模擬開(kāi)關(guān)電路實(shí)現(xiàn)兩信號(hào)的疊加。 色鍵：Color Key426. 數(shù)字式多制式視頻信號(hào)編碼部分 這部分只選用了數(shù)字或多制式視頻信號(hào)編碼器SAA7199。它是以數(shù)字方式進(jìn)行視頻信號(hào)編碼的編碼器，支持PAL和NTSC 兩種制式。43 在設(shè)計(jì)制造視頻信號(hào)獲取器的過(guò)程中，為了調(diào)試硬件的正確性，并給用戶(hù)提供方便的編程環(huán)境，還需要設(shè)計(jì)：診斷軟件、在DOS和Windows環(huán)境下的演示軟件，應(yīng)用軟件以及庫(kù)函數(shù)。3.2.3 視頻信號(hào)獲取器的 診斷和驅(qū)動(dòng)軟件圖視頻信號(hào)獲取器診斷調(diào)試軟件框圖 3.3.1 視頻數(shù)字信號(hào)快速處理器的作用 3.3.2 基于DSP的視

16、頻信號(hào)快速處理器 3.3.3 流水線結(jié)構(gòu)的圖像處理機(jī) 3.3 視頻信號(hào)的實(shí)時(shí)處理3.3.1 視頻數(shù)字信號(hào)快速處理器的作用數(shù)學(xué)運(yùn)算 ：（1）點(diǎn)處理（2）二維卷積運(yùn)算（5）統(tǒng)計(jì)量計(jì)算（4）坐標(biāo)變換（3）二維正交變換舉一個(gè)簡(jiǎn)單的例子，一個(gè)裝配機(jī)器人的視覺(jué)系統(tǒng)，要在傳送帶上識(shí)別出所要的機(jī)械零件，確定該零件的位置，然后命令機(jī)械手把它抓起來(lái)，根據(jù)已有的裝配工藝知識(shí)進(jìn)行裝配。相對(duì)來(lái)說(shuō)，這是一個(gè)比較簡(jiǎn)單的計(jì)算機(jī)視覺(jué)問(wèn)題，其計(jì)算理論及算法已經(jīng)解決。具體的作法是計(jì)算機(jī)把攝像機(jī)攝到的圖像數(shù)字化成一幅512 512 8bit的數(shù)字圖像，然后把圖像上的零件分割出來(lái)，抽取特征，進(jìn)行識(shí)別匹配，確定幾何位置，最后，命令機(jī)械手

17、完成抓取和裝配的任務(wù)。處理一幅512 512 8bit的圖像，把零件和背景、零件和零件分割出來(lái)的典型運(yùn)算是進(jìn)行 3 3的卷積（Sobel算子）。如果卷積是實(shí)時(shí)的（25幀/s），則運(yùn)算速度要求為：512 512 9 2 25/s 118MOPS全部地完成上述任務(wù)，計(jì)算機(jī)所要進(jìn)行的操作約為上述的10100倍，即要求計(jì)算機(jī)實(shí)時(shí)處理的速度為118011800MOPS。上述問(wèn)題的算法已經(jīng)解決，但是這樣的運(yùn)算速度在通用計(jì)算機(jī)上卻難以實(shí)現(xiàn)。所以，在通用計(jì)算機(jī)上處理視覺(jué)信號(hào)，主要有下述兩個(gè)局限性：一是運(yùn)算速度慢；一是內(nèi)存容量小。 為了解決上述問(wèn)題，可以采用如下幾種方案：（1）利用大型高速計(jì)算機(jī)組成通用視頻信號(hào)

18、處理系統(tǒng)（2）小型高速陣列機(jī)（3）采用專(zhuān)用的視覺(jué)處理器基于DSP的視頻信號(hào)快速處理器 現(xiàn)在人們已經(jīng)認(rèn)識(shí)到，要降低成本提高系統(tǒng)性能，滿(mǎn)足實(shí)時(shí)視覺(jué)信息處理的要求，最好的辦法是采用VLSI技術(shù)，設(shè)計(jì)專(zhuān)用的適用于視頻信號(hào)處理算法的DSP（Digital Signal Processor）芯片。換句話說(shuō)，對(duì)某一個(gè)具體問(wèn)題，減少計(jì)算機(jī)不必要的通用性，增加專(zhuān)用的DSP芯片及并行、流水線結(jié)構(gòu)，將會(huì)形成新一代的視頻信號(hào)處理系統(tǒng)。1DSP結(jié)構(gòu)3. 專(zhuān)用的DSP3基于DSP方法的視頻信號(hào) 快速處理器的設(shè)計(jì)基于DSP的視頻信號(hào)快速處理器1DSP結(jié)構(gòu)DSP是一種集成度很高的數(shù)字信號(hào)處理器，主要用于語(yǔ)音、圖像等信號(hào)的處理

19、。隨著VLSI技術(shù)的發(fā)展，從1987年以來(lái)，DSP的產(chǎn)品越來(lái)越多，應(yīng)用也越來(lái)越廣泛。3.專(zhuān)用的DSP有些DSP芯片的結(jié)構(gòu)和性能，非常適用于視覺(jué)信息低層次的處理，稱(chēng)為圖像處理專(zhuān)用的DSP芯片。表DSP芯片比較 3基于DSP方法的視頻信號(hào)快速處理器的設(shè)計(jì)圖基于DSP的視頻信號(hào)獲取和快速處理器總體框圖 A110按其功能可分為兩大部分：卷積器后處理部件22舉例：機(jī)器人視覺(jué)中的雙目效應(yīng)圖 美國(guó)Aspex公司生產(chǎn)的流水線結(jié)構(gòu)圖象處理機(jī)PIPE(Pipelined Image Processing Engine)與傳統(tǒng)的流水線結(jié)構(gòu)的計(jì)算機(jī)相比,關(guān)鍵的不同是系統(tǒng)連接的靈活性和動(dòng)態(tài)的重構(gòu)能力。3.3.3 流水線

20、結(jié)構(gòu)的圖像處理機(jī) 1). “向前”通道( Forward Path )和“向 后”通道( Backward Path )及“遞歸” 通道( Recursive Path )有了連接靈 活性和動(dòng)態(tài)的重構(gòu)能力。 2). 六條視頻總線 PIPE機(jī)特別適合完成下述幾種視覺(jué)處理運(yùn)算：1. 點(diǎn)處理3. 空間鄰域處理3. 圖像序列處理4. 布爾處理5. ROI（Region of Interest）運(yùn)算24組成： (1). 視頻接口(Video Interface Stage) (2). 輸入級(jí)(Input Stage)和輸出級(jí) (Output Stage) (3). 模塊處理級(jí)MPS (Modular P

21、rocessing Stage) MPS組成：有三個(gè)查找表（FLUT，RLUT，BLUT）兩個(gè)ALU（ALUA和ALUB）組成一個(gè)3輸入端的多功能的ALU兩個(gè)幀存儲(chǔ)器用做專(zhuān)用存儲(chǔ)器一個(gè)輸出的ALU 二維函數(shù)查找表TVF（Two Valued Fuction）(4). ISMAP 將視覺(jué)低層處理的結(jié)果從圖像數(shù)據(jù)變換為符號(hào)數(shù)據(jù)，實(shí)現(xiàn)實(shí)時(shí)獲取直方圖、累加直方圖、特征鏈以及各特征的指針鏈。(5). 控制級(jí) 由時(shí)序發(fā)生器、命令序列器以及計(jì)算機(jī)接口組成。3.4 圖像文件格式及其轉(zhuǎn)換3.4.1 靜態(tài)圖像文件格式3.4.2 動(dòng)態(tài)圖像壓縮編碼文件格式3.4.1 靜態(tài)圖像文件格式目前世界上靜態(tài)圖像文件格式比較多，除了我們將介紹分析的比較流行的六種之外，還有Utah RLE，PICT Version 2 （Macintosh），IFF（Interchange ），Sun Rasterfile，Cell array（GKS），Pixel array（CGI），CCITT Fax（T4）及RLE（Run-Length Encoding）等。下面將介紹比較流行的六種 1. 圖形變換格式3. 標(biāo)記圖像文件格式3. 目標(biāo)圖像格式4. 位圖5. PCX6. MMP1. 圖形變換格式圖形變換格式（Craphics Interchange Format,GIF）文件格式是由CompuServe公司在1987年6