圖像數(shù)碼基礎(chǔ)

1、圖像數(shù)碼基礎(chǔ)一、光和顏色 1 光和顏色 可見光是波長(zhǎng)在 380 nm 780 nm 之間的電磁波，我們看到的大多數(shù)光不是一種波長(zhǎng)的光，而是由許多不同波長(zhǎng)的光組合成的。如果光源由單波長(zhǎng)組成，就稱為單色光源。該光源具有能量，也稱強(qiáng)度。實(shí)際中，只有極少數(shù)光源是單色的，大多數(shù)光源是由不同波長(zhǎng)組成，每個(gè)波長(zhǎng)的光具有自身的強(qiáng)度。這稱為光源的光譜分析。 顏色是視覺系統(tǒng)對(duì)可見光的感知結(jié)果。研究表明，人的視網(wǎng)膜有對(duì)紅、綠、藍(lán)顏色敏感程度不同的三種錐體細(xì)胞。紅、綠和藍(lán)三種錐體細(xì)胞對(duì)不同頻率的光的感知程度不同，對(duì)不同亮度的感知程度也不同。 自然界中的任何一種顏色都可以由 r ， g ， b 這 3 種顏色值之和來(lái)確

2、定，以這三種顏色為基色構(gòu)成一個(gè) rgb 顏色空間，基色的波長(zhǎng)分別為 700 nm( 紅色 ) 、 546.1 nm( 綠色 ) 和 435.8 nm( 藍(lán)色 ) 。 顏色 r( 紅色的百分比 ) g( 綠色的百分比 ) b( 藍(lán)色的百分比 ) 可以選擇不同的三基色構(gòu)造不同的顏色空間，只要其中一種不是由其它兩種顏色生成。例如 y （ yellow, 黃色）， c （ cyan ，青色）， m （ magenta ，品紅）。 2 顏色的度量 圖像的數(shù)字化首選要考慮到如何用數(shù)字來(lái)描述顏色。國(guó)際照明委員會(huì) cie （ international commission on illumination ）

3、對(duì)顏色的描述作了一個(gè)通用的定義，用顏色的三個(gè)特性來(lái)區(qū)分顏色。這些特性是色調(diào)，飽和度和明度，它們是顏色所固有的并且是截然不同的特性。 色調(diào) (hue) 又稱為色相，指顏色的外觀，用于區(qū)別顏色的名稱或顏色的種類。色調(diào)用紅、橙、黃、綠、青、藍(lán)、靛、紫等術(shù)語(yǔ)來(lái)刻畫。用于描述感知色調(diào)的一個(gè)術(shù)語(yǔ)是色彩 (colorfulness) 。 飽和度 (saturation) 是相對(duì)于明度的一個(gè)區(qū)域的色彩，是指顏色的純潔性，它可用來(lái)區(qū)別顏色明暗的程度。完全飽和的顏色是指沒有滲入白光所呈現(xiàn)的顏色，例如僅由單一波長(zhǎng)組成的光譜色就是完全飽和的顏色。 明度 (brightness) 是視覺系統(tǒng)對(duì)可見物體輻射或者發(fā)光多少的

4、感知屬性。它和人的感知有關(guān)。由于明度很難度量，因此國(guó)際照明委員會(huì)定義了一個(gè)比較容易度量的物理量，稱為亮度 (luminance) 來(lái)度量明度，亮度 (luminance) 即輻射的能量。明度的一個(gè)極端是黑色 ( 沒有光 ) ，另一個(gè)極端是白色，在這兩個(gè)極端之間是灰色。 光亮度 (lightness) 是人的視覺系統(tǒng)對(duì)亮度 (luminance) 的感知響應(yīng)值，光亮度可用作顏色空間的一個(gè)維，而明度 (brightness) 則僅限用于發(fā)光體 , 該術(shù)語(yǔ)用來(lái)描述反射表面或者透射表面。 3 顏色空間 顏色空間是表示顏色的一種數(shù)學(xué)方法，人們用它來(lái)指定和產(chǎn)生顏色，使顏色形象化。顏色空間中的顏色通常使用代

5、表三個(gè)參數(shù)的三維坐標(biāo)來(lái)指定，這些參數(shù)描述的是顏色在顏色空間中的位置，但并沒有告訴我們是什么顏色，其顏色要取決于我們使用的坐標(biāo)。 使用色調(diào)、飽和度和明度構(gòu)造的一種顏色空間，叫做 hsb(hue, saturation and brightness) 顏色空間。 rgb(red ， green and blue) 和 cmy(cyan, magenta and yellow) 是最流行的顏色空間，它們都是與設(shè)備相關(guān)的顏色空間，前者用在顯示器上，后者用在打印設(shè)備上。 rgb(red ， green and blue) 和 cmy(cyan, magenta and yellow) 是最流行的顏色空間

6、，前者用在顯示器上，后者用在打印設(shè)備上。 從技術(shù)上角度區(qū)分，顏色空間可考慮分成如下三類： ? rgb 型顏色空間 / 計(jì)算機(jī)圖形顏色空間：這類模型主要用于電視機(jī)和計(jì)算機(jī)的顏色顯示系統(tǒng)。例如， rgb ， hsi, hsl 和 hsv 等顏色空間。 ? xyz 型顏色空間 /cie 顏色空間：這類顏色空間是由國(guó)際照明委員會(huì)定義的顏色空間，通常作為國(guó)際性的顏色空間標(biāo)準(zhǔn)，用作顏色的基本度量方法。例如， cie 1931 xyz ， l*a*b ， l*u*v 和 lch 等顏色空間就可作為過(guò)渡性的轉(zhuǎn)換空間。 ? yuv 型顏色空間 / 電視系統(tǒng)顏色空間：由廣播電視需求的推動(dòng)而開發(fā)的顏色空間，主要目的

7、是通過(guò)壓縮色度信息以有效地播送彩色電視圖像。例如， yuv ， yiq ， itu-r bt.601 ycbcr, itu-r bt.709 ycbcr 和 smpte -240m ypbpr 等顏色空間。 4 顏色空間的轉(zhuǎn)換 不同顏色可以通過(guò)一定的數(shù)學(xué)關(guān)系相互轉(zhuǎn)換： ? 有些顏色空間之間可以直接變換。例如， rgb 和 hsl ， rgb 和 hsb ， rgb 和 rgb, rgb 和 ycrcb ， cie xyz 和 cie l*a*b* 等。 ? 有些顏色空間之間不能直接變換。例如， rgb 和 cie la*b*, cie xyz 和 hsl ， hsl 和 ycbcr 等，它們之

8、間的變換需要借助其他顏色空間進(jìn)行過(guò)渡。 rgb 和 ycbcr 兩個(gè)彩色空間之間的轉(zhuǎn)換關(guān)系用下式表示： y = 0.299r + 0.587g + 0.114b cr = (0.500r - 0.4187g - 0.0813b) + 128 cb = (-0.1687r - 0.3313g + 0.500b) + 128 二、彩色電視的制式及其顏色空間 1 、彩色電視制式 目前世界上現(xiàn)行的彩色電視制式有三種： ntsc 制、 pal 制和 secam 制。這里不包括高清晰度彩色電視 hdtv (high-definition television) 。 ntsc(national televi

9、sion systems committee) 彩色電視制是 1952 年美國(guó)國(guó)家電視標(biāo)準(zhǔn)委員會(huì)定義的彩色電視廣播標(biāo)準(zhǔn)，稱為正交平衡調(diào)幅制。美國(guó)、加拿大等大部分西半球國(guó)家，以及日本、韓國(guó)、菲律賓等國(guó)和中國(guó)的臺(tái)灣采用這種制式。 ntsc 彩色電視制的主要特性是： (1) 525 行 / 幀 , 30 幀 / 秒 (29.97 fps, 33.37 ms/frame) (2) 高寬比：電視畫面的長(zhǎng)寬比 ( 電視為 4:3 ；電影為 3:2 ；高清晰度電視為 16:9) (3) 隔行掃描，一幀分成 2 場(chǎng) (field) ， 262.5 線 / 場(chǎng) (4) 在每場(chǎng)的開始部分保留 20 掃描線作為控制

10、信息，因此只有 485 條線的可視數(shù)據(jù)。 laser disc 約 420 線， s-vhs 約 320 線 (5) 每行 63.5 微秒，水平回掃時(shí)間 10 微秒 ( 包含 5 微秒的水平同步脈沖 ) ，所以顯示時(shí)間是 53.5 微秒。 (6) 顏色模型： yiq 一幀圖像的總行數(shù)為 525 行，分兩場(chǎng)掃描。行掃描頻率為 15 750 hz ， 周期為 63.5s ；場(chǎng)掃描頻率是 60 hz ，周期為 16.67 ms ；幀頻是 30 hz ，周期 33.33 ms 。每一場(chǎng)的掃描行數(shù)為 525/2=262.5 行。除了兩場(chǎng)的場(chǎng)回掃外，實(shí)際傳送圖像的行數(shù)為 480 行。 由于 ntsc 制存

11、在相位敏感造成彩色失真的缺點(diǎn)，因此德國(guó) ( 當(dāng)時(shí)的西德 ) 于 1962 年制定了 pal(phase-alternative line) 制彩色電視廣播標(biāo)準(zhǔn)，稱為逐行倒相正交平衡調(diào)幅制。德國(guó)、英國(guó)等一些西歐國(guó)家，以及中國(guó)、朝鮮等國(guó)家采用這種制式。 pal 電視制的主要掃描特性是： (1) 625 行 ( 掃描線 )/ 幀， 25 幀 / 秒 (40 ms/ 幀 ) (2) 長(zhǎng)寬比 (aspect ratio) ： 4:3 (3) 隔行掃描， 2 場(chǎng) / 幀， 312.5 行 / 場(chǎng) (4) 顏色模型： yuv 法國(guó)制定了 secam ( 法文： sequential coleur avec

12、memoire) 彩色電視廣播標(biāo)準(zhǔn)，稱為順序傳送彩色與存儲(chǔ)制。法國(guó)、蘇聯(lián)及東歐國(guó)家采用這種制式。世界上約有 65 個(gè)地區(qū)和國(guó)家試驗(yàn)這種制式。 這種制式與 pal 制類似，其差別是 secam 中的色度信號(hào)是頻率調(diào)制 (fm) ，而且它的兩個(gè)色差信號(hào)：紅色差 (r-y) 和藍(lán)色差 (b-y) 信號(hào)是按行的順序傳輸?shù)?。法?guó)、俄羅斯、東歐和中東等約有 65 個(gè)地區(qū)和國(guó)家使用這種制式，圖像格式為 4:3 ， 625 線， 50 hz ， 6 mhz 電視信號(hào)帶寬，總帶寬 8 mhz 。 2 、彩色電視的顏色空間 在彩色電視中，用 y 、 c1, c2 彩色表示法分別表示亮度信號(hào)和兩個(gè)色差信號(hào)， c1

13、， c2 的含義與具體的應(yīng)用有關(guān)。在 ntsc 彩色電視制中， c1 ， c2 分別表示 i 、 q 兩個(gè)色差信號(hào)；在 pal 彩色電視制中， c1 ， c2 分別表示 u 、 v 兩個(gè)色差信號(hào)；在 ccir 601 數(shù)字電視標(biāo)準(zhǔn)中， c1 ， c2 分別表示 cr ， cb 兩個(gè)色差信號(hào)。所謂色差是指基色信號(hào)中的三個(gè)分量信號(hào) ( 即 r 、 g 、 b) 與亮度信號(hào)之差。 ntsc 的 yiq 顏色空間與 rgb 顏色空間的轉(zhuǎn)換關(guān)系如下： y=0.30r+ 0.59g +0.11b i=0.74(r y) 0.27(b y) = 0.60r+ 0.28g +0.32b q=0.48(r y)

14、 0.27(b y) = 0.21r+ 0.52g +0.31b pal 的 yuv 顏色空間與 rgb 顏色空間的轉(zhuǎn)換關(guān)系如下： y=0.30r+ 0.59g +0.11b u=0.493(b y) = 0.15r 0.29g +0.44b q=0.877(r y) = 0.62r 0.52g 0.10b 三、視頻圖像采樣 模擬視頻的數(shù)字化包括不少技術(shù)問題，如電視信號(hào)具有不同的制式而且采用復(fù)合的 yuv 信號(hào)方式，而計(jì)算機(jī)工作在 rgb 空間；電視機(jī)是隔行掃描，計(jì)算機(jī)顯示器大多逐行掃描；電視圖像的分辨率與顯示器的分辨率也不盡相同等等。因此，模擬視頻的數(shù)字化主要包括色彩空間的轉(zhuǎn)換、光柵掃描的轉(zhuǎn)

15、換以及分辨率的統(tǒng)一。 模擬視頻一般采用分量數(shù)字化方式，先把復(fù)合視頻信號(hào)中的亮度和色度分離，得到 yuv 或 yiq 分量，然后用三個(gè)模數(shù)轉(zhuǎn)換器對(duì)三個(gè)分量分別采樣并進(jìn)行數(shù)字化，最后再轉(zhuǎn)換成 rgb 空間。 1 、圖像子采樣 對(duì)彩色電視圖像進(jìn)行采樣時(shí)，可以采用兩種采樣方法。一種是使用相同的采樣頻率對(duì)圖像的亮度信號(hào)（ y ）和色差信號(hào)（ cr ， cb ）進(jìn)行采樣，另一種是對(duì)亮度信號(hào)和色差信號(hào)分別采用不同的采樣頻率進(jìn)行采樣。如果對(duì)色差信號(hào)使用的采樣頻率比對(duì)亮度信號(hào)使用的采樣頻率低，這種采樣就稱為圖像子采樣 (subsampling) 。由于人的視覺對(duì)亮度信號(hào)的敏感度高于對(duì)色差的敏感度，這樣做利用人的

16、視覺特性來(lái)節(jié)省信號(hào)的帶寬和功率，通過(guò)選擇合適的顏色模型，可以使兩個(gè)色差信號(hào)所占的帶寬明顯低于 y 的帶寬，而又不明顯影響重顯彩色圖像的觀看。 目前使用的子采樣格式有如下幾種： (1) 4:4:4 這種采樣格式不是子采樣格式，它是指在每條掃描線上每 4 個(gè)連續(xù)的采樣點(diǎn)取 4 個(gè)亮度 y 樣本、 4 個(gè)紅色差 cr 樣本和 4 個(gè)藍(lán)色差 cb 樣本，這就相當(dāng)于每個(gè)像素用 3 個(gè)樣本表示。 (2) 4:2:2 這種子采樣格式是指在每條掃描線上每 4 個(gè)連續(xù)的采樣點(diǎn)取 4 個(gè)亮度 y 樣本、 2 個(gè)紅色差 cr 樣本和 2 個(gè)藍(lán)色差 cb 樣本，平均每個(gè)像素用 2 個(gè)樣本表示。 (3) 4:1:1 這

17、種子采樣格式是指在每條掃描線上每 4 個(gè)連續(xù)的采樣點(diǎn)取4個(gè)亮度y樣本、1 個(gè)紅色差 cr 樣本和 1 個(gè)藍(lán)色差 cb 樣本，平均每個(gè)像素用 1.5 個(gè)樣本表示。 (4) 4:2:0 這種子采樣格式是指在水平和垂直方向上每 2 個(gè)連續(xù)的采樣點(diǎn)上取 2 個(gè)亮度 y 樣本、 1 個(gè)紅色差 cr 樣本和 1 個(gè)藍(lán)色差 cb 樣本，平均每個(gè)像素用 1.5 個(gè)樣本表示。 2 、 cif 、 qcif 和 sqcif 格式 為了既可用 625 行的電視圖像又可用 525 行的電視圖像， ccitt 規(guī)定了稱為公用中分辨率格式 cif(common intermediate format) ， 1/4 公用中

18、分辨率格式 (quarter-cif ， qcif) 和 (sub-quarter common intermediate format ， sqcif) 格式對(duì)電視圖像進(jìn)行采樣。 cif 格式具有如下特性： (1)電視圖像的空間分辨率為家用錄像系統(tǒng) (video home system ， vhs) 的分辨率，即 352288 。 (2)使用非隔行掃描 (non-interlaced scan) 。 (3)使用 ntsc 幀速率，電視圖像的最大幀速率為 30 000/100129.97 幅 / 秒。 (4)使用 1/2 的 pal 水平分辨率，即 288 線。 (5)對(duì)亮度和兩個(gè)色差信號(hào) (

19、y 、cb和cr) 分量分別進(jìn)行編碼，它們的取值范圍同 itu-r bt.601 。即黑色 =16 ，白色 =235 ，色差的最大值等于 240 ，最小值等于 16 。 下面為 5 種 cif 圖像格式的參數(shù)說(shuō)明。參數(shù)次序?yàn)?“ 圖象格式 亮度取樣的象素個(gè)數(shù) (dx) 亮度取樣的行數(shù) (dy) 色度取樣的象素個(gè)數(shù) (dx/2) 色度取樣的行數(shù) (dy/2)” 。 sub-qcif 128 96 64 48 qcif 176 144 88 72 cif 352 288 176 144 4cif 704 576 352 288 16cif 1408 1152 704 576 h.263 數(shù)字視頻壓

20、縮 一、視頻壓縮編碼的基本概念 視頻壓縮的目標(biāo)是在盡可能保證視覺效果的前提下減少視頻數(shù)據(jù)率。視頻壓縮比一般指壓縮后的數(shù)據(jù)量與壓縮前的數(shù)據(jù)量之比。 在視頻壓縮中常需用到以下的一些基本概念： 1 有損和無(wú)損壓縮：在視頻壓縮中有損（ lossy ）和無(wú)損（ lossless ）的概念與靜態(tài)圖像中基本類似。無(wú)損壓縮也即壓縮前和解壓縮后的數(shù)據(jù)完全一致。有損壓縮意味著解壓縮后的數(shù)據(jù)與壓縮前的數(shù)據(jù)不一致。在壓縮的過(guò)程中要丟失一些人眼和人耳所不敏感的圖像或音頻信息，而且丟失的信息不可恢復(fù)。丟失的數(shù)據(jù)率與壓縮比有關(guān)，壓縮比越小，丟失的數(shù)據(jù)越多，解壓縮后的效果一般越差。此外，某些有損壓縮算法采用多次重復(fù)壓縮的方式

21、，這樣還會(huì)引起額外的數(shù)據(jù)丟失。 2 幀內(nèi)和幀間壓縮：幀內(nèi)（ intraframe ）壓縮也稱為空間壓縮（ spatial compression ）。當(dāng)壓縮一幀圖像時(shí)，僅考慮本幀的數(shù)據(jù)而不考慮相鄰幀之間的冗余信息，這實(shí)際上與靜態(tài)圖像壓縮類似。幀內(nèi)壓縮一般達(dá)不到很高的壓縮。 采用幀間（ interframe ）壓縮是基于許多視頻或動(dòng)畫的連續(xù)前后兩幀具有很大的相關(guān)性，或者說(shuō)前后兩幀信息變化很小的特點(diǎn)。也即連續(xù)的視頻其相鄰幀之間具有冗余信息，根據(jù)這一特性，壓縮相鄰幀之間的冗余量就可以進(jìn)一步提高壓縮量，減小壓縮比。幀間壓縮也稱為時(shí)間壓縮（ temporal compression ），它通過(guò)比較時(shí)間軸

22、上不同幀之間的數(shù)據(jù)進(jìn)行壓縮。幀間壓縮一般是無(wú)損的。 3 對(duì)稱和不對(duì)稱編碼：對(duì)稱性（ symmetric ）是壓縮編碼的一個(gè)關(guān)鍵特征。對(duì)稱意味著壓縮和解壓縮占用相同的計(jì)算處理能力和時(shí)間，對(duì)稱算法適合于實(shí)時(shí)壓縮和傳送視頻，如視頻會(huì)議應(yīng)用就以采用對(duì)稱的壓縮編碼算法為好。不對(duì)稱或非對(duì)稱意味著壓縮時(shí)需要花費(fèi)大量的處理能力和時(shí)間，而解壓縮時(shí)則能較好地實(shí)時(shí)回放，也即以不同的速度進(jìn)行壓縮和解壓縮。一般地說(shuō)，壓縮一段視頻的時(shí)間比回放（解壓縮）該視頻的時(shí)間要多得多。 二、 h.263 壓縮編碼格式 1 h.263 壓縮編碼格式 h.263 視頻編碼標(biāo)準(zhǔn)是專為中高質(zhì)量運(yùn)動(dòng)圖像壓縮所設(shè)計(jì)的低碼率圖像壓縮標(biāo)準(zhǔn)。 h.2

23、63 采用運(yùn)動(dòng)視頻編碼中常見的編碼方法，將編碼過(guò)程分為幀內(nèi)編碼和幀間編碼兩個(gè)部分。 i 幀內(nèi)用改進(jìn)的 dct 變換并量化，在幀間采用 1/2 象素運(yùn)動(dòng)矢量預(yù)測(cè)補(bǔ)償技術(shù)，使運(yùn)動(dòng)補(bǔ)償更加精確，量化后適用改進(jìn)的變長(zhǎng)編碼表（ vlc ）地量化數(shù)據(jù)進(jìn)行熵編碼，得到最終的編碼系數(shù)。 2 h.263 幀類型 a 內(nèi)碼幀（ i 幀）不能由任何其它幀構(gòu)造出來(lái)，包含所有可顯示它的信息。 i 幀編碼過(guò)程： 每個(gè)光亮度和色差平面被分成 8 8 的塊 各塊使用 dct 轉(zhuǎn)換成頻率域 利用量化表進(jìn)行量化。 對(duì)各塊中最重要系數(shù)序列（ dc 系數(shù)）用 dpcm 技術(shù)進(jìn)行編碼，且僅編碼兩個(gè)相鄰 dc 值的差 各塊中的系數(shù)是按鋸

24、齒形次序進(jìn)行行程編碼 最后進(jìn)行類哈夫曼編碼 預(yù)測(cè)幀（ p 幀）：由前面的幀構(gòu)造所得。 p 幀編碼： p 幀編碼過(guò)程： 在基準(zhǔn)幀中對(duì)每個(gè)宏塊均查找其最佳匹配宏塊 計(jì)算實(shí)際宏塊和最佳匹配宏塊的差，作為運(yùn)動(dòng)向量 誤差項(xiàng)用 dct 進(jìn)行轉(zhuǎn)換 接著進(jìn)行量化步，形成 “ 鋸齒形次序 ” 行程編碼，最后進(jìn)行類哈夫曼平均信息量編碼。注意量化表與 i 幀所用的不同， dc 系數(shù)的編碼與其他系數(shù)的編碼方式相同 3 h.263 特點(diǎn) 與 h.261 的 p64k 的傳輸碼率相比， h.263 的碼率更低，單位碼率可以小于 64k ，且支持的原始圖像格式更多，包括了在視頻和電視信號(hào)中常見的 qcif ， cif ， edtv ， itu r 601 ， itu r 709 等等。 h.263 的編碼速度快，其設(shè)計(jì)編碼延時(shí)不超過(guò) 150ms ；碼率低，在 512 k 乃至 384k 帶寬下仍可得到相當(dāng)滿意的圖像效果，十分適用于需要雙向編解碼并傳輸?shù)膱?chǎng)合（如 :