多媒體技術(shù)第四講

多媒體技術(shù)第四講第一頁，共四十五頁，編輯于2023年，星期五圖象與視覺人們獲得的信息70%來自視覺,20%來自聽覺.Imageandvideohaveverylargedatavolume.認(rèn)識視覺處理色彩的方法以及彩色圖象處理的特點.可見光波長:

波長從長到短:紅橙黃綠青藍紫單色光:具有單一波長成分復(fù)合光:具有兩種以上波長成分相對視敏函數(shù):

在相同輻射功率下,不同波長光不僅給人不同色彩感覺,而且給人不同亮度感覺.第二頁，共四十五頁，編輯于2023年，星期五三基色原理:自然界常見的各色光都可以由紅,綠,藍三種色光按不同比例相配而成,而大多數(shù)色光也可以分解成紅,綠,藍三種色光.三基色選擇不是唯一的,但三基色必須相互獨立.三基色原理使彩色影像的攝錄,傳送和復(fù)現(xiàn)成為可能.相加混色和相減混色.彩色空間的線性變換標(biāo)準(zhǔn)RGB盡管是最簡單扼要和直觀的彩色圖象表達方法,但不是最有效率的方法.其它彩色空間變換:YIQ,YUV,YCrCb它們都由一種亮度分量信號和兩種色度分量信號構(gòu)成.最終所有顯示器都由RGB驅(qū)動,因此要逆變換.第三頁，共四十五頁，編輯于2023年，星期五第四頁，共四十五頁，編輯于2023年，星期五分辨率,像素深度,真/偽彩色,圖象表示法

1)分辨率顯示器分辨率:顯示屏上能夠顯示的像素數(shù)目(dotpitch,0.28mm).圖象分辨率:組成一幅圖象的像素密度(DPI).

2)像素深度

存儲每個像素所用的位數(shù)(8位RGB的深度為24,如果用32位表示一個像素,另8位為屬性值,用于覆蓋和疊加等操作).

3)真彩色和偽彩色真彩色:像素值直接對應(yīng)顯示設(shè)備的基色強度.偽彩色:像素值作為彩色查找表的表項入口地址,查出的RGB強度值產(chǎn)生的彩色.第五頁，共四十五頁，編輯于2023年，星期五

4)矢量圖和點位圖矢量圖:用一系列函數(shù)和參數(shù)表示一幅圖,即用數(shù)學(xué)方法描述一幅圖,主要用于計算機圖形學(xué).優(yōu)點是對圖象管理和變換操作非常方便,缺點是當(dāng)圖象復(fù)雜時,難以用數(shù)學(xué)方式描述,而且繪圖很費時.點位圖:把圖象分成許多像素并排列成陣列.矢量圖容易轉(zhuǎn)成點位圖,反之很難.

5)灰度圖和彩色圖第六頁，共四十五頁，編輯于2023年，星期五二值圖像:第七頁，共四十五頁，編輯于2023年，星期五灰度圖像—每個像素點用8bit來表示第八頁，共四十五頁，編輯于2023年，星期五真彩色圖像第九頁，共四十五頁，編輯于2023年，星期五帶調(diào)色板的彩色圖像012345674302174537652211調(diào)色板

圖像

像素點數(shù)值

第十頁，共四十五頁，編輯于2023年，星期五圖象編碼與壓縮圖象采集與量化思想和方法與聲音的采集和量化完全一樣.一般采用均勻采樣和線性/非線性量化.思考題:在n級量化中,如何計算最優(yōu)量化值?第十一頁，共四十五頁，編輯于2023年，星期五圖像二維采樣第十二頁，共四十五頁，編輯于2023年，星期五量化—幅度上采樣標(biāo)量量化—將數(shù)軸分割成一個個區(qū)間，各個不同區(qū)間中的數(shù)值用不同的數(shù)值來表示。在已知數(shù)值分布密度函數(shù)的情況下，設(shè)計均勻量化器比較簡單；但對于設(shè)計非均勻量化器則較復(fù)雜。矢量量化—將高維空間分割成不同的區(qū)域，各個區(qū)域用一個向量表示。較典型算法是K-means算法。第十三頁，共四十五頁，編輯于2023年，星期五彩色圖像量化均勻量化算法(uniform)流行色算法(populosity)中位切分算法(mediancut)第十四頁，共四十五頁，編輯于2023年，星期五原始真彩色圖像第十五頁，共四十五頁，編輯于2023年，星期五均勻量化算法原始圖像有種顏色現(xiàn)需要從中選取256種顏色，假設(shè)選取8種紅顏色，8種綠顏色和4種藍顏色。將原來的紅顏色除以32，綠顏色除以32，藍顏色除以64，就可以得到均勻量化后的彩色圖像。量化后彩色圖像通常帶調(diào)色板。第十六頁，共四十五頁，編輯于2023年，星期五均勻量化后結(jié)果第十七頁，共四十五頁，編輯于2023年，星期五流行色算法需要構(gòu)建彩色直方圖—統(tǒng)計每一種顏色在圖像中出現(xiàn)的頻率。選取n種最常出現(xiàn)的顏色，然后將其它顏色映射到最相近的顏色上去?？赡軙霈F(xiàn)比較重要的顏色丟失。如圖中球的藍顏色。第十八頁，共四十五頁，編輯于2023年，星期五流行色算法的結(jié)果第十九頁，共四十五頁，編輯于2023年，星期五中位切分算法同樣需要知道圖像中顏色的分布情況。在RGB空間找出最長的顏色軸來，然后不斷遞歸中分顏色軸，將位于中間的顏色選取出來，直到滿了所需顏色的種類。這種算法比較適合用樹形結(jié)構(gòu)來表示。第二十頁，共四十五頁，編輯于2023年，星期五中位切分算法的結(jié)果第二十一頁，共四十五頁，編輯于2023年，星期五關(guān)于壓縮的幾個概念:1)圖象熵和平均碼字長度設(shè)圖象像素灰度級集合為其中對應(yīng)的概率分別為則圖象熵為:平均碼長度:其中為灰度級所對應(yīng)的碼字的長度.第二十二頁，共四十五頁，編輯于2023年，星期五2)編碼效率:3)壓縮比:第二十三頁，共四十五頁，編輯于2023年，星期五預(yù)測編碼它是根據(jù)過去時刻的樣本序列,運用一種模型預(yù)測當(dāng)前的樣本值,預(yù)測編碼是對預(yù)測誤差進行編碼,當(dāng)預(yù)測比較準(zhǔn)確,即誤差較小時,就可達到編碼壓縮的目的.(和DPCM的關(guān)系)輸入+量化器編碼器+預(yù)測器輸出第二十四頁，共四十五頁，編輯于2023年，星期五1.線性預(yù)測編碼要達到最佳壓縮效果,要求預(yù)測系數(shù)在均方誤差最小準(zhǔn)則下最優(yōu),即:針對圖象壓縮的簡化預(yù)測公式:(不止一種)第二十五頁，共四十五頁，編輯于2023年，星期五2.非線性預(yù)測編碼線性預(yù)測的基礎(chǔ)是假設(shè)圖象全域為平穩(wěn)的隨機過程,即自相關(guān)系數(shù)與像素在域中位置無關(guān).而事實上圖象往往是起伏不定,被預(yù)測像素和周圍像素的關(guān)系不是固定的,因此線性預(yù)測忽視了像素的個性特征.非線性預(yù)測考慮圖象的全局統(tǒng)計特征和個別變化,盡量使預(yù)測系數(shù)與圖象所處的局部特征相匹配,預(yù)測系數(shù)隨預(yù)測環(huán)境而變,使壓縮比更高.非線性預(yù)測的基本原理和過程:設(shè)圖象信號為m階Markov序列,當(dāng)前像素的鄰近像素按其與的距離排列,鄰近像素為,那么當(dāng)前像素的預(yù)測值可以用鄰近像素的聯(lián)合概率密度表示:第二十六頁，共四十五頁，編輯于2023年，星期五全幀圖象非線性預(yù)測的均方誤差為:第二十七頁，共四十五頁，編輯于2023年，星期五正交變換編碼(OrthogonalTransformCoding)從理論上講正交變換本身不能對圖象數(shù)據(jù)進行壓縮,但正交變換改變了圖象數(shù)據(jù)的表現(xiàn)域或表現(xiàn)形式,為某些壓縮方法提供了可能.原始圖象輸入二維正交變換量化編碼信道傳輸解碼逆變換第二十八頁，共四十五頁，編輯于2023年，星期五統(tǒng)計表明在變換域中絕大部分能量集中在低頻部分,編碼中如果略去那些能量很小的高頻部分,或者給高頻分量分配合適的比特數(shù)可明顯減少數(shù)據(jù)量.第二十九頁，共四十五頁，編輯于2023年，星期五正交變換編碼技術(shù)正交變換往往要將一幅圖象劃分成若干正方形的圖象子塊進行.子塊小:計算量小,硬件實現(xiàn)容易,但是均方誤差大,在允許同樣失真度下壓縮比小.一般取8*8或16*16對變換系數(shù)矩陣編碼一般采用下面三種常用方法:a)區(qū)域編碼:選擇能量集中區(qū)進行編碼,舍棄能量小的區(qū)域.b)閾值編碼:區(qū)域編碼中區(qū)域是預(yù)先設(shè)定的,但如對變換域內(nèi)能量分布不十分清楚,就要根據(jù)系數(shù)的幅度進行編碼.c)混合編碼:預(yù)測編碼+變換編碼,在行方向作變換編碼,變換后的系數(shù)陣列在列方向預(yù)測編碼.

第三十頁，共四十五頁，編輯于2023年，星期五輪廓編碼

(ContourCoding)任何一幅圖像,總存在若干具有相同灰度登記的圖像區(qū)域.如果我們運用一定的規(guī)則將它們的邊界跡線記錄下來,就等于記錄了這些區(qū)域,而所用的比特數(shù)則遠少于逐個像素描述法.輪廓編碼就是一種基于上述想法的利用像素的空間坐標(biāo)及其灰度值來壓縮圖像信息的編碼技術(shù).1)將圖像陣列中所有像素都標(biāo)志為非輪廓記號.2)尋找某一輪廓的第一個像素,然后從該點出發(fā)尋找完整的輪廓.3)找出所有的輪廓.4)對描述輪廓的屬性序列進行編碼.第三十一頁，共四十五頁，編輯于2023年，星期五JPEG(JointPhotographicExpertsGroup)用于灰度和彩色靜態(tài)圖象壓縮,它以DCT為基礎(chǔ)的有損壓縮和以RLE和Huffman為代表的無損編碼技術(shù)實現(xiàn)壓縮.JPEG的基本過程:1)DCT:spatialspacetofrequencyspace2)Quantization:對頻率系數(shù)進行量化,采用均勻量化器,但量化步距是按照系數(shù)所在位置和每種顏色分量的色調(diào)值來確定,因為人對低頻分量和顏色更敏感些.3)Z字形編碼(zigzagscan):把低頻系數(shù)放在頂部,造成增加連續(xù)1或0的概率.4)使用DPCM對直流系數(shù)(DC)進行編碼,因為相鄰子塊之間的DC變化不大.

第三十二頁，共四十五頁，編輯于2023年，星期五5)使用行程長度編碼(RLE:Run-Length-Encoding)對交流系數(shù)(AC)進行編碼.由于8*8子塊中含有大量“0”系數(shù),JPEG用高4位表示連續(xù)“0”的個數(shù),用低4位表示編碼下一個非“0”系數(shù)所需要的位數(shù),跟在后面的是量化AC系數(shù)的數(shù)值.6)EntropyCoding:進一步對DPCM和RLE編碼后的數(shù)據(jù)進行壓縮,其中Hoffman方法最常用.7)組成數(shù)據(jù)流:加入各種標(biāo)記代碼,便于交換和譯碼.即形成標(biāo)準(zhǔn)格式文件.第三十三頁，共四十五頁，編輯于2023年，星期五第三十四頁，共四十五頁，編輯于2023年，星期五離散余弦變換(DCT)在JPEG圖像編碼標(biāo)準(zhǔn)中一般情況下基于8x8DCT變換。第三十五頁，共四十五頁，編輯于2023年，星期五N=8余弦變換矩陣第三十六頁，共四十五頁，編輯于2023年，星期五一維N=8余弦變換的基函數(shù)第三十七頁，共四十五頁，編輯于2023年，星期五二維N=8余弦變換的基函數(shù)第三十八頁，共四十五頁，編輯于2023年，星期五圖像Lena余弦變換的結(jié)果(N=4)第三十九頁，共四十五頁，編輯于2023年，星期五JEREMY

S.

DE

BONET

:

DEBLOCKING

JPEG

IMAGES第四十頁，共四十五頁，編輯于2023年，星期五第四十一頁，共四十五頁，編輯于2023年，星期五多媒體信息的安全措施水印技術(shù)加密技術(shù)—這種技術(shù)在信息被解密之后就失去保護措施。第四十二頁，共四十五頁，編輯于2023年，星期五水印技術(shù)中幾對相互矛盾的關(guān)系第四十三頁，共四十五頁，編輯于2023年，星期五一般信息隱藏嵌入