多媒體技術量化和變換編碼和預測編碼

1、本單元的內容量化變換編碼預測編碼1本單元的內容量化變換編碼預測編碼2一個典型的信號壓縮系統(tǒng)如圖所示為什么要量化3一個典型的信號壓縮系統(tǒng)如圖所示。為什么要量化通過時間軸上采樣和幅度量化將連續(xù)信號變成離散數(shù)字信號4一個典型的信號壓縮系統(tǒng)如圖所示。為什么要量化通過時間軸上采樣和幅度量化將連續(xù)信號變成離散數(shù)字信號5一個典型的信號壓縮系統(tǒng)如圖所示。為什么要量化通過變換將信號的能量集中在少數(shù)幾個變換系數(shù)上去除信號中的相關性6一個典型的信號壓縮系統(tǒng)如圖所示。為什么要量化信號壓縮真正體現(xiàn)在量化階段 7一個典型的信號壓縮系統(tǒng)如圖所示。為什么要量化一般先是行程編碼，然后Huffman編碼或算術編碼進一步提高壓縮比

2、 8量化之前需要規(guī)定量化級，比如8級，16級等量化時將取樣值與量化級比較，若取樣值在某個量化級的覆蓋區(qū)間之內，則規(guī)定它取這個量化級的代表值，我們稱其為碼字。 一個量化器只能取有限多個量化級，從而量化過程不可避免地會引起量化誤差。量化原理9量化器定義 設編碼操作在Rk上進行，X為在Rk上給定了概率分布函數(shù)的一個隨機向量。x為X的取值。A是隨機向量取值空間，則A的一個N級量化器Q=Y, 由以下三部分組成：碼本集： 對A的分割： 由下式定義的映射： 在以上定義中，當k 1時，所定義的是向量量化器；當k = 1時，即為標量量化器。 10例如：碼本集：Y = y1,y2,yN 分割 依Y將R劃分為N個子

3、空間R1, R2, , RN，且 Ri的區(qū)間表示為Ri=xi, xi+1), i = 1, 2, , N 產(chǎn)生的量化誤差定義為 量化器定義 11量化可以分為兩類： (1) 標量量化：輸入信號的所有分量使用同一個量化器進行量化，每個分量的量化都和其它分量無關，也稱為零記憶量化。 (2)矢量量化：從碼本集合中選出最適配于輸入信號的一個碼字作為輸入信號的近似，這種方法以輸入信號與選出的碼字之間失真最小為依據(jù)。 矢量量化與標量量化相比有更大的數(shù)據(jù)壓縮能力。 矢量量化也可以與其他的編碼方法一同使用。 矢量量化常常是與變換編碼相結合使用，在圖像進行變換之后，按一定方式形成多維向量組，然后到碼本中尋找最佳碼

4、字。 量化分類 12標量量化標量量化: 均勻量化 （恒定量化步長） 非均勻量化（量化步長可變）帶死區(qū)的量化： 當 稱 為死區(qū) 13均勻量化標量量化14標量量化的輸入/輸出特性采用階梯形函數(shù)的形式 帶死區(qū)的量化器標量量化非帶死區(qū)的量化器15輸出代表點集Y = y1,y2,yN 存在一種最優(yōu)分割依Y將R劃分為N個子空間R1, R2, , RN，且 Ri的區(qū)間表示為Ri=xi, xi+1）, i = 1, 2, , N 如果是最優(yōu)的，yi是Ri的質心。標量量化是將區(qū)間上的點映射為質心的操作， 產(chǎn)生的量化誤差定義為 最優(yōu)標量量化器定義 16均方誤差為 最優(yōu)量化是使 最小，就可得如下解： （1）（2）是

5、非線性方程組， Lloyd給出了一種迭代法，給出了數(shù)值解。當均勻分布時，就構成了最優(yōu)均勻標量量化器： 最優(yōu)標量量化17 LBG算法18LBG算法希望設計一個具有K維N碼字的碼本空間的向量量化器，給出一個初始碼本 其對應的量化器記為Q0若能找到一種新的碼本 其對應的量化器記為Q1。則稱量化器被優(yōu)化了一次。 重復這個過程我們去尋找Y2, Y3, , Ym19初始化，給定N, 0，假設初始碼本及訓練集分別為 對于，對 訓練集進行劃分，將訓練集分為如果停止，并令 為最終碼本令 形成新的碼本 否則繼續(xù)。劃分的原理為 :轉向2）其中 是 中矢量的個數(shù) LBG算法如果 那么 并計算20LBG算法的局限性最優(yōu)

6、量化器是對于訓練向量集而言的，對于實際的未經(jīng)訓練的輸入向量是否還是最優(yōu)的卻很難說，這要依賴于訓練向量集的代表性到底真實到何種程度。 由于優(yōu)化分割的過程并沒有依據(jù)什么數(shù)據(jù)結構方面的規(guī)則或限制，而是自由進行，這就使得對碼本進行有效組織時遇到了極大的困難。在某些情況下根本無法找到真正具有代表性的訓練向量集。 21用LBG算法對Lenna圖像進行向量量化的結果，壓縮后PSNR = 25.21dB 22本單元的內容量化變換編碼預測編碼23為什么變換變換是信號實現(xiàn)時域和變換域(頻域)映射關系的運算通常經(jīng)正變換將信號在變換域分解，然后由反變換重建信號：當 有當，有24為什么變換變換的本質就是將信號在一組基函

7、數(shù)上投影，得到一組投影值，即信號的變換域表達。變換的目的就是將一個實際的物理信號分解為變換域(頻域)上有限的或無限的小的信號“細胞”，以便了解信號的性質，提取信號的有用信息25現(xiàn)有圖像/視頻編碼國際標準的基本框架都是采用預測、變換、熵編碼等技術將圖像/視頻信號壓縮成一定碼率的碼流，其核心技術之一是變換。變換是對信號改造和加工的過程，它有助于去除信號中冗余（相關性）和實現(xiàn)信號能量集中，正是圖像/視頻編碼技術的理論基礎。實際應用中通常采用正交變換。為什么變換26圖像/視頻壓縮處理中常用的變換包括： 離散傅里葉變換 DFT 離散余弦變換 DCT KarhunenLoeve變換 KL 離散小波變換KL

8、變換由于去除信號中的相關性最徹底，因而被稱為“最佳變換”。但KL變換的基是不固定的，需要存儲變換基，計算復雜性高，使得KL變換的應用不現(xiàn)實。為什么變換27為什么變換圖像/視頻壓縮處理中常用的變換人們發(fā)現(xiàn)在信號滿足一階馬爾科夫過程時，DCT是KL變換的很好的逼近。DCT有固定的基與明確的物理含義，使得DCT廣泛應用于圖像/視頻壓縮，成了變換編碼的主要工具。靜止圖像壓縮編碼的國際標準JPEG和視頻編碼標準H.264都采用了DCT變換編碼 28為什么變換變換通過將信號的能量集中在少數(shù)變換系數(shù)上給出信號的緊致表達，便于后續(xù)的壓縮處理。對于圖像而言，采用符合人的視覺系統(tǒng)特征的量化方式，大多數(shù)高頻系數(shù)在量

9、化后會很小或者為零，量化后的變換系數(shù)矩陣變成了一個稀疏矩陣。選擇適當?shù)膾呙璺绞綄⒍S矩陣表示的系數(shù)表示為一維向量，使得一維向量表示的系數(shù)具有零系數(shù)連續(xù)出現(xiàn)的特點，這樣通過行程編碼可以得到高壓縮比。29 KarhunenLoeve（KL）變換以圖像統(tǒng)計特性為基礎的一種正交變換，也稱為特征向量變換或主分量變換KL變換的目的：去圖像的相關性相關性：用協(xié)方差矩陣度量以下圖像為例描述KL的算法 KL變換30KL變換 一幅256256圖像分成1024個88的塊 每個88的塊按照行（或列）的順序排成一個64維 的向量 向量 的維數(shù) 定義隨機向量 使得其取值范圍為 31KL變換 KL正變換 KL逆變換 A是正

10、交矩陣，mx是向量X的平均值 32KL變換 KL正變換 KL逆變換 A是正交矩陣，mx是向量X的平均值 如何選取A33向量X的協(xié)方差矩陣34為 Cx的特征向量和相應的特征值，特征向量已正交化處理A的定義實對稱矩陣可正交相似對角陣，Cx是實對稱矩陣35不妨將特征值按照遞減的順序排列降維重構的誤差？原圖像的重構（無損）原圖像的降維重構（有損）36KL變換說明Y向量的協(xié)方差矩陣Cy非對角線元素是協(xié)方差，協(xié)方差為零，表示向量分量間的相關性甚小，X向量的協(xié)方差矩陣Cx非對角線元素非零，說明相關強。37KL變換說明KL變換后能量高度集中，壓縮效果明顯；KL變換是在最小方差意義下最優(yōu)。主要缺點： KL變換的

11、矩陣計算復雜，該矩陣不是固定不變的，而是隨著輸入圖像的不同而改變, 沒有通用的變換矩陣和快速算法38 正變換 U=Tu 反變換 u=T-1u=UTu正交變換的特性39定義是 的 標準正交基對于 有正交變換的特性40定義是 的 標準正交基對于 有正交變換的特性41定義是 的 標準正交基對于 有？正交變換的特性42對于 有正交變換的特性43正交變換的特性 正變換 反變換 44正變換逆變換45常用的正交變換46余弦（DCT）變換 47偶延拓余弦（DCT）變換 48其中偶函數(shù)，正弦項 相互抵消余弦（DCT）變換 49余弦（DCT）變換 50考慮基底的標準化和正變換和逆變換的對稱性正變換逆變換51考慮基

12、底的標準化和正變換和逆變換的對稱性正變換逆變換基向量52垂直方向水平方向二維可分離變量的正交變換可分離變量變換通過分別對圖像塊列和行實施一維變換實現(xiàn)53垂直方向水平方向可分離變量變換通過分別對圖像塊列和行實施一維變換實現(xiàn)二維可分離變量的正交變換轉置后繼續(xù)對列實施變換相當于對行實施變換54垂直方向水平方向可分離變量變換通過分別對圖像塊列和行實施一維變換實現(xiàn)二維可分離變量的正交變換是正交矩陣55垂直方向水平方向可分離變量變換通過分別對圖像塊列和行實施一維變換實現(xiàn)二維可分離變量的正交變換基圖像表達形式56列向量行向量二維可分離變量的正交變換可分離變量變換的基圖像表達的一般形式：其中：57二維可分離變

13、量的正交變換可分離變量變換的基圖像表達的一般形式：58二維可分離變量的正交變換可分離變量變換的基底（基圖像）可分離變量變換的基圖像表達的一般形式：59離散余弦變換(DCT)編碼X的離散余弦變換(DCT)為Y, X ,Y是N N 塊.逆變換IDCT正變換FDCT逆變換有形式60Example: N = 4對于44的 DCT變換，變換矩陣 A :離散余弦變換(DCT)編碼61Example Calculating the DCT ofX is 44 block of samples from an image:離散余弦變換(DCT)編碼62余弦變換基圖像44 DCT Basis patterns8

14、 8 DCT Basis patterns離散余弦變換(DCT)編碼63DCT transform離散余弦變換(DCT)編碼64Reconstructed block變換后圖像塊的能量保持不變，并且圖像塊的能量集中在DC和低頻部分，當只保留DC系數(shù)時，其他系數(shù)均設為0，逆變換重構的圖像的每個像素值是原圖像塊的均值，重構的結果如圖(a)所示，當只保留兩個重要系數(shù)，其他系數(shù)均設為0時，重構結果為圖(b)，圖(c)和圖(d)是保留3個重要系數(shù)和5個重要系數(shù)重構的結果。圖(a)到 圖(d)，重構的圖像塊越來越逼近原圖像塊。離散余弦變換(DCT)編碼65原是圖像數(shù)據(jù)變換系數(shù)后的量化表量化后的結果離散余弦

15、變換(DCT)編碼6667JPEG (Joint Photographic Experts Group)是1986年制定的國際靜態(tài)圖像壓縮標準，采取的核心壓縮算法是DCT算法（Discrete Cosine Transform)。 離散余弦變換(DCT)編碼68DCT算法在歷史上起到了很重要的作用，一幅640480的彩色圖像，大小為3640480921，600BYTE，使用64K/S的ISDN網(wǎng)絡進行傳輸，大約需要1.9分鐘。JPEG壓縮后大約38，400 BYTE,傳輸只需要4.8秒。離散余弦變換(DCT)編碼69這是512512的lena灰度圖像，在JPEG壓縮100倍后成像，已經(jīng)在一定程

16、度意義上失去了應用價值 70盡管JPEG算法在過去和現(xiàn)在很多領域還發(fā)揮者巨大作用，但由于算法是將整體圖像分割成小塊（88或1616)進行變換，當壓縮比高時由于數(shù)據(jù)損失，在塊與塊 之間就會出現(xiàn)分割的現(xiàn)象： 離散余弦變換(DCT)編碼JPEG算法的問題71本單元的內容量化變換編碼預測編碼72預測編碼：根據(jù)某一模型，利用信號以往的樣本值對新樣本值進行預測 , 對預測誤差進行編碼。對于相關性較強的信號，如果建立合適的模型, 誤差信號的幅值將遠遠小于原始信號,從而可以用較少的電平類對其誤差信號量化得到較大的數(shù)據(jù)壓縮效果。 預測編碼基本原理73問題：能否精確地預測數(shù)據(jù)源輸出？ 答案 ： 否 數(shù)據(jù)源是不確定

17、的幾乎沒有一個實際的系統(tǒng)能找到可以精確預測輸出的模型 能找到的最優(yōu)預測模型是以某種最小誤差意義下的預測模型。 預測編碼基本原理74對于靜止圖像，由于相鄰像素具有很強的相關性，這樣當前像素的灰度（顏色）值可用前面已經(jīng)出現(xiàn)的像素值進行預測，得到一個預測值，對實際值與預測值的差值進行編碼，對于視頻信號，圖像幀間的相關性具有很強的相關性，通過幀間預測，對殘差圖像編碼。預測編碼是當今主流技術并且還會流行于未來。預測編碼基本原理75預測編碼PCM脈沖編碼調制PCM（pulse code modulation） 輸入是模擬信號，輸出是PCM樣本，低通濾波器可以濾除掉指定頻帶以外的信號，波形濾波器可以理解為采

18、樣器。76預測編碼PCMPCM 理論完善、研究最早、應用最廣泛的編碼技術，主要應用于語音通信。對于圖像信號 灰度圖像： 量化級別為256 ，8位的PCM編碼 彩色圖像： R,G,B或 Y,U,V彩色信號分別以8位 的PCM 編碼77預測編碼 DPCM差分脈沖編碼調制 DPCM （Differential pulse code modulation）是預測編碼方法中最主要的方法78預測編碼 DPCMDPCM工作原理 源信號 預測信號 誤差信號 量化 量化產(chǎn)生的誤差 79預測編碼 DPCMDPCM工作原理 理想系統(tǒng)重建信號信號的重建誤差=量化誤差 當解碼器能精確地獲得預測信號時80預測編碼 DPCM 實際系統(tǒng)