圖像通信復(fù)習(xí).ppt

復(fù)習(xí)課 第一章圖像與數(shù)字圖像通信 數(shù)字圖像 像素為最小存儲(chǔ)單位 像素的取值 圖像信號(hào)的數(shù)學(xué)表達(dá)式I f x y z t 數(shù)字圖像通信系統(tǒng)的組成人眼的視覺特性 眼的適應(yīng)性 對(duì)比靈敏度 馬赫 Mach 帶 圖像的三基色 RGB亮度 色調(diào) 飽和度含義圖像的彩色模型 RGB YCbCr模型 第二章圖像分析與正交變換 圖像的數(shù)字化的過程采樣 量化定義采樣 量化對(duì)圖像質(zhì)量影響 采樣間隔 量化級(jí)數(shù) 二維采樣定理 非均勻量化特點(diǎn)圖像信號(hào)正交變換性質(zhì)DFT DCT頻譜特點(diǎn)圖像的統(tǒng)計(jì)特性 空間域 頻域 差值信號(hào) 第三章圖像壓縮編碼 圖像壓縮編碼分類 冗余度壓縮方法 無(wú)損壓縮 信息量壓縮方法 有損壓縮 壓縮編碼分類 統(tǒng)計(jì)編碼 無(wú)損編碼 有損編碼 游程編碼 Huffman編碼 算術(shù)編碼 主要分兩大類 LZW字典編碼 預(yù)測(cè)編碼 變換編碼 DFTDCTK L變換 香農(nóng)編碼 第三章圖像壓縮編碼 可變長(zhǎng)編碼定義熵計(jì)算描述圖像壓縮性能的指標(biāo) 壓縮比 平均碼字長(zhǎng)度 編碼效率 冗余度 計(jì)算HUFFMAN編碼計(jì)算二維行程長(zhǎng)度編碼計(jì)算算術(shù)編碼計(jì)算LZW編碼計(jì)算 Huffman編碼方法 概率統(tǒng)計(jì) 如對(duì)一幅圖像作灰度信號(hào)統(tǒng)計(jì) 得到n個(gè)不同概率的灰度信息符號(hào) 將n個(gè)灰度信息符號(hào)出現(xiàn)的概率由大到小排序 概率相同的可以任意放 將兩個(gè)最小概率相加 概率個(gè)數(shù)減為n 1個(gè) 形成新的概率集合 再按第 步方法重排 如此重復(fù)直到僅有兩個(gè)概率為止 分配碼字 原則為從最后一步開始反向進(jìn)行 以二進(jìn)制碼元 0 1 賦值 構(gòu)成Huffman碼字 基本原理 將具有相同灰度值的連續(xù)串用其串長(zhǎng) 行程長(zhǎng)度 和一個(gè)代表灰度值來代替 將行程長(zhǎng)度和代表灰度值組合在一起構(gòu)成行程對(duì) 作為輸入的碼元進(jìn)行編碼 行程長(zhǎng)度編碼 游程長(zhǎng)度編碼本質(zhì)上說就是計(jì)算圖像信號(hào)出現(xiàn)行程長(zhǎng)度 然后將行程長(zhǎng)度轉(zhuǎn)換為代碼 二維行程長(zhǎng)度關(guān)鍵是進(jìn)行二維Z形掃描排序 使像素之間關(guān)系變成一維的鄰接關(guān)系 算術(shù)編碼 基本原理 假設(shè)一個(gè)信源的概率模型 根據(jù)該信源的概率模型 一般把一個(gè)信源集合表示為實(shí)數(shù)線上的0至1間的一個(gè)區(qū)間 這集合中每個(gè)元素用來縮短這個(gè)區(qū)間 信源集合的元素越多 信息越長(zhǎng) 編碼表示所得區(qū)間間隔越小 表示這一間隔所需二進(jìn)制位就越多 碼字越長(zhǎng) 這就是區(qū)間作為代碼的原理 給出一組關(guān)系式為 StartN StartB LeftC LEndN StartB RightC L式中StartN為新子區(qū)間的起始位置 EndN為新子區(qū)間的結(jié)束位置 StartB為前子區(qū)間的起始位置 LeftC為當(dāng)前符號(hào)的區(qū)間左端 RightC為當(dāng)前符號(hào)的區(qū)間右端 L為前子區(qū)間長(zhǎng)度 算術(shù)編碼關(guān)鍵 LZW編碼 LZW編碼又稱字串表編碼 屬于無(wú)損編碼 基本思想 在編碼過程中 將所遇到的字符串建立一個(gè)字符串表 表中的每個(gè)字符串都對(duì)應(yīng)一個(gè)索引 編碼時(shí)用該字符串在字串表中的索引來代替原始的數(shù)據(jù)串 字符串表是在壓縮過程中動(dòng)態(tài)生成的 不必將它保存在壓縮文件里 因?yàn)榻鈮嚎s時(shí)字符串表可以由壓縮文件中的信息重新生成 第四章靜止圖像編碼 統(tǒng)計(jì)編碼 Huffman編碼 香農(nóng)編碼 算術(shù)編碼 LZW編碼 預(yù)測(cè)編碼和變換編碼二值圖像的游程編碼 方塊編碼等灰度圖像的抖動(dòng)編碼 方塊編碼 比特面編碼 漸進(jìn)編碼等 方塊編碼和漸進(jìn)編碼的計(jì)算 靜止圖像壓縮編碼國(guó)際標(biāo)準(zhǔn)JPEG 二值圖像壓縮編碼國(guó)際標(biāo)準(zhǔn)JBIG 第四章靜止圖像編碼 線性預(yù)測(cè)編碼定義 其誤差影響 量化器變換編碼定義 原理變換后常用編碼方案 區(qū)域抽樣 閾值抽樣 注意 正交變換本身不產(chǎn)生壓縮 正交變換只是去除原圖像中的相關(guān)性 使能量集中于少數(shù)變換系數(shù) 使壓縮成為可能 第四章靜止圖像編碼 抖動(dòng)編碼 將灰度圖像轉(zhuǎn)換為二值圖像 然后再對(duì)二值圖像進(jìn)行編碼 通過一個(gè)抖動(dòng)矩陣定出灰度圖像中各個(gè)像素的閾值 根據(jù)這些閾值確定原圖像相應(yīng)的像素取1或0 第四章靜止圖像編碼 抖動(dòng)編碼 抖動(dòng)矩陣 抖動(dòng)矩陣 第四章靜止圖像編碼 方塊編碼 BTC 方塊編碼是把一幅圖像劃分成大小為N N的互不重疊的子塊 由于子塊內(nèi)各相鄰像素間具有灰度相關(guān)性 可選用兩個(gè)適當(dāng)灰度級(jí)來近似代表子塊內(nèi)各像素原來的灰度 然后指明子塊內(nèi)各像素分別屬于哪個(gè)代表性灰度級(jí) 方塊編碼的過程基本上就是圖像的局部二值化 第四章靜止圖像編碼 由上式可知 編碼后方塊的像素亮度 Y1 Y2 Ym 可以用 a0 a1 和 1 2 m 的組合表示 a0 a1 一般具有與灰度值相同的等級(jí) 1 2 m 組成一個(gè)m比特的比特面 方塊編碼 BTC 第四章靜止圖像編碼 方塊編碼 BTC 適當(dāng)選擇編碼參數(shù)a0 a1及XT 使編碼后方塊灰度值和方差與原始圖像的灰度相同或近似相同 取閾值 記 q為編碼后灰度為a1的像素的個(gè)數(shù) 第四章靜止圖像編碼 方案1 保持一階矩 二階矩的參數(shù)選擇 方案2 均方誤差最小的參數(shù)選擇 其中為子塊的均方差 比特平面編碼 第四章靜止圖像編碼 1 比特平面 假如一灰度圖像為n比特 像素 將每個(gè)像素的第j個(gè)比特抽取出來 得到一個(gè)稱為比特平面的二值圖像 圖像可用一組共n個(gè)比特平面表示 2 比特平面編碼 將一圖像用一組共n個(gè)比特平面來表示 則把對(duì)灰度圖像的編碼轉(zhuǎn)換為分別對(duì)n個(gè)各比特平面的二值編碼 通常再將每個(gè)比特平面分為不重疊的m n個(gè)像素子塊 然后進(jìn)行二值編碼 3 灰度圖像的比特面分解 168 256級(jí)灰度圖像 最低位 最高位 8bit灰度圖像的比特面分解 以一個(gè)像素點(diǎn)為例 對(duì)于256級(jí)彩色RGB圖像 分解比特平面數(shù) 24 比特面編碼 第四章靜止圖像編碼 全 0 子塊 碼字為 0 全 1 子塊 碼字為 11 其它情況 碼字為 10 若設(shè)P 0 n m 和P 1 n m 分別為m n個(gè)全 0 和全 1 子塊出現(xiàn)概率 則此編碼方案的平均碼長(zhǎng)L 壓縮比為Cr 第四章靜止圖像編碼 比特面編碼分層傳輸從最高位到最低位 順序傳輸各個(gè)比特面 實(shí)現(xiàn)分層傳輸 先傳送一個(gè)最高位比特面 得到一幅二值圖像 有了物體的大致輪廓 逐漸地接收的比特面越多 細(xì)節(jié) 顏色越豐富 當(dāng)接收到全部比特面后 可以恢復(fù)原始圖像 這也是一種圖像顯示的技巧 第四章靜止圖像編碼 漸進(jìn)編碼 基本思想四叉樹漸進(jìn)編碼將圖像按照分辨率分出層次 最底層 0級(jí) 為原圖 分辨率最高 由低層向高層分辨率逐層降低 每一級(jí)灰度值都是下一級(jí)相鄰4個(gè)灰度值的均值 依次進(jìn)行 最頂層 n級(jí) 分辨率最低 只有一個(gè)像素灰度值 最終形成一種金字塔的形式 分層編碼的金字塔結(jié)構(gòu) 四叉樹漸進(jìn)編碼 第四章靜止圖像編碼 JPEG基本系統(tǒng)編碼框圖JPEG系統(tǒng)編碼計(jì)算 Z形掃描 DC和AC系數(shù)編碼 漸進(jìn)編碼和順序編碼不同JBIG標(biāo)準(zhǔn) 將一幅圖像按位平面進(jìn)行分解分層編碼 傳輸 JBIG標(biāo)準(zhǔn)的3種編碼模式 編碼原理框圖JPEG2000編碼框圖 編碼特點(diǎn) 第五章序列圖像編碼及運(yùn)動(dòng)估計(jì) 視頻圖像壓縮編碼分類 幀內(nèi) 幀間 混合 三種不同的電視制式區(qū)別 NTSC PAL SECAM視頻的采樣格式 區(qū)別開來 4 4 4 4 2 2 4 1 1 4 2 0CIF圖像格式 圖像分辨率352 288幀頻 數(shù)據(jù)量計(jì)算 第五章序列圖像編碼及運(yùn)動(dòng)估計(jì) 視頻信號(hào)編碼的關(guān)鍵問題的如何解決 對(duì)于序列圖像中大量存在的靜止或緩變區(qū)域 如何把運(yùn)動(dòng)區(qū)域和靜止或緩變區(qū)域分割開來 對(duì)于靜止區(qū)域如何壓縮編碼 對(duì)于運(yùn)動(dòng)區(qū)域如何壓縮編碼 第五章序列圖像編碼及運(yùn)動(dòng)估計(jì) 運(yùn)動(dòng)估計(jì) 定義 基本原理運(yùn)動(dòng)估計(jì)通常以宏塊為單位進(jìn)行 以運(yùn)動(dòng)矢量描述運(yùn)動(dòng)補(bǔ)償 定義 基本原理根據(jù)求出的運(yùn)動(dòng)矢量 找到當(dāng)前幀的像素 或像素塊 是從前一幀的哪個(gè)位置移動(dòng)過來的 從而得到當(dāng)前幀像素 或像素塊 的預(yù)測(cè)值 第五章序列圖像編碼及運(yùn)動(dòng)估計(jì) 運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)編碼 定義 對(duì)于運(yùn)動(dòng)的物體 如果能估計(jì)出物體在相鄰幀內(nèi)的相對(duì)位移 那么用上一幀中物體的對(duì)應(yīng)區(qū)域?qū)Ξ?dāng)前幀物體進(jìn)行預(yù)測(cè) 編碼傳輸預(yù)測(cè)誤差部分 就可壓縮這部分區(qū)域的碼率 這種考慮了運(yùn)動(dòng)物體對(duì)應(yīng)區(qū)域的位移或運(yùn)動(dòng)的預(yù)測(cè)方式稱為運(yùn)動(dòng)補(bǔ)償幀間預(yù)測(cè)編碼 第五章序列圖像編碼及運(yùn)動(dòng)估計(jì) 塊匹配算法 二維對(duì)數(shù) 三步搜索 四步搜索 交叉 菱形搜索等 基于塊的混合視頻編碼 定義 原理 框圖 幀內(nèi)編碼 幀間編碼 第六章圖像編碼標(biāo)準(zhǔn) 視頻壓縮編碼標(biāo)準(zhǔn)的制定工作主要由ISO和ITU完成 ITU 國(guó)際電信聯(lián)盟 制定 針對(duì)實(shí)時(shí)視頻通信應(yīng)用 如視頻會(huì)議和可視電話等H 26x系列標(biāo)準(zhǔn) 如H 261 H 262 H 263 H 264ISO 國(guó)際標(biāo)準(zhǔn)化組織 和IEC 國(guó)際電工委員會(huì) 制定 針對(duì)視頻數(shù)據(jù)的存儲(chǔ) DVD等 廣播電視和視頻流的網(wǎng)絡(luò)傳輸?shù)萂PEG系列標(biāo)準(zhǔn) 如MPEG1 MPEG2 MPEG4 MPEG7 第六章圖像編碼標(biāo)準(zhǔn) MPEG1 MPEG2 MPEG4定義 特點(diǎn) 應(yīng)用H 261 p 64Kbit s視聽業(yè)務(wù)的視頻編 解碼器 應(yīng)用 編碼方案 視頻數(shù)據(jù)比特流格式 H 261只有I幀和P幀MPEG1有I 幀內(nèi) B 雙向預(yù)測(cè) P 前向預(yù)測(cè) I B P編碼壓縮算法 編碼順序和顯示順序 第六章圖像編碼標(biāo)準(zhǔn) MPEG 4 第二代視頻編碼技術(shù) 基于對(duì)象的視頻編碼標(biāo)準(zhǔn) 標(biāo)準(zhǔn)構(gòu)成 基于VO的紋理 運(yùn)動(dòng) 形狀編碼 第六章圖像編碼標(biāo)準(zhǔn) H 264標(biāo)準(zhǔn)采樣格式4 2 0 編碼原理H 264幀內(nèi)預(yù)測(cè)編碼分類 對(duì)于亮度塊 可選擇4 4和16 16兩種尺寸 4 4亮度塊有9種可選的幀內(nèi)預(yù)測(cè)模式 16 16亮度塊有4種可選的幀內(nèi)預(yù)測(cè)模式 對(duì)于色度塊 選擇8 8尺寸 8 8色度塊有4種可選的幀內(nèi)預(yù)測(cè)模式 第六章圖像編碼標(biāo)準(zhǔn) H 264幀間預(yù)測(cè)編碼 可變尺寸塊運(yùn)動(dòng)補(bǔ)償 對(duì)于亮度分量的1 4像素精度的運(yùn)動(dòng)估計(jì) 多參考幀運(yùn)動(dòng)補(bǔ)償 問題 如何獲得半像素處和四分之一位置處的預(yù)測(cè)值呢 什么是亞像素 思想 1 2像素處值通過對(duì)水平和垂直方向的相鄰整像素使用一個(gè)權(quán)系數(shù)為 1 5 20 20 5 1 的6階FIR濾波器濾波得到 四分之一像素處值通過計(jì)算相鄰樣值均值得到 第六章圖像編碼標(biāo)準(zhǔn) 經(jīng)過H 264的4