數(shù)字電視原理筆記

1、數(shù)字電視原理筆記第一章 彩色電視基礎知識1.1 光的特性與光源 光的特性光電磁波 波粒二象性 標準白光源與色溫l 白光l 色溫表征各種光源的具體光色l 絕對黑體吸收所有光l 絕對黑體所輻射的光譜成分只與溫度有關l 絕對黑體在某一溫度下所輻射的光譜成分與某光源所輻射的一致，該溫度定義為該光源的色溫 白熾燈 絕對黑體l 溫度 2800K 2854K 色溫l 相關色溫，光譜最接近但永不相等l 5種白光標準 A光源 2854K B光源 4800K（相關） C光源 6770K（相關）D65光源 6500K（相關）E光源 等能白光（假想）1.2 光的度量 光通量與發(fā)光強度 輻射功率相同，波長不同，兩度感光

2、不同 光通量能被人眼視覺所感受到的那部分輻射功率大小的度量 光通量的單位是“流明” 發(fā)光強度在某指定方向上發(fā)出光通量的能力 單位為：坎 德拉 照度和亮度 照度照明程度 單位：勒 克斯 亮度單位面積上的發(fā)光強度1.3 色度學概要 光的顏色和彩色三要素 光的分類 彩色光宇非彩色光 單色光與復合光 普色光與非普色光 直射光 反射光 透射光（折射光） 衍射光 光的顏色取決于主觀和客觀兩方面：主觀視覺；客觀功率波譜分析 任何一個彩色光可由亮度、色調(diào)、飽和度確定，稱為彩色三要素 亮度：明亮程度 色調(diào)：顏色類別 飽和度：深淺程度 三基色原理及應用方法 自然界當中大部分顏色可由三種相互獨立的基色 混色不同顏色

3、混合在一起可以產(chǎn)生新的顏色(1)相加混色光源混合（電視）(2)相減混色顏料混合（印染） 相加混色的方法：時間混色法；空間混色法（顯示器、夜光屏）；生理混色法 配色方程與亮度公式 1.配色實驗 2.配色方程與亮度公式 F=RR+GG+BB RGB基本單位；RGB色系數(shù) 亮度公式： Y = 0.30R + 0.59G + 0.11B1.4 人眼的視覺特性 視覺光譜光視效率曲線 如果光的輻射功率相同而波長不同，則引起的視覺效果也不同。隨著波長的改變，不僅顏色感覺不同，而且亮度感覺也不同。 人眼色亮度感覺特性 1.明暗視覺 2.亮度感覺 (1)在觀察景物時所得到的亮度感覺卻并不直接由勁舞的亮度所決定，

4、還與周圍環(huán)境的背景亮度有關 (2)人眼感覺亮度變化的能力是有限的 (3)亮度感覺是相對的，相同的輻射，亮度感覺不一定相同 3.視覺范圍及明暗感覺的相對性 (1)視覺范圍是指人眼所感覺到的亮度的范圍 (2)在不同的亮度環(huán)境下，人眼對于同一實際亮度所產(chǎn)生的相對亮度感覺是不相同的 人眼的分辨能力與視覺特性 人眼察覺亮度最小變化的能力是有限的1.人煙的分辨力 (1)圖像的清晰度是指人眼對圖像細節(jié)是否清晰的主觀感覺 (2)人眼對被觀察物體上剛能分辨的最緊鄰兩黑點或兩白點的視角的倒數(shù)稱為人眼的分辨力和視覺銳度 (3)人眼對彩色細節(jié)的分辨力要低于對黑白細節(jié)的分辨力，對不同彩色的細節(jié)分辨力也不一樣2.視覺惰性

5、與臨界閃爍頻率 (1)視覺惰性描述主觀亮度與光作用時間的關系 (2)人眼亮度感覺變化滯后于實際亮度變化的特性，以及視覺暫留特性，統(tǒng)稱視覺惰性 (3)當人眼受到周期性的光脈沖照射時，如果將光脈沖頻率提高到某一定值上，由于視覺惰性，眼睛便感覺不到閃爍，感到的是一種均勻的、連續(xù)的光刺激，剛好不引起閃爍感覺的最低頻率，稱為臨界閃爍頻率，主要與脈沖亮度有關 (4)人眼的高亮度下對閃爍的敏感程度高于在的亮度下的情況1.5 電視圖像的傳送及基本參量 圖像分解與順序傳送 傳送一幅圖像，將整個畫面分解成許多小的單元，這些組成圖像的基本單元成為像素 電視掃描方式 1.隔行掃描 隔行掃描是將一幀電視圖像分成兩場進行

6、交錯掃描 2.逐行掃描TH=THt+THr fH=1/TH Tv=Tvt+Tvn fv=1/Tv 水平H行 垂直V場（幀） 逐行電視信號的傳輸帶寬太寬 隔行電視信號的傳輸帶寬比逐行少一半 隔行掃描方式 先掃 1 3 5 奇數(shù)行 奇數(shù)場 后掃 2 4 6 偶數(shù)行 偶數(shù)場 一幅圖像（1幀圖像）由奇、偶兩場組成逐行 TF=TV=ZTH(TF：幀周期 TV：場周期 Z：掃描行數(shù)/幀 ZTH：行周期)隔行掃描 fF=(1/2)fv (TF=2TV) (Z一般為奇數(shù))隔行掃描優(yōu)點傳輸寬帶下降一半 缺點(1)行間閃爍；(2)并行現(xiàn)象；(3)鋸齒化現(xiàn)象3.掃描同步 收發(fā) 在電視系統(tǒng)中為掃描同步，在信號中假如同

7、步場同步信號與圖像一起稱為度數(shù)信號。 電視圖像的基本參量 1.幅型比（寬高比） 人眼清晰范圍： 水平20° 垂直15° 幅型比 4：3 數(shù)字電視16：9 2.屏幕尺寸：對角線長度 3.亮度、對比度、灰度 亮度平均背景亮度 對比度最高亮度/最低亮度 灰度亮度層次 4.圖像清晰度與電視分辨力 一般人眼視像最小為1.5 約600線 Z=15°/ 1 1.5 2Z 900 600 450 最低 M=(1-)Z 最差 M=0 垂直分辨力 M=Ke(1-)Z Ke=0.76 Z=625 =8% M=440線 水平分辨力 N=KM （K：幅型比） 水平與垂直分辨力相當5.圖像信

8、號的最高頻率 掃描一個像素 fd=THt/N=(1-)/NfFZ fmax=1/2fd逐行 fF = fv fmax=(1/2)KKe(1-)/(1-)fvZ2隔行 fF = （1/2）fv fmax=(1/4)KKe(1-)/(1-)fvZ2 6.場頻的確定 fV大于臨界間隔頻率48Hz fV與電網(wǎng)頻率相同=50Hz（我國） 7.掃描行頻確定 M取600 Z=800左右 兼顧帶寬與清晰度 Z取525行和625行（我國采用625）1.6 兼容制模擬電視制式 1.NTSC制 美國 1953 2.PIR制 德國 1967 3.SECOM制 法國 1967 傳輸電視基本信號 Y=0.30R+0.58

9、G+0.11B R-Y=0.70R-0.59G-0.11BB-Y=-0.299R-0.587G+0.886B第二章 數(shù)字電視的基本概念2.1 數(shù)字電視和高清晰度電視l 數(shù)字電視是指一個從節(jié)目設置、制作、編輯、存儲、發(fā)射、傳輸?shù)降男盘柦邮仗幚?、顯示等全過程完全數(shù)字化的系統(tǒng)。數(shù)字化電視不是數(shù)字電視。l 數(shù)字電視真正意義是數(shù)字電視成為一個數(shù)字信號傳輸平臺l 高清晰度電視：一個視力正常的觀眾，在觀看距離為顯示屏高為3倍處所顯示的圖像清晰度與觀看原景物感覺相同 HDTV 高清 35mml 數(shù)字電視 SDTV 標清 DVD LDTV 低清 VCD2.2 數(shù)字電視的有點2.3 數(shù)字電視系統(tǒng)的關鍵技術 壓縮編

10、碼和解碼 視頻 國際采用 MPEG-2 音頻 日、歐 MPEG-2 ； 美 杜比 AC-3 數(shù)據(jù)加擾和解擾 加密和解密 大屏幕顯示 中間件將應用軟件與底層操作系統(tǒng)和硬件隔離 條件接收只允許合法用戶收看 數(shù)據(jù)分組（打包） MPEG 信道編碼和解碼2.4 國外數(shù)字電視及其標準化狀況歐洲 DVB（我國采用）美國 ATSC 三大制式共存日本 ISDB2.5我國數(shù)字電視及其標準化狀況DVB第三章 數(shù)字電視信號的產(chǎn)生3.1 信號的數(shù)字化采樣 量化 編碼 每隔一定時間（或空間）間隔抽取信號的一個瞬時幅度值（樣本值），即將一連續(xù)的時間函數(shù)（空間函數(shù)）變?yōu)殡x散的時間函數(shù)（空間函數(shù)）。 空間采樣垂直方向 ； 時間

11、采樣各幀之間采樣定理采樣頻率大于等于信號最高頻率2倍時，得到采樣信號離散信號完全可以得到原連續(xù)信號 將采樣的得到的模擬量進行離散化的處理量化 處理量化A/D 模擬信號：縱軸取值連續(xù) 數(shù)字信號：縱軸取值離散 采樣值 四舍五入 量化值 采樣值與量化值之差量化誤差（量化失真、量化噪聲） 量化間隔一致均勻量化 最大量化誤差=1/2的量化階距 （量化階距：量化值最小差） 均勻量化的缺點 小信號時，量化信噪比低 S/N (1/2) S小 S/N小 因材多采用非均勻量化即小信號時量化階距小，大信號時量化階距大 數(shù)字電視采用非均勻量化 用n比特二進制碼表示量化值3.2 音頻信號的數(shù)字化（P40）聲音 20Hz

12、20KHz 聲波發(fā)聲 80Hz3400Hz語音 300Hz3000Hz 人耳能感知微小的失真和極大的動態(tài)范圍，對音頻信號的數(shù)字化量化彼特數(shù)比視頻要多 聲音采樣頻率：11.025Hz 22.05Hz 44.1KHz 48KHz 量化比特數(shù)：8bit 12bit 16bit聲道數(shù)：單聲道，雙聲道（立體聲），5.1聲道（環(huán)繞立體聲） 存儲量=（采樣頻率×比特數(shù)×聲道數(shù)）/8 字節(jié)聲音質量分5個等級：1.電話；2，條幅廣播AM；3.調(diào)頻廣播FM；4.CD；5.數(shù)字錄音帶3.3 視頻信號的數(shù)字化 對彩色電視信號的數(shù)字化有兩種編碼方式，即復合編碼和分量編碼 復合編碼將彩色全電視信號直接

13、PCM 分來編碼將亮度及兩個色差信號（或三基色信號）分別PCM PCM 脈沖編碼調(diào)制復合編碼優(yōu)點：一般編碼率較低；設備簡單 缺點：采樣頻率必須與彩色幅載波頻率保持一定關系分量編碼優(yōu)點：所有環(huán)節(jié)都是數(shù)字編碼，避免了復合編碼時因反復解碼所引起的問題，編碼與電視制式無關，在節(jié)目制作中簡單；不會產(chǎn)生串色；亮度和色度帶寬不同；分類編碼作為電視視頻幅空編碼的國際標準1. 分量編碼采樣頻率的確定(1) 亮度信號的采樣頻率要考慮的因素：亮色信號的帶寬可以不同 亮度信號的帶寬應為5.8MHz采樣頻率至少應等于12.7613.2MHzfs=mfH 采用同一采樣頻率使625行/50場及525行/60場這兩種掃描制式

14、實現(xiàn)兼容 亮度信號頻率：13.5MHz(2)色差信號的采樣頻率 要考慮的因素：帶寬 色度信號的帶寬為2.8MHz降低混疊噪聲mfH用同一采樣頻率使625行/50場與525行/60場掃描制式兼容 色度信號的采樣頻率為6.75是亮度信號采樣頻率的1/2 Y:B-Y:R-Y=13.5MHz：6.7MHz：6.75MHz=4：2：2 采樣格式 色差信號均為 3.375MHz 為4：1：1格式 13.5MHz 為4：4：4格式2.量化比特數(shù)的確定和量化級的分配 (1)量化比特數(shù) 未經(jīng)校正的信號進行量化采用10bit (2)亮度信號的量化級分配 在對亮度信號進行8bit均勻量化時，共分為256個等間隔的量

15、化級 量化級16對應消隱電平，量化級235對應峰值白電平(3)色差信號的量化級分配 8bit256級 以分量數(shù)字編碼4：2：2標準作為演播室彩色電視信號數(shù)字編碼的國際標準 GY/T155-2000：方形像素通用格式 掃描制式 1125/6V/2：1 1250/5V/2：1 傳統(tǒng)隔行掃描 HDTV 視頻格式 像素4：3 方形像素通用HDTV視頻格式 像素數(shù)紙幣與幅型比相同3.5 數(shù)字電視掃描制式表示方法i表示隔行掃描p表示逐行掃描國際上沒有統(tǒng)一的表示方法 1080/60i 一幀掃描行數(shù)1080 一秒鐘60行 隔行掃描 1080/50i 我國HDTV 1080/50p 3.6 電影/電視格式轉換1

16、080/50i 1080/60i24p電影格式電視 ：25 30電影 ：24把膠片相接的電影轉換成電視信號時，需要進行幀頻轉換 24轉60 進行 3-2 下拉變換 24轉50 以25格/秒 接收 時間縮短4%1234 3-2下拉 電影 1112233344電視 非線性編輯所用素材的長短和前后順序可以不按制作的長短和先后順序進行任意編排和剪輯第4章 視頻壓縮編碼的基本原理和方法4.1視頻壓縮的必要性和可能性分辨率720×576 8bit量化 則碼率165.9mb/s25 4：2：2數(shù)字化的視頻數(shù)據(jù)量十分巨大，不便于存儲和傳播，而解決的辦法是數(shù)據(jù)壓縮。數(shù)字壓縮的可能性：在視頻數(shù)據(jù)中存在著

17、極強的相關性即有很大的冗余，清除這樣的冗余即可達到壓縮數(shù)據(jù)的目的。（1） 空間冗余（2） 時間冗余（3） 符號冗余 用相同碼長來表示不同碼長的符號。（4） 結構冗余 圖像中某些部分有相同的紋理與機構。（5） 知識冗余 常識（6） 視覺冗余4.2視頻壓縮編碼的發(fā)展理論基礎信息論（香農(nóng)）壓縮是去掉數(shù)據(jù)中的冗余，即保留不確定的信息，去除確定的信息。壓縮：考慮主觀特性 結合事件本身的具體含義，重要程度和引起的后果。數(shù)據(jù)壓縮的圖像組織MPEG（活動圖像專家組）MPEG-1 1.5Mb/s VCD CD-ROMMPEG-2 DVB HDTV DVDMPEG-4 多媒體H261，H263 會議電視/電視電話

18、發(fā)展原理：第一代（基于數(shù)據(jù)統(tǒng)計，沒有考慮接受者的主觀特性和具體特征）MPEG-1 MPEG-2 H261 H262第二代（考慮主觀因素和事件具體特征）MPEG-4 基于內(nèi)容的4.3視頻壓縮編碼方法和分類1.按解碼重建圖像和原始圖像是否相同分類。無失真編碼 又稱信息保持 重建圖像與原圖像一致 編碼熵編碼（變碼長編碼）限失真編碼：也稱非信息保持編碼 熵壓縮編碼重建圖像與原圖像不同，有一定失真和信息有關，但失真控制再一定范圍內(nèi)2.按壓縮編碼算法的原理分類基于圖像統(tǒng)計特性基于人眼視覺特性基于內(nèi)容基于模型3.按繪編圖像的不同屬性分類4.4視頻壓縮編碼方法熵編碼熵編碼是建立在隨即過程的統(tǒng)計特性基礎上的圖像

19、灰度或彩色信號值統(tǒng)計意義上的分布。圖像信源熵表示無失真編碼所需的比特率的下限。熵編碼輸出碼字的平均碼長只能大于等于信源熵，否則將要丟失信息信源的冗余來自信源本身的相關性和信源概率分布的不均勻性。常用的熵編碼有：基于圖像概率分布特性：霍夫曼編碼 算術編碼基于圖像相關性：游程編碼1. 霍夫曼編碼霍夫曼編碼是可變長度（VLC）的一種，各符號與碼字一一對應，是一種分組碼。在變字長編碼中，對于出現(xiàn)概率大的符號，編以短字長的碼，對于出現(xiàn)概率小的符號編以長字長的碼。2. 算術編碼霍夫曼編碼每個符號至少需要1bit為信源中的某個符號出現(xiàn)的概率很大，其包含的信息是很小，遠小于1bit，霍夫曼編碼就帶來了浪費，此

20、時可采用算術編碼。算術編碼與霍夫曼編碼的最大區(qū)別在于算術編碼不是使用整數(shù)碼，再編碼時不是按符號編碼，而是按符號序列的發(fā)展，對序列進行編碼，并把序列編碼化為一種逆歸運算。將被編碼的每一個信源符號按其出現(xiàn)概率大小表示成實數(shù)軸01之間的一個子區(qū)間，概率大占區(qū)間大，表示這一子區(qū)間所需二進制小數(shù)的位數(shù)就越小。3. 游程編碼如對于二維圖像，每一行總有若干段連續(xù)的黑像素和連續(xù)的白像素，黑（白）像素點連續(xù)出現(xiàn)的像素點數(shù)稱為游程長度，把黑和黑的長度組合構成編碼單元，并按其出現(xiàn)的概率分布配以不同的碼長 游程編碼不局限于二維圖像。預測編碼預測編碼是利用圖像數(shù)據(jù)的相關性，用已傳輸?shù)南袼刂祵Ξ斍跋袼刂颠M行預測，然后對當

21、前像素的實際值與預測值的差值（預測誤差）進行編碼傳輸，而不是對當前 像素值本身進行編碼傳輸。當預測比較準確時，預測誤差很小。因此，對預測誤差進行編碼所需的行數(shù)要比對原始圖像本身進行編碼傳輸要少，從而達到數(shù)據(jù)壓縮的目的。計算預測值的參考像素可以是同一行前幾個像素（一維預測）也可以是本行前一行或前幾行的像素（二維預測），也可以是前幾幀圖像的像素（三維預測）。一維預測和二維預測為幀內(nèi)預測，三維預測為幀間預測。幀內(nèi)預測 場內(nèi)預測 幀內(nèi)預測 靜止圖像幀內(nèi)預測有利活動圖像幀內(nèi)預測有利 對編行掃描進行場內(nèi)預測。幀間預測由前一幀圖像推測當前幀圖像時，預測誤差進行編碼，預測編碼如果經(jīng)量化則為有幀壓縮，如果不經(jīng)過

22、量化則為無幀壓縮。采用非均勻量化預測誤差分布于0值附近，絕對值小的部分出現(xiàn)概率大非均勻量化可得到較小的量化誤差預測誤差較小的部分分布于圖像變化較緩區(qū)域，人眼對高度變化平緩的噪音比較敏感。預測誤差較大的部分分布于圖像邊緣 或細節(jié)較多區(qū)域，人眼對圖像邊界或細節(jié)區(qū)域的噪聲敏感度較低。因此非均勻量化有利于提高圖像質量。提高圖像質量預測編碼在提高編碼效率的同時降低了可靠性，其像素的轉移誤碼會影響后續(xù)圖像的重組，產(chǎn)生了誤碼的擴散 運動估值和運動補償預測編碼將前一幀作為當前的預測值，對圖像中靜止背景部分是有效的，但對于運動部分并不理想，如果對當前幀某像素（像素塊），進行預測時知道是從前一幀哪個位置移動過來的

23、，則預測的準確值將提高運動估值。運動估值是對物體的位移做出估計，即對運動物體前一幀到當前幀位移的方向和像素數(shù)做出估計，也就是求出運動矢量。運動補償是根據(jù)求出的運動矢量找到當前幀的像素（像素塊）是從前一幀的哪個位置移動過來的，從而得到當前幀像素（像素塊）的預測值。運動估計 遞歸法：求每個像素的運動矢量，但不傳遞，再接受端再求運動矢量 接收端比較復制。 塊匹配法：將當前幀分割成子塊，對子塊最優(yōu)匹配，計算運動矢量 一般送16×16為一個子塊。運動矢量估值的而應用1.運動補償幀間預測編碼利用視頻序列中相鄰幀之間的時間關聯(lián)適用于所有幀間編碼2.運動自適應 幀內(nèi)插通過降低發(fā)送端傳送的幀頻來降低轉

24、換頻率，未傳輸?shù)膱D像幀在接收端，由已傳送的位于該幀前和該幀后的兩個圖像幀的內(nèi)插恢復。變換編碼l 變換編碼：不直接對空間域圖像數(shù)據(jù)進行編碼，而是前先將空間域圖像數(shù)據(jù)映射變換到另一個正交向量空間得到一組變換系數(shù)，然后對這些變換數(shù)據(jù)進行編碼傳輸。為保證平穩(wěn)性和相關性，減少運算量，在變換編碼中，先將一幀圖像劃分成MXN的子塊，然后對每一個子塊還一變換編碼。l 變換本身不能對數(shù)據(jù)進行壓縮，但變換后變換系數(shù)使統(tǒng)計“獨立”的相關性下降，圖像大部分能量集中在少數(shù)幾個變換系數(shù)上，這樣得到一對重建圖像。圖像重要的系數(shù)進行量化編碼后存放壓縮數(shù)據(jù)量。信號的主要能量集中再低頻部分。人眼對低頻部分比較敏感，在頻域編碼時，

25、低頻分量用較多的比特進行細量化，高頻分量用較少的比特進行粗量化。實際中常采用離散余弦變換（DTC）子塊 16×16或8×8像素塊第5章 音頻壓縮編碼原理及標準5.1音頻壓縮編碼的基本原理音頻壓縮編碼的必要性和可能性必要性：音頻信號數(shù)字化數(shù)據(jù)量很大，儲存，傳輸費用很大可能性：音頻信號本身存在著很大的冗余。音頻信號中存在的冗余1. 時間冗余：（1） 幅度分布的非均勻性小幅度樣值比大幅度樣值出現(xiàn)頻率大（2） 相值間的相關性 相鄰相值間存在很強相關性 （3） 信號周期之間的相關性 短時2ms在周期與周期間存在相關性（3） 長時自關性較長時間間隔也存在相關性 （幾十秒）（4） 靜音

26、靜音 冗余2.頻域冗余（1） 長時功率譜密度的非均勻性長時功率譜密度函數(shù)呈現(xiàn)明顯的非平坦性（2） 短時功率譜密度的非均勻性短時功率譜在某些頻率上出現(xiàn)峰值，而在另一些頻率上出現(xiàn)谷值。3.聽覺冗余人耳聽不到或感知不靈敏的信號都可稱為冗余。音頻壓縮編碼方法的分類及典型代表音頻壓縮編碼可分為波形編碼、參數(shù)編碼和混合編碼。1. 波形編碼波形編碼是指直接對音頻信號時域或頻域采樣值進行編碼，目標是力圖使重建后的音頻信號的波形與原音頻信號波形保持一致。重建聲音質量較高，但壓縮比不高。（1） 自適應量化編碼自適應分組分配按系數(shù)的不同變換DCT劃分子帶的好處：減少子帶內(nèi)信號能量分布不均勻性（或減少動態(tài)范圍）降低各

27、子帶采樣頻率（成倍下降）2.參數(shù)編碼參數(shù)編碼是對音頻信號特征參數(shù)進行編碼，目標是使重建后的音頻信號與原音頻信號特性保持一致。3.混合編碼 混合編碼是波形編碼和參數(shù)編碼的結合。人耳聽覺感知特性1.對響度的感知聲音的響度就是聲音的強弱當聲音弱到人的耳朵剛剛可以聽到時，稱此時的聲音強度為聽覺閾值聽閾聽閾隨頻率變化而不同，通過實驗可以測得聽閾頻率曲線當聲音強到使人耳感覺疼痛的時候，稱為痛閾。 痛閾隨頻率變化而不同。通過實驗可以測得痛閾頻率曲線。聽見范圍：聽閾和痛閾之間的區(qū)域人耳對不同頻率的聲音的敏感程度不同，其中對24Hz范圍的聲音最敏感，而低、高頻區(qū)不敏感，對音頻數(shù)據(jù)進行壓縮時，可以將聽閾以下的電平

28、去掉。2.對音高的感知人耳能感知的聲音頻率范圍是20Hz20000Hz人耳對音高的感知與頻率不是線性關系3.掩蔽效應人在聽一個較強聲音時會掩蔽另一較弱聲音掩蔽效應。強音稱為掩蔽音，弱音稱為被掩蔽音。被掩蔽音單獨存在時的聽閾稱為絕對聽閾，再掩蔽情況下必須加大被掩蔽音的強度才能被人耳再聽到，此時的聽閾稱為掩蔽聽閾。（1） 頻率掩蔽一個強純音令掩蔽頻率接近弱純音，稱為頻率掩蔽。一般情況，弱純音的頻率與強純音的頻率越近則弱純音就越容易被掩蔽（2） 時域掩蔽再一個強音信號之前或之后的弱音信號也會被掩蔽掉，稱為時域掩蔽。時域掩蔽分為超前掩蔽和滯后掩蔽，超前掩蔽520ms 滯后掩蔽50200ms心理聲學模型

29、再音頻編碼中的應用聽覺系統(tǒng)中存在一個聽覺閾值電平低于這個電平的音頻信號聽不到，把這部分信號忽略掉不影響聽覺效果。5.2 MPEG-1音頻壓縮碼標準 MPEG-1音頻壓縮算法的特點MPEG-1音頻壓縮算法是世界上第一個高保真音頻數(shù)據(jù)壓縮標準MPEG-1音頻壓縮算法的特點（1）編碼器輸入信號為線性Xcm信號，采樣率32KHz 441KHz 或48KHz輸入碼率 32384Kbit/s（2）壓縮后的比特流可以支持單聲道或雙聲道（3）MPEG-1音頻壓縮標準提供了三個獨立的壓縮層次，用戶對層次的選擇存在編碼方案的復雜性和壓縮質量之間進行權衡。（4）可預先定義壓縮后的碼率（5）編碼后的數(shù)據(jù)流支持CRC（

30、檢錯）（6）MPEG-1音頻壓縮標準還支持再數(shù)據(jù)流中載帶附加信息。 MPEG-1音頻壓縮編碼的基本原理MPEG-1使用子帶編碼來達到既壓縮音頻數(shù)據(jù)又盡可能保證音頻音質的目的。子帶編碼的理論依據(jù)是聽覺系統(tǒng)的掩蔽效應，主要利用頻域掩蔽效應。MPEG-1音頻編碼標準提供了3個獨層5.3杜比AC-3 音頻壓縮算法MPEG-1音頻壓縮算法是針對最多兩聲道的音頻開發(fā)的人們對聲音有了更高的要求，即環(huán)繞3D立體聲，為此杜比公司開發(fā)了AC-3壓縮標準。5.1聲道：即原左右聲道增加中置聲道后左右聲道 0.1（1.5120Hz） 聲道杜比AC-3可以把這個獨立的全頻帶和一個超低音聲道的信號實行統(tǒng)一編碼稱為單一的復合

31、數(shù)據(jù)流。1.分析濾波器組l 分析濾波器組把時域內(nèi)的PCM樣本數(shù)據(jù)變換到頻域，在變換之前要先將音頻的樣本數(shù)據(jù)分成許多組，靠窗函數(shù)，實現(xiàn)窗函數(shù)的形狀決定了濾波器組中各濾波器的形狀。l 在進行變換編碼時，時間分辨率和頻率分辨率之間是矛盾的，不能兼顧，對于穩(wěn)態(tài)信號，頻率隨時間變化緩慢，要求濾波器組有好的頻率分辨率，即要求一個長的窗函數(shù)對于快速變化的信號要求有好的時間分辨率，即要求一個短的窗函數(shù)。AC-3采用基于改進離散余弦變換（MDCT）的自適應變換編碼（ATC）算法2.譜包絡編碼從變換得到的頻率變換系數(shù)被轉換成浮點數(shù)，所有變換系數(shù)的值都定標為小于1.0，分析濾波器輸出的是指數(shù)和波量化的尾數(shù)，兩者被編

32、碼后都進入碼流。對指數(shù)編碼的結果是根據(jù)頻率分辨率的需要選擇一種頻譜包絡。3.比特分配按譜包絡編碼輸出的信息確定尾數(shù)編碼所需要的比特數(shù)，將可分配的比特數(shù)按最佳的方式分配給多個尾數(shù)。4.尾數(shù)量化按比特數(shù)分配程序確定的比特數(shù)對尾數(shù)進行量化5.聲道的組合將組合聲道中的幾個聲道的變換多數(shù)加以平均，各個被組合的聲道有一個特有的組合坐標集合可用來保溫原始聲道的高頻包絡。組合對高頻包絡聲音進行定位6.重組矩陣對高度相關的聲道的和與差進行編碼。7.動態(tài)范圍控制在廣播前先將音頻節(jié)目動態(tài)范圍進行壓縮AC-3允許每個音頻塊傳送一個，動態(tài)控制字，以使解碼器還原動態(tài)范圍8.AC-3的幀格式形成AC-3內(nèi)一個同步幀的序列組

33、成每個塊包含6個編碼的音頻塊5.4 MPEG-2音頻壓縮編碼標準 MPEG-2BC MPEG-2 AAC主要使用聽覺系統(tǒng)的掩蔽特性來壓縮聲音的數(shù)據(jù)量并通過把量化噪聲分散到各個子帶中用全局信號把噪聲掩蔽5.5 MPEG-4音頻壓縮編碼標準MPEG-4提供交互式多媒體應用為了實現(xiàn)基于內(nèi)容的編碼引入了音頻對象的概念自然音頻編碼MPEG-4采用分組編碼的方法提供了3類編碼工具1.參數(shù)編碼器使用參數(shù)編碼技術提供兩種編碼工具HVXC 諧波矢量激勵編碼HTLV 諧波和特征線加噪聲編碼2.CECP編碼器采用碼激勵線性預測編碼技術3.時/頻編碼器采用時時/頻（T/F）編碼技術合成音頻編碼MPEG-4提供了有關合

34、成，音視頻場景，合成與自然內(nèi)容的同步和時空聯(lián)合等方向的描述。結構化音頻標準提供了關于合成音樂，聲音效果，交換式多媒體場景下合成聲音與自然聲音的同步等方面的有效的靈活的描述。1.結構化音頻交響樂語言SAOL任何目前已知的聲音合成方法都可以用SAOL來描述2.結構化音頻樂譜語言（SAOL）一種樂譜和控制語言3.結構化音頻樣本分組格式允許傳移再波表合成中使用的分組的音頻樣本數(shù)據(jù)，并描述它們使用的簡單處理算法4.規(guī)范化程度表描述結構化音頻編碼過程的運行流程5.規(guī)范化參考用于MIDI標準合成/自然音頻混合編碼聯(lián)合了自然和合成音頻編碼工具，再特定和聲音質量上獲得滿音效果第6章 圖像/視頻壓縮編碼標準國際上

35、推出了一系列相應的數(shù)字視/音頻壓縮編碼標準用于電視會議及可視電話系統(tǒng)的H.261 H.263 用于靜止圖像壓縮的JPEG,JPEG2000用于VCD的MPEG-1 用于數(shù)字電視、DVD、HDTV的MPEG-2以及用于多媒體通信的MPEG-4等6.1 JPEG和JPEG2000標準JPEG標準簡介JPEG負責制訂連續(xù)色調(diào)靜止圖像的數(shù)據(jù)壓縮編碼標準電視圖像的幀內(nèi)編碼也常采用JPEG。 JPEG有兩種基本的壓縮算法，一種是采用以離散余弦變換（DCT）為基理的有失真壓縮算法；另一種是采用以預測編碼技術為基礎的無失真壓縮算法。JPEG2000標準采用小波變換算法JPEG支持兩種圖像建立模式：順序性一次完

36、成對圖像的編碼和轉移漸近性分幾次完成對圖像的編碼和轉移JPEG4種編碼工作模式：基于DCT的順序型編碼模式基于DCT的漸近型編碼模式無失真編碼模式多分辨率編碼模式JPEG系統(tǒng)分為基本系統(tǒng)和擴充系統(tǒng)，基本系統(tǒng)采用基于DCT的順序型編碼和霍夫曼編碼。擴充系統(tǒng)有漸近型編碼，算術編碼，無失真編碼，分層編碼基本編碼系統(tǒng)1.直流分量的編碼8×8圖像子塊經(jīng)DCT得到DC系統(tǒng)，有兩個特點：分組值較大相鄰子塊系數(shù)變化不大，因此，JPEG采用DPCM進行霍夫曼編碼2.交流分量的編碼再對AC系數(shù)進行編碼之前，首先將63個AC系數(shù)按ZigZag掃描方式排序成一組數(shù)組并轉換成“0”游長，非“0”值事件進行霍夫

37、曼編碼。 JPEG2000標準簡介JPEG2000在一個統(tǒng)一的集成系統(tǒng)中可以使用不同的成像模型，對不同類型不同性質的靜止圖像進行壓縮。JPEG2000的關鍵技術JPEG2000以離散小數(shù)變換算為主，可多分辨率編碼。JPEG2000將圖像變換為一系列小波系統(tǒng)，這些系數(shù)可被高效壓縮和存儲小波的粗略邊緣清除了DCT方塊效應，對圖像高頻成分采用由粗到細的漸進采相間隔，從而可放大注意細節(jié)。JPEG2000的特點高壓縮比連續(xù)色調(diào)圖像壓縮和二值圖像壓縮無失真壓縮和有失真壓縮漸近傳輸圖像比特率，圖像尺寸 有限的工作存儲器對碼流的隨即訪問和隨機處理誤碼魯棒性開放的體系結構6.1.6 運動JPEG2000運動JP

38、EG200（MJP2）在一個單獨編碼器中同時支持無失真和有失真壓縮6.2 MPEG-1和MPEG-2標準l MPEG負責制定適用于數(shù)字存儲媒介電視廣播和通信等應用場合的視頻和音頻壓縮。l MPEG-1針對1.5Mbit/s以下數(shù)據(jù)率的數(shù)字存儲媒介應用的運動圖像及其音頻編碼標準。l 根據(jù)傳輸率1.416Mbit/s，其中1.1Mbit/s用于視頻，128Kbit/s用于音頻，其余為系統(tǒng)。 l MPEG-2不是MPEG-1的簡單升級 應用于DVD BTV HDTV VOD MVODl MPEG-1是MPEG-2的一個子集MPEG-1/-2 標準中的三種編碼類型圖像MPEG標準再實現(xiàn)高壓縮比例同時又

39、能獲得較高的重建圖像質量，并且還要滿足能夠隨機存儲的要求。MPEG標準將編碼圖像分為三種類型 分別為I幀、P幀和B幀I幀圖像（基礎幀）只利用了單幀圖像內(nèi)的空間相關性，而沒有利用時間相關性。I幀圖像提供了隨機存取的插入點，可作為B幀和P幀圖像的預測參考幀。P幀圖像根據(jù)前面靠近的I幀圖像或P幀圖像，進行前向預測，采用帶運動補償?shù)膸g預測編碼方式。B幀圖像是雙向預測“內(nèi)插幀”，它既用已轉移的再視頻序列中處于該幀前的過去幀（I或P）作預測參考幀進行前向運動補償預測，又用后面的未來幀（I或P）作為預測參考幀進行后向預測補償預測。B幀不能用來作為對其它幀進行預測補償預測的參考幀。 視頻碼流的分層結構視頻數(shù)

40、據(jù)經(jīng)過壓縮編碼后形成視頻基本碼流（ES）MPEG用句法規(guī)定了一個分層結構共分6層，從高到低依次為：視頻序列層，圖像組（GOP）層，圖像層，密塊條層，密塊層，像塊層除了密塊層和像塊層之外其它4層的數(shù)據(jù)都以起始碼開頭，一旦發(fā)生收發(fā)失步，可利用起始碼作為同步碼重新建立同步。1.視頻序列層一個宏塊包括亮度分量和空間位置上相對應的色度分量MEPG-2定義了 3種宏塊結構：4：2：0 4：2：2 4：4：4MPEG-1定義了4：2：0宏塊結構三種宏塊結構分別對應與三種高度和色度的采樣格式視頻序列頭中包含視頻序列參數(shù)（尺寸、寬度比，幀頻，數(shù)碼率，緩沖壓大?。?圖像組層 GOP是由一個視頻序列中連續(xù)的若干幀圖

41、像組成每個GOP由一個I幀和一些P幀 B幀組成GOP的第一幀一定為I幀防止由于幀間預測可能引起的傳輸誤碼的長時間擴散I幀出現(xiàn)的頻率及I、B、P幀之間如何組合，MPEG未作具體規(guī)定。B幀圖像采用未來幀做預測參考幀，傳輸幀不按顯示幀順序進行，再傳輸B幀前先傳它的參考幀。3圖像層圖像層包括了同編碼類型的圖像有I、P、B幀圖像再圖像層頭中包含了圖像編碼的類型和時間參考信息圖像是一個獨立的顯示單元，可作為一個整體被顯示一個圖像包括亮度分量和色度分量4.宏塊條層每個宏塊條包括若干連續(xù)宏塊，其順序和掃描順序一致。宏塊條是比特流重新同步的基本單元劃分成宏塊條的主要目的在于防止誤碼擴散。5.宏塊層宏塊是運動補償

42、預測的基本單元，為提高編碼性能，MPEG算法除了再I幀中全部宏塊都采用幀內(nèi)編碼模式之外，再P幀和B幀中以宏塊為單位自適應地選擇合適的運動補償預測模式。6.像塊層像塊層是MPEG算法中最小的編碼單元，它包括8×8像素像塊是DCT的基本單元，像塊層的數(shù)據(jù)包含8×8個像素的樣值經(jīng)DCT變換后所生成的DCT系數(shù)的編碼碼字。MPEG1. 離散余弦變換（DCT）再MPEG中DCT以8×8的像塊為單位進行，生成的是8×8的DCT變換系數(shù)數(shù)據(jù)塊，DCT變換最大特點是對大部分圖像，能將像塊的能量集中再少數(shù)低頻DCT變換系數(shù)上。2. 量化器DCT并不能壓縮數(shù)據(jù)，64個樣值經(jīng)

43、DCT變換后仍是64個變換系數(shù)，只有通過DCT變換系數(shù)進行量化處理后再結合游程編碼和熵編碼才能達到數(shù)據(jù)壓縮的目的。以某個量化編碼去除DCT變換系數(shù)既用降低DCT變換系數(shù)精度的方法，忽略掉不必要的DCT變換系數(shù)降低碼率。3.“之”字掃描與游程編碼DCT變換產(chǎn)生的二維數(shù)組，經(jīng)之字型掃描轉換為一組數(shù)字，DCT變換后的系數(shù)集中于二維矩陣左上角經(jīng)之字型掃描非零系數(shù)集中于一維數(shù)組前部，后面為長串量化為零的DCT系數(shù)為游程編碼創(chuàng)造了條件4.熵編碼DCT后經(jīng)量化的系數(shù)在進行熵編碼產(chǎn)生用于傳輸傳輸?shù)臄?shù)字比特流采用霍夫曼編碼5運動估計幀間編碼要進行運動估計，以宏塊為單位計算被壓縮當前幀圖像與參考幀圖像對應位置上宏

44、塊間的位置偏移，以運動矢量描述6.運動補償利用運動矢量將參考圖像中的宏塊移至水平和垂直方向上的相對應位置，生成被壓縮圖像的預測。MPEG-2與MPEG-1的區(qū)別：1.MPEG-2定義了類與級的概念規(guī)定了6個語法子集，即類簡單類、主類、4：2：2類，信噪比可分級類，空間可分級類和高級類在同一語法子集中（類）又推出了級的概念按分辨率為4級 高級 1440高級 主級 低級2.MPEG-2有按幀編碼和按場編碼兩種模式在MPEG-1中，沒有電視幀的概念只支持逐行掃描，不支持隔行掃描；在MPEG-2中允許隔行掃描和逐行掃描，針對隔行掃描設置了按幀編碼和按場編碼兩種模式。3.MPEG-2增加了可分級層MPE

45、G-2采納了多級編碼條件，將圖像的編碼碼流分為基本層和一個或多個增強層允許解碼器對編碼比特流的部分或全部碼流進行編碼，得到不同時間/空間分辨率/和不同質量等級的視頻信號6.2.6 MPEG-2的系統(tǒng)傳送層視頻和音頻經(jīng)編碼后生成各自的基本碼流ES ，在電視節(jié)目傳播和交換時將多路節(jié)目復用在一起傳輸，根據(jù)節(jié)目內(nèi)容動態(tài)分配帶寬MPEG-2系統(tǒng)復用/解復用可分兩個層次，節(jié)目級復用/解復用和系統(tǒng)級復用/解復用節(jié)目級復用/解復用指從多ES流到單路節(jié)目傳送流（TS）的復用/解復用系統(tǒng)級復用/解復用指多路節(jié)目TS間的復用/分離1.數(shù)字復用/解復用打包：以包為基礎對信號進行復用/解復用2.節(jié)目流和傳送流MPEG-

46、2定義了兩種復用信息流，節(jié)目流（PS）和傳送流（TS）將ES打包成PES將PES及輔助數(shù)據(jù)再打包進行復用生成TS或PSPS是為相對無誤碼環(huán)境設計的，為本地設計。PS包結構是可變長度的 ，TS是為易發(fā)生誤碼的轉移信道環(huán)境和有損存儲媒質設計的。TS為廣播應用的設計，TS的包結構是固定長度的，當傳輸誤碼破壞了某一TS包的圖像信息時，接收機可在固定位置推測共后續(xù)包中的同步信息從而恢復同步。由于PS包長度可變，一旦某一PS包同步信息丟失，接收機無法確定下一個同步位置會造成失真。3.PES包的組成的功能: PES包中包含了數(shù)碼率，定時及數(shù)據(jù)描述等信號和數(shù)據(jù)4.TS包（1）鏈接頭：包同步，包標識，加擾控制，

47、誤碼控制（2）適配域：1）視頻、音頻編碼器的同步 2）壓縮碼流隨機進入機制 3）本地節(jié)目插入機制（3）凈荷：1）視頻、音頻 PES包以及輔助數(shù)據(jù) 2）描述單路節(jié)目復用信息的節(jié)目映射表 3）描述多路節(jié)目復用的節(jié)目關聯(lián)表5.單路節(jié)目 TS流復用的一般流程首先，在PID=0的TS包中PAT表中找出攜帶PMT表的碼流的PID值，然后根據(jù)PID值到處描述所需節(jié)目結構的PMT碼流，從此PMT中找出組成該節(jié)目的多ES流的PID，根據(jù)這些PID值就可以從TS包中將多ES流的數(shù)據(jù)復用出來，并重新組成各ES流送給相應的解碼器進行解碼 查表法 6.3 MPEG-4視頻編碼標準6.3.1 MPEG-4視頻編碼功能與特

48、點l MPEG-4標準以音/視頻對象的形式對AV場景進行描述，提供了一種嶄新的交互方式基于內(nèi)容的交互l MPEG-4提出了基于內(nèi)容的存取概念，能對任意形狀的視頻對象進行有效表示，使用戶可與場景進行交互 特點：基于內(nèi)容的交互；高壓縮率；靈活多樣的存取6.3.2 MPEG-4視頻編碼工具箱l MPEG-4視頻組通過激活由接收機下載軟件解碼工具的機制，使MPEG-4標準具有開放、靈活、可擴展的特點.l MPEG-4通過MSDL可以選擇若干工具靈活的組合成一個算法，也可以集成若干個工具貨算法構成類，以適用于某些特定的應用6.3.3 MPEG-4視頻編碼技術 MPEG-4采用驗證模型法1 視頻驗證模型的

49、一般結構 MPEG-4視頻驗證模型引入了視頻對象平面的概念，視頻驗證模型所編碼的視頻輸入將不再只是矩形壓縮，可以是任意形狀的，視頻對象平面圖像區(qū)域，且該區(qū)域的形狀和位置可隨幀變化2 視頻驗證模型的數(shù)據(jù)結構視頻驗證模型在其語法中使用了4個層次的數(shù)據(jù)結構：視頻會晤；視頻對象；視頻對象層；視頻對象平面3 基于VOP的編碼編碼主要針對某一時刻VO的形狀，運動紋理這類信息進行，驗證模型中的主要編碼工具，就是對這3類信息進行編碼工具，紋理編碼，運動估計及補償類似于MPEG-1/-2真正新增的部分是形狀編碼6.3.4 MPEG-4在數(shù)字電視領域的應用1.虛擬演播室(1)虛擬出席；(2)虛擬重效；(3)虛擬跟

50、蹤；(4)虛擬廣告2.交互電視利用MPEG-4的交互性和支持多個并發(fā)數(shù)據(jù)流編碼的特點，可實現(xiàn)交互電視使用3.視頻編輯MPEG-4定義的簡單演播室類能夠成為視頻編輯提供高質量的信號，核心演播室類在簡單演播室類的基礎上增加了p幀，這兩個新擴展的類，使MPEG-4用于高質量的視頻編碼稱為可能6.4 MPEG-7標準簡介 MPEG-7多媒體內(nèi)容描述接口 它不是信息壓縮編碼標準，而是一種多媒體內(nèi)容描述標準MPEG-7的目標 MPEG-7可獨立于MPEG的其他標準使用，MPEG-7的描述將與所描述內(nèi)容的壓縮編碼或存儲方式無關，任何經(jīng)壓縮或未經(jīng)壓縮的多媒體信息都可用MPEG-7標準來描述MPEG-7的應用 1.視頻數(shù)