視頻音頻基礎(chǔ)知識(shí)

視音頻基礎(chǔ)知識(shí)深圳市迪威視訊股份有限公司羅欽騎2主要內(nèi)容一、音頻基礎(chǔ)知識(shí)二、視頻基礎(chǔ)知識(shí)三、視頻會(huì)議終端及高清視

頻接口簡介一、音頻基礎(chǔ)知識(shí)音頻基本特性音頻特性

音頻信號(hào)由許多頻率不同的聲波組成。音頻信號(hào)的兩個(gè)基本參數(shù)是頻率（音調(diào)）和幅度（聲強(qiáng)）。人發(fā)音器官聲音頻頻率范圍：80~3400Hz。人耳感知音頻頻率范圍：20~20000Hz。

音頻信號(hào)數(shù)字化模擬信號(hào)與數(shù)字信號(hào)處理對比

時(shí)間上離散-采樣幅度上離散-量化語音質(zhì)量與采樣頻率

Nyquist原理語音質(zhì)量與采樣精度

量化噪聲與量化比特?cái)?shù)語音質(zhì)量與數(shù)據(jù)率音頻壓縮的必要性人耳可以聽到最高頻率約20KHz。根據(jù)奈奎斯特抽樣定理，為保證數(shù)字化的音頻信號(hào)正確還原，采樣頻率必須大于等于音頻信號(hào)的2倍，即40KHz。每樣本用16比特量化，立體聲碼率達(dá)40K*2*16＝

1.28Mbps聲音的靜聽域靜聽閾是隨頻率變化的，人耳對2KHz～5KHz的聲音比較敏感各人的聽覺閾值不同聲音的頻域遮蔽現(xiàn)象一種頻率的聲音會(huì)阻礙聽覺系統(tǒng)感受另一種頻率的聲音，這種現(xiàn)象稱為聲音的頻域掩蔽效應(yīng)。聲音的時(shí)域掩蔽效應(yīng)除了同時(shí)發(fā)出的聲音之間有掩蔽現(xiàn)象之外，在時(shí)間上相鄰的聲音之間也有掩蔽現(xiàn)象，稱為時(shí)域掩蔽。時(shí)域掩蔽又分為超前掩蔽和滯后掩蔽。產(chǎn)生時(shí)域掩蔽的主要原因是人的大腦處理信息需要花費(fèi)一定的時(shí)間，也就是說，一個(gè)強(qiáng)音發(fā)生時(shí)，除了提高同一時(shí)刻的聽覺閾值外，還會(huì)提高強(qiáng)音發(fā)生前和發(fā)生后一段時(shí)期的聽覺閾值。一般來說，超前掩蔽很短，只有大約5～20ms，而滯后掩蔽可以持續(xù)50～200ms。音頻壓縮的可行性 由于人耳對聲音的感知存在這些掩蔽效應(yīng)，我們可以利用人耳心理模型對聲音進(jìn)行分析，將被掩蔽的信號(hào)去除，或用少量比特進(jìn)行量化，只要保證量化噪聲低于聽覺閾值，則人耳聽不出還原后的聲音與原始聲音的差別。子帶編碼技術(shù)就是利用這種掩蔽效應(yīng)來實(shí)現(xiàn)的。音頻壓縮技術(shù)時(shí)域壓縮技術(shù)子帶壓縮技術(shù)變換壓縮技術(shù)時(shí)域壓縮技術(shù) 直接針對音頻PCM碼流的樣值進(jìn)行處理，通過靜音檢測、非線性量化、差分編碼等手段對碼流進(jìn)行壓縮。算法復(fù)雜度低，聲音質(zhì)量一般，壓縮比小，編解碼延時(shí)最短，一般多用于語音壓縮、低碼率應(yīng)用場合。主要包括G.711、ADPCM（G.721，自適應(yīng)差分脈沖編碼）、LPC（線性預(yù)測編碼）、CELP（碼激勵(lì)線性預(yù)測）等子帶壓縮技術(shù)

首先把時(shí)域中的聲音數(shù)據(jù)變換到頻域，對頻域內(nèi)的子帶分量分別進(jìn)行量化和編碼，然后根據(jù)心理聲學(xué)模型確定樣本的精度，從而達(dá)到壓縮數(shù)據(jù)量的目的。這種壓縮方式會(huì)引入大量的量化噪聲。然而根據(jù)人類的聽覺掩蔽曲線，在解碼后，這些噪聲被有用的聲音信號(hào)掩蔽掉了，人耳無法察覺。技術(shù)復(fù)雜，編碼效率、聲音質(zhì)量也高，編碼延時(shí)相應(yīng)增加，目前廣泛應(yīng)用于數(shù)字聲音節(jié)目的存儲(chǔ)、制作和數(shù)字化廣播中。典型的代表有G.722、MPEG-1層Ⅰ、層Ⅱ子帶壓縮技術(shù)輸入PCM音頻信號(hào)經(jīng)過一個(gè)多相濾波器組變換到頻域里的多個(gè)子帶中。輸入聲音信號(hào)同時(shí)經(jīng)過心理聲學(xué)模型，計(jì)算噪聲掩蔽閾值，然后分析輸入信號(hào)和子帶中的信號(hào)以確定每個(gè)子帶里的信號(hào)能量與掩蔽閾值的比率，即信掩比。量化/編碼部分根據(jù)信掩比決定分配給子帶信號(hào)的量化位數(shù)，使量化噪聲低于掩蔽閾值。最后通過成幀器將量化的子帶樣本和其他數(shù)據(jù)按照幀結(jié)構(gòu)組裝成位數(shù)據(jù)流。變換壓縮技術(shù) 它與子帶壓縮技術(shù)的不同之處在于該技術(shù)對一段音頻數(shù)據(jù)進(jìn)行“線性”的變換，對所獲得的變換域參數(shù)進(jìn)行量化、傳輸，而不是把信號(hào)分解為幾個(gè)子頻段。通常使用的變換有DFT、DCT、MDCT等。根據(jù)信號(hào)的短時(shí)功率譜對變換域參數(shù)進(jìn)行合理的動(dòng)態(tài)比特分配可以使音頻質(zhì)量獲得顯著改善，而相應(yīng)付出的代價(jià)則是計(jì)算復(fù)雜度的提高。有代表性的變換壓縮編碼技術(shù)有DolbyAC-2音頻壓縮標(biāo)準(zhǔn)標(biāo)準(zhǔn)采樣率(KHZ)碼率(Kbps)G711864G7221664/56/48G728816G72988MPEG1-L2(MUSICAM)32/44.1/4832~384MPEG4-AAC32/44.1/4864/96/128注：96Kbps碼率AAC的音頻質(zhì)量超過了128Kbps的MP3（MPEG1-L3）格式二、視頻基礎(chǔ)知識(shí)視頻的色度空間三基色原理：任何顏色均由紅（R）、綠（G）、蘭（B）三種顏色分量組成；在電視領(lǐng)域，用亮度（Y）、藍(lán)色差（U）、紅色差（V）三個(gè)分量表示。兩種方法相互之間的轉(zhuǎn)換： Y=0.3R+0.59G+0.11B U=B–Y V=R–Y視頻信號(hào)的數(shù)字化標(biāo)清標(biāo)準(zhǔn)：ITU-RBT.601

Y、U、V三分量的抽樣頻率分別為13.5MHz、6.75MHz、6.75MHz。 每個(gè)樣點(diǎn)的量化比特?cái)?shù)用于演播室為10bit,用于傳輸為8bit。

Y、U、V三分量樣點(diǎn)之間比例為4:2:2。高清標(biāo)準(zhǔn)：ITU-RBT.709

720P及1080i的Y、U、V三分量的抽樣頻率分別為74.25MHz、37.125MHz、37.125MHz。1080P50/60高達(dá)148.5M、74.25MHz、74.25MHz4:2:2采樣4:2:0采樣視頻格式標(biāo)清： PAL：隔行，720×576，50Hz NTSC：隔行，720×480，60Hz高清： 720P：逐行，1280×720，25/30/50/60Hz 1080i：隔行，1920×1080，50/60Hz 1080P：逐行，1920×1080，24/25/30/50/60Hz逐行與隔行逐行與隔行Kell系數(shù)=0.9Kell系數(shù)=0.7垂直分解力=行數(shù)xKell系數(shù)視頻信號(hào)波形視頻分辨率720P為標(biāo)清的2.2倍，1080P為標(biāo)清的5倍視頻壓縮的必要性標(biāo)清數(shù)據(jù)量（720+360+360）×576×25×8＝

165.888Mbps，加上行、場同步、消隱等時(shí)基信號(hào)，則碼率高達(dá)216Mbps高清數(shù)據(jù)量（含時(shí)基信號(hào)） 720P/1080i：74.25×2×8=1.188Gbps 1080P50/60：148.5×2×8=2.376Gbps視頻壓縮的可行性時(shí)間冗余性相鄰幀對應(yīng)象素點(diǎn)的值往往相近或相同,具有很強(qiáng)的相關(guān)性視覺冗余性對亮度敏感，對色度不敏感對低頻敏感，對高頻不敏感

空間冗余性一幅視頻圖像相鄰各點(diǎn)的取值往往相近或相同,相鄰像素之間具有很強(qiáng)的相關(guān)性圖像信號(hào)中存在的冗余Time時(shí)間冗余1sec2sec3sec4sec5sec6sec7sec空間冗余視頻壓縮的基本技術(shù)正交變換去掉空間冗余性，主要采用DCT

運(yùn)動(dòng)估計(jì)/補(bǔ)償去掉時(shí)間冗余性色度下采樣（4:2:0）去掉視覺冗余性MPEG2編碼框圖32DCT離散余弦變換1TVline(64us)720pixels“Luminance”700mV0mVfrequency1TVline(64us)720pixels“Luminance”0mVfrequencyDCT變換Y分量原始數(shù)據(jù)DCT系數(shù)以8x8塊為單位，反變換后可完全復(fù)原原始數(shù)據(jù),無損。量化量化是針對DCT系數(shù)進(jìn)行的，量化過程就是以某個(gè)量化步長（QP）去除DCT系數(shù)。量化步長的大小稱為量化精度，量化步長越小，量化精度就越細(xì)，則量化造成的失真就越小。去除視覺上不敏感的數(shù)據(jù)，是變換編碼中的真正對數(shù)據(jù)進(jìn)行有效壓縮的步驟。不可逆過程，有損。CBR（恒定碼率，QP變化）VBR（變碼率，QP固定）量化Z型掃描15,0,-2,-1,-1,0,0,-1,0,0,0,0,0,0,…游程編碼掃描后的DCT系數(shù)中存在很多零系數(shù)，可以只告訴解碼器那些非零系數(shù)，并告之兩個(gè)非零系數(shù)之間有多少個(gè)零，則解碼器可通過插入零系數(shù)的方法恢復(fù)數(shù)據(jù)，這種方法稱為游程長度編碼。15,3,0,0,0,2,0,0,0,0,0,1,0,0,0,0,0,0,1…(0,15),(0,3),(3,2),(5,1),(6,1）…VLC編碼

頻繁出現(xiàn)的數(shù)據(jù)用較短的碼字表示，不經(jīng)常出現(xiàn)的數(shù)據(jù)用較長的碼字表示，則平均碼字長度最小。15,3,0,0,0，2,0,0,0,0,0,1,0,0,0,0,0,0,1(0,15),(0,3),(3,2),(5,1),(6,1）VLC：11111111,0111,00100110,000111,0000110--33比特原始：11111111,00000011,00000000,…,00000001--152比特運(yùn)動(dòng)估計(jì)運(yùn)動(dòng)估計(jì)以宏塊（16x16）為單位進(jìn)行在參考幀搜索匹配塊，計(jì)算被壓縮圖像與參考圖像對應(yīng)位置上的宏塊間的位置偏移，即運(yùn)動(dòng)矢量參考幀當(dāng)前編碼幀（-6，-1）運(yùn)動(dòng)補(bǔ)償根據(jù)運(yùn)動(dòng)矢量，計(jì)算參考?jí)K與當(dāng)前編碼塊之間的誤差對誤差進(jìn)行DCT、量化、VLC編碼解碼時(shí)將該誤差與參考?jí)K疊加，得到當(dāng)前圖像

幀間編碼類型

I幀B幀P幀編碼序列12345678910IBBPBBPBBPBBPBBPBB原始圖像順序編解碼圖像順序色度下采樣

4

5

0

1

2

3YCrCb編碼的塊噪聲

碼率越低，量化步長越大，則塊噪聲越明顯。圖像分辨率、幀率與碼率的關(guān)系視頻編碼標(biāo)準(zhǔn)標(biāo)準(zhǔn)分辨率碼率應(yīng)用范圍H.261176144～35228864kb/s～2.048Mb/s窄帶電視會(huì)議、可視電話MPEG13522881.5Mb/sVCDH.262/MPEG-2352288～192011521.5～50Mb/s數(shù)字視頻廣播（DVB），DVD,高清電視（HDTV），寬帶電視會(huì)議H.263/H.263+12896～14081152協(xié)議本身沒有對碼率進(jìn)行限制，碼率取決于傳輸通道。同等圖像質(zhì)量下，碼率是H.261的一半，比MPEG-2節(jié)省30%主要面向窄帶應(yīng)用，但碼率在600kb/s時(shí)可極大提高圖像質(zhì)量，現(xiàn)在基本上取代了H.261，應(yīng)用于窄帶電視會(huì)議、視頻監(jiān)控等場合視頻編碼標(biāo)準(zhǔn)三基色原理：任何顏色均由紅（R）、綠（G）、蘭（B）三種顏色分量組成；在電視原理里，用亮度（Y）、藍(lán)色差（U）、紅色差（V）三個(gè)分量表示。兩種方法相互之間的轉(zhuǎn)換：Y=0.3R+0.59G+0.11BU=B–YV=R–YR=Y+V標(biāo)準(zhǔn)分辨率碼率應(yīng)用范圍MPEG-4176144～19201088移動(dòng)視頻編碼速率為5～64kb/s，影視(352288～720576)應(yīng)用速率可達(dá)15Mb/s。對于19201080的應(yīng)用可達(dá)38.4Mb/s。比H.263節(jié)省17%,比MPEG-2節(jié)省43%。主要面向多媒體應(yīng)用，如低比特率移動(dòng)多媒體通信，流媒體，基于內(nèi)容的交互多媒體數(shù)據(jù)庫檢索。監(jiān)控場合應(yīng)用較多。H.264/MPEG-4AVC12896～19201152同等圖像質(zhì)量下，碼率比H.263節(jié)省50％，比MPEG-4ASP節(jié)省28%，比MPEG-2節(jié)省64%視頻通訊（如電視會(huì)議、可視電話）,數(shù)字電視廣播，視頻存儲(chǔ)播放，監(jiān)控H.264SVCH.264SVC編碼器產(chǎn)生的碼流包含一個(gè)或多個(gè)可以單獨(dú)解碼的子碼流，子碼流可以具有不同的碼率，幀率和空間分辨率。分級(jí)的類型：時(shí)域可分級(jí)（Temporalscalability）：可以從碼流中提出具有不同幀頻的碼流?？臻g可分級(jí)（Spatialscalability）：可以從碼流中提出具有不同圖像尺寸的碼流。質(zhì)量可分級(jí)（Qualityscalability）：可以從碼流中提出具有不同圖像質(zhì)量的碼流。H.264SVCH.264SVC時(shí)域分級(jí)空域分級(jí)層間幀內(nèi)預(yù)測：圖像紋理復(fù)雜并且?guī)g搜索匹配不好的宏塊，如果基本層采用的是幀內(nèi)預(yù)測，增強(qiáng)層可以采用層間幀內(nèi)預(yù)測模式提高編碼效率。具體做法是把基本層的I塊重建上采樣得到增強(qiáng)層的預(yù)測，增強(qiáng)層只需要傳原始圖像和層間幀內(nèi)預(yù)測的殘差。EL（Enhancement

Layer）的參考，可以是來源于同一層的其他幀，也可以是低層上采樣的幀。但是不可以是更高層的幀，那樣的話丟棄高層的nalu會(huì)導(dǎo)致低層無法解碼。三、視頻會(huì)議終端及

高清視頻接口簡介5354FOCUS3800 FOCUS3800是迪威公司集合先進(jìn)的視頻編解碼和傳輸通信技術(shù)，根據(jù)最新的視頻會(huì)議終端流行趨勢，推出功能強(qiáng)大的一款會(huì)議電視終端。該終端同時(shí)支持H.264、H.263算法，適應(yīng)各種帶寬和應(yīng)用場合，可以達(dá)到FULLHD圖像質(zhì)量，色彩鮮明，畫面清晰，音質(zhì)優(yōu)美。FOCUS3800具備IP和專線E1接口，對網(wǎng)絡(luò)有更大的適應(yīng)能力。FOCUS3800還支持雙流，可以讓數(shù)據(jù)應(yīng)用更方便地融入。FOCUS3800會(huì)議電視終端和FOCUS8600MCU組成一個(gè)系統(tǒng)，適用于政府機(jī)關(guān)、軍隊(duì)、公安、教育、金融及電