轉(zhuǎn)換編碼技術(shù)綜述

轉(zhuǎn)換編碼技術(shù)綜述

1轉(zhuǎn)換編碼技術(shù)編碼編碼是轉(zhuǎn)換編碼中的數(shù)字視聽和數(shù)據(jù)碼格式，并通過不同的媒體保存或傳輸，為不同的系統(tǒng)或不同的設(shè)備服務(wù)。轉(zhuǎn)換編碼可按不同方法分類。依待轉(zhuǎn)換的源碼流和轉(zhuǎn)換后的目標(biāo)碼流遵循的編碼標(biāo)準(zhǔn)分類較實(shí)用。按此可分為:同類轉(zhuǎn)換編碼和異類轉(zhuǎn)換編碼。前者指將已編碼碼流轉(zhuǎn)換成同一種編碼標(biāo)準(zhǔn)的目標(biāo)碼流。例如:空間分辨力、時(shí)間分辨力和碼率等視頻和編碼參數(shù)的轉(zhuǎn)換;后者指不同編碼標(biāo)準(zhǔn)碼流間的轉(zhuǎn)換。例如由MPEG-2到MPEG-4,MPEG-2到H.264/AVC,MPEG-2到AVS轉(zhuǎn)換編碼是信源編碼領(lǐng)域研究的熱點(diǎn)問題之一。轉(zhuǎn)換編碼技術(shù)對(duì)滿足不同傳輸系統(tǒng)需求;提高信道利用率;適應(yīng)信道有效帶寬及其變化;服務(wù)于多種類型、多種檔次終端;多種編碼標(biāo)準(zhǔn)間資源共享;推動(dòng)電信網(wǎng)、計(jì)算機(jī)網(wǎng)和電視網(wǎng)資源共享,向三網(wǎng)融合方向發(fā)展;與不斷涌現(xiàn)的新編碼標(biāo)準(zhǔn)和技術(shù)兼容等都有重要意義。轉(zhuǎn)換編碼由轉(zhuǎn)換編碼器完成。同類轉(zhuǎn)換編碼可通過轉(zhuǎn)換編碼器中的數(shù)字濾波器或改變編碼參數(shù)等實(shí)現(xiàn)。對(duì)于異類轉(zhuǎn)換編碼,目前使用的數(shù)字音視頻編碼標(biāo)準(zhǔn)主要有:MPEG-1/2/4,H.263,H.264/AVC等。這些標(biāo)準(zhǔn)中,視頻壓縮均基于離散余弦變換(DCT)或類似的變換、量化(Q)、運(yùn)動(dòng)估計(jì)(ME)/運(yùn)動(dòng)補(bǔ)償(MC)和熵編碼等技術(shù);音頻壓縮則以心理聲學(xué)模型和熵編碼等為基礎(chǔ),應(yīng)用較廣的是MPEG和DolbyAC-3最基本的轉(zhuǎn)換編碼器為解碼-編碼級(jí)聯(lián)型。以視頻轉(zhuǎn)換編碼器為例,其解碼部分把源碼流解碼到像素域圖像,再由編碼部分重新編碼成目標(biāo)碼流。這種結(jié)構(gòu)便于改變圖像格式、編碼參數(shù)和編碼標(biāo)準(zhǔn),同類和異類的轉(zhuǎn)換編碼均可采用,質(zhì)量也較好,但所需存儲(chǔ)空間和運(yùn)算量較大,不是優(yōu)選方案,對(duì)尺寸較大的視頻更難以軟件實(shí)現(xiàn)。因像素域級(jí)聯(lián)型轉(zhuǎn)換編碼器可采用標(biāo)準(zhǔn)的編解碼算法,故可用作比較不同結(jié)構(gòu)和算法轉(zhuǎn)換編碼器性能的基準(zhǔn)實(shí)際上,轉(zhuǎn)換編碼器可從源碼流獲得眾多信息,其中不僅包括編碼參數(shù),還可預(yù)知原始圖像序列的統(tǒng)計(jì)特性。充分利用這些信息,除可降低計(jì)算量外,因已經(jīng)過預(yù)編碼,在相同碼率下,理論上可比直接編碼的目標(biāo)碼流取得更高質(zhì)量。隨著集成電路的發(fā)展和信號(hào)處理速度的提高,目標(biāo)碼流質(zhì)量是轉(zhuǎn)換編碼的終極目的,而在保證一定實(shí)用質(zhì)量的前提下提高轉(zhuǎn)換編碼效率則是工程實(shí)現(xiàn)的首要問題。簡化轉(zhuǎn)換編碼器結(jié)構(gòu),盡可能地提取、優(yōu)化和重用源碼流信息,尋求轉(zhuǎn)換編碼復(fù)雜度和目標(biāo)碼流質(zhì)量間的均衡,是研究轉(zhuǎn)換編碼技術(shù)的核心2類型轉(zhuǎn)換代碼2.1編碼質(zhì)量的變化變換碼率一般可用開環(huán)、像素域級(jí)聯(lián)或DCT域級(jí)聯(lián)等3種結(jié)構(gòu)的轉(zhuǎn)換編碼器實(shí)現(xiàn)最簡單的降碼率開環(huán)轉(zhuǎn)換編碼器是舍去源碼流變字長解碼(VLD)所得的DCT高頻系數(shù)或其對(duì)應(yīng)的變字長碼,也可將VLD所得DCT系數(shù)反量化(IQ1)再重量化(Q2)和變字長編碼(VLC)(見圖1)。開環(huán)結(jié)構(gòu)計(jì)算量小,但因不校正重量化誤差,使參考圖像誤差累積,導(dǎo)致重建圖像以圖組(GoP)為周期逐漸蛻變,呈現(xiàn)醒目的誤差漂移損傷。圖2為像素域雙環(huán)級(jí)聯(lián)轉(zhuǎn)換編碼器,級(jí)聯(lián)也可在DCT域?qū)崿F(xiàn)。與解碼-編碼級(jí)聯(lián)型不同在于重用源碼流的運(yùn)動(dòng)矢量(MV)和宏塊編碼模式等信息。由于運(yùn)動(dòng)估計(jì)(ME)約占60%以上的編碼運(yùn)算量,所以可大幅度降低編碼端的計(jì)算量。通過優(yōu)化重用的MV和重量化后修改編碼模式,雖質(zhì)量也有所下降,但不會(huì)產(chǎn)生討厭的漂移。雙環(huán)級(jí)聯(lián)轉(zhuǎn)換編碼器質(zhì)量較高。當(dāng)MV指向整像素時(shí),運(yùn)動(dòng)補(bǔ)償(MC)為線性運(yùn)算,可將其簡化為閉環(huán)結(jié)構(gòu)。其中,MC可在像素域或DCT域進(jìn)行。后者無需經(jīng)反DCT(IDCT)到像素域,而可節(jié)省存儲(chǔ)量,但會(huì)加大DCT域計(jì)算量,應(yīng)采用快速算法(見圖3)。閉環(huán)結(jié)構(gòu)可重用源碼流中的MV、宏塊殘差和編碼模式等信息,通過校正重量化誤差可克服誤差漂移。但在半像素或1/4像素MC情況下,由于插值除法和取整計(jì)算,MC含非線性運(yùn)算,而產(chǎn)生漂移誤差,不過一般較輕微2.2編碼模式和編碼優(yōu)化空間分辨力可上、下變換。前者一般不能提高圖像分辨力,后者可降低傳輸帶寬、節(jié)省存儲(chǔ)介質(zhì)或降低對(duì)終端的要求,若終端再作上變換,還可重建較高分辨力圖像圖像水平和垂直尺寸均下變換為1/2較易實(shí)現(xiàn)。此時(shí)源圖像中的2×2宏塊對(duì)應(yīng)目標(biāo)圖像中的1個(gè)宏塊,確定其編碼模式和優(yōu)化其MV較簡單。以1920×1080/16:9高清晰度電視(HDTV)視頻流到720×576/4:3標(biāo)準(zhǔn)清晰度電視(SDTV)視頻流為例,不是簡單倍數(shù)關(guān)系的下變換,又需處理圖像寬高比不一致問題,因而較困難,但極具應(yīng)用價(jià)值構(gòu)筑與圖2類似的雙環(huán)級(jí)聯(lián)空間分辨力轉(zhuǎn)換編碼器,按編碼端MV重新進(jìn)行MC,可避免漂移誤差,其質(zhì)量主要取決于MV復(fù)用算法。這種轉(zhuǎn)換編碼器需在像素域級(jí)聯(lián),并在像素域由數(shù)字濾波器完成空間分辨力下變換,此外還要引入優(yōu)化源碼流MV和轉(zhuǎn)換宏塊編碼模式的功能模塊。雙環(huán)級(jí)聯(lián)空間分辨力轉(zhuǎn)換編碼器較復(fù)雜,可簡化成類似圖3的開環(huán)結(jié)構(gòu)。分辨力下變換也可在DCT域完成,但存在編碼端重量化和空間下變換MC不匹配誤差,只能滿足質(zhì)量要求不高的低復(fù)雜度、低延時(shí)需求。3降碼率補(bǔ)償編碼對(duì)帶寬極低的信道,需同時(shí)降低空間和時(shí)間分辨力,傳輸?shù)蛶?、小畫面視頻。對(duì)含B幀又不將其作參考幀的源碼流,丟棄其中的B幀是最簡單的降低時(shí)間分辨力方法。但雙向預(yù)測編碼的B幀占用很少比特?cái)?shù),將之去除對(duì)降碼率貢獻(xiàn)較小,通常還要丟棄P幀。對(duì)時(shí)間分辨力變換轉(zhuǎn)換編碼,除重量化誤差外,由于有被跳過的參考幀,所以不能直接用源碼流中更前面的可用參考幀的殘差數(shù)據(jù)和運(yùn)動(dòng)矢量(MV),否則將產(chǎn)生嚴(yán)重的運(yùn)動(dòng)補(bǔ)償不匹配。為此需根據(jù)可用參考幀重新計(jì)算殘差數(shù)據(jù)和新的MV。例如針對(duì)各被跳過參考圖像中與當(dāng)前編碼宏塊面積匹配情況、基于相關(guān)宏塊活動(dòng)性等,計(jì)算相對(duì)于更前面的可用參考幀的MV,再在可用參考幀中相應(yīng)的小范圍內(nèi)進(jìn)行搜索,優(yōu)化新計(jì)算的MV,得復(fù)用的MV。時(shí)間分辨力轉(zhuǎn)換編碼器也可用圖2的雙環(huán)級(jí)聯(lián)結(jié)構(gòu),不過需有跳幀機(jī)制。若有參考幀被跳過,則要經(jīng)MV復(fù)用和宏塊編碼模式轉(zhuǎn)換,重新計(jì)算殘差數(shù)據(jù),來提高轉(zhuǎn)換質(zhì)量。4運(yùn)動(dòng)補(bǔ)償和轉(zhuǎn)換編碼由于MPEG-2標(biāo)準(zhǔn)在技術(shù)上最成熟、應(yīng)用最廣、資源最豐富,而H.264/AVC是壓縮效率更高、更具應(yīng)用前景的數(shù)字音視頻編碼標(biāo)準(zhǔn),我國AVS標(biāo)準(zhǔn)又與H.264/AVC有共同點(diǎn),所以實(shí)現(xiàn)MPEG-2到H.264/AVC異類碼流的轉(zhuǎn)換,對(duì)兩類系統(tǒng)間共享資源意義重大。與MPEG-2相比,H.264/AVC采用的主要新技術(shù)有:1)與MPEG-2中只有16×16和16×8兩種不同,H.264/AVC可從16×16到4×4靈活選擇多種運(yùn)動(dòng)補(bǔ)償塊大小;2)將8×8DCT改為4×4高相關(guān)變換(HT);3)運(yùn)動(dòng)矢量(MV)精度由1/2提高到1/4像素,像素內(nèi)插算法也不同,且取消了必須指向參考圖像內(nèi)部的限制;4)可用前面多達(dá)16個(gè)參考幀預(yù)測P幀或前、后多達(dá)16個(gè)參考幀預(yù)測B幀;5)B幀也可作參考幀,解碼端可選擇參考幀順序和幀顯示順序;6)幀內(nèi)編碼亦可作空間預(yù)測;7)采用算術(shù)熵編碼,上下文自適應(yīng)熵編碼;8)引入去塊效應(yīng)環(huán)路濾波器。由于技術(shù)上的差別,進(jìn)行MPEG-2到H.264/AVC轉(zhuǎn)換編碼需特別注意:1)幀內(nèi)宏塊預(yù)測模式的判斷;2)DCT系數(shù)到高相關(guān)變換系數(shù)的轉(zhuǎn)換以及變換核由8×8到4×4的變化;3)幀間編碼運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)膬?yōu)化;4)自適應(yīng)幀/場編碼的控制MPEG-2到H.264/AVC轉(zhuǎn)換編碼需采用雙環(huán)級(jí)聯(lián)轉(zhuǎn)換編碼器,而簡單的開環(huán)結(jié)構(gòu)不適用。在DCT域級(jí)聯(lián)雖可省去DCT和IDCT,也可保證質(zhì)量,但需進(jìn)行DCT到HT的變換,運(yùn)動(dòng)矢量精度也不一樣,算法較復(fù)雜。像素域級(jí)聯(lián)效率低,但質(zhì)量好,且可得更多相關(guān)信息,便于編碼模式判斷和運(yùn)動(dòng)矢量重用和優(yōu)化。圖4為這種轉(zhuǎn)換編碼器功能框圖,其中幀間編碼宏塊模式仍在DCT域判斷,圖中尚未考慮不屬H.264/AVC基本檔次的B條帶編碼。H.264/AVC編碼器的運(yùn)動(dòng)估計(jì)運(yùn)算量甚至占編碼運(yùn)算量的80%,對(duì)轉(zhuǎn)換編碼應(yīng)充分利用源碼流中的運(yùn)動(dòng)矢量,優(yōu)化后重用于H.264/AVC編碼,并研究其快速算法。5編碼質(zhì)量及其評(píng)價(jià)5.1影響編碼質(zhì)量的因素目前實(shí)用較廣的視頻編碼標(biāo)準(zhǔn)均采用混合編碼技術(shù),損傷源于量化,而依碼流統(tǒng)計(jì)特性進(jìn)行的熵編碼無損。轉(zhuǎn)換編碼中,除解碼-編碼的計(jì)算誤差外,損傷圖像質(zhì)量的根本原因是編碼目標(biāo)碼流增加了重量化過程。其誤差一方面降低視頻質(zhì)量,另一方面還會(huì)改變編碼端重構(gòu)的參考圖像,造成與解碼端參考圖像不一,導(dǎo)致運(yùn)動(dòng)補(bǔ)償不匹配,且逐漸累積直到后續(xù)的幀內(nèi)編碼,呈現(xiàn)質(zhì)量漂移損傷。對(duì)空間分辨力較低的色信號(hào),這種漂移更為醒目。精心設(shè)計(jì)雙環(huán)結(jié)構(gòu)轉(zhuǎn)換編碼器,利用其中的反饋環(huán),可一定程度地抑制漂移誤差。轉(zhuǎn)換編碼中,碼率控制是通過調(diào)整量化步長實(shí)現(xiàn)的,也要影響目標(biāo)碼流質(zhì)量。對(duì)基于GoP的碼率控制算法,因無法實(shí)時(shí)確定GoP結(jié)構(gòu),可按已處理的GoP結(jié)構(gòu)預(yù)測;對(duì)延時(shí)允許超過一個(gè)GoP歷時(shí)的應(yīng)用,則可預(yù)先得知GoP的構(gòu)成特點(diǎn)。對(duì)按視頻幀復(fù)雜度分配比特?cái)?shù)的碼率控制算法,原理上應(yīng)按編碼目標(biāo)碼流計(jì)算幀復(fù)雜度,但源碼流的量化步長和編碼比特?cái)?shù)等,帶有視頻統(tǒng)計(jì)特性信息,而不失用于改善比特分配的價(jià)值。本文重點(diǎn)討論的由源碼流確定目標(biāo)碼流各層次編碼模式的算法,最終也要通過影響量化而波及轉(zhuǎn)換編碼質(zhì)量。由于實(shí)用的轉(zhuǎn)換編碼器通常不是采用最優(yōu),而是較簡單的模式選擇策略,其影響難以完全避免。由源碼流提取和優(yōu)化運(yùn)動(dòng)矢量并復(fù)用于編碼過程,在轉(zhuǎn)換編碼中占用的計(jì)算量最大,也是左右目標(biāo)碼流質(zhì)量的關(guān)鍵。這是由于運(yùn)動(dòng)補(bǔ)償效果會(huì)改變殘差圖像數(shù)據(jù)量,在限定碼率的情況下,就需要調(diào)整量化分級(jí)。對(duì)于異類轉(zhuǎn)換編碼,不同標(biāo)準(zhǔn)運(yùn)動(dòng)矢量算法的不同,也是產(chǎn)生誤差漂移的重要因素。5.2編-解碼器主觀評(píng)價(jià)視頻質(zhì)量歷來有客觀測試和主觀評(píng)價(jià)兩類方法?？陀^測試通常是測定峰值信噪比(PSNR),特別是亮度信號(hào)的PSNR。算法研究中,通常用計(jì)算機(jī)模擬,PSNR由目標(biāo)碼流解碼數(shù)據(jù)與源碼流解碼數(shù)據(jù)之比求得。若目的在于比較算法優(yōu)劣,則一般均參照解碼-編碼級(jí)聯(lián)轉(zhuǎn)換編碼器進(jìn)行,編-解碼器分別采用相應(yīng)標(biāo)準(zhǔn)推薦的算法模擬軟件包。因PSVR值與目標(biāo)碼流碼率聯(lián)系在一起,若畫出率失真曲線(R-D曲線)則更直觀。主觀評(píng)價(jià)是按相關(guān)標(biāo)準(zhǔn)規(guī)定,在標(biāo)準(zhǔn)環(huán)境中,使用符合要求的設(shè)備,按規(guī)范的方法,由數(shù)量足夠的合格評(píng)價(jià)者,對(duì)選定的多種有代表性的視頻序列,用雙刺激連續(xù)質(zhì)量標(biāo)度法(DSCQS)評(píng)分,經(jīng)數(shù)據(jù)處理,計(jì)算出各評(píng)價(jià)序列的平均分、標(biāo)準(zhǔn)偏差和95%置信間隔主觀評(píng)價(jià)不僅需要進(jìn)行大量組織和數(shù)據(jù)處理工作,且評(píng)價(jià)結(jié)果受評(píng)價(jià)者生理和心理因素影響,因人、因時(shí)而異,很難得到統(tǒng)一的視覺模型?？陀^測試便于實(shí)施,結(jié)果較穩(wěn)定,但常常難以反映視覺敏感的損傷,而使測試數(shù)據(jù)不能與主觀評(píng)價(jià)結(jié)果一致。對(duì)轉(zhuǎn)換編碼評(píng)價(jià)來說,除計(jì)算機(jī)模擬通過計(jì)算PSNR或畫出R-D曲線較方便外,最終仍得主要靠主觀評(píng)價(jià)。6轉(zhuǎn)換編碼質(zhì)量問題轉(zhuǎn)換編碼隨著新編碼標(biāo)準(zhǔn)出現(xiàn)以及多種編碼標(biāo)準(zhǔn)、多種網(wǎng)絡(luò)、多種信道和多種終端等要求軟硬件資源共享的需求推動(dòng)而發(fā)展起來。轉(zhuǎn)換編碼追求的目標(biāo)是高質(zhì)量。由于源碼流已經(jīng)歷一次編碼,利用碼流中載有的編碼信息進(jìn)行轉(zhuǎn)換編碼,理論上會(huì)比直接編碼目標(biāo)碼流獲得更好的質(zhì)量。但受技術(shù)實(shí)現(xiàn)的局限,只能力求質(zhì)量與復(fù)雜度之比較優(yōu)。對(duì)異類轉(zhuǎn)換編碼,如果目標(biāo)碼流采用源碼流沒有的新技術(shù)以提