視頻芯片2課件

高清AVS視頻編碼芯片結(jié)構(gòu)設(shè)計(jì)與FPGA驗(yàn)證

高清AVS視頻編碼芯片結(jié)構(gòu)設(shè)計(jì)與FPGA驗(yàn)證設(shè)計(jì)要求設(shè)計(jì)方案系統(tǒng)結(jié)構(gòu)應(yīng)用前景

SmartphonePDADVPMPMP4IPTVIPCAMDVB-TDVRVideophone設(shè)計(jì)要求支持率失真優(yōu)化(RDO)模式選擇僅支持幀模式,不支持場(chǎng)模式。支持去塊效應(yīng)濾波。碼率控制算法由嵌入式處理器軟件實(shí)現(xiàn)。設(shè)計(jì)方案編碼芯片前端設(shè)計(jì)開(kāi)發(fā)流程：系統(tǒng)模型RTL(寄存器傳輸級(jí))netlist生成FPGA/ASCI……..VHDL/VerilogHDL細(xì)化C/C++描述綜合更底層設(shè)計(jì)載入AVS視頻編碼結(jié)構(gòu)圖熵編碼反量化反變換運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)控制數(shù)據(jù)量化后的變換系數(shù)運(yùn)動(dòng)數(shù)據(jù)幀內(nèi)/幀間編碼控制解碼器運(yùn)動(dòng)估計(jì)變換/量化-0環(huán)路濾波幀內(nèi)預(yù)測(cè)硬件系統(tǒng)結(jié)構(gòu)系統(tǒng)流水線結(jié)構(gòu)：系統(tǒng)層控制DDRSDRAM視頻輸入分層IME全搜索亞像素差值FMESmallLumaRef.PelsSRAMsLumaRef.PelsSRAMsCur/Ref.RegArray率失真模式選擇DCT/IDCTQ/IQ熵編碼去塊濾波分層IME全搜索亞像素差值FMELumaPred.PelsSRAMsCur.MBOrg.SRAMs................................................LumaPred.PelsSRAMsLumaRef.PelsSRAMsCur/Ref.RegArraySmallLumaRef.PelsSRAMsIntra預(yù)測(cè)Upper&LeftpelsSRAMIntraPred.PelsSRAMsCodeNumMBSRAMRec.MBSRAMDeblockSRAMBitstreamSRAMChromaPred.PelsSRAMs色度像素濾波器SmallChromaRef.PelsSRAMsChromaRef.PelsSRAMsChromaPred.PelsSRAMs色度像素濾波器SmallChromaRef.PelsSRAMsChromaRef.PelsSRAMsDDR訪問(wèn)接口狀態(tài)機(jī)第一級(jí)（IME）第二級(jí)（FME）第三級(jí)（MD）第四級(jí)（EC/DB）NN-1NN+1VLSI實(shí)現(xiàn)系統(tǒng)關(guān)鍵參數(shù)分析系統(tǒng)流水結(jié)構(gòu)實(shí)時(shí)吞吐瓶頸基于RDO模式選擇代價(jià)函數(shù)RDcost復(fù)雜度分析:

DCT-H，DCT-V，Q，IQ，ZigzagScan,VLCIDCT-H，IDCT-V候選模式復(fù)雜度分析幀內(nèi)模式Intra：5x4+4x2=28次RDcost計(jì)算。

幀間模式:運(yùn)動(dòng)預(yù)測(cè)方向+可變大小塊分割模式運(yùn)動(dòng)預(yù)測(cè)方向(前,后,雙向?qū)ΨQ)由IMEFME完成選擇RDOMD僅僅選擇可變大小塊分割模式和直接模式Inter：6x6=36次RDcost計(jì)算。RDO模式選擇的可能性

H.264顆粒度更小，模式更多

AVS相對(duì)顆粒度適中，模式相對(duì)比較少

AVSDCTIDCT塊8x8比H.264的4x4塊大，硬件消耗也大

權(quán)衡有實(shí)現(xiàn)RDO模式選擇的可能性RDO模式選擇算法簡(jiǎn)化思路:I幀intra模式選擇不簡(jiǎn)化,RDO模式選擇P,B幀中intra模式采用基于SAD判據(jù)P,B幀內(nèi)inter模式中的預(yù)測(cè)方向(前,后,雙向?qū)ΨQ)由IMEFME完成選擇P,B幀內(nèi)inter模式中的可變大小塊模式選擇由RDO模式選擇實(shí)現(xiàn)簡(jiǎn)化:P.B幀8x8(1),8x8(2),8x16,16x8,16x16,skip/direct,intra----->skip/direct,intra,3種候選模式實(shí)際系統(tǒng)時(shí)鐘頻率：

設(shè)RDO塊級(jí)流水周期為25cycles，則RDO一級(jí)MB處理時(shí)間為25x37=925cycles.MB級(jí)流水周期系統(tǒng)時(shí)鐘頻率：1920x1088x30/256=244800MB/s244800x925=226.44Mhz1280x720x30/256=108000MB/s108000x925=99.9Mhz流水線結(jié)構(gòu)第一級(jí)：整像素運(yùn)動(dòng)估計(jì)（IME）:第二級(jí)：分像素運(yùn)動(dòng)估計(jì)（FME）:第三級(jí)：編碼模式選擇、intra預(yù)測(cè)（DB/IP）:第四級(jí)：可變長(zhǎng)編碼、去塊效應(yīng)濾波（EC/DB）:流水線結(jié)構(gòu)(1)第一級(jí)：整像素運(yùn)動(dòng)估計(jì)（IME）:★算法描述：

·采用分層全搜索算法（3層）。 ·搜索窗為256x192。 ·搜索中心（0，0）點(diǎn)。 ·P幀前向2個(gè)參考幀，B幀前后各1個(gè)參考幀。整像素運(yùn)動(dòng)估計(jì)需求分析：

假設(shè)采用并行256個(gè)PE結(jié)構(gòu)，每個(gè)時(shí)鐘搜索一個(gè)侯選MV，需要256×192=49152個(gè)時(shí)鐘完成整個(gè)窗口的搜索，如果采用并行結(jié)構(gòu)保證搜索速度，付出的硬件代價(jià)是無(wú)法接受的。三層全搜索算法：

分層搜索思路可以快速實(shí)現(xiàn)搜索收斂。分層搜索的思想是：將當(dāng)前幀和參考幀按照一定比例降采樣，然后逐層搜索。整像素運(yùn)動(dòng)估計(jì)三層全搜索：4:14:1整像素運(yùn)動(dòng)估計(jì)·level-2層搜索： 搜索全部[-3232]x[-2424]區(qū)間64x48=3072個(gè)MV，選擇SAD最小的3個(gè)MV，以及預(yù)測(cè)得到的一個(gè)MV，保存這4個(gè)MV作為L(zhǎng)evel-1層搜索中心。13fedcba9876542g64481612整像素運(yùn)動(dòng)估計(jì)·level-1層搜索： 在第Level-1層分別以level-2得到的四個(gè)MV為中心，在[-8,8]的范圍內(nèi)搜索，完成了4次迭代后,得到一個(gè)最優(yōu)的點(diǎn)mv1，用于初步確定level-0層實(shí)際運(yùn)動(dòng)的大致范圍,即mvp=mv1。13fedcba9876542gMVP12896整像素運(yùn)動(dòng)估計(jì)·level-0層搜索：

在第Level-0層上以Level-1層得到的mvp這個(gè)點(diǎn)為中心在[-1212]的范圍內(nèi)搜索，最后得到合適的MV。然后以這個(gè)點(diǎn)為中心進(jìn)行亞像素運(yùn)動(dòng)估計(jì)。13fedcba9876542g25x25192256流水線結(jié)構(gòu)(2)第二級(jí)：分像素運(yùn)動(dòng)估計(jì)（FME）：

以整像素得到的運(yùn)動(dòng)向量為中心，當(dāng)前宏塊與1/2、1/4像素插值圖象進(jìn)行再度匹配，以尋找編碼性能更好的運(yùn)動(dòng)向量?！るy點(diǎn)：

整幀插值生成1/2，1/4像素分別是整像素的4倍和16倍數(shù)據(jù)量。如果以這樣的方式進(jìn)行亞像素計(jì)算和保存，則片外存儲(chǔ)器的帶寬和容量將是芯片設(shè)計(jì)的嚴(yán)重挑戰(zhàn)?！そ鉀Q方案：

采用即用即算的策略，因此FME中將包括兩個(gè)功能：像素插值和像素匹配。分像素運(yùn)動(dòng)估計(jì)·即算即用的方案： 只對(duì)整像素搜索到的最佳MV所對(duì)應(yīng)的匹配塊進(jìn)行亞像素插值，插值出一個(gè)8x8塊周?chē)乃?/2和1/4像素點(diǎn)需要一個(gè)14x14的整像素塊。1123456783123456786123456788123456784bc291079105bc整像素1/2像素1/4像素分像素運(yùn)動(dòng)估計(jì)·1/2像素插值：一行14個(gè)整像素垂直濾波器水平濾波器水平/垂直濾波器分像素運(yùn)動(dòng)估計(jì)·1/2、1/4像素FME搜索全過(guò)程：

PE1~PE8實(shí)現(xiàn)8個(gè)1/2精度MV的代價(jià)函數(shù)計(jì)算（SAD+λ×bits_MVD）流水線結(jié)構(gòu)(3)第三級(jí)：率失真模式選擇（RDOMD）:★幀內(nèi)模式?jīng)Q策(采用重構(gòu)像素作為參考像素預(yù)測(cè))

·幀內(nèi)塊預(yù)測(cè)方法

·I幀的幀內(nèi)模式?jīng)Q策方法（基于RDO模式選擇）·P,B幀的幀內(nèi)模式?jīng)Q策方法（基于SAD模式選擇）★幀間模式?jīng)Q策：·簡(jiǎn)化的模式?jīng)Q策方法幀內(nèi)模式?jīng)Q策·幀內(nèi)塊預(yù)測(cè)方法：

采用原始像素替代重構(gòu)像素，可以提高計(jì)算速度，但在一定程度帶來(lái)編碼失真。(PSNR損失高達(dá)0.2-0.5dB)藍(lán)色曲線為：I幀和PB幀的Intra塊都采用原始像素值預(yù)測(cè)。粉色曲線為：I幀和PB幀的Intra塊都采用重構(gòu)像素值預(yù)測(cè)。幀內(nèi)模式?jīng)Q策·I幀的幀內(nèi)模式?jīng)Q策方法：

采用傳統(tǒng)率失真優(yōu)化的模式?jīng)Q策方法。·PB幀的幀內(nèi)模式?jīng)Q策方法： 采用SAD判別的方法。幀間模式?jīng)Q策方法模式組合=時(shí)域預(yù)測(cè)方向+可變大小塊分割模式

預(yù)測(cè)方向由IMEFME選擇幀間模式?jīng)Q策方法·簡(jiǎn)化的模式?jīng)Q策方法：

為了減小時(shí)鐘資源，采用基于SAD和率失真優(yōu)化聯(lián)合判別的模式?jīng)Q策方法。

減少候選模式（1）skip/direct模式發(fā)生的概率比較大，必選（2）16x1616x88x168x8-18x8-2利用SAD判據(jù)選擇出最優(yōu)的三種模式，（3）基于SAD判據(jù)選擇出的最優(yōu)intra模式

基于RDO判據(jù)從5種可能模式中選擇最優(yōu)模式代價(jià)函數(shù)RDcost復(fù)雜度分析:

DCT-H，DCT-V，Q，IQ，ZigzagScan,VLCIDCT-H，IDCT-V候選模式復(fù)雜度分析幀內(nèi)模式Intra：5x4+4x2=28次RDcost計(jì)算。

幀間模式:運(yùn)動(dòng)預(yù)測(cè)方向+可變大小塊分割模式運(yùn)動(dòng)預(yù)測(cè)方向(前,后,雙向?qū)ΨQ)由IMEFME完成選擇RDOMD僅僅選擇可變大小塊分割模式和直接模式Inte