融合像串匹配的全色度畫面與混合內(nèi)容編解碼技術(shù)

融合像串匹配的全色度畫面與混合內(nèi)容編解碼技術(shù)

1視頻編碼分類在新一代云計算、數(shù)據(jù)處理模式和平臺上，云數(shù)據(jù)的圖像數(shù)據(jù)直接傳輸給客戶端，是一種需要大規(guī)模數(shù)據(jù)傳播所需的帶蓋面的系統(tǒng)架構(gòu)。屏幕圖像是指直接從各類計算機(jī)的屏幕圖像顯示單元捕獲的視頻或圖像.作為一類包含自然圖像在內(nèi)的更普遍的視頻圖像,屏幕圖像具有廣泛的應(yīng)用前景.屏幕圖像的應(yīng)用類別從視頻編碼質(zhì)量需求的角度來分,至少包括以下兩類:(1)高質(zhì)量或超高質(zhì)量的應(yīng)用類別.以遠(yuǎn)程桌面、虛擬桌面框架、超瘦客戶機(jī)、無線顯示、僅有機(jī)頂盒功能的零客戶機(jī)等為代表的云計算和云-移動計算應(yīng)用.這類應(yīng)用的一個特征是屏幕內(nèi)容的使用者通常只有一個用戶,屏幕與用戶之間的距離通常小于一米.這類應(yīng)用通常嚴(yán)格要求數(shù)學(xué)上無損或者視覺上無損的視頻編碼質(zhì)量;另一個特征是人機(jī)交互(HumanComputerInteraction,HCI)的參與,HCI過程需要對屏幕圖像進(jìn)行實時的編碼與解碼.如圖1所示,客戶端用戶信息輸入、云端信息的處理和屏幕渲染及其編碼、壓縮后的屏幕內(nèi)容從云端傳輸至客戶端、客戶端屏幕內(nèi)容的解碼與顯示一系列操作所需要的延遲應(yīng)該在用戶可以接受的范圍內(nèi).因此,屏幕圖像的編碼時間與解碼時間產(chǎn)生的延遲是整個系統(tǒng)響應(yīng)時間中非常重要的因素,對于HCI體驗效果具有關(guān)鍵作用.一般而言,總的編碼和解碼延遲時間要求為30ms(小于每秒30幀的配置)或更小.因此,這類應(yīng)用中,幀內(nèi)編碼性能比隨機(jī)存取、幀間編碼性能更加重要.(2)中等質(zhì)量或低質(zhì)量的應(yīng)用類別.以桌面共享、平板電腦和智能手機(jī)等移動裝置的第二顯示、高分辨率顯示墻、遠(yuǎn)程教學(xué)、視頻會議等為代表的桌面共享應(yīng)用.這類應(yīng)用的特征是屏幕內(nèi)容的使用者(觀看者)通常是多個用戶,屏幕與用戶之間的距離通常大于一米.這類應(yīng)用通常要求視覺上幾乎無損,在很多情形也能容忍一定程度上有損的視頻編碼質(zhì)量.與傳統(tǒng)視頻相比,屏幕圖像表現(xiàn)出顯著不同的特點.從視頻編碼的角度來看,屏幕圖像最顯著的特點是它的多樣性和廣泛性,至少體現(xiàn)在以下3個方面:(1)一個編碼塊(CodingUnit,CU)中不同顏色的數(shù)目迥異,可能出現(xiàn)介于下列兩種極端情形之間的任何情形:(1)一個CU只有1種顏色;(2)一個CU中每個像素的顏色都不同,即不同顏色的數(shù)目等于像素的數(shù)目.(2)圖像中存在具有各種各樣的形狀、大小和相對位置的匹配圖樣.(3)一幀圖像中匹配圖樣的數(shù)目很不相同,可能具有任何數(shù)目的匹配圖樣,有些圖像中可以找到很多的匹配圖樣,而有些圖像中找不到任何匹配圖樣.由于屏幕內(nèi)容中也可能混合自然圖像或視頻,屏幕內(nèi)容也稱為屏幕與混合內(nèi)容(ScreenandMixedContentCoding,SMCC).SCC也稱為SMCC.傳統(tǒng)視頻編碼中的基于塊匹配和變換的混合編碼技術(shù),對非屏幕圖像壓縮效率比較高,但對屏幕圖像壓縮效率不高,必須尋求新的編碼工具,充分挖掘屏幕圖像中的特征.以大幅度提高屏幕圖像編碼效率.因此,高效的SCC算法受到了學(xué)術(shù)界和工業(yè)界的高度關(guān)注.國際電信聯(lián)盟(ITU)、國際標(biāo)準(zhǔn)化組織(ISO)和國際電工委員會(IEC)三大國際標(biāo)準(zhǔn)組織聯(lián)合制定的HEVC(HighEfficiencyVideoCoding,HEVC2015年8月,我國數(shù)字音視頻編碼技術(shù)標(biāo)準(zhǔn)(AudioVideoCodingStandard,AVS)正式啟動了最新AVS2標(biāo)準(zhǔn)屏幕圖像的多樣性與廣泛性使現(xiàn)有HEVCSCC擴(kuò)展版中的IBC算法和PLT算法存在以下局限性:(1)IBC算法在一定程度上是將傳統(tǒng)的幀間預(yù)測擴(kuò)展到當(dāng)前幀,是一種基于塊匹配的算法,對于屏幕圖像中重復(fù)出現(xiàn)的固定大小與形狀的圖樣編碼效率比較高,但是對于任意形狀與大小的匹配圖樣缺乏靈活性.(2)PLT算法對CU內(nèi)部的像素只能參考左邊像素與上一行相同位置像素,且無法復(fù)制CU外部的同一幀屏幕圖像中相同或相似的圖樣.與IBC算法與PLT算法相比,SM算法以“串”作為最小的匹配單元,其靈活的復(fù)制串大小(最小可以為一個像素或像素的一個分量)和形狀與屏幕圖像中具有各種大小和形狀相似或者相同的圖樣具有天然的適應(yīng)性,可以達(dá)到較高的匹配精度,從而提高屏幕圖像的編碼效率.以前的串匹配研究工作HEVCSCC的編碼性能已有很大提升,但同時編碼復(fù)雜度也增加了很多倍,特別是遠(yuǎn)不能滿足高清分辨率下軟件實時編碼的要求.而屏幕圖像的應(yīng)用場景大多都有實時編碼的要求,本文在AVS2-P2的基礎(chǔ)上,研究具有我國自主知識產(chǎn)權(quán)的屏幕混合內(nèi)容的編碼算法,提出了一種低復(fù)雜度、高效的融合像素串匹配的AVS2全色度屏幕與混合內(nèi)容視頻編碼算法.此算法是AVS2提案[20]和提案[21]中的核心算法,已經(jīng)被AVS2-SMCC工作稿草案采納.2混合內(nèi)容編碼的實現(xiàn)串匹配算法的原型是混合色度采樣率的雙編碼器(Dual-coderMixedChroma-sampling-rate,DMC)SM算法按照不同的最小匹配單元,可以分為3類.第1類是分量串匹配算法各種串匹配算法及其串匹配算法的改進(jìn)算法主要圍繞如何在參考范圍內(nèi)又快又好地找到更多匹配串問題,如何對串匹配參數(shù)進(jìn)行優(yōu)化熵編碼問題而展開.在我們以前的研究以上串匹配算法均在HEVC的框架中探索與實現(xiàn).本文在AVS2-P2基準(zhǔn)檔次(已進(jìn)入國家標(biāo)準(zhǔn)的報批階段,僅支持YUV4∶2∶0格式)框架下提出了融合像素串匹配的全色度屏幕混合內(nèi)容編碼算法,主要工作如下:(1)針對目前AVS2-P2不支持全色度4∶4∶4格式的特點,設(shè)計與實現(xiàn)了一種融合4∶4∶4格式的像素串匹配編碼和4∶2∶0格式的幀內(nèi)、幀間預(yù)測編碼的全色度屏幕混合內(nèi)容編解碼框架.在此框架下,提出了一種4∶2∶0格式的幀內(nèi)、幀間編碼的率失真代價值(RateDistortionCost,RDcost)計算方式與4∶4∶4格式的串匹配編碼的RDcost計算方式;(2)在AVS2-P2中實現(xiàn)了文獻(xiàn)[13]中PRB的SM算法的基本技術(shù);在此基礎(chǔ)上,提出了一種改進(jìn)的基于N元組(本文N取值為8)的像素串匹配算法,包括最佳參考串確定算法、基于N元組的快速哈希表搜索算法、基于分段截斷二進(jìn)制碼的長度參數(shù)編碼方案和基于N元組的位移參數(shù)編碼方案.3avs2ecc算法是用圖像陣列結(jié)合的3.1avs2-2編碼性能屏幕圖像的原始采集數(shù)據(jù)一般為4∶4∶4格式(全色度格式).另一方面,目前AVS2基準(zhǔn)檔次中幀內(nèi)、幀間模式支持的格式為4∶2∶0格式.為了使4∶2∶0格式的編解碼器能夠處理4∶4∶4格式,業(yè)界的一種主流方法是對4∶4∶4格式的原始圖像進(jìn)行色度下采樣,轉(zhuǎn)換為4∶2∶0格式的圖像后,再用4∶2∶0格式的編解碼器對其進(jìn)行編碼和解碼,對重構(gòu)的4∶2∶0格式的圖像進(jìn)行色度上采樣,轉(zhuǎn)換為4∶4∶4格式的重構(gòu)圖像.本文采用這種方法使AVS2基準(zhǔn)檔次編解碼器也能夠處理4∶4∶4格式的圖像.在進(jìn)入AVS2基準(zhǔn)檔次編碼器前,將4∶4∶4數(shù)據(jù)經(jīng)過色度下采樣,轉(zhuǎn)換成4∶2∶0數(shù)據(jù),再進(jìn)入編碼器,編碼完成后,再把重建的4∶2∶0的數(shù)據(jù)經(jīng)過色度上采樣轉(zhuǎn)換為4∶4∶4格式的重構(gòu)圖像.本文采用的色度下采樣算法是4∶2∶0格式的色度分量取4∶4∶4格式中四個像素的色度分量的平均值(四舍五入),而色度上采樣算法則是重復(fù)色度分量四次.融合像素串匹配算法的完整的AVS2-P2屏幕與混合內(nèi)容視頻編解碼系統(tǒng)架構(gòu)見圖2.編碼器端分為串匹配編碼子系統(tǒng)與基于塊匹配的傳統(tǒng)混合編碼子系統(tǒng).對于輸入CUO,串匹配編碼器進(jìn)行編碼形成位流b在此框架下,重構(gòu)圖像的失真包括編碼失真和色度下采樣失真.對AVS2幀內(nèi)與幀間編碼器,兩種失真都存在;對串匹配編碼器,僅存在編碼失真.為了解決該問題,提出了一種計入這兩種失真的4∶2∶0格式的幀內(nèi)、幀間編碼模式RDcost與4∶4∶4格式的串匹配編碼模式RDcost的計算和比較方式.支持4∶4∶4數(shù)據(jù)編碼的基于4∶2∶0格式的AVS2幀內(nèi)與幀間模式RDcost其中D(1)色度失真度D(2)引入了色度失真權(quán)重因子,即W基于4∶4∶4的串匹配模式RDcost其中w′3.2cu串匹配解碼像素串匹配算法的基本操作是:對當(dāng)前CU,在已重建的參考緩沖區(qū)內(nèi),以像素為單位,按照某種匹配順序與規(guī)則,搜索最優(yōu)參考串,最終將CU劃分成一個或多個參考串和/或一個或多個未匹配像素.每一個參考串有兩個匹配參數(shù)被寫入位流:一個表示當(dāng)前串與參考串之間的坐標(biāo)偏移量的串位移矢量參數(shù)offset=(offsetX,offsetY)和一個串長度參數(shù)length.如果從某個像素開始找不到任何匹配串,該像素就作為未匹配像素被寫入位流.參考串與未匹配像素用一個匹配標(biāo)志match_flag來標(biāo)識,其中match_flag取值為false表示是一個未匹配像素,否則表示是參考串.如圖3所示,CU串匹配解碼器的操作極其簡單:首先解碼CU的掃描方式,按照掃描順序,逐個獲得重建串或者重建像素直至整個CU重建完畢:解碼match_flag,若當(dāng)前match_flag為true,從碼流中解碼匹配參數(shù)length和offset,將重建串的length個像素值從由offset確定的參考串位置復(fù)制到當(dāng)前串位置;否則從碼流中解碼一個像素的值,該像素的值即重建像素.3.3編碼單元語法元素像素串匹配算法是在I圖像中加入了串匹配類型的編碼單元,通過添加串匹配類型標(biāo)識來表示是否是串匹配類型的編碼單元.對于串匹配類型的編碼單元,用cu_sm_coding()來定義語法元素,否則保持原AVS2中非串匹配類型的編碼單元的語法元素定義.表1給出了像素串匹配的基礎(chǔ)語法元素.其中SizeInBit表示CU大小需要的比特數(shù),PositionInPic表示宏塊所在圖像的位置.語法元素說明如下:(1)scan_mode_flag:串匹配掃描模式標(biāo)志.值為1表示當(dāng)前編碼單元采用垂直掃描模式;值為0表示當(dāng)前編碼單元采用水平掃描模式.(2)match_flag:串匹配的匹配類型標(biāo)志.值為1表示一個匹配串;值為0表示一個未匹配像素.(3)length_minus1:匹配串長度.length_minus1的值加1表示當(dāng)前匹配串的長度.(4)offsetX:匹配串的水平偏移.(5)offsetY:匹配串的垂直偏移.(6)unmatched_pixel_val:未匹配像素的分量的值.8位無符號整數(shù),表示當(dāng)前未匹配像素的一個分量的值.表1中ae(v)表示高級熵編碼的語法元素.u(8)表示一個任意取值的字節(jié).語法元素length_minus1、offsetX和offsetY在熵編碼的實現(xiàn)過程中,可以根據(jù)其相關(guān)性與統(tǒng)計特性進(jìn)行熵編碼優(yōu)化.4提高的圖像字符串匹配算法的關(guān)鍵技術(shù)為了進(jìn)一步提高屏幕圖像的編碼效率,在文獻(xiàn)[13]的PRBSM算法的基礎(chǔ)上,提出了一種改進(jìn)的像素串匹配算法.下面介紹其關(guān)鍵技術(shù).4.1最佳參考串確定方案有損編碼配置中,當(dāng)前串與參考串采用有損匹配,即當(dāng)前串的像素值與參考串的像素值允許一定的誤差.本文中的有損匹配誤差設(shè)置值ErrorLimit是根據(jù)不同的量化參數(shù)(QuantizationParameter,QP)值而設(shè)定的,計算方式如下:ErrorLimit=floor((2定義1.有損匹配準(zhǔn)則C.定義2.參考串與當(dāng)前串的相似度參數(shù)dist.參考像素串與當(dāng)前串的相似度參數(shù)dist定義為參考像素串與當(dāng)前串所有像素三個分量的差值的平方和(SumofSquaredError,SSE).其中(refStr)設(shè)當(dāng)前串curStr在參考范圍內(nèi)有n個起始匹配像素位置,依次對每個位置進(jìn)行像素串匹配,可以獲得n個參考串(記為refStr定義3.參考串與當(dāng)前串匹配度函數(shù)F.參考串refStr定義4.最佳參考串評價規(guī)則R.設(shè)p文獻(xiàn)[11]中參考串與當(dāng)前串的匹配度函數(shù)僅僅考慮了長度參數(shù),記為F′(curStr,refStr該方案沒有考慮匹配參數(shù)offset的影響(有的參考串長度長一些,但是參考位置卻很遠(yuǎn),編碼匹配參數(shù)消耗的比特數(shù)很多)和有損編碼中相似度參數(shù).為了解決該問題,本文提出了參考串長度優(yōu)先,平均RDcost估計值最小的最佳參考像素串確定方案.即提出了參考串與當(dāng)前串匹配度函數(shù)F定義5.參考串與當(dāng)前串平均RDcost估計值avg_pRDcost.參考串refStr其中bits(offsetX根據(jù)式(11)和(12),提出的最佳參考串評價規(guī)則R4.2基于n元組的搜索像素串匹配算法的性能很大程度上取決于搜索的范圍.搜索的范圍越大,找到的匹配串越多越好,編碼效率也越高,同時編碼的時間也越長.基于哈希表的搜索技術(shù)本文采用的搜索范圍為全幀范圍.傳統(tǒng)的哈希表搜索算法(1)首先,進(jìn)行基于N元組的搜索,即僅對已經(jīng)編碼的最近串的N個位移矢量進(jìn)行搜索,若能找到最佳參考串,則跳過哈希表搜索;(2)然后,對一個哈希節(jié)點進(jìn)行傳統(tǒng)的逐像素匹配之前,利用最佳參考串評價規(guī)則R如圖4所示,對于當(dāng)前待匹配像素,首先進(jìn)行N元組搜索,若找到最佳參考串,則跳過哈希搜索,否則,進(jìn)行快速哈希搜索.例如,在哈希節(jié)點(x實驗結(jié)果表明,在編碼效率幾乎不變的提前下,本文提出的快速哈希表搜索方案,編碼時間復(fù)雜度降低2%左右.4.3改進(jìn)的匹配關(guān)系參數(shù)編碼方案串匹配算法要大幅提高屏幕圖像的編碼效率,一個核心的問題是如何對匹配關(guān)系參數(shù)進(jìn)行有效的編碼.對此,本文提出了基于分段截斷二進(jìn)制碼長度參數(shù)編碼方案和基于N元組的位移參數(shù)編碼方案.4.3.1基于分段定長編碼方案設(shè)N(N=2設(shè)當(dāng)前編碼CU的總像素數(shù)目為Mnum,已編碼(或解碼串)的長度為Cnum,剩下像素的數(shù)目為Max=Mnum-Cnum,則當(dāng)前串的長度必滿足length小于等于Max.利用length與Max的相關(guān)性,在分段定長編碼方案的基礎(chǔ)上其中FL(synVal,k)表示對數(shù)值synVal用固定長度kbits進(jìn)行編碼,TB(synVal,cMax)表示對數(shù)值synVal進(jìn)行最大值為cMax的TB編碼.實驗結(jié)果表明,提出的分段TB編碼方案與分段編碼方案相比,在AI配置下,對于AVS2SCC通用測試序列4.3.2水平掃描時加快x射線的映射為了提高位移參數(shù)的編碼效率,文獻(xiàn)[16]提出了一種高效的位移參數(shù)熵編碼方案.該方案主要包括以下三部分的改進(jìn)工作:根據(jù)Offset聯(lián)合概率分布特性和Offset參數(shù)之間的相關(guān)性,提出了一種聯(lián)合Offset編碼方案———對頻率出現(xiàn)最高的ABOVE分配最短的二值化碼、Offset絕對值采用2階指數(shù)哥倫布編碼、不同掃描方式時采用不同的OffsetYX二值化方案;根據(jù)Offset參數(shù)與其它復(fù)制參數(shù)length等之間的相關(guān)性,提出了水平掃描時OffsetX映射方案;提出了一種截斷(TruncatedBinaryCode,TB)EG2編碼方案,根據(jù)當(dāng)前編碼位置與Offset的取值范圍之間的相關(guān)性,將其應(yīng)用到Offset后綴編碼中.該方案未考慮最近使用過(編解碼順序上鄰近)的Offset經(jīng)常會重復(fù)出現(xiàn)的特性,在文獻(xiàn)[16]中的位移參數(shù)編碼方案的基礎(chǔ)上,提出了一種基于N元組的位移參數(shù)編碼方案,進(jìn)一步提高了編碼效率.如圖5所示,對待編碼的offset,首先分成兩類,分別是Aboveoffset(行序優(yōu)先掃描下,Aboveoffset為offsetX取值為0,offsetY取值為1;列序優(yōu)先掃描下,Aboveoffset為offsetX取值為1,offsetY取值為0)和非Aboveoffset;對非Aboveoffset,保存N個最近串編碼的非Aboveoffset(即N元組),如果在N元組中,則編碼N元組中相對應(yīng)位置的index,否則按照文獻(xiàn)[16]對非Aboveoffset的編碼方式進(jìn)行編碼.基于N元組的建立與更新算法如下:設(shè)R實驗結(jié)果表明,基于N元組的位移參數(shù)編碼方案與文獻(xiàn)[16]的位移參數(shù)編碼方案相比,在AI配置下,對于AVS2SCC通用測試序列5結(jié)果與分析5.1混合內(nèi)容mc本文采用的測試數(shù)據(jù)集來自屏幕與混合內(nèi)容視頻編碼通用測試條件(1)移動的文字和圖形(TextandGraphicswithMotion,簡稱TGM)類別,含8個序列:FlyingGraphics(FLYG)、Desktop(DSK)、Console(CNS)、ClearTypeSpreadsheet(SPS)、BitstreamAnalyzer(BSA)、EnglishDocumentEditing(EDE)、ChineseDocumentEditing(CDE)、CircuitLayoutPresenta-tion(CLP);(2)含自然視頻或相片般逼真、不規(guī)則紋理、或漸變亮度場景的混合內(nèi)容(MixedContentwithNaturalVideoorPhotorealistic,IrregularTextureue011Mapped,Light-ShadedScene,簡稱MC)類別,含4個序列:PeopleInVehicleSpreadsheet(PVS)、WebBrowsing(WEBB)、Map(MAP)、Program-ming(PRG);(3)游戲(Gaming,簡稱G)類別,含1個序列:Robot(ROB).圖6是兩個代表性測試序列的第1幀.5.2像素串匹配算法為了便于說明本文算法的特性,將本文提出的算法及其比較的基準(zhǔn)分為以下5種算法:(1)RD14.2Pseudo444.在AVS2-P2基準(zhǔn)檔次的參考軟件RD14.2上增加對輸入原始圖像的色度下采樣和對輸出重構(gòu)圖像的色度上采樣,以實現(xiàn)對YUV4∶4∶4序列的編碼和解碼,相當(dāng)于圖2中下方的虛線方框;(2)RD14.2SM.在RD14.2Pseudo444上集成了像素串匹配算法,以實現(xiàn)融合像素串匹配的全色度屏幕混合內(nèi)容的編解碼,相當(dāng)于圖2的整體框架圖.像素串匹配算法同文獻(xiàn)[13]中PRB像素串匹配算法.(3)RD14.2ESM.在RD14.2SM基礎(chǔ)上的改進(jìn)版本,包括不同模式RDcost計算方式的優(yōu)化和基于N元組的搜索與編碼方案.(4)HM16.7.HEVC4∶4∶4擴(kuò)展版的參考軟件(1).(5)SCM6.0.基于HM16.7的HEVCSCC的參考軟件編碼參數(shù)配置采用AVS2屏幕與混合內(nèi)容通用測試條件中的標(biāo)準(zhǔn)配置實驗中編碼的幀數(shù)為30幀.實驗結(jié)果從編碼效率和復(fù)雜度來衡量算法的性能.BD-rate采用Y、U、V分量平均BD-rate降低率來衡量算法的總體編碼效率.采用RD(RateDistortion)曲線圖來衡量單個序列的編碼效率.算法復(fù)雜度的比較分別用國際標(biāo)準(zhǔn)制定工作中通用的編、解碼運(yùn)行時間的比值來衡量.每種算法的AI配置在CPU為Intel(R)@2.3GHz10核,內(nèi)存為40GB的服務(wù)器上執(zhí)行;LDP配置在CPU為Intel(R)@2.3GHz20核,內(nèi)存為80GB的服務(wù)器上執(zhí)行.每次同時執(zhí)行13個窗口.操作系統(tǒng)為Windows764位.編解碼時間測量不是很精確.5.3兩組ai、ldp配置的比較表7給出了基于AVS2的RD14.2Pseudo444、RD14.2SM、RD14.2ESM三種算法總體編碼效率與復(fù)雜度的兩組(RD14.2Pseudo444相對RD14.2SM、RD14.2SM相對RD14.2ESM)比較結(jié)果.編碼效率比較中,每行數(shù)據(jù)表示一個序列類別(每個類別由1~8個序列組成,見表4),分別給出了AI、LDP配置分量Y、U、V的平均BD-rate降低率.BD-rate降低率表示在相同的峰值信噪比(PeakSignaltoNoiseRatio,PSNR)取值下比特率節(jié)省的百分比.負(fù)值表示比特率降低,編碼效率提高.表7也給出了編解碼運(yùn)行時間的比值.表8給出了基于AVS2的RD14.2Pseudo444、RD14.2ESM和基于HEVC的HM16.7、SCM6.0四種算法AI配置編碼效率與復(fù)雜度的兩組(RD14.2Pseudo444相對RD14.2ESM、HM16.7相對SCM6.0)比較結(jié)果.圖7給出了兩個典型屏幕圖像序列的三種算法RD14.2Pseudo444、RD14.2SM、RD14.2ESM在有損編碼情況下AI配置和LDP配置的RD曲線圖.5.4植生膜:流式水平線密度植生式編碼能力vd從以上實驗結(jié)果,可以得出以下結(jié)論:(1)從編碼效率來看,RD14.2ESM較RD14.2-Pseudo444平均編碼效率大幅提升.從表7中可知,RD14.2ESM與RD14.2Pseudo444算法相比,對于TGM序列類別,AI配置下Y、U、V分量平均BD-rate降低率為56.1%、97.2%、99.2%,LDP配置下Y、U、V分量平均BD-rate降低率為41.8%,70.9%,72.9%.同時,RD14.2ESM較RD14.2SM平均編碼效率明顯提升.對于TGM序列類別,AI配置下Y、U、V分量平均BD-rate降低率為16.6%、17.2%、16.4%.圖7中典型序列的RD曲線同樣表明RD14.2ESM的有效性.(2)從復(fù)雜度來看,對于AI配置和LDP配置,RD14.2ESM較RD14.2Pseudo444編碼復(fù)雜度分別增加了約23.9%、7.6%.編碼時間增加一方面在于SM編碼器中進(jìn)行最優(yōu)匹配串的搜索;另一方面,AVS2的幀內(nèi)與幀間算法是基于4∶2∶0格式的,處理的UV分量的像素值數(shù)目是SM算法的1/4.解碼復(fù)雜度AI配置降低了21.2%,LDP配置增加了72.3%(LDP配置除了第一幀外都是P圖像,RD14.2Pseudo444中大多數(shù)CU選中4∶2∶0幀間skip模式,其解碼復(fù)雜度很低,相對來說,RD14.2ESM中4∶4∶4串匹配需要處理的UV分量數(shù)目增加四倍,總像素分量數(shù)目增加一倍,導(dǎo)致解碼時間增加).RD14.2ESM較RD14.2SM,編碼復(fù)雜幾乎不變,解碼時間稍有降低.(3)表8中RD14.2ESM與RD14.2Pseudo444的比較結(jié)果和SCM6.0與HM16.7的比較結(jié)果表明,RD14.2ESM取得的編碼效率提升與HEVCSCC取得的編碼效率提升相比,有的類別和分量更大,而有的類別和分量更小,總體差別不大,但是前者編碼復(fù)雜度僅增加了23.9%,遠(yuǎn)遠(yuǎn)低于HEVCSCC增加的編碼復(fù)雜度(約為246.9%).(4)提出的RD14.2SM與RD14.2ESM算法性能的提升程度與屏幕圖像類別相關(guān).從表7中可以看出,對于TGM類別,提升比較多,M類別有一些提升,而對于G類別幾乎沒有提升,LDP配置稍微有點降低.主要原因包括:(1)有的屏幕圖像(如計算機(jī)產(chǎn)生的文字和圖形部分)中存在很多重復(fù)的匹配圖樣,而有的屏幕圖像(如自然圖像或視頻部分)中存在很少重復(fù)的匹配圖樣;(2)增加的SM算法是一種幀內(nèi)編碼工具,對于有些序列,SM算法在LDP配置中幾乎沒有作用,反而增加了表示CU編碼類型的標(biāo)志位比特數(shù),導(dǎo)致性能有些下降.事實上,在云計算平臺和遠(yuǎn)程桌面等人機(jī)互動的屏幕內(nèi)容編碼的實時應(yīng)用中,AI配置的性能決定了數(shù)據(jù)傳送的瓶頸6國際習(xí)慣法保護(hù)“scen”和“part”在AVS2-P2框架中,提出了一種低復(fù)雜度、高效的融合串匹配算法的全色度屏幕混合內(nèi)容的編碼算法.通過不同模式采用不同的RDcost計算方式解決基于4∶2∶0格式的幀內(nèi)、幀間算法與基于4∶4∶4格式的SM算法的無縫銜接問題,并且進(jìn)一步改進(jìn)了串匹配算法的性能.提出的算法能大幅提高屏幕混合內(nèi)容的編碼效率,尤其對TGM類別特別有效.與HEVC中SCC擴(kuò)展版相比,提出的算法具有兼顧編碼性能和編碼復(fù)雜度、編碼復(fù)雜度增加很小的優(yōu)勢.下一步的工作包括在AVS2-P2中探索各種受限的SM算法及其與AVS2-P2基準(zhǔn)檔次中的現(xiàn)有幀內(nèi)、幀間編碼模式的兼容性問題.BackgroundScr