視頻解碼方法及裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀介質(zhì)

(19)國(guó)家知識(shí)產(chǎn)權(quán)局

(12)發(fā)明專利

(10)授權(quán)公告號(hào)CN112514385B

(45)授權(quán)公告日2022.11.01

(21)申請(qǐng)?zhí)?01980050574.0(51)Int.CI.

79/724(2006.01)

(22)申請(qǐng)日2019.09.23H04N

H04N79/796(2006.01)

(65)同一申請(qǐng)的已公布的文獻(xiàn)號(hào)

H04N19/172(.2006.01)

申請(qǐng)公布號(hào)CN112514385A

H04N/9/70(2006.01)

(43)申請(qǐng)公布日2021.03.16

(56)對(duì)比文件

(30)優(yōu)先權(quán)數(shù)據(jù)US2014348227A1,2014.11.27

62/739,3122018.09.30USW02013159335A1,2013.10.31

16/198,9662018.11.23USUS2014341276A1,2014.11.20

US2013002905A1,2013.01.03

(85)PCT國(guó)際申請(qǐng)進(jìn)入國(guó)家階段日

US2013089140A1,2013.04.11

2021.01.28

US2014079135A1,2014.03.20

(86)PCT國(guó)際申請(qǐng)的申請(qǐng)數(shù)據(jù)

US2015358631A1,2015.12.10

PCT/US2019/0524172019.09.23

CN106464885A,2017.02.22

(87)PCT國(guó)際申請(qǐng)的公布數(shù)據(jù)Shih-TaHsiang等.JVET-K0251spec..

W02020/068662EN2020.04.02textXjointVideoExpertsTeam(JVET)of

ITU-TSG16WP3andISO/IECJTC1/SC29/

(73)專利權(quán)人騰訊美國(guó)有限責(zé)任公司

地址美國(guó)加利福尼亞州帕洛阿爾托公園大WG1111thMeeting:Ljubljana,SI,10-18

July2018L2018,

道2747號(hào)

審查員蔣碧波

(72)發(fā)明人李翔許曉中劉杉

(74)專利代理機(jī)構(gòu)北京派特恩知識(shí)產(chǎn)權(quán)代理有

限公司11270

專利代理師高天華張穎玲權(quán)利要求書(shū)2頁(yè)說(shuō)明書(shū)16頁(yè)附圖8頁(yè)

(54)發(fā)明名稱數(shù)據(jù)執(zhí)行逆量化。

視頻解碼方法及裝置、計(jì)算機(jī)設(shè)備和計(jì)算機(jī)

可讀介質(zhì)

(57)摘要

本公開(kāi)的各方面提供了用于視頻編碼的方

法和裝置。在一些示例中，裝置包括接收電路和

處理電路。處理電路根據(jù)已編碼的視頻碼流來(lái)解

碼得到圖片在圖片級(jí)別上的調(diào)整版本的初始量

9化參數(shù)(QP)值的語(yǔ)法元素,該調(diào)整版本所在范圍

9

8

g的上限邊界隨最大QP值變化。然后，該處理電路

「基于語(yǔ)法元素確定圖片中劃分段(如條帶、圖塊、

圖塊組等)的初始QP值，以及根據(jù)劃分段的初始

gQP值和與劃分段中的塊相關(guān)的調(diào)整來(lái)確定塊的

QP值。然后，根據(jù)所確定的QP值來(lái)對(duì)該塊的量化

CN112514385B權(quán)利要求書(shū)1/2頁(yè)

1.一種視頻解碼方法，包括：

獲取一圖片的圖片級(jí)別的初始量化參數(shù)(QP)值以及所述圖片中一個(gè)劃分段的調(diào)整值；

根據(jù)已編碼的視頻碼流,解碼得到圖片在圖片級(jí)別上的調(diào)整版本的初始量化參數(shù)(QP)

值的語(yǔ)法元素，其中，所述圖片級(jí)別的所述初始QP值位于［-(26+QpBdOffset。，+37］的范圍

內(nèi)，所述在圖片級(jí)別上的所述調(diào)整版本的初始QP值位于［-QpBdOffsetY，+63］的范圍內(nèi)，所

述QpBdOffsety包括亮度量化參數(shù)范圍偏移的值;所述圖片級(jí)別的初始QP值包括初始條帶

級(jí)QP值，所述初始條帶級(jí)QP值通過(guò)將最大QP值向右移一位計(jì)算得到，或者通過(guò)將最大QP值

加1和向右移一位計(jì)算得到；

根據(jù)所述圖片級(jí)別的初始QP值和所述劃分段的調(diào)整值,確定所述劃分段中一個(gè)塊的QP

值似及

根據(jù)所確定的所述塊的QP值來(lái)對(duì)所述塊的量化數(shù)據(jù)執(zhí)行逆量化。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述劃分段中一個(gè)塊的QP值根據(jù)以下公式推導(dǎo)得

到：

SliceQpy=26+init_qp_minus26+slice_qp_delta,

其中，所述SliceQp、,表示所述在圖片級(jí)別上的調(diào)整版本的初始QP值，所述init_qp_

minus26加26表示所述圖片的劃分段的初始QP值，所述slice_qp_delta表示所述劃分段的

調(diào)整值。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述slice_qp_delta的值通過(guò)編碼單元層中的

CuQpDeltaVal值進(jìn)一步修改。

4.根據(jù)權(quán)利要求2所述的方法，還包括：

獲取與所述塊相關(guān)聯(lián)的塊級(jí)別的調(diào)整值；

根據(jù)所述塊級(jí)別的調(diào)整值,確定所述塊的QP值。

5.根據(jù)權(quán)利要求2所述的方法，其中，所述圖片級(jí)別的初始QP值是從所述已編碼的視頻

碼流的圖片參數(shù)集中解碼得到的。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述劃分段包括條帶、圖塊、圖塊組其中之一。

7.根據(jù)權(quán)利要求1所述的方法，還包括：

基于所述語(yǔ)法元素,確定所述圖片中所述劃分段的初始QP值,包括：

從所述圖片級(jí)別上的所述調(diào)整版本的初始QP值中恢復(fù)所述劃分段的初始QP值。

8.根據(jù)權(quán)利要求1所述的方法，其中，在所述圖片級(jí)別上的所述調(diào)整版本的初始QP值所

在范圍的上限邊界隨最大QP值變化。

9.一種用于視頻解碼的裝置，包括:處理電路，所述處理電路被配置為實(shí)現(xiàn)如權(quán)利要求

1至8中任一項(xiàng)所述的視頻解碼方法。

10.一種存儲(chǔ)指令的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，當(dāng)所述指令由用于視頻解碼的計(jì)算機(jī)執(zhí)

行時(shí)，使所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1至8中任一項(xiàng)所述的視頻解碼方法。

11.一種用于視頻解碼的裝置，包括：

獲取模塊，用于獲取一圖片的圖片級(jí)別的初始量化參數(shù)(QP)值以及所述圖片中一個(gè)劃

分段的調(diào)整值；

解析模塊，用于根據(jù)已編碼的視頻碼流，解碼得到圖片在圖片級(jí)別上的調(diào)整版本的初

始量化參數(shù)(QP)值的語(yǔ)法元素；其中，所述圖片級(jí)別的所述初始QP值位于［-(26+

2

CN112514385B權(quán)利要求書(shū)2/2頁(yè)

QpBdOffsetY),+37］的范圍內(nèi)，所述在圖片級(jí)別上的所述調(diào)整版本的初始QP值位于［-

QpBdOffsetY，+63］的范圍內(nèi)，所述QpBdOffsetY包括亮度量化參數(shù)范圍偏移的值；所述圖片

級(jí)別的初始QP值包括初始條帶級(jí)QP值，所述初始條帶級(jí)QP值通過(guò)將最大QP值向右移一位計(jì)

算得到，或者通過(guò)將最大QP值加1和向右移一位計(jì)算得到；

確定模塊，用于根據(jù)所述圖片級(jí)別的初始QP值和所述劃分段的調(diào)整值，確定所述劃分

段中一個(gè)塊的QP值;以及

逆量化模塊,用于根據(jù)所確定的所述塊的QP值來(lái)對(duì)所述塊的量化數(shù)據(jù)執(zhí)行逆量化。

12.一種計(jì)算機(jī)設(shè)備,包括：

至少一個(gè)存儲(chǔ)器，其被配置成存儲(chǔ)程序代碼；

至少一個(gè)處理器，其被配置成讀取所述程序代碼并且按照所述程序代碼的指示執(zhí)行如

權(quán)利要求1至8中任一項(xiàng)所述的視頻解碼方法。

3

CN112514385B說(shuō)明書(shū)1/16頁(yè)

視頻解碼方法及裝置'計(jì)算機(jī)設(shè)備和計(jì)算機(jī)可讀介質(zhì)

[0001]相關(guān)申請(qǐng)的交叉引用

[0002]本申請(qǐng)要求于2018年11月23日提交的標(biāo)題為“METHODANDAPPARATUSFORVIDEO

CODING”的美國(guó)專利申請(qǐng)第16/198,966號(hào)(其要求了于2018年9月30日提交的標(biāo)題為

"INITIALSLICELEVELQPOFFSETSETTING”的美國(guó)臨時(shí)申請(qǐng)第62/739,312號(hào)的優(yōu)先權(quán)權(quán)

益)的優(yōu)先權(quán)權(quán)益，其全部?jī)?nèi)容通過(guò)引用并入本文中。

技術(shù)領(lǐng)域

[0003]本申請(qǐng)描述了總體上涉及視頻編解碼的實(shí)施例。

背景技術(shù)

[0004]本文所提供的背景描述是出于總體上呈現(xiàn)本公開(kāi)內(nèi)容的目的。在該背景部分中描

述的范圍內(nèi)，目前命名的發(fā)明人的作品以及提交之時(shí)不可另行具備現(xiàn)有技術(shù)資格的本描述

的各方面既未明確、亦未默示地承認(rèn)為本發(fā)明的現(xiàn)有技術(shù)。

[0005]量化器參數(shù)(QP)是用于調(diào)整視頻質(zhì)量和比特率水平的參數(shù)之一。例如，低QP值會(huì)

導(dǎo)致剩余數(shù)據(jù)中有更多的信息,并且已編碼的視頻碼流需要高比特率水平。高QP值會(huì)導(dǎo)致

剩余數(shù)據(jù)中的信息的丟失，并且已編碼的視頻碼流需要低的比特率水平。

發(fā)明內(nèi)容

[0006]本公開(kāi)的各方面提供了用于視頻編碼的方法和裝置。在一些示例中，裝置包括接

收電路和處理電路。處理電路根據(jù)已編碼的視頻碼流，解碼得到圖片在圖片級(jí)別上的調(diào)整

版本的初始量化參數(shù)(QP)值的語(yǔ)法元素。該調(diào)整版本所在范圍的上限邊界隨最大QP值變

化。然后，處理電路基于語(yǔ)法元素確定圖片中劃分段(例如，條帶、圖塊、圖塊組等)的初始QP

值，以及根據(jù)劃分段的初始QP值和與劃分段中的塊相關(guān)的調(diào)整值來(lái)確定該塊的QP值。然后，

處理電路根據(jù)所確定的塊的QP值來(lái)對(duì)塊的量化數(shù)據(jù)進(jìn)行逆量化。

[0007]在一些實(shí)施例中，處理電路從已編碼的視頻碼流中解碼初始QP值的段級(jí)別變化，

并且根據(jù)段級(jí)別變化確定劃分段的初始QP值。在一個(gè)示例中，根據(jù)已編碼的視頻碼流的圖

片參數(shù)集來(lái)解碼調(diào)整版本的初始QP值的語(yǔ)法元素。

[0008]在一個(gè)實(shí)施例中，處理電路通過(guò)增加一個(gè)常量來(lái)從調(diào)整版本的初始QP值中恢復(fù)初

始QP值。例如，常量為26或28中之一。

[0009]在另一個(gè)實(shí)施例中，處理電路基于最大QP值來(lái)從調(diào)整版本的初始QP值中恢復(fù)初始

QP值。例如，處理電路通過(guò)增加最大QP值的一半來(lái)從調(diào)整版本的初始QP值中恢復(fù)初始QP值。

在一個(gè)示例中，處理電路將最大QP值向右移一位以計(jì)算最大QP值的一半。在另一個(gè)示例中，

處理電路將最大QP值和1的和向右移一位來(lái)計(jì)算最大QP值的一半。

[0010]本公開(kāi)的各方面還提供了一種存儲(chǔ)指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，所述指令由

用于視頻解碼的計(jì)算機(jī)執(zhí)行以使計(jì)算機(jī)執(zhí)行用于視頻編碼的方法。

4

CN112514385B說(shuō)明書(shū)2/16頁(yè)

附圖說(shuō)明

[0011]通過(guò)以下詳細(xì)描述和附圖，所公開(kāi)的主題的其他特征、性質(zhì)和各種優(yōu)勢(shì)將更加明

顯，在附圖中：

[0012]圖1是根據(jù)一個(gè)實(shí)施例的通信系統(tǒng)的簡(jiǎn)化框圖的示意圖。

[0013]圖2是根據(jù)另一個(gè)實(shí)施例的通信系統(tǒng)的簡(jiǎn)化框圖的示意圖。

[0014]圖3是根據(jù)一個(gè)實(shí)施例的解碼器的簡(jiǎn)化框圖的示意圖。

[0015]圖4是根據(jù)一個(gè)實(shí)施例的編碼器的簡(jiǎn)化框圖的示意圖。

[0016]圖5示出根據(jù)另一個(gè)實(shí)施例的編碼器的框圖。

[0017]圖6示出根據(jù)另一個(gè)實(shí)施例的解碼器的框圖。

[0018]圖7示出根據(jù)本公開(kāi)一個(gè)實(shí)施例的概述過(guò)程示例的流程圖。

[0019]圖8是根據(jù)一個(gè)實(shí)施例的計(jì)算機(jī)系統(tǒng)的示意圖。

具體實(shí)施方式

[0020]圖1示出了根據(jù)本申請(qǐng)公開(kāi)的實(shí)施例的通信系統(tǒng)(100)的簡(jiǎn)化框圖。通信系統(tǒng)

(100)包括多個(gè)終端裝置,該終端裝置可通過(guò)例如網(wǎng)絡(luò)(150)彼此通信。舉例來(lái)說(shuō)，通信系統(tǒng)

(100)包括通過(guò)網(wǎng)絡(luò)(150)互連的第一終端裝置對(duì)(110)和(120)。在圖1的實(shí)施例中，第一終

端裝置對(duì)(110)和(120)執(zhí)行單向數(shù)據(jù)傳輸。舉例來(lái)說(shuō)，終端裝置(110)可對(duì)視頻數(shù)據(jù)(例如

由終端裝置(110)采集的視頻圖片流)進(jìn)行編碼以通過(guò)網(wǎng)絡(luò)(150)傳輸?shù)搅硪唤K端裝置

(120)。已編碼的視頻數(shù)據(jù)以一個(gè)或多個(gè)已編碼的視頻碼流形式傳輸。終端裝置(120)可從

網(wǎng)絡(luò)(150)接收已編碼視頻數(shù)據(jù)，對(duì)已編碼視頻數(shù)據(jù)進(jìn)行解碼以恢復(fù)視頻圖片，并根據(jù)恢復(fù)

的視頻數(shù)據(jù)顯示視頻圖片。單向數(shù)據(jù)傳輸在媒體服務(wù)等應(yīng)用中是較常見(jiàn)的。

[0021]在另一示例中，通信系統(tǒng)(100)包括執(zhí)行已編碼視頻數(shù)據(jù)的雙向傳輸?shù)慕K端裝置

對(duì)(130)和(140)，該雙向傳輸可例如在視頻會(huì)議期間發(fā)生。對(duì)于雙向數(shù)據(jù)傳輸，在一示例

中，終端裝置(130)和終端裝置(140)中的每個(gè)終端裝置可對(duì)視頻數(shù)據(jù)(例如由終端裝置采

集的視頻圖片流)進(jìn)行編碼，以通過(guò)網(wǎng)絡(luò)(150)傳輸?shù)浇K端裝置(130)和終端裝置(140)中的

另一終端裝置。終端裝置(130)和終端裝置(140)中的每個(gè)終端裝置還可接收由終端裝置

(130)和終端裝置(140)中的另一終端裝置傳輸?shù)囊丫幋a視頻數(shù)據(jù)，且可對(duì)該已編碼視頻數(shù)

據(jù)進(jìn)行解碼以恢復(fù)視頻圖片，且可根據(jù)恢復(fù)的視頻數(shù)據(jù)在可訪問(wèn)的顯示裝置上顯示視頻圖

片。

[0022]在圖1的示例中，終端裝置(110)、終端裝置(120)、終端裝置(130)和終端裝置

(140)可被示出為服務(wù)器、個(gè)人計(jì)算機(jī)和智能電話，但本申請(qǐng)公開(kāi)的原理可不限于此。本申

請(qǐng)公開(kāi)的實(shí)施例適用于膝上型計(jì)算機(jī)、平板電腦、媒體播放器和/或?qū)Ｓ靡曨l會(huì)議裝置。網(wǎng)

絡(luò)(150)表示在終端裝置(110)、終端裝置(120)、終端裝置(130)和終端裝置(140)之間傳送

已編碼視頻數(shù)據(jù)的任何數(shù)目的網(wǎng)絡(luò)，包括例如有線(連線的)和/或無(wú)線通信網(wǎng)絡(luò)。通信網(wǎng)絡(luò)

(150)可在電路交換和/或分組交換信道中交換數(shù)據(jù)。代表性的網(wǎng)絡(luò)可包括電信網(wǎng)絡(luò)、局域

網(wǎng)、廣域網(wǎng)和/或互聯(lián)網(wǎng)。出于本申請(qǐng)的目的，除非在下文中有所解釋，否則網(wǎng)絡(luò)(150)的架

構(gòu)和拓?fù)鋵?duì)于本申請(qǐng)公開(kāi)的操作來(lái)說(shuō)可能是無(wú)關(guān)緊要的。

[0023]作為所公開(kāi)主題的應(yīng)用的示例，圖2示出視頻編碼器和視頻解碼器在流式傳輸環(huán)

境中的放置方式。所公開(kāi)主題可同等地適用于其它支持視頻的應(yīng)用，包括例如視頻會(huì)議、數(shù)

5

CN112514385B說(shuō)明書(shū)3/16頁(yè)

字TV、在包括CD、DVD、存儲(chǔ)棒等的數(shù)字介質(zhì)上存儲(chǔ)壓縮視頻等等。

[0024]流式傳輸系統(tǒng)可包括采集子系統(tǒng)(213)，該采集子系統(tǒng)可包括例如數(shù)碼相機(jī)的視

頻源(201),該視頻源創(chuàng)建未壓縮的視頻圖片流(202)。在示例中，視頻圖片流(202)包括由

數(shù)碼相機(jī)拍攝的樣本。相較于已編碼的視頻數(shù)據(jù)(204)(或已編碼的視頻碼流)，被描繪為粗

線以強(qiáng)調(diào)高數(shù)據(jù)量的視頻圖片流(202)可由電子裝置(220)處理，該電子裝置(220)包括耦

接到視頻源(201)的視頻編碼器(203)。視頻編碼器(203)可包括硬件、軟件或軟硬件組合以

實(shí)現(xiàn)或?qū)嵤┤缦挛母敿?xì)地描述的所公開(kāi)主題的各方面。相較于視頻圖片流(202),被描繪

為細(xì)線以強(qiáng)調(diào)較低數(shù)據(jù)量的已編碼的視頻數(shù)據(jù)(204)(或已編碼的視頻碼流(204))可存儲(chǔ)

在流式傳輸服務(wù)器(205)上以供將來(lái)使用。一個(gè)或多個(gè)流式傳輸客戶端子系統(tǒng),例如圖2中

的客戶端子系統(tǒng)(206)和客戶端子系統(tǒng)(208)，可訪問(wèn)流式傳輸服務(wù)器(205)以檢索已編碼

的視頻數(shù)據(jù)(204)的副本(207)和副本(209)?？蛻舳俗酉到y(tǒng)(206)可包括例如電子裝置

(230)中的視頻解碼器(210)。視頻解碼器(210)對(duì)已編碼的視頻數(shù)據(jù)的傳入副本(207)進(jìn)行

解碼，且產(chǎn)生可在顯示器(212)(例如顯示屏)或另一呈現(xiàn)裝置(未描繪)上呈現(xiàn)的輸出視頻

圖片流(211)。在一些流式傳輸系統(tǒng)中，可根據(jù)某些視頻編碼/壓縮標(biāo)準(zhǔn)對(duì)已編碼的視頻數(shù)

據(jù)(204)、視頻數(shù)據(jù)(207)和視頻數(shù)據(jù)(209)(例如視頻碼流)進(jìn)行編碼。該些標(biāo)準(zhǔn)的示例包括

ITU-TH.265。在示例中，正在開(kāi)發(fā)的視頻編碼標(biāo)準(zhǔn)非正式地稱為下一代視頻編碼

(VersatileVideoCoding,VVC)，所公開(kāi)的主題可用于VVC的上下文中。

[0025]應(yīng)注意，電子裝置(220)和電子裝置(230)可包括其它組件(未示出)。舉例來(lái)說(shuō)，電

子裝置(220)可包括視頻解碼器(未示出)，且電子裝置(230)還可包括視頻編碼器(未示

出)。

[0026]圖3是根據(jù)本申請(qǐng)公開(kāi)的實(shí)施例的視頻解碼器(310)的框圖。視頻解碼器(310)可

包括在電子裝置(330)中。電子裝置(330)可包括接收器(331)(例如接收電路)。視頻解碼器

(310)可用于代替圖2的示例中的視頻解碼器(210)。

[0027]接收器(331)可接收將由視頻解碼器(310)解碼的一個(gè)或多個(gè)已編碼視頻序列；在

同一實(shí)施例或另一實(shí)施例中，一次接收一個(gè)已編碼視頻序列，其中每個(gè)已編碼視頻序列的

解碼獨(dú)立于其它已編碼視頻序列?？蓮男诺?301)接收已編碼視頻序列，該信道可以是通向

存儲(chǔ)已編碼的視頻數(shù)據(jù)的存儲(chǔ)裝置的硬件/軟件鏈路。接收器(331)可接收可轉(zhuǎn)發(fā)到它們各

自的使用實(shí)體(未標(biāo)示)的已編碼的視頻數(shù)據(jù)以及其它數(shù)據(jù)，例如，己編碼音頻數(shù)據(jù)和/或輔

助數(shù)據(jù)流。接收器(331)可將已編碼視頻序列與其它數(shù)據(jù)分開(kāi)。為了防止網(wǎng)絡(luò)抖動(dòng)，緩沖存

儲(chǔ)器(315)可耦接在接收器(331)與蠟解碼器/解析器(320)(此后稱為“解析器(320)”)之

間。在某些應(yīng)用中，緩沖存儲(chǔ)器(315)是視頻解碼器(310)的一部分。在其它情況下，該緩沖

存儲(chǔ)器可設(shè)置在視頻解碼器(310)外部(未標(biāo)示)。而在其它情況下，視頻解碼器(310)的外

部設(shè)置緩沖存儲(chǔ)器(未標(biāo)示)以例如防止網(wǎng)絡(luò)抖動(dòng)，且在視頻解碼器(310)的內(nèi)部可配置另

一緩沖存儲(chǔ)器(315)以例如處理播出定時(shí)。而當(dāng)接收器(331)從具有足夠帶寬和可控性的存

儲(chǔ)/轉(zhuǎn)發(fā)裝置或從等時(shí)同步網(wǎng)絡(luò)接收數(shù)據(jù)時(shí)，也可能不需要配置緩沖存儲(chǔ)器(315),或可以

將該緩沖存儲(chǔ)器做得較小。為了在互聯(lián)網(wǎng)等最佳的業(yè)務(wù)分組網(wǎng)絡(luò)上使用，也可能需要緩沖

存儲(chǔ)器(315)，該緩沖存儲(chǔ)器可相對(duì)較大且可有利地具有自適應(yīng)性大小，且可至少部分地實(shí)

施于操作系統(tǒng)或視頻解碼器(310)外部的類似元件(未標(biāo)示)中。

[0028]視頻解碼器(310)可包括解析器(320)以根據(jù)已編碼視頻序列重建符號(hào)(321)。這

6

CN112514385B說(shuō)明書(shū)4/16頁(yè)

些符號(hào)的類別包括用于管理視頻解碼器(310)的操作的信息，以及用以控制顯示裝置(312)

(例如，顯示屏)等顯示裝置的潛在信息，該顯示裝置不是電子裝置(330)的整體部分，但可

耦接到電子裝置(330)，如圖3中所示。用于顯示裝置的控制信息可以是輔助增強(qiáng)信息

(SupplementaryEnhancementInformation,SEI消息)或視頻可用性信息(Video

UsabilityInformation,VUI)的參數(shù)集片段(未標(biāo)示)。解析器(320)可對(duì)接收到的已編碼

視頻序列進(jìn)行解析/燧解碼。已編碼視頻序列的編碼可根據(jù)視頻編碼技術(shù)或標(biāo)準(zhǔn)進(jìn)行，且可

遵循各種原理，包括可變長(zhǎng)度編碼、霍夫曼編碼(Huffmancoding)、具有或不具有上下文靈

敏度的算術(shù)編碼等等。解析器(320)可基于對(duì)應(yīng)于群組的至少一個(gè)參數(shù)，從已編碼視頻序列

提取用于視頻解碼器中的像素的子群中的至少一個(gè)子群的子群參數(shù)集。子群可包括圖片群

組(GroupofPictures,GOP)、圖片、圖塊、條帶、宏塊、編碼單元(CodingUnit,CU)、塊、變

換單元(TransformUnit,TU)、預(yù)測(cè)單元(PredictionUnit.PU)等等。解析器(320)還可從

己編碼視頻序列提取信息，例如變換系數(shù)、量化器參數(shù)值、運(yùn)動(dòng)矢量等等。

[0029]解析器(320)可對(duì)從緩沖存儲(chǔ)器(315)接收的視頻序列執(zhí)行燧解碼/解析操作，從

而創(chuàng)建符號(hào)(321)。

[0030]取決于已編碼視頻圖片或一部分已編碼視頻圖片(例如:幀間圖片和幀內(nèi)圖片、幀

間塊和幀內(nèi)塊)的類型以及其它因素，符號(hào)(321)的重建可涉及多個(gè)不同單元。涉及哪些單

元以及涉及方式可由解析器(320)從已編碼視頻序列解析的子群控制信息來(lái)控制。為了簡(jiǎn)

潔起見(jiàn)，未描述解析器(320)與下文的多個(gè)單元之間的此類子群控制信息流。

[0031]除已經(jīng)提及的功能塊以外，視頻解碼器(310)可在概念上細(xì)分成如下文所描述的

數(shù)個(gè)功能單元。在商業(yè)約束下運(yùn)行的實(shí)際實(shí)施例中，這些單元中的許多單元彼此緊密交互

并且可以至少部分地彼此集成。然而，出于描述所公開(kāi)主題的目的，概念上細(xì)分成下文的功

能單元是適當(dāng)?shù)摹?/p>

[0032]第一單元是縮放器/逆變換單元(351)。縮放器/逆變換單元(351)從解析器(320)

接收作為符號(hào)(321)的量化變換系數(shù)以及控制信息，包括使用哪種變換方式、塊大小、量化

因子、量化縮放矩陣等?？s放器/逆變換單元(351)可輸出包括樣本值的塊，該樣本值可輸入

到聚合器(355)中。

[0033]在一些情況下，縮放器/逆變換單元(351)的輸出樣本可屬于幀內(nèi)編碼塊；即：不使

用來(lái)自先前重建的圖片的預(yù)測(cè)性信息，但可使用來(lái)自當(dāng)前圖片的先前重建部分的預(yù)測(cè)性信

息的塊。此類預(yù)測(cè)性信息可由幀內(nèi)圖片預(yù)測(cè)單元(352)提供。在一些情況下，幀內(nèi)圖片預(yù)測(cè)

單元(352)采用從當(dāng)前圖片緩沖器(358)提取的周圍已重建信息生成大小和形狀與正在重

建的塊相同的塊。舉例來(lái)說(shuō)，當(dāng)前圖片緩沖器(358)緩沖部分重建的當(dāng)前圖片和/或完全重

建的當(dāng)前圖片。在一些情況下，聚合器(355)基于每個(gè)樣本，將幀內(nèi)預(yù)測(cè)單元(352)生成的預(yù)

測(cè)信息添加到由縮放器/逆變換單元(351)提供的輸出樣本信息中。

[0034]在其它情況下，縮放器/逆變換單元(351)的輸出樣本可屬于幀間編碼和潛在運(yùn)動(dòng)

補(bǔ)償塊。在此情況下，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元(353)可訪問(wèn)參考圖片存儲(chǔ)器(357)以提取用于預(yù)

測(cè)的樣本。在根據(jù)屬于塊的符號(hào)(321)對(duì)提取的樣本進(jìn)行運(yùn)動(dòng)補(bǔ)償之后，這些樣本可由聚合

器(355)添加到縮放器/逆變換單元(351)的輸出(在這種情況下被稱作殘差樣本或殘差信

號(hào))，從而生成輸出樣本信息。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元(353)從參考圖片存儲(chǔ)器(357)內(nèi)的地址獲

取預(yù)測(cè)樣本可受到運(yùn)動(dòng)矢量控制，且該運(yùn)動(dòng)矢量以符號(hào)(321)的形式而供運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單

7

CN112514385B說(shuō)明書(shū)5/16頁(yè)

元(353)使用，該符號(hào)(321)可以具有例如X、丫和參考圖片分量。運(yùn)動(dòng)補(bǔ)償還可包括在使用子

樣本精確運(yùn)動(dòng)矢量時(shí)，從參考圖片存儲(chǔ)器(357)提取的樣本值的內(nèi)插、運(yùn)動(dòng)矢量預(yù)測(cè)機(jī)制等

等。

[0035]聚合器(355)的輸出樣本可經(jīng)受環(huán)路濾波器單元(356)中的各種環(huán)路濾波技術(shù)。視

頻壓縮技術(shù)可包括環(huán)路內(nèi)濾波器技術(shù)，該環(huán)路內(nèi)濾波器技術(shù)受控于包括在已編碼視頻序列

(也稱作已編碼的視頻碼流)中并且作為來(lái)自解析器(320)的符號(hào)(321)可用于環(huán)路濾波器

單元(356)的參數(shù)，然而，視頻壓縮技術(shù)還可響應(yīng)于在解碼已編碼圖片或已編碼視頻序列的

先前(按解碼次序)部分期間獲得的元信息，以及響應(yīng)于先前重建且經(jīng)過(guò)環(huán)路濾波的樣本

值。

[0036]環(huán)路濾波器單元(356)的輸出可以是樣本流，該樣本流可輸出到顯示裝置(312)以

及存儲(chǔ)在參考圖片存儲(chǔ)器(357),以用于后續(xù)的幀間圖片預(yù)測(cè)。

[0037]一旦完全重建，某些已編碼圖片就可用作參考圖片以用于將來(lái)預(yù)測(cè)。舉例來(lái)說(shuō)，一

旦對(duì)應(yīng)于當(dāng)前圖片的已編碼圖片被完全重建，且已編碼圖片(通過(guò)例如解析器(320))被標(biāo)

識(shí)為參考圖片，則當(dāng)前圖片緩沖器(358)可變?yōu)閰⒖紙D片存儲(chǔ)器(357)的一部分，且可在開(kāi)

始重建后續(xù)已編碼圖片之前重新分配新的當(dāng)前圖片緩沖器。

[0038]視頻解碼器(310)可根據(jù)例如ITU-TH.265標(biāo)準(zhǔn)中的預(yù)定視頻壓縮技術(shù)執(zhí)行解碼

操作。在已編碼視頻序列遵循視頻壓縮技術(shù)或標(biāo)準(zhǔn)的語(yǔ)法以及視頻壓縮技術(shù)或標(biāo)準(zhǔn)中記錄

的配置文件的意義上，己編碼視頻序列可符合所使用的視頻壓縮技術(shù)或標(biāo)準(zhǔn)指示的語(yǔ)法。

具體地說(shuō)，配置文件可從視頻壓縮技術(shù)或標(biāo)準(zhǔn)中可用的所有工具中選擇某些工具作為在該

配置文件下可供使用的僅有工具。對(duì)于合規(guī)性，還要求已編碼視頻序列的復(fù)雜度處于視頻

壓縮技術(shù)或標(biāo)準(zhǔn)的層級(jí)所限定的范圍內(nèi)。在一些情況下，層級(jí)限制最大圖片大小、最大幀

率、最大重建取樣率(以例如每秒兆(mega)個(gè)樣本為單位進(jìn)行測(cè)量)、最大參考圖片大小等。

在一些情況下，由層級(jí)設(shè)定的限制可通過(guò)假想?yún)⒖冀獯a器(HypotheticalReference

Decoder,HRD)規(guī)范和在已編碼視頻序列中用信號(hào)表示的HRD緩沖器管理的元數(shù)據(jù)來(lái)進(jìn)一步

限定。

[0039]在實(shí)施例中，接收器(331)可連同已編碼視頻一起接收附加(冗余)數(shù)據(jù)。該附加數(shù)

據(jù)可以被包括作為已編碼視頻序列的一部分。該附加數(shù)據(jù)可由視頻解碼器(310)用以對(duì)數(shù)

據(jù)進(jìn)行適當(dāng)解碼和/或較準(zhǔn)確地重建原始視頻數(shù)據(jù)。附加數(shù)據(jù)可為例如時(shí)間、空間或信噪比

(signalnoiseratio,SNR)增強(qiáng)層、冗余條帶、冗余圖片、前向糾錯(cuò)碼等形式。

[0040]圖4是根據(jù)本申請(qǐng)公開(kāi)的實(shí)施例的視頻編碼器(403)的框圖。視頻編碼器(403)包

括在電子裝置(420)中。電子裝置(420)包括傳輸器(440)(例如傳輸電路)。視頻編碼器

(403)可用于代替圖2的示例中的視頻解碼器(203)o

[0041]視頻編碼器(403)可從視頻源(401)(并非圖4實(shí)施例中的電子裝置(420)的一部

分)接收視頻樣本，該視頻源可采集將由視頻編碼器(403)編碼的視頻圖像。在另一實(shí)施例

中，視頻源(401)是電子裝置(420)的一部分。

[0042]視頻源(401)可提供將由視頻編碼器(403)編碼的呈數(shù)字視頻樣本流形式的源視

頻序列，該數(shù)字視頻樣本流可具有任何合適位深度(例如：8位、10位、12位……)、任何色彩

空間(例如BT.601YCrCB.RGB……)和任何合適采樣結(jié)構(gòu)(例如丫CrCb4:2:0、丫CrCb4:4:

4)。在媒體服務(wù)系統(tǒng)中，視頻源(401)可以是存儲(chǔ)先前已準(zhǔn)備的視頻的存儲(chǔ)裝置。在視頻會(huì)

8

CN112514385B說(shuō)明書(shū)6/16頁(yè)

議系統(tǒng)中，視頻源(401)可以是采集本地圖像信息作為視頻序列的相機(jī)。可將視頻數(shù)據(jù)提供

為多個(gè)單獨(dú)的圖片-，當(dāng)按順序觀看時(shí),這些圖片被賦予運(yùn)動(dòng)。圖片自身可構(gòu)建為空間像素陣

列，其中取決于所用的取樣結(jié)構(gòu)、色彩空間等，每個(gè)像素可包括一個(gè)或多個(gè)樣本。所屬領(lǐng)域

的技術(shù)人員可以很容易理解像素與樣本之間的關(guān)系。下文側(cè)重于描述樣本。

[0043]根據(jù)實(shí)施例，視頻編碼器(403)可實(shí)時(shí)或在由應(yīng)用所要求的任何其它時(shí)間約束下，

將源視頻序列的圖片編碼且壓縮成已編碼視頻序列(443)。施行適當(dāng)?shù)木幋a速度是控制器

(450)的一個(gè)功能。在一些實(shí)施例中，控制器(450)控制如下文所描述的其它功能單元且在

功能上耦接到所述其它功能單元。為了簡(jiǎn)潔起見(jiàn)，圖中未標(biāo)示耦接。由控制器(450)設(shè)置的

參數(shù)可包括速率控制相關(guān)參數(shù)(圖片跳過(guò)、量化器、率失真優(yōu)化技術(shù)的入值等)、圖片大小、圖

片群組(groupofpictures,GOP)布局、最大運(yùn)動(dòng)矢量搜索范圍等。控制器(450)可被配置

為具有其它合適的功能，這些功能涉及針對(duì)某一系統(tǒng)設(shè)計(jì)優(yōu)化的視頻編碼器(403)o

[0044]在一些實(shí)施例中，視頻編碼器(403)被配置為在編碼環(huán)路中進(jìn)行操作。作為簡(jiǎn)單的

描述，在示例中，編碼環(huán)路可包括源編碼器(430)(例如，負(fù)責(zé)基于待編碼的輸入圖片和參考

圖片創(chuàng)建符號(hào)，例如符號(hào)流)和嵌入于視頻編碼器(403)中的(本地)解碼器(433)。解碼器

(433)重建符號(hào)以用類似于(遠(yuǎn)程)解碼器創(chuàng)建樣本數(shù)據(jù)的方式創(chuàng)建樣本數(shù)據(jù)(因?yàn)樵谒?/p>

開(kāi)主題所考慮的視頻壓縮技術(shù)中，符號(hào)與已編碼的視頻碼流之間的任何壓縮是無(wú)損的)。將

重建的樣本流(樣本數(shù)據(jù))輸入到參考圖片存儲(chǔ)器(434)。由于符號(hào)流的解碼產(chǎn)生與解碼器

位置(本地或遠(yuǎn)程)無(wú)關(guān)的位精確結(jié)果，因此參考圖片存儲(chǔ)器(434)中的內(nèi)容在本地編碼器

與遠(yuǎn)程編碼器之間也是按比特位精確對(duì)應(yīng)的。換句話說(shuō)，編碼器的預(yù)測(cè)部分“看到”的參考

圖片樣本與解碼器將在解碼期間使用預(yù)測(cè)時(shí)所“看到”的樣本值完全相同。這種參考圖片同

步性基本原理(以及在例如因信道誤差而無(wú)法維持同步性的情況下產(chǎn)生的漂移)也用于一

些相關(guān)技術(shù)。

[0045]“本地”解碼器(433)的操作可與例如已在上文結(jié)合圖3詳細(xì)描述視頻解碼器(310)

的“遠(yuǎn)程”解碼器相同。然而，另外簡(jiǎn)要參考圖3,當(dāng)符號(hào)可用且端編碼器(445)和解析器

(320)能夠無(wú)損地將符號(hào)編碼/解碼為已編碼視頻序列時(shí)，包括緩沖存儲(chǔ)器(315)和解析器

(320)在內(nèi)的視頻解碼器(310)的烯解碼部分，可能無(wú)法完全在本地解碼器(433)中實(shí)施。

[0046]此時(shí)可以觀察到，除存在于解碼器中的解析/蠟解碼之外的任何解碼器技術(shù)，也必

定以基本上相同的功能形式存在于對(duì)應(yīng)的編碼器中。出于此原因，所公開(kāi)主題側(cè)重于解碼

器操作?？珊?jiǎn)化編碼器技術(shù)的描述，因?yàn)榫幋a器技術(shù)與全面地描述的解碼器技術(shù)互逆。僅在

某些區(qū)域中需要更詳細(xì)的描述，并且在下文提供。

[0047]在操作期間，在一些示例中，源編碼器(430)可執(zhí)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼。參考來(lái)自

視頻序列中被指示為“參考圖片”的一個(gè)或多個(gè)先前已編碼圖片，該運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼對(duì)輸

入圖片進(jìn)行預(yù)測(cè)性編碼。以此方式，編碼引擎(432)對(duì)輸入圖片的像素塊與參考圖片的像素

塊之間的差異進(jìn)行編碼，該參考圖片可被選作該輸入圖片的預(yù)測(cè)參考。

[0048]本地視頻解碼器(433)可基于源編碼器(430)創(chuàng)建的符號(hào)，對(duì)可指示為參考圖片的

圖片的已編碼視頻數(shù)據(jù)進(jìn)行解碼。編碼引擎(432)的操作可有利地為有損過(guò)程。當(dāng)已編碼視

頻數(shù)據(jù)可在視頻解碼器(圖4中未示出)處被解碼時(shí)，重建的視頻序列通?？梢允菐в幸恍?/p>

誤差的源視頻序列的副本。本地視頻解碼器(433)復(fù)制解碼過(guò)程，該解碼過(guò)程可由視頻解碼

器對(duì)參考圖片執(zhí)行,且可使重建的參考圖片存儲(chǔ)在參考圖片高速緩存(434)中。以此方式，

9

CN112514385B說(shuō)明書(shū)7/16頁(yè)

視頻編碼器(403)可在本地存儲(chǔ)重建的參考圖片的副本，該副本與將由遠(yuǎn)端視頻解碼器獲

得的重建參考圖片具有共同內(nèi)容(不存在傳輸誤差)。

[0049]預(yù)測(cè)器(435)可針對(duì)編碼引擎(432)執(zhí)行預(yù)測(cè)搜索。即，對(duì)于將要編碼的新圖片，預(yù)

測(cè)器(435)可在參考圖片存儲(chǔ)器(434)中搜索可作為該新圖片的適當(dāng)預(yù)測(cè)參考的樣本數(shù)據(jù)

(作為候選參考像素塊)或某些元數(shù)據(jù)，例如參考圖片運(yùn)動(dòng)矢量、塊形狀等。預(yù)測(cè)器(435)可

基于樣本塊逐像素塊操作，以找到合適的預(yù)測(cè)參考。在一些情況下，如由預(yù)測(cè)器(435)獲得

的搜索結(jié)果所確定的那樣,輸入圖片可具有從參考圖片存儲(chǔ)器(434)中存儲(chǔ)的多個(gè)參考圖

片取得的預(yù)測(cè)參考。

[0050]控制器(450)可管理源編碼器(430)的編碼操作，包括例如設(shè)置用于對(duì)視頻數(shù)據(jù)進(jìn)

行編碼的參數(shù)和子群參數(shù)。

[0051]可在燧編碼器(445)中對(duì)所有上述功能單元的輸出進(jìn)行燧編碼。燧編碼器(445)根

據(jù)例如霍夫曼編碼、可變長(zhǎng)度編碼、算術(shù)編碼等本領(lǐng)域技術(shù)人員已知的技術(shù)對(duì)各種功能單

元生成的符號(hào)進(jìn)行無(wú)損壓縮，從而將該符號(hào)轉(zhuǎn)換成已編碼視頻序列。

[0052]傳輸器(440)可緩沖由燧編碼器(445)創(chuàng)建的已編碼視頻序列，從而為通過(guò)通信信

道(460)進(jìn)行傳輸做準(zhǔn)備，該通信信道可以是通向?qū)⒋鎯?chǔ)已編碼的視頻數(shù)據(jù)的存儲(chǔ)裝置的

硬件/軟件鏈路。傳輸器(440)可將來(lái)自視頻編碼器(403)的已編碼視頻數(shù)據(jù)與要傳輸?shù)钠?/p>

它數(shù)據(jù)合并，該其它數(shù)據(jù)例如是已編碼音頻數(shù)據(jù)和/或輔助數(shù)據(jù)流(未示出來(lái)源)。

[0053]控制器(450)可管理視頻編碼器(403)的操作。在編碼期間，控制器(450)可以為每

個(gè)已編碼圖片分配某一已編碼圖片類型,但這可能影響可應(yīng)用于相應(yīng)的圖片的編碼技術(shù)。

例如，通?？蓪D片分配為以下任一種圖片類型：

[0054]幀內(nèi)圖片(I圖片)，其可以是不將序列中的任何其它圖片用作預(yù)測(cè)源就可被編碼

和解碼的圖片。一些視頻編解碼器容許不同類型的幀內(nèi)圖片，包括例如獨(dú)立解碼器刷新

(IndependentDecoderRefresh,"IDR")圖片。所屬領(lǐng)域的技術(shù)人員了解I圖片的變體及其

相應(yīng)的應(yīng)用和特征。

[0055]預(yù)測(cè)性圖片(P圖片)，其可以是可使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)進(jìn)行編碼和解碼的圖

片,該幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)使用至多一個(gè)運(yùn)動(dòng)矢量和參考索引來(lái)預(yù)測(cè)每個(gè)塊的樣本值。

[0056]雙向預(yù)測(cè)性圖片(B圖片)，其可以是可使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)進(jìn)行編碼和解碼

的圖片-，該幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)使用至多兩個(gè)運(yùn)動(dòng)矢量和參考索引來(lái)預(yù)測(cè)每個(gè)塊的樣本

值。類似地，多個(gè)預(yù)測(cè)性圖片可使用多于兩個(gè)參考圖片和相關(guān)聯(lián)元數(shù)據(jù)以用于重建單個(gè)塊。

[0057]源圖片通?？稍诳臻g上細(xì)分成多個(gè)樣本塊(例如,4X4、8X8、4X8或16X16個(gè)樣

本的塊)，且逐塊進(jìn)行編碼。這些塊可參考其它(已編碼)塊進(jìn)行預(yù)測(cè)編碼，該其它塊由應(yīng)用

于塊的相應(yīng)圖片的編碼分配來(lái)確定。舉例來(lái)說(shuō)，1圖片的塊可進(jìn)行非預(yù)測(cè)編碼，或該塊可參

考同一圖片的已經(jīng)編碼的塊來(lái)進(jìn)行預(yù)測(cè)編碼(空間預(yù)測(cè)或幀內(nèi)預(yù)測(cè))。P圖片的像素塊可參

考一個(gè)先前編碼的參考圖片通過(guò)空間預(yù)測(cè)或通過(guò)時(shí)域預(yù)測(cè)進(jìn)行預(yù)測(cè)編碼。B圖片的塊可參

考一個(gè)或兩個(gè)先前編碼的參考圖片通過(guò)空間預(yù)測(cè)或通過(guò)時(shí)域預(yù)測(cè)進(jìn)行預(yù)測(cè)編碼。

[0058]視頻編碼器(403)可根據(jù)例如ITU-TH.265建議書(shū)的預(yù)定視頻編碼技術(shù)或標(biāo)準(zhǔn)執(zhí)

行編碼操作。在操作中，視頻編碼器(403)可執(zhí)行各種壓縮操作，包括利用輸入視頻序列中

的時(shí)間和空間冗余的預(yù)測(cè)編碼操作。因此，已編碼視頻數(shù)據(jù)可符合所用視頻編碼技術(shù)或標(biāo)

準(zhǔn)指示的語(yǔ)法。

10

CN112514385B說(shuō)明書(shū)8/16頁(yè)

[0059]在實(shí)施例中，傳輸器(440)可在傳輸已編碼的視頻時(shí)傳輸附加數(shù)據(jù)。源編碼器

(430)可將此類數(shù)據(jù)作為已編碼視頻序列的一部分。附加數(shù)據(jù)可包括時(shí)間/空間/SNR增強(qiáng)

層、冗余圖片和條帶等其它形式的冗余數(shù)據(jù)、SEI消息、VUI參數(shù)集片段等。

[0060]采集到的視頻可作為呈時(shí)間序列的多個(gè)源圖片?(視頻圖片)。幀內(nèi)圖片預(yù)測(cè)(常常

簡(jiǎn)化為幀內(nèi)預(yù)測(cè))利用給定圖片中的空間相關(guān)性,而幀間圖片預(yù)測(cè)則利用圖片之間的(時(shí)間

或其它)相關(guān)性。在示例中，將正在編碼/解碼的特定圖片分割成塊，正在編碼/解碼的特定

圖片被稱作當(dāng)前圖片。在當(dāng)前圖片中的塊類似于視頻中先前已編碼且仍被緩沖的參考圖片

中的參考?jí)K時(shí)，可通過(guò)稱作運(yùn)動(dòng)矢量的矢量對(duì)當(dāng)前圖片中的塊進(jìn)行編碼。該運(yùn)動(dòng)矢量指向

參考圖片中的參考?jí)K，且在使用多個(gè)參考圖片的情況下，該運(yùn)動(dòng)矢量可具有識(shí)別參考圖片

的第三維度。

[0061]在一些實(shí)施例中，雙向預(yù)測(cè)技術(shù)可用于幀間圖片預(yù)測(cè)中。根據(jù)雙向預(yù)測(cè)技術(shù)，使用

兩個(gè)參考圖片，例如按解碼次序都在視頻中的當(dāng)前圖片之前(但按顯示次序可能分別是過(guò)

去和將來(lái))的第一參考圖片和第二參考圖片。可通過(guò)指向第一參考圖片中的第一參考?jí)K的

第一運(yùn)動(dòng)矢量和指向第二參考圖片中的第二參考?jí)K的第二運(yùn)動(dòng)矢量對(duì)當(dāng)前圖片中的塊進(jìn)

行編碼。具體來(lái)說(shuō)，可通過(guò)第一參考?jí)K和第二參考?jí)K的組合來(lái)預(yù)測(cè)該塊。

[0062]此外,合并模式技術(shù)可用于幀間圖片預(yù)測(cè)中以改善編碼效率。

[0063]根據(jù)本申請(qǐng)公開(kāi)的一些實(shí)施例，例如幀間圖片預(yù)測(cè)和幀內(nèi)圖片預(yù)測(cè)的預(yù)測(cè)以塊為

單位執(zhí)行。舉例來(lái)說(shuō)，根據(jù)HEVC標(biāo)準(zhǔn)，將視頻圖片序列中的圖片分割成編碼樹(shù)單元(coding

treeunit,CTU)以用于壓縮，圖片中的CTU具有相同大小，例如64X64像素、32X32像素或

16X16像素。一般來(lái)說(shuō),CTU包括三個(gè)編碼樹(shù)塊(codingtreeblock,CTB),該三個(gè)編碼樹(shù)塊

是一個(gè)亮度CTB和兩個(gè)色度CTB。還可將每個(gè)CTU遞歸地以四叉樹(shù)拆分為一個(gè)或多個(gè)編碼單

元(codingunit,CU)0舉例來(lái)說(shuō),可將64X64像素的CTU拆分為一個(gè)64X64像素的CU,或4個(gè)

32X32像素的CU,或16個(gè)16X16像素的CU。在示例中，分析每個(gè)CU以確定用于CU的預(yù)測(cè)類

型，例如幀間預(yù)測(cè)類型或幀內(nèi)預(yù)測(cè)類型。取決于時(shí)間和/或空間可預(yù)測(cè)性，將CU拆分為一個(gè)

或多個(gè)預(yù)測(cè)單元(predictionunit,PU)。通常，每個(gè)PU包括亮度預(yù)測(cè)塊(prediction

block,PB)和兩個(gè)色度PB。在實(shí)施例中，編碼(編碼/解碼)中的預(yù)測(cè)操作以預(yù)測(cè)塊為單位來(lái)

執(zhí)行。以亮度預(yù)測(cè)塊作為預(yù)測(cè)塊的示例，預(yù)測(cè)塊包括針對(duì)像素的值(例如，亮度值)的矩陣，

所述像素為例如8X8像素、16X16像素、8X16像素、16X8像素等等。

[0064]圖5是根據(jù)本申請(qǐng)公開(kāi)的另一實(shí)施例的視頻編碼器(503)的圖。視頻編碼器(503)

被配置為接收視頻圖片序列中的當(dāng)前視頻圖片內(nèi)的樣本值的處理塊(例如預(yù)測(cè)塊)，且將該

處理塊編碼到作為已編碼視頻序列的一部分的已編碼圖片中。在本實(shí)施例中，視頻編碼器

(503)用于代替圖2實(shí)施例中的視頻編碼器(203)o

[0065]在HEVC實(shí)施例中，視頻編碼器(503)接收用于處理塊的樣本值的矩陣，該處理塊為

例如8X8樣本的預(yù)測(cè)塊等。視頻編碼器(503)使用例如率失真(rate-distortion,RD)優(yōu)化

來(lái)確定是否使用幀內(nèi)模式、幀間模式或雙向預(yù)測(cè)模式來(lái)最佳地編碼該處理塊。當(dāng)在幀內(nèi)模

式中編碼處理塊時(shí)，視頻編碼器(503)可使用幀內(nèi)預(yù)測(cè)技術(shù)以將處理塊編碼到已編碼圖片

中；且當(dāng)在幀間模式或雙向預(yù)測(cè)模式中編碼處理塊時(shí)，視頻編碼器(503)可分別使用幀間預(yù)

測(cè)或雙向預(yù)測(cè)技術(shù)將處理塊編碼到已編碼圖片中。在某些其它視頻編碼技術(shù)中，可存在適

用于主題塊的運(yùn)動(dòng)矢量分量。在實(shí)施例中，視頻編碼器(503)包括其它組件，例如用于確定

11

CN112514385B說(shuō)明書(shū)9/16頁(yè)

處理塊模式的模式?jīng)Q策模塊(未示出)O

[0066]在圖5的示例中，視頻編碼器(503)包括如圖5所示的耦接到一起的幀間編碼器

(530)、幀內(nèi)編碼器(522)、殘差計(jì)算器(523)、開(kāi)關(guān)(526)、殘差編碼器(524)、通用控制器

(521)和蠟編碼器(525)o

[0067]幀間編碼器(530)被配置為接收當(dāng)前塊(例如處理塊)的樣本、比較該塊與參考圖

片中的一個(gè)或多個(gè)參考?jí)K(例如先前圖片和后來(lái)圖片中的塊)、生成幀間預(yù)測(cè)信息(例如根

據(jù)幀間編碼技術(shù)的冗余信息描述、運(yùn)動(dòng)矢量、合并模式信息)、以及基于幀間預(yù)測(cè)信息使用

任何合適的技術(shù)計(jì)算幀間預(yù)測(cè)結(jié)果(例如已預(yù)測(cè)塊)。在一些示例中，參考圖片是解碼的參

考圖片，該解碼的參考圖片可以基于編碼的視頻信息來(lái)解碼。

[0068]幀內(nèi)編碼器(522)被配置為接收當(dāng)前塊(例如處理塊)的樣本、在一些情況下比較

該塊與同一圖片中已編碼的塊、在變換之后生成量化系數(shù)、以及在一些情況下還(例如根據(jù)

一個(gè)或多個(gè)幀內(nèi)編碼技術(shù)的幀內(nèi)預(yù)測(cè)方向信息)生成幀內(nèi)預(yù)測(cè)信息。在一個(gè)示例中，幀內(nèi)編

碼器(522)可以基于同一圖片的幀內(nèi)預(yù)測(cè)信息和參考?jí)K來(lái)計(jì)算幀內(nèi)預(yù)測(cè)結(jié)果(例如，預(yù)測(cè)

塊)。

[0069]通用控制器(521)被配置為確定通用控制數(shù)據(jù)，且基于該通用控制數(shù)據(jù)控制視頻

編碼器(503)的其它組件。在示例中，通用控制器(521)確定塊的模式，且基于該模式將控制

信號(hào)提供到開(kāi)關(guān)(526)。舉例來(lái)說(shuō)，當(dāng)該模式是幀內(nèi)模式時(shí)，通用控制器(521)控制開(kāi)關(guān)

(526)以選擇供殘差計(jì)算器(523)使用的幀內(nèi)模式結(jié)果，且控制燧編碼器(525)以選擇幀內(nèi)

預(yù)測(cè)信息且將該幀內(nèi)預(yù)測(cè)信息添加在碼流中；以及當(dāng)該模式是幀間模式時(shí)，通用控制器

(521)控制開(kāi)關(guān)(526)以選擇供殘差計(jì)算器(523)使用的幀間預(yù)測(cè)結(jié)果，且控制燧編碼器

(525)以選擇幀間預(yù)測(cè)信息且將該幀間預(yù)測(cè)信息添加在碼流中。

[0070]殘差計(jì)算器(523)被配置為計(jì)算所接收的塊與選自幀內(nèi)編碼器(522)或幀間編碼

器(530)的預(yù)測(cè)結(jié)果之間的差(殘差數(shù)據(jù))。殘差編碼器(524)被配置為基于殘差數(shù)據(jù)操作，

以對(duì)殘差數(shù)據(jù)進(jìn)行編碼以生成變換系數(shù)。在示例中，殘差編碼器(524)被配置成轉(zhuǎn)換頻域中

的殘差數(shù)據(jù)，且生成變換系數(shù)。變換系數(shù)接著經(jīng)受量化處理以獲得量化的變換系數(shù)。在各種

實(shí)施例中，視頻編碼器(503)還包括殘差解碼器(528)。殘差解碼器(528)被配置為執(zhí)行逆變

換，且生成已解碼殘差數(shù)據(jù)。已解碼殘差數(shù)據(jù)可適當(dāng)?shù)赜蓭瑑?nèi)編碼器(522)和幀間編碼器

(530)使用。舉例來(lái)說(shuō)，幀間編碼器(530)可基于已解碼殘差數(shù)據(jù)和幀間預(yù)測(cè)信息生成已解

碼塊,且?guī)瑑?nèi)編碼器(522)可基于已解碼的殘差數(shù)據(jù)和幀內(nèi)預(yù)測(cè)信息生成已解碼塊。適當(dāng)處

理已解碼塊以生成己解碼圖片，且在一些示例中，該已解碼圖片可在存儲(chǔ)器電路(未示出)

中緩存并用作參考圖片。

[0071]燧編碼器(525)被配置為將碼流格式化以產(chǎn)生已編碼的塊。燧編碼器(525)根據(jù)例

如HEVC標(biāo)準(zhǔn)的合適標(biāo)準(zhǔn)而包括各種信息。在示例中，蠟編碼器(525)被配置為將通用控制數(shù)

據(jù)、所選預(yù)測(cè)信息(例如幀內(nèi)預(yù)測(cè)信息或幀間預(yù)測(cè)信息)、殘差信息和其它合適的信息包括

在碼流中。應(yīng)注意，根據(jù)所公開(kāi)的主題，當(dāng)在幀間模式或雙向預(yù)測(cè)模式的合并子模式中對(duì)塊

進(jìn)行編碼時(shí)，不存在殘差信息。

[0072]圖6是根據(jù)本申請(qǐng)公開(kāi)的另一實(shí)施例的視頻解碼器(610)的圖。視頻解碼器(610)

被配置為接收作為已編碼視頻序列的一部分的已編碼圖像，且對(duì)該已編碼圖像進(jìn)行解碼以

生成重建的圖片。在示例中，視頻解碼器(610)用于代替圖2示例中的視頻解碼器(210)。

12

CN112514385B說(shuō)明書(shū)10/16頁(yè)

[0073]在圖6的示例中，視頻解碼器(610)包括如圖6中所示耦接到一起的蠟解碼器

(671)、幀間解碼器(680)、殘差解碼器(673)、重建模塊(674)和幀內(nèi)解碼器(672)。

[0074]燧解碼器(671)可被配置為根據(jù)已編碼圖片來(lái)重建某些符號(hào)，這些符號(hào)表示構(gòu)成

該已編碼圖片的語(yǔ)法元素。此類符號(hào)可包括例如用于對(duì)該塊進(jìn)行編碼的模式(例如幀內(nèi)模

式、幀間模式、雙向預(yù)測(cè)模式、后兩者的合并子模式或另一子模式)、可識(shí)別分別供幀內(nèi)解碼

器(672)或幀間解碼器(680)用以進(jìn)行預(yù)測(cè)的某些樣本或元數(shù)據(jù)的預(yù)測(cè)信息(例如幀內(nèi)預(yù)測(cè)

信息或幀間預(yù)測(cè)信息)、呈例如量化的變換系數(shù)形式的殘差信息等等。在示例中，當(dāng)預(yù)測(cè)模

式是幀間或雙向預(yù)測(cè)模式時(shí)，將幀間預(yù)測(cè)信息提供到幀間解碼器(680)；以及當(dāng)預(yù)測(cè)類型是

幀內(nèi)預(yù)測(cè)類型時(shí),將幀內(nèi)預(yù)測(cè)信息提供到幀內(nèi)解碼器(672)。殘差信息可經(jīng)受逆量化并提供

到殘差解碼器(673)。

[0075]幀間解碼器(680)被配置為接收幀間預(yù)測(cè)信息，且基于該幀間預(yù)測(cè)信息生成幀間

預(yù)測(cè)結(jié)果。

[0076]幀內(nèi)解碼器(672)被配置為接收幀內(nèi)預(yù)測(cè)信息，且基于該幀內(nèi)預(yù)測(cè)信息生成預(yù)測(cè)

結(jié)果。

[0077]殘差解碼器(673)被配置為執(zhí)行逆量化以提取解量化的變換系數(shù)，且處理該解量

化的變換系數(shù)，以將殘差從頻域轉(zhuǎn)換到空間域。殘差解碼器(673)還可能需要某些控制信息

(用以包括量化器參數(shù)QP),且該信息可由端解碼器(671)提供(未標(biāo)示數(shù)據(jù)路徑，因?yàn)檫@僅

僅是低量控制信息)o

[0078]重建模塊(674)被配置為在空間域中組合由殘差解碼器(673)輸出的殘差與預(yù)測(cè)

結(jié)果阿.由幀間預(yù)測(cè)模塊或幀內(nèi)預(yù)測(cè)模塊輸出)以形成重建的塊，該重建的塊可以是重建的

圖片的一部分，該重建的圖片繼而可以是重建的視頻的一部分。應(yīng)注意，可執(zhí)行諸如解塊操

作等其它合適的操作來(lái)改善視覺(jué)質(zhì)量。

[0079]應(yīng)注意，可使用任何合適的技術(shù)來(lái)實(shí)施視頻編碼器(203)、視頻編碼器(403)和視

頻編碼器(503)以及視頻解碼器(210)、視頻解碼器(310)和視頻解碼器(610)。在實(shí)施例中，

可使用一個(gè)或多個(gè)集成電路來(lái)實(shí)施視頻編碼器(203)、視頻編碼器(403)和視頻編碼器

(503)以及視頻解碼器(210)、視頻解碼器(310)和視頻解碼器(610)。在另一實(shí)施例中，可使

用執(zhí)行軟件指令的一個(gè)或多個(gè)處理器來(lái)實(shí)施視頻編碼器(203)、視頻編碼器(403)和視頻編

碼器(403)以及視頻解碼器(210)、視頻解碼器(310)和視頻解碼器(610)。

[0080]本公開(kāi)的各方面提供了用于在段級(jí)別設(shè)定默認(rèn)量化器參數(shù)(QP)值的技術(shù)。在一個(gè)

示例中，該劃分段可以是條帶、圖塊、圖塊組和其他合適的劃分段。盡管在一些示例中使用

了條帶，但是可以對(duì)示例進(jìn)行適當(dāng)修改以用于其他劃分段，例如圖塊、圖塊組等。在一些實(shí)

施例中，這些技術(shù)在高級(jí)視頻編解碼器中用于為整個(gè)條帶設(shè)置初始默認(rèn)QP值。

[0081]在一個(gè)示例中，QP值在0到51(含本數(shù))的范圍內(nèi)。HEVC限定了與QP相關(guān)的多個(gè)語(yǔ)

法，比如bit_depth_luna_minus8、init_qp_minus26、slice_qp_delta和其他。

[0082]語(yǔ)法bit_depth」uma_minus8指示亮度陣列的樣本的位深度BitDepth、：和亮度量

化參數(shù)范圍偏移QpBdOffset、.的值,如公式1和公式2所示：

[0083]BitDepthY=8+bit_depth_luma_minus8公式1

[0084]QpBd0ffsetY=6Xbit_depth_luma_minus8公式2

[0085]在一個(gè)示例中，語(yǔ)法init_qp_minus26可用于指示條帶級(jí)QP的初始值SliceQpy。例

13

CN112514385B說(shuō)明書(shū)11/16頁(yè)

如，init_qp_minus26加26指示圖片參數(shù)集（PPS）的每個(gè)條帶的初始值SIiceQpy。當(dāng)siice_

qp_delta的非零值被解碼時(shí)，在條帶段層修改初始值SIiceQp、,。init_qp_minus26的值應(yīng)該

在-（26+QpBdOffsetJ至+25（含本數(shù)）的范圍內(nèi)。應(yīng)注意，在HEVC中，在PPS級(jí)用信號(hào)發(fā)出了

init_qp_minus26o當(dāng)解碼器解碼語(yǔ)法元素init_qp_minus26時(shí)，該解碼器將26與init_qp_

minus26相加，以確定示例中初始值S1iceQpy。

[0086]語(yǔ)法slice_qp_delta指示Qp、,的初始修改值（初始調(diào)整），該值用于條帶段層中的

編碼塊，直到被編碼單元層中的CuQpDeltaVal的值修改為止。用于條帶的QpY量化參數(shù)的初

始值SliceQpy可由公式3得出：

[0087]SliceQpY=26+init_qp_minus26+slice_qp_delta公式3

[0088]應(yīng)注意,SliceQp、,的值應(yīng)在-QpBdOffsety到+51（含本數(shù)）的范圍內(nèi)。在一個(gè)示例中，

當(dāng)解碼器解碼initia_qp_^linus26和非零slice_qp_delta時(shí)，該解碼器根據(jù)公式3計(jì)算該條

帶QPY初始值。

[0089]根據(jù)本公開(kāi)的某些方面，當(dāng)標(biāo)準(zhǔn)或編解碼器支持的QP值的動(dòng)態(tài)范圍發(fā)生變化時(shí)，

適當(dāng)調(diào)整條帶級(jí)的初始或默認(rèn)QP值。

[0090]根據(jù)本公開(kāi)的一方面，初始條帶級(jí)QP值根據(jù)所支持的最大QP值進(jìn)行調(diào)整。在一個(gè)

實(shí)施例中，當(dāng)所支持的最大QP值為maxQP（奇數(shù)正整數(shù)）時(shí)，可以根據(jù)該值的一半，例如

（maxQP+1）>〉1,設(shè)置初始條帶級(jí)QP值。在另一個(gè)示例中，最大QP值的一半可以設(shè)置為maxQP>

〉1。通過(guò)信號(hào)發(fā)送的語(yǔ)法元素init_qp_minusXX（XX指調(diào)整過(guò)的初始條帶級(jí)QP值）可以設(shè)置

為真實(shí)的初始條帶級(jí)QP值減去上述的最大值的一半，即減去（（maxQP+1）>>1）。那么，init_

qp_minusXX的值被限制在-（（maxQP>>l）+QpBdOffsety）至lj+（（maxQP+1）>>1）（含本數(shù)）的范

圍內(nèi)?；蛘咴诹硪粋€(gè)實(shí)例中，init_qp_minusXX的值被限制在-（（（（maxQP+1）>>1）+

QpBdOffsetJ到+（maxQP>〉l）（含本數(shù)）的范圍內(nèi)。相應(yīng)地，在解碼器側(cè)，解碼器解碼語(yǔ)法元

素init_qp_minusXX,計(jì)算最大QP值的一半（（maxQP+1）>>1或maxQP〉〉l），并計(jì)算init_qp_

minusXX和最大QP值的一半的和。解碼器然后根據(jù)和設(shè)置初始條帶級(jí)QP值。

[0091]在另一個(gè)實(shí)施例中，當(dāng)所述支持的最大QP值為maxQP（奇數(shù)正整數(shù)）時(shí)，可以根據(jù)默

認(rèn)常量（例如26或28）設(shè)置初始條帶級(jí)QP值。通過(guò)信號(hào)發(fā)送的語(yǔ)法元素initial_qp_minusXX

（XX指初始的條帶級(jí)QP值，例如26或28）可以設(shè)置為真實(shí)的初始條帶級(jí)QP值減去上述默認(rèn)常

量，即減去26或減去28。那么，init_qp_minusXX的值被限制在-（XX+QpBdOffset、,）到+

（maxQP-XX）（含本數(shù)）的范圍內(nèi)。相應(yīng)的，在解碼器側(cè)，解碼器解碼語(yǔ)法元素，例如init_qp_

minus28,并將28與init_qp_minus28相加以計(jì)算初始條帶級(jí)QP值。

[0092]在一個(gè)示例中，最大的可能的QP值為63。在一個(gè)實(shí)施例中，條帶級(jí)的初始QP值是根

據(jù)等于32的最大QP值的一半（（maxQP+1）>>1）來(lái)設(shè)置的，然后限定了syntaxesinit_qp_

minus32、slice_qp_delta。

[0093]語(yǔ)法init_qp_minus32加32指示PPS的每個(gè)條帶的SIiceQpy初始值。當(dāng)siice_qp_

delta的非零值被解碼時(shí)，將在條帶段層修改SliceQpy初始值。init_qp_minus32的值應(yīng)該

在-（32+QpBdOffsety）到+31（含本數(shù)）的范圍內(nèi)。

[0094]語(yǔ)法syntaxs1ice_qp_delta指示Qp、,的初始修改值，該值用于條帶中的編碼塊，

直到被編碼單元層中的CuQpDeltaVal的值修改為止。用于條帶的Qp\,量化參數(shù)的初始值

SliceQpy由公式4推導(dǎo)得出：

14

CN112514385B說(shuō)明書(shū)12/16