GBT 44115.2-2024 信息技術(shù) 虛擬現(xiàn)實(shí)內(nèi)容表達(dá) 第2部分：視頻(正式版)

信息技術(shù)虛擬現(xiàn)實(shí)內(nèi)容表達(dá)國家市場監(jiān)督管理總局國家標(biāo)準(zhǔn)化管理委員會IGB/T44115.2—2024 Ⅲ 1 1 1 5 5 5 55.3邏輯運(yùn)算符 6 65.5位運(yùn)算符 6 7 76全景視頻編碼表示與重建 6.1視頻源與標(biāo)準(zhǔn)框架 6.2語法和語義 6.3重建方法 7自由視角視頻編碼表示與重建 7.1視頻源與標(biāo)準(zhǔn)框架 7.2語法和語義 7.3重建方法 附錄A(規(guī)范性)檔次 A.1概述 A.2檔次 附錄B(規(guī)范性)與平面視頻編碼標(biāo)準(zhǔn)的接口 B.2與AVS2(GB/T33475.2—2024)標(biāo)準(zhǔn)的接口 B.6與AVC(ISO/IEC14496-10:2022)標(biāo)準(zhǔn)的接口 附錄C(資料性)等角四棱錐映射后的濾波 ⅢGB/T44115.2—2024本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件是GB/T44115《信息技術(shù)虛擬現(xiàn)實(shí)內(nèi)容表達(dá)》的第2部分。GB/T44115已經(jīng)發(fā)布了以——第2部分：視頻。本文件由全國信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC28)提出并歸口。通信技術(shù)研究有限公司、深圳市大疆創(chuàng)新科技有限公司、華為技術(shù)有限公司、深圳市沉浸視覺科技有限限公司、海信集團(tuán)控股股份有限公司、中國電子技術(shù)標(biāo)準(zhǔn)化研究院、廣東博華超高清創(chuàng)新中心有限公司、中關(guān)村視聽產(chǎn)業(yè)技術(shù)創(chuàng)新聯(lián)盟。GB/T44115.2—2024GB/T44115旨在確立適用于虛擬現(xiàn)實(shí)的視頻和音頻規(guī)范，擬由三個(gè)——第1部分：系統(tǒng)。目的在于確立高效編碼的虛擬現(xiàn)實(shí)視頻和音頻數(shù)據(jù)的傳輸格式與信令格式?！?部分：視頻。目的在于確立虛擬現(xiàn)實(shí)全景視頻和自由視角視頻的編碼表示與重建方法。——第3部分：音頻。目的在于確定虛擬現(xiàn)實(shí)設(shè)備及相關(guān)系統(tǒng)中的沉浸式音頻內(nèi)容的表達(dá)方式，包括元數(shù)據(jù)(Metadata)結(jié)構(gòu)和渲染器(Render)的系統(tǒng)架構(gòu)及接口規(guī)范。置和機(jī)器可讀介質(zhì)；201910172742.5,多角度自由視角數(shù)據(jù)處理方法及裝置、介質(zhì)、終端、設(shè)備；統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)；201610945845.7,全景視頻感興趣區(qū)域的描述方法和編碼方法；式邊界填充的全景視頻編碼、解碼方法和裝置；201710037483.6,一種全景圖像的非對稱映射方法；201710031017.7,基于主視點(diǎn)的全景視頻映射方法；201910240995.1,一種基于自由視點(diǎn)的編解碼方法視點(diǎn)的全景視頻映射方法。本文件的發(fā)布機(jī)構(gòu)對于該專利的真實(shí)該專利持有人已向本文件的發(fā)布機(jī)構(gòu)承諾，他愿意同任何申請人在合理且無歧視的條款和條件下聯(lián)系方式獲得：聯(lián)系人：黃鐵軍(數(shù)字音視頻編解碼技術(shù)標(biāo)準(zhǔn)工作組秘書長)通訊地址：北京市海淀區(qū)頤和園路5號北京大學(xué)理科2號樓2641室電話：+8610—62756172傳真：+8610—62751638請注意除上述專利外，本文件的某些內(nèi)容仍可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。1信息技術(shù)虛擬現(xiàn)實(shí)內(nèi)容表達(dá)第2部分：視頻下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T20090.2—2013信息技術(shù)先進(jìn)音視頻編碼第2部分：視頻GB/T33475.2—2024信息技術(shù)高效多媒體編碼第2部分：視頻T/AI109.2—2020信息技術(shù)智能媒體編碼第2部分：視頻ISO/IEC14496-10:2022/ITU-TH.264信息技術(shù)視聽對象編碼第10部分：先進(jìn)視頻編碼ISO/IEC23008-2:2023/ITU-TH.265信息技術(shù)異構(gòu)環(huán)境下的高效編碼和媒體傳輸?shù)?部environments—Part2:Highefficiencyvideocoding)ISO/IEC23090-3:2022/ITU-TH.266信息技術(shù)沉浸式媒體的編碼表示方式第3部分：多功能視頻編碼(Informationtechnology—Codedrepresentationofimmersivemedia—Part3:Versatile2GB/T44115.2—20243.4圖像的三個(gè)樣值矩陣(亮度和兩個(gè)色度)中的一個(gè)矩陣或矩陣中的單個(gè)樣值。3.5由語法元素產(chǎn)生解碼圖像的過程。3.6完成解碼處理的實(shí)體。3.7解析過程parse3.83.93.10長度為32位的二進(jìn)制碼字，其形式在整個(gè)位流中是唯一的。3.11Cr和Cb兩種色差信號中任一種的樣值矩陣或單個(gè)樣值。3.12視頻序列sequence3.13按光柵掃描順序排列的若干連續(xù)最大編碼單元行。3.14編碼圖像所形成的二進(jìn)制數(shù)據(jù)流。3.15語法元素syntaxelement位流中的數(shù)據(jù)單元解析后的結(jié)果。3GB/T44115.2—2024對以觀察者為中心的球面(或部分球面)上的光線進(jìn)行均勻采樣得到的像素集合構(gòu)成的球面視用平面視頻幀表示雙目立體球面視頻幀的一種方法，該方法左、右眼球面視頻幀分別映射為左、右眼經(jīng)緯圖，然后再將雙目經(jīng)緯圖按某種順序拼接成平面視頻幀。用平面視頻幀表示球面視頻幀的一種方法，該方法將經(jīng)緯圖中的某一矩形區(qū)域定義為感興趣區(qū)用平面視頻幀表示球面視頻幀的一種方法，該方法將球面視頻幀以等角方式映射到球面的外接正六面體上，然后按照某種方式將正六面體拼接成平面視頻幀。用平面視頻幀表示球面視頻幀的一種方法，該方法將球面視頻幀映射到球面的外接二十面體用平面視頻幀表示球面視頻幀的一種方法，該方法將球面幀分割為南極、北極和赤道三個(gè)區(qū)域，然后按照將這三個(gè)區(qū)域映射為三個(gè)矩形，最后將三個(gè)矩形拼接成平面視頻幀。4GB/T44115.2—2024視角范圍angleofview5自由視角視頻free-viewvideo轉(zhuǎn)視點(diǎn)的高自由度觀看體驗(yàn)。一張灰度圖，圖中的每個(gè)位置的值代表三維場景中的一個(gè)點(diǎn)距離攝像機(jī)光心的距離。分為攝像機(jī)的外參和內(nèi)參，外參包括攝像機(jī)拍攝的位置，角度等外在參數(shù)信息，內(nèi)參一般攝像機(jī)的光心位置，焦距長度等內(nèi)在參數(shù)信息。4縮略語FOV視場(本文件中使用的數(shù)學(xué)運(yùn)算符和優(yōu)先級參照C語言。但對整型除法和算術(shù)移位操作進(jìn)行了特定定義。除特別說明外，約定編號和計(jì)數(shù)從0開始。表1算術(shù)運(yùn)算符定義算術(shù)運(yùn)算符定義十加法運(yùn)算—減法運(yùn)算(二元運(yùn)算符)或取反(一元前綴運(yùn)算符)X乘法運(yùn)算冪運(yùn)算，表示a的b次冪。也可表示上標(biāo)/整除運(yùn)算，沿向0的取值方向截?cái)?。例如?/4和一7/-4截?cái)嘀?,-7/4和7/-4截?cái)嘀烈?÷除法運(yùn)算，不做截?cái)嗷蛩纳嵛迦隺b除法運(yùn)算，不做截?cái)嗷蛩纳嵛迦?GB/T44115.2—2024表1算術(shù)運(yùn)算符定義(續(xù))算術(shù)運(yùn)算符定義模運(yùn)算，a除以b的余數(shù)，其中a與b都是正整數(shù)開平方運(yùn)算反正切運(yùn)算反正弦運(yùn)算arccos反余弦運(yùn)算取絕對值max取較大值取較小值正切運(yùn)算邏輯運(yùn)算符定義見表2。邏輯運(yùn)算符定義a和b之間的與邏輯運(yùn)算a和b之間的或邏輯運(yùn)算!邏輯非運(yùn)算關(guān)系運(yùn)算符定義見表3。關(guān)系運(yùn)算符定義>大于大于或等于<小于小于或等于等于不等于位運(yùn)算符定義見表4。7GB/T44115.2—2024表4位運(yùn)算符定義位運(yùn)算符定義與運(yùn)算或運(yùn)算取反運(yùn)算將a以2的補(bǔ)碼整數(shù)表示的形式向右移b位。僅當(dāng)b取正數(shù)時(shí)定義此運(yùn)算將a以2的補(bǔ)碼整數(shù)表示的形式向左移b位。僅當(dāng)b取正數(shù)時(shí)定義此運(yùn)算賦值運(yùn)算定義見表5。表5賦值運(yùn)算定義賦值運(yùn)算賦值運(yùn)算符十十遞增，x+十相當(dāng)于x=x+1。當(dāng)用于數(shù)組下標(biāo)時(shí)，在自加運(yùn)算前先求變量值遞減，x—一相當(dāng)于x=x—1。當(dāng)用于數(shù)組下標(biāo)時(shí)，在自減運(yùn)算前先求變量值自加指定值，例如x+=3相當(dāng)于x=x+3,x+=(-3)相當(dāng)于x=x+(-3)自減指定值，例如x—=3相當(dāng)于x=x-3,x—=(-3)相當(dāng)于x=x—(-3)位流語法描述方法類似C語言。位流的語法元素使用粗體字表示，每個(gè)語法元素通過名字(用下劃線分割的英文字母組，所有字母都是小寫)、語法和語義來描述。語法表和正文中語法元素的值用常規(guī)字體表示。某些情況下，可在語法表中應(yīng)用從語法元素導(dǎo)出的其他變量值，這樣的變量在語法表或正文中用不帶下劃線的小寫字母和大寫字母混合命名。大寫字母開頭的變量用于解碼當(dāng)前以及相關(guān)的語法結(jié)構(gòu)，也可用于解碼后續(xù)的語法結(jié)構(gòu)。小寫字母開頭的變量只在它們所在的小節(jié)內(nèi)使用。語法元素值的助記符和變量值的助記符與它們的值之間的關(guān)系在正文中說明。在某些情況下，二者等同使用。助記符由一個(gè)或多個(gè)使用下劃線分隔的字母組表示，每個(gè)字母組以大寫字母開始，也可包括多個(gè)大寫字母。位串的長度是4的整數(shù)倍時(shí)，可使用十六進(jìn)制符號表示。十六進(jìn)制的前綴是“0x”,例如“0xla”表示條件語句中0表示FALSE,非0表示TRUE。語法表描述了所有符合本文件的位流語法的超集，附加的語法限制在相關(guān)條中說明。表6給出了描述語法的偽代碼例子。當(dāng)語法元素出現(xiàn)時(shí)，表示從位流中讀一個(gè)數(shù)據(jù)單元。8GB/T44115.2—2024表6語法描述的偽代碼偽代碼描述符/*語句是一個(gè)語法元素的描述符，或者說明語法元素的存在、類型和數(shù)值，下面給出兩個(gè)例子。*/*花括號括起來的語句組是復(fù)合語句，在功能上視作單個(gè)語句。*/{…}/דwhile”語句測試condition是否為TRUE,如果為TRUE,則重復(fù)執(zhí)行循環(huán)體，直到condition不為TRUE。*/while(condition)/*“do…while”語句先執(zhí)行循環(huán)體一次，然后測試condition是否為TRUE,如果為TRUE,則重復(fù)執(zhí)行循環(huán)體，直到condition不為TRUE。*/while(condition)/*“if…else”語句首先測試condition,如果為TRUE,則執(zhí)行primarY語句，否則執(zhí)行alternative語句。如果alternative語句不需要執(zhí)行，結(jié)構(gòu)的“else”部分和相關(guān)的alternative語句可忽略。*//*“for”語句首先執(zhí)行initial語句，然后測試condition,如果conditon為TRUE,則重復(fù)執(zhí)行primarY語句和subsequent語句直到condition不為TRUE。*/for(initialstatement;condition;subsequ解析過程和解碼過程用文字和類似C語言的偽代碼描述。GB/T44115.2—2024以下函數(shù)用于語法描述。假定解碼器中存在一個(gè)位流指針，這個(gè)指針指向位流中要讀取的下一個(gè)二進(jìn)制位的位置。函數(shù)由函數(shù)名及左右圓括號內(nèi)的參數(shù)構(gòu)成。函數(shù)也可沒有參數(shù)。read_bits(n)返回位流的隨后n個(gè)二進(jìn)制位，MSB在前，同時(shí)位流指針前移n個(gè)二進(jìn)制位。如果n等于0,則返回0,位流指針不前移。函數(shù)也用于解析過程和解碼過程的描述。描述符表示不同語法元素的解析過程，見表7。描述符說明一個(gè)任意取值的字節(jié)。解析過程由函數(shù)read_bits(8)的返回值規(guī)定取特定值的連續(xù)n個(gè)二進(jìn)制位。解析過程由函數(shù)read_bits(n)的返回值規(guī)定n位整數(shù)。在語法表中，如果n是“v”,其位數(shù)由其他語法元素值確定。解析過程由函數(shù)read_bits(n)的返回值規(guī)定，該返回值用高位在前的2的補(bǔ)碼表示連續(xù)n個(gè)‘0’。解析過程由函數(shù)read_bits(n)的返回值規(guī)定n位無符號整數(shù)。在語法表中，如果n是“v”,其位數(shù)由其他語法元素值確定。解析過程由函數(shù)read_bits(n)的返回值規(guī)定，該返回值用高位在前的二進(jìn)制表示熵編碼語法元素，解析過程見對應(yīng)平面視頻編碼標(biāo)準(zhǔn)“保留”定義了一些特定語法元素值用于將來對本文件的擴(kuò)展。這些值不應(yīng)出現(xiàn)在符合本文件的位流中。應(yīng)忽略這些位?！氨Ａ粑弧辈粦?yīng)出現(xiàn)從任意字節(jié)對齊位置開始的21個(gè)以上連續(xù)的0。9GB/T44115.2—20246全景視頻編碼表示與重建全景視頻又稱為三自由度(3DoF)視頻，可以提供用戶以三維空間的一個(gè)點(diǎn)為中心在x軸、y軸和z軸三個(gè)方向進(jìn)行自由旋轉(zhuǎn)觀看體驗(yàn)。本文件定義的3DoF視頻源是對以觀察者為中心的球面上的光線進(jìn)行均勻采樣得到的像素集合構(gòu)成的球面視頻。為了便于存儲和處理，本文件將球面視頻通過像素在球面視頻幀中的坐標(biāo)記為(0,φ),其中0是方位角，φ是俯仰角。0和φ單位為弧度，0的取值范圍是一π~π,φ的取值范圍是一π/2~π/2。如圖1所示，在球面上定義某點(diǎn)為(0值。像素在平面視頻幀中的坐標(biāo)記為(x,y),其中x表示該像素在所屬的平面視頻幀中所處的列的索引，最左側(cè)的列的索引為0,向右依次加1;y表示該像素在所屬的平面視頻幀中所處的行的索引，最上方的行的索引為0,向下依次加1。圖1球面視頻和平面視頻的坐標(biāo)關(guān)系3DoF視頻編解碼整體框架如圖2所示，在編碼端，3DoF視頻源被映射為某種3DoF視頻表示模型，用符合平面視頻編碼方法進(jìn)行壓縮，并將和3DoF視頻表示模型相關(guān)的語法信息嵌入到視頻位流中；在解碼端，依據(jù)由位流中解析的3DoF視頻表示模型將解碼得到的平面視頻重建為球面視頻，在終編解碼3DoF視頻3DoF視頻重建3DoT視頻源AVS+/3DoT視頻源AVC/.本文件首先定義了3DoF視頻表示模型在視頻位流中的語法和語義。語法作為平面視頻位流的一了由3DoF視頻表示模型決定的球面視頻坐標(biāo)與平面視頻坐標(biāo)之間的映射關(guān)系，以便重建3DoF視頻，具體見6.3。最后，本文件還規(guī)定了3DoF視頻表示模型語法嵌入傳統(tǒng)平面視頻位流中的方法，具體GB/T44115.2—2024見第8章。3DoF視頻內(nèi)容表示模型語法定義見表8。描述符u(8)u(8)u(1)u(1)u(8)u(7)u(1)u(1)u(8)u(1)u(7)if(3dof_model==1){/*雙目立體經(jīng)緯圖*/u(1)GB/T44115.2—2024表83DoF視頻表示模型語法(續(xù))全景視頻表示模型語法描述符elseif(3dof_model==9){/*正六面體*/u(4)u(1)for(i=0;i<6;i+十){u(3)u(2)elseif(3dof_model==2){/*興趣區(qū)域?qū)蚪?jīng)緯圖*/u(14)u(14)u(14)u(14)elseif(3dof_model==6){/*主視點(diǎn)導(dǎo)向圓*/u(8)u(8)u(14)u(1)u(8)u(1)u(7)elseif(3dof_model==11){/*主視點(diǎn)導(dǎo)向正六面體*/GB/T44115.2—2024描述符全景視頻表示模型檔次3dof_profile_id8位無符號整數(shù)。遵照附錄A的規(guī)定，標(biāo)識全景視頻表示模型檔次。全景視頻表示模型3dof_model8位無符號整數(shù)。標(biāo)識全景視頻表示模型，具體取值見表9。表示模型用于規(guī)定平面視頻和球面視GB/T44115.2—2024表9全景視頻表示模型3dof_model的值全景視頻表示模型0經(jīng)緯圖1雙目立體經(jīng)緯圖2興趣區(qū)域?qū)蚪?jīng)緯圖3近等角正六面體4等積雙極方形5等角四棱錐6主視點(diǎn)導(dǎo)向圓7雙極方形8正二十面體9正六面體圓柱體主視點(diǎn)導(dǎo)向正六面體其他保留二值變量。值為1,用于避免虛擬現(xiàn)實(shí)視頻格式擴(kuò)展位流中出現(xiàn)偽起始碼。二值變量。標(biāo)記虛擬現(xiàn)實(shí)視頻內(nèi)容重建后是否需要進(jìn)行旋轉(zhuǎn)。值為0,表示虛擬現(xiàn)實(shí)視頻內(nèi)容在重建后不需做旋轉(zhuǎn)；值為1,表示虛擬現(xiàn)實(shí)視頻內(nèi)容在重建后需要做旋轉(zhuǎn)，先沿翻滾軸轉(zhuǎn)、再沿偏擺軸轉(zhuǎn)、最后沿俯仰軸轉(zhuǎn)，沿每個(gè)軸旋轉(zhuǎn)的方向和角度分別由后續(xù)語法元素roll_rotation_degree、yaw_rotation_degree和pitch_rotation_degree確定，圖3給出3個(gè)旋轉(zhuǎn)軸的相對位置。ZZYaWYRollX圖33DoF視頻的3個(gè)旋轉(zhuǎn)軸翻滾軸旋轉(zhuǎn)角度roll_rotation_degree16位無符號整數(shù)。最高位表示沿翻滾軸旋轉(zhuǎn)的方向：值為0,表示沿著逆時(shí)針方向旋轉(zhuǎn)；值位為GB/T44115.2—202416位無符號整數(shù)。最高位表示沿偏擺軸旋轉(zhuǎn)的方向：值為0,表示沿著逆時(shí)針方向旋轉(zhuǎn)；值位為16位無符號整數(shù)。最高位表示沿俯仰軸旋轉(zhuǎn)的方向：值為0,表示沿著逆時(shí)針方向旋轉(zhuǎn)；值位為默認(rèn)視角范圍標(biāo)識default_fov_flag二值變量。標(biāo)識虛擬現(xiàn)實(shí)視頻的水平視角范圍(hFOV)和垂直視角范圍(vFOV)是否取默認(rèn)值。值為0,表示hFOV和vFOV的取值分別由由后續(xù)語法元素horizontal_halffov和vertical_halffov確定；值為1,表示hFOV和vFOV取默認(rèn)值，按表10規(guī)則取值。表10水平視角范圍計(jì)算水平視角范圍計(jì)算if(3dof_model==1)//雙目立體經(jīng)緯圖elseif(3dof_model==10)//圓柱體else//其他表示模型8位無符號整數(shù)。表示水平視角范圍的一半，單位為度，取值范圍為0～180。虛擬現(xiàn)實(shí)視頻的水平視角范圍hFOV由該語法元素的取值導(dǎo)出：hFOV=2×horizontal_halffov7位無符號整數(shù)。表示垂直視角范圍的一半，單位為度，取值范圍為0～90。虛擬現(xiàn)實(shí)視頻的垂直視角范圍vFOV由該語法元素的取值導(dǎo)出：vFOV=2×vertical_halffov二值變量。表示有效球面區(qū)域中心點(diǎn)相對于球面中心(0,0)的方位角偏移方向。值為0,表示沿著GB/T44115.2—2024有效球面區(qū)域中心點(diǎn)方位角偏移量centeroffsethlevel8位無符號整數(shù)。表示有效球面區(qū)域中心點(diǎn)相對于球面中心(0,0)的方位角偏移幅度，單位為有效球面區(qū)域中心點(diǎn)俯仰角偏移方向center_offset_v_sign二值變量。表示有效球面區(qū)域中心點(diǎn)相對于球面中心(0,0)的俯仰角偏移方向。值為0,表示沿著逆時(shí)針方向偏移；值為1,表示沿著順時(shí)針方向偏移。7位無符號整數(shù)。表示有效球面區(qū)域中心點(diǎn)相對于球面中心(0,0)的方位角偏移幅度，單位為二值變量。值為1時(shí)，表示視頻序列中每一幅圖像采用相同的劃分方式將圖像劃分成一個(gè)或多個(gè)條帶，此時(shí)當(dāng)前條帶中的圖像塊所使用的幀間預(yù)測的參考數(shù)據(jù)不能超出參考圖像中與當(dāng)前條帶位置相同的條帶的邊界。值為0時(shí)，該標(biāo)志位不起作用。二值變量。值為0,表示解碼出的視頻幀的左半部分對應(yīng)左球面，右半部分對應(yīng)右球面；值為1,表正六面體排列類型cubic_type2位無符號整數(shù)。標(biāo)識正六面體六個(gè)面的排列類型。具體解釋見6.3.10。二值變量。值為1表示正六面體六個(gè)面采用默認(rèn)的排列方式；值為0表示正六面體六個(gè)面的排列方式由后續(xù)語法元素確定。具體解釋見6.3.10。3位無符號整數(shù)。標(biāo)識正六面體中面的索引。面索引與面的對應(yīng)關(guān)系見6.3.10。旋轉(zhuǎn)角度face_rotation2位無符號整數(shù)。表示相應(yīng)面的像素坐標(biāo)按逆時(shí)針方向旋轉(zhuǎn)。具體解釋見6.3.10。虛擬經(jīng)緯圖寬度virtual_source_width14位無符號整數(shù)。表示虛擬經(jīng)緯圖的寬度。具體用法見6.3.10。14位無符號整數(shù)。表示虛擬經(jīng)緯圖的高度。具體用法見6.3.10。感興趣區(qū)域?qū)挾萺oi_width14位無符號整數(shù)。表示感興趣區(qū)域的寬度。具體用法見6.3.10。GB/T44115.2—202414位無符號整數(shù)。表示感興趣區(qū)域的高度。具體用法見6.3.10。二值變量。表示主視點(diǎn)中心相對于球面中心(0,0)的方位角方向，值為0表示逆時(shí)針方向；值為1表示順時(shí)針方向。具體用法見6.3.7。8位無符號整數(shù)。表示主視點(diǎn)中心相對于球面中心(0,0)的方位角的偏移量，單位是度。具體用法見6.3.7。二值變量。表示主視點(diǎn)中心相對于球面中心(0,0)的俯仰角方向，值為0表示逆時(shí)針方向；值為1表示順時(shí)針方向。具體用法見6.3.7。7位無符號整數(shù)。表示主視點(diǎn)中心相對于球面中心(0,0)的俯仰角偏移量，單位是度。具體用法見8位無符號整數(shù)。表示主視點(diǎn)導(dǎo)向正六面體中非主視點(diǎn)平面的下采樣比例。具體用法見6.3.13。8位無符號整數(shù)。表示主視點(diǎn)邊界與主視點(diǎn)中心的夾角，單位是度。具體用法見6.3.7。8位無符號整數(shù)。表示副主視點(diǎn)邊界與主視點(diǎn)中心的夾角，單位是度。具體用法見6.3.7。13位無符號整數(shù)。表示主視點(diǎn)區(qū)域映射到二維平面視頻上的圓形區(qū)域的半徑，單位為像素。具體用法見6.3.7。非主視點(diǎn)采樣密度下降速度attenuation_factor6位無符號整數(shù)。有效值為1～49,表示等角四棱錐側(cè)面采樣密度下降速度。具體用法見6.3.6。擴(kuò)邊尺寸padding_size8位無符號整數(shù)。表示擴(kuò)邊的像素?cái)?shù)，取值為1～255。具體用法見6.3.5。緯度偏移latitude_offset8位無符號整數(shù)。表示緯度偏移，取值為32～255。具體用法見6.3.5。GB/T44115.2—20246.3重建方法本文件規(guī)定了從編碼比特流中解析3DoF視頻表示模型的方法，以及解碼得到的平面視頻幀和球面視頻幀之間的映射關(guān)系，以便重建3DoF視頻。如圖1所示，平面視頻幀的像素坐標(biāo)用(x,y)表示，球面視頻幀坐標(biāo)用(θ,φ)表示。遵照附錄B的規(guī)定，平面視頻幀的寬度和高度分別用變量W和H表示，W和H的值由傳統(tǒng)視頻編碼標(biāo)準(zhǔn)中的語法元素或變量確定。球面視頻幀的方位角范圍和俯仰角范圍分別用變量hFOV和vFOV表示，hFOV和vFOV的取值由語法元素default_fov_flag,horizontal_half_fov和vertical_half_fov按表11方式確定：表11hFOV范圍計(jì)算hFOV范圍計(jì)算if(3dof_model==1)//雙目立體經(jīng)緯圖elseif(3dof_model==10)//圓柱體else//其他表示模型hFOV=horizontal_half_fo當(dāng)3dof_profile_id等于0x20時(shí)，球面視頻幀的中心點(diǎn)C只能位于(0,0)點(diǎn)；當(dāng)3dof_profile_id等于0x40時(shí)，允許球面視頻幀中心點(diǎn)C在方位角和俯仰角方向上的坐標(biāo)分別有hCenterOffset和vCenter-Offset的偏移，hCenterOffset和vCenterOffset由相關(guān)語法元素按表12方式導(dǎo)出。表12中心點(diǎn)偏移量計(jì)算中心點(diǎn)偏移量計(jì)算if(center_offset_h_sign==0)hCenterOffset=center_offset_h_levelElsehCenterOffset=—center_offset_h_levelif(center_offset_v_sign==0)vCenterOffset=center_offset_v_levelElsevCenterOffset=—center_offset_v_levelGB/T44115.2—2024當(dāng)3dofmodel的值為0時(shí)，全景視頻表示模型為經(jīng)緯圖。vTOV0CE0VC圖4球面視頻幀經(jīng)緯圖映射示意圖(其中點(diǎn)C為球面視頻幀的中心點(diǎn))如圖4所示，一般的，球面視頻幀中心的坐標(biāo)為(hCenter(Offset,vCenter(Offset),平面視頻幀對應(yīng)的有效球面的方位角范圍為(hCenterOffset-hFOV÷2)～(hCenterOffset+hFOV÷2),俯仰角范圍為(vCenterOffset-vFOV÷2)～(vCenter(Offset+vFOV÷2)。hCenter(Offset的取值范圍為-180~180,vCenterOffset的取值范圍應(yīng)同時(shí)滿足以下兩個(gè)條件：(vCenterOffset—vFOV÷2)>=-90,且(vCenterOffset+vFOV÷2)<=90。平面視頻幀的像素坐標(biāo)(x,y)與球面視頻幀對應(yīng)像素坐標(biāo)(θ,φ)之間的映射關(guān)系如表13所示。表13平面像素映射關(guān)系平面像素映射關(guān)系θ=2×(hFOV÷360)×π×(x—W÷2+0.5)÷W+(hCenterOffset÷180)×πclseif(θ<一π)φ=(vFOV÷180)×π×(H÷2-y-0.5)÷H+(vCenterOffset÷180)×π當(dāng)3dofmodel的值為1時(shí)，全景視頻表示模型為雙目立體經(jīng)緯圖。位流表示的平面視頻是從具有水平視差的左目球面和右目球面分別對方位角0和俯仰角φ進(jìn)行均勻采樣得到的雙目平面視頻經(jīng)過拼接得到的，可以采用左右或上下拼接，拼接方式由語法元素stereo_layout確定。圖5給出了180°雙目立體經(jīng)緯圖采樣采用左右拼接獲得平面視頻幀的示意圖。20左口右口左口右口GB/T44115.2—2024(0,n/2)(0,n/2)0X左目W/2W圖5180度雙目立體經(jīng)緯圖采樣左右拼接示意圖一般的，每一目平面視頻幀對應(yīng)的球面中心為(hCenterOffset,vCenterOffset),方位角范圍為(hCenterOffset-hFOV÷2)～(hCenterOffset+hFOV÷2),俯仰角范圍為(vCenterOffset-vFOV÷2)～(vCenterOffset+vFOV÷2),hCenter(Offset的取值范圍為(-180,180),vCenterOffset的取值范圍應(yīng)同時(shí)滿足以下兩個(gè)條件：(vCenterOffset-vFOV÷2)>=-90,且(vCenterOffset+vFOV÷平面視頻幀中的像素坐標(biāo)(x,y)與球面視頻幀對應(yīng)像素坐標(biāo)(θ,φ)的映射關(guān)系按表14方式確定。表14雙目經(jīng)緯度映射關(guān)系雙目經(jīng)緯度映射關(guān)系if(stereo_layout==0)//位流中的平面視頻幀是由雙目視頻按照順序拼接得到的：if(x<W/2)//該像素屬于左目球面θ=(hFOV÷360)×2×π×(x—W÷elseif(θ<一π)else//該像素屬于右目球面0=(hFOV÷360)×2×π×(x-W×3÷4+0.5)÷(W/2)+(hCenterOffset÷180)×πelseif(<一π)GB/T44115.2—2024表14雙目經(jīng)緯度映射關(guān)系(續(xù))雙目經(jīng)緯度映射關(guān)系φ=(vFOV÷180)×π×(H÷2-y-0.5)÷H+(vCenterOfelse//位流中的平面視頻幀是由雙目視頻按照上下順序拼接得到的if(y<H/2)//該像素屬于左目球面φ=(vFOV÷180)×π×(H÷4-y-0.5÷(H/2)+(vCenter(Offset÷180)×πelse//該像素屬于右目球面φ=(vFOV÷180)×π×(H×3÷4-y-0.5)÷(H/2)+(vCenterOffset÷1800=(hFOV÷360)×2×π×(x—W÷2+0.5)÷W+(hCenterOffset÷180)×πelseif(θ<一π)當(dāng)3dof_model的值為2時(shí)，全景視頻表示模型為興趣區(qū)域?qū)蚪?jīng)緯圖。如圖6所示，興趣區(qū)域?qū)蚪?jīng)緯圖是由虛擬經(jīng)緯圖下采樣得到的。虛擬經(jīng)緯圖是由球面視頻源按照3.3.2定義的經(jīng)緯圖表示模型映射得到的平面視頻幀，虛擬經(jīng)緯圖的寬度和高度分別由語法元素virtual_source_width和virtual_source_height得到。圍繞虛擬經(jīng)緯圖中心定義的矩形區(qū)域稱為感興趣區(qū)域，該區(qū)域的寬度和高度分別由語法元素roi_width和roi_height得到。虛擬經(jīng)緯圖中感興趣區(qū)域采樣密度不變，對其余的區(qū)域進(jìn)行漸變下采樣(離感興趣區(qū)域越遠(yuǎn)，下采樣的密度越低)得到興趣區(qū)域?qū)蚪?jīng)緯圖。圖6興趣區(qū)域?qū)蚪?jīng)緯圖平面視頻幀中像素的平面坐標(biāo)(x,y)與球面坐標(biāo)(θ,φ)的對應(yīng)關(guān)系如表15所示。GB/T44115.2—2024表15感興趣區(qū)域及映射關(guān)系感興趣區(qū)域及映射關(guān)系WRor=roi_width//感興趣區(qū)域的寬WRo?和高Hkoi的值HRo?=roi_heightR,=(W—WRo?)÷2//感興趣區(qū)域距離興趣區(qū)域?qū)蚪?jīng)緯圖的邊界的距離Rh和RvR,=(H—Hroi)÷2wVirtual=virtual_source_widthhVirtual=virtual_source_heightrX=(2×(W—WRoi))÷((wVirtual—WRor))-1rY=(2×(H一Hror))÷((hVirtual—Hron))-1rHVirtual=(wVirtual-WRor)÷2rVVirtual=(hVirtual—Hror)÷20=2×π×(xVirtual—wVirtual÷2+0.5)÷wVirtualφ=π×(hVirtual÷2-yVirtual—0.5)÷hVirtualxVirtual=rHVirtual—rHVirtual÷(1-rX)+sqrt((rHVirtual÷(1-rX))2—(2×rHVirtual)÷(1—rX)×xVirtual=rHVirtual+Wron+rHVirtual÷(1-rX)-sqrt((rHVirtual÷(1-rX))2-(2×rHVirtual)÷(1-rX)×(x—rHVirtual-WRo?))xVirtual=rHVirtual+x—RyVirtual=rVVirtual—rVVirtual÷(1-rY)+sqrt((rVVirtual÷(1-rY)2-(2×rVVirtual)÷(1-rY)×elseif(y>R、+Hkor)yVirtual=rVVirtual+Hror+rVVirtual÷(1-rY)-sqrt((rVVirtual÷(1-rY))2-(2×rVVirtual)÷(1-rY)×(y-rVVirtual—Hkor))yVirtual=rVVirtual+y-RGB/T44115.2—2024當(dāng)3dofmodel的值為3時(shí)，全景視頻表示模型為近等角正六面體。位流表示的平面視頻如圖7a)所示，是通過將一個(gè)完整的球面按近等角關(guān)系映射為正六面體，并將正六面體的六個(gè)面按3×2的擺放方式排列得到的。六個(gè)面與球面的切點(diǎn)的球面坐標(biāo)分別為(一π÷2,0)、(0,0)、(π÷2,0)、(π,0)、(0,π÷2)和為0面、1面、2面、3面、4面和5面。各面在排列前先分別進(jìn)行如下旋轉(zhuǎn)：0面不動、1面不動、2面不方構(gòu)成第一個(gè)3×1組，旋轉(zhuǎn)后的4面、3面和5面按順序放在下方，構(gòu)成第二個(gè)3×1組。然后在兩組3×1的長方形的邊界周圍填充P行/列的像素得到圖7b)所示的近等角六面體視頻外填充的P行/列像素是由圖7c)中相同字母標(biāo)注的P行/列像素在復(fù)制后經(jīng)過旋轉(zhuǎn)得到的。兩組3×1權(quán)重經(jīng)過加權(quán)平均得到：A=(Dx×Ay+Dy×Ax)/(Dx+Dy)將每個(gè)正方形切面的邊長用nCubic表示，nCubic的值由平面視頻幀的寬度W確定，計(jì)算公式(1)nCubic——正方形切面的邊長；P——邊界周圍填充數(shù)目。近等角正六面體中每個(gè)面的面索引為face_index,每個(gè)面的左上角在平面視頻幀中的坐標(biāo)偏移為(xOffset,yOffset),將某個(gè)切面內(nèi)像素的局部坐標(biāo)記為(xLocal,yLocal)。像素的局部坐標(biāo)與在平頻幀中全局坐標(biāo)(x,y)的映射關(guān)系如表16所示。24GB/T44115.2—2024a)b)填充域AgD-2.5GB/T44115.2—2024表16像素的局部坐標(biāo)與在平面視頻幀中全局坐標(biāo)的映射關(guān)系Faceface_index[i]左上角坐標(biāo)局部坐標(biāo)xOffsetyOffsetxLocalyLocal左面0PPx—xOffsety—yOffset前面1P+nCubicPx—xOffsety-yOffset右面2P+2×nCubicPx—xOffsety-yOffset背面3P+nCubic3×P+nCubicy-yoffsetnCubic—1+xOffset—x頂面4P3×P+nCubicnCubic—1+yOffset—yx—xOffset底面5P+2×nCubic3×P+nCubicnCubic—1+yOffset-yx—xOffset從球面上的采樣點(diǎn)到正方形切面上的非線性投影，使用變換函數(shù)f(x)對xNormal和yNormal做進(jìn)一步的變換，如表17所示。表17球面上的采樣點(diǎn)到正方形切面上的非線性投影球面上的采樣點(diǎn)到正方形切面上的非線性投影xNormal=(2×xLocal+1-nCubic)÷nCubicyNormal=(2×yLocal+1-nCubic)÷nCubicf(x)=—0.385×x2+1.385×xxNormalNew=f(xNormal)xNormalNew=—f(—xNormal)yNormalNew=f(yNormal)yNormalNew=—f(-yNormal)表18球面上的采樣點(diǎn)到正方形切面上的非線性投影球面上的采樣點(diǎn)到正方形切面上的非線性投影左面(平面0):θ=arctg(xNormalNew)一π÷2φ=arctg(yNormalNew÷sqrt(1+xNormalNew2))前面(平面1):φ=arctg(yNormalNew÷sqrt(1+xNormalNew2))GB/T44115.2—2024表18球面上的采樣點(diǎn)到正方形切面上的非線性投影(續(xù))球面上的采樣點(diǎn)到正方形切面上的非線性投影右面(平面2):θ=arctg(xNormalNew)十π÷2φ=arctg(yNormalNew÷sqrt(1+xNormalNew2))背面(平面3):φ=arctg(yNormalNew÷sqrt(1+xNormalNew2))if(xNormalNew<0)0=arctg(xNormalNew)十πθ=arctg(xNormalNew)一π頂面(平面4):φ=π÷2-arctg(sqrt(xNormalNew2+yNormalNew2))if(xNormalNew>=0)0=arccos(yNormalNew÷sqrt(xNormalNew2+yNormalNew2))θ=—arccos(yNormalNew÷sqrt(xNormalNew2+yNormalNew2))底面(平面5):φ=aretg(sqrt(xNormalNew2+yNormalNew2))—π÷2if(xNormalNew>=0)θ=arccos(-yNormalNew÷sqrt(xNormalNew2+yNormalNew2))0=-arccos(-yNormalNew÷sqrt(xNormalNew2+yNormalNew2))渲染時(shí)用填充的像素和對應(yīng)平面上的像素進(jìn)行加權(quán)平均來替換平面上原本的像素。如圖7b)所示，填充的像素點(diǎn)A對應(yīng)平面上的像素點(diǎn)B,按圖7f)所示得到A和B到最近邊界的距離D。A的像素值為xA,B的原始像素值為xB,經(jīng)過替換后的像素值為xBNew,加權(quán)平均的計(jì)算公式(2)如下：D——A和B到最近邊界的距離；P——邊界周圍填充數(shù)目。當(dāng)3dofmodel的值為4時(shí)，全景視頻表示模型為等積雙極方形。位流表示的平面視頻是將一個(gè)完整的球面按照圖8所示的方式映射得到的。圖8中1～3區(qū)域均為矩形，其中2區(qū)域?qū)?yīng)球面上俯仰角φ范圍為(一π÷3)～(π÷3)的區(qū)域，3區(qū)域?qū)?yīng)球面上俯仰角φ范圍為(一π÷2)～(一π÷3)的區(qū)2b2a343圖8等積雙極方形映射示意圖將圖8中某個(gè)區(qū)域內(nèi)像素的局部坐標(biāo)記為(xLocal,yLocal),其在平面視頻中的全局坐標(biāo)記為(x,y)。局部坐標(biāo)(xLocal,yLocal)和全局坐標(biāo)(x,y)的對應(yīng)關(guān)系如表19所示。表19等積雙極方形投影等積雙極方形投影PaddingSize=(padding_size—1)×4LatOff=π÷latitude_offsetwidth13=(H—PaddingSize)÷2width2=W—H÷2—PaddingSize÷2widthP=PaddingSize÷2區(qū)域1:xLocal=x—width2-PaddingSizeyLocal=yφ=π÷2—(LatOff+π÷6)×m÷(width13÷2)θ=n÷(4×2×m)×(π×2)一πm=max(abs(width13÷2—xLocal—0.5),abs(width13÷2-yLocal—0.5))m2=(width13-1)÷2—mif(yLocal>=xLocal&.8.(xLocal+yLocal)<width13)n=yLocal+0.5—m2elseif(yLocal>xLocal&.&.(xLocal+yLocal)>=width13)n=2×m+xLocal+0.5—m2elseif(yLocal<=xLocal&.&.xLocal+yLocal>width13)n=2×2×m+width13-yLocal—0.5—m2n=3×2×m+width13—xLocal—0.5—m2GB/T44115.2—2024表19等積雙極方形投影(續(xù))等積雙極方形投影區(qū)域2:xLocal=xyLocal=yφ=π÷3-LatOff—(π×2÷3-LatOff×2)×(yLocal+0.5)÷Hθ=π×2×(xLocal+0.5)÷wi區(qū)域3:xLocal=x—width2—PaddingSizeyLocal=y-width13-PaddingSizeφ=(π÷6+LatOff)×m÷(width13÷2)—π÷20=n÷(4×2×m)×(π×2)一πm=max(abs(width13÷2—xLocal—0.5),abs(width13÷2-yLocal—0.5))m2=(width13-1)÷2—mif(yLocal<=xLocal&.8.xLocal+yLocal<width13)n=xLocal+0.5-m2elseif(yLocal<xLocal&.&.xLocal+yLocal>=width13)n=2×m+yLocal+0.5-m2elseif(yLocal>=xLocal&.&.xLocal+yLocal>width13)n=2×2×m+width13—xLocal—0.5—m2n=3×2×m+width13-yLocal—0.5—m2解碼后，圖8中區(qū)域2內(nèi)的某些像素值用擴(kuò)充區(qū)域內(nèi)的6個(gè)像素值校正，設(shè)某個(gè)被校正像坐標(biāo)和像素值分別為(x,y)和F,用于校正該像素值的6個(gè)像素的全局坐標(biāo)和像素值分別為(x1,yl),(x2,y2),(x3,y3),(x4,y4),(x5,y5),(x6,y6)和F1,F2,F3,F4,F5,F6,則F=(1-p)×F+p×(pl×F1+p2×F2+p3×F3+p4×F4+p5×F5+p6×F6)。令函數(shù)Lz(k)=Sa(k)×Sa(k÷3),其中：Sa(k)=sin(k×π)÷k÷π,則x1～x6,yl～y6,p,pl～p6的值按表20規(guī)則確定。表20p1～p6值計(jì)算方式pl～p6值計(jì)算方式if(x>=widthP&.&.x<width2÷4&.&.y>=0&.&.y<widthP)//用b區(qū)域像素校正：fc=(x+0.5)×4×width13÷width2—0.5d=fe—zxl=width2+PaddingSize—1-yyl=min(max(0,z-2),width13-1)GB/T44115.2—2024表20p1～p6值計(jì)算方式(續(xù))pl～p6值計(jì)算方式x2=width2+PaddingSiy2=min(max(0,z-1),wix3=width2+PaddingSix4=width2+PaddingSiy4=min(max(0,z+1),wix5=width2+PaddingSizy5=min(max(0,z+2),wix6=width2+PaddingSiy6=min(max(0,z+3),wielseif(x>=width2÷4&.&x<width2÷2&.&.y>=0&.&.y<widthP)//e區(qū)域像素校正fc=(x—width2÷4+0.5)×4×width13÷widxl=width2+PaddingSize+min(max(0,z-2),width13—1)x2=width2+PaddingSize+min(max(0,z-1),width13-1)x3=width2+PaddingSize+min(max(0,z),width13—1)x4=width2+PaddingSize+min(max(0,z+1),width13-1)x5=width2+PaddingSize+min(max(0,z+2),width13—1)x6=width2+PaddingSize+min(max(0,z-2),width13-1)GB/T44115.2—2024表20p1～p6值計(jì)算方式(續(xù))pl～p6值計(jì)算方式pl=Lz(d+2)p2=Lz(d+1)p3=Lzd)p4=Lz(d-1)p5=Lz(d-2)p6=Lz(d—3)elseif(x>=0&.&.x<widthP)//用a區(qū)域內(nèi)的像素校正：xl=0x2=0x3=x+width2x4=0x5=0p=0.5—x÷PaddingSizeelseif(x>=widthP&.&x<width2÷48.8.y>=H-widthP)//用f區(qū)域內(nèi)的像素校正fc=(x+0.5)×4×width13÷width2—0.5x1=width2+PaddingSize+min(max(0,z-2),width13-1)yl=y—width13x2=width2+PaddingSize+min(max(0,z-1),width13-1)y2=y—width13x3=width2+PaddingSize+min(max(0,z),width13-1)y3=y-width13GB/T44115.2—2024表20p1～p6值計(jì)算方式(續(xù))pl～p6值計(jì)算方式x4=width2+PaddingSize+min(max(0,z+1),width13-1)y4=y—width13x5=width2+PaddingSize+min(max(0,z+2),width13—1)y5=y—width13x6=width2+PaddingSize+min(max(0,z+3),width13—1)y6=y—width13p=0.5—(H-1-y)÷PaddingSizepl=Lz(d+2)p2=Lz(d+1)p3=Lzd)p4=Lz(d-1)p5=Lz(d-2)p6=Lz(d—3)elseif(x>=width2×3÷48.&.x<width2&.&.y>=H—widthP)//用d區(qū)域內(nèi)的像素校正fc=(width2—1-x+0.5)×4×width13÷width2—0.5xl=width2+widthP+(y—H+widthP)yl=width13+PaddingSize+min(max(0,z-2),width13-1)x2=width2+widthP+(y—H+widthP)y2=width13+PaddingSize+min(max(0,z-1),width13-1)x3=width2+widthP+(y—H+widthP)x4=width2+widthP+(y—H+widthP)y4=width13+PaddingSize+min(max(0,z+1),widthl3-1)x5=width2+widthP+(y-H+widthP)y5=width13+PaddingSize+min(max(0,z+2),width13-1)x6=width2+widthP+(y—H+widthP)y6=width13+PaddingSize+min(max(0,z+3),width13-1)p=0.5-(H-1-y)÷PaddingSizepl=Lz(d+2)p2=Lz(d+1)p3=Lzd)p4=Lz(d-1)p5=Lz(d—2)p6=Lz(d—3)GB/T44115.2—2024當(dāng)3dof_model的值為5時(shí)，全景視頻表示模型為等角四棱錐，位流表示的平面視頻是從一個(gè)完整的球面映射為按照如圖9所示的等角四棱錐模型映射得到的。首先，將球面視頻幀上主視點(diǎn)區(qū)域映射到四棱錐的底面(主視點(diǎn)中心映射到四棱錐底面中心D,其對應(yīng)的經(jīng)度和緯度分別為lon和lat),其他區(qū)域映射到四棱錐的側(cè)面；其次，將四棱錐形變?yōu)槿鐖D9b)所示的矩形，并對由非主視點(diǎn)映射得到的區(qū)域進(jìn)行自適應(yīng)濾波；最后對矩形區(qū)域四周進(jìn)行適當(dāng)擴(kuò)充得到圖9c)所示的平面視頻幀。圖9a)中O為球心，E為四棱錐頂點(diǎn)，主視點(diǎn)中心為四棱錐底面中心D,主視點(diǎn)區(qū)域的俯仰角范圍為一β~β,四棱錐底面正對主視點(diǎn)方向。等角四棱錐投影先將球面投影到四棱錐上，然后通過等角的方法將四棱錐底面投影點(diǎn)越遠(yuǎn)采樣密度越低，并將平面Ⅱ、Ⅲ、IV、V拼成正方形。最后對圖9b)所示的平面的外圍填充P行的像素得到圖9c)所示的等角四棱錐擺放方式。具體而言，對于亮度分量，P的值為8,對于色度分量，P的值為4。以下描述均使用P來表示填充寬度。此外，圖9f)中向外填充的P行(列)及4個(gè)角落的P×P個(gè)像素是由平面中相同數(shù)字標(biāo)注的P行(列)或P×P個(gè)像素在復(fù)制后經(jīng)過旋轉(zhuǎn)得到的。四棱錐底面投影為平面I時(shí)，其具體的方法如圖9d)所示，圖中點(diǎn)A是四棱錐底面上的任意一點(diǎn)。過A作四棱錐底面兩條中線的垂線，垂線與兩條中線分別交于點(diǎn)B和點(diǎn)C,投影時(shí)根據(jù)角BOD和角COD的大小等間距的將四棱錐底面投影到平面I上。任意一點(diǎn)。過A作四棱錐側(cè)面高的垂線，垂線與高交于點(diǎn)B,過A作直線DE的垂線，垂線交DE于點(diǎn)C。投影時(shí)，在角BOD的方向上，角BOD越大采樣密度越低；而在角ACB的方向上，根據(jù)角ACB的大小等間距的進(jìn)行投影。表21展示了具體計(jì)算過程。表21主視點(diǎn)中心經(jīng)緯度計(jì)算主視點(diǎn)中心經(jīng)緯度計(jì)算if(main_viewpoint_center_longitudlon=main_viewpoint_center_longitude_level÷18lon=—main_viewpoint_center_longitude_level÷180if(main_viewpoint_center_latitudlat=main_viewpoint_center_latitude_level÷1lat=—main_viewpoint_center_latitude_level÷18填充的像素點(diǎn)A對應(yīng)平面上的像素點(diǎn)B,按圖9g)所示得到A和B到最近邊界的距離D。A的像素值為xA,B的原始像素值為xB,經(jīng)過替換后的B像素值為xBNew,加權(quán)平均的計(jì)算公式(3)如下：xBNew=[(P+D)×xB+(P—D)×xA+P]/(2×P)……(3)式中：xBNew——替換后的像素值；D——A和B到最近邊界的距離；P——邊界周圍填充數(shù)目。EZ3234848565g929圖9等角四棱錐投影的示意圖表22等角四棱錐投影等角四棱錐投影F=attenuation_factor÷100W_nopadding=W-2×PH_nopadding=H—2×PGB/T44115.2—2024表22等角四棱錐投影(續(xù))等角四棱錐投影if(x<W_nopadding÷2)則該點(diǎn)位于區(qū)域Ithetal=—(2×y÷(H_nopadding)-1)×βtheta2=(4×x÷(W_nopadding)-1)×βSphereX=tan(theta2)SphereY=tan(thetal)SphereZ=1x_normal=4×x÷(W_nopadding)-3y_normal=2×y÷(H_nopadding)-1if(y_normal>x_normal&.&.y_normal<=—x_normal)//點(diǎn)位于區(qū)域Ⅱthetal=β+(π—β)×tan((1+x_normal)×π×F)÷tan(π×F)theta2=π÷4×y_normal÷x_normalif(thetal<π÷2)SphereX=tan(thetal)SphereY=tan(thetal)×tan(theta2)SphereZ=1elseif(thetal==π÷2)SphereX=1SphereY=tan(theta2)SphereZ=0SphereX=—tan(thetal)SphereY=—tan(thetal)×tan(theta2)SphereZ=—1elseif(y_normal<=x_normal8.8.y_normal<一x_normal)//點(diǎn)位于區(qū)域Ⅲthetal=β+(π—β)×tan((1+y_normal)×π×F)÷tan(π×F)theta2=π÷4×x_normal÷y_normalif(thetal<π÷2)SphereX=tan(thetal)×tan(theta2)SphereY=tan(thetal)SphereZ=1elseif(thetal==π÷2)SphereX=—tan(theta2)SphereY=-1SphereZ=0GB/T44115.2—2024表22等角四棱錐投影(續(xù))等角四棱錐投影SphereX=—tan(thetal)×tan(theta2)SphereY=—tan(thetal)elseif(y_normal>=x_normal&.&.y_normal>-x_normal)//點(diǎn)位于區(qū)域Vthetal=β+(π—β)×tan((1—x_normal)×π×F)÷tan(π×F)theta2=π÷4×y_normal÷x_normalSphereX=—tan(thetal)×tan(theta2)SphereY=—tan(thetal)SphereX=—tan(theta2)SphereX=tan(thetal)×tan(theta2)SphereY=tan(thetal)R=sqrt(sphereX1×sphereX1+sphereY1×sphereY1+sphereZ1×sphereZ1)//計(jì)算球面坐標(biāo)(φ,0)0=arctan(sphereX2÷sphereZ2)十πθ=arctan(sphereX2÷sphereZ2)一π當(dāng)3dofmodel的值為6時(shí)，全景視頻表示模型為主視點(diǎn)導(dǎo)向圓。位流表示的平面視頻是從一個(gè)完GB/T44115.2—2024整的球面映射為主視點(diǎn)導(dǎo)向圓得到的。如圖10所示，左圖中球面上主視點(diǎn)中心為C,根據(jù)與主視點(diǎn)中心到球心連線的夾角，將球面分成三個(gè)區(qū)域：分別記為區(qū)域I,區(qū)域Ⅱ和區(qū)域Ⅲ。區(qū)域I對應(yīng)夾角0度Z?到180°的區(qū)域，稱為非主視點(diǎn)區(qū)域。區(qū)域I對應(yīng)平面視頻幀上以視頻幀中心為圓心，半徑為p?的圓；區(qū)域Ⅱ?qū)?yīng)以視頻幀中心為圓心，內(nèi)半徑為pi,外半徑為平面視頻幀寬度一半的圓環(huán)；區(qū)域Ⅲ對應(yīng)以平面視頻幀四個(gè)角為圓心的4個(gè)四分之一圓，四分之一圓與區(qū)域Ⅱ?qū)?yīng)的圓環(huán)的外圈相切。Z1和Z2的值分別由語法元素main_viewpoint_halfrange和submain_viewpoint_halfrange來獲得，p?的值由語法元素main_viewpoint_radus獲得。根據(jù)平面視頻幀中像素的平面坐標(biāo)(x,y),計(jì)算對圖10主視點(diǎn)導(dǎo)向圓映射示意圖表23等角四棱錐投影等角四棱錐投影Z1=main_viewpoint_half_range÷180×πZ2=submain_viewpoint_half_range÷180×πpl=main_viewpoint_radusif(main_viewpoint_center_longitude_sign==0)lon=main_viewpoint_center_longitude_level÷180×πl(wèi)on=-main_viewpoint_center_longitude_level÷180×πif(main_viewpoint_center_latitude_sign==0)lat=main_viewpoint_center_latitude_level÷180×πl(wèi)at=—main_viewpoint_center_latitude_level÷180×π//計(jì)算將(x,y)歸一化到[-1,1],并計(jì)算其到視頻幀中心的距離：xNormal=(2×x+1—W)÷WGB/T44115.2—2024表23等角四棱錐投影(續(xù))等角四棱錐投影p=sqrt(xNormal2+yNorma//計(jì)算平面上歸一化后的主視點(diǎn)的半徑：Z=2×arcsin(p÷p2)×sin(Z101=arctan(xNormal÷yNormal)十π01=arctan(xNormal÷yNormal)一π—sqrt(2)≤yNormal—xNormal≤-sqrt(2))//此處的10÷W是為了padding幾行像素Vall=(cos(Z1÷2))3Z=2×arccos((Val2+(1-p2)÷(1-p22)×(Vall-Val2))1÷3)θ1=arctan(xNormal÷yNormal)十π01=arctan(xNormal÷yNormal)一πpl=min(sqrt((xNormal+1)2+(yNormal+1)2),sqrt((xNormal-1)2+(yNormal+1)2),sqrt((xNormal+1)2+(yNormal-1)2),sqrt((xNormal-1)2+(yNif(pl<=sqrt(2)-1+10÷W)//此處的10÷W是為了padding幾行像素Z=2×arccos(((pl)2÷(sqrt(2)-1)2×(cos(Z2÷2))3)1÷3)01=—arctan((xNormal+1)÷(yNormal+1))一π÷2GB/T44115.2—2024表23等角四棱錐投影(續(xù))等角四棱錐投影01=-arctan((xNormal—1)÷(yNormal+1))十π÷2elseif(xNormal<08.8.yNormal>0)01=-arctan((xNormal+1)÷(yNormal-1))十π÷2Else01=-arctan((xNormal-1)÷(yNormal-1))一π÷2計(jì)算直角坐標(biāo)：sphereX=sin(01)×cos(φ1)sphereY=sin(φ1)sphereZ=cos(θ1)×cos(φ1)乘上旋轉(zhuǎn)矩陣[sphereX1,sphereY1,sphereZ1]=[sphereX,sphereY,sphereZ]×T歸一化：sphereX2=sphereX1÷RsphereY2=sphereY1÷RsphereZ2=sphereZ1÷R計(jì)算球面坐標(biāo)(φ,θ)if(sphereZ2>=0)elseif(sphereZ2<0&.&.sphereX2>0)θ=arctan(sphereX2÷sphereZ2)十πelseif(sphereZ2<0&.8.sphereX2<0)θ=arctan(sphereX2÷sphereZ2)一π當(dāng)3dofmodel的值為7時(shí)，全景視頻表示模型為雙極方形。位流表示的平面視頻是將一個(gè)完整的視頻幀映射后得到的平面區(qū)域，區(qū)域0～5均為正方形，其中區(qū)域0～3對應(yīng)球面上俯仰角φ為[一π÷4,π÷4]的區(qū)域，區(qū)域4對應(yīng)球面上俯仰角φ為(π÷4,π÷2)的區(qū)域，區(qū)域5對應(yīng)球面上俯仰角φ為接，最后區(qū)域2和4之間填充P列像素，對于亮度分量，P用圖11b)中區(qū)域3左側(cè)的P÷2列像素填充到圖7c)中填充區(qū)域左側(cè)的P÷2列像素，使用圖11b)中區(qū)域1上側(cè)的P÷2行像素順時(shí)針旋轉(zhuǎn)90°后填充到圖11c)中填充區(qū)域右側(cè)的P÷2列像素中(后面仍使用P來表示填充寬度)得到圖11c)中的平面。GB/T44115.2—2024a)圖11雙極方形映射示意圖某個(gè)面內(nèi)像素的局部坐標(biāo)記為(xLocal,yLocal),其在圖11c)平面視頻中的全局坐標(biāo)記為(x,y)。像素的局部坐標(biāo)(xLocal,yLocal)和全局坐標(biāo)(x,y)的對應(yīng)關(guān)系如表24所示。表24雙極方形投影雙極方形投影if(x<W÷6)//(x,y)處于第0個(gè)面xLocal=xelseif(W÷6<=x<W÷6×2)//(x,y)處于第1個(gè)面xLocal=x—W÷6elseif(W÷6×2<=x<W÷6×3)//(x,y)處于第2個(gè)面xLocal=x—W÷6×2elseif(W÷6×3+P<=x<W÷6×4+P)//(x,y)處于第4個(gè)面xLocal=W÷6—1-yyLocal=x—W÷6×3—Pelseif(W÷6×4+P<=x<W÷6×5+P)//(x,y)處于第3個(gè)面xLocal=yyLocal=W÷6×4+W÷6-1-x+Pelseif(W÷6×5+P<=x)//(x,y)處于第5個(gè)面xLocal=x—W÷6×5-P第0個(gè)面：0=π÷2×(xLocal+0.5)÷(W÷6)一πGB/T44115.2—2024表24雙極方形投影(續(xù))雙極方形投影φ=π÷4—π÷2×(yLocal+0.5)÷Hθ=π÷2×(xLocal+0.5)÷(W÷6)一π÷2第2個(gè)面：φ=π÷4—π÷2×(yLocal+0.5)÷H0=π÷2×(xLocal+0.5)÷(W÷6)第3個(gè)面：φ=π÷4—π÷2×(yLocal+0.5)÷Hθ=π÷2×(xLocal+0.5)÷(W÷6)十π÷2第4個(gè)面：m=max(abs(W÷6÷2—xLocal—0.5),abs(H÷2-yLocal—0.5))m2=(H-1)÷2—mif(yLocal>=xLocal&.&xLocal+yLocal<H)n=yLocal+0.5—m2elseif(yLocal>xLocal&.8.xLocal+yLocal>=H)n=2×m+xLocal+0.5—m2elseif(yLocal<=xLocal&.&.xLocal+yLocal>H)n=2×2×m+H-yLocal—0.5—m2elseif(yLocal<xLocal&.&.xLocal+yLocal<=H)n=3×2×m+H—xLocal—0.5—m2φ=π÷2—π÷4×m÷(H÷2)θ=n÷(4×2×m)×(π×2)一π第5個(gè)面：m=max(abs(W÷6÷2—xLocal—0.5),abs(H÷2-yLocal—0.5))m2=(H—1)÷2—mif(yLocal<=xLocal&.&.xLocal+yLocal<H)n=xLocal+0.5—m2elseif(yLocal<xLocal&.&.xLocal+yLocal>=H)n=2×m+yLocal+0.5—m2elseif(yLocal>=xLocal&.&.xLocal+yLocal>H)n=2×2×m+H—xLocal—0.5—m2elseif(yLocal>xLocal&.&.xLocal+yLocal<=H)n=3×2×m+H—yLocal—0.5—m2φ=π÷4×m÷(H÷2)—π÷2GB/T44115.2—2024當(dāng)3dofmodel的值為8時(shí)，全景視頻表示模型為正二十面體。位流表示的視頻是將一個(gè)完整的球面映射為正二十面體并將該正二十面體的20個(gè)面展開后重新排列得到的平面視頻。正二十面體共有12個(gè)頂點(diǎn)和20個(gè)正三角形面，表11定義了每個(gè)頂點(diǎn)的空間坐標(biāo)，表25定義了構(gòu)成每個(gè)面的3個(gè)頂表25正二十面體的頂點(diǎn)的定義頂點(diǎn)坐標(biāo)VOV1(0.525731112,0.850650807,1.618033988)V2(一0.525731112,—0.850650807,—1.618033988)V3V4(1.701301617,0.850650807,0)V5(1.376381921,一0.850650807,-1)V6(—1.376381921,0.850650807,1)V7(一1.701301617,一0.850650807,0)V8(0.525731112,0.850650807,-1.618033988)V9(—1.376381921,0.850650807,—1)V10(1.376381921,—0.850650807,1)V11(一0.525731112,—0.850650807,1.618033988)圖12二十面體空間示意圖正二十面體的面的定義見表26。正二十面體的面的空間坐標(biāo)系示意圖如圖13所示，對于每個(gè)正三角形面，將從空間坐標(biāo)系原點(diǎn)指向該正三角面的頂點(diǎn)A、B、C的三個(gè)矢量分別記為Va(va[0],va[1],va[2],)、V?(vb[0],vb[1],v?[2],)、V.(v.[0],v.[1],v.[2]),將包含該正三角形面的矩形的左上角的點(diǎn)為記為R(r[0],r[1],r[2]),則R的坐標(biāo)以及定義該正三角形面的兩個(gè)正交的基矢量B?=(b[0],b?[1],b?[2])、B?=(b?[0],b?[1],b?[2]),則B?,B?的坐標(biāo)由表27得到：GB/T44115.2—2024圖13正二十面體的面的空間坐標(biāo)系示意圖表26正二十面體的面的定義面面的頂點(diǎn)0123456789GB/T44115.2—2024表27正二十面體坐標(biāo)正二十面體坐標(biāo)r[1]=va[1]+(v.[1]-v.[1])÷2b?[1]=(v.[1]-v?[1])÷Sqrt((v.b?[2]=(ve[2]-vb[2])÷Sqrt((v.[圖14正二十面體的各個(gè)面的局部平面坐標(biāo)系示意圖如圖14所示，為每個(gè)正三角形面建立一個(gè)局部平面坐標(biāo)系，將R作為該坐標(biāo)系的原點(diǎn)，并將矢量B。和B?的方向作為坐標(biāo)系的x軸和y軸方向。對于正三角形面上的采樣點(diǎn)，記其在該局部平面坐標(biāo)系下的坐標(biāo)為(m,n