可伸縮視頻編碼的文件格式

1、可伸縮視頻編碼的文件格式摘要： 本文介紹可伸縮視頻編碼的文件格式。文件格式技術(shù)能夠迅速的提取可伸縮的數(shù)據(jù)，對應(yīng)于所需的操作點(diǎn)。對于文件讀者來說，它提供了有用的幫助而且該技術(shù)在對應(yīng)于不同的用途和應(yīng)用場景有很靈活的使用和組合方式。 索引詞文件存儲(chǔ)，元數(shù)據(jù)，可伸縮提取，可伸縮視頻編碼。1、 簡介 可伸縮視頻編碼（SVC）是一項(xiàng)在信號(hào)處理領(lǐng)域已經(jīng)有一段時(shí)間的技術(shù)。然而只是在最近，出現(xiàn)了一個(gè)簡單卻很有效的想法：在單一的分層流中提供數(shù)個(gè)性質(zhì)，這個(gè)想法已經(jīng)實(shí)現(xiàn)，作為草擬H.264、AVC標(biāo)準(zhǔn)的修訂。它主要利用眾所周知的想法（例如金字塔結(jié)構(gòu)預(yù)測MPEG2），并將它們于一些新技術(shù)相結(jié)合（例如剩余預(yù)測，關(guān)鍵圖片概

2、念和單回路解碼）實(shí)現(xiàn)在相對一般復(fù)雜條件下的高壓縮效率。接下來的這幾年將見證市場是否接受這項(xiàng)技術(shù)。 為了充分的開拓SVC新的特征，專用和專門的儲(chǔ)存格式就顯得尤為需要。本文就處理可伸縮視頻流SVC文件規(guī)范提供了具體的技術(shù)介紹。SVC和一般文件格式（ISO基本媒體文件格式）有一種更簡明的介紹，以此為基礎(chǔ)，并舉例進(jìn)行實(shí)例說明，該技術(shù)無論是SVC還是ISO基本文件格式都很靈活，可以合并用各種方式來使用。2、 可伸縮視頻編碼及應(yīng)用 A. SVC概述 ISO/IEC 14496-10:2005/AMD3 SVC標(biāo)準(zhǔn)現(xiàn)在規(guī)劃作為現(xiàn)有可擴(kuò)展伸縮H.264/AVC標(biāo)準(zhǔn)。SVC基礎(chǔ)層應(yīng)符合H.264/AVC標(biāo)準(zhǔn)，這

3、個(gè)要求必須存在。 SVC包含三個(gè)可擴(kuò)展性模式。時(shí)空的可擴(kuò)展性是通過分層結(jié)構(gòu)，例如使用B幀。如果最高時(shí)間層的幀被SVC流刪除，那么時(shí)間分辨率將減少（通常為兩倍）。對于空間的可擴(kuò)展性增強(qiáng)具有較高分辨率編碼層之上的H.264/AVC基礎(chǔ)層.層間預(yù)測（例如塊。執(zhí)行系數(shù)和運(yùn)動(dòng)信息）用以執(zhí)行層間冗余。保真度可擴(kuò)展性，也被稱為信噪比的可擴(kuò)展性以一個(gè)類似空間擴(kuò)展的方式實(shí)現(xiàn)，（編碼端取樣，解碼端采樣）只有更改基于像素值的省略及層間預(yù)測分辨率，而不是系數(shù)。 在這些所謂的可擴(kuò)展性的頂部，層和空間層媒介可擴(kuò)展層可以進(jìn)行編碼。對于這些添加計(jì)劃層，網(wǎng)絡(luò)抽象層以一組圖片為單元可以以率失真10%的最佳方式來實(shí)現(xiàn)更精確的步驟。

4、 對于空間和信噪比可擴(kuò)展性，需要層間預(yù)測結(jié)構(gòu)限制的方式，這樣才能在循環(huán)解碼器中只存在一個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測目標(biāo)層，從而來降低譯碼的復(fù)雜度。欲了解更多詳情，參照SVC標(biāo)準(zhǔn)4和5. 一般來說，一個(gè)可伸縮的比特流解碼部分可以用質(zhì)量下降，即降低時(shí)間分辨率，空間分辨率或視覺保真度。從一個(gè)優(yōu)質(zhì)的更新（在可伸縮方向之一）到下一個(gè)更高質(zhì)量的被看做是在數(shù)據(jù)立方體模型元素。我們呼吁所有的視頻編碼數(shù)據(jù)從一個(gè)包含更新信息的，特別是到下一個(gè)質(zhì)量品質(zhì)“屬于一個(gè)可伸縮性水平”對于可伸縮視頻，有時(shí)間，空間和信噪比水平三個(gè)方面。一個(gè)可擴(kuò)展性級(jí)別包括整整的一個(gè)質(zhì)量一步位，在步驟上市完全相同的一個(gè)方向。SVC的編碼器設(shè)計(jì)中采用了分層空間

5、來獲取可擴(kuò)展性和CGS，它顯示語法元素dependency-id。時(shí)空的可擴(kuò)展性是通過分層時(shí)間來組成的，每一個(gè)編碼層（由指定語法元素temporal-id）。一個(gè)特定的編碼層圖片可以細(xì)化為15個(gè)配對MGS（由語法quality-id元素表示），使信噪比具有可伸縮性。 編碼器可以選擇動(dòng)態(tài)的編碼層，從而來用于層間預(yù)測。宇空未使用的單位層間的任何預(yù)測就當(dāng)前一層，是可丟棄的。可丟棄NAL單元與NAL單元頭間有信號(hào)傳遞（見第二節(jié)-D）。 在每一個(gè)SVC NAL單元的NAL單元頭，SVC為信號(hào)可伸縮信息使用語法元素priority-id，dependency-id，temporal-id和quality-

6、id（或PDTQ）。一種H.264/AVC NAI單元前面有一個(gè)前綴NAL單元，它為H.264/AVC NAI單元提供信息。一般來說，priority-id可能根據(jù)其有效的提取路徑的要求，由一個(gè)應(yīng)用程序設(shè)置。位流可以由只選擇編碼數(shù)據(jù)來細(xì)化，從而滿足priority-id門檻。一維序列流操作點(diǎn)位由代表一個(gè)先后降低解壓路徑的閥值來代替。一個(gè)工作點(diǎn)表示一個(gè)特定的分辨率和質(zhì)量。每個(gè)工作點(diǎn)包含一個(gè)伸縮碼流，這個(gè)編碼流包括這些特殊的分辨率和質(zhì)量的需要解碼的數(shù)據(jù)。B、比特流表示 一個(gè)可擴(kuò)展的位流可以用兩種不同的方式來表示，作為一個(gè)分層表示（這里稱為分層可擴(kuò)展）或提供合并的可擴(kuò)展性（這里稱為完全可擴(kuò)展的）。在

7、一般情況下，可能會(huì)有更多的可擴(kuò)展性方向，例如，支持感興趣區(qū)域的（ROI）可擴(kuò)展性。 1）靈活組合可擴(kuò)展性：可擴(kuò)展位流可以組織支持完全可擴(kuò)展性。任何有效的子集可擴(kuò)展性水平（包括可擴(kuò)展性的基礎(chǔ)級(jí)別）可以提取出總比特流，并根據(jù)相應(yīng)質(zhì)量進(jìn)行解碼即任何支持與之相結(jié)合的分辨率（時(shí)間，空間或SNR）均可被提取。一個(gè) SVC基本流可以包含一個(gè)與H.264/AVC相適應(yīng)的編碼基礎(chǔ)層（底層可以看到dependency-id，圖2）。完全可伸縮流允許最高位的靈活性。SVC的基本流本身允許提取任何有效的子流。 為了執(zhí)行適應(yīng)操作，決定提取哪一個(gè)子集的可用數(shù)據(jù)（例如根據(jù)可用對位率），就需要附加信息。這種相適應(yīng)的決定的可能

8、，例如執(zhí)行基于位之間權(quán)衡的知識(shí)率和視覺保真度。如果在網(wǎng)絡(luò)節(jié)點(diǎn)上執(zhí)行這種可適應(yīng)操作，這個(gè)附加信息就必須與視頻數(shù)據(jù)一起傳輸。2） 分層可擴(kuò)展性：另外，一個(gè)位流能在分層中接受組織。層包含所有的可伸縮級(jí)別，將視頻一個(gè)質(zhì)量更新到下一個(gè)質(zhì)量級(jí)。A層必須至少在一個(gè)方向加強(qiáng)時(shí)間空間或SNR的質(zhì)量。通過丟棄不需要的質(zhì)量層次，一個(gè)分層代表提供了簡單的定義適應(yīng)操作。圖3顯示了可伸縮碼流組織的三個(gè)層次。該操作點(diǎn)的定義由一個(gè)程序、用戶或者服務(wù)所規(guī)定的要求作為先驗(yàn)根據(jù)。 為避免與SVC標(biāo)準(zhǔn)中的術(shù)語“層”相混淆，可擴(kuò)展性SVC文件格式層被定義為“等級(jí)”。 由于代表的SVC基本流中的位流完全可擴(kuò)展的代表性，代表一個(gè)分層映射可

9、能會(huì)執(zhí)行（例如：由流媒體服務(wù)器）。關(guān)于使用情況的不同，讀者可以選擇一個(gè)文件從一個(gè)所提供的陳述，并可能如分層，設(shè)置priority_id根據(jù)該層定義（圖4）。適應(yīng)決策（例如在適應(yīng)業(yè)務(wù)，網(wǎng)絡(luò)上的節(jié)點(diǎn)）可以根據(jù)標(biāo)量層的ID。C使用方法和應(yīng)用場景1） 直接文件訪問：有三種基本的訪問模式，訪問SVC文件：當(dāng)訪問時(shí)由AVC的文件閱讀器訪問，比特流細(xì)化，并存儲(chǔ)改文件，以執(zhí)行隨后的適應(yīng)性操作。事實(shí)上，SVC支持的H.264/AVC 標(biāo)準(zhǔn)的用法在基礎(chǔ)層所需的文件格式也需要同AVC兼容。當(dāng)查閱SVC文件時(shí)，一個(gè)AVC文件閱讀器必須能夠訪問并讀取H.264/AVC 的一個(gè)基礎(chǔ)層。因此，所有的AVC文件格式數(shù)據(jù)結(jié)構(gòu)用

10、來作為指定的AVC文件格式。讀者訪問文件時(shí)也許會(huì)執(zhí)行比特流細(xì)化，例如，只為一個(gè)給定的工作所需的數(shù)據(jù)點(diǎn)讀。當(dāng)訪問該文件時(shí)，文件格式提供數(shù)據(jù)用以支持高效的提取信息。在訪問一個(gè)有SVC功能的視頻播放文件來適應(yīng)比特流播放能力的時(shí)候，這就顯得有些必要了。此外，適應(yīng)性操作可能需要在網(wǎng)絡(luò)節(jié)點(diǎn)或是在網(wǎng)絡(luò)客戶端上進(jìn)行。該文件格式提供數(shù)據(jù)描述一個(gè)為此目的的經(jīng)營點(diǎn)的集合。該數(shù)據(jù)可以導(dǎo)出為媒體傳輸，例如，使用RTP負(fù)載格式的SVC14。2） 調(diào)試操作：適應(yīng)業(yè)務(wù)包括一個(gè)適應(yīng)的決定和行動(dòng)，拋棄不必要的細(xì)化數(shù)據(jù)。根據(jù)模式的可擴(kuò)展性，適應(yīng)決定，如可能的經(jīng)營點(diǎn)，使給定最好的目標(biāo)比特率的視覺質(zhì)量，這是一個(gè)復(fù)雜的工作。一個(gè)適應(yīng)框架

11、，包括必須提供的適應(yīng)決策規(guī)則11。完全可擴(kuò)展位流的適應(yīng)性決定需要更多的存儲(chǔ)在文件格式中，從視頻編碼數(shù)據(jù)中獨(dú)立出來的信息?？蓴U(kuò)展的碼流分層描述一組預(yù)定義的一維提取/適應(yīng)操作點(diǎn)的道路。在這里，適應(yīng)決定很簡單，可能被執(zhí)行很容易，例如，在一個(gè)簡單的（即，幾乎無狀態(tài)的）的網(wǎng)絡(luò)節(jié)點(diǎn)。在這種情況下，如對被層的信息，傳達(dá)語法元素priority_id規(guī)范中定義的SVC（見第二D）。3） 侵蝕存儲(chǔ)：監(jiān)測方案引入一個(gè)特殊的用例。監(jiān)控錄像資料通常被儲(chǔ)存在大型磁盤陣列和視頻流的質(zhì)量要非常高。然而，經(jīng)過一段時(shí)間（定義例如，通過）法律義務(wù)，質(zhì)量可能會(huì)降低，以自由存儲(chǔ)空間。此過程稱為“比特流疏“可重復(fù)，以進(jìn)一步降低，甚至對

12、使用的空間存儲(chǔ)系統(tǒng)。該應(yīng)用程序利用這種優(yōu)勢減少在這一步一步地被稱為視頻質(zhì)量侵蝕存儲(chǔ)。D.SVC 高級(jí)層語法 SVC高層次語法遵循相似的設(shè)計(jì)準(zhǔn)則，就像H.264/AVC的那些一樣。序列參數(shù)集（SPS）和圖像參數(shù)集（PPS），其中包含多個(gè)圖片的信息，通常傳播外的使用，以可靠的傳輸協(xié)議（例如TCP）的頻帶，以確保這些極為重要的件的信息可在解碼器中。 純視頻數(shù)據(jù)在NAL單元中傳輸。NAL單元SVC語法（見圖4）是對一個(gè)H.264/AVC 單元結(jié)構(gòu)的擴(kuò)展，其中主要包括例如SPS NAL單元與NAL單元字節(jié)。PPSNAL 單元和視頻編碼NAL單元包含視頻數(shù)據(jù)的不同種類（H.264/AVC 和SVCNAL單

13、元）作者主要是第一個(gè)字節(jié)的頭擴(kuò)展包含上述語法元素priority_id和也表明是否NAL單元屬于所謂的印尼盾（瞬時(shí)解碼刷新）接入單元（idr_flag）。該第二和第三個(gè)字節(jié)的可擴(kuò)展性的信息提供尺寸為代表的語法dependency_id元素，temporal_id和quality_id。此外，第二和第三NAL單元的擴(kuò)展提供信息頭字節(jié)如有關(guān)的可能性，放棄NAL單元的解碼具有較高dependency_id（discardable_flag）層，是否NAL單元編碼不使用層間預(yù)測（no_inter_layer_pred_flag）或者如果一個(gè)解碼基地圖片（即quality_id等于0）可以用于幀間預(yù)測（

14、use_ref_base_prediction_flag）。 這些圖片信息中的大多數(shù)，特別是可伸縮信息，也應(yīng)該可以在文件格式級(jí)上，這樣才能適應(yīng)決定。將在第四節(jié)描述為此目的設(shè)定的機(jī)制。 NAL單元的標(biāo)題是不容易的熵編碼，以確保從系統(tǒng)層的信息中訪問。它甚至用在傳輸層作為實(shí)時(shí)傳輸?shù)挠行лd荷頭協(xié)議（RTP）的有效載荷格式的H.264/AVC6，也適用于SVC的14，15。 進(jìn)一步的設(shè)計(jì)標(biāo)準(zhǔn)相對于H.264/AVC標(biāo)準(zhǔn)是落后的。對于一個(gè)傳統(tǒng)的H.264/AVC解碼器的SVC的NAL以NAL單元為單位，定期NAL單元類型和未知的NAL單元，因此，丟棄它們卻任然能夠?qū)A(chǔ)層進(jìn)行解碼。然而這些未知的NAL單元

15、可能會(huì)超過緩沖區(qū)大小所顯示的基本層剖面級(jí)別。3、 文件格式基本資訊回顧A. ISO基本媒體文件格式 在ISO/IEC的MPEG-4標(biāo)準(zhǔn)中，有幾個(gè)部分為基于時(shí)間的媒體存儲(chǔ)文件格式（例如音頻或視頻）下了定義。除了12條本身，它們都基于并且來自ISO基本媒體文件格式（ISO/符合IEC14496-12)6這是一個(gè)結(jié)構(gòu)性的并且這也是JPEG2000家庭標(biāo)準(zhǔn)中的一員。（作為ISO/IEC15444-12）. 文件結(jié)構(gòu)是面向?qū)ο蟮模茌p易的就能將一個(gè)文件分解成它的組成對象，并且從它們的類型和位置可以直接推出對象的結(jié)構(gòu)。為了便于檢查和編輯字符，該對象類型是32位值，一般選擇四個(gè)打印字符。 在ISO基本媒體文

16、件格式是為了遏制定時(shí)媒體信息簡報(bào)以靈活，可擴(kuò)展格式，這樣便于交流管理編輯和介紹媒體。本文可能是“本地”，以該系統(tǒng)包含演示文稿，或可通過訪問網(wǎng)絡(luò)或其他流傳輸機(jī)制。 這些文件有一個(gè)邏輯結(jié)構(gòu)，時(shí)間結(jié)構(gòu)和物理結(jié)構(gòu)，這些結(jié)構(gòu)是不須耦合。該文件的邏輯結(jié)構(gòu)是一個(gè)“電影“，這又包含了時(shí)間的平行軌道集。時(shí)間結(jié)構(gòu)該文件是由代表曲目包含序列在時(shí)間樣本，這些序列被映射到電影的整體時(shí)間表，可選購編輯名單。物理分開的文件的邏輯結(jié)構(gòu)所需要的數(shù)據(jù)，時(shí)間和結(jié)構(gòu)去組成，從媒體的數(shù)據(jù)樣本自己。這是代表的結(jié)構(gòu)信息軌道記錄的邏輯和時(shí)序關(guān)系的樣品，并載在何處，他們的位置。這些指針可能會(huì)引用媒體數(shù)據(jù)在同一文件或在一個(gè)又一個(gè)，由一個(gè)URL引

17、用。 每個(gè)媒體流載于該專門軌道的媒體類型（音頻，視頻等），并進(jìn)一步將一個(gè)范例項(xiàng)目參數(shù)化。該實(shí)例項(xiàng)目包含了確切媒體類型的“名”（即解碼所需的解碼器類型流），以及任何需要該解碼器的參數(shù)化。這個(gè)名字也需要一個(gè)四字符代碼形式。定義格式輸入樣本不僅對MPEG-4媒體，同時(shí)也為其他組織的媒體使用該文件類型提供條件。 最后追蹤可能形成相互替代，例如，二音軌含有不同的語言。這些曲目選擇具有相同非零備用組號(hào)作為它們的頭。讀者應(yīng)該會(huì)發(fā)現(xiàn)這一點(diǎn)，然后做出適當(dāng)?shù)倪x擇，到底使用那一種。這種可選的元數(shù)據(jù)可以追蹤接著來標(biāo)記“有趣的特性”，就其值可能不同于其他成員組（例如，它的比特率，屏幕大小，或者是語言）。 在一種追蹤中的

18、一些樣品有一定的特殊性或者需要被逐一查明。其中一項(xiàng)最常見最重要的特征是同步點(diǎn)（通常是視頻I幀）。 每條音軌中，這些點(diǎn)被一個(gè)特殊的表確定下來。更普遍的情況是，自然之間的依存追蹤樣本也被記錄下來。最后還有一個(gè)概念的命名，參數(shù)樣本群體。這些允許任何特征的文檔，在一個(gè)追蹤樣本中都是被認(rèn)同的。在SVC文件格式中，采樣組常常一個(gè)確定的NAL單元結(jié)構(gòu)來描述采樣。 所有文件都以一個(gè)文件類型框開頭（也可能在一個(gè)框簽字結(jié)構(gòu)后），它定義了怎樣最好的使用文件，和文件規(guī)定的規(guī)格。這些記錄作為“品牌”。在這些框里出現(xiàn)的品牌表明索賠和權(quán)限，一個(gè)作家的文件，該文件要求符合規(guī)范，并為讀者權(quán)限，可能只執(zhí)行該規(guī)范，閱讀和解釋該文件

19、。 “電影”框中包含著“追蹤”框集。每首曲目框包含一個(gè)流。1）它的時(shí)序信息（解碼和組成時(shí)間表）；2）該材料（視頻/音頻等）的性質(zhì)，編碼標(biāo)準(zhǔn)的使用（H.264/AVC標(biāo)準(zhǔn)，無功補(bǔ)償?shù)龋?，可視寬?高度資料等，以及該初始化信息編碼標(biāo)準(zhǔn)（范例項(xiàng)目表）；3）信息編碼數(shù)據(jù)在哪里可以找到，其大小等（樣本大小和塊偏移表）。 當(dāng)媒體通過流協(xié)議傳輸時(shí)，就通常以其在文件中的表示方式中轉(zhuǎn)型。在這方面最明顯的例子就是，在實(shí)時(shí)傳輸協(xié)議中媒體的傳播（RTP）。在文件中，例如，每個(gè)視頻幀被連續(xù)的存儲(chǔ)，作為文件格式樣本。在RTP中，打包特定規(guī)則用于視頻編碼標(biāo)準(zhǔn)，使用時(shí)必須服從放置這些幀的RTP包。 流媒體服務(wù)器可以在運(yùn)行時(shí)計(jì)算這些打包如果需要的話。然而，有流媒體的援助服務(wù)器。特別軌道稱為提示軌道，它含有一般流媒體是如何形成的數(shù)據(jù)包流服務(wù)器的說明從媒體軌道一個(gè)特定的協(xié)議，可能是放置在文件中。由于這些指令的形式是媒體獨(dú)立，服務(wù)器沒有進(jìn)