可伸縮視頻編碼技術(shù)研究

1、26可伸縮視頻編碼中時間維分級編碼技術(shù)的研究學(xué)號：091307100 姓名： 研究生 指導(dǎo)教師： 博士 第一章 緒 論1.1 研究背景及意義 伴隨著因特網(wǎng)和多媒體通信技術(shù)的飛速發(fā)展，單純的的文本和圖像信息已經(jīng)不能滿足人們的需要，取而代之的是將數(shù)據(jù)、文字、聲音、音樂、動畫、視頻、圖像等融合于一體，并通過計算機進行數(shù)字化處理、傳輸與顯示多種媒體信息技術(shù)來實現(xiàn)。由于網(wǎng)絡(luò)服務(wù)器中的視頻媒體信息越來越豐富，因此促進了視頻流傳輸技術(shù)的應(yīng)用。同時伴隨著移動通信和無線網(wǎng)絡(luò)的迅猛發(fā)展，如3G 、WIMAX、LTE（長期演進，即3.9G無線通信標(biāo)準(zhǔn)）、4G等新的技術(shù)應(yīng)用之后，無線網(wǎng)絡(luò)為視頻應(yīng)用和信息的交互提供了新

2、的場景和可能。通過這些應(yīng)用，人們可以使用移動設(shè)備直接瀏覽最新視頻，查詢和檢索資料，撥打可視電話，甚至進行遠(yuǎn)程的視頻會議等等?？傊?，隨著多媒體通信技術(shù)的發(fā)展，視頻應(yīng)用的領(lǐng)域越來越廣泛。然而，Internet是一個異構(gòu)性網(wǎng)絡(luò),對于視頻服務(wù)而言,它體現(xiàn)在網(wǎng)絡(luò)中通信網(wǎng)絡(luò)的異構(gòu)性和接收方的異構(gòu)性。由于各子網(wǎng)的網(wǎng)絡(luò)資源(如處理能力、傳輸帶寬、存儲能力等)分布不均勻,以及服務(wù)器的傳輸吞吐量、延時、丟包率等各不相同,從而造成了通訊子網(wǎng)的異構(gòu)性。而接收方的異構(gòu)性則體現(xiàn)在用戶不同的使用偏好,以及接收和播放設(shè)備的不同的分辨率和處理器的能力上。網(wǎng)絡(luò)終端的異構(gòu)性造成了視頻形式的多樣性。因此用戶可能通過高速的以太網(wǎng)(Et

3、hernet)，WIMAX、LTE等服務(wù)的接入，也可能通過中等速度的調(diào)制解調(diào)器獲取視頻（如個域網(wǎng)，WIFI），還有一些用戶通過低速的無線網(wǎng)絡(luò)(如3G，EDGE,GPRS)進行視頻傳輸。這些眾多因素導(dǎo)致用戶通過不同的網(wǎng)絡(luò)所能得到的帶寬不盡相同，甚至同一個用戶所能得到的帶寬也因時而變（它可能會受到多徑衰落和快衰落等影響）。因此恒定速率的視頻流難以在帶寬波動比較大的網(wǎng)絡(luò)環(huán)境下進行高效傳輸，網(wǎng)絡(luò)終端視頻的重構(gòu)質(zhì)量也就受到了一些影響。網(wǎng)絡(luò)的異構(gòu)性、信道帶寬的波動和信道的誤碼等因素的存在，使得原來面向存儲的壓縮算法已經(jīng)很難滿足實時傳輸?shù)囊?。因此可伸縮視頻編碼方案成為了人們關(guān)注的焦點，并且占有越來越重要地

4、位。其核心問題之一就是如何讓視頻編碼器提供既有高壓縮率,又有良好的容錯性和可伸縮性的視頻碼流,以適應(yīng)不同的網(wǎng)絡(luò)環(huán)境和用戶終端的需求，如圖1-1所示。目前,解決這一問題的較好方法就是可伸縮視頻編碼(Scalable Video Coding,SVC)。 視頻 圖1_2 網(wǎng)絡(luò)的異構(gòu)性及終端的異構(gòu)性信道異構(gòu)性 終端異構(gòu)性圖1-1 視頻傳輸?shù)漠悩?gòu)性可伸縮視頻編碼（Scalable Video Coding, SVC）技術(shù)就是首先把視頻信號編碼成分層的形式，即一個基本層和多個增強層。當(dāng)帶寬不足時，只對基本層的碼流進行傳輸和解碼，因此這時解碼的視頻質(zhì)量不高；當(dāng)傳輸帶寬變大和信噪比提高時，就可以對增強層的碼

5、流來進行傳輸和解碼，以此來提高視頻的解碼質(zhì)量。顯然，可伸縮視頻編碼主要體現(xiàn)在碼率的控制上。而視頻數(shù)據(jù)的分層編碼和選擇性傳輸是實現(xiàn)可伸縮的主要手段。 所謂分層編碼，就是在時間、空間、質(zhì)量或者頻率上進行分層，即一個基本層和多個增強層。其中基本層的數(shù)據(jù)可以解碼恢復(fù)出視頻的基本內(nèi)容。盡管此時的視頻圖像可能幀率較低、分辨率較低、質(zhì)量較低，但是這卻是一種很實用的和有效的方案，因為當(dāng)信道帶寬受限或信道環(huán)境復(fù)雜時，低幀率傳輸可以保證解碼端能夠接收到可以觀看的視頻圖像。當(dāng)信道帶寬足夠或信道SNR(信噪比)較大時,我們可以一次傳輸多個增強層數(shù)據(jù)流，以此來提高幀率、分辨率、視頻質(zhì)量。對于增強層，我們知道，它是由多層

6、編碼組成的，我們可以通過改變其層的多少，來改善傳輸?shù)囊曨l的質(zhì)量。對于原來的視頻編碼標(biāo)準(zhǔn)，一次編碼后視頻碼流就固定了，無法適應(yīng)終端的異構(gòu)性；而可伸縮視頻編碼則有效的解決了編碼標(biāo)準(zhǔn)輸出碼流的不靈活性，一次編碼，可以適應(yīng)多種不同信道和終端,如圖1-2。其碼流具有良好的適應(yīng)性、魯棒性及容錯性,并可以根據(jù)不同的網(wǎng)絡(luò)和用戶的需求在任意點截斷。 視頻流 不同幀率 不同尺寸 一次 可伸縮視頻編碼 不同質(zhì)量圖1-2 可伸縮視頻編碼示意圖1.2國內(nèi)外的研究現(xiàn)狀 可伸縮視頻編碼由于可以解決視頻應(yīng)用中面向傳輸?shù)倪@一難題，引起了國內(nèi)外眾多學(xué)者的研究與探討。 現(xiàn)有的可伸縮視頻編碼方案一般認(rèn)為有以下兩種：第一種是在可伸縮視

7、頻編碼標(biāo)準(zhǔn)的基礎(chǔ)上，實現(xiàn)分級碼流的可伸縮。如圖1-3所示的時間維可伸縮性視頻編碼方案；另外一種是基于三維小波變換的可伸縮視頻編碼方案，如圖 1-4所示。 輸出碼流基本層編碼 運動補償 幀內(nèi)預(yù)測C 復(fù) 用 器時間維的上采樣時間維抽取c基本層編碼 運動補償 幀內(nèi)預(yù)測圖1-3 時間維可伸縮編碼方案輸出碼流輸入視頻三維小波分解分解子帶數(shù)據(jù)編碼可伸縮視 頻 碼 流運動估計運動信息編碼 圖 1-4 基于三維小波變換的可伸縮視頻編碼1.3 論文章節(jié)安排本文共分為五章，具體安排如下：第1章 為全文的總述，大致介紹了可伸縮視頻編碼的研究背景及其意義以及對國內(nèi)外的研究現(xiàn)狀分析。第2章 主要講述了時間維可伸縮編碼方

8、案以及兩種主流的編碼技術(shù)，即運動補償時域濾波和等級B幀預(yù)測。然后對這兩種技術(shù)進行了詳細(xì)的說明，并給出了編碼技術(shù)的框圖。第3章 主要講述了MCTF(運動補償時域濾波)的算法設(shè)計以及程序的實現(xiàn)，最后通過C語言編寫實現(xiàn)了Haar小波的五級提升。在本章節(jié)中，重點講述了如何實現(xiàn)視頻的低頻和高頻的分離，從而可以實現(xiàn)單獨地對低頻和改頻進行處理。第4章 為軟件的仿真，通過改變丟棄的層數(shù)進行對比和分析視頻幀，最后證明了Haar小波技術(shù)確實可以實現(xiàn)時間維的可伸縮性。 第五章對全文進行了總結(jié)，并對進一步的工作進行了展望。第2章 時間維可伸縮視頻序列是由一系列連續(xù)的的圖像組成的，并且?guī)试礁撸疵棵氚膱D像幀數(shù)越多，

9、視頻流給人的感覺就越流暢，視覺效果也就越好。例如，每秒30幀，每秒15幀以及每秒7.5幀的視頻對比,如圖2-1所示。時間維可伸縮是指視頻碼流在時間維度可以分為一個基本層和多個增強層，不同的時間維層次對應(yīng)不同的視頻幀速率，獲取的時間維層次越多，則解碼得到的視頻幀速率越高，同時付出的代價也越大。但是，通過時間維的可伸縮方式，可以滿足不同終端對視頻幀速率的要求，并且，對于不同的用戶，對視頻序列的幀率也會有不同的要求。時域可伸縮性就是為了滿足對視頻序列顯示幀率的不同需求而提供的一種擴展方式。 每秒30幀 每秒15幀 每秒7.5幀圖2-1 不同幀率的視頻對比目前實現(xiàn)時間維可伸縮的技術(shù)主要有運動補償時域濾

10、波(Motion Compensating Temporal Filter,MCTF)技術(shù)和等級B幀預(yù)測技術(shù)。2.1 MCTF基于運動補償時域濾波(Motion Compensated Temporal Filtering ,MCTF)的可伸縮視頻編碼方案因為能有效的消除視頻序列的幀間相關(guān)性，并且提供靈活的時域可伸縮性，因此成為了當(dāng)前的主流的時間維可伸縮技術(shù)的研究重點。MCTF 其關(guān)鍵思想在于將一組圖像中連續(xù)的各幀看成一個三維信號，除了空間上的 x 軸和 y 軸之外，增加了一個時間 t 軸。通過時間軸上的濾波去除視頻序列時間軸上的相關(guān)性，即消除了各視頻幀之間的冗余性，提高了壓縮效率。MCTF

11、的思想首先由 Ohm 提出,并由 Choi 和 Woods 等人逐步進行了改進。運動補償時域濾波是指在時間維度對視頻序列進行基于小波的提升，在提升的過程中，考慮到視頻序列運動的連續(xù)性和相關(guān)性，因此加入運動估計過程，以提高視頻的壓縮效率。通過小波提升過程最終生成一個低頻子帶（基本層）和多個高頻子帶（增強層）的過程。低頻子帶代表了當(dāng)前視頻序列的低頻部分，高頻子帶則代表了當(dāng)前視頻序列的高頻部分，即不同視頻幀之間的差值。低頻子帶作為時間維的基本層，而高頻子帶則對應(yīng)于各個層次的增強層。MCTF 對若干連續(xù)的視頻幀組成的圖像組( Group of Pictures , GOP) 進行時域分解形成時域小波樹

12、,這種在運動方向上進行的時域濾波是一個開環(huán)過程,濾波后的時域相關(guān)信號再進行空域變換和嵌入式編碼，最后形成滿足網(wǎng)絡(luò)特性的具有可伸縮性的碼流。在當(dāng)前的可伸縮視頻編碼研究中,MCTF 都是基于小波提升方法來實現(xiàn)的。MCTF的實現(xiàn)方法由基于 Haar 小波的提升算法發(fā)展為基于 5/3 小波和 9/7 小波的提升算法。采用 Haar 小波時預(yù)測操作就是傳統(tǒng)意義上的單向預(yù)測，而采用5/3 小波時預(yù)測操作就是傳統(tǒng)意義上的雙向操作。當(dāng)圖像內(nèi)容比較連貫一致時，采用拍數(shù)更長的 5/3小波就能夠更好地利用圖像間的相關(guān)性，能夠獲得更大的編碼性能，而當(dāng)圖像中的場景發(fā)生變化時，采用單向的 Haar 小波就更為有利。此處以

13、基于Haar小波的提升過程為例對MCTF過程進行介紹。圖2-2以一個包含8幀圖像的圖像組(GOP)為例，進行三級小波提升，最后生成的8個小波子帶，即LLL0、LLH0、LH0、LH1、H0、H1、H2、H3，其中LLL0子帶是低頻子帶，對應(yīng)于基本層，而LLH0、LH0、LH1、H0、H1、H2、H3為高頻子帶，對應(yīng)于增強層，其中LLH0對應(yīng)于第一增強層，LH0、LH1對應(yīng)于第二增強層，H0、H1、H2、H3對應(yīng)于第三增強層。這樣分組的好處是簡單明了，易于實現(xiàn)，計算效率高。壞處是幀之間的相關(guān)性不強，重構(gòu)信號的時候連續(xù)性會降低，出現(xiàn)塊效應(yīng)和邊緣效應(yīng)的概率變大。幀0幀1幀2幀3幀4幀5幀6幀7H 0

14、L 0H 1L 1H 2L 2H 3L 3LH0 0000000LL0 0000000LH 1LL1LLH0LLL0圖2-2 基于三級哈爾小波的提升過程2.2 等級B幀預(yù)測等級B幀預(yù)測結(jié)構(gòu)是指SVC中典型金字塔式可分級B幀預(yù)測結(jié)構(gòu)。盡管這種結(jié)構(gòu)在SVC里面有非常好的特性，并且這種結(jié)構(gòu)已經(jīng)兼容到 H.264/SVC相應(yīng)的JSVM軟件模型中，遺憾的是在JSVM中只是對傳統(tǒng)的編碼結(jié)構(gòu)IPPP/IBP/IBBP 進行了一定的碼率控制，卻沒有對等級B幀這種預(yù)測結(jié)構(gòu)進行很好的碼率控制。在JSVM中，等級B幀的量化參數(shù)只是根據(jù)前面幀的量化參數(shù)進行簡單加減，卻不能根據(jù)不同時間層上的視頻幀的不同特性計算其目標(biāo)比

15、特數(shù)和量化參數(shù)來達(dá)到精準(zhǔn)的碼率控制。如圖2-3，SVC 中典型金字塔式的等級B幀預(yù)測結(jié)構(gòu)。等級B幀預(yù)測技術(shù)通過限制運動補償過程中參考幀的選取來實現(xiàn)視頻序列在時間維的分級特性。在等級B幀技術(shù)中，進行運動補償過程只能選取時間維層次的小于或等于當(dāng)前幀的視頻幀作為參考幀，這樣可以使預(yù)測幀對參考幀有依賴性，而參考幀對預(yù)測幀沒有依賴關(guān)系，因此可以重建出相應(yīng)幀率的視頻，實現(xiàn)時間維的可分級特性。圖2_3 金字塔式等級B幀預(yù)測圖 典型的等級B幀預(yù)測過程如圖2-4所示，圖中三種預(yù)測結(jié)構(gòu)因為預(yù)測順序的不同，因而具有不同的時延和編碼效率：圖（A）和圖（C）用將來的視頻幀做為參考幀，因而視頻解碼時具有一定的時延，但是預(yù)

16、測幀和參考幀之間的相關(guān)性較好，因而編碼效率較高；而圖（B）中，沒有用到將來的視頻幀做為參考幀，因而沒有時延，但是預(yù)測幀和參考幀之間的相關(guān)性相對較小，因而編碼效率相對較低。在圖2-4(A)中，第0、8、16幀屬于T0層，第4、12幀屬于T1層，第2、6、10、14幀屬于T2層，第1、3、5、7、9、11、13、15幀屬于T3層。此時較高層次的T3層解碼依賴于較低層次的T2、T1、T0層，而較低層次的T0層解碼則無需依賴高層次的T1、T2、T3層，通過這種預(yù)測關(guān)系的分級來實現(xiàn)時間維視頻幀的分級特性。圖中均以圖像組GOP為編碼單元，實現(xiàn)時間可伸縮性編碼的分級預(yù)測。每個圖下面的數(shù)據(jù)顯示了編解碼順序，T

17、k則代表了時間等級，其中k對應(yīng)著時間標(biāo)識符。 如果某一幀圖像前的所有被編碼圖像在顯示順序上都先于這幀圖像，那么我們就稱這幀圖像就叫關(guān)鍵幀。如圖（A）中，第0、8和16幀就是關(guān)鍵幀。某一個關(guān)鍵幀圖像和位于其前面的最近一個關(guān)鍵幀之間的所有圖像，合起來組成一個圖像組(GOP)。視頻序列給每幀視頻圖像都分配一個時間等級，然后按照預(yù)先制定的規(guī)則，逐步丟棄對視頻譯碼幾乎沒有影響的時間等級幀。通過丟棄不同數(shù)目的時間等級的幀，可以實現(xiàn)不同等級的時間維可伸縮。若某視頻碼流支持時間上的可伸縮性，則該碼流必能分割為時間上不同層次的子碼流。假設(shè)不同數(shù)據(jù)的時間等級由時間層標(biāo)識符T表示，最基本的時間等級T=0，而其他時間

18、層的時間等級則依次遞增。當(dāng)解碼端需要某個時間層k（k為自然數(shù)）的數(shù)據(jù)時，那些時間層標(biāo)識符T>k的所有數(shù)據(jù)將被丟棄。這樣，通過時間層標(biāo)識符的應(yīng)用，就可以實現(xiàn)時間可伸縮性。圖2-4 等級B幀預(yù)測體系對于聯(lián)合編碼模式，時間可伸縮性編碼通過限制運動補償預(yù)測的參考幀的選取來實現(xiàn)，即只能選取小于或等于當(dāng)前視頻幀作為參考幀。SVC的等級B幀與傳統(tǒng)幀不太一樣，傳統(tǒng)幀為后向預(yù)測，而它為雙向預(yù)測幀，并且，等級B幀可以作為后續(xù)的B幀的參考幀。為了保證高時間層幀的丟棄不會影響低時間層幀的解碼，因此SVC只允許選取大于或等于它的時間層的數(shù)據(jù)作參考幀。編碼的順序也是按照時間層標(biāo)識符從低到高的順序編碼，這樣就保證了當(dāng)

19、時間層較高的數(shù)據(jù)被丟棄后，時間層較低的數(shù)據(jù)仍然得以保留，不會出現(xiàn)參考幀被丟棄的現(xiàn)象，從而保證了時間層較低的數(shù)據(jù)的解碼的正確性。第三章 MCTF算法的設(shè)計及實現(xiàn)3.1 MCTF算法設(shè)計 運動補償時域濾波包括三個基本的過程，即相位分解、預(yù)測、更新。它的框架結(jié)構(gòu)如圖3-1所示：Hk-2K+1幀視頻S視頻S預(yù)測更新Lk預(yù)測更新2 K幀圖3-1 MCTF的結(jié)構(gòu)框架MCTF的功能可以分為三步：第一步為時間維的分解，即把視頻流分成幀格式，先將輸入信號 Sk 在時間域上分解為奇采樣值n和偶采樣值n；第二步為預(yù)測編碼，偶采樣值n經(jīng)過預(yù)測模塊后，作為奇采樣值n的預(yù)測值，得到的預(yù)測殘差是高通信號n；最后一步為更新預(yù)

20、測值，將預(yù)測殘差n經(jīng)過更新模塊作用后加到偶數(shù)采樣值n上，得到低通信號。由于預(yù)測和更新是可逆的，所以S k可以由n和完全重構(gòu),即恢復(fù)出了原來的視頻流。 令n 表示從第i幀到第j幀做運動估計得到的運動矢量，則對于第i幀的位置n，第j幀對應(yīng)的匹配位置為n+n。當(dāng)i<j時，n為前向運動矢量；當(dāng)i>j時，n為后向運動矢量。 因此基于Haar小波的提升公式為： (3-1) (3-2) 其中，Sn為原始視頻，為高通視頻，為低通視頻。 Haar小波的主要重構(gòu)公式為： (3-3） (3-4)根據(jù)公式(3-1)和(3-2)，即可獲取視頻幀中的低頻部分和高頻部分，低頻對應(yīng)于視頻中的基本層，高頻則相對于視

21、頻中的增強層。基本層是在視頻可伸縮處理中必須保留的關(guān)鍵幀，通過改變高頻幀的多少可以改變視頻的清晰度，保留的高頻幀越多，還原出來的視頻和原始視頻越相似，清晰度越高，否則，還原出來的視頻流越模糊。視頻公式(3-3)和(3-4)為視頻的重組，通過此公式可以對得到的低頻和高頻幀進行重組，得到奇數(shù)幀和偶數(shù)幀，進而可以還原出原始視頻序列。3.2 程序設(shè)計流程由MCTF的算法設(shè)計的討論以及分析，可以設(shè)計圖3-2程序流程： 開 始打開文件失敗打開文件讀取GOP中一幅幀 處理一幅 GOP獲取低頻幀 和 高 頻 幀 解 碼 失 敗寫入文件 結(jié) 束圖3-2 MCTF的程序設(shè)計流程3.3 核心代碼簡介 下面是對設(shè)計程

22、序中的一些核心代碼的簡要分析，在本章節(jié)中主要是如何實現(xiàn)低頻和高頻幀的分離。 首先，初始化文件指針為NULL，防止在操作中出現(xiàn)一些隨機錯誤。FILE *p_in = NULL ;FILE *p_out = NULL;FILE *text = NULL;然后進行文件以二進制寫入測試，如果寫入失敗，輸出文件不存在，然后程序正常退出。 if (p_in=fopen("crew.yuv","rb")=NULL) printf( "Input file %s does not existn","crew.yuv"); exit

23、(1); if (p_out=fopen("crew_left.yuv","wb")=NULL) printf( "can't creat file %s","crew_left.yuv"); exit(1);主函數(shù)： int main(void) for(i=0;i<GOPNUM;i+) prosessOneGOP()； printf("完成第 %d 個GOP的處理,所使用的時間:%lf seconds.nn",i+1, cost); total_cost += cost; pr

24、intf("總共耗時：%.4f secondsn",total_cost); printf("程序運行結(jié)束！n"); return 0;獲取視頻中的低頻和高頻幀：void getLH(int src,double*sy,double*su,double*sv,double*py,double*pu,double*pv) unsigned char bitvecUVLENGTH/2WIDTH/2;for (y=0; y<LENGTH; y+) for (x=0; x<WIDTH; x+) bitvecYyx=0; for(a=0;a<MA

25、XSIZE/(BLOCKTYPE*BLOCKTYPE);a+) /獲得高頻子帶 pic_xref=pic_x+MVXsrc-1a; pic_yref=pic_y+MVYsrc-1a; for(j=0;j<BLOCKTYPE;j+) for(i=0;i<BLOCKTYPE;i+) *(sy+(pic_y+j)*WIDTH+pic_x+i)=(*(sy+(pic_y+j)*WIDTH+pic_x+i)-*(py+(pic_yref+j)*WIDTH+pic_xref+i)/2; pic_xuvref=pic_uvx+(MVXsrc-1a)/2; pic_yuvref=pic_uvy+(

26、MVYsrc-1a)/2; for(j=0;j<(BLOCKTYPE/2);j+) for(i=0;i<(BLOCKTYPE/2);i+) *(su+(pic_uvy+j)*WIDTH/2+pic_uvx+i)=(*(su+(pic_uvy+j)*WIDTH/2+pic_uvx+i)-*(pu+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)/2; *(sv+(pic_uvy+j)*WIDTH/2+pic_uvx+i)=(*(sv+(pic_uvy+j)*WIDTH/2+pic_uvx+i)-*(pv+(pic_yuvref+j)*WIDTH/2+pic_x

27、uvref+i)/2;/參考中心更新 pic_x+=BLOCKTYPE; if(a+1)*BLOCKTYPE)%WIDTH=0)pic_x=0; pic_y+=BLOCKTYPE;pic_uvx+=BLOCKTYPE/2;if(a+1)*BLOCKTYPE)%WIDTH=0)pic_uvx=0; pic_uvy+=BLOCKTYPE/2; pic_x=0; pic_y=0; pic_xref=0; pic_yref=0; pic_xuvref=0; pic_yuvref=0; pic_uvx=0; pic_uvy=0;for (y=0; y<(LENGTH/2); y+) for (x=

28、0; x<(WIDTH/2); x+) bitvecUVyx=0; /獲得低頻子帶 for(a=0;a<MAXSIZE/(BLOCKTYPE*BLOCKTYPE);a+) pic_xref=pic_x+MVXsrc-1a; pic_yref=pic_y+MVYsrc-1a; for(j=0;j<BLOCKTYPE;j+) for(i=0;i<BLOCKTYPE;i+) /bitvecYpic_yref+jpic_xref+i用來作為標(biāo)志位if(bitvecYpic_yref+jpic_xref+i=0) *(py+(pic_yref+j)*WIDTH+pic_xref+

29、i)=*(py+(pic_yref+j)*WIDTH+pic_xref+i)+*(sy+(pic_y+j)*WIDTH+pic_x+i); bitvecYpic_yref+jpic_xref+i=1; pic_xuvref=pic_uvx+(MVXsrc-1a)/2; pic_yuvref=pic_uvy+(MVYsrc-1a)/2; for(j=0;j<(BLOCKTYPE/2);j+) for(i=0;i<(BLOCKTYPE/2);i+) if(bitvecUVpic_yuvref+jpic_xuvref+i=0) *(pu+(pic_yuvref+j)*WIDTH/2+pi

30、c_xuvref+i)=*(pu+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)+*(su+(pic_uvy+j)*WIDTH/2+pic_uvx+i); *(pv+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)=*(pv+(pic_yuvref+j)*WIDTH/2+pic_xuvref+i)+*(sv+(pic_uvy+j)*WIDTH/2+pic_uvx+i); bitvecUVpic_yuvref+jpic_xuvref+i=1; /參考中心更新 pic_x+=BLOCKTYPE; if(a+1)*BLOCKTYPE)%WIDTH=0

31、)pic_x=0; pic_y+=BLOCKTYPE;pic_uvx+=BLOCKTYPE/2;if(a+1)*BLOCKTYPE)%WIDTH=0)pic_uvx=0; pic_uvy+=BLOCKTYPE/2; 低頻和高頻幀的獲取是本章節(jié)主要內(nèi)容，也是運動補償時域濾波的關(guān)鍵技術(shù)之一。通過C語言編程，實現(xiàn)了視頻流低頻和高頻幀分離。 第四章 仿真結(jié)果及分析由第三章實現(xiàn)低頻和高頻幀的分離以及第二章中哈爾小波的提升過程圖2-2，我們得知，在五級哈爾小波的提升時，第一次提升可以分離出8個低頻和8個高頻，第二次提升從8個低頻幀中再次分離出4個低頻和4個高頻幀，第三次提升可以從4個低頻幀中再次分離出2個

32、低頻和2個高頻幀，以此類推，最終我們可以得到15個高頻和1個低頻幀，這個低頻幀就是我們說的關(guān)鍵幀。通過改變丟棄的層數(shù)，我們可以實現(xiàn)視頻的時間維可伸縮，由于第一次提升之后有8幀高頻，第二次提升之后有12（8+4=12）幀高頻，第三次提升之后有14(8+4+2=14)幀高頻，第四次提升之后有15幀高頻,下面將分別丟棄8幀，12幀，14幀，15幀高頻幀進行分析和對比驗證。4.1軟件仿真 下面將對crew.yuv和flower.yuv分別進行五級哈爾小波提升。首先根據(jù)第三章程序?qū)υ家曨lcrew.yuv、flower.yuv進行處理，依次選擇丟棄8個、12個、14個、15個高頻子帶，然后對應(yīng)丟棄不同的

33、高頻子帶即可重構(gòu)出不同的crew_lift.yuv、flower_lift.yuv。最后通過原始視頻與重構(gòu)的視頻進行清晰度對比。4.1.1 crew.yuv的仿真(1)原始視頻和丟棄8個高頻子帶后重建的視頻對比，如圖4-1 原 始 圖 像 丟棄8個高頻子帶之后重構(gòu)的圖像 圖4-1 丟棄8個高頻子帶前后前后視頻圖像對比（2) 原始視頻和丟棄12個高頻子帶后重建的視頻對比，如圖4-2： 原 始 圖 像 丟棄12個高頻子帶之后重構(gòu)的圖像 圖4-2 丟棄12個高頻子帶前后前后視頻圖像對比（3) 原始視頻和丟棄14個高頻子帶后重建的視頻對比，如圖4-3： 原 始 圖 像 丟棄14個高頻子帶之后重構(gòu)的圖像

34、 圖4_3 丟棄14個高頻子帶前后前后視頻圖像對比（4) 原始視頻和丟棄15個高頻子帶后重建的視頻對比，如圖4-4： 原始圖像 丟棄15個高頻子帶之后重構(gòu)的圖像 圖4-4 丟棄15個高頻子帶前后前后視頻圖像對比 4.1.2 flower.yuv的仿真（1）原始視頻和丟棄8個高頻子帶后重建的視頻對比，如圖4-5： 原 始 圖 像 丟棄8個高頻子帶之后重構(gòu)的圖像 圖4-5丟棄8個高頻子帶前后前后視頻圖像對比（2）原始視頻和丟棄12個高頻子帶后重建的視頻對比，如圖4-6： 原 始 圖 像 丟棄12個高頻子帶之后重構(gòu)的圖像 圖4-6 丟棄12個高頻子帶前后前后視頻圖像對比（3）原始視頻和丟棄14個高頻

35、子帶后重建的視頻對比，如圖4-7： 原 始 圖 像 丟棄14個高頻子帶之后重構(gòu)的圖像 圖4-7 丟棄14個高頻子帶前后前后視頻圖像對比（8) 原始視頻和丟棄15個高頻子帶后重建的視頻對比，如圖4-8： 原 始 圖 像 丟棄15個高頻子帶之后重構(gòu)的圖像 圖4-8 丟棄15個高頻子帶前后前后視頻圖像對比4.2 結(jié)論在本章中，以crew.yuv和flower.yuv為例，通過丟棄8幀、12幀、14幀、15幀高頻子帶前后視頻清晰度的對比，由以上圖片對比，可知，對于同一個視頻流，丟棄的幀數(shù)越多時，其清晰度越差。通過學(xué)習(xí)與研究五級哈爾小波提升技術(shù)，實現(xiàn)了視頻在時間維的分層編碼。第五章 總結(jié)與展望5.1 全

36、文總結(jié)隨著計算機通信和多媒體技術(shù)的飛速發(fā)展，視頻聊天、視頻點播、視頻會議以及實時視頻監(jiān)控等視頻應(yīng)用的迅速增長，可伸縮視頻由于具有可分級特性，并且對信道的異構(gòu)性具有很強的適應(yīng)性，因此受到了廣泛的關(guān)注。本論文的研究與學(xué)習(xí)了時間維可伸縮的兩種技術(shù)，即MCTF和等級B幀，重點探究了MCTF技術(shù)的實現(xiàn)流程，隨后通過C語言編程實現(xiàn)了五級哈爾小波提升，最后，通過軟件仿真對比，驗證了該方案的可實施性。5.2展望 科技是向前飛速發(fā)展的，可伸縮編碼方案也不會停留在原地不動。伴隨著越來越高速的處理器的出現(xiàn)，嵌入式技術(shù)的普及，人們對視頻分辨率的越來越高的要求，以及無線網(wǎng)絡(luò)技術(shù)的發(fā)（3G,LTE,4G,以及三星的5G技術(shù)），可伸縮編碼方案也會隨之發(fā)生巨大的改變。然而，由于技術(shù)水平和時間的限制，未能進行更深入的研究。如何充分利用視頻幀之間的相關(guān)性，在消除幀之間的冗余度和對視頻分辨率的要求的前提下，實現(xiàn)真正的智能化視頻可伸縮是進一步研究的重點。 目前視頻可伸縮編碼技術(shù)的并不太成熟，但是隨著越來越多的人的參與和集思廣益的研究，我相信不遠(yuǎn)的未來，真正的智能化的視頻可伸縮技術(shù)