多媒體技術應用4視頻處理技術

多媒體技術應用數(shù)學與計算機學院陳永強chenyqwh@1632021-2021-2編輯課件第四章視頻處理技術4.1視頻概述

4.1.1視頻的視覺原理

4.1.2模擬視頻4.1.3數(shù)字視頻4.2常用視頻壓縮標準

4.2.1視頻壓縮原理

4.2.2MPEG

4.2.3H.26X4.3常用視頻處理軟件

4.3.1

WindowsMovieMaker

4.3.2AdobePremiere編輯課件第四章視頻處理技術4.1視頻概述

4.1.1視頻的視覺原理4.1.2模擬視頻4.1.3數(shù)字視頻編輯課件視覺是人類感知外部世界最重要的途徑之一，人類接受的所有信息中大約有70%來自視覺。視覺接受的信息可分為兩大類：靜止的和運動的。相對靜止的圖形圖像，視頻所含的信息量更豐富、更直觀、更生動。在多媒體技術中，視頻信息的獲取和處理無疑占有舉足輕重的地位，視頻處理技術在目前和將來都是多媒體應用的一個核心技術。編輯課件4.1.1視頻的視覺原理視頻與圖像是兩個既有聯(lián)系又有區(qū)別的概念：靜止的圖片稱為圖像，運動的圖像稱為視頻。二者的信源方式不同，圖像的輸入主要有掃描儀、數(shù)碼相機等設備，而視頻的輸入只能是電視接收機、攝像機、錄像機等可以輸入連續(xù)圖像信號的設備。

編輯課件4.1.1視頻的視覺原理視頻就其本質(zhì)而言，就是其內(nèi)容隨時間變化的一組動態(tài)圖像〔每秒25或30幀〕，所以視頻又被稱為運動圖像或活動圖像。視頻信號具有內(nèi)容隨時間而變化和有與畫面動作同步的聲音〔伴音〕兩大本質(zhì)特征。編輯課件所謂視覺暫留，是指人體的視覺器官在看到的物象消失后，仍可暫時保存視覺的印象。視覺印象在人的眼中大約可保持0.1s。如果兩個視覺印象之間的時間間隔不超過0.1s，那么前一個視覺印象尚未消失，而后一個視覺印象已經(jīng)產(chǎn)生，并與前一個視覺印象融合在一起，就形成視覺暫留現(xiàn)象。動畫和電影利用的正是人眼的這一視覺暫留特性。編輯課件4.1.2模擬視頻電視系統(tǒng)的開展前景是數(shù)字彩色電視，數(shù)字視頻的根底是模擬視頻，而彩色電視又是在黑白電視的根底上開展起來的。編輯課件4.1.2模擬視頻1.電視的根本原理2.電視制式編輯課件4.1.2模擬視頻1.電視的根本原理電視的根本工作原理為順序掃描和傳輸圖像信號，然后在接收端同步再現(xiàn)。主要有逐行掃描和隔行掃描兩種掃描方式。逐行掃描有圖像垂直清晰度高，空間處理效果好，有利于電視轉(zhuǎn)換和制式轉(zhuǎn)換，以及改善視頻壓縮效率等優(yōu)點。相對隔行掃描而言，逐行掃描主要有碼率高，行掃描頻率高和硬件復雜度增大等缺點。編輯課件4.1.2模擬視頻1.電視的根本原理電視系統(tǒng)大都采用隔行掃描，因為隔行掃描能節(jié)省頻帶，且硬件實現(xiàn)簡單。隔行掃描的行集合為場，一幀由兩個場組成。一幀電視信號稱為一個全電視信號，由奇數(shù)場行信號、偶數(shù)場行信號及同步信號順序構(gòu)成，見圖4-2。編輯課件4.1.2模擬視頻1.電視的根本原理圖4-2隔行掃描一幀信號的合成過程編輯課件4.1.2模擬視頻2.電視制式電視制式就是用來實現(xiàn)電視圖像信號和伴音信號或其他信號傳輸?shù)姆椒?，電視圖像的顯示格式，以及這種方法和電視圖像顯示格式所采用的技術標準。對于模擬電視，有黑白電視制式、彩色電視制式及伴音制式等；對于數(shù)字電視，有圖像信號、音頻信號壓縮編碼格式〔信源編碼〕、TS流〔TransportStream〕編碼格式〔信道編碼〕、數(shù)字信號調(diào)制格式及圖像顯示格式等制式。編輯課件4.1.2模擬視頻2.電視制式為了實現(xiàn)黑白和彩色信號的兼容，色度編碼對副載波的調(diào)制有三種不同方法，形成了三種彩色電視制式：NTSC制式、PAL制式和SECAM制式。編輯課件4.1.2模擬視頻2.電視制式1〕NTSC制式即正交平衡調(diào)幅制式，1953年由美國全國電視標準委員會〔NationalTelevisionSystemCommittee〕制定，分為NTST-M、NTSC-N等，主要使用國家包括美國、加拿大、日本、韓國、菲律賓等。編輯課件4.1.2模擬視頻2.電視制式2〕PAL制式即正交平衡調(diào)幅逐行倒相制式。1967年由西德創(chuàng)立，主要使用國家包括中國、德國、英國、意大利、荷蘭等。分為PAL-B、PAL-I、PAL-M、PAL-N和PAL-D等，中國的電視播放制式為PAL-D。編輯課件4.1.2模擬視頻2.電視制式3〕SECAM制式即順序傳送與存儲彩色電視系統(tǒng)。1966年由法國研制成功，分為SECAM-D/K等。主要使用國家包括俄羅斯、前蘇聯(lián)和東歐國家及局部非洲國家。編輯課件4.1.3數(shù)字視頻1.數(shù)字視頻的特點2.數(shù)字視頻的開展史3.數(shù)字視頻的常用格式編輯課件4.1.3數(shù)字視頻1.數(shù)字視頻的特點數(shù)字視頻是模擬視頻數(shù)字化的結(jié)果。相對模擬視頻，數(shù)字視頻有如下特點：適合網(wǎng)絡應用再現(xiàn)性好便于編輯處理編輯課件4.1.3數(shù)字視頻2.數(shù)字視頻的開展史自20世紀40年代計算機誕生以來，從計算機所能處理的信息類型這個角度來看，計算機大約經(jīng)歷了以下三個開展階段。1〕數(shù)值計算階段2〕數(shù)據(jù)處理階段3〕多媒體階段編輯課件4.1.3數(shù)字視頻2.數(shù)字視頻的開展史初級階段，其主要特點就是在臺式計算機上增加簡單的視頻功能。主流階段，數(shù)字視頻在計算機中得到廣泛應用，成為主流。高級階段，普通個人計算機進入了成熟的多媒體計算機時代。編輯課件4.1.3數(shù)字視頻3.數(shù)字視頻的常用格式視頻格式可以分為適合本地播放的本地影像視頻和適合在網(wǎng)絡中播放的網(wǎng)絡流媒體影像視頻兩大類。網(wǎng)絡流媒體影像視頻的廣泛傳播性使之正被廣泛應用于視頻點播、網(wǎng)絡演示、遠程教育、網(wǎng)絡視頻廣告等因特網(wǎng)信息效勞領域。編輯課件4.1.3數(shù)字視頻3.數(shù)字視頻的常用格式AVI英文全稱為AudioVideoInterleaved，即音頻/視頻交錯格式。顧名思義，是將語音和影像同步組合在一起的文件格式。RM〔RealMedia〕格式是RealNetworks公司開發(fā)的一種新型流式視頻文件格式。RMVB格式是一種由RM視頻格式升級延伸出的新視頻格式，它的先進之處在于RMVB視頻格式打破了原先RM格式那種平均壓縮采樣的方式。編輯課件4.1.3數(shù)字視頻3.數(shù)字視頻的常用格式MOV即QuickTime影片格式，它是Apple公司開發(fā)的一種音頻、視頻文件格式，用于存儲常用數(shù)字媒體類型。ASF是微軟公司W(wǎng)indowsMedia的核心。這是一種包含音頻、視頻、圖像以及控制命令腳本的數(shù)據(jù)格式。WMV的英文全稱為WindowsMediaVideo，也是微軟推出的一種采用獨立編碼方式，并且可以直接在網(wǎng)上實時觀看視頻節(jié)目的文件壓縮格式。編輯課件第四章視頻處理技術4.2常用視頻壓縮標準4.2.1視頻壓縮原理4.2.2MPEG4.2.3H.26X編輯課件視頻壓縮標準有H.26X和MPEG。比較而言，H.26X僅僅是視頻編碼的標準，而MPEG既包括視頻編碼標準，也包括音頻編碼標準和視音同步標準。編輯課件4.2.1視頻壓縮原理視頻壓縮的目標是在盡可能保證視覺效果的前提下減少視頻數(shù)據(jù)率。1.根本概念2.壓縮策略編輯課件4.2.1視頻壓縮原理1.根本概念〔1〕有損和無損壓縮無損壓縮也即壓縮前和解壓縮后的數(shù)據(jù)完全一致。多數(shù)的無損壓縮都采用RLE行程編碼算法。有損壓縮意味著解壓縮后的數(shù)據(jù)與壓縮前的數(shù)據(jù)不一致。在壓縮的過程中要喪失一些人眼和人耳所不敏感的圖像或音頻信息，而且喪失的信息不可恢復?！?〕幀內(nèi)和幀間壓縮幀內(nèi)〔Intraframe〕壓縮一般采用有損壓縮算法，幀內(nèi)壓縮一般達不到很高的壓縮。幀間〔Interframe〕壓縮通過比較時間軸上不同幀之間的數(shù)據(jù)進行壓縮。幀間壓縮一般是無損的。編輯課件4.2.1視頻壓縮原理1.根本概念〔3〕對稱和不對稱編碼對稱性〔symmetric〕是壓縮編碼的一個關鍵特征。對稱意味著壓縮和解壓縮占用相同的計算處理能力和時間，對稱算法適合于實時壓縮和傳送視頻。不對稱〔asymmetric〕編碼，不對稱或非對稱意味著壓縮時需要花費大量的處理能力和時間，而解壓縮時那么能較好地實時回放，也即以不同的速度進行壓縮和解壓縮?！?〕位速率位速率是指在一個數(shù)據(jù)流中每秒鐘能通過的信息量。編輯課件4.2.1視頻壓縮原理2.壓縮策略〔1〕去掉相關性視頻圖像數(shù)據(jù)有很強的相關性，也就是說有大量的冗余信息。其中冗余信息可分為空域冗余信息和時域冗余信息。使用幀間編碼技術可去掉時域冗余信息，包括以下三局部：運動補償運動表示運動估計使用幀間編碼技術和熵編碼技術可以去掉空域冗余信息，主要的編碼方法有：變換編碼量化編碼熵編碼編輯課件4.2.1視頻壓縮原理2.壓縮策略〔2〕心理聲學音頻壓縮心理聲學指“人腦解釋聲音的方式〞。壓縮音頻的所有形式都是用功能強大的算法將聽不到的音頻信息去掉?！?〕心理視覺視頻壓縮心理視覺視頻壓縮與和其對等的音頻壓縮相似。心理視覺模型去掉的不是聽不到的音頻數(shù)據(jù)，而是去掉眼睛不需要的視頻數(shù)據(jù)。

編輯課件4.2.2MPEGMPEG的全稱應該是MovingPicturesExpertsGroup〔即動態(tài)圖像專家組〕，由ISO與IEC于1988年聯(lián)合成立，致力于運動圖像〔MPEG視頻〕及其伴音編碼〔MPEG音頻〕標準化工作。這個專家組開發(fā)的標準稱為MPEG標準，到目前為止，MPEG的主要標準有五個：編輯課件4.2.2MPEG1.MPEG-1〔數(shù)字電視標準〕2.MPEG-2〔數(shù)字電視標準〕3.MPEG-4〔多媒體應用標準〕4.MPEG-7〔多媒體內(nèi)容描述接口標準〕5.MPEG-21〔多媒體框架標準〕編輯課件4.2.2MPEG1.MPEG-1〔數(shù)字電視標準〕MPEG-1標準〔ISO/IEC11172〕制定于1992年，是針對1.5Mbps以下數(shù)據(jù)傳輸率的數(shù)字存儲媒體運動圖像及其伴音編碼設計的國際標準。編輯課件4.2.2MPEG1.MPEG-1〔數(shù)字電視標準〕MPEG-1標準體系共分為以下5個局部:系統(tǒng)〔System〕：規(guī)定視頻數(shù)據(jù)、聲音數(shù)據(jù)及其他相關數(shù)據(jù)的同步；視頻〔Video〕：規(guī)定視頻數(shù)據(jù)的編碼和解碼；音頻〔Audio〕：規(guī)定聲音數(shù)據(jù)的編碼和解碼；一致性測試〔ConformanceTesting〕：詳細說明如何測試比特數(shù)據(jù)流〔Bitstreams〕和解碼器是否滿足MPEG-1前三個局部中所規(guī)定的要求，編碼器制造商和客戶均可以使用這些方法來測試編碼器產(chǎn)生的碼流是否正確；軟件仿真〔SoftwareSimulation〕：從技術角度來說，這局部不能算是標準，只是一種技術報告，描述了MPEG-1標準的前三個局部的軟件實現(xiàn)，但源代碼是不公開的。編輯課件4.2.2MPEG2.MPEG-2〔數(shù)字電視標準〕MPEG-2標準〔ISO/IEC13818〕制定于1994年，是針對3～10Mbps的數(shù)據(jù)傳輸率制定的運動圖像及其伴音編碼的國際標準。MPEG-2的編碼圖像被分為三類，分別稱為I幀，P幀和B幀。為更好地表示編碼數(shù)據(jù)，MPEG-2用句法規(guī)定了一個層次性結(jié)構(gòu)。它分為六層，自上到下分別是：圖像序列層、圖像組、圖像、宏塊條、宏塊、塊。編輯課件4.2.2MPEG2.MPEG-2〔數(shù)字電視標準〕MPEG-2標準體系共分為以下9個局部：1〕系統(tǒng)〔System〕2〕視頻〔Video〕3〕音頻〔Audio〕4〕一致性測試〔ConformanceTesting〕5〕軟件仿真〔SoftwareSimulation〕6〕數(shù)字存儲媒體命令和控制擴展協(xié)議〔DigitalStorageMediaCommandandControl，DSM-CC〕7〕高級音頻編碼〔AdvancedAudioCoding，AAC〕8〕原方案用于采樣精度為10位的音頻編碼，但由于工業(yè)界對此興趣不大，現(xiàn)已停止；9〕規(guī)定了傳送碼流的實時接口。編輯課件4.2.2MPEG3.MPEG-4〔多媒體應用標準〕MPEG-4于1998年11月公布，是針對一定比特率下的視頻、音頻編碼，更加注重多媒體系統(tǒng)的交互性和靈活性。為此，MPEG-4引入了AV對象〔Audio-VideoObjects〕，使得更多的交互操作成為可能。編輯課件4.2.2MPEG3.MPEG-4〔多媒體應用標準〕MPEG-4對AV對象的操作主要有以下五種：1〕采用AV對象來表示聽覺、視覺或者視聽組合內(nèi)容；2〕組合已有的AV對象來生成復合的AV對象，并由此生成AV場景；3〕對AV對象的數(shù)據(jù)靈活地多路合成與同步，以便選擇適宜的網(wǎng)絡來傳輸這些AV對象數(shù)據(jù)；4〕允許接收端的用戶在AV場景中對AV對象進行交互操作等；5〕MPEG-4支持AV對象知識產(chǎn)權(quán)與保護。編輯課件4.2.2MPEG3.MPEG-4〔多媒體應用標準〕MPEG-4標準那么由以下6個主要局部構(gòu)成：1〕系統(tǒng)〔System〕2〕視頻〔Video〕3〕音頻〔Audio〕4〕一致性測試〔ConformanceTesting〕5〕參考軟件〔ReferenceSoftware〕6〕多媒體傳送整體框架〔DeliveriesMultimediaIntegrationFramework，DMIF〕編輯課件4.2.2MPEG4.MPEG-7〔多媒體內(nèi)容描述接口標準〕MPEG-7的工作于1996年啟動，名稱叫做多媒體內(nèi)容描述接口〔MultimediaContentDescriptionInterface，MCDI〕，目的是制定一套描述符標準，用來描述各種類型的多媒體信息及它們之間的關系，以便更快更有效地檢索信息。編輯課件4.2.2MPEG4.MPEG-7〔多媒體內(nèi)容描述接口標準〕MPEG-7的處理鏈：特征抽取內(nèi)容描述檢索工具MPEG-7的處理范圍圖4-3MPEG-7的范圍編輯課件4.2.2MPEG4.MPEG-7〔多媒體內(nèi)容描述接口標準〕MPEG-7的目標如下：①支持多種音頻和視覺的描述。②根據(jù)信息的抽象層次，提供一種描述多媒體材料的方法以便表示不同層次上的用戶對信息的需求。③支持數(shù)據(jù)管理的靈活性、數(shù)據(jù)資源的全球化和互操作性。編輯課件4.2.2MPEG4.MPEG-7〔多媒體內(nèi)容描述接口標準〕MPEG-7由以下幾局部組成：1〕系統(tǒng)〔System〕2〕描述定義語言〔DescriptionDefinitionLanguage，DDL〕3〕視頻〔Video〕4〕音頻〔Audio〕5〕多媒體描述方案〔MultimediaDescriptionSchemes，MMDS〕6〕參考軟件〔ReferenceSoftware〕7〕一致性測試〔ConformanceTesting〕編輯課件4.2.2MPEG5.MPEG-21〔多媒體框架標準〕制定MPEG-21標準的目的是：1〕將不同的協(xié)議、標準、技術等有機地融合在一起。2〕制定新的標準。3〕將這些不同的標準集成在一起。編輯課件4.2.2MPEG5.MPEG-21〔多媒體框架標準〕MPEG-21的根本框架要素包括：數(shù)字工程說明多媒體內(nèi)容表示數(shù)字工程的識別和描述內(nèi)容管理與使用知識產(chǎn)權(quán)管理和保護終端和網(wǎng)絡事件報告編輯課件4.2.3H.26XH.26X是ITU-T研究和制定的一系列視頻編碼的國際標準。其中應用最為廣泛的是H.261、H.262、H.263和H.264。編輯課件4.2.3H.26X1.H.2612.H.2623.H.2634.H.264編輯課件4.2.3H.26X1.H.261H.261標準也稱p×64，是視頻編碼的先驅(qū)者。H.261標準的出發(fā)點是為了實現(xiàn)在綜合業(yè)務數(shù)字網(wǎng)〔IntegratedServicesDigitalNetwork，ISDN〕上進行電視和電視會議，主要針對實時編碼和解碼而設計的。編輯課件4.2.3H.26X1.H.261與H.261有關的國際標準：H.320：窄帶可視系統(tǒng)和終端設備H.221：視聽電信業(yè)務中64～1920Kb/s信道的幀結(jié)構(gòu)H.230：視聽系統(tǒng)的幀同步控制和指示信號H.242：不超過2Mb/s數(shù)字信道的視聽終端的通信標準編輯課件4.2.3H.26X2.H.262ITU-T于1990年成立了“ATM視頻編碼專家組〞，負責制定適用于B-ISDN〔BroadbandIntegratedServiceDigitalNetwork，寬帶綜合業(yè)務數(shù)字網(wǎng)〕信道ATM編碼傳輸標準。該專家組于1993