多媒體技術(shù)與應(yīng)用視頻

多媒體技術(shù)與應(yīng)用視頻第1頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月第8章視頻22第2頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月基礎(chǔ)知識(shí)視頻的定義

人類接受的信息70%來(lái)自視覺(jué),其中活動(dòng)圖像是信息量最豐富、直觀、生動(dòng)、具體的一種承載信息的媒體。視頻（Video）就其本質(zhì)而言，實(shí)際上就是其內(nèi)容隨時(shí)間變化的一組動(dòng)態(tài)圖像(25或30幀/秒)，所以視頻又叫作運(yùn)動(dòng)圖像或活動(dòng)圖像。

從數(shù)學(xué)角度描述，視頻指隨時(shí)間變化的圖像，或稱為時(shí)變圖像。內(nèi)容隨時(shí)間而變化伴隨有與畫(huà)面動(dòng)作同步的聲音(伴音)3第3頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月視頻和圖像圖像與視頻是兩個(gè)既有聯(lián)系又有區(qū)別的概念靜止的圖片稱為圖像（Image），運(yùn)動(dòng)的圖像稱為視頻（Video）。此外，兩者的信源方式不同，圖像的輸入要靠掃描儀、數(shù)字照相機(jī)等設(shè)備；而視頻的輸入是電視接收機(jī)、攝象機(jī)、錄象機(jī)、影碟機(jī)以及可以輸出連續(xù)圖像信號(hào)的設(shè)備。

4第4頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月計(jì)算機(jī)能處理生動(dòng)的圖形、圖像和動(dòng)畫(huà)使得多媒體計(jì)算機(jī)更具有影響力。視頻和基于計(jì)算機(jī)的動(dòng)畫(huà)已成為多媒體系統(tǒng)的基本媒體并且是多媒體計(jì)算機(jī)的關(guān)鍵技術(shù)之一。通常用活動(dòng)圖像表示視頻，活動(dòng)圖形表示動(dòng)畫(huà)。也就是說(shuō)，計(jì)算機(jī)動(dòng)畫(huà)和視頻的主要差別類似圖形與圖像的區(qū)別，即幀圖像畫(huà)面的產(chǎn)生方式有所不同。在多媒體應(yīng)用中視頻圖像的處理也是最困難的部分。所謂視頻信號(hào)的處理主要包括視頻圖像的獲取、壓縮和存儲(chǔ)，各種編碼技術(shù)、變換技術(shù)和傳輸技術(shù)等。按處理方式的不同，視頻分為模擬視頻和數(shù)字視頻。視頻和動(dòng)畫(huà)5第5頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月模擬視頻是一種用于傳輸圖像和聲音的并且隨時(shí)間連續(xù)變化的電信號(hào)。早期視頻的記錄、存儲(chǔ)和傳輸都是采用模擬方式。

模擬視頻具有以下特點(diǎn)：

以模擬電信號(hào)的形式來(lái)記錄

依靠模擬調(diào)幅的手段在空間傳播

使用盒式磁帶錄象機(jī)將視頻作為模擬信號(hào)存放在磁帶上5.1模擬視頻6第6頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月

傳統(tǒng)的模擬信號(hào)處理設(shè)備

直接廣播衛(wèi)星（DBS））

模擬視頻的不足：不適合網(wǎng)絡(luò)傳輸，在傳輸效率方面先天不足；圖像隨時(shí)間和頻道的衰減較大；不便于分類、檢索和編輯。7第7頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月1、視頻的形成原理視頻是由于視覺(jué)的時(shí)間域響應(yīng)特性而產(chǎn)生的。視覺(jué)的時(shí)間域響應(yīng)特性：指的是讓觀察者觀察按時(shí)間重復(fù)的亮度脈沖，如果閃爍頻率比較低，人眼就有一亮一暗的感覺(jué)；如果閃爍頻率足夠高，人眼看到的則是一個(gè)恒定的亮點(diǎn)。閃爍感剛好消失的重復(fù)頻率叫做臨界閃爍頻率，經(jīng)測(cè)定為46HZ。如果場(chǎng)頻大于50次每秒，人眼就感覺(jué)不到閃爍。8第8頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月2、黑白電視信號(hào)（1）電視原理電視攝像機(jī)的作用就是將視頻圖像轉(zhuǎn)換為電信號(hào)。同樣也是采用動(dòng)畫(huà)的視覺(jué)原理構(gòu)造而成的，其基本原理為逐行掃描和傳輸圖像信號(hào)，然后在接收端同步再現(xiàn)。任何時(shí)刻，電信號(hào)只有1個(gè)值（一維）。但視頻圖像通常是二維的，將二維視頻圖像轉(zhuǎn)換為一維電信號(hào)是通過(guò)光柵掃描實(shí)現(xiàn)的。光柵掃描方式主要有逐行掃描和隔行掃描兩種。隔行掃描：掃描一幅完整的畫(huà)面分為兩場(chǎng)，稱為奇數(shù)場(chǎng)和偶數(shù)場(chǎng)，每幀畫(huà)面需要掃描兩次，一次奇數(shù)場(chǎng)、一次偶數(shù)場(chǎng)。逐行掃描：電子束從顯示屏的左上角一行接一行地掃到右下角，在顯示屏上掃一遍就顯示一幅完整的圖像。逐行掃描一次為一幀。9第9頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月

奇數(shù)場(chǎng)偶數(shù)場(chǎng)一幀

目前的電視系統(tǒng)大都采用隔行掃描，因?yàn)楦粜袙呙枘芄?jié)省頻帶，且硬件實(shí)現(xiàn)簡(jiǎn)單。但逐行掃描有以下優(yōu)點(diǎn)：圖像垂直清晰度高，空間處理效果好，有利于電視轉(zhuǎn)換和制式轉(zhuǎn)換，能改善視頻壓縮效率等等。計(jì)算機(jī)顯示圖像時(shí)一般都采用逐行掃描。其缺點(diǎn)是：數(shù)碼率高，行掃描頻率增高，硬件難度加大。逐行掃描能獲得更好的圖像質(zhì)量和更高的清晰度，不過(guò)是以增加帶寬和成本為代價(jià)的。光柵掃描的四個(gè)重要參數(shù)：掃描線、幀、水平回掃期和垂直回掃期10第10頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月2、黑白電視信號(hào)（2）模擬視頻信號(hào)的重要參數(shù)主要包括垂直清晰度、寬高比、場(chǎng)頻和幀頻。其中，垂直清晰度是指眼睛可分辨的水平線數(shù)目。（與掃描行數(shù)密切相關(guān)）寬高比是指掃描行的長(zhǎng)度與在圖像垂直方向上的所有掃描行所跨過(guò)的距離之比。在電視信號(hào)中，場(chǎng)頻值為幀頻值的兩倍。（3）全電視信號(hào)電視信號(hào)中除了圖像信號(hào)（視頻信號(hào)）外，還包括復(fù)合校隱信號(hào)和復(fù)合同步信號(hào)。一幀電視信號(hào)稱為一個(gè)全電視信號(hào)，它又由奇數(shù)行信號(hào)和偶數(shù)場(chǎng)行信號(hào)順序構(gòu)成。11第11頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月3、彩色電視信號(hào)問(wèn)題：如何實(shí)現(xiàn)彩色與黑白電視的兼容？使亮度和色度信號(hào)分開(kāi)傳送——用YUV空間表示法YUV模型Y表示亮度，U，V用來(lái)表示色差，是構(gòu)成彩色的兩個(gè)分量。YUV表示法的重要性是它的亮度信號(hào)(Y)和色度信號(hào)(U、V)是相互獨(dú)立的，也就是Y信號(hào)分量構(gòu)成的黑白灰度圖與用U、V信號(hào)構(gòu)成的另外兩幅單色圖是相互獨(dú)立的。由于Y、U、V是獨(dú)立的，所以可以對(duì)這些單色圖分別進(jìn)行編碼。采用YUV模型的優(yōu)點(diǎn)之一是亮度信號(hào)和色差信號(hào)是分離的，使彩色電視系統(tǒng)與黑白電視機(jī)亮度信號(hào)兼容。12第12頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月PAL彩色電視制式中采用YUV模型來(lái)表示彩色圖像YUV13第13頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月4、彩色電視的制式電視信號(hào)是視頻處理的重要信息源。傳送電視信號(hào)所采用的技術(shù)標(biāo)準(zhǔn)也稱為電視的制式。目前各國(guó)的電視制式不盡相同，不同制式之間的主要區(qū)別在于不同的刷新速度、顏色編碼系統(tǒng)和傳送頻率等，因此互相并不通用。目前世界上常用的電視制式有中國(guó)、歐洲使用的PAL制，美國(guó)、日本使用的NTSC制及法國(guó)等國(guó)所使用的SECAM制。14第14頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月NTSC制

NTSC(NationalTelevisionStandardCommitte)是美國(guó)國(guó)家電視系統(tǒng)委員會(huì)在1952年制定的一種兼容的彩色電視制式，在美國(guó)、日本和其他國(guó)家廣為使用。定義了彩色電視機(jī)對(duì)所接受的電視信號(hào)的解碼方式、色彩的處理方式、屏幕的掃描頻率。NTSC制規(guī)定水平掃描線有525條，以每秒30幀速率傳送。NTSC采用隔行掃描方式，每一幀畫(huà)面由兩次掃描完成，每一次掃描畫(huà)出一個(gè)場(chǎng)需要1/60秒,兩個(gè)場(chǎng)構(gòu)成一幀。15第15頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月PAL制PAL(PhaseAlternateLock)是聯(lián)邦德國(guó)1962年制定的一種兼容電視制式。PAL意指“相位逐行交變”，我國(guó)和大部分西歐國(guó)家都使用這種制式。PAL制規(guī)定水平掃描625行、每秒25幀、隔行掃描、每場(chǎng)需要1/50秒。16第16頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月SECAM制SECAM(SEquentialColorAndMemory)稱為順序傳送彩色與存儲(chǔ)，是用于法國(guó)、俄羅斯及幾個(gè)東歐國(guó)家的彩色電視制式?；炯夹g(shù)及廣播方式與NTSC和PAL有很大的區(qū)別。625行，25Hz17第17頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月全制式多制式不同制式的電視機(jī)只能接收和處理其對(duì)應(yīng)制式的電視信號(hào)。多制式或全制式的電視機(jī)，為處理和轉(zhuǎn)換不同制式的電視信號(hào)提供了極大的方便。全制式電視機(jī)可在各國(guó)各地區(qū)使用，而多制式電視機(jī)一般為指定范圍的國(guó)家生產(chǎn)。18第18頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月三種彩色電視制式的主要技術(shù)指標(biāo)TV制式NTSCPALSECAM幀頻(Hz)302525行/幀525625625像素值/行700864864亮度帶寬(MHz)4.26.06.0彩色幅載波(MHz)3.584.434.25聲音載波(MHz)4.56.56.5調(diào)制方式AMAMFM19第19頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月5、模擬視頻標(biāo)準(zhǔn)模擬視頻信號(hào)主要包括五種成分：亮度信號(hào)、色度信號(hào)、色同步信號(hào)、復(fù)合同步信號(hào)和伴音信號(hào)，根據(jù)不同的信號(hào)源，模擬視頻標(biāo)準(zhǔn)有以下三種類型：復(fù)合視頻：包含亮度信號(hào)、色差信號(hào)和所有定時(shí)同步信號(hào)的單一電視信號(hào)，占用單倍帶寬傳輸。分量視頻：每個(gè)分量都是一個(gè)單獨(dú)的單色視頻信號(hào)，三個(gè)分量（R、G、B）完全同步。分離視頻：前面兩種的折中，將色度信號(hào)組合后加上亮度信號(hào)共兩個(gè)信號(hào)參與傳輸。20第20頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月1、數(shù)字視頻的概念視頻數(shù)字化是將模擬視頻信號(hào)經(jīng)模數(shù)轉(zhuǎn)換和彩色空間變換轉(zhuǎn)為計(jì)算機(jī)可處理的數(shù)字信號(hào)。模擬視頻的數(shù)字化包括不少技術(shù)問(wèn)題，如電視信號(hào)具有不同的制式而且采用復(fù)合的YUV信號(hào)方式，而計(jì)算機(jī)工作在RGB空間；電視機(jī)是隔行掃描，計(jì)算機(jī)顯示器大多逐行掃描；電視圖像的分辨率與顯示器的分辨率也不盡相同等等。因此，模擬視頻的數(shù)字化主要包括色彩模型的轉(zhuǎn)換、光柵掃描的轉(zhuǎn)換及分辨率的統(tǒng)一。5.2數(shù)字視頻21第21頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月RGB色彩模型根據(jù)三基色原理，用基色光單位來(lái)表示光的量，則在RGB色彩模型，任意色光都可以用R、G、B三色不同分量的相加混合而成：

R(紅色的百分比)＋G(綠色的百分比)＋B(藍(lán)色的百分比)＝顏色

22第22頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月模擬視頻一般采用分量數(shù)字化方式，先把復(fù)合視頻信號(hào)中的亮度和色度分離，得到Y(jié)UV或YIQ分量，然后用三個(gè)模／數(shù)轉(zhuǎn)換器對(duì)三個(gè)分量分別進(jìn)行數(shù)字化，最后再轉(zhuǎn)換成RGB空間。計(jì)算機(jī)彩色視頻信號(hào)發(fā)送與接收的原理如下圖所示：23第23頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月與音頻信號(hào)數(shù)字化類似，計(jì)算機(jī)也要對(duì)輸入的模擬視頻信息進(jìn)行采樣與量化，并經(jīng)編碼使其變成數(shù)字化圖像。24第24頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月數(shù)字視頻的采樣格式根據(jù)電視信號(hào)的特征，亮度信號(hào)的帶寬是色度信號(hào)帶寬的兩倍。因此其數(shù)字化時(shí)對(duì)信號(hào)的色差分量的采樣率低于對(duì)亮度分量的采樣率。如果用Y：U：V來(lái)表示YUV三分量的采樣比例，則數(shù)字視頻的采樣格式分別有4:1:1、4:2:2和4:4:4三種。電視圖像既是空間的函數(shù)，也是時(shí)間的函數(shù)，而且又是隔行掃描式，所以其采樣方式比掃描儀掃描圖像的方式要復(fù)雜得多。分量采樣時(shí)采到的是隔行樣本點(diǎn)，要把隔行樣本組合成逐行樣本，然后進(jìn)行樣本點(diǎn)的量化，YUV到RGB色彩空間的轉(zhuǎn)換等等，最后才能得到數(shù)字視頻數(shù)據(jù)。25第25頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月為了在PAL、NTSC和SECAM電視制式之間確定共同的數(shù)字化參數(shù)，國(guó)家無(wú)線電咨詢委員會(huì)（CCIR）制定了廣播級(jí)質(zhì)量的數(shù)字電視編碼標(biāo)準(zhǔn)，稱為CCIR601標(biāo)準(zhǔn)(現(xiàn)在的ITU-R標(biāo)準(zhǔn))。在該標(biāo)準(zhǔn)中，對(duì)采樣頻率、采樣結(jié)構(gòu)、色彩空間轉(zhuǎn)換等都作了嚴(yán)格的規(guī)定。根據(jù)實(shí)驗(yàn)，人眼對(duì)顏色的敏感程度遠(yuǎn)不如對(duì)亮度信號(hào)那么靈敏，所以色度信號(hào)的取樣頻率可以比亮度信號(hào)的取樣頻率低，以減少數(shù)字視頻的數(shù)據(jù)量。ITU-R建議使用了4:2:2采樣結(jié)構(gòu)。數(shù)字視頻標(biāo)準(zhǔn)26第26頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月相對(duì)于模擬視頻有以下特點(diǎn)：易于處理。傳輸穩(wěn)定、抗干擾能力強(qiáng)，不失真。交互能力強(qiáng)，集成各種視頻應(yīng)用。按照需要和傳輸能力改變圖像質(zhì)量和傳輸速率。2、數(shù)字視頻的特點(diǎn)27第27頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月3數(shù)字視頻的格式AVI格式

AVI（AudioVideoInterleave）是一種音頻視像交插記錄的數(shù)字視頻文件格式，是一種有損壓縮格式。1992年初微軟公司推出了AVI技術(shù)及其應(yīng)用軟件VFW（VideoforWindows）。在AVI文件中，運(yùn)動(dòng)圖像和伴音數(shù)據(jù)是以交織的方式存儲(chǔ)，并獨(dú)立于硬件設(shè)備,在讀取視頻數(shù)據(jù)流時(shí)能更有效地從存儲(chǔ)媒介得到連續(xù)的信息。AVI文件結(jié)構(gòu)不僅解決了音頻和視頻的同步問(wèn)題，而且具有通用和開(kāi)放的特點(diǎn)。它可以在任何Windows環(huán)境下工作，而且還具有擴(kuò)展環(huán)境的功能。用戶可以開(kāi)發(fā)自己的AVI視頻文件格式，在Windows環(huán)境下可隨時(shí)調(diào)用?？梢杂靡话愕囊曨l編輯軟件如AdobePremiere進(jìn)行編輯和處理。28第28頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月MOV、QT格式

Apple公司在其生產(chǎn)的Macintosh機(jī)也推出了相應(yīng)的視頻格式，即Moviedigitalvideo的文件格式，其文件以MOV為后綴，相應(yīng)的視頻應(yīng)用軟件為Apple'sQuickTimeforMacintosh。隨著大量原本運(yùn)行在Macintosh上的多媒體軟件向PC/Windows環(huán)境的移植，導(dǎo)致了QuickTime視頻文件的流行。Apple公司也推出了適用于PC機(jī)的視頻應(yīng)用軟件Apple‘sQuickTimeforWindows，因此在PC機(jī)上也可以播放MOV視頻文件。MOV格式的視頻文件可以采用不壓縮或壓縮的方式QuickTime還采用了一種稱為QuickTimeVR的虛擬現(xiàn)實(shí)（VR，VirtualReality）技術(shù)，用戶只需通過(guò)鼠標(biāo)或鍵盤(pán)，就可以觀察某一地點(diǎn)周圍360度的景象，或者從空間任何角度觀察某一物體。

29第29頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月MEPG文件-MPEG/MPG/DAT格式將MPEG算法用于壓縮全運(yùn)動(dòng)視頻圖像，就可以生成全屏幕活動(dòng)視頻標(biāo)準(zhǔn)文件：MPG文件。MPG格式文件在1024786的分辯率下可以用每秒25幀（或30幀）的速率同步播放全運(yùn)動(dòng)視頻圖像和CD音樂(lè)伴音，并且其文件大小僅為AVI文件的六分之一。MPEG-2壓縮技術(shù)采用可變速率（VBR-VariableBitRate）技術(shù)，能夠根據(jù)動(dòng)態(tài)畫(huà)面的復(fù)雜程度，適時(shí)改變數(shù)據(jù)傳輸率獲得較好的編碼效果，目前使用的DVD就是采用了這種技術(shù)。MPEG的平均壓縮比為50∶1，最高可達(dá)200∶1。同時(shí)圖像和音響的質(zhì)量也非常好。MPEG標(biāo)準(zhǔn)包括MPEG視頻、MPEG音頻和MPEG系統(tǒng)(視頻、音頻同步)三個(gè)部分，MP3音頻文件就是MPEG音頻的一個(gè)典型應(yīng)用，而VCD、SVCD、DVD則是全面采用MPEG技術(shù)所產(chǎn)生出來(lái)的新型消費(fèi)類電子產(chǎn)品。30第30頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月RAM格式很多視頻數(shù)據(jù)通過(guò)Internet來(lái)進(jìn)行實(shí)時(shí)傳輸，視頻文件的體積往往比較大，而現(xiàn)有的網(wǎng)絡(luò)帶寬卻往往比較“狹窄”，客觀因素限制了視頻數(shù)據(jù)的實(shí)時(shí)傳輸和實(shí)時(shí)播放，于是一種新型的流式視頻(StreamingVideo)格式應(yīng)運(yùn)而生了。流式視頻采用一種“邊傳邊播”的方法，即先從服務(wù)器上下載一部分視頻文件，形成視頻流緩沖區(qū)后實(shí)時(shí)播放，同時(shí)繼續(xù)下載，為接下來(lái)的播放做好準(zhǔn)備。這種方法避免了用戶必須等待整個(gè)文件從Internet上全部下載完畢才能觀看的缺點(diǎn)。31第31頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月5.3數(shù)字電視數(shù)字電視系統(tǒng)是將活動(dòng)圖像、聲音和數(shù)據(jù)，通過(guò)數(shù)字技術(shù)進(jìn)行壓縮、編碼、傳輸/存儲(chǔ)，而實(shí)時(shí)發(fā)送/廣播或者通過(guò)記錄媒體的傳播，供觀眾接收/播放的視聽(tīng)系統(tǒng)。它可以劃分為3大部分：信源部分（發(fā)送端）、信道部分（傳輸/存儲(chǔ)過(guò)程）和信宿部分（接收端）。數(shù)字電視系統(tǒng)業(yè)務(wù)可以按照其活動(dòng)的圖形比特率的大小，粗略劃分為標(biāo)準(zhǔn)清晰度數(shù)字電視（SDTV）和高清晰度數(shù)字電視（HDTV）32第32頁(yè)，課件共38頁(yè)，創(chuàng)作于2023年2月5.4多媒體視頻與音頻同步在多媒體對(duì)象中，音頻對(duì)象的表現(xiàn)具有優(yōu)先權(quán)，即視頻與其他媒體的表現(xiàn)時(shí)間要以音頻的表現(xiàn)為準(zhǔn)，視頻及其他多媒體對(duì)象在表現(xiàn)時(shí)要同步于音頻對(duì)象。視頻數(shù)據(jù)播放快于