數(shù)字視頻處理DigitalVideoProcessing課件

課程要求36學(xué)時(shí)10-18周Attendence:10%Discussion:10%Presentation:30%ThemePapers:50%FreeTalk&DiscussWhatisVideo?Whatcanwedowithvideos?

參考書教材：《視頻處理與通信》，YaoWang等，電子工業(yè)出版社。英文版：VideoProcessingandCommunications.其他參考書：《通信中的視頻信號處理》，鄭寶龍等，電子工業(yè)出版社?！稊?shù)字視頻處理》，黎洪松，北京郵電大學(xué)出版社?！秹嚎s視頻通信》，A.H.薩達(dá)卡課程內(nèi)容視頻技術(shù)概述第1章：視頻的形成、感覺和表示第2章：視頻信號的傅立葉分析和人類視覺系統(tǒng)的頻率響應(yīng)第5章：視頻模型第6章：二維運(yùn)動估計(jì)視頻編碼第8章：視頻編碼基礎(chǔ)第9章：基于波形的視頻編碼第10章：基于內(nèi)容的視頻編碼第11章：可分級視頻編碼視頻通信第13章：視頻壓縮標(biāo)準(zhǔn)第14章：視頻通信中的差錯(cuò)控制我們目前的工作小波編碼(圖像&視頻)多描述視頻編碼精細(xì)可分級（細(xì)粒度可分級）視頻編碼擁塞檢測與擁塞控制Internet流視頻的信源——信道聯(lián)合編碼基于對象的視頻編碼人臉檢測、人臉識別視頻監(jiān)控等第1章視頻形成，感知和表示

1.1彩色感覺和規(guī)定?光和彩色?人的彩色感覺?三基色彩色混合理論三基色表示亮度和色度表示?彩色坐標(biāo)變換光是一種電磁波光的能量：用光通量測量，單位：瓦特，是能量發(fā)射的速率光的亮度：瓦特/立體角。照明與反射光源照明光源:發(fā)光(如：太陽，燈泡，電視屏)可見的顏色取決于發(fā)射頻率服從相加規(guī)律R+G+B=White反射光源:反射入射光(例：染料，衣服)可見的顏色取決于反射頻率

(emittedfreq=notabsorbedfreq.)服從相減規(guī)律R+G+B=Black眼睛生理解剖虹膜瞳孔鞏膜鞏膜虹膜角膜瞳孔透鏡結(jié)膜玻璃體脈絡(luò)膜視神經(jīng)視網(wǎng)膜中區(qū)視網(wǎng)膜照相機(jī)與人眼睛的比較照相機(jī)眼睛透鏡角膜快門虹膜，瞳孔底片、CCD視網(wǎng)膜傳輸電纜視神經(jīng)鞏膜虹膜角膜瞳孔透鏡結(jié)膜玻璃體脈絡(luò)膜視神經(jīng)視網(wǎng)膜中區(qū)視網(wǎng)膜1.1.2人類的彩色感覺視網(wǎng)膜的感光細(xì)胞錐狀細(xì)胞(Cones)：亮光下(白天)：可感受彩色色調(diào)分為3個(gè)主要的感覺類別：紅綠藍(lán)。65%紅，33%綠，2%藍(lán)（但藍(lán)錐狀細(xì)胞對藍(lán)光更敏感）不同的錐狀細(xì)胞有不同的頻率響應(yīng)特性人類的彩色感覺的三感光原理?xiàng)U狀細(xì)胞(Rods)：弱光下(夜晚)：只能感受到亮度人眼的彩色感覺屬性：亮度(Luminance/brightness)色度(Chrominance)：由光的波長成分決定色調(diào)(Hue/colortone)：色度飽和度(Saturation/colorpurity)：純度錐狀細(xì)胞的頻率響應(yīng)特性

三種類型的感光細(xì)胞組合cr,cg,cb，可使人類感知任何彩色。錐狀細(xì)胞的頻率響應(yīng)和亮度效率特性

同樣大小的能量在不同波長會產(chǎn)生不同的亮度感覺。綠色波長對亮度感覺貢獻(xiàn)最大。色調(diào)表示（色輪）1.1.3彩色混合的三基色原理發(fā)光源的三基色：紅綠藍(lán)(Red,Green,Blue/RGB)彩色監(jiān)視器通過不同的電子槍轟擊紅綠蘭磷光粉發(fā)出三種光反射光源的三基色：青紫黃彩色打印機(jī)采用青紫黃黑四種油墨彩色混合的三基色原理任意顏色可通過三種基本顏色按適當(dāng)比例混合產(chǎn)生RGBvsCMY彩色表示方法給出三色激勵值以及相應(yīng)的三基色系統(tǒng)RGBCMY給出亮度與色度HSI(Hue,saturation,intensity)YIQ(用于NTSC彩色電視系統(tǒng))YCbCr（YUV）(用于PAL彩色電視系統(tǒng))給出各象素點(diǎn)的值:每種彩色分量8位，一個(gè)象素點(diǎn)24位可表示16000000種顏色存儲1幅1Kx1KRGB彩色圖片需要約3MB內(nèi)存HSI表示法彩色坐標(biāo)變換兩種三基色系統(tǒng)間的坐標(biāo)變換是線性的

(變換矩陣為3x3矩陣)基色系統(tǒng)與YIQ/YUV彩色系統(tǒng)間的坐標(biāo)變換也是線性的Y

=

0.299*R+0.587*G+0.114*B

Cb=-0.169*R-0.331*G+0.500*B

Cr=

0.500*R-0.419*G-0.081*B基色系統(tǒng)與HSI/Lab間的變換是非線性的（a:正紅，負(fù)綠，b:正黃，負(fù)藍(lán)）多種彩色空間（Search）1.2視頻的捕捉與顯示1.2.1彩色視頻成像原理對自然圖像，需要有一個(gè)光源，設(shè)波長為單點(diǎn)入設(shè)光強(qiáng)：E(x,y,z,)其中(x,y,z）為該點(diǎn)的世界坐標(biāo)反射函數(shù)r(x,y,z,)從一點(diǎn)反射到照相機(jī)到光：c(x,y,z,)=E(x,y,z,)

r(x,y,z,)1.2.1彩色視頻成像原理（cnt.）照相機(jī)接收到的光強(qiáng)：必須考慮照相機(jī)的吸收系數(shù)ac()——相當(dāng)于人類的相對亮度效率函數(shù)

可視為從3D到2D的投影：這種投影是非線性的，通常有兩種形式：–透視投影(Perspectiveprojection)–平行投影(Parallelprojection)透視投影模型倒立實(shí)像1.2.2視頻捕捉要有3個(gè)傳感器高檔的數(shù)字相機(jī)通常含有復(fù)雜的數(shù)字信號處理1.2.3視頻顯示兩類顯示設(shè)備：CRT（陰極射線管）：電子槍向屏幕發(fā)射電子束以激勵熒光粉，其強(qiáng)度正比于在相應(yīng)位置的視頻信號強(qiáng)度。LCD（液晶顯示器）：通過施加電場改變光學(xué)特性進(jìn)而改變液晶的亮度或彩色。都是RGB發(fā)光器件1.2.4復(fù)合視頻和分量視頻分量視頻：三種顏色分量分別存儲和傳輸運(yùn)用RGB或YIQ(YUV)彩色坐標(biāo)新的數(shù)字視頻格式(YCrCb)Betacam(專業(yè)的磁帶錄音機(jī))運(yùn)用的就是這種格式合成視頻將RGB轉(zhuǎn)換成YIQ(YUV)

將YIQ多路復(fù)用到單一信號中運(yùn)用于大多數(shù)的模擬視頻設(shè)備S-video（二分量視頻）分別存儲Y和C(QAMofIandQ)分量運(yùn)用于專業(yè)視頻設(shè)備高端顯示器可以獲得以上三種視頻1.2.5伽瑪校正攝像機(jī)攝取的視頻反映了成像景物的彩色值。事實(shí)上，多數(shù)攝像機(jī)輸出的信號與實(shí)際的彩色值成非線性關(guān)系，用伽瑪系數(shù)來表示。為了呈現(xiàn)真實(shí)的彩色，要分別在攝像機(jī)輸出和顯示器輸入端進(jìn)行“伽瑪校正”。1.3模擬視頻視頻光柵逐行與隔行掃描模擬電視系統(tǒng)掃描光柵現(xiàn)實(shí)世界的場景都是連續(xù)的3-D信號(時(shí)間，水平和垂直位置)模擬視頻模擬視頻存放方式：光柵。形成：時(shí)間采樣產(chǎn)生一個(gè)連續(xù)的圖象序列為了較好地描述運(yùn)動，要求：幀速

>=30幀/s垂直掃描形成光柵：用一序列掃描線表示一幀圖象掃描線數(shù)取決于最大垂直頻率和觀察距離。NTSC系統(tǒng)的掃描線數(shù)為525線模擬視頻光柵=用連續(xù)幀的掃描線產(chǎn)生的1-D信號兩種掃描方式：逐行掃描與隔行掃描

逐行掃描

隔行掃描

水平回掃 第1場 第2場

垂直回掃

隔行掃描的作用：在給定的數(shù)據(jù)傳輸速率的條件下，對時(shí)間與垂直分辨率進(jìn)行平衡。犧牲垂直分辨率來提高時(shí)間分辨率。1.4模擬彩色電視系統(tǒng)彩色電視廣播與接收為什么不直接用RGB進(jìn)行傳輸?R,G,B分量有相關(guān)性，直接傳送R,G,B分量冗余度大，不能有效利用帶寬RGB變換到Y(jié)C1C2的好處去相關(guān):Y,C1,C2是非相關(guān)的C1與C2需要較窄的帶寬Y(亮度)分量可作為黑白電視廣播NTSC的YIQI:橙(orange)到青(cyan)Q:綠(green)到紫(purple)人眼對Q分量較不敏感，可以進(jìn)一步壓縮帶寬相位=Arctan(Q/I)=色調(diào),幅度=(I2+Q2)=飽和度色調(diào)比飽和度有更高的精度RGB與YIQ間的變換亮度信號與色度信號的合成色度信號比亮度信號頻帶寬度窄，而且人眼對頻率較高的顏色較不敏感

I與Q分量用QAM調(diào)制到同一個(gè)子(彩色)載波上調(diào)制后的色度譜位于亮度譜的高端色度譜的峰值與亮度譜的峰值相間

fc=455fl/2亮度、色度和伴音的合成頻譜正交幅度調(diào)制(QAM)把兩路信號調(diào)制到兩個(gè)同頻率、相位差為90o

度的載波上為了正確解調(diào)，要求有載波同步信號。措施：增加色同步脈沖增加色同步脈沖復(fù)合視頻的合成亮度/色度分離低檔電視接收機(jī)通常采用截止頻率為3MHz的低通濾波器分離亮度和色度信號。缺點(diǎn)：I分量的高頻成分

(2to3Mhz)還存在亮度信號中。提取的色度分量包含亮度的高頻分量

(fc附近的亮度能量不可忽略)結(jié)果：彩色失真措施：利用兩個(gè)信號中諧波頻率交錯(cuò)的優(yōu)點(diǎn)，采用梳狀濾波器濾除色度分量的相應(yīng)諧波以提高圖象質(zhì)量電視接收機(jī)的亮度、色度分量電路的典型框圖黑白電視機(jī)能看到什么黑白電視接收機(jī)采用截止頻率為4.2MHz的LPF抽取復(fù)合視頻信號(亮度＋調(diào)制到fc

=3.58MHz的I、Q信號)相對人眼來說，調(diào)制的色度信號頻率很高(227.5周/行)，因此多數(shù)彩色信號會被眼睛濾除，但還可能產(chǎn)生失真實(shí)際黑白電視接收機(jī)的LPF過渡帶較寬，在fc

處已有較大的衰減，輸出很小，因此彩色信號引起的失真不大。彩色電視廣播與接收3種不同的彩色電視制式比較電視制式 NTSCPAL SECAM場率(Hz) 59.95(60)50 50每幀行數(shù)

525 625 625行速率

(Line/s) 15,750 15,625 15,625采用的彩色坐標(biāo) YIQ YUV YDbDr亮度帶寬

(MHz) 4.2 5.0/5.5 6.0色度帶寬

(MHz) 1.5(I)/0.5(Q)1.3(U,V) 1.0(U,V)色副載波

(MHz) 3.58 4.434.25(Db),4.41(Dr)色度調(diào)制方式 QAM QAM FM語音載波

4.5 5.5/6.0 6.5總帶寬

(MHz) 6.0 7.0/8.0 8.0

三種制式使用分布1.5數(shù)字視頻1.對模擬視頻光柵進(jìn)行采樣/量化即可獲得數(shù)字視頻

BT.601視頻格式2.其他數(shù)字視頻格式及其應(yīng)用1.5.1符號幀率行數(shù)每行的樣點(diǎn)數(shù)時(shí)間采樣間隔（幀間隔）垂直采樣間隔水平采樣間隔一個(gè)像素值的比特?cái)?shù)數(shù)字視頻的碼率（比特/秒bps）色度亞采樣格式1.5.3數(shù)字視頻格式VideoFormat Y尺寸 彩色采樣 幀率 原碼率(Mbps)地面、有線及衛(wèi)星HDTV,MPEG2視頻,20-45MbpsSMPTE296M 1280x7204:2:0 24P/30P/60P 265/332/664SMPTE295M 1920x10804:2:0 24P/30P/60I 597/746/746視頻制作,MPEG2,15-50MbpsBT.601 720x480/5764:4:4 60I/50I 249BT.601 720x480/5764:2:2 60I/50I 166高質(zhì)量視頻(DVD,SDTV),MPEG2,4-10MbpsBT.601 720x480/5764:2:0 60I/50I 124中質(zhì)量視頻MPEG1,1.5MbpsSIF 352x240/2884:2:0 30P/25P 30ISDN/Internet視頻會議,H.261/H.263,128-384KbpsCIF 352x2884:2:0 30P