視頻的形成和計算機視覺概要課件

Introductionto

ComputerVisionandvideoprocessing視頻的形成和計算機視覺概要Videoprocessing,computervision(CV)refs:視頻處理與通信，電子工業(yè)出版社，yaowang等著圖像工程，清華大學出版社，章毓晉編著計算機視覺模式識別，武漢大學出版社，鐘珞等編著matlab程序設計語言OpenCV視頻的形成和計算機視覺概要相關學科與相關課程的聯(lián)系數(shù)字圖象處理計算機視覺模式識別機器視覺計算機圖形學線性代數(shù)集合論高級語言程序設計數(shù)據(jù)結構先后順序重疊量反應相關程度基礎知識計算機視覺專題（圖象與視覺計算）高等代數(shù)最優(yōu)化方法。。。。。。。。。。。。信號與系統(tǒng)計算幾何視頻的形成和計算機視覺概要Overview(1)計算機視覺的幾何學基礎攝像機模型1、單攝像機(pinholemodel/perspectivetransformation)2、雙攝像機(epipolargeometry:fundamentalmatrix/essentialmatrix)3、三攝像機及更多(multi-viewgeometry)運動估計1、對應點問題（correspondenceproblem）2、光流計算方法3、剛體運動參數(shù)估計（minimalprojectivereconstruction）2-view,7pointsincorrespondence;(Faugeras)3-view,6pointsincorrespondence;(QuanLong)3-view,8pointswithonemissinginoneofthethreeview.(QuanLong)幾何重構（Geometryreconstruction）1、立體視覺(stereovision)2、ShapefromX(shading/motion/texture/contour/focus/de-focus/….)視頻的形成和計算機視覺概要Overview(2)計算機視覺的物理學基礎1、攝像機及其成像過程視點、光源、空間中光線、表面處的光線….明暗shading、陰影shadow2、光學/色彩light/color輻射學，輻照率…radiometry,3、物體表面特性漫反射表面（各向同性）LambertiansurfaceBDRF(bi-directionalreflectancedistributionfucntion)視頻的形成和計算機視覺概要Overview(3)計算機視覺的圖像模型基礎1、攝像機模型及其校準內參數(shù)、外參數(shù)2、圖像特征邊緣、角點、輪廓、紋理、形狀…3、圖像序列特征(運動)對應點、光流視頻的形成和計算機視覺概要Overview(4)計算機視覺的信號處理層次1、低層視覺處理單圖像：濾波/邊緣檢測/紋理多圖像：幾何/立體/從運動恢復仿射或透視結構affine/perspectivestructurefrommotion2、中層視覺處理聚類分割/擬合線條、曲線、輪廓clusteringforsegmentation,fittingline…基于概率方法的聚類分割/擬合跟蹤tracking3、高層視覺處理匹配模式分類/關聯(lián)模型識別patternclassification/aspectgraphrecognition4、應用距離數(shù)據(jù)（rangedata）/圖像數(shù)據(jù)檢索/基于圖像的繪制視頻的形成和計算機視覺概要Overview(5)計算機視覺的數(shù)學基礎攝影幾何、微分幾何概率統(tǒng)計與隨機過程數(shù)值計算與優(yōu)化方法機器學習計算機視覺的基本的分析工具和數(shù)學模型Signalprocessingapproach:FFT,filtering,wavelets,…Subspaceapproach:PCA,LDA,ICA,…Bayesianinferenceapproach:EM,Condensation/SIS/…,MCMC,….Machinelearningapproach:SVM/Kernelmachine,Boosting/Adaboost,NN/Regression,…HMM,BN/DBN,…Gibbs,MRF,…視頻的形成和計算機視覺概要Applications:-Manufacturingandinspection;QA-Robotnavigation-Autonomousvehicles-Guidingtoolsforblind-Securityandmonitoring-Object/facerecognition;OCR.-MedicalApplications-Visualization;NVS-Visualcommunication-Digitallibrariesandvideosearch-VideomanipulationandeditingHowisanimageformed?

(geometryandphotometry)Howisanimagerepresented?Whatkindofoperations

canweapplytoimages?Whatdoimagestellus

abouttheworld?

(analysis&interpretation)視頻的形成和計算機視覺概要視頻的形成和計算機視覺概要Whatandwhere舉例:ImageSegmentation視頻的形成和計算機視覺概要ImageSegmentation視頻的形成和計算機視覺概要視頻信號定義：從動態(tài)的三維景物投影到視頻攝像機圖象平面上的一個二維圖象序列。一個視頻幀中的任何一點的彩色值記錄了在所觀察的景物中一個特定的三維點所發(fā)出或反射的光。

三維：（x，y，t）視頻的形成和計算機視覺概要視覺的光學基礎光：由人眼可以感覺的、波長在380～780nm范圍內的電磁波組成的。度量－輻射強度分布：光源通常能發(fā)射某一波長范圍內的能量，并且其強度隨時間和空間變化。光譜成分決定彩色感覺－具有非常窄的帶寬的光稱為譜色，白光被稱為非彩色的。光源：照明光源和反射光源照明光源的彩色感覺取決于它所發(fā)射能量的波長范圍。照明光源遵循相加規(guī)則——幾個混合的照明光源的彩色感覺取決于所有光源光譜的總和。例如，紅、綠和藍光以合適的比例組合起來就能形成白色光。反射光源的彩色感覺取決于入射光的光譜成分和被吸收的波長范圍。反射光源遵循相減規(guī)則——幾種混合的反射光源的彩色感覺取決于剩余的、未被吸收的波長。補色：紅－青、綠－品、藍－黃。青色、品色和黃色燃料混合形成黑色，它吸收整個可視光譜。視頻的形成和計算機視覺概要15

光與彩色

光是一種以電磁波形式存在的物質；可見光——能引起人眼視覺反應的光。波長為380～780nm（毫微米）；不同波長的光入射到人眼會引起不同的顏色感覺；如果將所有波長的光均等地混合在一起，則給人以白色的感覺。

表2-1光的波長與顏色的關系顏色紅

橙

黃

綠青

藍

紫波長（nm）630～780600～630580～600510～580490～510

430～490380～430視頻的形成和計算機視覺概要16

電磁輻射波譜視頻的形成和計算機視覺概要17

電磁輻射波譜視頻的形成和計算機視覺概要18彩色三要素亮度：是指光的作用強弱，它由光的輻射功率及人眼視敏度特性決定。色調：是指光的顏色，由作用到人眼的入射光波長成分決定。色飽和度：是指彩色的濃淡，與摻白光的多少有關。視頻的形成和計算機視覺概要19視覺特性

（1）亮度特性對于同一波長的光，當光的輻射功率不同時，則給人的亮度感覺也不同。但如果輻射功率相同而波長不同，則給人的亮度感覺也是不同的。視頻的形成和計算機視覺概要20(2)彩色分辨力特性

人眼對彩色細節(jié)的分辨力比對黑白亮度的分辨力要低。根據(jù)這一特性，彩色電視廣播用0-6.0MHz寬帶來傳送亮度信號，用0-1.3MHz窄帶來傳送色度信號。另外，對于不同色調的彩色，人眼的細節(jié)分辨力又是不一樣的。例如，人眼對于橙色與青色的彩色分辨力較強，對于紫色與黃綠色的彩色分辨力較弱。視頻的形成和計算機視覺概要21（3）彩色視覺的非單值性

每種特定波長的光波都能引起一種特定的色調感覺，但是波長與色調之間并不存在著一一對應關系。人眼彩色視覺的非單值性——特定波長的光波能使人眼產生特定的色調，但卻不能反過來根據(jù)人眼的色調感覺去判斷光的波長。視頻的形成和計算機視覺概要22三基色原理

三基色原理的主要內容是：自然界幾乎所有的彩色，都可以用三種基色光按一定的比例混合產生；反之，自然界中的所有彩色，都可以分解為三種基色光。在彩色電視系統(tǒng)中，選用紅、綠、藍作為三基色。三基色與混合色的關系是：

a、三種基色的混合比例，決定混合色的色調與色飽和度。

b、混合色的亮度等于參與混合的各個基色的亮度之和。視頻的形成和計算機視覺概要23（1）相加混色法紅+綠=黃紅+藍=紫綠+藍=青紅+綠+藍=白青色+紅色=白色

黃色+藍色=白色

紫色+綠色=白色

投影電視采用此法視頻的形成和計算機視覺概要24背投電視機視頻的形成和計算機視覺概要25（2）空間混色法

當三基色光點很小且距離很近時，由于人眼視覺分辨率有限，將呈現(xiàn)混合色的色調。彩色顯像管采用此法視頻的形成和計算機視覺概要26（3）時間混色法

利用人類眼睛視覺暫留的特點,在時域實現(xiàn)混色。三基色光按順序輪流快速出現(xiàn)視頻的形成和計算機視覺概要27視頻的形成和計算機視覺概要28紅基色圖象綠基色圖象藍基色圖象紅基色信號綠基色信號藍基色信號編碼器圖象分光系統(tǒng)光電轉換系統(tǒng)（攝像機等）VRVGVB圖像三基色分解FBAS通過彩色攝像機中的分色光學系統(tǒng)來完成圖象三基色分解視頻的形成和計算機視覺概要29彩色圖像的復原在接收端，利用彩色顯像管使三基色光像混合成原彩色圖像視頻的形成和計算機視覺概要彩色混合的三基色原理

原理：大多數(shù)彩色C可由適當選擇的三種基色（C1、C2、C3）混合產生。（Maxwell）RGB基色——照明光源最流行的基色系（紅、綠、藍）CMY基色——反射光源最通常的基色系（青、品、黃）彩色坐標轉換：我們能夠把基于一種基色系的彩色值轉換為基于另一種基色系的彩色值。視頻的形成和計算機視覺概要人類的彩色感覺

人類彩色感覺的屬性：亮度Y和色度C——

彩色亮度指被感知的光的明亮度，與可視頻帶中的總能量成正比的。色度指被感知的光的顏色（色調）和深淺（飽和度），由光的波長成分決定的。三感光細胞原理（Young）：這三種類型的感光細胞的組合可使人類感知任何彩色，這意味著被感知的彩色只依賴于這三個數(shù)，而不是整個的光譜。HVS反彩色模型：HVS把錐狀細胞獲得的三個彩色值轉換成一個與亮度成正比的值和另外兩個響應于色度感覺的值。同樣大小的能量在不同的波長會產生不同的亮度感覺，G>R>B.視頻的形成和計算機視覺概要

Have

abreak視頻的形成和計算機視覺概要Eye視頻的形成和計算機視覺概要Neuralcircuitryoftheretina視頻的形成和計算機視覺概要ReceptorsDensity-Fovea視頻的形成和計算機視覺概要RetinaMosaic視頻的形成和計算機視覺概要Center-surroundReceptiveFieldsModifiedfromPSY280F視頻的形成和計算機視覺概要Visualpathway視頻的形成和計算機視覺概要視頻的形成和計算機視覺概要PhysiologicalRecording視頻的形成和計算機視覺概要fMRIMagnet視頻的形成和計算機視覺概要彩色視頻成像原理

視頻記錄了從一個觀測系統(tǒng)（人眼或攝像機）所觀測的場景中的物體發(fā)射或反射的光的強度，當由攝像機觀測場景時，只有攝像機敏感的那些波長是可見的。視頻信號： 如果攝像機只有亮度傳感器，那么表示投影光亮度的標量函數(shù)——灰度級。如果攝像機有三個分離的傳感器，每一個接收一種所選的基色，那么信號就是一個在每個點包含三個彩色值的矢量函數(shù)。特殊傳感器：感知人眼看不到的物體X光——紅外線攝像機——測距攝像機——視頻的形成和計算機視覺概要視頻攝像機

采集機制：目前所有的模擬攝像機都是一幀一幀地捕捉視頻，幀與幀之間有一定的時間間隔。它是通過掃描具有一定行間隔的相繼的行來獲得一幀。顯示機制：所有顯示設備都以相繼的一系列的幀顯示視頻。

攝像機分類：基于光電管的攝像機（光導攝像管、氧化鉛攝像管或正析攝像管）和固態(tài)傳感器（CCD——電荷耦合器件）視頻的形成和計算機視覺概要基于光電管的攝像機工作原理：攝像機鏡頭把場景中的圖象聚焦到攝像機析像管的光敏表面，由它將光信號轉換成電信號。析像管的光敏表面一般是用電子束或其它的電子方法一行一行地掃描（稱為光柵掃描），然后每一幀中的掃描行被轉換成用不同電壓代表不同光強度的電子信號。因此不同的掃描行是以相繼的方式在略微不同的時間上攝取的。固態(tài)傳感器工作原理：對于CCD攝像機，光敏表面由二維傳感器矩陣組成，每個傳感器對應一個象素，到達每個傳感器的光信號被轉換成一個電信號。在每幀時間內攝取的傳感器值首先存儲在緩沖區(qū)中，然后一次一次地相繼讀出，以形成光柵信號。與基于光電管的攝像機不同，同一幀中所有讀出的值是同時被攝取的。CCD攝像機更小更輕便宜普通消費者使用

光電管攝像機較大較重昂貴高分辨率、低環(huán)境光高敏感度視頻的形成和計算機視覺概要視頻顯示

CRT陰極射線管：在CRT監(jiān)視器中，電子槍一行一行地向屏幕發(fā)射電子束以激勵熒光粉，其強度正比于在相應位置的視頻信號的強度。為了顯示彩色圖象，三個電子槍發(fā)射三個電子束，在每個位置以期望的強度組合激勵紅色、綠色和藍色熒光粉。CRT能產生很大動態(tài)范圍的圖象，因此顯示的圖象可以很亮，足以在白天或在遠處觀看。然而，為使電子到達屏幕的邊界，CRT的深度需要大致與屏幕的寬度相當。這樣CRT的厚度限制了它的應用，不適合應用在小型輕便的設備中。LCD液晶顯示器：通過施加電場改變光學特性進而改變液晶的亮度或彩色。電場由一個晶體管陣列產生或刷新，從而使大屏幕顯示器成為可能。等離子顯示器

俗稱PDP，也稱電漿顯示，是一種利用氣體放電的顯示技術。它采用了等離子管作為發(fā)光元件，屏幕以玻璃作為基板，基板間隔一定距離，四周密封形成一個放電空間，再充入氖、氙等混合惰性氣體。當向玻璃板電極上加入電壓，放電空間內的混合氣體便發(fā)生等離子體放電現(xiàn)象，放電產生紫外線，紫外線激發(fā)熒光屏，熒光屏發(fā)射出可見光，經過適當?shù)募夹g處理，呈現(xiàn)出彩色圖像。視頻的形成和計算機視覺概要認識復合視頻、S-Video、分量視頻

YUV主要用于優(yōu)化彩色視頻信號的傳輸，并向前兼容老式黑白電視。與RGB視頻信號傳輸相比，它最大的優(yōu)點在于只占用極少的帶寬，而RGB要求三個獨立的視頻信號同時傳輸。在YUV中，“Y”代表明亮度（Luminance或Luma），也就是灰階值;而“U”和“V”表示的則是色度（Chrominance或Chroma），作用是描述圖像色彩及飽和度，用于指定像素的顏色?！傲炼取笔峭ㄟ^RGB輸入信號來創(chuàng)建的，方法是將RGB信號的特定部分疊加到一起。色度則定義了顏色的兩個方面——色調與飽和度，分別用Cr和Cb來表示。其中，Cr反映了RGB輸入信號紅色部分與RGB信號亮度值之間的差異，而Cb反映的是RGB輸入信號藍色部分與RGB信號亮度值之間的差異，此即所謂的色差信號，也就是我們常說的分量信號（Y、R-Y、B-Y）。將兩個色差信號U、V合并形成一個彩色信號C，以Y/C格式進行記錄，這種格式被稱為彩色降頻方式，這就是我們常說的S-Video信號。將亮度信號、彩色信號和同步信號合成一個信號就被稱為復合信號。形成復合信號的處理過程被稱為編碼，彩色信號和亮度信號經過編碼，很難再完全分開而又沒有損失，結果造成色串亮和亮串色，這就是大家認為復合信號質量沒有S-Video信號質量好的原因。視頻的形成和計算機視覺概要模擬彩色電視系統(tǒng)

一、NTSC彩色電視制式：它是1952年由美國國家電視標準委員會指定的彩色電視廣播標準，它采用正交平衡調幅的技術方式，故也稱為正交平衡調幅制。美國、加拿大等大部分西半球國家以及中國的臺灣、日本、韓國、菲律賓等。

二、PAL制式：它是西德在1962年指定的彩色電視廣播標準，它采用逐行倒相正交平衡調幅的技術方法，克服了NTSC制相位敏感造成色彩失真的缺點。西德、英國等一些西歐國家，新加坡、中國大陸及香港，澳大利亞、新西蘭等國家采用這種制式。PAL制式中根據(jù)不同的參數(shù)細節(jié)，又可以進一步劃分為G、I、D等制式，其中PAL－D制是我國大陸采用的制式。

三、SECAM制式：SECAM是法文的縮寫，意為順序傳送彩色信號與存儲恢復彩色信號制，是由法國在1956年提出，1966年制定的一種新的彩色電視制式。它也克服了NTSC制式相位失真的缺點，但采用時間分隔法來傳送兩個色差信號。使用SECAM制的國家主要集中在法國、東歐和中東一帶。

NTSC－MPAL－DSECAM

幀頻（Hz）

302525

行/幀

525625625

亮度帶寬（MHz）4.26.06.0

彩色副載波（MHz）3.584.434.25

聲音載波（MHz）4.56.56.5視頻的形成和計算機視覺概要ITU-RBT.601標準摘要采樣格式信號形式采樣頻率樣本數(shù)/掃描行數(shù)字信號取值

(MHz)NTSCPAL范圍(A/D)

Y13.5858(720)864(720)220級(16～235)4:2:2Cr6.75429(360)432(360)225級(16～240)

Cb6.75429(360)432(360)(128±112)

Y13.5858(720)864(720)220級(16～235)4:4:4Cr13.5858(720)864(720)225級(16～240)

Cb13.5858(720)864(720)(128±112)

ITU-RBT.601用于對隔行掃描電視圖像進行數(shù)字化，對NTSC和PAL制彩色電視的采樣頻率和有效顯示分辨率都作了規(guī)定。下表給出了ITU-RBT.601推薦的采樣格式、編碼參數(shù)和采樣頻率。

ITU-RBT.601推薦使用4∶2∶2的彩色電視圖像采樣格式。使用這種采樣格式時，Y用13.5MHz的采樣頻率，Cr，Cb用6.75MHz的采樣頻率。采樣時，采樣頻率信號要與場同步和行同步信號同步。視頻的形成和計算機視覺概要彩色圖像YCbCr樣本空間位置視頻的形成和計算機視覺概要圖像分辨率為了既可用625行的電視圖像又可用525行的電視圖像，CCITT規(guī)定了稱為公用中分辨率格式CIF(CommonIntermediateFormat)，1/4公用中分辨率格式(Quarter-CIF，QCIF)和(Sub-QuarterCommonIntermediateFormat，SQCIF)格式，具體規(guī)格如表所示。

CIFQCIFSQCIF

行數(shù)/幀

像素/行行數(shù)/幀像素/行行數(shù)/幀像素/行亮度(Y)288360(352)144180(176)96128色度(Cb)144180(176)7290(88)4864色度(Cr)144180(176)7290(88)4864視頻的形成和計算機視覺概要openCVOpenCV=Intel(c)OpenSourceComputerVisionLibrary視頻的形成和計算機視覺概要MatlabMATLAB

是矩陣實驗室（MatrixLaboratory）之意。除具備卓越的數(shù)值計算能力外，它還提供了專業(yè)水平的符號計算，文字處理，可視化建模仿真和實時控制等功能。視頻的形成和計算機視覺概要Exercises

DUEDATE:Oct28,2011.

1、人類視覺中最基本的幾個要素是什么？2、發(fā)光強度及亮度與照度各有什么不同？視頻的形成和計算機視覺概要3、ObjectSegmetationCANSUBMITTHEEXERCISEINPAIRS(2people).

ReadthefollowingimagesandextractthecarsbyapplyingvariousobjectdetectionandsegmentationmethodsinMatlab:Instructions:

circleeverycarwitharectangle.

estimatethecalculationtime.

SubmittheMatlabcode.視頻的形成和計算機視覺概要Haveabreak!視頻的形成和計算機視覺概要Supplementarymaterials:

TheFourierTransformJeanBaptisteJosephFourier視頻的形成和計算機視覺概要=3sin(x)A+1sin(3x)BA+B+0.8sin(5x)CA+B+C+0.4sin(7x)DA+B+C+DAsumofsinesandcosinessin(x)A視頻的形成和計算機視覺概要TheContinuousFourierTransform視頻的形成和計算機視覺概要ComplexNumbers

RealImaginaryZ=(a,b)ab|Z|

視頻的形成和計算機視覺概要xThewavelengthis1/u.Thefrequencyisu.1The1DBasisFunctions1/u視頻的形成和計算機視覺概要TheFourier

Transform1DContinuousFourierTransform:TheInverse

Fourier

TransformTheContinuousFourierTransform2DContinuousFourierTransform:TheInverseTransformTheTransform視頻的形成和計算機視覺概要Thewavelengthis.Thedirectionisu/v.The2DBasisFunctionsu=0,v=0u=1,v=0u=2,v=0u=-2,v=0u=-1,v=0u=0,v=1u=1,v=1u=2,v=1u=-2,v=1u=-1,v=1u=0,v=2u=1,v=2u=2,v=2u=-2,v=2u=-1,v=2u=0,v=-1u=1,v=-1u=2,v=-1u=-2,v=-1u=-1,v=-1u=0,v=-2u=1,v=-2u=2,v=-2u=-2,v=-2u=-1,v=-2UV視頻的形成和計算機視覺概要DiscreteFunctions0123...N-1f(x)f(x0)f(x0+Dx)f(x0+2Dx)f(x0+3Dx)f(n)=f(x0+nDx)x0x0+Dxx0+2Dxx0+3DxThediscretefunctionf:{f(0),f(1),f(2),…,f(N-1)}視