媒體及媒體技術

1、第二章媒體及媒體技術2.1 媒體的種類和特點2.1.1 常見的媒體元素文本文本是計算機文字處理程序的基礎文本數(shù)據(jù)可以在文本編輯軟件里制作文本文件分類非格式化文本格式化文本文件文件帶有各種文本排版信息等格式信息的文本文件段落格式、字體格式、文章的編號、分欄、邊框文字的變化：格式（sty1e）、字的定位（align）、字體（font）、字的大?。╯ize）2.1.1 常見的媒體元素圖形圖形的概念一般指用計算機繪制的畫面，如直線、圓、圓弧、矩形、任意曲線和圖表等。圖形的格式是一組描述點、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合，在圖形文件中只記錄生成圖的算法和圖上的某些特征點，也稱矢量圖

2、。line（x1,y1,x2,y2,color）circle（x,y,r,color）2.1.1 常見的媒體元素圖形圖形的特征圖形是對圖象進行抽象的結(jié)果（人工或自動）；圖形的矢量化使得有可能對圖中的各個部分分別進行控制（放大、縮小、旋轉(zhuǎn)、變形、扭曲、移位等）圖形的產(chǎn)生需要計算時間2.1.1 常見的媒體元素圖像圖像的概念圖像是指由輸入設備捕捉的實際場景畫面，或以數(shù)字化形式存儲的任意畫面。靜止的圖像是一個矩陣，由一些排成行列的點組成，這些點稱之為像素點（pixel），這種圖像稱為位圖（bitmap）。2.1.1 常見的媒體元素圖像圖像的主要技術參數(shù)分辨率屏幕分辨率計算機顯示器屏幕顯示圖像的最大顯示

3、區(qū)圖像分辨率數(shù)字化圖像的大小像素分辨率像素的寬高比，一般為1 1 2.1.1 常見的媒體元素圖像圖像的主要技術參數(shù)圖像灰度每個圖像的最大顏色數(shù)2位：黑白2色；4位：16色；8位：256色；24位：真彩色圖像文件大?。ǜ邔捇叶任粩?shù)）/8 字節(jié)2.1.1 常見的媒體元素圖像圖形與圖象的關系圖形是矢量概念，圖元；圖象是位圖概念，象素；圖形顯示圖元順序；圖象顯示象素順序；圖形變換無失真；圖象變換有失真；圖形以圖元為單位修改屬性、編輯；圖象只能對象素或圖塊處理；圖形是對圖象的抽象，但在屏幕上兩者無異2.1.1 常見的媒體元素視頻視頻的概念視頻源于電視技術，它由連續(xù)的畫面組成。這些畫面以一定的速率連續(xù)地投

4、射在屏幕上，使觀察者具有圖像連續(xù)運動的感覺。2.1.1 常見的媒體元素視頻視頻的制式PAL制（625/50）每秒25幀，水平掃描線為625條，水平分辨率240400個像素，隔行掃描。62年誕生于德國，應用于中國、新加坡、歐洲地區(qū)等（Pal-B、D、G、H、I、N、NC）。NTSC制（525/60）每秒30幀，水平掃描線為525條，水平分辨率240400個像素，隔行掃描。53年誕生于美國，應用于美國、日本、臺灣等（NTSC-M、NC、Japan等）。2.1.1 常見的媒體元素視頻視頻的制式SECAM制（625/50）每秒25幀，水平掃描線為525條、水平分辨率625。由法國人提出，應用于俄羅斯、

5、法國、非洲地區(qū)等。視頻的數(shù)字化指在一段時間內(nèi)以一定的速度對視頻信號進行捕獲并加以采樣后形成數(shù)字化數(shù)據(jù)的處理過程。2.1.1 常見的媒體元素視頻視頻的技術參數(shù)顏色空間R、G、B（紅、綠、藍）Y、U、V（為亮度，U、V為色差）H、S、I（色調(diào)、飽和度、強度）可以通過坐標變換而相互轉(zhuǎn)換幀速每秒鐘顯示的幀數(shù)目，計量單位為幀率（fps）視頻根據(jù)制式的不同： 30幀/秒（NTSC）、25幀/秒（PAL）2.1.1 常見的媒體元素視頻視頻的技術參數(shù)數(shù)據(jù)量幀速每幅圖像的數(shù)據(jù)量（不計壓縮）圖像質(zhì)量與數(shù)據(jù)源質(zhì)量有關（ ：表示“好于”） RGB視頻YUV視頻Y/C視頻(S視頻)復合視頻與視頻數(shù)據(jù)壓縮的倍數(shù)有關2.1

6、.1 常見的媒體元素音頻分類波形聲音包含了所有的聲音形式，它可以把任何聲音都進行采樣量化，并恰當?shù)鼗謴统鰜怼?.1.1 常見的媒體元素音頻分類語音人的說話聲雖是一種特殊的媒體，但也是一種波形，所以和波形聲音的文件格式相同。2.1.1 常見的媒體元素音頻數(shù)字聲音波形質(zhì)量的主要技術參數(shù)采樣頻率等于波形被等分的份數(shù)，份數(shù)越多，質(zhì)量越好11.025KHZ、 22.05KHZ、44.1KHZ采樣精度每次采樣信息量 8位、16位通道數(shù)聲音產(chǎn)生的波形數(shù)單聲道、立體聲道、5.1聲道2.1.1 常見的媒體元素動畫動畫的概念運動的圖畫，實質(zhì)是一幅幅靜態(tài)圖像的連續(xù)播放。動畫的連續(xù)播放既指時間上的連續(xù)，也指圖像內(nèi)容上

7、的連續(xù)，即播放的相鄰兩幅圖像之間內(nèi)容相差不大。計算機設計動畫方法造型動畫幀動畫2.1.1 常見的媒體元素動畫幀動畫2.1.1 常見的媒體元素動畫幀動畫2.1.2 媒體的種類視覺2.1.2 媒體與多媒體聽覺觸覺其他感覺2.1.3 媒體的性質(zhì)和特點各種媒體具有不同特點和性質(zhì)媒體是有格式的不同媒體表達信息的特點和程度各不相同媒體之間可以相互轉(zhuǎn)換媒體之間的關系也具有豐富的信息媒體具有空間性質(zhì)表現(xiàn)空間媒體按相互的空間關系進行組織視覺空間、聽覺空間和觸覺空間這3者既相互獨立又需要相互結(jié)合2.1.3 媒體的性質(zhì)和特點媒體的時間性質(zhì)表現(xiàn)需要時間媒體在時間坐標軸上的相互關系媒體的語義媒體的語義是有層次的抽象的程

8、度不同，語義的重點也就不同媒體結(jié)合的影響媒體結(jié)合是多層次的媒體結(jié)合有利于信息接受和理解隱喻交互的概念模型，也稱心智模型2.2 聽覺媒體技術2.2.1 聲音心理學 1.聲音的量綱聲音的振動是一種正弦波，聲音的變化必須確定三件事：頻率（變化的速度）、幅度（產(chǎn)生的壓力）、相位（何時開始）。另外一方面，人們可以感覺到聲音的強弱，可以感覺到歌唱家音調(diào)的高低。因此，聲音的量綱分為聲音的物理量綱和心理量綱。2.2.1 聲音心理學物理量綱可以用精確的值來描述，但對某一具體聲音得來的心理印象卻不容易說明白，因為心理印象要由被測者的經(jīng)驗而定。聲音的心理屬性和物理屬性不可等同，首先，這些關系不是線性的；其次這些關系

9、不是孤立的；第三這些關系不是不變的。2.2.1 聲音心理學兩者之間確有關系：例如聲音的響度取決于強度和頻率兩個因素，如果頻率不變，強聲顯得比弱聲要響些。但如果強度不變，過高頻率的聲音和過低頻率的聲音似乎比中頻的聲音聽起來都要弱一些。由此可見，響度依賴于頻率，原因是人耳能反應的頻率范圍是有上限和下限的。2.2.1 聲音的量綱2.2.1 聲音心理學 2.聽覺特性等響曲線由于響度與頻率和強度有關，所以在不同頻率上的強度是不同的。先設一個音為標準音，給予固定的頻率、強度和持續(xù)時間，例如1000Hz、40分貝、持續(xù)0.5秒；再給一個音也持續(xù)0.5秒，但頻率不同，通過調(diào)整使其響度聽起來一樣，得到的這樣一組

10、曲線稱之為等響曲線。等響曲線描述的是響度與頻率和強度的關系。從聲音心理學考慮，對同一響度的聲音在頻率上和強度上可以有很大的差別，這對聲音表現(xiàn)有重要意義。2.2.1 聲音心理學掩蔽（masking）聲音的響度不僅取決于自身的強度和頻率，而且也依賴于同時出現(xiàn)的其它聲音。各種聲音可以互相掩蔽，也就是說一種聲音的出現(xiàn)可能使得另一種聲音難于聽清。由于聲音的掩蔽效果，可以欺騙人的聽覺。例如，本來是多種頻率的聲音的復合，但聽眾以為是另一種聲音。所以，聲音的掩蔽特性常常用于聲音的壓縮。2.2.1 聲音心理學臨界頻帶在頻率的某一臨界區(qū)里，各種聲音是相互作用的，合成聲音的響度由這些頻率共同決定。如果超出臨界區(qū)，聲

11、音的響度不再相互作用，聲音的響度隨頻率的改變而改變。這個臨界區(qū)就是臨界頻帶，其寬度視其中心頻率而定。對于臨界頻帶的確定，使得對聲音響度的處理能夠有的放矢。2.2.1 聲音心理學相位從聲音的波形來看，聲音的起點和方向也要反映聲音的特性，這就是聲音的相位。當兩個聲音相同相位完全相反時，它們將相互抵消；當兩個聲音相同而且相位也相同時，聲音就會得到加強。相位的確定對于多聲道聲音系統(tǒng)的設計非常重要，其可以應用在回聲的消除、會議系統(tǒng)的聲音設計上。2.2.1 聲音心理學自然聲音的時變現(xiàn)象聲音的音調(diào)分成三個區(qū)域：起始區(qū)、穩(wěn)定狀態(tài)區(qū)、延遲區(qū)。研究表明，音調(diào)的頻譜分量隨時間改變。在穩(wěn)定狀態(tài)區(qū)，頻譜保持固定。在起始

12、區(qū)，振幅頻譜隨時間變化。因此自然聲音的起始部分是非常難識別的。例如剛聽了一小節(jié)音調(diào)后要識別樂器，專家也會覺得較難。時變現(xiàn)象用于數(shù)字系統(tǒng)中，說明聲音中的某些錯誤是不太容易發(fā)現(xiàn)的，但如果出現(xiàn)停頓就很容易引起人的注意。2.2.1 聲音心理學聽覺空間人耳可聽到來自各個方向的聲音，并用不同的因素來判定聲源的位置。聲源的位置不論對于增進人們的感受還是增進對聲音的理解，都是非常重要的。通過聲音的精確再現(xiàn)，就可以構造出聽覺空間。方位的線索是各種聲音到達兩耳的精確時間和強度。2.2.1 聲音心理學聽覺的頻譜特性聲音是時間函數(shù)，通過傅里葉變換可做出其頻譜圖。人耳對頻譜成分的波峰和波谷是非常敏感的。在語言中，元音很

13、少有頻譜變速變化的區(qū)域?；l改變，人耳是很敏感的。例如：快進的錄像，音調(diào)會發(fā)生變化。音色非常復雜，目前尚在研究中。音色的處理將使我們能識別音源，音色也代表和聲音有關的主觀質(zhì)量。2.2.1 聲音心理學聲音的心理模擬通過人工真實的方法，可以對視覺空間的景物進行再造或虛構，同樣也可以對聽覺空間的聲音進行心理的模擬，這就是所謂的可聽化（audiolization）。用聲音可以表達出一些聲音的效果。2.2.2 音頻的數(shù)字化和符號化從人與計算機交互的角度看，音頻信號的處理包括下述3點：人與計算機通信，也就是計算機接收音頻信號。包括音頻獲取、語音的識別和理解。計算機與人通信，也就是計算機輸出音頻。包括音樂合

14、成、語音合成、聲音的定位以及音頻視頻的同步。人-計算機-人通信。人通過網(wǎng)絡與異地的人進行語音通信，相關的音頻處理有語音采集、音頻的編碼和解碼、音頻的存儲、音頻的傳輸、基于內(nèi)容的檢索等。2.2.2 音頻的數(shù)字化和符號化 1音頻的數(shù)字化與再現(xiàn)在計算機中，所有的信息都以數(shù)字來表示。聲音信號也是由一系列的數(shù)字來表示的，稱為數(shù)字音頻。數(shù)字音頻的特點就是保真度好，動態(tài)范圍大。數(shù)字聲音是一個數(shù)據(jù)序列。它是由外界聲音經(jīng)過采樣、量化和編碼后得到的。2.2.2 音頻的數(shù)字化和符號化對聲音進行采樣用奈奎斯特采樣定理來決定采樣的頻率。根據(jù)該定理，只要采樣頻率高于信號中最高頻率的兩倍，就可以從采樣中完全恢復原始信號的波

15、形。因為人耳所能聽到的頻率范圍為20Hz到20KHz，所以實際的采樣過程中，為了達到好的效果，就采用44.1KHz作為高質(zhì)量聲音的采樣頻率。如果達不到這么高的頻率，聲音恢復的效果就會差一些，例如電話聲音的質(zhì)量等。一般來說，聲音恢復和采樣頻率、信道帶寬都有關。2.2.2 音頻的數(shù)字化和符號化2.2.2 音頻的數(shù)字化和符號化與數(shù)字音頻相關的重要特性：采樣頻率采樣頻率與聲音的質(zhì)量關系最為緊密。采樣頻率越高，聲音質(zhì)量越接近原始聲音，所需的存儲量便越多。標準的采樣頻率有三個：44.1KHz，22.05kHz，和11.025kHz。采樣位數(shù)存放一個采樣點所需的比特數(shù)。一般的采樣位數(shù)為8位或16位，即把聲音

16、采集為256等份或65536等分。2.2.2 音頻的數(shù)字化和符號化聲道數(shù)有單聲道、雙聲道和多聲道。如多種語言音頻混存時，需要多聲道數(shù)據(jù)量2.2.2 音頻的數(shù)字化和符號化 2聲音的符號化波形聲音可以把音樂、語音都進行數(shù)據(jù)化并且表示出來，但是并沒有把它看成音樂和語音。對于聲音的符號化（也可以稱為抽象化）表示包括兩種類型：一種是音樂，一種是語音。2.2.2 音頻的數(shù)字化和符號化（1）音樂的符號化MIDI MIDI(Music Instrument Digital Interface)是指樂器數(shù)字接口的國際標準。 MIDI消息，是指樂譜的數(shù)字描述。任何電子樂器，只要有處理MIDI消息的微處理器和合適的

17、硬件接口，就構成了一個MIDI設備。當一組MIDI消息通過音樂合成芯片處理時，合成器能解釋這些符號并且產(chǎn)生音樂。 MIDI的關鍵是作為媒體能夠記錄這些音樂的符號，相應的設備能夠產(chǎn)生和解釋這些符號。它給出了一種得到音樂聲音的方法。2.2.2 音頻的數(shù)字化和符號化MIDI的特點：與波形聲音相比，MIDI不是聲音數(shù)據(jù)而是指令，所以數(shù)據(jù)量要少得多。30分鐘的音樂，用MIDI文件記錄只需200KB，用16位CD品質(zhì)的未壓縮WAV文件記錄需317MB MIDI可以與其他波形聲音配合使用，形成伴樂的效果。而兩個波形聲音一般是不能同時使用的對MIDI的編輯也很靈活，用戶可以自由地改變音調(diào)、音色等屬性，直到自己

18、想要的效果 MIDI在音質(zhì)上還不能與真正的樂器完全相似。無法模擬自然界中其它非樂曲類聲音2.2.2 音頻的數(shù)字化和符號化（2）語音的符號化語音與文字是對應的。波形聲音可以記錄表示語音，它是不是語音取決于聽者對聲音的理解。對語音的符號化實際上就是對語音的識別，將語音轉(zhuǎn)變?yōu)樽址?，反之也可以將文字合成語音。語音指構成人類語音信號的各種聲音。在采集和存儲上可以與波形聲音一樣，但由于語音是由一連串的音素組成?！耙痪湓挕敝邪S多音節(jié)以及上下文過渡過程的連接體等特殊的信息，并且語音本身與語言有關，所以要把它作為一個獨立的媒體來看待。2.2.3 音頻媒體的三維化處理 1三維虛擬聲空間所謂三維虛擬聲空間（Th

19、ree Dimensional Virtual Acoustic，3DVA），是指用一定的聲音設備人為地產(chǎn)生出來的具有空間位置信息的聲音空間。三維聽覺的使用明顯地依賴于用戶對聽覺空間中各種信息源的定位能力。一般說來，三維虛擬聲空間要達到以下的一些目標：在可聽的范圍內(nèi)重現(xiàn)頻率分辨度和動態(tài)范圍；在三維空間中精確地呈現(xiàn)聲音的位置信息；能表達多個靜止和移動的聲源；能和頭部的動作具有一定的關聯(lián)；能夠支持一定程度的交互。2.2.3 音頻媒體的三維化處理 23DVA的基本理論人類感知聲源位置的最基本的理論是雙工理論，該理論基于兩種因素：兩耳間聲音的到達時間差ITD（Interaural Time Diffe

20、rences）和兩耳間聲音的強度差IID（Interaural Intensity Differences）。時間差是由于距離的原因造成的，當聲音從正面?zhèn)鱽頃r，距離相等，所以沒有時間差；但若偏右3o，則到達右耳的時間就要比左耳約早30ms，而正是這30ms，使得我們辨別出了聲源的位置。強度差是由于信號衰減造成的，信號的衰減是因為距離產(chǎn)生的，在很多情況下是因為人的頭部遮擋，使聲音衰減，產(chǎn)生了強度的差別，使得靠近聲源一側(cè)的耳朵聽到的聲音強度要大于另一耳。2.2.3 音頻媒體的三維化處理 3DVA理論較形象地說明：人耳對聲音定位的特性，通過大腦的綜合作用后，對有差別的聲音信號進行了相對于空間位置的定

21、位。人耳對聲源方位的判定起決定作用的是耳廓。當聲波從聲源傳到聽者的耳部時，聲波會在耳廓發(fā)生不斷的反射和折射，然后由內(nèi)耳道傳到耳鼓，使人產(chǎn)生音感。這種反射、折射是依賴于頻率的，通過不同頻率的變化，使得人耳能夠辨別聲源的方位。另外，當聲音從聲源傳到人的內(nèi)耳并形成聽覺時，聲音信號已經(jīng)攜帶了兩個很重要的信息，從而形成了空間真實感和環(huán)境真實感。聲源的本身信號特征、聲源的空間三維位置、聲源所處的環(huán)境這三個因素描述了聲源的全部信息。2.2.3 音頻媒體的三維化處理 3HRTF方法實現(xiàn)空間真實感的關鍵是建立起耳廓模型，這種方法被稱為“雙耳相關函數(shù)法”，也即HRTF（Head-Related Transfer

22、Function，與頭部有關的轉(zhuǎn)移函數(shù)）。從理論上利用HRTF產(chǎn)生真實空間聲音的算法如下圖所示。2.2.3 音頻媒體的三維化處理2.3 視覺媒體技術2.3.1 視覺心理學1視覺的心理特征視覺是人類最重要的感知能力，通過視覺可以感知到外部世界的形狀、大小、色彩、明暗、機理和運動等多方面的信息。同聲音心理學相似，與視覺相對應的光學物理性質(zhì)和心理知覺也是截然不同的。雖然光的物理特性與心理知覺有關，但它們的關系并不是線性的。對光的色調(diào)和亮度的感覺不僅和它的頻率和強度有關，而且還和它出現(xiàn)的背景有關，和同時出現(xiàn)的周圍光有關。2.3.1 視覺心理學2.3.1 視覺心理學2. 視覺特性亮度亮度是人眼對光強度的

23、感受。一個物體的亮度不僅跟目標的物理強度有關，而且與周圍的背景有關。假定整個照明增大了，目標和環(huán)境的光強就按照比例增大了，兩者之間的物理對比就維持不變。但當照明增強時，目標的亮度可能會亮一些，也可能保持不變，甚至看起來亮度減少一些。這些都取決于中心和周圍之間的相對強度，也就是對比度。對圖像的處理最重要的是亮度的差別。2.3.1 視覺心理學與聲音相似，視覺上也有等亮曲線，反映了視覺在亮度上與波長的關系。在同一亮度感覺下，不同波長的光具有不同的光強。視覺也有掩蔽現(xiàn)象，在很亮的高光周圍時難以看清的，道理和聲音是類似的。2.3.1 視覺心理學視覺的時間特性建立視覺圖像需要時間，而一旦建立起來之后，即使

24、把圖像對象拿走，這種反應也要維持一段時間。這是因為把光轉(zhuǎn)變?yōu)樯窠?jīng)電需要時間。正因為視網(wǎng)膜圖像時逐漸消退的，所以視覺暫留可以存在十分之幾秒。2.3.1 視覺心理學彩色表示顏色需要考慮三種心理屬性：色調(diào)、亮度和飽和度。色調(diào)就是通常意義下的彩色，它隨波長的變化而變化，反映顏色的基本特性。亮度是光作用于人眼所引起的明亮程度的感覺，與光強有關。飽和度是代表為了產(chǎn)生所感知到的彩色在白光中必須混入的純單色光的相對數(shù)量，或者說是顏色的深淺程度。對同一色調(diào)的彩色光，飽和度越深顏色越鮮艷。色調(diào)和飽和度統(tǒng)稱為色度。2.3.1 視覺心理學顏色是由三種原色光混合而成的?？梢姽獾牟ㄩL從380納米到780納米。不同波長呈現(xiàn)

25、出不同顏色，可見光波長從長到短依次為紅橙黃綠青藍紫。只有單一波長成分的光稱為單色光，含有兩種以上波長成分的光稱為復合光，所有可見光按照一定比例混合就是白色光。在輻射功率相同的條件下，不同波長的光不僅給人不同的顏色感覺，而且也給人不同的亮度感覺。人眼一般感到紅光最暗，藍光次之，而黃綠光最亮。研究表明，人眼對亮度信息敏感，而對顏色的敏感程度相對較弱。2.3.1 視覺心理學在白色背景下，一般使用紅黃藍作為原色來混合其它顏色，這就是減基色合成彩色系統(tǒng)。在黑色背景下，一般使用紅綠藍作為基色來混合其它顏色，這就是加基色合成彩色系統(tǒng)。一般繪畫時采用前者，電視中采用后者。2.3.1 視覺心理學注視點和視野范圍

26、人在觀察視覺類媒體時，注視點喜歡集中在什么地方？研究表明，視覺注視點主要集中在圖像中黑白交界的部分，尤其是拐角處。如果是閉合圖形，注視點往往向內(nèi)側(cè)移動。注視點容易集中在時隱時現(xiàn)運動變化的部分或者圖像中特別不規(guī)則的地方。人眼的視野開闊，左右視角約為180度，上下約為60度。但視力好的部位僅限于2到3度，用于觀察視覺媒體的細節(jié)。而在周邊，則主要識別特征。但是需要注意，只有大的視野才有可能制造出臨場感。2.3.2 模擬視頻原理光柵掃描原理視頻攝像機將圖像轉(zhuǎn)換為電信號，電信號是一維的，但圖像是二維的，將二維圖像轉(zhuǎn)成為一維電信號是由光柵掃描的方法實現(xiàn)的?？焖俚膾呙杈€從頂部開始，一行一行地向下掃描，直至顯

27、示器的最底部，然后再返回頂部的起點，重新開始掃描。這個過程產(chǎn)生的一個有序的圖像信號集合，就組成了電視顯示中的一幅圖像，在此稱為幀。連續(xù)不斷的圖像序列就形成了動態(tài)視頻圖像。2.3.2 模擬視頻原理分辨率表現(xiàn)的是電視系統(tǒng)中重現(xiàn)場景細節(jié)的能力。水平掃描線所能分辨出的點數(shù)稱為水平分辨率。一般來說，點數(shù)越小，線越細，分辨率就越高。一個系統(tǒng)的水平分辨率為400線，指在對應于圖像高度的水平距離內(nèi)能交替顯示200條白線和200條黑線。相應地，一幀中垂直掃描的行數(shù)稱為垂直分辨率。垂直分辨率和每幀中的掃描線有關，掃描線越多，分辨率就越高。廣播電視系統(tǒng)垂直的行數(shù)一般是525線（北美和日本）和625線（歐洲和中國）。

28、2.3.2 模擬視頻原理每一秒鐘所掃描的幀數(shù)稱為幀頻，一般為25幀（PAL）或者30幀（NTSC）。由于是隔行掃描，所以垂直頻率分別是每秒50幀和60幀。因此，人眼就不容易看到閃爍。寬高比是掃描的一個重要的參數(shù)。掃描行的長度與在圖像垂直方向上的所有掃描行所跨過的距離之比，就成為寬高比。目前電視中的寬高比為4：3，新型電視的寬高比為16：9，有些電影系統(tǒng)的寬高比為2：1 。2.3.2 模擬視頻原理彩色視頻加基系統(tǒng)是彩色視頻系統(tǒng)的基礎。彩色電視采用紅綠藍（RGB）作為三基色進行配色，產(chǎn)生出R、G、B三個輸出信號，RGB信號可以分別傳輸，但是要配上相應的同步信號。在RGB系統(tǒng)中需要三根視頻電纜互連，

29、但是三個信號在同步關系方面相當復雜，所以大部分彩色電視不處理RGB，而是將RGB信號組合起來在一條電纜中傳輸，這就是復合信號。2.3.2 模擬視頻原理現(xiàn)有的幾種不同的復合信號有NTSC、PAL和SECAM。根據(jù)亮度/色度原理，任何彩色信號都可以分為亮度和色度。色度只要使用色差就可以表示顏色信號，而不必使用RGB三個完整的信號。將亮度和色度交錯排列分別放到電纜上，就組成了復合信號。電視系統(tǒng)的三種制式采用的信號形式也不完全一樣。NTSC的亮度信號稱為Y，色度信號為I和Q，即YIQ方式。PAL制式和SECAM制式的亮度和色度與之相對應為YUV，它們的差別在于編碼方式的不同。YUV、YIQ可以與RGB

30、互換。RGB、YUV和YIQ等都被稱為彩色空間。2.3.2 模擬視頻原理視頻設備按照用途不同，視頻設備可以分為廣播、專業(yè)和消費三個級別。廣播級一般是大型的電視臺和網(wǎng)絡站使用，它的性能最好，用于大系統(tǒng)應用，價格昂貴；專業(yè)級一般用于教育界和工業(yè)界的小廣播站，有較好的性能。而消費級是家用設備，一般操作簡單、性能可靠，一般價格是第一位的。具體的視頻設備有如彩色攝影機、視頻記錄設備和視頻監(jiān)視設備。2.3.3 視覺媒體數(shù)字化1位圖圖像與數(shù)字視頻對計算機來說，無論是文字或圖形，還是圖像或視頻，在計算機上進行處理首先要數(shù)字化。與音頻信號相似，對所要處理的一幅畫面，通過對每一個象素進行采樣，并且按照顏色或者灰度

31、進行量化，就可以得到圖像的數(shù)字化結(jié)果。數(shù)字化的結(jié)果放在顯示緩存區(qū)中，與顯示器上的點一一對應，這就是位圖圖像。對視頻按照時間進行數(shù)字化所得到的圖像序列，就構成了數(shù)字視頻序列。它同樣與頻率和量化的比特數(shù)有關。頻率必須足夠高，以跟上模擬信號流；量化的比特數(shù)越多，量化的值就越多，所能表示的顏色或灰度級數(shù)就越多。2.3.3 視覺媒體數(shù)字化在一幅圖像的X軸上是一行的點數(shù)，在Y軸上是行數(shù)。X、Y的交叉點就是一個象素，每一個象素可以有若干比特來表示。按照標準間隔在時間軸上采樣的圖像組組成視頻序列。所以可以說，圖像是離散的視頻，而視頻是連續(xù)的圖像。當進行再現(xiàn)時，被表示稱數(shù)字形式的數(shù)據(jù)按格式和時間送上顯示器，就又

32、恢復了原先的形態(tài)。其它的視覺媒體如文字、圖形等，在顯示原理上都是以此為基礎的，它們都是通過預先的編碼表示出顯示的形式，在再現(xiàn)時，在顯示器上畫出所要的圖形或者文字。2.3.3 視頻媒體數(shù)字化2.3.3 視頻媒體數(shù)字化2.3.3 視覺媒體數(shù)字化2圖形圖形(Graphics)：一種抽象化的圖像，是對圖像依據(jù)某個標準進行分析而產(chǎn)生的結(jié)果。它不直接描述數(shù)據(jù)的每一點，而是描述產(chǎn)生這些點的過程及方法。因此被稱之為矢量圖形，一般直接稱為圖形。2.3.3 視覺媒體數(shù)字化矢量圖形是以一組指令的形式存在的，這些指令描述一幅圖中所包含的直線、圓、弧線、矩形的大小和形狀，也可以用更為復雜的形式表示圖像中曲面、光照、材質(zhì)

33、等效果。在計算機上顯示一幅圖像時，首先要解釋這些指令，然后將它們轉(zhuǎn)變成屏幕上顯示的形狀和顏色。圖形的矢量化使得有可能對圖中的各個部分分別進行控制。計算機可以對其中任何對象分別進行任意的變換：放大、縮小、旋轉(zhuǎn)、變形、扭曲、移位、疊加等，并仍保持圖形特性。圖形變換的靈活性，使其在處理上獲得了更大的自由度。2.3.3 視覺媒體數(shù)字化3符號與文字符號媒體：是某種抽象的結(jié)果。各種描述量、語言、數(shù)據(jù)、標識符、數(shù)值、字符等都是符號媒體。由于符號具有明顯的結(jié)構性，大腦可以識別這種結(jié)構，進而可識別出由這一組符號所代表的信息。這種結(jié)構可以組成文本，即字符串；也可以組成數(shù)據(jù)組，如數(shù)據(jù)庫中的一個元組，均可表達特定的信

34、息。2.3.3 視覺媒體數(shù)字化符號媒體特點：符號媒體要知識的輔助才能使用，知識的輔助隨著層次的升高而不斷增強作用 “I CAN SPEAK ENGLISH”如學英文時，開始只認識字母；學過英文單詞后，認識到一個個單詞；學習文法后，發(fā)現(xiàn)是一個句子符號媒體表達精度高符號媒體存儲量小2.3.3 視覺媒體數(shù)字化文本媒體是用得最多的符號媒體形式。主要特點如下：文本是流結(jié)構形式：由具有上下文關系的字符串組成,它與字符的結(jié)構樣式有關，與形式無關對文本的控制不影響媒體信息本來的表達文本顯示的改變只是屬性的改變，并不影響文本本身的含義對文本的處理應遵從文本內(nèi)部的結(jié)構，如斷詞，接尾，分段，章節(jié)安排2.3.4 視覺

35、媒體的三維立體顯示1立體顯示原理三維顯示實際上具有兩個含義，一個是指物體的三維圖像在平面上的顯示，特別是三維圖形的顯示，這是圖形學的重點。另一個含義是指所顯示的圖像確確實實是立體的，是“浮”在空間中的，和我們所看的立體電影一樣。這是我們討論的重點。視差（parallax）是投影到人眼視網(wǎng)膜上圖像上兩點間的水平距離，正是這個距離產(chǎn)生了視覺上的立體感。注視遠處的物體時的視差與注視近處物體時的視差是不同的，因此所謂的立體感正是這個不同距離作用的結(jié)果。2.3.4 視覺媒體的三維立體顯示視差2.3.4 視覺媒體的三維立體顯示2視差決定立體視覺的是視差。視差的種類大致分為四種：零視差、正視差、負視差和發(fā)散

36、視差。它們產(chǎn)生的立體感覺是不同的。零視差：當顯示的左右眼圖像之間沒有縫隙時，視差為零，就稱為零視差。正視差：一旦計算機顯示的立體圖像對的視差大于0，我們就可以看到深度。正視差差值大于0且小于等于人眼之間的距離。負視差：當兩眼的目光交叉時，就會產(chǎn)生負視差。這時，所觀察的對象將會浮現(xiàn)在兩眼與顯示器之間的空間中。發(fā)散視差：視差的值比兩眼之間的距離還要大。2.3.4 視覺媒體的三維立體顯示3立體圖像的產(chǎn)生（1）旋轉(zhuǎn)法一個很簡單的方法是將一幅圖像進行旋轉(zhuǎn)以制造出視差效果。旋轉(zhuǎn)的順序是：將整個圖像從左至右旋轉(zhuǎn)4，以產(chǎn)生左眼圖像將整個圖像從右至左旋轉(zhuǎn)4，以產(chǎn)生右眼圖像執(zhí)行透視投影顯示圖像使用旋轉(zhuǎn)的方法產(chǎn)生出

37、的立體圖像對一些人來說并不適合，會引起不舒適感，顯示立體圖像時一般不采用這種方法。2.3.4 視覺媒體的三維立體顯示（2）投影變換法投影變換法是模仿人眼觀察物體時產(chǎn)生的視差，通過運算后投影到顯示器上。在這種方法中，場景中的物體對象在建模之后，通過投影變換生成線框圖，然后對該物體進行成像處理，生成左右眼的圖像。標準的投影變換基于單視點的投影。在坐標系中，以視點為投影中心，將三維物體的點投影于顯示器的投影平面上，便在該平面上產(chǎn)生三維物體的像。把投影中心的單點變換為雙點，很容易構造出雙眼的投影視圖出來。2.3.4 視覺媒體的三維立體顯示4立體圖像的顯示立體圖像的顯示方法有兩種。一種方法是讓一只眼睛看

38、一個顯示器，每個顯示器只顯示對應眼睛的圖像，這樣頭腦中就產(chǎn)生了立體圖像。這種方法的實現(xiàn)是把顯示器縮小，放入到頭盔中，這就是所謂的頭盔顯示器。另一種方法是在顯示器上快速地顯示兩眼不同的圖像，而觀察者帶上立體眼鏡進行觀察。由于眼鏡中的液晶片與顯示的圖像同步地進行開關切換，使得在每一時刻只有一只眼睛能夠看到對應的圖像，只要速度足夠快，由眼睛的暫留現(xiàn)象和大腦的作用，感覺到的就是立體的圖像。2.4 觸覺媒體技術2.4.1 觸覺媒體概述皮膚可以感覺環(huán)境的溫度、濕度，也可感覺壓力，身體可以感覺振動、運動、旋轉(zhuǎn)等，這些都是觸覺在起作用，都可以作為傳遞信息的媒體。事實上，觸覺媒體就是環(huán)境媒體，它描述了該環(huán)境中的

39、一切特征和參數(shù)。2.4.1 觸覺媒體概述人體在信息交流過程中起的作用最大的是人的頭部、手部和整體軀干。與外界環(huán)境的觸覺交互主要包括位置跟蹤、力量反饋等方面。對手部信息的處理包括手部的位置、手指的動作類型、手部的感覺、手部的力量反饋等。這些都要有特殊的設備和技術完成系統(tǒng)對手部信息的數(shù)字化和跟蹤，并將它們與系統(tǒng)的控制和應用結(jié)合起來。這些設備和技術包括數(shù)據(jù)手套、壓力傳感手套、手部位置超聲波跟蹤器、力量反饋接口等。對軀干的位置跟蹤和反饋與手部和頭部很類似，但它要反映人體的體勢語言和外界對人體的力量反饋，如振動、傾覆、旋轉(zhuǎn)等。這些設備包括數(shù)據(jù)服裝、三維數(shù)據(jù)座艙、模擬器等。2.4.2 簡單指點設備與技術1

40、指點的任務指點的任務包括：選擇定位定向路徑數(shù)量操作2.4.2 簡單指點設備與技術 2指點設備指點設備分成直接指點設備和間接指點設備兩類。前者直接使用特殊的指點設備或用手指點屏幕，后者則通過指點設備的間接動作對屏幕上的對象進行指點。直接指點設備包括：光筆、觸摸屏及輸入筆等。間接指點設備包括：鼠標、跟蹤球、控制桿和圖形板。這些設備不接觸顯示屏幕，所以使用時不會遮擋視線，也不易疲勞。2.4.2 簡單指點設備與技術這些指點設備的輸入都是在顯示平面上的二維坐標空間中進行的，包括坐標改變的速度。除非經(jīng)過特殊的變換，很難把它們向三維空間轉(zhuǎn)換?，F(xiàn)在又出現(xiàn)了一些新型的指點設備，例如腳用鼠標器、視線跟蹤器、凝視檢測控制器等。2.4.3 位置跟蹤為了與系統(tǒng)交互，系統(tǒng)必須了解參與者的身體動作，包括頭、眼、手、肢體等部位的位置與運動方向。系統(tǒng)將這些位置與運動的數(shù)據(jù)轉(zhuǎn)變?yōu)樘囟ǖ哪Ｊ?，對相應的動作進行表示。 1手指動作測量和數(shù)字化對手部的跟蹤采用