全書課件：多媒體技術教程

1、多媒體技術教程目 錄 第 一 章 緒論 第 二 章 媒體及媒體技術 第 三 章 多媒體數(shù)據(jù)壓縮 第 四 章 多媒體硬件環(huán)境 第 五 章 多媒體軟件基礎 第 六 章 多媒體的時間表示與同步 第 七 章 超媒體與Web系統(tǒng) 第 八 章 多媒體數(shù)據(jù)庫 第 九 章 多媒體信息分析與處理 第 十 章 網絡多媒體技術 第十一章 多媒體應用系統(tǒng)第一章 緒論1.1 多媒體的基本概念1.1.1 媒體與多媒體 媒體的概念 媒體（mediamedia，mediummedium）： 承載信息之載體； CCITTCCITT對媒體的分類： 感覺、表示、顯示、存儲、傳輸1.1.1 媒體與多媒體 表示媒體： 聲：語音、聲響、

2、音樂等圖：圖像、圖形等 像：動畫、視頻等 文：文字、符號、數(shù)值等 其他：動作媒體、觸覺媒體等1.1.1 媒體與多媒體 媒體分類 視覺視視 覺覺（靜止）（靜止）圖像圖像圖形圖形文字文字符號符號語言文字語言文字抽象化抽象化抽象化抽象化 （動態(tài)）（動態(tài)）圖像圖像圖形圖形動態(tài)影像視頻動態(tài)影像視頻真實感三維動畫真實感三維動畫二維動畫二維動畫三維動畫三維動畫其它表示為視覺的媒體其它表示為視覺的媒體1.1.1 媒體與多媒體 媒體分類 聽覺 觸覺 其他感覺抽象化抽象化聽覺聽覺聲音聲音聲響（自然界）聲響（自然界）語音（人類語言）語音（人類語言）音樂音樂其它（嗅覺、味覺等）其它（嗅覺、味覺等）觸覺觸覺振動振動運動

3、運動傳感傳感/發(fā)生器發(fā)生器1.1.1 媒體與多媒體 多媒體的概念 內涵 表示媒體的多樣化； 一個技術領域 一個技術時代 定義 以數(shù)字化為基礎，能夠對多種媒體信息進行采集、編碼、存儲、傳輸、處理和表現(xiàn)，綜合處理多種媒體信息并使之建立起有機的邏輯聯(lián)系，集成為一個系統(tǒng)并能具有良好交互性的技術。 1.1.2 多媒體的關鍵特性 多樣性適應了信息載體的多樣性 信息載體的多樣性是相對于計算機而言的，指的就是信息媒體的多樣化，有人稱之為信息多維化。 65%65%20%20%10%10%2%2%3%3%視覺味覺嗅覺觸覺聽覺1.1.2 多媒體的關鍵特性 交互性易于人和計算機的交互 交互可以增加對信息的注意力和理解

4、力，延長信息保留的時間。 當交互性引入時，“活動”本身作為一種媒體便介入到了數(shù)據(jù)轉變?yōu)樾畔?、信息轉變?yōu)橹R的過程之中。 當我們完全地進入到一個與信息環(huán)境一體化的虛擬信息空間自由遨游時，這才是交互式應用的高級階段，這就是虛擬現(xiàn)實（Virtual Reality）。 1.1.2 多媒體的關鍵特性 交互性易于人和計算機的交互1.1.2 多媒體的關鍵特性 集成性：實現(xiàn)了信息處理的集成性 多媒體信息媒體的集成 處理這些媒體的設備與設施的集成1.2 多媒體技術的產生與發(fā)展1.2.1 多媒體是技術與應用發(fā)展的必然 多媒體熱潮的興起 多媒體熱潮的興起 DVI，HyperCard 九十年代一批產品出現(xiàn) MPEG

5、(VCD)，MPC，VOD 連續(xù)召開多媒體國際學術研討會 MM93，MM94，MM95 “叫好不叫座” 94年開始進入低潮期概念教育階段概念教育階段存在問題：存在問題： 未形成產業(yè)群未形成產業(yè)群 1.2.1 多媒體是技術與應用發(fā)展的必然 多媒體的第二次高潮 一批設備普及 CD-ROM，SB 一批產品出現(xiàn) VCD，VR，會議系統(tǒng)會議系統(tǒng) 一批產業(yè)出現(xiàn) 美國舊金山附近的美國舊金山附近的“Multimedia Gorge”Multimedia Gorge” 向新加坡、臺灣等地輻射向新加坡、臺灣等地輻射 產業(yè)化前景極好產業(yè)化前景極好 用途范圍極為廣泛用途范圍極為廣泛 一個新的技術一個新的技術時代的到來

6、！時代的到來！1.2.1 多媒體是技術與應用發(fā)展的必然多媒體技術的產生計算機計算機計算機計算機大眾傳播大眾傳播大眾傳播大眾傳播通通 信信文字文字文字文字0.1.0.10.1.0.1網網 絡絡客客 戶戶客客 戶戶客客 戶戶服服務務器器通通 信信計算機計算機大眾傳播大眾傳播通通 信信多多媒媒體體信信息息系系統(tǒng)統(tǒng)1.2.2 多媒體改善了人類信息的交流 人的思維模式： 形象、聯(lián)想、多樣、模糊、并行 計算機的工作方式： 精確、清楚、串行、 人機交互形式 人人（通過計算機）；人計算機；計算機人；計算機計算機 多媒體： 改“人到計算機” 為“計算機到人”1.2.3 多媒體縮短了人類傳遞信息的路徑 計算機在數(shù)

7、據(jù)處理方面有了很大的改善 人類并不僅僅依賴文本這一類單一的數(shù)據(jù)形式來傳遞所有的信息 圖像、聲音等多媒體信息都是人類獲取和傳遞信息極為重要的渠道 多媒體利用各種信息媒體形式，集成地用聲、圖、文等來承載信息，也就是縮短了信息傳遞的路徑。1.3 多媒體技術研究的主要內容1.3.1 什么是多媒體技術 三大信息技術的聯(lián)合： 計算機、通信、TV 綜合各個方面： 通信、廣播、印刷、出版、計算、 多媒體技術 以網絡為支持，為人類生活提供各種服務創(chuàng)造一種新型的人與人交往的新環(huán)境。1.3.2 多媒體技術研究的主要內容 多媒體技術的基礎 多媒體軟硬件平臺技術 多媒體信息管理與處理技術 網絡多媒體與分布應用技術 1.

8、4 小 結本章重點 多媒體是技術與應用發(fā)展的必然產物 多媒體標志著一個新的技術時代 多媒體的三大關鍵特性 信息載體的多樣性、交互性和集成性 多媒體改善了人類信息的交流，縮短了人類信息交流的路徑 多媒體技術概念與研究內容第二章 媒體及媒體技術2.1 媒體的種類和特點2.1.1 常見的媒體元素 文本 文本是計算機文字處理程序的基礎 文本數(shù)據(jù)可以在文本編輯軟件里制作 文本文件分類 非格式化文本 格式化文本文件文件 帶有各種文本排版信息等格式信息的文本文件 段落格式、字體格式、文章的編號、分欄、邊框 文字的變化：格式（sty1e）、字的定位（align）、字體（font）、字的大?。╯ize） 2.1

9、.1 常見的媒體元素 圖形 圖形的概念 一般指用計算機繪制的畫面，如直線、圓、圓弧、矩形、任意曲線和圖表等。圖形的格式是一組描述點、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合，在圖形文件中只記錄生成圖的算法和圖上的某些特征點，也稱矢量圖。 line（x1,y1,x2,y2,color） circle（x,y,r,color） 2.1.1 常見的媒體元素 圖形 圖形的特征 圖形是對圖象進行抽象的結果（人工或自動）； 圖形的矢量化使得有可能對圖中的各個部分分別進行控制（放大、縮小、旋轉、變形、扭曲、移位等） 圖形的產生需要計算時間2.1.1 常見的媒體元素 圖像 圖像的概念 圖像是指由輸

10、入設備捕捉的實際場景畫面，或以數(shù)字化形式存儲的任意畫面。 靜止的圖像是一個矩陣，由一些排成行列的點組成，這些點稱之為像素點（pixel），這種圖像稱為位圖（bitmap）。 2.1.1 常見的媒體元素 圖像 圖像的主要技術參數(shù) 分辨率 屏幕分辨率計算機顯示器屏幕顯示圖像的最大顯示區(qū) 圖像分辨率 數(shù)字化圖像的大小 像素分辨率像素的寬高比，一般為1 1 2.1.1 常見的媒體元素 圖像 圖像的主要技術參數(shù) 圖像灰度 每個圖像的最大顏色數(shù) 2位：黑白2色； 4位：16色； 8位：256色； 24位：真彩色 圖像文件大小 （高寬灰度位數(shù)）/8 字節(jié) 2.1.1 常見的媒體元素 圖像 圖形與圖象的關系

11、圖形是矢量概念，圖元；圖象是位圖概念，象素； 圖形顯示圖元順序；圖象顯示象素順序； 圖形變換無失真；圖象變換有失真； 圖形以圖元為單位修改屬性、編輯；圖象只能對象素或圖塊處理； 圖形是對圖象的抽象，但在屏幕上兩者無異2.1.1 常見的媒體元素 視頻 視頻的概念 視頻源于電視技術，它由連續(xù)的畫面組成。這些畫面以一定的速率連續(xù)地投射在屏幕上，使觀察者具有圖像連續(xù)運動的感覺。2.1.1 常見的媒體元素 視頻 視頻的制式 PAL制（625/50） 每秒25幀，水平掃描線為625條，水平分辨率240400個像素，隔行掃描 。62年誕生于德國，應用于中國、新加坡、歐洲地區(qū)等（Pal-B、D、G、H、I、N

12、、NC）。 NTSC制（525/60） 每秒30幀，水平掃描線為525條，水平分辨率240400個像素，隔行掃描 。53年誕生于美國，應用于美國、日本、臺灣等（NTSC-M、NC、Japan等）。2.1.1 常見的媒體元素 視頻 視頻的制式 SECAM制（625/50） 每秒25幀，水平掃描線為525條、水平分辨率625。由法國人提出，應用于俄羅斯、法國、非洲地區(qū)等。 視頻的數(shù)字化 指在一段時間內以一定的速度對視頻信號進行捕獲并加以采樣后形成數(shù)字化數(shù)據(jù)的處理過程。2.1.1 常見的媒體元素 視頻 視頻的技術參數(shù) 顏色空間 R、G、B（紅、綠、藍） Y、U、V（為亮度，U、V為色差） H、S、I

13、（色調、飽和度、強度） 可以通過坐標變換而相互轉換 幀速 每秒鐘顯示的幀數(shù)目， 計量單位為幀率（fps） 視頻根據(jù)制式的不同： 30幀/秒（NTSC）、25幀/秒（PAL） 2.1.1 常見的媒體元素 視頻 視頻的技術參數(shù) 數(shù)據(jù)量 幀速每幅圖像的數(shù)據(jù)量（不計壓縮 ） 圖像質量 與數(shù)據(jù)源質量有關（ ：表示“好于”） RGB視頻YUV視頻Y/C視頻(S視頻)復合視頻 與視頻數(shù)據(jù)壓縮的倍數(shù)有關注1：UV兩個色差信號可合成為一個色度信號C，進而形成Y/C記錄方式，這種方式得到的視頻稱為S視頻。注2：把亮度Y與色度C進一步混合在一起，便形成復合視頻。2.1.1 常見的媒體元素 動畫 動畫的概念 運動的圖

14、畫，實質是一幅幅靜態(tài)圖像的連續(xù)播放。動畫的連續(xù)播放既指時間上的連續(xù)，也指圖像內容上的連續(xù)，即播放的相鄰兩幅圖像之間內容相差不大 。 計算機設計動畫方法 造型動畫 幀動畫 2.1.1 常見的媒體元素 動畫 幀動畫 2.1.1 常見的媒體元素 動畫 幀動畫 2.1.1 常見的媒體元素 音頻 分類 波形聲音 包含了所有的聲音形式，它可以把任何聲音都進行采樣量化，并恰當?shù)鼗謴统鰜怼?2.1.1 常見的媒體元素 音頻 分類 語音 人的說話聲雖是一種特殊的媒體，但也是一種波形，所以和波形聲音的文件格式相同。 音樂符號化了的聲音，樂譜可轉變?yōu)榉柮襟w形式。2.1.1 常見的媒體元素 音頻 數(shù)字聲音波形質量的

15、主要技術參數(shù) 采樣頻率 等于波形被等分的份數(shù)，份數(shù)越多，質量越好 11.025KHZ、 22.05KHZ、44.1KHZ 采樣精度 每次采樣信息量 8位、16位 通道數(shù) 聲音產生的波形數(shù) 單聲道、立體聲道、5.1聲道數(shù)據(jù)量計算：(采樣頻率采樣精度通道數(shù) 時間 )/8 字節(jié)2.1.2 媒體的種類 視覺視視 覺覺（靜止）（靜止）圖像圖像圖形圖形文字文字符號符號語言文字語言文字抽象化抽象化抽象化抽象化 （動態(tài)）（動態(tài)）圖像圖像圖形圖形動態(tài)影像視頻動態(tài)影像視頻真實感三維動畫真實感三維動畫二維動畫二維動畫三維動畫三維動畫其它表示為視覺的媒體其它表示為視覺的媒體2.1.2 媒體與多媒體 聽覺 觸覺 其他感

16、覺抽象化抽象化聽覺聽覺聲音聲音聲響（自然界）聲響（自然界）語音（人類語言）語音（人類語言）音樂音樂其它（嗅覺、味覺等）其它（嗅覺、味覺等）觸覺觸覺振動振動運動運動傳感傳感/發(fā)生器發(fā)生器2.1.3 媒體的性質和特點 各種媒體具有不同特點和性質 媒體是有格式的 不同媒體表達信息的特點和程度各不相同 媒體之間可以相互轉換 媒體之間的關系也具有豐富的信息 媒體具有空間性質 表現(xiàn)空間 媒體按相互的空間關系進行組織 視覺空間、聽覺空間和觸覺空間這3者既相互獨立又需要相互結合 2.1.3 媒體的性質和特點 媒體的時間性質 表現(xiàn)需要時間 媒體在時間坐標軸上的相互關系 媒體的語義 媒體的語義是有層次的 抽象的程

17、度不同，語義的重點也就不同 媒體結合的影響 媒體結合是多層次的 媒體結合有利于信息接受和理解 隱喻 交互的概念模型，也稱心智模型 2.2 聽覺媒體技術 2.2.1 聲音心理學 1.聲音的量綱聲音的量綱 聲音的振動是一種正弦波，聲音的變化必須聲音的振動是一種正弦波，聲音的變化必須確定三件事：頻率（變化的速度）、幅度（產生確定三件事：頻率（變化的速度）、幅度（產生的壓力）、相位（何時開始）。的壓力）、相位（何時開始）。 另外一方面，人們可以感覺到聲音的強弱，另外一方面，人們可以感覺到聲音的強弱，可以感覺到歌唱家音調的高低?？梢愿杏X到歌唱家音調的高低。 因此，聲音的量綱分為聲音的物理量綱和心因此，聲

18、音的量綱分為聲音的物理量綱和心理量綱。理量綱。2.2.1 聲音心理學 物理量綱可以用精確的值來描述，但物理量綱可以用精確的值來描述，但對某一具體聲音得來的心理印象卻不容易對某一具體聲音得來的心理印象卻不容易說明白，因為心理印象要由被測者的經驗說明白，因為心理印象要由被測者的經驗而定。而定。 聲音的心理屬性和物理屬性不可等同，聲音的心理屬性和物理屬性不可等同，首先，這些關系不是線性的；其次這些關首先，這些關系不是線性的；其次這些關系不是孤立的；第三這些關系不是不變的。系不是孤立的；第三這些關系不是不變的。2.2.1 聲音心理學 兩者之間確有關系：例如聲音的響度兩者之間確有關系：例如聲音的響度取決

19、于強度和頻率兩個因素，如果頻率不取決于強度和頻率兩個因素，如果頻率不變，強聲顯得比弱聲要響些。但如果強度變，強聲顯得比弱聲要響些。但如果強度不變，過高頻率的聲音和過低頻率的聲音不變，過高頻率的聲音和過低頻率的聲音似乎比中頻的聲音聽起來都要弱一些。由似乎比中頻的聲音聽起來都要弱一些。由此可見，響度依賴于頻率，原因是人耳能此可見，響度依賴于頻率，原因是人耳能反應的頻率范圍是有上限和下限的。反應的頻率范圍是有上限和下限的。 2.2.1 聲音的量綱 心理變量首要的物理變量次要的物理變量響度響度聲強聲強聲波頻率聲波頻率音調音調聲波頻率聲波頻率聲強聲強音色音色聲波復合聲波復合音量音量頻率和強度頻率和強度密

20、度密度頻率和強度頻率和強度諧和（流暢或粗糙）諧和（流暢或粗糙）諧波結構諧波結構音樂技巧音樂技巧噪聲噪聲強度強度頻率組合，各種時間參量頻率組合，各種時間參量騷擾聲騷擾聲強度強度頻率組合，無意義頻率組合，無意義2.2.1 聲音心理學 2.聽覺特性聽覺特性等響曲線等響曲線 由于響度與頻率和強度有關，所以在不同頻由于響度與頻率和強度有關，所以在不同頻率上的強度是不同的。先設一個音為標準音，給率上的強度是不同的。先設一個音為標準音，給予固定的頻率、強度和持續(xù)時間，例如予固定的頻率、強度和持續(xù)時間，例如1000Hz、40分貝、持續(xù)分貝、持續(xù)0.5秒；再給一個音也持續(xù)秒；再給一個音也持續(xù)0.5秒，但秒，但頻

21、率不同，通過調整使其響度聽起來一樣，得到頻率不同，通過調整使其響度聽起來一樣，得到的這樣一組曲線稱之為等響曲線。等響曲線描述的這樣一組曲線稱之為等響曲線。等響曲線描述的是響度與頻率和強度的關系。從聲音心理學考的是響度與頻率和強度的關系。從聲音心理學考慮，對同一響度的聲音在頻率上和強度上可以有慮，對同一響度的聲音在頻率上和強度上可以有很大的差別，這對聲音表現(xiàn)有重要意義。很大的差別，這對聲音表現(xiàn)有重要意義。 2.2.1 聲音心理學掩蔽（掩蔽（masking） 聲音的響度不僅取決于自身的強度和頻率，聲音的響度不僅取決于自身的強度和頻率，而且也依賴于同時出現(xiàn)的其它聲音。各種聲音可而且也依賴于同時出現(xiàn)的

22、其它聲音。各種聲音可以互相掩蔽，也就是說一種聲音的出現(xiàn)可能使得以互相掩蔽，也就是說一種聲音的出現(xiàn)可能使得另一種聲音難于聽清。由于聲音的掩蔽效果，可另一種聲音難于聽清。由于聲音的掩蔽效果，可以欺騙人的聽覺。例如，本來是多種頻率的聲音以欺騙人的聽覺。例如，本來是多種頻率的聲音的復合，但聽眾以為是另一種聲音。所以，聲音的復合，但聽眾以為是另一種聲音。所以，聲音的掩蔽特性常常用于聲音的壓縮。的掩蔽特性常常用于聲音的壓縮。2.2.1 聲音心理學臨界頻帶臨界頻帶 在頻率的某一臨界區(qū)里，各種聲音是相互在頻率的某一臨界區(qū)里，各種聲音是相互作用的，合成聲音的響度由這些頻率共同決定。作用的，合成聲音的響度由這些頻

23、率共同決定。如果超出臨界區(qū)，聲音的響度不再相互作用，如果超出臨界區(qū)，聲音的響度不再相互作用，聲音的響度隨頻率的改變而改變。這個臨界區(qū)聲音的響度隨頻率的改變而改變。這個臨界區(qū)就是臨界頻帶，其寬度視其中心頻率而定。對就是臨界頻帶，其寬度視其中心頻率而定。對于臨界頻帶的確定，使得對聲音響度的處理能于臨界頻帶的確定，使得對聲音響度的處理能夠有的放矢。夠有的放矢。2.2.1 聲音心理學相位相位 從聲音的波形來看，聲音的起點和方向也要從聲音的波形來看，聲音的起點和方向也要反映聲音的特性，這就是聲音的相位。當兩個反映聲音的特性，這就是聲音的相位。當兩個聲音相同相位完全相反時，它們將相互抵消；聲音相同相位完全

24、相反時，它們將相互抵消；當兩個聲音相同而且相位也相同時，聲音就會當兩個聲音相同而且相位也相同時，聲音就會得到加強。得到加強。 相位的確定對于多聲道聲音系統(tǒng)的設計非常相位的確定對于多聲道聲音系統(tǒng)的設計非常重要，其可以應用在回聲的消除、會議系統(tǒng)的重要，其可以應用在回聲的消除、會議系統(tǒng)的聲音設計上。聲音設計上。 2.2.1 聲音心理學自然聲音的時變現(xiàn)象自然聲音的時變現(xiàn)象 聲音的音調分成三個區(qū)域：起始區(qū)、穩(wěn)定狀聲音的音調分成三個區(qū)域：起始區(qū)、穩(wěn)定狀態(tài)區(qū)、延遲區(qū)。態(tài)區(qū)、延遲區(qū)。 研究表明，音調的頻譜分量隨時間改變。在穩(wěn)研究表明，音調的頻譜分量隨時間改變。在穩(wěn)定狀態(tài)區(qū)，頻譜保持固定。在起始區(qū)，振幅頻譜定狀

25、態(tài)區(qū)，頻譜保持固定。在起始區(qū)，振幅頻譜隨時間變化。因此自然聲音的起始部分是非常難隨時間變化。因此自然聲音的起始部分是非常難識別的。例如剛聽了一小節(jié)音調后要識別樂器，識別的。例如剛聽了一小節(jié)音調后要識別樂器，專家也會覺得較難。時變現(xiàn)象用于數(shù)字系統(tǒng)中，專家也會覺得較難。時變現(xiàn)象用于數(shù)字系統(tǒng)中，說明聲音中的某些錯誤是不太容易發(fā)現(xiàn)的，但如說明聲音中的某些錯誤是不太容易發(fā)現(xiàn)的，但如果出現(xiàn)停頓就很容易引起人的注意。果出現(xiàn)停頓就很容易引起人的注意。 2.2.1 聲音心理學聽覺空間聽覺空間 人耳可聽到來自各個方向的聲音，并用不同人耳可聽到來自各個方向的聲音，并用不同的因素來判定聲源的位置。聲源的位置不論對于的

26、因素來判定聲源的位置。聲源的位置不論對于增進人們的感受還是增進對聲音的理解，都是非增進人們的感受還是增進對聲音的理解，都是非常重要的。通過聲音的精確再現(xiàn)，就可以構造出常重要的。通過聲音的精確再現(xiàn)，就可以構造出聽覺空間。聽覺空間。 方位的線索是各種聲音到達兩耳的精確時間方位的線索是各種聲音到達兩耳的精確時間和強度。和強度。2.2.1 聲音心理學聽覺的頻譜特性聽覺的頻譜特性 聲音是時間函數(shù)，通過傅里葉變換可做出其頻聲音是時間函數(shù)，通過傅里葉變換可做出其頻譜圖。人耳對頻譜成分的波峰和波谷是非常敏感譜圖。人耳對頻譜成分的波峰和波谷是非常敏感的。在語言中，元音很少有頻譜變速變化的區(qū)域。的。在語言中，元音

27、很少有頻譜變速變化的區(qū)域?；l改變，人耳是很敏感的。例如：快進的錄像，基頻改變，人耳是很敏感的。例如：快進的錄像，音調會發(fā)生變化。音調會發(fā)生變化。 音色非常復雜，目前尚在研究中。音色的處音色非常復雜，目前尚在研究中。音色的處理將使我們能識別音源，音色也代表和聲音有關理將使我們能識別音源，音色也代表和聲音有關的主觀質量。的主觀質量。 2.2.1 聲音心理學聲音的心理模擬聲音的心理模擬 通過人工真實的方法，可以對視覺空間的景物通過人工真實的方法，可以對視覺空間的景物進行再造或虛構，同樣也可以對聽覺空間的聲音進行再造或虛構，同樣也可以對聽覺空間的聲音進 行 心 理 的 模 擬 ， 這 就 是 所 謂

28、 的 可 聽 化進 行 心 理 的 模 擬 ， 這 就 是 所 謂 的 可 聽 化（audiolization）。）。用聲音可以表達出一些聲音的用聲音可以表達出一些聲音的效果。效果。 2.2.2 音頻的數(shù)字化和符號化 從人與計算機交互的角度看，音頻信號的處理包從人與計算機交互的角度看，音頻信號的處理包括下述括下述3點：點：v人與計算機通信，也就是計算機接收音頻信號。包人與計算機通信，也就是計算機接收音頻信號。包括音頻獲取、語音的識別和理解。括音頻獲取、語音的識別和理解。v計算機與人通信，也就是計算機輸出音頻。包括音計算機與人通信，也就是計算機輸出音頻。包括音樂合成、語音合成、聲音的定位以及音頻

29、視頻的同樂合成、語音合成、聲音的定位以及音頻視頻的同步。步。v人人-計算機計算機-人通信。人通過網絡與異地的人進行語人通信。人通過網絡與異地的人進行語音通信，相關的音頻處理有語音采集、音頻的編碼音通信，相關的音頻處理有語音采集、音頻的編碼和解碼、音頻的存儲、音頻的傳輸、基于內容的檢和解碼、音頻的存儲、音頻的傳輸、基于內容的檢索等。索等。2.2.2 音頻的數(shù)字化和符號化 1音頻的數(shù)字化與再現(xiàn)音頻的數(shù)字化與再現(xiàn) 在計算機中，所有的信息都以數(shù)字來表示。在計算機中，所有的信息都以數(shù)字來表示。聲音信號也是由一系列的數(shù)字來表示的，稱為數(shù)聲音信號也是由一系列的數(shù)字來表示的，稱為數(shù)字音頻。數(shù)字音頻的特點就是保

30、真度好，動態(tài)范字音頻。數(shù)字音頻的特點就是保真度好，動態(tài)范圍大。圍大。 數(shù)字聲音是一個數(shù)據(jù)序列。它是由外界聲音經數(shù)字聲音是一個數(shù)據(jù)序列。它是由外界聲音經過采樣、量化和編碼后得到的。過采樣、量化和編碼后得到的。 2.2.2 音頻的數(shù)字化和符號化 對聲音進行采樣用奈奎斯特采樣定理來決定對聲音進行采樣用奈奎斯特采樣定理來決定采樣的頻率。根據(jù)該定理，只要采樣頻率高于信采樣的頻率。根據(jù)該定理，只要采樣頻率高于信號中最高頻率的兩倍，就可以從采樣中完全恢復號中最高頻率的兩倍，就可以從采樣中完全恢復原始信號的波形。因為人耳所能聽到的頻率范圍原始信號的波形。因為人耳所能聽到的頻率范圍為為20Hz到到20KHz，所

31、以實際的采樣過程中，為了所以實際的采樣過程中，為了達到好的效果，就采用達到好的效果，就采用44.1KHz作為高質量聲音作為高質量聲音的采樣頻率。如果達不到這么高的頻率，聲音恢的采樣頻率。如果達不到這么高的頻率，聲音恢復的效果就會差一些，例如電話聲音的質量等。復的效果就會差一些，例如電話聲音的質量等。一般來說，聲音恢復和采樣頻率、信道帶寬都有一般來說，聲音恢復和采樣頻率、信道帶寬都有關。關。 聲音的采樣以及量化圖聲音的采樣以及量化圖2.2.2 音頻的數(shù)字化和符號化2.2.2 音頻的數(shù)字化和符號化 與數(shù)字音頻相關的重要特性：與數(shù)字音頻相關的重要特性：采樣頻率采樣頻率 采樣頻率與聲音的質量關系最為緊

32、密。采樣采樣頻率與聲音的質量關系最為緊密。采樣頻率越高，聲音質量越接近原始聲音，所需的存頻率越高，聲音質量越接近原始聲音，所需的存儲量便越多。標準的采樣頻率有三個：儲量便越多。標準的采樣頻率有三個：44.1KHz，22.05kHz，和和11.025kHz。采樣位數(shù)采樣位數(shù) 存放一個采樣點所需的比特數(shù)。一般的采樣存放一個采樣點所需的比特數(shù)。一般的采樣位數(shù)為位數(shù)為8位或位或16位，即把聲音采集為位，即把聲音采集為256等份或等份或65536等分。等分。2.2.2 音頻的數(shù)字化和符號化聲道數(shù)聲道數(shù) 有單聲道、雙聲道和多聲道。如多種語言音有單聲道、雙聲道和多聲道。如多種語言音頻混存時，需要多聲道頻混存

33、時，需要多聲道數(shù)據(jù)量數(shù)據(jù)量 ( (采樣頻率每點采樣位數(shù)聲道數(shù)采樣頻率每點采樣位數(shù)聲道數(shù)) )數(shù)據(jù)量數(shù)據(jù)量 8( (字節(jié)字節(jié)/ /秒秒) )2.2.2 音頻的數(shù)字化和符號化 2聲音的符號化聲音的符號化 波形聲音可以把音樂、語音都進行數(shù)據(jù)化并波形聲音可以把音樂、語音都進行數(shù)據(jù)化并且表示出來，但是并沒有把它看成音樂和語音。且表示出來，但是并沒有把它看成音樂和語音。 對于聲音的符號化（也可以稱為抽象化）表對于聲音的符號化（也可以稱為抽象化）表示包括兩種類型：一種是音樂，一種是語音。示包括兩種類型：一種是音樂，一種是語音。2.2.2 音頻的數(shù)字化和符號化（1）音樂的符號化）音樂的符號化MIDI MIDI

34、(Music Instrument Digital Interface)是是指樂器數(shù)字接口的國際標準。指樂器數(shù)字接口的國際標準。 MIDI消息，是指樂譜的數(shù)字描述。消息，是指樂譜的數(shù)字描述。 任何電子樂器，只要有處理任何電子樂器，只要有處理MIDI消息的微處消息的微處理器和合適的硬件接口，就構成了一個理器和合適的硬件接口，就構成了一個MIDI設設備。當一組備。當一組MIDI消息通過音樂合成芯片處理時，消息通過音樂合成芯片處理時，合成器能解釋這些符號并且產生音樂。合成器能解釋這些符號并且產生音樂。 MIDI的關鍵是作為媒體能夠記錄這些音樂的的關鍵是作為媒體能夠記錄這些音樂的符號，相應的設備能夠產

35、生和解釋這些符號。它符號，相應的設備能夠產生和解釋這些符號。它給出了一種得到音樂聲音的方法。給出了一種得到音樂聲音的方法。2.2.2 音頻的數(shù)字化和符號化 MIDI的特點：的特點：v與波形聲音相比，與波形聲音相比，MIDI不是聲音數(shù)據(jù)而是指令，不是聲音數(shù)據(jù)而是指令，所以數(shù)據(jù)量要少得多。所以數(shù)據(jù)量要少得多。30分鐘的音樂，分鐘的音樂， 用用MIDI文文件記錄只需件記錄只需200KB，用用16位位CD品質的未壓縮品質的未壓縮WAV文件記錄需文件記錄需317MBv MIDI可以與其他波形聲音配合使用，形成伴樂的可以與其他波形聲音配合使用，形成伴樂的效果。而兩個波形聲音一般是不能同時使用的效果。而兩個

36、波形聲音一般是不能同時使用的v對對MIDI的編輯也很靈活，用戶可以自由地改變音的編輯也很靈活，用戶可以自由地改變音調、音色等屬性，直到自己想要的效果調、音色等屬性，直到自己想要的效果v MIDI在音質上還不能與真正的樂器完全相似。無在音質上還不能與真正的樂器完全相似。無法模擬自然界中其它非樂曲類聲音法模擬自然界中其它非樂曲類聲音2.2.2 音頻的數(shù)字化和符號化（2）語音的符號化）語音的符號化 語音與文字是對應的。波形聲音可以記錄表語音與文字是對應的。波形聲音可以記錄表示語音，它是不是語音取決于聽者對聲音的理解。示語音，它是不是語音取決于聽者對聲音的理解。對語音的符號化實際上就是對語音的識別，將

37、語對語音的符號化實際上就是對語音的識別，將語音轉變?yōu)樽址?，反之也可以將文字合成語音。音轉變?yōu)樽址粗部梢詫⑽淖趾铣烧Z音。 語音指構成人類語音信號的各種聲音。在采語音指構成人類語音信號的各種聲音。在采集和存儲上可以與波形聲音一樣，但由于語音是集和存儲上可以與波形聲音一樣，但由于語音是由一連串的音素組成。由一連串的音素組成。“一句話一句話”中包含許多音中包含許多音節(jié)以及上下文過渡過程的連接體等特殊的信息，節(jié)以及上下文過渡過程的連接體等特殊的信息，并且語音本身與語言有關，所以要把它作為一個并且語音本身與語言有關，所以要把它作為一個獨立的媒體來看待。獨立的媒體來看待。2.2.3 音頻媒體的三維化處

38、理 1三維虛擬聲空間三維虛擬聲空間 所謂三維虛擬聲空間（所謂三維虛擬聲空間（Three Dimensional Virtual Acoustic，3DVA），），是指用一定的聲音是指用一定的聲音設備人為地產生出來的具有空間位置信息的聲音設備人為地產生出來的具有空間位置信息的聲音空間。空間。 三維聽覺的使用明顯地依賴于用戶對聽覺空間三維聽覺的使用明顯地依賴于用戶對聽覺空間中各種信息源的定位能力。一般說來，三維虛擬中各種信息源的定位能力。一般說來，三維虛擬聲空間要達到以下的一些目標：聲空間要達到以下的一些目標： 在可聽的范圍內重現(xiàn)頻率分辨度和動態(tài)范圍；在可聽的范圍內重現(xiàn)頻率分辨度和動態(tài)范圍； 在三

39、維空間中精確地呈現(xiàn)聲音的位置信息；在三維空間中精確地呈現(xiàn)聲音的位置信息； 能表達多個靜止和移動的聲源；能表達多個靜止和移動的聲源； 能和頭部的動作具有一定的關聯(lián)；能和頭部的動作具有一定的關聯(lián)； 能夠支持一定程度的交互。能夠支持一定程度的交互。2.2.3 音頻媒體的三維化處理 23DVA的基本理論的基本理論 人類感知聲源位置的最基本的理論是雙工理論人類感知聲源位置的最基本的理論是雙工理論，該理論基于兩種因素：兩耳間聲音的到達時間差該理論基于兩種因素：兩耳間聲音的到達時間差ITD（Interaural Time Differences）和兩耳間聲音和兩耳間聲音的強度差的強度差IID（Interau

40、ral Intensity Differences）。 時間差是由于距離的原因造成的，當聲音從正時間差是由于距離的原因造成的，當聲音從正面?zhèn)鱽頃r，距離相等，所以沒有時間差；但若偏右面?zhèn)鱽頃r，距離相等，所以沒有時間差；但若偏右3o，則到達右耳的時間就要比左耳約早則到達右耳的時間就要比左耳約早30ms，而正而正是這是這30ms，使得我們辨別出了聲源的位置。使得我們辨別出了聲源的位置。 強度差是由于信號衰減造成的，信號的衰減是強度差是由于信號衰減造成的，信號的衰減是因為距離產生的，在很多情況下是因為人的頭部遮因為距離產生的，在很多情況下是因為人的頭部遮擋，使聲音衰減，產生了強度的差別，使得靠近聲擋，

41、使聲音衰減，產生了強度的差別，使得靠近聲源一側的耳朵聽到的聲音強度要大于另一耳。源一側的耳朵聽到的聲音強度要大于另一耳。2.2.3 音頻媒體的三維化處理 3DVA理論較形象地說明：人耳對聲音定位的理論較形象地說明：人耳對聲音定位的特性，通過大腦的綜合作用后，對有差別的聲音信特性，通過大腦的綜合作用后，對有差別的聲音信號進行了相對于空間位置的定位。號進行了相對于空間位置的定位。 人耳對聲源方位的判定起決定作用的是耳廓。人耳對聲源方位的判定起決定作用的是耳廓。當聲波從聲源傳到聽者的耳部時，聲波會在耳廓發(fā)當聲波從聲源傳到聽者的耳部時，聲波會在耳廓發(fā)生不斷的反射和折射，然后由內耳道傳到耳鼓，使生不斷的

42、反射和折射，然后由內耳道傳到耳鼓，使人產生音感。這種反射、折射是依賴于頻率的，通人產生音感。這種反射、折射是依賴于頻率的，通過不同頻率的變化，使得人耳能夠辨別聲源的方位過不同頻率的變化，使得人耳能夠辨別聲源的方位。另外，當聲音從聲源傳到人的內耳并形成聽覺時。另外，當聲音從聲源傳到人的內耳并形成聽覺時，聲音信號已經攜帶了兩個很重要的信息，從而形，聲音信號已經攜帶了兩個很重要的信息，從而形成了空間真實感和環(huán)境真實感。聲源的本身信號特成了空間真實感和環(huán)境真實感。聲源的本身信號特征、聲源的空間三維位置、聲源所處的環(huán)境這三個征、聲源的空間三維位置、聲源所處的環(huán)境這三個因素描述了聲源的全部信息。因素描述了

43、聲源的全部信息。 2.2.3 音頻媒體的三維化處理 3HRTF方法方法 實現(xiàn)空間真實感的關鍵是建立起耳廓模型，這實現(xiàn)空間真實感的關鍵是建立起耳廓模型，這種方法被稱為種方法被稱為“雙耳相關函數(shù)法雙耳相關函數(shù)法”，也即，也即HRTF（Head-Related Transfer Function，與頭部有關的轉與頭部有關的轉移函數(shù)）。移函數(shù)）。 從理論上利用從理論上利用HRTF產生真實空間聲音的算法產生真實空間聲音的算法如下圖所示。如下圖所示。 2.2.3 音頻媒體的三維化處理 場景模型（幾何、屬性、聲源、聲宿） 聲 學 模 擬 脈 沖 響 應 曲 線 卷 積 運 算 雙 耳 脈 沖 響 應 卷 積

44、 運 算 真 實 感 空 間 聲 HRTF 雙耳相關函數(shù) 無 回 響 聲 音 輸 出 2.3 視覺媒體技術 2.3.1 視覺心理學 1視覺的心理特征視覺的心理特征 視覺是人類最重要的感知能力，通過視覺可視覺是人類最重要的感知能力，通過視覺可以感知到外部世界的形狀、大小、色彩、明暗、以感知到外部世界的形狀、大小、色彩、明暗、機理和運動等多方面的信息。機理和運動等多方面的信息。 同聲音心理學相似，與視覺相對應的光學物同聲音心理學相似，與視覺相對應的光學物理性質和心理知覺也是截然不同的。雖然光的物理性質和心理知覺也是截然不同的。雖然光的物理特性與心理知覺有關，但它們的關系并不是線理特性與心理知覺有關

45、，但它們的關系并不是線性的。對光的色調和亮度的感覺不僅和它的頻率性的。對光的色調和亮度的感覺不僅和它的頻率和強度有關，而且還和它出現(xiàn)的背景有關，和同和強度有關，而且還和它出現(xiàn)的背景有關，和同時出現(xiàn)的周圍光有關。時出現(xiàn)的周圍光有關。2.3.1 視覺心理學視覺心理變量視覺心理變量主要的物理變量主要的物理變量亮度亮度光強光強色調（彩色）色調（彩色）波長波長濃度（彩色的濃度）濃度（彩色的濃度）光譜成分光譜成分對比對比光強、波長、周圍光光強、波長、周圍光2.3.1 視覺心理學 2. 視覺特性視覺特性 亮度亮度 亮度是人眼對光強度的感受。亮度是人眼對光強度的感受。 一個物體的亮度不僅跟目標的物理強度有關，

46、一個物體的亮度不僅跟目標的物理強度有關，而且與周圍的背景有關。假定整個照明增大了，而且與周圍的背景有關。假定整個照明增大了，目標和環(huán)境的光強就按照比例增大了，兩者之間目標和環(huán)境的光強就按照比例增大了，兩者之間的物理對比就維持不變。但當照明增強時，目標的物理對比就維持不變。但當照明增強時，目標的亮度可能會亮一些，也可能保持不變，甚至看的亮度可能會亮一些，也可能保持不變，甚至看起來亮度減少一些。這些都取決于中心和周圍之起來亮度減少一些。這些都取決于中心和周圍之間的相對強度，也就是對比度。間的相對強度，也就是對比度。 對圖像的處理最重要的是亮度的差別。對圖像的處理最重要的是亮度的差別。2.3.1 視

47、覺心理學 與聲音相似，視覺上也有等亮曲線，反映了視與聲音相似，視覺上也有等亮曲線，反映了視覺在亮度上與波長的關系。在同一亮度感覺下，覺在亮度上與波長的關系。在同一亮度感覺下，不同波長的光具有不同的光強。不同波長的光具有不同的光強。 視覺也有掩蔽現(xiàn)象，在很亮的高光周圍時難以視覺也有掩蔽現(xiàn)象，在很亮的高光周圍時難以看清的，道理和聲音是類似的看清的，道理和聲音是類似的。2.3.1 視覺心理學視覺的時間特性視覺的時間特性 建立視覺圖像需要時間，而一旦建立起來之后，建立視覺圖像需要時間，而一旦建立起來之后，即使把圖像對象拿走，這種反應也要維持一段時即使把圖像對象拿走，這種反應也要維持一段時間。這是因為把

48、光轉變?yōu)樯窠涬娦枰獣r間。正因間。這是因為把光轉變?yōu)樯窠涬娦枰獣r間。正因為視網膜圖像時逐漸消退的，所以視覺暫留可以為視網膜圖像時逐漸消退的，所以視覺暫留可以存在十分之幾秒。存在十分之幾秒。2.3.1 視覺心理學彩色彩色 表示顏色需要考慮三種心理屬性：色調、亮度表示顏色需要考慮三種心理屬性：色調、亮度和飽和度。色調就是通常意義下的彩色，它隨波和飽和度。色調就是通常意義下的彩色，它隨波長的變化而變化，反映顏色的基本特性。亮度是長的變化而變化，反映顏色的基本特性。亮度是光作用于人眼所引起的明亮程度的感覺，與光強光作用于人眼所引起的明亮程度的感覺，與光強有關。飽和度是代表為了產生所感知到的彩色在有關。飽

49、和度是代表為了產生所感知到的彩色在白光中必須混入的純單色光的相對數(shù)量，或者說白光中必須混入的純單色光的相對數(shù)量，或者說是顏色的深淺程度。對同一色調的彩色光，飽和是顏色的深淺程度。對同一色調的彩色光，飽和度越深顏色越鮮艷。色調和飽和度統(tǒng)稱為色度。度越深顏色越鮮艷。色調和飽和度統(tǒng)稱為色度。 2.3.1 視覺心理學 顏色是由三種原色光混合而成的。可見光的波顏色是由三種原色光混合而成的?？梢姽獾牟ㄩL從長從380納米到納米到780納米。不同波長呈現(xiàn)出不同顏色，納米。不同波長呈現(xiàn)出不同顏色，可見光波長從長到短依次為紅橙黃綠青藍紫?？梢姽獠ㄩL從長到短依次為紅橙黃綠青藍紫。 只有單一波長成分的光稱為單色光，含

50、有兩種只有單一波長成分的光稱為單色光，含有兩種以上波長成分的光稱為復合光，所有可見光按照一以上波長成分的光稱為復合光，所有可見光按照一定比例混合就是白色光。定比例混合就是白色光。 在輻射功率相同的條件下，不同波長的光不僅在輻射功率相同的條件下，不同波長的光不僅給人不同的顏色感覺，而且也給人不同的亮度感覺。給人不同的顏色感覺，而且也給人不同的亮度感覺。人眼一般感到紅光最暗，藍光次之，而黃綠光最亮。人眼一般感到紅光最暗，藍光次之，而黃綠光最亮。研究表明，人眼對亮度信息敏感，而對顏色的敏感研究表明，人眼對亮度信息敏感，而對顏色的敏感程度相對較弱。程度相對較弱。2.3.1 視覺心理學 在白色背景下，一

51、般使用紅黃藍作為原色來在白色背景下，一般使用紅黃藍作為原色來混合其它顏色，這就是減基色合成彩色系統(tǒng)?；旌掀渌伾?，這就是減基色合成彩色系統(tǒng)。 在黑色背景下，一般使用紅綠藍作為基色來在黑色背景下，一般使用紅綠藍作為基色來混合其它顏色，這就是加基色合成彩色系統(tǒng)?；旌掀渌伾?，這就是加基色合成彩色系統(tǒng)。 一般繪畫時采用前者，電視中采用后者。一般繪畫時采用前者，電視中采用后者。2.3.1 視覺心理學注視點和視野范圍注視點和視野范圍 人在觀察視覺類媒體時，注視點喜歡集中在什人在觀察視覺類媒體時，注視點喜歡集中在什么地方？研究表明，視覺注視點主要集中在圖像么地方？研究表明，視覺注視點主要集中在圖像中黑白交

52、界的部分，尤其是拐角處。如果是閉合中黑白交界的部分，尤其是拐角處。如果是閉合圖形，注視點往往向內側移動。注視點容易集中圖形，注視點往往向內側移動。注視點容易集中在時隱時現(xiàn)運動變化的部分或者圖像中特別不規(guī)在時隱時現(xiàn)運動變化的部分或者圖像中特別不規(guī)則的地方。則的地方。 人眼的視野開闊，左右視角約為人眼的視野開闊，左右視角約為180度，上下度，上下約為約為60度。但視力好的部位僅限于度。但視力好的部位僅限于2到到3度，用于度，用于觀察視覺媒體的細節(jié)。而在周邊，則主要識別特觀察視覺媒體的細節(jié)。而在周邊，則主要識別特征。但是需要注意，只有大的視野才有可能制造征。但是需要注意，只有大的視野才有可能制造出臨

53、場感。出臨場感。2.3.2 模擬視頻原理光柵掃描原理光柵掃描原理 視頻攝像機將圖像轉換為電信號，電信號是一視頻攝像機將圖像轉換為電信號，電信號是一維的，但圖像是二維的，將二維圖像轉成為一維維的，但圖像是二維的，將二維圖像轉成為一維電信號是由光柵掃描的方法實現(xiàn)的?？焖俚膾呙桦娦盘柺怯晒鈻艗呙璧姆椒▽崿F(xiàn)的?？焖俚膾呙杈€從頂部開始，一行一行地向下掃描，直至顯示線從頂部開始，一行一行地向下掃描，直至顯示器的最底部，然后再返回頂部的起點，重新開始器的最底部，然后再返回頂部的起點，重新開始掃描。這個過程產生的一個有序的圖像信號集合，掃描。這個過程產生的一個有序的圖像信號集合，就組成了電視顯示中的一幅圖像，

54、在此稱為幀。就組成了電視顯示中的一幅圖像，在此稱為幀。連續(xù)不斷的圖像序列就形成了動態(tài)視頻圖像。連續(xù)不斷的圖像序列就形成了動態(tài)視頻圖像。 2.3.2 模擬視頻原理 分辨率表現(xiàn)的是電視系統(tǒng)中重現(xiàn)場景細分辨率表現(xiàn)的是電視系統(tǒng)中重現(xiàn)場景細節(jié)的能力。水平掃描線所能分辨出的點數(shù)稱節(jié)的能力。水平掃描線所能分辨出的點數(shù)稱為水平分辨率。一般來說，點數(shù)越小，線越為水平分辨率。一般來說，點數(shù)越小，線越細，分辨率就越高。一個系統(tǒng)的水平分辨率細，分辨率就越高。一個系統(tǒng)的水平分辨率為為400線，指在對應于圖像高度的水平距離線，指在對應于圖像高度的水平距離內能交替顯示內能交替顯示200條白線和條白線和200條黑線。相應條黑

55、線。相應地，一幀中垂直掃描的行數(shù)稱為垂直分辨率。地，一幀中垂直掃描的行數(shù)稱為垂直分辨率。垂直分辨率和每幀中的掃描線有關，掃描線垂直分辨率和每幀中的掃描線有關，掃描線越多，分辨率就越高。廣播電視系統(tǒng)垂直的越多，分辨率就越高。廣播電視系統(tǒng)垂直的行數(shù)一般是行數(shù)一般是525線（北美和日本）和線（北美和日本）和625線線（歐洲和中國）。（歐洲和中國）。2.3.2 模擬視頻原理 每一秒鐘所掃描的幀數(shù)稱為幀頻，一般為每一秒鐘所掃描的幀數(shù)稱為幀頻，一般為25幀（幀（PAL）或者或者30幀（幀（NTSC）。）。由于是隔行掃描，由于是隔行掃描，所以垂直頻率分別是每秒所以垂直頻率分別是每秒50幀和幀和60幀。因此，

56、人幀。因此，人眼就不容易看到閃爍。眼就不容易看到閃爍。 寬高比是掃描的一個重要的參數(shù)。掃描行的長寬高比是掃描的一個重要的參數(shù)。掃描行的長度與在圖像垂直方向上的所有掃描行所跨過的距度與在圖像垂直方向上的所有掃描行所跨過的距離之比，就成為寬高比。目前電視中的寬高比為離之比，就成為寬高比。目前電視中的寬高比為4：3，新型電視的寬高比為，新型電視的寬高比為16：9，有些電影系統(tǒng)的，有些電影系統(tǒng)的寬高比為寬高比為2：1 。2.3.2 模擬視頻原理彩色視頻彩色視頻 加基系統(tǒng)是彩色視頻系統(tǒng)的基礎。彩色電視采加基系統(tǒng)是彩色視頻系統(tǒng)的基礎。彩色電視采用紅綠藍（用紅綠藍（RGB）作為三基色進行配色，產生出作為三基

57、色進行配色，產生出R、G、B三個輸出信號，三個輸出信號，RGB信號可以分別傳輸，但是信號可以分別傳輸，但是要配上相應的同步信號。在要配上相應的同步信號。在RGB系統(tǒng)中需要三根視系統(tǒng)中需要三根視頻電纜互連，但是三個信號在同步關系方面相當頻電纜互連，但是三個信號在同步關系方面相當復雜，所以大部分彩色電視不處理復雜，所以大部分彩色電視不處理RGB，而是將而是將RGB信號組合起來在一條電纜中傳輸，這就是復合信號組合起來在一條電纜中傳輸，這就是復合信號。信號。2.3.2 模擬視頻原理 現(xiàn)有的幾種不同的復合信號有現(xiàn)有的幾種不同的復合信號有NTSC、PAL和和SECAM。根據(jù)亮度根據(jù)亮度/色度原理，任何彩色

58、信號都可色度原理，任何彩色信號都可以分為亮度和色度。色度只要使用色差就可以表以分為亮度和色度。色度只要使用色差就可以表示顏色信號，而不必使用示顏色信號，而不必使用RGB三個完整的信號。三個完整的信號。將亮度和色度交錯排列分別放到電纜上，就組成將亮度和色度交錯排列分別放到電纜上，就組成了復合信號。了復合信號。 電視系統(tǒng)的三種制式采用的信號形式也不完電視系統(tǒng)的三種制式采用的信號形式也不完全一樣。全一樣。NTSC的亮度信號稱為的亮度信號稱為Y，色度信號為色度信號為I和和Q，即即YIQ方式。方式。PAL制式和制式和SECAM制式的亮度制式的亮度和色度與之相對應為和色度與之相對應為YUV，它們的差別在于

59、編碼它們的差別在于編碼方式的不同。方式的不同。YUV、YIQ可以與可以與RGB互換?；Q。RGB、YUV和和YIQ等都被稱為彩色空間。等都被稱為彩色空間。2.3.2 模擬視頻原理視頻設備視頻設備 按照用途不同，視頻設備可以分為廣播、專業(yè)按照用途不同，視頻設備可以分為廣播、專業(yè)和消費三個級別。廣播級一般是大型的電視臺和和消費三個級別。廣播級一般是大型的電視臺和網絡站使用，它的性能最好，用于大系統(tǒng)應用，網絡站使用，它的性能最好，用于大系統(tǒng)應用，價格昂貴；專業(yè)級一般用于教育界和工業(yè)界的小價格昂貴；專業(yè)級一般用于教育界和工業(yè)界的小廣播站，有較好的性能。而消費級是家用設備，廣播站，有較好的性能。而消費級

60、是家用設備，一般操作簡單、性能可靠，一般價格是第一位的。一般操作簡單、性能可靠，一般價格是第一位的。 具體的視頻設備有如彩色攝影機、視頻記錄設具體的視頻設備有如彩色攝影機、視頻記錄設備和視頻監(jiān)視設備。備和視頻監(jiān)視設備。 2.3.3 視覺媒體數(shù)字化 1位圖圖像與數(shù)字視頻位圖圖像與數(shù)字視頻 對計算機來說，無論是文字或圖形，還是圖對計算機來說，無論是文字或圖形，還是圖像或視頻，在計算機上進行處理首先要數(shù)字化。像或視頻，在計算機上進行處理首先要數(shù)字化。與音頻信號相似，對所要處理的一幅畫面，通過與音頻信號相似，對所要處理的一幅畫面，通過對每一個象素進行采樣，并且按照顏色或者灰度對每一個象素進行采樣，并且