多媒體復(fù)習(xí)2.doc

第一章 多媒體技術(shù)概論（12）通常概念的“媒體” 的類型五種類型：感覺媒體 表示媒體 表現(xiàn)媒體 存儲(chǔ)媒體 傳輸媒體多媒體的關(guān)鍵特性多維性 交互性 集成性 音頻壓縮標(biāo)準(zhǔn) G.711標(biāo)準(zhǔn)：電話質(zhì)量的語音壓縮（PCM），64kbit/s G.722標(biāo)準(zhǔn)：廣播質(zhì)量的音頻壓縮（子帶編碼） G.723標(biāo)準(zhǔn)：用于多媒體傳輸?shù)?.3kbit/s或6.4kbit/s雙碼率語音編碼 G.728標(biāo)準(zhǔn)：16kbit/s G.729.A標(biāo)準(zhǔn)：主要用于無線移動(dòng)網(wǎng)、數(shù)字多路復(fù)用系統(tǒng)和計(jì)算機(jī)通信系統(tǒng)。存儲(chǔ)局域網(wǎng)SAN 以數(shù)據(jù)為存儲(chǔ)中心 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可伸縮 光通道直接連接 內(nèi)部任意節(jié)點(diǎn)之間多路可選擇的數(shù)據(jù)交換 多種操作系統(tǒng)下共享多媒體技術(shù)發(fā)展的新穎技術(shù)-流媒體技術(shù)-影視制作及其動(dòng)畫的平臺(tái)技術(shù)-虛擬現(xiàn)實(shí)技術(shù)-多媒體數(shù)字水印技術(shù)-多媒體數(shù)據(jù)挖掘技術(shù)-跨媒體技術(shù)-影視制作及其動(dòng)畫的平臺(tái)技術(shù)數(shù)字水印技術(shù)用信號(hào)處理的方法，在數(shù)字化的多媒體數(shù)據(jù)中嵌入隱蔽的標(biāo)記，這種標(biāo)記不可見，只有通過專用的檢測(cè)器才能提取。特征：隱蔽性、隱藏位置的安全性、魯棒性多媒體數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)中，提取隱含在其中的、有用信息和知識(shí)的過程?；趦?nèi)容的信息檢索，只能找出“信息”，無法分析出“知識(shí)”。多媒體數(shù)據(jù)挖掘，通過綜合分析視聽特性和語義，發(fā)現(xiàn)隱含的、有效的、有價(jià)值的、可理解的模式，進(jìn)而發(fā)現(xiàn)知識(shí)，得出事件的趨向和關(guān)聯(lián)。為用戶提供決策依據(jù)。第二章數(shù)字聲音及話音編碼（9）聲音與聽覺器官聲音是通過空氣傳播的一種連續(xù)的波，叫聲波。聲音的強(qiáng)弱（音強(qiáng)）音調(diào)的高低（頻率）聲波的特性 反射 (reflection)、折射 (refraction)和衍射 (diffraction)聲音信號(hào)由許多頻率不同的信號(hào)組成。帶寬：它用來描述組成復(fù)合信號(hào)的頻率范圍。2020000 Hz（音頻，人能感知的）,低于20的是次音，高于2萬的是超聲波。803400 Hz （話音）0120 dB（人能感知的音強(qiáng)）聲音質(zhì)量的度量1.聲音的質(zhì)量與聲音的帶寬有關(guān)，一般來說頻率范圍越寬，聲音質(zhì)量也就越高。20Hz20kHzCD20Hz15kHz調(diào)頻廣播50Hz7kHz調(diào)幅廣播200H3.4kHz電話語音帶 寬聲音類型2.客觀質(zhì)量度量：信噪比（SNR）奈奎斯特理論采樣頻率不應(yīng)低于聲音信號(hào)最高頻率的兩倍，這樣就能把以數(shù)字表達(dá)的聲音還原成原來的聲音，稱為無損數(shù)字化。話音編譯碼器的分類n 波形編譯碼器（waveform coder）：不利用生成話音的信號(hào)的任何知識(shí)，將話音視為一種普通的聲音，直接對(duì)波形信號(hào)進(jìn)行采樣和量化。例如PCM、DPCM、ADPCM等。n 音源編譯碼器（Source coder）：也叫參數(shù)編譯碼器、聲碼器（vocoder）。它從話音波形信號(hào)中提取生成話音的參數(shù)，使用這些參數(shù)通過話音生成模型重構(gòu)出話音。n 混合編譯碼器（Hybrid coder）：綜合使用上述兩種技術(shù)。使用的激勵(lì)信號(hào)波形盡可能接近于原始話音信號(hào)的波形。例如CELP。n 基于音頻數(shù)據(jù)的統(tǒng)計(jì)特性（波形編碼）n 基于音頻聲學(xué)參數(shù)的編碼（線性預(yù)測(cè)編碼）n 基于人的聽覺特性編碼（掩蔽效應(yīng)）n MPEG中高頻編碼 Dolby AC3第三章數(shù)據(jù)壓縮（14）多媒體數(shù)據(jù)冗余類型n 多媒體數(shù)據(jù)有大量的冗余數(shù)據(jù)，如將重復(fù)的數(shù)據(jù)，改用數(shù)學(xué)方法表示，就可以減少數(shù)據(jù)量。n 將人的眼睛和耳朵感覺不到的信息去掉，也可以壓縮數(shù)據(jù)。算術(shù)編碼的計(jì)算方法無損壓縮：無損壓縮是指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)(或者叫做還原，解壓縮)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)完全相同；無損壓縮用于要求重構(gòu)的信號(hào)與原始信號(hào)完全一致的場(chǎng)合。有損壓縮：有損壓縮是指使用壓縮后的數(shù)據(jù)進(jìn)行重構(gòu)，重構(gòu)后的數(shù)據(jù)與原來的數(shù)據(jù)有所不同，但不影響人對(duì)原始資料表達(dá)的信息造成誤解。有損壓縮適用于重構(gòu)信號(hào)不一定非要和原始信號(hào)完全相同的場(chǎng)合。了解各種無損數(shù)據(jù)壓縮算法的主要思想第四章數(shù)字圖像基礎(chǔ)（14）圖像的RGB顏色模型：絕大部分可見光譜可用紅、綠和藍(lán) (RGB) 三色光按不同比例和強(qiáng)度的混合來表示。在顏色重疊的位置，產(chǎn)生青色、洋紅和黃色。 因?yàn)?RGB 顏色合成產(chǎn)生白色，它們也叫作加色。將所有顏色加在一起產(chǎn)生白色就是說，所有光被反射回眼睛。加色用于光照、視頻和顯示器。 CIE LAB顏色模型：CIE L*a*b 顏色模型是1976年國際照明委員會(huì)（CIE）制定的顏色度量國際標(biāo)準(zhǔn)。 L*a*b 顏色設(shè)計(jì)為與設(shè)備無關(guān)；不管使用什么設(shè)備（如顯示器、打印機(jī)、計(jì)算機(jī)或掃描儀）創(chuàng)建或輸出圖象，這種顏色模型產(chǎn)生的顏色都保持一致。L*a*b 顏色由亮度或光亮度分量 (L) 和兩個(gè)色度分量組成；兩個(gè)分量即 a 分量（從綠到紅）和 b 分量（從藍(lán)到黃）。 圖像基本屬性：分辨率：顯示分辨率（點(diǎn)距） 圖像分辨率（象素?cái)?shù)目）象素深度（位數(shù)）真彩色、偽彩色，直接色：偽彩（顏色查找表、直接色（三種壓縮分別采樣查找表）a（alpha）通道：在用32位表示一個(gè)像素時(shí)，若R，G，B分別用8位表示，剩下的8位常稱為通道 (屬性位 ) JPEG壓縮編碼主要步驟：1. 正向離散余弦變換(FDCT)。 2. 量化(quantization)。 3. Z字形編碼(zigzag scan)。 4. 使用差分脈沖編碼調(diào)制(differential pulse code modulation，DPCM)對(duì)直流系數(shù)(DC)進(jìn)行編碼。 5. 使用行程長度編碼(run-length encoding，RLE)對(duì)交流系數(shù)(AC)進(jìn)行編碼。 6. 熵編碼(entropy coding)。第五章數(shù)字視頻基礎(chǔ) (13)ITU-RBT.601數(shù)字化標(biāo)準(zhǔn)：CCIR為NTSC制、PAL制和SECAM制規(guī)定了共同的電視圖像采樣頻率。這個(gè)采樣頻率也用于遠(yuǎn)程圖像通信網(wǎng)絡(luò)中的電視圖像信號(hào)采樣。n 亮度信號(hào)采樣頻率 fs = 13.5 MHZn 色度信號(hào)采樣頻率 fc6.75MHZ 或 13.5MHZn 每行采樣點(diǎn)數(shù) N = 864 (PAL) ，858（NTSC）n 對(duì)于所有制式，每個(gè)掃描行的有效樣本數(shù)均為720。取值范圍：亮度信號(hào)220級(jí)，色度信號(hào)225級(jí)。運(yùn)動(dòng)圖像數(shù)據(jù)壓縮的主要根據(jù)是什么：（1）運(yùn)動(dòng)圖像序列中有許多重復(fù)的數(shù)據(jù)，使用數(shù)學(xué)方法來表示這些重復(fù)數(shù)據(jù)就可以減少數(shù)據(jù)量；（2）人的眼睛對(duì)圖像細(xì)節(jié)和顏色的辨認(rèn)有極限，把超過極限的部分去掉，也能壓縮數(shù)據(jù)。數(shù)字視頻壓縮算法I、P、B的壓縮編碼：為保證圖像質(zhì)量基本不降低而又能夠獲得高的壓縮比，MPEG標(biāo)準(zhǔn)定義了三種圖像：幀內(nèi)圖像I （Intra），預(yù)測(cè)圖像P （Predicted），雙向預(yù)測(cè)圖像B（Bidirectionally interpolated）。電視圖像的結(jié)構(gòu)：1.MPEG編碼器算法允許選擇幀內(nèi)圖像I的頻率和位置。一般，I的頻率為2.2.也可以選擇雙向預(yù)測(cè)圖像B的數(shù)目。3.I、P、B數(shù)目的選擇依據(jù)主要是節(jié)目的內(nèi)容?？焖龠\(yùn)動(dòng)的圖像慢速運(yùn)動(dòng)的圖像數(shù)字電視按比特率的大小分類 高清標(biāo)準(zhǔn)格式：原則上講，HDTV是由它所能提供的畫面質(zhì)量定義的。n 分辨率:HDTV畫面水平和垂直的像素目都差不多是常規(guī)系統(tǒng)的2倍。垂直方向的高清晰度是由1 000多行的掃描線獲得的。大約為傳統(tǒng)5倍的視頻帶寬使灰度層次更加豐富，再加上有一些帶寬用于單獨(dú)傳輸色彩值，使得總帶寬就是現(xiàn)有彩色電視系統(tǒng)的58倍。n 寬高比:HDTV畫面的指定寬高比為16:9=1.777。n 采用高清晰顯像管，點(diǎn)節(jié)距（即熒光點(diǎn)的大小）應(yīng)小于毫米；n 觀看距離:由于人眼分辨細(xì)節(jié)的能力是有限的，所以觀看細(xì)節(jié)更豐富的HDTV畫面，觀看距離要更近一些。第六章數(shù)字視頻標(biāo)準(zhǔn)簡介（14）MPEG標(biāo)準(zhǔn)：MPEG（Moving Picture Export Group）是1988年聯(lián)合成立的活動(dòng)圖像專家組，它的工作是開發(fā)滿足各種應(yīng)用的運(yùn)動(dòng)圖像和聲音的編碼、解碼和它們的同步等國際標(biāo)準(zhǔn)。MPEG標(biāo)準(zhǔn)分為MPEG-2的配置與等級(jí)：MPEG-2提出了配置與等級(jí)的概念。配置是按視頻編碼技術(shù)的簡單還是復(fù)雜而確定的；對(duì)每個(gè)配置，根據(jù)編碼參數(shù)的不同，即圖像格式的簡單還是復(fù)雜，進(jìn)一步劃分為不同的等級(jí)。MPEG-2標(biāo)準(zhǔn)中規(guī)定了5種配置4個(gè)等級(jí)。MPEG1、MPEG2聲音：MPEG-1、 MPEG-2的聲音數(shù)據(jù)壓縮編碼是利用人的聽覺系統(tǒng)的特性來達(dá)到的，叫感知聲音編碼。聽覺系統(tǒng)的感知特性：響度、音高、掩蔽效應(yīng)。MPEG4：n MPEG4的音頻標(biāo)準(zhǔn)不僅支持自然聲音，而且支持合成聲音。 MPEG-4為了達(dá)到目標(biāo)。n 引入了對(duì)象基表達(dá)的概念，表達(dá)視聽對(duì)象AVO；n 擴(kuò)充了編碼的數(shù)據(jù)類型，采用合成數(shù)據(jù)對(duì)象/自然數(shù)據(jù)對(duì)象混合編碼算法（SNHC）；n 在實(shí)現(xiàn)交互功能和重用對(duì)象中引入了組合、合成、編排等重要概念。MPEG-4支持基于視覺內(nèi)容的交互功能。MPEG7：MPEG-7也稱為多媒體內(nèi)容描述接口（Multimedia Content Description Interface），目的是制定一套描述符標(biāo)準(zhǔn)，用來描述各種類型的多媒體信息和它們之間的關(guān)系，以便更快、更有效地檢索信息。MPEG-7的處理鏈包括三個(gè)部分：特征抽取、標(biāo)準(zhǔn)描述、檢索工具H.264標(biāo)準(zhǔn)：H.264 是由ISO/IEC 與ITU-T 組成的聯(lián)合視頻組（JVT）制定的新一代視頻壓縮編碼標(biāo)準(zhǔn)。第七章多媒體硬件環(huán)境（5）光盤的3種類型：CD、DVD、藍(lán)光光盤DVD光盤的結(jié)構(gòu)：DVD（Digital Versatile Disk，數(shù)字多功能光碟，也稱作Digital Video Disk，數(shù)字影像光碟），以其影院級(jí)的音像效果，支持多語音、多字幕、多視角及強(qiáng)大的交互功能，將視聽享受帶到非VCD所能比擬的層次。DVD采用MPEG2的高畫質(zhì)壓縮算法，原版DVD的信號(hào)源是高達(dá)1000多線的電影原始拷貝轉(zhuǎn)成的數(shù)字式Beatcam帶，所以可以輕易達(dá)到520線的解析度。P262清華CD、DVD、藍(lán)色激光技術(shù)主要參數(shù)的比較：視頻采集卡：視頻采集卡是將模擬攝像機(jī)、錄像機(jī)、LD視盤機(jī)、電視機(jī)輸出的視頻信號(hào)等輸出的視頻數(shù)據(jù)或者視頻音頻的混合數(shù)據(jù)輸入電腦，并轉(zhuǎn)換成電腦可辨別的數(shù)字?jǐn)?shù)據(jù)，存儲(chǔ)在電腦中，成為可編輯處理的視頻數(shù)據(jù)文件。第八章多媒體網(wǎng)絡(luò)技術(shù)應(yīng)用(14)多媒體網(wǎng)絡(luò)應(yīng)用：多媒體網(wǎng)絡(luò)分類：1、現(xiàn)場(chǎng)交互應(yīng)用實(shí)例：因特網(wǎng)電話、實(shí)時(shí)電視會(huì)議。說話和移動(dòng)的動(dòng)作視頻時(shí)延應(yīng)幾百毫秒。聲音的時(shí)延應(yīng)400ms，在150ms內(nèi)人覺察不出來2、交互應(yīng)用實(shí)例：視頻點(diǎn)播。用戶要求服務(wù)器開始傳輸文件、暫停、播放、跳轉(zhuǎn)等。請(qǐng)求的時(shí)延在15S人們可以接受。3、非實(shí)時(shí)交互應(yīng)用實(shí)例：聲音和視頻廣播。用戶只簡單的播放。從源端發(fā)出信號(hào)到接收端的時(shí)延10s或更多都可以接受。視頻點(diǎn)播VOD系統(tǒng)：VOD（Video On Demand）系統(tǒng)，是按用戶需求將視頻信息通過寬帶發(fā)布的一種方式。分布式環(huán)境由子系統(tǒng)組成：一個(gè)VOD管理工作站、一個(gè)或多個(gè)控制器（系統(tǒng)的核心）、多個(gè)數(shù)據(jù)源、按業(yè)務(wù)的交互性能， VOD可分為兩類：全交互型VOD或真視頻點(diǎn)播（TVOD ）、準(zhǔn)VOD。流媒體：流媒體是指網(wǎng)絡(luò)上獨(dú)立于網(wǎng)絡(luò)負(fù)載，以給定速率傳輸音頻、視頻信息的一種傳輸技術(shù)。它具有隱含的時(shí)間性、傳輸實(shí)時(shí)性、高吞吐量等特性。因特網(wǎng)環(huán)境存在帶寬不足等缺陷，所以，IETF制定了一系列的實(shí)時(shí)傳輸和服務(wù)控制協(xié)議，如RTP/RTCP，RSVP，RTSP等協(xié)議。流媒體概述：網(wǎng)絡(luò)上傳輸視音頻等多媒體信息，有下載和流式傳輸兩種方式。下載需要等待較長時(shí)間，采用流式傳輸方式，用戶只要等待很短的啟動(dòng)延時(shí)后即可開始觀看，剩余的文件由服務(wù)器從后臺(tái)自動(dòng)繼續(xù)下載。（也支持完全下載后再播放。）主要特點(diǎn)：節(jié)省存儲(chǔ)空間，實(shí)時(shí)傳輸和實(shí)時(shí)播放 。虛擬現(xiàn)實(shí)技術(shù)：虛擬現(xiàn)實(shí)Virtual Reality的定義可歸納為：利用計(jì)算機(jī)技術(shù)生成的一個(gè)逼真的視覺、聽覺觸覺及嗅覺等的感覺世界，用戶可以用人的自然技能對(duì)這個(gè)生成的虛擬實(shí)體進(jìn)行交互考察。虛擬現(xiàn)實(shí)技術(shù)特征沉浸感(Immersion)、交互性(Interaction) 、構(gòu)想性(Imagination)IPQoS技術(shù)：IPQoS是指IP的服務(wù)質(zhì)量，即指IP數(shù)據(jù)流通過網(wǎng)絡(luò)時(shí)的性能，以向用戶提供端到端的服務(wù)質(zhì)量保證。IPQoS技術(shù)參數(shù)：1、業(yè)務(wù)可用性用戶與因特網(wǎng)業(yè)務(wù)之間連接的可靠性。2、延遲 發(fā)送端發(fā)送一個(gè)分組到接收端所需的時(shí)間。3、延遲抖動(dòng)在同一路由上發(fā)送的一組數(shù)據(jù)流中，數(shù)據(jù)分組之間的時(shí)間差異。4、吞吐量網(wǎng)絡(luò)發(fā)送數(shù)據(jù)包的速率。5、分組丟失率網(wǎng)絡(luò)中傳輸數(shù)據(jù)分組時(shí)，丟失數(shù)據(jù)分組的最高比率。第九章多媒體數(shù)據(jù)庫技術(shù) ( 6)多媒體數(shù)據(jù)庫MDB：是對(duì)多媒體數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)管理、操縱與控制的數(shù)據(jù)庫，多媒體數(shù)據(jù)庫技術(shù)是研究多媒體數(shù)據(jù)庫的數(shù)據(jù)模型、 MDB管理系統(tǒng)、 MDB體系結(jié)構(gòu)、 MDB查詢與檢索、 MDB系統(tǒng)及其應(yīng)用等多學(xué)科交叉的高級(jí)數(shù)據(jù)庫技術(shù)?；趦?nèi)容檢索的結(jié)構(gòu)和方法：基于內(nèi)容的檢索CBR，是根據(jù)媒體和媒體對(duì)象的內(nèi)容語義及上下文語義環(huán)境進(jìn)行檢索，如圖像中顏色、紋理、形狀，視頻中的鏡頭、場(chǎng)景、運(yùn)動(dòng)等。利用內(nèi)容特征建立索引并進(jìn)行檢索。圖像和視頻的檢索與