多媒體通信技術(shù)期末考點(diǎn)

第1章緒論1、根據(jù)國(guó)際電聯(lián)體23、多媒體技術(shù)所涉及的媒體特指表示媒體，而且主要是指數(shù)字表示媒體。因此，也可以說(shuō)多媒體就是多樣化的數(shù)字表示媒體。和多媒體概念相對(duì)應(yīng)的是單媒體，以往的信息技術(shù)基本上是以單媒體的方式進(jìn)的匹配。4、多媒體通信的迅速發(fā)展主要得力于下列五項(xiàng)技術(shù)的發(fā)展：（如數(shù)據(jù)）好的物質(zhì)基礎(chǔ)。廣域網(wǎng)WANMANLANBISDN字接口（FDDI）和異步轉(zhuǎn)移模式（ATM）的開(kāi)發(fā)應(yīng)用已取得不少成功經(jīng)驗(yàn)。了物理支撐環(huán)境。語(yǔ)音識(shí)別與處理，文字語(yǔ)音合成，聲音數(shù)據(jù)壓縮，圖像識(shí)別與處理，文字，數(shù)據(jù)、聲音和圖這些都為多媒體通信的興起和發(fā)展奠定了良好的理論和實(shí)踐基礎(chǔ)。5、多媒體通信的特征：集成性、交互性、同步性6ITU-T（國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)部ISO（化組織）IEC（國(guó)際電子技術(shù)委員會(huì)）三個(gè)機(jī)構(gòu)。7、多媒體通信的關(guān)鍵技術(shù)：多媒體信息處理技術(shù)、多媒體通信的網(wǎng)絡(luò)技術(shù)、多媒體通信的終端技術(shù)、移動(dòng)多媒體通信的信息傳輸技術(shù)、多媒體數(shù)據(jù)庫(kù)技術(shù)第2章多媒體信息處理的必要性和可行性1（1）數(shù)據(jù)量龐大（2）碼率可變、突發(fā)性強(qiáng)（3）復(fù)合性信息多，同步性、實(shí)時(shí)性要求高2、信息壓縮的可行性空間冗余空間冗余是在圖像數(shù)據(jù)中經(jīng)常存在的一種冗余。在任何一幅圖像中，均有許多灰度或顏色都相同的鄰近像素組成的局部區(qū)域，它們形成了一個(gè)性質(zhì)相同的集合塊，即它們之間具有空間（或空域）上的強(qiáng)相關(guān)性，在圖像中就表現(xiàn)為空間冗余。時(shí)間冗余時(shí)間冗余是活動(dòng)圖像和語(yǔ)音數(shù)據(jù)中經(jīng)常包含的冗余?；顒?dòng)圖像中的兩幅相鄰的圖像有較大的相關(guān)性，這反映為時(shí)間冗余。同理，在語(yǔ)音中，由于人在說(shuō)話時(shí)其發(fā)出的音頻是一個(gè)連續(xù)和漸變的過(guò)程，而不是一個(gè)完全的時(shí)間上獨(dú)立的過(guò)程,因而存在著時(shí)間冗余。信息熵冗余（編碼冗余）NN結(jié)構(gòu)冗余知識(shí)冗余人們通過(guò)認(rèn)識(shí)世界而得到某些圖像所具有的先驗(yàn)知識(shí)和背景知識(shí)，由此帶來(lái)的冗余稱為知識(shí)冗余。視覺(jué)冗余在多媒體技術(shù)的應(yīng)用領(lǐng)域中，人的眼睛是圖像信息的接收端。而人類的視覺(jué)系統(tǒng)并不能對(duì)圖像畫(huà)面的任息敏感，對(duì)顏色的分辨率較弱等。其他冗余性所帶來(lái)的冗余等?？臻g冗余和時(shí)間冗余是將圖像信號(hào)看作為隨機(jī)信號(hào)時(shí)所反映出的統(tǒng)計(jì)特征，因此有時(shí)把這兩種冗余稱為統(tǒng)計(jì)冗余。它們也是多媒體圖像數(shù)據(jù)處理中兩種最主要的數(shù)據(jù)冗余。3、數(shù)據(jù)壓縮技術(shù)的性能指標(biāo)壓縮比據(jù)壓縮的程度越高。在實(shí)際應(yīng)用中，壓縮比可以定義為比特流中每個(gè)樣點(diǎn)所需要的比特?cái)?shù)。重現(xiàn)質(zhì)量重現(xiàn)質(zhì)量是指比較重現(xiàn)時(shí)的圖像、聲音信號(hào)與原始圖像、聲音之間有多少失真，這與壓縮的類型有關(guān)。壓縮方法可以分為無(wú)損壓縮和有損壓縮。無(wú)損壓縮是指壓縮和解壓縮過(guò)程中沒(méi)有損失原始圖像或聲音的信息，所以對(duì)無(wú)損系統(tǒng)不必?fù)?dān)心重現(xiàn)質(zhì)量。有損壓縮雖然可獲得較大的壓縮比，但壓縮比過(guò)高，還原后的圖像、聲音質(zhì)量就可能降低。壓縮和解壓縮的速度CD-ROM比解壓縮要大。在靜止圖像中，壓縮速度沒(méi)有解壓縮速度要求嚴(yán)格。15/s2530/s第3章音頻信息處理技術(shù)1、掩蔽效應(yīng)受四種要素的影響：時(shí)間、頻率、聲壓級(jí)、聲音品質(zhì)2這一處理過(guò)程中涉及到模擬音頻信號(hào)的采樣、量化和編碼。3、音頻信息編碼技術(shù)可分為三類：(DMADPCM碼(SBC)和矢量量化編碼（VQ）等等。號(hào)的數(shù)學(xué)模型對(duì)語(yǔ)音信號(hào)特征參數(shù)（主要是指表征聲門振動(dòng)的激勵(lì)參數(shù)和表征聲道特性的聲道參數(shù)）進(jìn)行提取及編碼，力圖使重建的語(yǔ)音信號(hào)盡可能保持原信號(hào)的語(yǔ)意，而重建的語(yǔ)音信號(hào)波形同原信號(hào)的波形kb/s（如衛(wèi)星通信等性預(yù)測(cè)編碼LPC。(3)混合編碼。這種方法克服了原有波形編碼與參數(shù)編碼的弱點(diǎn)，并且結(jié)合了波形編碼的高質(zhì)量和參數(shù)編碼的低數(shù)據(jù)率，取得了比較好的效果?；旌暇幋a是指同時(shí)使用兩種或兩種以上的編碼方法進(jìn)行編碼的以優(yōu)勢(shì)互補(bǔ)，克服各自的不足，從而達(dá)到高效數(shù)據(jù)壓縮的目的。無(wú)論是在音頻信號(hào)的數(shù)據(jù)壓縮中，還是后面章節(jié)將要描述的圖像信號(hào)的數(shù)據(jù)壓縮中，混合編碼均被廣泛采用。4增量調(diào)制一般增量調(diào)制就是所謂的“斜率過(guò)載”。01的，這種現(xiàn)象就叫做增量調(diào)制的“散粒噪聲”。自適應(yīng)增量調(diào)制（ADM）為減少斜率過(guò)載，希望增加階距；為減少散粒噪聲，又希望減少階距。5、自適應(yīng)差分脈沖編碼調(diào)制6、子帶編碼7、變換域編碼分配碼字然后編碼，收方解碼后再用相應(yīng)的反變換轉(zhuǎn)換成時(shí)域信號(hào)。8、矢量量化VQ（Vector式分組，把這些分組數(shù)據(jù)看成一個(gè)矢量，對(duì)它進(jìn)行量化。9、線性預(yù)測(cè)編碼取語(yǔ)音的特征參數(shù)，然后對(duì)特征參數(shù)進(jìn)行編碼傳輸。第4章圖像信息處理技術(shù)1、圖像信號(hào)按其內(nèi)容變化與時(shí)間的關(guān)系來(lái)分，主要包括靜態(tài)圖像和動(dòng)態(tài)圖像兩種。圖像分類還可以按其他方式進(jìn)行：如按其亮度等級(jí)的不同可分為二值圖像和灰度圖像；按其色調(diào)的不同可分為黑白圖像和彩色圖像；按其所占空間的維數(shù)不同可分為平面的二維圖像和立體的三維圖像等等。（1YUV、YIQYCCbrAYUVYUVYUVYUVYUVYUV視機(jī)的兼容問(wèn)題。YUV表示法的另一個(gè)優(yōu)點(diǎn)是，可以利用人眼的視覺(jué)特性來(lái)降低數(shù)字彩色圖像的數(shù)據(jù)量。人眼對(duì)彩色圖像（即大面積著色原理PAL4.43MHz1.3MHz（22090頒布的一系列圖像壓縮國(guó)際標(biāo)準(zhǔn)中均采用分量編碼方案。2、圖像信號(hào)數(shù)字化與音頻數(shù)字化一樣主要包括兩方面的內(nèi)容：取樣和量化。3、對(duì)均勻量化來(lái)講，量化分層越多，量化誤差越小，但編碼時(shí)占用比特?cái)?shù)就越多。4、數(shù)字圖像壓縮方法一般可分為：可逆編碼（eersbleCongnormatonPresevngCong不可逆編碼（Non-ReversibleCoding在一定的誤差，但視覺(jué)效果一般是可接受的，它可提供較高的壓縮比。按照壓縮方法的原理，數(shù)字圖像壓縮方法可分為：預(yù)測(cè)編碼（PredctieCodng。預(yù)測(cè)編碼是一種針對(duì)統(tǒng)計(jì)冗余進(jìn)行壓縮的方法，它主要是減少DPCMADPCM變換編碼TransformCoding像光強(qiáng)矩陣（時(shí)域信號(hào)）變換到系數(shù)空間（頻域）離散傅氏變換DCT（離散余弦變換、DST（離散正弦變換Karhunen-Loeve量化和矢量量化編碼VectorQuantization是一個(gè)很關(guān)鍵的步驟，量化器設(shè)計(jì)的好壞對(duì)于量化誤差的大小有直接的影響。矢量量化是相對(duì)于標(biāo)量量化而提出的，如果我們一次量化多個(gè)點(diǎn)，則稱為矢量量化。信息熵編碼（EntropyCodng。根據(jù)信息熵原理，用短的碼字表示出現(xiàn)概率大的信息，用長(zhǎng)的碼字表示出現(xiàn)概率小的信息。常見(jiàn)的方法有哈夫曼編碼、游程編碼以及算術(shù)編碼。子帶編碼Sb-bandCodng結(jié)構(gòu)編碼（trctreCodng，也稱為第二代編碼（econdGeneratonCodng求出圖像中的邊界、輪廓、紋理等結(jié)構(gòu)特征參數(shù)，然后保存這些參數(shù)信息。解碼時(shí)根據(jù)結(jié)構(gòu)和參數(shù)信息進(jìn)行合成，從而恢復(fù)出原圖像?；谥R(shí)的編碼Knowledge-BasedCodng識(shí)形成一個(gè)規(guī)則庫(kù)，據(jù)此將人臉的變化等特征用一些參數(shù)進(jìn)行描述，從而用參數(shù)加上模型就可以實(shí)現(xiàn)人臉的圖像編碼與解碼。圖像壓縮算法的總體框圖如圖4.3-1所示。5、圖像壓縮算法的總體框圖P68 圖4.46這是熵編碼的理論基礎(chǔ)。7、哈夫曼（Huffman）編碼方法編碼步驟(1)（對(duì)概率相同的灰度級(jí)可以任意顛倒排列位置。（2）(1)步方法重排（個(gè)數(shù)已減少一個(gè)。如此重復(fù)進(jìn)行，直到只有兩個(gè)概率為止。（3）“1”“0”0.60“0”0.40“1”碼（0.60“1”0.40“0”碼4.50.40“1”來(lái)的。碼字的最后一位碼元一個(gè)賦予“0”碼元，另一個(gè)賦予“1”0.600.370.23，則所得碼字分別為“00”和“01”。前例哈夫曼編碼的編碼效率計(jì)算P728、DPCM像降質(zhì)現(xiàn)象。理想的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼應(yīng)由以下四個(gè)步驟組成：圖像劃分：將圖像劃分為靜止部分和運(yùn)動(dòng)部分。運(yùn)動(dòng)檢測(cè)與估值：即檢測(cè)運(yùn)動(dòng)的類型（平移、旋轉(zhuǎn)或縮放等計(jì)，找出運(yùn)動(dòng)矢量。動(dòng)補(bǔ)償預(yù)測(cè)。9、變換編碼不直接對(duì)原圖像信號(hào)壓縮編碼，而首先將圖像信號(hào)映射到另一個(gè)域中，產(chǎn)生一組變換系數(shù)，然后對(duì)這些系數(shù)進(jìn)行量化、編碼、傳輸。10、二值圖像壓縮標(biāo)準(zhǔn)圖像壓縮標(biāo)準(zhǔn)化工作主要由國(guó)際標(biāo)準(zhǔn)化組織ISOIEC）和國(guó)際電信聯(lián)盟ITU-T）行。ITU-TG3G4G3MR（ModifiedREAD）G4G3MMR（ModifiedMR）算法。目前，這兩種二值圖像壓縮標(biāo)準(zhǔn)廣泛地應(yīng)用于傳真通信和文檔存MMRG4JBIG，其主要原因是要改進(jìn)二值中間色調(diào)圖G3/G411、靜止圖像壓縮標(biāo)準(zhǔn)JPEGJPEG（JointPhotographicExpertsGroup）成立于1986年，該標(biāo)準(zhǔn)于1992年正式通過(guò)。JPEG標(biāo)準(zhǔn)的目標(biāo)和適應(yīng)性為：有多種操作模式可供設(shè)計(jì)和使用時(shí)選擇：·LosslessEncodingMode原數(shù)字圖像相比不會(huì)產(chǎn)生任何失真?！CT（DCT-basedSequentialEncodingDCT從上到下的順序?qū)υ瓐D像數(shù)據(jù)進(jìn)行壓縮編碼。圖像還原時(shí)，也是按照上述順序進(jìn)行。DCTDCT-basedProgressiveEncodingDCT的大致面貌，然后逐步細(xì)化直到全部還原出來(lái)為止。DCTDCT-basedHierarchicalEncodingDCT無(wú)損壓縮編碼JPEG（DPCM）單、易于實(shí)現(xiàn)，重建的圖像質(zhì)量好基于DCTDCT8×8DCTDCT化，并分別對(duì)量化以后的系數(shù)進(jìn)行差分編碼和游程長(zhǎng)度編碼，最后再進(jìn)行熵編碼。12、基于DCT的累進(jìn)編碼模式DCT13、JPEG的實(shí)現(xiàn)JPEGJPEG（1）（2）（3）充系統(tǒng)。14、目前世界上模擬彩色電視有PAL、NTSC、SECAM三種不同制式15、MB是作運(yùn)動(dòng)估計(jì)的基本單元，B是作DCT的基本單元。16、MPEG-1標(biāo)準(zhǔn)由系統(tǒng)部分、視頻部分和音頻部分組成。171）（IntrapicturesI預(yù)測(cè)畫(huà)面PredictedPicturesP參數(shù)之用。插補(bǔ)畫(huà)面BidirectionalPredictedPicturesB本身不作為參考畫(huà)面使用，所以不必傳送，但需要傳送運(yùn)動(dòng)補(bǔ)償信息。48×828×88×8DCT51基礎(chǔ)是為這些同步關(guān)系建立一個(gè)獨(dú)立于實(shí)現(xiàn)環(huán)境的抽象的描述模型。QoS等各種不確定因素帶來(lái)的負(fù)面影響，實(shí)現(xiàn)多媒體同步規(guī)范描述的多媒體時(shí)態(tài)說(shuō)明。2、同步的類型：上層同步、中層同步、底層同步3條件變化。由于各個(gè)相關(guān)媒體流可能來(lái)自不同的信源，每個(gè)信源所處的地理位置可能不同，每個(gè)媒體流選擇的信道大節(jié)省信宿端緩存。此外還可以將這兩種方法配合使用。抖動(dòng)定義為最大時(shí)延與最小時(shí)延的差，也即時(shí)延的變化。網(wǎng)絡(luò)抖動(dòng)是指數(shù)據(jù)包從發(fā)送方到接收方網(wǎng)絡(luò)I／O設(shè)備的傳輸過(guò)程中所經(jīng)歷的時(shí)延變化，這是由中間節(jié)點(diǎn)的緩存引入的。端系統(tǒng)抖動(dòng)是指端系統(tǒng)中引起的時(shí)延變化，這些變化主要是由于系統(tǒng)負(fù)荷的改變以及媒體單元在各個(gè)協(xié)議層的打包拆包。抖動(dòng)通常是在信宿端通過(guò)采用彈性緩沖區(qū)來(lái)補(bǔ)償?shù)摹?NTP延的改變或媒體單元丟失率的增高。處理丟失單元的同步機(jī)制是重復(fù)播映前一個(gè)媒體單元的內(nèi)容。4、目前較為流行的多媒體同步模型有三種：參考點(diǎn)同步模型、時(shí)間軸同步模型、層次同步模型。參考點(diǎn)同步模型的缺點(diǎn)是將連續(xù)媒體離散化，從而破壞了連續(xù)媒體之間的相互依賴關(guān)系，破壞了連續(xù)媒體的整體特性。同步模型。邏輯數(shù)據(jù)單元（LDU）同步容限第6章多媒體通信網(wǎng)絡(luò)技術(shù)1、多媒體通信對(duì)通信網(wǎng)的要求吞吐要求實(shí)時(shí)性和可靠性要求時(shí)空約束分布處理要求2（PSTN（PSPDN字?jǐn)?shù)據(jù)網(wǎng)DDN、窄帶和寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)NISDNISDN）（LANWANFDDIDQDB）網(wǎng)絡(luò)，如有線電視網(wǎng)（CATV、混合光纖同軸網(wǎng)（HFC公共交換電話網(wǎng)（PSTN）窄帶綜合業(yè)務(wù)數(shù)字網(wǎng)（N-ISDN）計(jì)算機(jī)局域網(wǎng)（LAN）有線電視(CATV)網(wǎng)3、多媒體通信的實(shí)時(shí)通信協(xié)議InternetInternetInternet不是用于實(shí)時(shí)通信的，由于TCP/IP使實(shí)時(shí)通信的質(zhì)量嚴(yán)重下降。另外，TCP協(xié)議負(fù)責(zé)數(shù)據(jù)的流量控制，保證傳輸?shù)恼_性，具有數(shù)據(jù)重發(fā)功能，這一點(diǎn)也不適合于實(shí)時(shí)通信。InternetUDP/IPUDPIP輸?shù)目煽啃詻](méi)有保障。為了解決這個(gè)問(wèn)題，IETF提出了多種實(shí)時(shí)通信協(xié)議，這里主要介紹應(yīng)用比較廣泛的實(shí)時(shí)傳輸協(xié)議（RTP、實(shí)時(shí)流協(xié)議RTSP）和資源預(yù)留協(xié)議RSVP。4RTPRTCPRTCPRTPRTCP包的數(shù)量等統(tǒng)計(jì)資料。5、多媒體通信對(duì)通信網(wǎng)絡(luò)提出了哪些要求？6RTPRTSP、RSVP71(RealtimeStreaming（ProgressiveStreaming）傳輸。2、流媒體播放方式1.單播2.組播3.點(diǎn)播與廣播3、流媒體系統(tǒng)的基本構(gòu)成戶管理涉及用戶的登記、授權(quán)、計(jì)費(fèi)和認(rèn)證。視頻服務(wù)器管理媒體內(nèi)容的播放?？蛻舳瞬シ畔到y(tǒng)主要PC第9章多媒體通信的應(yīng)用1、根據(jù)ITU-T的定義，