語音與圖像信號處理大綱自學考試

1、高綱0975江蘇省高等教育自學考試大綱27483語音與圖像信號處理 南京理工大學編江蘇省高等教育自學考試委員會辦公室課程性質(zhì)與設置目的要求語音與圖象信號處理是江蘇省高等教育自學考試電子工程專業(yè)的必修課，是為了培養(yǎng)和檢驗自學應考者信號處理的基本知識和基本技能而設置的一門專業(yè)課程，本課程分為兩大部分，第一部分是語音信號處理，第二部分是數(shù)字圖象處理。語音信號處理是一門比較實用的電子工程的專業(yè)課程，語音是人類獲取信息的重要來源和利用信息的重要手段。通過語言相互傳遞信息是人類最重要的基本功能之一。語言是人類特有的功能，它是創(chuàng)造和記載幾千年人類文明史的根本手段，沒有語言就沒有今天的人類文明。語音是語言的聲

2、學表現(xiàn)，是相互傳遞信息的最重要的手段，是人類最重要、最有效、最常用和最方便的交換信息的形式。語音中除包含實際發(fā)音內(nèi)容的語言信息外，還包括發(fā)音者是誰及喜怒哀樂等各種信息。在人類已構(gòu)成的通信系統(tǒng)中，語音通信方式早已成為主要的信息傳遞途徑之一，具有最方便和最快捷的特點。語言和語音也是人類進行思維的一種依托，它與人的智力活動密切相關，與文化和社會的進步緊密相連，具有最大的信息容量和最高的智力水平。語音信號處理是研究用數(shù)字信號處理技術對語音信號進行處理的一門學科，它是一門新興的學科，同時又是綜合性的多學科領域和涉及面很廣的交叉學科。除了語音之外，圖像是人類獲取信息的另外一個重要來源，大約70的信息是通過

3、人眼獲得的圖像信息。圖像信號是指將圖像作為一種二維信號，采用數(shù)字信號處理的方法來對圖像進行描述。今后為了表示方便，圖像信號就稱為圖像。在近代科學研究、軍事技術、工農(nóng)業(yè)生產(chǎn)、氣象、醫(yī)學等領域中，人們越來越多地利用圖像來認識和判斷事物，解決實際問題。例如：人們利用人造衛(wèi)星所拍攝的地面照片，來分析獲取地球資源、全球氣象和污染情況，利用“和平號”宇宙飛船所拍攝的月球表面照片，分析月球的形成。在醫(yī)學上，通過CT斷層掃描，醫(yī)生可以觀察和診斷人體內(nèi)部是否有病變組織。在公安偵破中，采用指紋提取并處理進行破案。在軍事上，目標的自動識別和自動跟蹤都需要進行圖像處理。圖像信號的數(shù)字處理技術，按照人們通常的習慣，也稱

4、為數(shù)字圖像處理技術，是指用計算機對圖像進行處理。它建立在以計算機為中心的包括各種輸入、輸出及顯示設備在內(nèi)的數(shù)字圖像處理系統(tǒng)上進行的。有時，結(jié)合數(shù)字語音處理系統(tǒng)，構(gòu)成多媒體處理系統(tǒng)。設置本課程的目的要求：使自學應考者能夠掌握與人類密切相關的兩種信息：語音信號和圖象信號的基本概念和基本原理，能夠應用數(shù)字信號處理的基本原理和方法對語音信號和圖象信號進行各種處理，如：語音信號數(shù)字模型的建立，語音信號的數(shù)字化，語音信號的分析、合成、識別、編碼的基本原理的基本方法，數(shù)字圖象信號的采集、表達、各種變換方法和圖象信號的編碼壓縮等。同時能夠?qū)φZ音信號和圖象信號處理的最新研究成果與發(fā)展趨勢有所了解，以適應現(xiàn)代社會

5、對信息處理越來越高的要求。考試目標（考核知識點，考核要點）第一部分 語音信號處理第一章 緒論一、 考核知識點（一） 語音信號處理的基本概念（二） 語音信號處理的發(fā)展概況二、 考核要點（一） 語音信號處理的基本概念1識記：（1）語音信號對人類的重要性。（2）數(shù)字語音的優(yōu)點。（3）語音學的基本概念。（4）語音信號處理的應用領域。（二） 語音信號處理的發(fā)展概況1.識記：（1）語音信號處理的發(fā)展歷史。（2）語音編碼、語音合成、語音識別的基本概念。語音編碼技術是伴隨著語音的數(shù)字化而產(chǎn)生的，目前主要應用在數(shù)字語音通信領域。語音合成的目的是使計算機能象人一樣說話說話，而語音識別使能夠聽懂人說的話。第二章 基

6、礎知識一、 考核知識點（一） 語音產(chǎn)生的過程（二） 語音信號的特性（三） 語音信號產(chǎn)生的數(shù)字模型（四） 人耳的聽覺特性二、 考核要求（一） 語音產(chǎn)生的過程1 識記：聲音是一種波，能被人耳聽到，振動頻率在20Hz20kHz之間。自然界中包含各種各樣的聲音，而語音是聲音的一種，它是由人的發(fā)音器官發(fā)出的，具有一定語法和意義的聲音。2 領會：（1）語音產(chǎn)生的過程與人類發(fā)聲的基本原理。 （2）清音、濁音、共振峰的基本概念。語音由聲帶震動或不經(jīng)聲帶震動產(chǎn)生，其中由聲帶震動產(chǎn)生的音統(tǒng)稱為濁音，而不由聲帶震動而產(chǎn)生的音統(tǒng)稱為清音。聲道是一個分布參數(shù)系統(tǒng)，它是一個諧振腔，有許多諧振頻率，稱為共振峰，它是聲道的重

7、要聲學特征。（二） 語音信號的特性1 識記：（1）語音的物理性質(zhì)，包括音質(zhì)、音調(diào)、音強、音長等特性。語音是人的發(fā)音器官發(fā)出的一種聲波，具有聲音的物理屬性。其中音質(zhì)是一種聲音區(qū)別于其它聲音的基本特征。音調(diào)就是聲音的高低，取決于聲波的頻率：頻率高則音調(diào)高，頻率低則音調(diào)低。響度就是聲音的強弱，又稱音量。它是由聲波震動幅度決定的。聲音變的長短也稱音長，它取決于發(fā)音持續(xù)時間的長短。（2）音素、音節(jié)、單詞、句子的基本概念以及它們之間的關系。音素是語音的最小、最基本的組成單位，音素都有其獨立的各不相同的發(fā)音方法和發(fā)音部位，它是使聽者能區(qū)別一個單詞和另一個單詞的聲音的基礎。音節(jié)是最小的語言片段，一個音節(jié)由一個

8、或幾個音素組成。單詞是由音節(jié)結(jié)合而成的更大單位，是有意義的語言的最小單位。句子是單詞的進一步組合。(3) 漢語的特點，漢語音節(jié)的組成。2 領會：語音的時間波形和頻譜特性，聲門激勵和聲道響應的頻譜特性，特別是清音和濁音的頻譜特性、共振峰特性，二者之間的區(qū)別。（三） 語音信號產(chǎn)生的數(shù)字模型1 識記：（1）語音信號被看成是線性時不變系統(tǒng)（聲道）在隨機噪聲或準調(diào)周期脈沖序列激勵下的輸出。在滿足這樣的假設條件下，產(chǎn)生了語音信號的基本數(shù)字模型，是語音處理技術的基礎。（2）語音信號產(chǎn)生的數(shù)字模型框圖。2 領會：（1）語音信號數(shù)字模型各部分的組成依據(jù)和頻譜特點，包括激勵模型，聲道模型（聲管模型和共振模型）和輻

9、射模型。（2）聲道模型中的聲管模型和共振峰模型的特點，共振峰模型的三種形式。（四） 語音感知與人耳的聽覺特性1 識記：（1）聲音的三要素：響度、音調(diào)和音色的基本概念。人的聽覺系統(tǒng)具有復雜的特性，沒有哪一種物理儀器具有人耳那樣的特性。聽覺機構(gòu)不但是一個非常靈敏的聲音接收器，還具有選擇性，此外還有判別聲音的強弱、音調(diào)和音色的本領。響度是人耳對聲音的強弱程度的主管反映，響度取決于聲音的幅度，主要是聲壓的函數(shù)，但和頻率和波形也有關，人耳對3004000Hz的聲音感覺最靈敏。音調(diào)也稱音高，是一種主觀心理量，是人耳對聲音頻率高低的感受。音色也叫音質(zhì)，反映了聲音屬性。人根據(jù)音色在主觀感覺上區(qū)別具有相同響度和

10、音調(diào)的兩個聲音。 （2）聽覺“掩蔽效應”的基本概念與應用。第三章 時域分析一、 考核知識點（一） 語音信號的數(shù)字化和預處理（二） 短時能量分析（三） 短時過零分析（四） 短時相關分析二、 考核要求（一） 語音信號的數(shù)字化和預處理1 識記：（1）取樣和量化的基本概念。為了將原始的模擬語音信號變成數(shù)字信號，必須經(jīng)過取樣和量化兩個步驟，從而得到在時間和幅度上均離散的數(shù)字語音信號。取樣是將時間上連續(xù)的語音信號離散化為一個樣本序列。根據(jù)取樣定理，當取樣頻率大于兩倍信號帶寬時，取樣過程不會丟失信息，且從取樣信號中可以精確地重構(gòu)原始信號的波形。量化是指將取樣后得到的樣本序列的幅度再離散化，量化過程是將整個幅

11、度值分割為有限個區(qū)間，將落入同一區(qū)間的樣本賦予相同的幅度值。（2）量化噪聲的特性 （3）抗混迭濾波器的作用。它是一個具有良好截止特性的模擬低通濾波器，主要是為了防止混迭失真和噪聲干擾。 （4）短時分析技術的基本概念。語音信號是一種隨時間而變化的信號，可能是濁音激勵也可能是清音激勵，濁音的基音周期以及信號幅度等語音特性也都隨時間變化，但這種變化是緩慢的，在一小段短時間內(nèi)1030ms，語音信號近似不變。于是，我們把變化的語音信號分成一些相繼的短時間段來處理。而每一段時間段具有固定的特性，這種方法稱為“短時”處理方法。（二） 短時能量分析1 識記：語音信號的能量分析是基于語音信號能量隨時間有相當大的

12、變化，特別是清音段的能量一般比濁音段的小得多。能量分析包括能量和幅度兩個方面。2 領會：（1）直角窗與海明窗的頻率特性。，海明窗的帶寬大約是同等寬度矩形窗帶寬的兩倍。此外，漢明窗在通帶外的衰減要比矩形窗小得多，而且通帶與阻帶的起伏比較小。 （2）窗口長度的選取原則。選擇太大，則短時能量隨時間變化就很小，不能充分反映語音信號的幅度變化；而選擇得小，即選擇等于或小于一個基音周期時，將按照信號波形的細微變化而起伏不定，以致短時能量不夠勻化和平滑。因此，折衷考慮的值，在通常情況下，當取樣頻率為10KHz時，=100200被認為是合適的。 （3）短時平均能量的主要用途。根據(jù)短時能量函數(shù)可以大致區(qū)分濁音和

13、清音，在高信噪比情況下，利用短時能量函數(shù)也可區(qū)分有聲和無聲。（三） 短時過零分析1 識記：過零分析與平均過零率的基本概念。對于離散時間信號的相鄰兩個取樣值具有不同符號時，便出現(xiàn)“過零”現(xiàn)象。單位時間過零的次數(shù)叫做“過零率”。對于窄帶信號，過零率可以比較準確地反映該信號的頻率。在寬帶信號情況下，過零率只能粗略反映信號的頻譜特性。2 領會：短時過零分析的用途。如何區(qū)分清音與濁音（四） 短時相關分析1 識記：（1）短時自相關函數(shù)的物理意義，性質(zhì)。對于濁音語音來說，短時自相關函數(shù)具有明顯的峰值且呈周期分布，而對于清音來說，則沒有很強的自相關周期峰，其性質(zhì)類似于噪聲。（2）短時平均幅度差函數(shù)的概念與用途

14、。2 領會：（1）短時自相關函數(shù)的方框圖表示。（2）利用短時自相關函數(shù)區(qū)分清/濁音的方法。第四章 短時傅里葉分析一、 考核知識點（一） 傅里葉分析在信號分析與處理中的地位與作用（二） 短時傅里葉變換的定義與物理意義（三） 短時傅里葉變換的取樣率（四） 語音信號的短時綜合二、 考核要點（一） 傅里葉分析在信號分析與處理中的地位與作用1 識記：傅里葉分析的重要性，短時傅里葉分析的基本概念。在語音信號處理中，傅立葉表示在傳統(tǒng)上一直起主要作用。其原因一方面在于穩(wěn)態(tài)語音的產(chǎn)生模型由線性系統(tǒng)組成，此系統(tǒng)被一隨時間作周期變化或隨機變化的源所激勵，因而系統(tǒng)輸出頻譜反映了激勵與聲道頻率響應特性。另一方面，語音信

15、號的頻譜具有非常明顯的語言聲學意義，可以獲得某些重要的語音特征。同時，語音的感知過程與人類聽覺系統(tǒng)具有頻譜分析功能是密切相關的。（二） 短時傅里葉變換的定義與物理意義1 識記：(1)短時傅里葉分析的重要性。短時傅里葉分析是分析緩慢時變頻譜的一種簡便方法，是用穩(wěn)態(tài)分析方法處理非穩(wěn)態(tài)信號的一種方法，在語音處理中是一個非常重要的工具。 (2) )短時傅里葉變換的定義。2 領會：（1）標準傅里葉變換的解釋。（2）窗口序列具有的特性。（3）海明窗與直角窗對濁音語音的頻譜分析對比。 （4）短時傅里葉變換的濾波器的解釋，濾波器框圖的組成。（三） 短時傅里葉變換的取樣率1 識記：（1）時域取樣率的基本概念。（

16、2）頻域取樣率的基本概念。 （3）總?cè)勇实幕靖拍?。?）寬帶和窄帶語譜圖的概念和特點2 領會：理解分析加窗與不加窗時總?cè)勇实膮^(qū)別。（四）、語音信號的短時綜合1領會：濾器組求和法的基本原理與實現(xiàn)框圖，與快速傅里葉變換求和法的關系。第五章 同態(tài)濾波及倒譜分析一、 考核知識點（一） 卷積與解卷積的基本概念（二） 同態(tài)信號處理的基本原理（三） 復倒譜和倒譜的基本概念（四） 語音信號兩個卷積分量復倒譜的性質(zhì)（五） 避免相位卷繞的幾種算法二、 考核要求（一） 卷積與解卷積的基本概念1 識記：（1）根據(jù)語音信號的產(chǎn)生模型，可以將其用一個線性非時變系統(tǒng)的輸出表示，即看作是聲門激勵信號和聲道沖激響應的卷積

17、。 （2）為了分離加性組合信號，常采用線性濾波方法。而為了分離非加性信號（如乘積性或卷積性組合）信號，常采用同態(tài)濾波技術。（二） 同態(tài)信號處理的基本原理1 識記：同態(tài)信號處理的基本概念與作用。同態(tài)信號處理的作用就是將非線性問題轉(zhuǎn)化為線性問題來求解。根據(jù)實現(xiàn)原理分為乘積同態(tài)處理和卷積同態(tài)處理。2 領會：（1）特征系統(tǒng)與逆特征系統(tǒng)的組成。（2）同態(tài)信號處理的基本實現(xiàn)方法，實現(xiàn)框圖。（三） 復倒譜和倒譜1 識記：復倒譜與倒譜的基本概念，定義。（四） 語音信號兩個卷積分量復倒譜的性質(zhì)1 識記：（1）一個周期沖激的有限長度序列，其復倒譜也是一個周期沖激序列，而且長度Np不變，只是序列變?yōu)闊o限長度序列。同

18、時其振幅隨著K值的增大而衰減。 （2）聲道沖激響應序列復倒譜的性質(zhì)。（3）聲門激勵的特點。2 領會：聲道沖激響度序列的全零點模型描述，各個零點對系統(tǒng)響應的影響。（五） 避免相位卷繞的幾種算法1 領會：（1）相位卷繞的基本概念。 （2）利用微分法消除相位卷繞的實現(xiàn)框圖。 （3）利用最小相位法求信號復倒譜的實現(xiàn)框圖。第六章 語音信號的線性預測分析一、 考核知識點（一） 線性預測分析的基本概念（二） 線性預測分析的基本原理（三） 利用自相關法求解線性預測方程組（四） 利用協(xié)方差法求解線性預測方程組（五） 利用格型法求解線性預測方程組（六） LPC譜估計和LPC復倒譜（七） 線譜對分析原理與參數(shù)求解（

19、八） 語音信號的極零點模型二、 考核要點（一） 線性預測分析的基本概念1 識記：線性預測分析所包含的基本概念是，一個語音的抽樣能夠用過去若干個語音抽樣的線性組合來逼近。通過使實際語音抽樣和線性預測抽樣之間差值的平方和（在一個有限間隔上）達到最小值，即進行最小均方誤差的逼近，能夠決定唯一的一組預測系數(shù)。（二） 線性預測分析的基本原理1 識記：（1）采用全極點模型分析語音信號的理論依據(jù)。全極點模型最易于計算，對全極點模型作參數(shù)估計是對線性方程組的求解過程；有時無法知道輸入序列；人的聽覺對于那種只能用零點來表示的頻譜陡峭谷點是遲鈍的；如果不考慮鼻音和摩擦音，那么語音的聲道傳遞函數(shù)就是一個全極點模型。

20、（2）線性預測(LPC)譜的特點2 領會：線性預測分析的物理意義與優(yōu)越性。（三） 線性預測方程組的建立1 識記：最小均方誤差準則。（四） 利用自相關法和協(xié)方差法求解線性預測方程組1 識記：（1）自相關矩陣的特點。（2）協(xié)方差矩陣的特點2 領會：自相關法和協(xié)方差法二者的特點比較。3應用：協(xié)方差法的線性預測方程組矩陣表示，圖解表示。（五） 利用格型法求解線性預測方程組1 識記：（1）格型法的基本原理。（2）反射系數(shù)的概念。 （3）格型濾波器的優(yōu)點。（六） LPC譜估計和LPC復倒譜1 識記：（1）線性預測分析的階數(shù)P的選取原則，首先要保證有足夠的極點來模擬聲道響應的諧振結(jié)構(gòu)，但P值達到1214后，

21、若進一步增加則誤差改善很小。 （2）在線性預測分析中，分析幀長度N同樣重要，N盡可能小有好處，在LPC線性方程組求解中，計算量都與N成正比。但譜估計的精度隨著N的增加而提高。通常取N為23個基音周期長度。 （3）復倒譜分析的優(yōu)點。第七章 矢量量化一、 考核知識點（一） 矢量量化概述。（二） 矢量量化的基本原理（三） 失真測度（四） 最佳矢量量化器和碼本的設計二、 考核要求（一） 矢量量化概述1 識記：（1）矢量量化的理論依據(jù)與優(yōu)越性。根據(jù)仙農(nóng)信息論可以得出，矢量量化總是優(yōu)于標量量化，且矢量維數(shù)越大性能越優(yōu)越。因為矢量量化有效利用了矢量中各分量間的各種相互關聯(lián)的性質(zhì)。采用矢量量化技術對信號波形數(shù)

22、據(jù)進行壓縮，可以獲得非常高的壓縮比。 （2）矢量量化的基本概念。矢量量化是將若干個取樣信號分成一組，即構(gòu)成一個矢量，然后對此矢量一次進行量化，即作為一個整體進行量化。（二） 矢量量化的基本原理1 識記：（1）矢量量化的過程。將語音信號波形的K個樣點的每一幀，或有K個參數(shù)的每一幀參數(shù)，構(gòu)成K維空間中的一個矢量，然后對這個矢量進行量化。（三） 矢量測度1 識記：（1）失真測度必須具備的幾個特性。必須在主觀評價上有意義；必須是易于處理的；平均失真存在且可計算；易于硬件實現(xiàn)。 （2）歐式距離均方誤差的基本概念。（四） 最佳矢量量化器和碼本設計1 識記：（1）矢量量化器最佳設計的兩個條件。最佳劃分和最佳

23、碼書。 （2）初始碼書的生成方法。隨機選取法、分裂法和乘積碼法 （五）降低復雜度的矢量量化系統(tǒng) 1識記：（1）矢量量化系統(tǒng)的組成。（2）矢量量化的3個關鍵問題 （3）降低復雜度的設計方法分類 （4）無記憶量化系統(tǒng)和有記憶量化系統(tǒng)的基本概念第八章 隱馬爾可夫模型（不做要求）第九章 語音檢測分析一、考核知識點（一）基音檢測（二）共振峰估值二、考核要點（一）基音檢測1識記：（1）基音檢測的重要性與難點?；舻奶崛『凸烙嬍钦Z音信號處理中十分重要的一個問題，準確地檢測語音信號的基音周期對于高質(zhì)量的語音分析與合成、語音壓縮編碼、語音識別和說話人確認等具有重要意義。在低速率語音編碼中，準確的基音檢測是非常關

24、鍵的，它直接影響到整個系統(tǒng)的性能。 （2）基音檢測的3個研究方面（3）基音檢測的三種方法：波形估計法、相關處理法和變換法。（3）清/濁音判斷的輔助參量。2領會：（1）中心削波法的基本原理，三電平削波函數(shù)的特性。 （2）利用倒譜法提取基音的基本原理與實現(xiàn)方法。 （3）利用簡化逆濾波器法進行基音檢測的基本原理與實現(xiàn)方法。（二）共振峰估值1識記：（1）共振峰估計中存在的問題。 （2）帶通濾波器組法提取共振峰特性的基本原理。 （3）倒譜法難以解決的問題 （4）用LPC法進行共振峰估計的兩種方案2領會：（1）倒譜法對清音和濁音的檢測效果對比 （2）清音和濁音的DFT譜特性比較 （3）LPC法的優(yōu)缺點 第

25、十章 語音編碼（一）波形編碼一、 考核知識點（一） 語音編碼的目的與應用前景（二） 語音信號的壓縮編碼原理（三） 脈沖編碼的調(diào)制（PCM）及其自適應（四） 預測編碼及自適應預測編碼原理（五） 自適應差分脈沖編碼調(diào)制及自適應增量調(diào)制（六） 子帶編碼（七） 自適應變換編碼二、 考核要求（一） 語音編碼的目的與應用前景1 識記：（1）語音編碼的目的是在保持可以接受的失真的情況下采用盡可能少的比特數(shù)表示語音。 （2）語音信號數(shù)字傳輸?shù)膬?yōu)點。 （3）語音壓縮編碼需要折衷考慮的3個方面 （4）語音編碼的兩類應用 （5）語音編碼的分類（二） 語音信號的壓縮編碼原理1 識記：（1）語音壓縮的必要性。語音編碼的

26、目的是在保持可以接受的失真情況下，采用盡可能少的比特數(shù)表示語音。如果對語音直接數(shù)字化，則傳輸或存儲語音的數(shù)據(jù)量太大。為了降低傳輸或存儲的費用，必須對其壓縮。（2）語音壓縮的兩個基本依據(jù)。（3）冗余度的基本概念 （4）語音通信質(zhì)量的分類。 （5）波形編碼與聲碼器的性能比較。（三） 脈沖編碼調(diào)制及其自適應1 識記：（1）PCM的基本概念。（2）均勻PCM中，信噪比與量化比特數(shù)的關系。（3）非均勻PCM的基本思想。（4）u律與A律的壓擴特性。2 領會：自適應PCM的基本原理與實現(xiàn)框圖。（四） 預測編碼及其自適應APC1 識記：（1）預測編碼的基本概念。（2）短時預測與長時預測的基本概念。(3) 噪聲

27、整形的基本概念（五） 自適應差分脈沖編碼調(diào)制（ADPCM）及自適應增量調(diào)制（ADM）1 識記：（1）DPCM和ADPCM的基本概念，ADPCM的國際標準。 （2）增量調(diào)制的基本概念。 （3）自適應增量調(diào)制的基本概念。2 領會：（1）掌握DM編碼中斜率達載和顆粒噪聲產(chǎn)生的原因及克服的辦法。 （2）連續(xù)可變斜率增量調(diào)制的實現(xiàn)原理。（六） 子帶編碼1 識記：（1）頻域編碼的兩個基本原則。 （2）子帶編碼的基本概念與實現(xiàn)方法。 （3）子帶編碼的優(yōu)點 （3）正交鏡象濾波器（QMF）的基本概念。2 領會：（1）子帶編碼中，子帶的分割與重建語音質(zhì)量的關系。 （2）正交鏡象濾波器的幅頻特性。3 應用：通過正交

28、鏡象濾波器恢復原始信號的原理與方法。（七） 自適應變換編碼1 識記：（1）自適應變換編碼的基本概念。變換編碼是一種優(yōu)秀的高質(zhì)量的語音壓縮編碼方法，它將時域的語音信號變換到頻域，變換后的數(shù)值表示信號中不同頻率分量的強度，然后將這些變換系數(shù)按照比特分配的結(jié)果進行量化編碼。2 領會：（1）正交變換采用DCT變換的原因（2）自適應變換編碼的基本原理與實現(xiàn)框圖。第十一章 語音編碼（二）聲碼器技術及混合編碼一、 考核知識點（一） 語音參數(shù)編碼的基本概念（二） 聲碼器的基本結(jié)構(gòu)（三） 相位聲碼器和通道聲碼器（四） 同態(tài)聲碼器（五） 線性預測聲碼器（六） 混合聲碼器（七） 各種語音編碼方法的比較（八） 語音編

29、碼的性能指標和質(zhì)量評價二、 考核要求（一） 語音參數(shù)編碼的基本概念1 識記：（1）語音參數(shù)編碼通過對語音信號的參數(shù)進行提取及編碼，力圖使重建語音信號具有盡可能高的可懂度，即保持原語音的語意。這類編碼的優(yōu)點是編碼率低，可低至2.4kbit/s以下。 （2）參數(shù)編碼的基礎是語音產(chǎn)生的數(shù)學模型。實現(xiàn)參數(shù)編碼的器件稱為聲碼器，主要用于窄帶信道的語音通信。 （3）為了充分發(fā)揮聲碼器的性能而必須的三個重要因素，（二） 聲碼器的基本結(jié)構(gòu)1 識記：（1）聲碼器的基本結(jié)構(gòu)及實現(xiàn)過程。 （2）聲碼器的局限性。（三） 相位聲碼器和通道聲碼器1 識記：（1）相位聲碼器的基本工作原理。 （2）通道聲碼器的基本工作原理。

30、 （3）常用的三種聲碼器（四） 同態(tài)聲碼器1 識記：（1）基于倒譜的分析與合成的基本原理。（2）同態(tài)聲碼器的優(yōu)缺點。（五） 線性預測聲碼器1 識記：（1）線性預測聲碼器的基本實現(xiàn)框圖。 （2）線性預測編碼參數(shù)的變換和量化，包括反射系數(shù)，對數(shù)面積比和預測多項式的根。（六） 混合編碼1 識記：（1）混合編碼是波形編碼和聲碼器兩種優(yōu)點的結(jié)合：既利用了語音生成模型，通過對模型中的參數(shù)進行編碼，減少了波形編碼中被編碼對象的動態(tài)范圍或數(shù)目；又使編碼的過程產(chǎn)生接近原始語音波形的合成語音，以保留說話人的各種自然特征，提高了合成語音質(zhì)量。（2）多脈沖線性預測聲碼器的基本概念。（3）CELP的基本概念。（七） 各

31、種語音編碼方法的比較1 識記：波形編碼和聲碼器的優(yōu)缺點比較。（八） 語音編碼的性能指標和質(zhì)量評價1 識記：（1）語音編碼的基本性能指標，包括編碼速率和頑健性。 （2）編碼器的質(zhì)量評價方法，包括主觀評價法和客觀評價法。 （3）常用的幾種語音主觀評價標準。第十二章 語音合成一、 考核知識點（一） 語音合成概述（二） 語音合成原理（三） 共振峰合成（四） 線性預測合成二、 考核要求（一） 語音合成概述1 識記：（1）語音合成技術的兩個關鍵性能：一是正確，一是自然。 （2）用語音合成來傳遞語言的優(yōu)點。 （3）語音合成的基本概念（二） 語音合成原理1 識記：（1）語音合成的三種基本方法：波形合成法、參數(shù)

32、合成法和規(guī)則合成法的基本概念。 （2）語音合成系統(tǒng)的特性，包括合成單元、合成參數(shù)與合成音質(zhì)的基本概念。（三） 共振峰合成1 識記：共振峰合成法的特點。（四） 線性預測合成1 識記：（1）線性預測分析合成系統(tǒng)的基本原理。（2）格型濾波器用于語音分析和合成的參數(shù)。第十三章 語音識別一、 考核知識點（一） 語音識別概述（二） 語音識別原理二、 考核要求（一） 語音識別概述1 識記：（1）語音識別的基本概念 （2）語音識別的7種分類方法 （3）語音識別中存在的幾個主要問題（二）語音識別原理1識記：（1）語音識別的兩個步驟 （2）模板匹配法的三個基本單元2領會：（1）語音識別的原理框圖第十四章 說話人識

33、別（不做要求）第十五章 語音增強 （不做要求）第十六章 人工神經(jīng)網(wǎng)絡的應用（不做要求）第十七章 語音信號處理中的新興與前沿技術（不做要求）第二部分 數(shù)字圖象處理第一章 緒論一、 考核知識點（一） 圖像基本概念（二） 圖像工程簡介（三） 圖像處理系統(tǒng)二、 考核要求（一） 圖像基本概念1 識記：（1）圖像和數(shù)字圖像的基本概念。（2）圖像的表達。（二） 圖像工程簡介1 識記：（1）圖像技術和圖像工程。 （2）圖像工程的3個層次。 （3）圖像工程相關學科和領域。 （4）圖像工程的技術應用。（三） 圖像處理系統(tǒng)1 識記：（1）系統(tǒng)構(gòu)成框圖。 （2）圖像采集。 （3）圖像顯示打印。 （4）圖像存儲及各種圖

34、像文件格式。 （5）圖像處理。第二章 圖像采集一、 考核知識點（一） 視覺過程（二） 成像中的空間關系（三） 光度學和亮度視覺（四） 采樣和量化二、 考核要求（一） 視覺過程1 識記：（1）視覺過程的構(gòu)成，包括光學過程、化學過程和神經(jīng)處理過程。（二） 成像中的空間關系1 識記：（1）成像幾何的投影變換、齊次坐標和逆投影變換等基本概念。 （2）觀察距離和角度。 （3）景深。2 應用：各種成像幾何的變換關系和景深計算。（三） 光度學和亮度視覺1 識記：（1）光通量，發(fā)光強度和照度等光度學等基本概念。 （2）圖像成像數(shù)學模型。 （3）視覺系統(tǒng)對光的感知特點，包括亮度適應、主觀亮度影響和亮度變化的感知

35、。2 領會：（1）光通量，發(fā)光強度和照度之間的相互關系，計算方法。 （2）馬赫帶效應。（四） 采樣和量化1 識記：（1）空間分辨率和幅度分辨率。 （2）圖像質(zhì)量與采樣和量化。2 領會：（1）空間分辨率和幅度分辨率對圖像質(zhì)量的影響。3 應用：（1）根據(jù)空間分辨率和幅度分辨率計算圖像存儲量。第三章 像素空間關系一、 考核知識點（一） 像素間聯(lián)系（二） 基本坐標變換（三） 形態(tài)變換（四） 幾何失真校正二、 考核要求（一） 像素間聯(lián)系1 識記：（1）像素鄰域的基本概念。（2）像素間的鄰接、連接和連通的概念及判斷方法。 （3）像素間的距離。2 應用：（1）像素鄰域的確定和像素間距離的計算。（二） 基本坐

36、標變換1 識記：（1）常見的圖像坐標變換，包括平移變換、放縮變換和旋轉(zhuǎn)變換。（2）級連變換和反變換的概念。2 應用：（1）給定不同的變換矩陣，對空間點進行各種變換。（三） 形態(tài)變換1 識記：（1）形態(tài)變換的基本概念和分類。 （2）一般仿射變換的概念和性質(zhì)。 （3）相似變換、剛體變換、歐氏變換和等距變換等特殊仿射變換的概念。 （4）不同變換的層次關系和變換不變量。2 領會：（1）各種仿射變換的性質(zhì)和特點。（四） 幾何失真校正1 識記：（1）幾何失真和幾何失真校正的基本概念。 （2）幾何失真校正的兩個基本步驟，包括空間變換和灰度插值。2 領會：（1）幾何失真校正的原理和方法。第四章 空域增強技術一

37、、 考核知識點（一） 空域技術分類（二） 圖像間運算（三） 直接灰度映射（四） 直方圖變換（五） 線性濾波（六） 非線性濾波（七） 局部增強二、 考核要求（一） 空域技術分類1 識記：（1）空域增強技術的基本概念和分類。（二） 圖像間運算1 識記：（1）基本算術和邏輯運算。2 應用：（1）圖像間運算的應用，包括圖像間加法、減法、乘法和除法。（三） 直接灰度映射1 識記：（1）灰度映射基本概念。 （2）各種典型灰度映射的定義，包括圖像求反、對比度增強、動態(tài)范圍壓縮和灰度切分等。2 領會：（1）灰度映射基本實現(xiàn)原理。 （2）各種典型灰度映射的特點。3 應用：（1）運用直接灰度映射變換進行圖像增強。

38、（四） 直方圖變換1 識記：（1）直方圖均衡化基本概念。 （2）直方圖規(guī)定化基本概念。2 領會：（1）直方圖均衡化基本原理。 （2）直方圖規(guī)定化基本原理。3 應用：（1）運用直方圖變換技術進行圖像增強。（五） 線性濾波1 識記：（1）線性濾波的基本概念、技術分類。 （2）線性平滑濾波器，包括鄰域平均和加權平均。2 領會：（1）線性平滑濾波器的模板卷積和實現(xiàn)原理。3 應用：（1）運用線性平滑濾波技術進行圖像增強。（六） 非線性濾波1 識記：（1）非線性平滑濾波器基本概念，包括各種中值濾波器序統(tǒng)計濾波器等。 （2）非線性銳化濾波器基本概念和性質(zhì)，差分模板和最大-最小銳化變換。2 領會：（1）非線性

39、平滑濾波器的模板卷積和實現(xiàn)原理。 （2）非線性銳化濾波器的模板卷積和實現(xiàn)原理。3 應用：（1）運用中值濾波技術進行圖像增強。（七） 局部增強1 識記：（1）局部增強的基本概念。第五章 基本圖像變換一、 考核知識點（一） 可分離和正交圖像變換（二） 傅里葉變換（三） 沃爾什/哈達瑪變換（四） 離散余弦變換（五） Radon變換二、 考核要求（一） 可分離和正交圖像變換1 識記：（1）可分離圖像變換的基本概念。 （2）正交圖像變換的基本概念。2 領會：（1）正交圖像變換的對應矩陣性質(zhì)。（二） 傅里葉變換1 識記：（1）2-D傅里葉變換的基本概念。 （2）傅里葉變換基本定理。 （3）快速傅里葉實現(xiàn)方

40、法。2 領會：（1）各種傅里葉變換基本定理表達的空域和頻域性質(zhì)，包括平移定理、旋轉(zhuǎn)定理、尺度定理、剪切定理、組合剪切定理、仿射定理、卷積定理和相關定理。3 應用：（1）傅里葉變換的計算，基于傅里葉變換技術的圖像分析。（三） 沃爾什/哈達瑪變換1 識記：（1）沃爾什變換的基本概念。 （2）哈達瑪變換的基本概念。2 領會：（1）沃爾什和哈達瑪變換之間的聯(lián)系和區(qū)別。3 應用：（1）構(gòu)造沃爾什和哈達瑪變換核。（四） 離散余弦變換1 識記：（1）離散余弦變換的基本概念。2 領會：（1）離散余弦變換和傅里葉變換之間的聯(lián)系和區(qū)別。3 應用：（1）離散余弦變換的計算。（五） Radon變換1 識記：（1）Ra

41、don變換的基本定義。 （2）Radon變換基本性質(zhì) （3）Radon反變換2 領會：（1）Radon變換和傅里葉變換之間的聯(lián)系和區(qū)別。第六章 頻域圖像增強一、 考核知識點（一） 頻域圖像增強原理（二） 低通濾波（三） 高通濾波（四） 帶通和帶阻濾波（五） 同態(tài)濾波（六） 頻域和空域技術二、 考核要求（一） 頻域圖像增強原理1 識記：（1）頻域圖像增強基本原理。2 領會：（1）頻域圖像增強主要步驟。（二） 低通濾波1 識記：（1）低通濾波器的基本概念。 （2）各種低通濾波器的定義。2 領會：（1）低通濾波器的圖像濾波效果。3 應用：（1）運用低通濾波技術進行圖像增強。（三） 高通濾波1 識記：

42、（1）高通濾波器的基本概念。 （2）各種高通濾波器的定義。2 領會：（1）高通濾波器的圖像濾波效果。3 應用：（1）運用高通濾波技術進行圖像增強。（四） 帶通和帶阻濾波1 識記：（1）帶通和帶阻濾波器的基本概念。 （2）各種帶通和帶阻濾波器的定義。2 領會：（1）帶通和帶阻濾波器的圖像濾波效果。（五） 同態(tài)濾波1 識記：（1）同態(tài)濾波器的基本概念和基本步驟。2 領會：（1）同態(tài)濾波器的圖像濾波效果。（六） 頻域和空域技術1 領會：（1）圖像增強中頻域和空域兩種技術間的聯(lián)系，空域技術可以借助頻域概念進行分析，頻域技術也可在空域?qū)崿F(xiàn)。第七章 彩色圖像處理一、 考核知識點（一） 彩色視覺和描述（二）

43、 彩色模型（三） 偽彩色增強（四） 真彩色處理二、 考核要求（一） 彩色視覺和描述1 識記：（1）彩色視覺基礎。 （2）三基色和色匹配基本概念。 （3）色度、色系數(shù)和色度圖基本概念。（二） 彩色模型1 識記：（1）面向硬設備的彩色模型，包括RGB、CMY和彩色電視顏色模型等。 （2）面向視覺感知的彩色模型，包括HIS、HSV和HSB模型等。2 應用：（1）各種彩色模型之間的相互轉(zhuǎn)換。（三） 偽彩色增強1 識記：（1）偽彩色增強的基本概念。 （2）偽彩色增強的各種空域和頻域方法，包括亮度切割、從灰度到彩色的變換和頻域濾波。（四） 真彩色處理1 識記：（1）真彩色處理的基本概念。 （2）單分量變換

44、增強技術。 （3）全彩色增強技術。第八章 圖像恢復一、 考核知識點（一） 退化及噪聲（二） 退化模型和對角化（三） 關于恢復的討論（四） 無約束恢復（五） 有約束恢復（六） 交互式恢復二、 考核要求（一） 退化及噪聲1 識記：（1）信噪比的定義。 （2）幾種常見噪聲來源。2 領會：（1）幾種噪聲概率密度函數(shù)的表示形式，包括高斯噪聲、均勻噪聲和脈沖（椒鹽）噪聲。（二） 退化模型和對角化1 識記：（1）圖像退化模型的描述，線性系統(tǒng)的幾個性質(zhì)。2 領會：（1）退化模型矩陣的特點。 （2）輪換矩陣對角化的表示方法。 （3）退化模型對角化的表示方法。3 應用：（1）利用退化模型恢復原始圖像的具體矩陣表示

45、。 （2）退化模型的計算。 （2）輪換矩陣對角化的計算。（三） 關于恢復的討論1 識記：（1）存在誤差（尤其是加性噪聲）時圖像的恢復公式。 （2）幾種實恢復函數(shù)的確定。2 應用：（1）無約束和有約束恢復的向量表示法。（四） 無約束恢復1 識記：（1）逆濾波的定義與數(shù)學描述。2 領會：（1）逆濾波的物理意義。3 應用：（1）采用逆濾波技術進行圖像恢復。 （2）根據(jù)已知條件消除勻速直線運動造成的模糊。（五） 有約束恢復1 識記：（1）維納濾波的基本概念，它是一種最小均方誤差濾波器。 （2）相關矩陣的特點。2 領會：（1）逆濾波恢復和維納濾波恢復結(jié)果的對比。 （2）維納濾波與有約束最小平方濾波結(jié)果的

46、對比。3 應用：（1）滿足給定約束條件時最優(yōu)解的向量表示。 （2）有約束最小平方恢復過程的具體運用。（六） 交互式恢復1 識記：（1）消除圖像中正弦干擾的基本方法。2領會：（1）正交式恢復消除正弦干擾的數(shù)學描述。第九章 圖像重建一、 考核知識點（一） 投影重建概述（二） 傅里葉反變換重建（三） 逆投影重建（四） 級數(shù)展開重建（五） 綜合重建方法（六） 離散周期重建二、 考核要求（一） 投影重建概述1 識記：（1）投影重建的主要方式，包括透射斷層成象、發(fā)射斷層成象、反射斷層成象、磁共振成象等。2 領會：（1）投影重建的基本原理。（二） 傅里葉反變換重建1 識記：（1）傅里葉反變換重建的基本步驟和

47、定義。 （2）傅里葉變換投影定理的數(shù)學描述。 （3）傅里葉反變換重建公式。2 領會：（1）傅里葉反變換重建的基本原理。（三） 逆投影重建1 識記：（1）卷積逆投影重建的主要方法，包括連續(xù)公式推導、離散計算和扇束投影重建。 （2）其他逆投影重建，包括逆投影濾波、濾波逆投影。2 領會：（1）逆投影重建的基本原理。3 應用：（1）卷積逆投影重建法的具體應用。（四） 級數(shù)展開重建1 識記：（1）級數(shù)展開重建基本概念和特點。 （2）無松弛的代數(shù)重建技術。（3）松弛的代數(shù)重建技術。（五） 綜合重建方法1 識記：（1）綜合重建方法的具體應用，如迭代變換法、迭代重建投影、角諧函數(shù)法和正弦多項式展開等。（六）

48、離散周期重建1 識記：（1）圖像離散形式。 （2）離散周期Radon變換公式。（3）離散周期Radon反變換公式。第十章 典型圖像變換一、 考核知識點（一） Gabor變換（二） 哈爾變換（三） 霍特林變換二、 考核要求（一） Gabor變換1 識記：（1）短時傅里葉變換定義。 （2）連續(xù)Gabor變換定義。（3）離散Gabor變換定義。2 領會：（1）短時傅里葉變換和Gabor變換的特點。（二） 哈爾變換1 識記：（1）哈爾函數(shù)的定義。 （2）哈爾變換的定義。2 應用：（1）哈爾函數(shù)的計算。（三） 霍特林變換1 識記：（1）霍特林變換定義。2 應用：（1）霍特林變換中特征值的計算。第十一章

49、圖像編碼基礎一、 考核知識點（一） 圖像編碼基本概念（二） 圖像編碼基礎理論（三） LZW編碼（四） 變長編碼（五） 位平面編碼二、 考核要求（一） 圖像編碼基本概念1 識記：（1）數(shù)據(jù)冗余的概念，包括編碼冗余、像素間冗余和心理視覺冗余。 （2）圖像保真度和圖像質(zhì)量，包括客觀保真度準則和主觀保真度準則。（3）圖像編碼模型，包括通用編碼系統(tǒng)模型、信源編解碼器和信道編解碼器。（二） 圖像編碼基礎理論1 識記：（1）信息論基礎，包括信息測量、信息量單位（熵）、自信息、互信息、信道容量等概念。 （2）無失真編碼定理。 （3）有失真信源編碼定理。2 領會：（1）信息量和互信息的含義。 （2）兩種信源編碼

50、定理的含義。3 應用：（1）信息量、互信息的計算。 （2）率失真函數(shù)的計算。（三） LZW編碼1 識記：（1）LZW編碼的基本思路和特點。2 應用：（1）采用LZW編碼方法進行信源編碼。（四） 變長編碼1 識記：（1）變長編碼或熵編碼的基本概念。 （2）哈夫曼編碼方法、包括最優(yōu)哈夫曼編碼和亞最優(yōu)哈夫曼編碼。 （3）香農(nóng)-法諾編碼方法。 （4）算術編碼方法。 （5）變長編碼的特性，包括即時碼、唯一碼。2 領會：（1）哈夫曼編碼基本原理。 （2）香農(nóng)-法諾編碼基本原理。 （3）算術編碼基本原理。3 應用：（1）采用哈夫曼編碼方法進行信源編碼。 （2）采用算術編碼方法進行信源編碼。（五） 位平面編碼

51、1 識記：（1）位平面分解，包括二值分解和灰度碼分解。 （2）位平面編碼，包括常數(shù)塊編碼、1-D游程編碼和2-D游程編碼。2 領會：（1）各種位平面編碼方法和它們之間的差異。第十二章 圖像編碼方法一、 考核知識點（一） 預測編碼（二） 變換編碼二、 考核要求（一） 預測編碼1 識記：（1）無損預測編碼的基本概念。 （2）有損預測編碼的基本概念，包括編碼系統(tǒng)框圖、DM編碼、DPCM編碼、最優(yōu)預測和最優(yōu)量化等。2 領會：（1）無損預測編碼的基本原理。 （2）有損預測編碼的基本原理。 （3）有損預測編碼中的最優(yōu)預測和最優(yōu)量化。3 應用：（1）采用DM編碼、DPCM編碼方法進行預測編碼。 （2）有損預測編碼中的最優(yōu)預測系數(shù)和最優(yōu)量化電平的確定。（二） 變換編碼1 識記：（1）變換編碼系統(tǒng)基本原理和系統(tǒng)框圖。 （2）變換編碼基本步驟，包括子圖像尺寸選擇、變換選擇和比特分配方法。 （3）重建均方誤差。2 領會：（1）變換編碼基本原理。 （2）子圖像尺寸對編碼系統(tǒng)的影響。 （2）常見變換在編碼中的特點，變換選擇對編碼系統(tǒng)的影響。3 應用：（1）采用DCT變換進行信源編碼。第十三章 圖像國際標準一、 考核知識點（一） 國際標準（二） 二值圖像壓縮國際標準（三） 靜止圖