現(xiàn)代通信理論第三講 信源編碼

第三

講

信源編碼現(xiàn)代通信理論概述：

編碼理論包括3個(gè)方面的內(nèi)容：提高數(shù)字信息傳輸、存儲(chǔ)處理的有效性為宗旨的信源編碼，即用盡可能最少的信息比特來(lái)表示信源。保證數(shù)字信號(hào)傳輸和處理的可靠性為目的的差錯(cuò)控制編碼—信道編碼，通過(guò)在待傳信息中加入冗余比特來(lái)達(dá)到差錯(cuò)控制的目的。增加數(shù)字信息傳輸、存儲(chǔ)處理的為目標(biāo)數(shù)字加密編碼。

通信的目的就是把信源產(chǎn)生的信息送到目的地，信源有聲音、音樂(lè)、視頻。將信源輸出轉(zhuǎn)換為數(shù)字形式的過(guò)程稱(chēng)為信源編碼。利用信源的統(tǒng)計(jì)特性解除信源的相關(guān)性，去掉信源多余的冗余信息，可以達(dá)到壓縮信源信息速率（在保證一定聲音或圖象質(zhì)量）的條件下，以最小的數(shù)據(jù)率來(lái)表達(dá)和傳送聲音（或圖象）數(shù)據(jù)。模數(shù)轉(zhuǎn)換（A/D）和信源的壓縮編碼信源編碼的兩個(gè)主要過(guò)程為：數(shù)據(jù)能夠壓縮的可能性在于：1.原始數(shù)據(jù)中存在著大量的冗余信息(時(shí)間、空間和統(tǒng)計(jì)冗余）

時(shí)間冗余：在一般的情況下，聲音的幅度是逐漸變化的，因而對(duì)聲音波形采樣后，相鄰樣值之間存在著很強(qiáng)的相關(guān)性，同樣對(duì)每秒顯示25幅圖像的視頻信號(hào)，前后相鄰的圖像之間一般也有很強(qiáng)的相關(guān)性，既表現(xiàn)為時(shí)間上的冗余?？臻g冗余:

圖像的相鄰像素之間也存在著相關(guān)性，相關(guān)的像素所攜帶的信息中存在著冗余，這通常稱(chēng)之為空間冗余。統(tǒng)計(jì)冗余：當(dāng)信號(hào)中的時(shí)間和空間冗余信息完全去除后，由信息論可知只要這些離散幅值出現(xiàn)的概率不相等，就還有冗余（稱(chēng)為統(tǒng)計(jì)冗余）因而就存在著壓縮的可能性。2.掩蓋效應(yīng)

視頻和音頻的最終接收者是人，人視覺(jué)和聽(tīng)覺(jué)器官都有某種不敏感性，對(duì)圖象或聲音的影響很小，在有些情況下甚至可以忽略不計(jì)，即：掩蓋效應(yīng)。時(shí)間遮蓋效應(yīng):

在場(chǎng)景突然變化的瞬間，對(duì)新景物的分辨率很低另外人可聽(tīng)到的聲音頻率有一定的范圍，人眼對(duì)過(guò)高或過(guò)低空間頻率的亮度變化不能察覺(jué)?？臻g掩蓋效應(yīng):

人眼所能觀察到的亮度和色彩變化也有一定的限度，對(duì)亮度細(xì)節(jié)的分辨率比對(duì)色彩的高，在細(xì)節(jié)豐富的區(qū)域內(nèi)不容易察覺(jué)噪聲。

第一部分

信源的數(shù)學(xué)模型與信息度量

信源產(chǎn)生的輸出都是隨機(jī)的，因此需要用統(tǒng)計(jì)方法去定性描述

一、

離散信源的統(tǒng)計(jì)特性

[1].信源的輸出是隨機(jī)的；

[2].離散信源是由有限個(gè)字符集組成的序列；

[4].若信源輸出符號(hào)是統(tǒng)計(jì)獨(dú)立的，離散無(wú)記憶信源；

若信源輸出符號(hào)之間有關(guān)聯(lián)性，離散有記憶信源;[3].每個(gè)字符得出現(xiàn)都有一定概率：二、離散信息的對(duì)數(shù)度量1.信息量對(duì)接收者來(lái)說(shuō)，事件愈不可能，愈使人感到意外，則信息量愈大定義

I=㏒a[1/P(x)]=－㏒aP

(x)

當(dāng)a=2時(shí)，單位為bit（比特）二進(jìn)制信號(hào)，若0、1等概出現(xiàn)，每個(gè)符號(hào)所攜帶的信息量為1bitM進(jìn)制信號(hào)，如每個(gè)符號(hào)等概出現(xiàn)，每個(gè)符號(hào)所攜帶的信息量為2.離散信源平均信息量(熵)

若信源的各個(gè)符號(hào)是統(tǒng)計(jì)獨(dú)立的，則：3.

條件平均信息量若信源輸出的符號(hào)具有一定關(guān)聯(lián)性，則：[2].當(dāng)離散信源中每個(gè)符號(hào)等概出現(xiàn)，且各符號(hào)的出現(xiàn)統(tǒng)計(jì)獨(dú)立時(shí)，該信源的平均信息量最大：[3].信源編碼的任務(wù)就是減少或消除符號(hào)間的關(guān)聯(lián)性，并使各符號(hào)的出現(xiàn)趨于等概，從而以最小的符號(hào)數(shù)傳遞最大的信息量.結(jié)論:[1].符號(hào)間統(tǒng)計(jì)獨(dú)立的熵大于統(tǒng)計(jì)相關(guān)時(shí)的熵；三、連續(xù)信源的信息度量連續(xù)消息源的最大熵的條件取決于信息源輸出值上所受到的限制把連續(xù)消息看成離散消息的極限情況，若連續(xù)消息在每個(gè)抽樣點(diǎn)上的取值是一個(gè)連續(xù)的隨即變量，其一維概率密度函數(shù)為。定義連續(xù)消息的平均信息量：均方值受限時(shí)最佳概率分布為正態(tài)分布，最大熵為:峰值受限時(shí)最佳概率分布為均勻分布，最大熵為:結(jié)論:

將連續(xù)信源的概率密度函數(shù)變換為最佳概率分布以得到最大熵，同樣是信源編碼所要解決的題。四、信道容量由于信道中存在著干擾，在這種信道中信息傳輸?shù)淖畲笾捣Q(chēng)為信道容量。在高斯白噪聲信道中的信道容量由香農(nóng)公式給出：香農(nóng)公式說(shuō)明，在帶寬受限和信噪比受限的信道中，信息傳輸?shù)淖罡咚俾室矊⑹艿较拗啤?)

提高信號(hào)與噪聲功率之比能增加信道容量；2)

在無(wú)干擾的信道（噪聲功率為0）中，信道容量為無(wú)限大；3)

增加帶寬B并不能使信道容量無(wú)限制增大；4)

當(dāng)信道容量一定時(shí)帶寬和信噪比可以互換，即帶寬換取功率。第二部分熵編碼電平出現(xiàn)概率電平S1S2S3S4出現(xiàn)概率1/21/41/81/8等長(zhǎng)碼00011011霍夫曼碼010110111

例如：

熵編碼旨在去除信源的統(tǒng)計(jì)冗余信息，霍夫曼編碼是最常見(jiàn)的熵編碼方法?；舴蚵a的基本思想是：對(duì)出現(xiàn)概率較大的符號(hào)(電平)取較短的碼，而對(duì)出現(xiàn)概率較小的符號(hào)取較長(zhǎng)的碼，因此它是一種變長(zhǎng)碼。原信源輸出的序列：S1S2S1S3S2S1S1S4等長(zhǎng)編碼序列：

0001001001000011霍夫曼編碼序列：

01001101000111

等長(zhǎng)編碼需要16bit，而霍夫曼碼只要14bit①等長(zhǎng)編碼：把信源輸出的符號(hào)編成碼元數(shù)目相等的碼字;②非定長(zhǎng)編碼：把信源輸出的符號(hào)編成碼元數(shù)目不相等的碼字。首先是無(wú)失真的，其次要使編成的碼字的平均碼元數(shù)(碼長(zhǎng))最短(最佳非定長(zhǎng)編碼)?；舴蚵幋a(熵編碼)：

它是基于信源符號(hào)概率的非等長(zhǎng)編碼方法。要求：(a)

把信源中出現(xiàn)概率大的消息符號(hào)編成短碼，反之編成長(zhǎng)碼。(b)要求所編出的碼字是單義可譯碼，即任意一個(gè)有限長(zhǎng)的碼字序列只能唯一地分割成一個(gè)碼字的碼(異字頭碼)。對(duì)(b)來(lái)說(shuō)，如果所編的碼字是異字頭碼：即所有碼字集合中任何一個(gè)碼字都不是另一個(gè)碼字的字頭，或者說(shuō)任何一個(gè)碼字都不是由另一個(gè)碼字加上幾個(gè)碼位所構(gòu)成，稱(chēng)為異字頭碼，它能保證譯碼的唯一性?；舴蚵幋a舉例：

方法1:0111111000000.650.350.150.050.01平均碼長(zhǎng)為，而等長(zhǎng)編碼需要3bit方法20111111000000.650.350.150.050.0101111000011001011101110111樹(shù)圖構(gòu)成第三部分模擬信號(hào)的數(shù)字傳輸一、模擬信號(hào)的采樣--采樣定理1.低通信號(hào)的采樣定理：一個(gè)頻帶限制在（0，）內(nèi)的時(shí)間連續(xù)信號(hào)，如果對(duì)它以，或等間隔進(jìn)行采樣，則該信號(hào)將被所得到的抽樣值完全地確定。

抽樣的時(shí)域和頻域描述時(shí)域頻域

2.

帶通型信號(hào)的抽樣定理：若模擬信號(hào)m

(t)是帶通信號(hào)，頻率限制在f

L和fH之間，帶寬B=f

H–fL,則:原因：經(jīng)過(guò)采樣的信號(hào)仍然是模擬信號(hào)，它的取值仍有無(wú)窮多個(gè)，因此還必須對(duì)其取值進(jìn)行量化；方法：利用預(yù)先規(guī)定的有限個(gè)電平來(lái)表示模擬的抽樣值；抽樣是把一個(gè)時(shí)間連續(xù)信號(hào)變換成時(shí)間離散的信號(hào)，而量化則是將取值連續(xù)的抽樣變成取值離散的抽樣。二、模擬信號(hào)的量化1.均勻量化量化間隔最大量化誤差a:

信號(hào)最小值，b:

最大值，M：量化級(jí)數(shù)不足：均勻量化時(shí)大小信號(hào)的量化信噪比不同，因此影響了滿(mǎn)足信噪比要求的輸入信號(hào)取值范圍（動(dòng)態(tài)范圍）量化誤差(量化噪聲)＝抽樣值－量化電平值量化性能：量化信噪比量化電平抽樣值

2.非均勻量化：利用壓擴(kuò)技術(shù)來(lái)實(shí)現(xiàn)非均勻量化利用非線(xiàn)性函數(shù)先對(duì)抽樣值進(jìn)行壓縮，然后再進(jìn)行均勻量化，相當(dāng)于對(duì)輸入信號(hào)進(jìn)行了非均勻量化，收端經(jīng)過(guò)相反的過(guò)程－擴(kuò)張，恢復(fù)信號(hào)的。μ律壓縮北美、日本標(biāo)準(zhǔn)A律壓縮中國(guó)、歐洲標(biāo)準(zhǔn)用13折線(xiàn)逼近A律壓縮曲線(xiàn)各折線(xiàn)段的斜率：用15折線(xiàn)逼近μ律壓縮曲線(xiàn)段落起始電平段落

1234567801632641282565121024起始電平量化間隔11248163264三、脈沖編碼調(diào)制(PCM)

系統(tǒng)組成將模擬信號(hào)的抽樣值量化并轉(zhuǎn)化成相應(yīng)的代碼的過(guò)程。就完成了模擬信號(hào)到數(shù)字信號(hào)的轉(zhuǎn)換，這種對(duì)模擬信號(hào)進(jìn)行抽樣、量化、編碼的調(diào)制方式稱(chēng)為脈沖編碼調(diào)制(PCM)。.抽樣量化編碼譯碼低通PCM系統(tǒng)組成13折線(xiàn)的編碼的實(shí)現(xiàn)碼型的選擇：自然二進(jìn)碼、折疊二進(jìn)碼碼長(zhǎng)的選擇可懂度:3~4位非線(xiàn)性編碼清晰度:7~8位非線(xiàn)性編碼第四部分信源壓縮編碼語(yǔ)音PCM編碼的速率為：圖像PCM編碼，若采用8位編碼（1個(gè)亮度信號(hào)，2個(gè)色差信號(hào)2個(gè)）三種方法：

1.波形編碼

2.參數(shù)編碼

3.變換域編碼每路電話(huà)可以壓縮到2.4k～4.8k，仍可保證長(zhǎng)途質(zhì)量HDTV：15～25Mbps，會(huì)議電視：128k～2048k，常規(guī)電視：1.5～12M，電視電話(huà)：9.6～64k一、

波形編碼：DPCM及ADPCM提出：語(yǔ)音或圖像信號(hào)波形具有相關(guān)性，經(jīng)過(guò)取樣后的幾個(gè)樣值仍有相關(guān)性，其中相關(guān)部分是可以預(yù)測(cè)的，它由過(guò)去的一些樣值經(jīng)過(guò)加權(quán)后得到，稱(chēng)為預(yù)測(cè)值，非相關(guān)部分是不可預(yù)測(cè)的，這時(shí)實(shí)際傳送信號(hào)是樣值與預(yù)測(cè)值之差值，因此只要對(duì)預(yù)測(cè)誤差進(jìn)行量化編碼就可以大大地壓縮編碼速率（差值信號(hào)動(dòng)態(tài)范圍大大的減?。?，這就是DPCM的原理。

ADPCM是DPCM基礎(chǔ)上發(fā)展起來(lái)的，主要是改進(jìn)量化器和預(yù)測(cè)器，均采用自適應(yīng)方式，即量化器和預(yù)測(cè)器的參數(shù)能根據(jù)輸入信號(hào)的統(tǒng)計(jì)特性自適應(yīng)于最佳或接近于最佳參數(shù)狀態(tài)。DPCM系統(tǒng)框圖數(shù)字信道量化器預(yù)測(cè)器編碼解碼預(yù)測(cè)器+++_++S(k)Se(k)d(k)dq(k)Sr(k)I(k)I’(k)dq(k)Se(k)Sr(k)DPCM碼流編碼器解碼器++d

(Z)S

e(Z)Sr(Z)接收端H(Z)+_S(Z)Se(Z)d

(Z)Sr(Z)發(fā)送端++極點(diǎn)預(yù)測(cè)器DPCM系統(tǒng)發(fā)送端+_S(Z)Se(Z)d

q

(Z)量化器+_Sr(Z)d

q

(Z)H(z)接收端零點(diǎn)預(yù)測(cè)器：零點(diǎn)預(yù)測(cè)DPCM系統(tǒng)零點(diǎn)預(yù)測(cè)器極點(diǎn)預(yù)測(cè)器d

q

(k)Se(k)Sr(k)+_S(k)Se(k)d

q

(k)量化器極點(diǎn)預(yù)測(cè)器零點(diǎn)預(yù)測(cè)器d

(k)Sr(k)發(fā)送端接收端零極點(diǎn)預(yù)測(cè)器DPCM系統(tǒng)1.

極點(diǎn)系統(tǒng)存在不穩(wěn)定，尤其在自適應(yīng)預(yù)測(cè)器在系數(shù)更新時(shí)會(huì)引起系統(tǒng)不穩(wěn)定，其次重建濾波器是無(wú)限沖擊響應(yīng)系統(tǒng)，即輸出對(duì)輸入的反饋，將會(huì)使誤差積累；

2.

全零點(diǎn)預(yù)測(cè)系統(tǒng)不存在穩(wěn)定問(wèn)題，且系統(tǒng)是非遞歸的，不會(huì)產(chǎn)生誤差積累，但是在理想信道的條件下，預(yù)測(cè)性能不如全極點(diǎn)預(yù)測(cè)器；

3.極零點(diǎn)預(yù)測(cè)系統(tǒng)的傳輸函數(shù)是無(wú)限沖擊響應(yīng)系統(tǒng)，預(yù)測(cè)器記憶長(zhǎng)度較長(zhǎng)，在無(wú)誤碼情況有利于保證語(yǔ)音質(zhì)量，但是在有誤碼情況下，反而影響傳輸質(zhì)量，但是零點(diǎn)的存在可減緩這一矛盾。4.在DPCM系統(tǒng)中，階數(shù)高預(yù)測(cè)性能好，但過(guò)大的延時(shí)會(huì)增大影響其它樣本的預(yù)測(cè)性能，零點(diǎn)階數(shù)M選擇6～10階，極點(diǎn)階數(shù)N選擇2～4階。預(yù)測(cè)誤差：均方誤差：令或根據(jù)N個(gè)線(xiàn)性方程，可解出預(yù)測(cè)系數(shù)使預(yù)測(cè)誤差最小。極點(diǎn)預(yù)測(cè)算法：設(shè)信號(hào)樣值序列為，k時(shí)刻的信號(hào)值用過(guò)去的N個(gè)信號(hào)的線(xiàn)性組合來(lái)預(yù)測(cè)：----預(yù)測(cè)系數(shù)自相關(guān)函數(shù)可通過(guò)下面估算：PCM/線(xiàn)性碼自適應(yīng)量化器自適應(yīng)逆量化器自適應(yīng)預(yù)測(cè)器定標(biāo)因子自適應(yīng)自適應(yīng)速度控制++ADPCM

碼輸出d

q

(k)S

r

(k)S

e

(k)32KbpsADPCM編碼器原理圖二、參數(shù)編碼：聲碼器提出：?jiǎn)为?dú)利用ADPCM進(jìn)行壓縮編碼，對(duì)于語(yǔ)音信號(hào)來(lái)說(shuō)只能將64kb/s降低到32kb/s。聲碼器是利用人的發(fā)聲機(jī)理提取和傳送基本參數(shù)，接收端再利用這些參數(shù)還原出語(yǔ)音，用2.4kb/s仍可傳輸高質(zhì)量的語(yǔ)音。其產(chǎn)生模型如下：

此模型包括三個(gè)部分：激勵(lì)源、聲道模型和輻射模型。激勵(lì)源分濁音和清音兩個(gè)分支，按照濁音/清音開(kāi)關(guān)所處的位置來(lái)決定產(chǎn)生的語(yǔ)音是濁音還是清音。濁音由準(zhǔn)周期脈沖激勵(lì)產(chǎn)生，其周期稱(chēng)為基音周期，而清音由隨機(jī)噪聲激勵(lì)產(chǎn)生。在濁音情況下，激勵(lì)源由一個(gè)周期脈沖發(fā)生器產(chǎn)生;為了使?jié)嵋舻募?lì)信號(hào)具有聲門(mén)氣流脈沖的實(shí)際波形，還需要使上述的沖擊序列通過(guò)一個(gè)聲門(mén)脈沖模型濾波器;聲道模型H

(z)給出了離散時(shí)域的聲道傳遞函數(shù)，在大多數(shù)情況下它是一個(gè)全極點(diǎn)函數(shù)。則H

(z)可以表示為：

聲門(mén)氣流、聲道以及唇輻射的聯(lián)合作用由此時(shí)變數(shù)字濾波器H(z)表示。

當(dāng)發(fā)音時(shí)，激勵(lì)和聲道形狀都是隨時(shí)間而改變的，將預(yù)測(cè)系數(shù)、清/濁判別，基音周期和增益G做為傳輸函數(shù)進(jìn)行編碼，接收端可恢復(fù)（合成）出原始語(yǔ)音信號(hào)，但語(yǔ)音信號(hào)隨時(shí)間的改變是非常緩慢的，大致可以認(rèn)為在每10～30ms短時(shí)間間隔內(nèi)語(yǔ)音信號(hào)的特性基本上是固定不變的。因此若每20ms為一幀傳輸一組參量，從而大大降低了比特率。

發(fā)送端一般需要提取并傳送15個(gè)基本參量，基因周期P(6bit)，清濁音判決U/V(1bit)，語(yǔ)音增益G(5bit)，12個(gè)線(xiàn)性時(shí)變合成語(yǔ)音濾波器系數(shù){a

i}(每個(gè)系數(shù)量化11bit)，共需144bit，對(duì)于20ms的語(yǔ)音幀，相當(dāng)于7.2Kbps。[1].采用反射系數(shù)格型算法，可將系數(shù)量化從11bit壓縮至

3～6bit；[2].采用矢量量化技術(shù)