信源編碼基本理論及其應用

1、摘 要本文首先先簡單介紹了信源編碼和數(shù)字通信系統(tǒng)中信源編碼的相關作用及實際應用。然后引入信源編碼理論的信源研究和其編碼方式部分并進行整理分析，基中涉及非均勻量化和哈夫曼編碼的相關應用；應用部分主要是對以GMS系統(tǒng)為首的CELP、AMR、SMV等實例應用系統(tǒng)進行了概述?？傮w完成對信源編碼及其實際運用的主要性質(zhì)特點的論述與分析總結(jié)。所用內(nèi)容主要引自信源編碼理論章節(jié)內(nèi)容，具體主要涉及脈沖編碼調(diào)制（PCM）和線性預測編碼（LPC）以及圖像壓縮編碼等。關鍵詞：信源編碼；基本理論；實例應用目 錄摘 要II一 前言1二信源研究2三信源編碼方式及其相關應用23.1脈沖編碼調(diào)制（PCM）33.2離散無記憶信源編

2、碼（DMS）53.3線性預測編碼（LPC）9四信源編碼的實例應用94.1GSM系統(tǒng)94.2變速率碼激勵線性預測編碼（CELP）104.3自適應多速率編碼（AMR）104.4可選擇模式語音編碼（SMV）114.5視頻信源編碼H.26411參考文獻12 I信源編碼基本理論及其應用一 前言信息論的理論定義是由當代偉大的數(shù)學家美國貝爾實驗室杰出的科學家香農(nóng)在他1948 年的著名論文通信的數(shù)學理論所定義的，它為信息論奠定了理論基礎。后來其他科學家，如哈特萊、維納、朗格等人又對信息理論作出了更加深入的探討，使得信息論到現(xiàn)在形成了一套比較完整的理論體系。信息通過信道傳輸?shù)叫潘薜倪^程即為通信，通信中的基本問題

3、是如何快速、準確地傳送信息。要做到既不失真又快速地通信，需要解決兩個問題：一是不失真或允許一定的失真條件下，如何提高信息傳輸速度；二是在信道受到干擾的情況下，如何增加信號的抗干擾能力，同時又使得信息傳輸率最大。通常對于一個數(shù)字通信系統(tǒng)而言，信源編碼位于從信源到信宿的整個傳輸鏈路中的第一個環(huán)節(jié)，其基本目地就是壓縮信源產(chǎn)生的冗余信息，提高整個傳輸鏈路的有效性。在這個過程中，對冗余信息的界定和處理是信源編碼的核心問題，根據(jù)這些冗余信息的不同特點設計和采取相應的壓縮處理技術進行高效的信源編碼。簡言之，信息的冗余來自兩個主要的方面：首先是信源的相關性和記憶性。這類降低信源相關性和記憶性編碼的典型例子有預

4、測編碼、變換編碼等；其次是信宿對信源失真具有一定的容忍程度。這類編碼的直接應用有很大一部分是在對模擬信源的量化上，或連續(xù)信源的限失真編碼?？梢园研旁淳幋a看成是在有效性和傳遞性的信息完整性（質(zhì)量）之間的一種折中手段。實際的信源雖然多種多樣，但可歸納為圖像、語音、文字、數(shù)據(jù)等。其中圖像、語音常表現(xiàn)為時間連續(xù)的隨機波形，可通過采樣變換成隨機的時間序列。無論那種類型的信源，信源符號之間總存在相關性和分布的不均勻性，使得信源輸出符號序列的統(tǒng)計特性，尋找合適的方法把信源輸出符號序列變換為最短的碼字序列。信源編碼的基本途徑有兩個，一是編碼后使序列中的各個符號之間盡可能地互相獨立，即解除相關性；二是使編碼后各

5、個富豪出現(xiàn)的概率盡可能相等，即均勻化分布。目前去除信源符號之間冗余度的有效方法包括預測編碼和變化編碼，去除信源符號概率分布冗余度的主要方法是統(tǒng)計碼。上述方法已經(jīng)相當成熟，在實際中得到了廣泛應用，并被有關壓縮編碼的國際標準所采用。二信源研究信息論的創(chuàng)始人香農(nóng)將信源輸出的平均信息量定義為單消息（符號）離散信源的信息熵：香農(nóng)稱信源輸出的一個符號所含的平均信息量 為信源的信息熵。通信原理中對信源研究的內(nèi)容包括3個方面：(1)信源的建模 信源輸出信號的數(shù)學描述已有成熟的理論隨機過程，一般的隨機過程理論并不涉及和討論信號中所攜帶的信息，而通信原理所關心的中心內(nèi)容則是信號中攜帶的信息。發(fā)射器發(fā)送1和發(fā)送0的

6、概率是不相等的，因此需要討論發(fā)送1和發(fā)送0的不同概率。(2)信源輸出信號中攜帶信息的效率的計算： 在通信原理中，信源輸出信號所攜帶信息的效率是用熵率或冗余度來表示的。(3)信源輸出信息的有效表示 一般地，信源輸出信號中攜帶信息的效率并不很高，如何用適當?shù)男盘栍行У乇硎拘旁摧敵龅男畔⑹侨藗兏信d趣的問題，這就是信源編碼的問題。三信源編碼方式及其相關應用信源編碼的方式概括為：一、模數(shù)轉(zhuǎn)化：脈沖編碼調(diào)制和增量編碼調(diào)制PCM/DM二、離散無記憶信源編碼DMS，包括有Huffman編碼和等長編碼三、線性預測編碼LPC，將信源等效地視為在一個適當輸入信號激勵下的線性系統(tǒng)輸出。用線性系統(tǒng)的參數(shù)及伴隨的輸入激勵

7、信號進行編碼。 3.1脈沖編碼調(diào)制(PCM)3.1.1抽樣定理低通信號的抽樣定理Nyquist抽樣定理（均勻采樣定理）：一個帶限于（0，fm）Hz內(nèi)的連續(xù)時間信號f(t)，如果以Ts1/2fm秒的時間間隔進行抽樣，則f(t)將由得到的抽樣值f(kTt)完全確定。（1）Nyquist抽樣速率：（2）Nyquist最大時間間隔：（3）低通信號的抽樣示意圖： 3.1.2量化（1）均勻量化 在整個輸入信號的幅度范圍內(nèi)各量化分級間隔相等的量化方式即為均勻量化。其原理圖為： 在滿足信噪比要求的輸入信號取值范圍內(nèi)進行均勻量化時，信號動態(tài)范圍將受到較大的限制。因此均勻量化的缺陷十分明顯。（2）非均勻量化 為克

8、服均勻量化的缺點，使小信號的量化臺階減小，大信號的量化臺階增大，而形成的量化方式為非均勻量化。即根據(jù)信號的不同區(qū)間確定間隔。 方法：壓擴處理，在發(fā)送端進行壓縮，在接收端進行擴張。 非均勻量化框圖：（3）優(yōu)點有非均勻的概率密度時，非均勻量化器的輸出端能得到較高平均信噪比；非均勻量化時，量化噪聲功率的均方根值基本與信號抽樣值成正比，從而改善了小信號的信噪比；可以做到在不增大量化級數(shù)N的條件下，使信號在較寬的動態(tài)范圍內(nèi)的(S/Nq)dB達到指標的要求。 3.1.3非均勻量化的生活中應用：A律13折線壓擴技術（我國現(xiàn)在使用）目前應用較多的是以數(shù)字電路方式實現(xiàn)的A律特性折線近似。具體實現(xiàn)：對x軸在01(

9、歸一化)范圍內(nèi)以1/2遞減規(guī)律分成8個不均勻段，其分段點是1/2，1/4，1/8，1/16，1/32，1/64和1/128；對y軸在01(歸一化)范圍內(nèi)以均勻分段方式分成8個均勻段，其分段點是1/8，2/8，3/8，4/8，5/8，6/8，7/8和1。將x軸和y軸對應的分段線在x-y平面上的相交點相連接的折線就是有8個線段的折線。（4）DM增量編碼調(diào)制 DM：把過去的信號樣值作為預測值的單純預測編碼的方式。40年代提出的，是脈沖編碼的一種特殊形式，是模擬信號數(shù)字化的另一種基本方法。它的編碼設備比較簡單。3.2離散無記憶信源編碼（DMS） 在DMS編碼中，我們給每個符號賦予一定長度的代碼表示。因

10、此假設，信源的輸出來自一個由有限個符號組成的集合， 表示符號出現(xiàn)的概率，則：調(diào)整平均數(shù)據(jù)速率。由此可以看出，在賦予一定長度的代碼時，每個符號的二進制代碼平均長度最短不應小于信源的熵。我們對信源編碼的要求是：不僅要使傳遞編碼序列的信息速率盡量變小，還要從該編碼序列能無失真的恢復出源信號的輸出符號即能正確的進行反變換或者譯碼，稱此信源編碼為無失真離散信源編碼。3.2.1等長編碼（1）信源編碼原理圖為： 等長編碼又稱為均勻編碼，即不管符號出現(xiàn)的概率如何，每個符號都用N位二進制代碼表示。碼長為：編碼效率為：它表示信源的平均每個符號的信息熵 與信源平均每個符號的編碼長度R之比值。 若信源編碼器用不同長度

11、的符號來表示信源的輸出符號，則稱為變長編碼。 變長編碼的思路是根據(jù)信源輸出符號出現(xiàn)概率的不同來選擇碼字，出現(xiàn)概率大的用短碼表示，出現(xiàn)概率小的用長碼，使平均編碼長度最短，因而可提高編碼效率。變長編碼可以無失真編碼，無差錯編碼。使用變長編碼可以達到相當高的編碼效率。一般，變長碼所要求的信源消息序列長度L比等長編碼的小得多。（2）其特點是：當L為2的整數(shù)次冪且等概出現(xiàn)時，編碼效率為100%；當符號等概出現(xiàn)，但L不是2的整數(shù)次冪時，編碼效率下降，符號平均信息量與碼長N之間最多可相差1比特；L較小時，編碼效率較低，因此，可以采用擴展編碼的方法，即將連續(xù)J個符號進行統(tǒng)一編碼，則： 取整即：也就是說，每個符

12、號所增加的1比特下降到1/J比特，編碼效率增加。3.2.2哈夫曼編碼 在信源編碼的變長編碼中哈夫曼編碼（Huffman）是無前綴的變長編碼，它沒有一個碼字是其他碼字的前綴，以確保唯一可以碼。它能夠提供信源熵的編碼序列，其編碼效率高，且能無失真的編譯碼。（1）哈夫曼編碼步驟： 將信源消息符號按其出現(xiàn)的概率大小依次排列P1 P2 Pn 。 取兩個概率最小的字母分別配以0和1兩個碼元，并將這兩個概率相加作為一個新的字母的概率，與未分配的二進制符號的字母重新排隊。 對重排后的兩個概率最小符號重復步驟（2）的過程。 不斷繼續(xù)上述過程，直到最后兩個符號配以0和1為止 從最后一級開始，向前返回得到各個信源符

13、號所對應的碼元序列，即 相應的碼字。平均編碼效率：（2）哈夫曼編碼的主要特點：哈夫曼編碼構(gòu)造的碼字不唯一；哈夫曼編碼是變長編碼，硬件實現(xiàn)比較困難；采用哈夫曼編碼，要傳送編碼表，占用傳送時間；哈夫曼編碼是變長編碼，出錯時難以識別；哈夫曼編碼方法不唯一，因為編碼時的0和1是任意給的，另外在兩個符號有相同概率時的編碼過程不唯一，造成編碼結(jié)果不同，但平均碼長相同。其次：對信源進行縮減時兩個概率最小的符號合并后的概率與其他信源符號的概率相同時，這兩者在縮減信源中進行概率排序，其位置放置次序是可以任意的，故會得到不同的哈夫曼碼此時將影響碼字的長度，一般將合并的概率放在上面，這樣可以獲得較小的碼方差。對于多

14、進制哈夫曼編碼，為了提高編碼效率，就要使長碼的符號數(shù)量盡量少、概率盡量小，所以信源符號數(shù)最好滿足,其中r為進制數(shù)，n為縮減的次數(shù)。例如，要進行三進制編碼，那么最好信源有7個符號，第1次合并后減少2個成為5個，第2次合并后又減少2個成為3個，這樣給每一步賦予三進制符號就沒有浪費了。但如果信源只有6個符號時，為了盡量減少最長碼的數(shù)量，則應該在第1次合并時添置概率為零的虛擬符號1個，事實上只合并2個概率最小的符號，后面每次合并三個，就可以使得最長碼的符號數(shù)量最少，也就是長碼的概率最小，從而得到最高的編碼效率。3.2.3哈夫曼編碼的應用哈夫曼編碼現(xiàn)已廣泛應用于各類圖像編碼中，然而應用最早、最為有效的則

15、是在傳真編碼中。在傳真編碼中應用的是游程編碼，它是一類基于哈夫曼編碼的推廣。 哈夫曼編碼被稱為最優(yōu)的變長信源編碼，但是這一最佳性能是建立在穩(wěn)定、確知的概率統(tǒng)計特性的基礎上，一旦統(tǒng)計特性不穩(wěn)定或發(fā)生變化或不完全確知，變長編碼將失去統(tǒng)計匹配的前提，其性能必然引起惡化，實際信源往往不可能提供很穩(wěn)定、確知的概率特性，因此人們開始研究比較穩(wěn)健、適應性比較強的準最佳信源編碼。而且哈夫曼編碼仍然存在一些分組碼所具有的缺點。例如概率特性必須得到精確地測定，它若略有變化，還需要換碼表，以及對于二元信源，常需要多個符號合起來編碼，才能取得好的效果，但當合并的符號數(shù)不大時，編碼效率提高不多，尤其對于相關信源，不能令

16、人滿意，而合并的符號數(shù)增大時，碼表中的碼字數(shù)很多，設備將越來越復雜。 當容量設定后，隨著時間的增長，存儲器溢出和取空的的概率都將增。當T 很大時，幾乎一定會溢出或損失；由此可見，對于無線長的信息，很難采用變長碼而不出現(xiàn)錯誤。一般來說，變長碼只適用于有限碼的傳輸；即送出一段信息后，信源就停止輸出，例如傳真機送出一張紙上的信息后停止。對于長信息在實際使用時可把長信息分段送出，也可通過檢測存儲器的狀態(tài)調(diào)節(jié)信源輸出即發(fā)現(xiàn)存儲器將要溢出就停止信源輸出；發(fā)現(xiàn)存儲器將要被取空就在信道上插上空閑標志，或加快信源輸出。 變長碼可以無失真的譯碼，這是理想情況。如果這種變長碼是由信道輸入的，一個碼子前面有一個碼元錯

17、了，就可能誤認為是另一個碼字而斷點，結(jié)果后面一系列的碼字也會譯錯，這常稱為差錯的擴散。當然也可以采用某些措施，使碼元錯了一段以后，能恢復正常的碼字分離和譯碼，這一般要求在傳輸過程中差錯很少，或者加糾錯用的監(jiān)督碼位，但是這樣一來又增加了信息率。 此外，當信源有記憶時，用單個符號編碼不可能是編碼效率接近于1，因此信息率只能接近一維熵H1，而H一定小于H1 。此時仍需要多個符號一起編碼，才能提高編碼效率。但導致碼表長，存儲器多。3.3線性預測編碼（LPC）預測編碼：根據(jù)過去的信號樣值預測下一個樣值，并僅把預測值與當前樣值之差（預測誤差）加以量化編碼再傳輸?shù)姆绞健?.3.1基本思想用一個階梯波逼近模擬

18、信號，只用一位二進制編碼表示抽樣時刻波形的變化趨向。3.3.2基本原理首先根據(jù)信號的幅度大小和抽樣頻率(注意抽樣頻率大于等于2fm）去規(guī)定階梯信號的臺階，在抽樣時刻ti把信號f(ti)與前一時刻的階梯波形值進行比較，確定該時刻的輸出碼字。經(jīng)過預測編碼就可以解除信源的相關性，然后對信源進行編碼就不再是記憶的了。四信源編碼的實例應用在移動通信中，信源編碼與有線通信不同，它不僅需要對信息傳輸有效性進行保障，還應該與其他一些系統(tǒng)指標密切相關，例如容量、覆蓋和質(zhì)量。4.1GSM系統(tǒng)以GSM系統(tǒng)為例。GSM系統(tǒng)中普通的全速率和版速率話音編碼來說，其速率分別為9.6kbps和4.8kbps，前者的話音質(zhì)量好

19、于后者，但占用的系統(tǒng)資源是后者的兩倍左右。當系統(tǒng)的覆蓋不是限制因素時，使用半速率編碼可以犧牲質(zhì)量換取倍增的容量，即提高系統(tǒng)的有效性。而當系統(tǒng)的容量相對固定時，可以通過使用半速率編碼犧牲質(zhì)量換取覆蓋的增加，因為半速率編碼對于接收信號質(zhì)量的要求降低了。除此之外，移動通信中的信源編碼的設計和實現(xiàn)還要考慮其他一些因素。由于移動終端是由電池供電，其運算處理能力悠閑，因此信源編碼就要在保證質(zhì)量的前提下盡可能地降低復雜度。另外考慮到信宿處理能力的差異，編碼后的數(shù)據(jù)流量應該也包含不同質(zhì)量的信息，以適應不同終端的需求?？紤]到移動通信信道的差錯特性和一些話音、多媒體業(yè)務的實時性，這類業(yè)務通常要求移動通信中的信源編

20、碼能夠容忍一定的差錯而無需復雜的傳播。2G/3G中的話音信源編碼的基本原理是相同的，都采用了矢量量化和參數(shù)編碼的方式。4.2變速率碼激勵線性預測編碼（CELP） IS-95中的CELP技術通過四個等級的變速率編碼實現(xiàn)話音激活，即使用者發(fā)聲時進行全速率（9.6kbps）編碼，而不發(fā)聲時僅僅傳遞八分之一（1.2kbps）的背景噪聲，以降低功耗和對其他用戶的干擾。4.3自適應多速率編碼（AMR） 數(shù)字蜂窩系統(tǒng)自適應多碼率語音傳輸解編碼器（Adaptive MultiRate Speech Codec:AMR）是歐洲電信標準化協(xié)會（ETSI）下屬的SMG11（Special Mobile Group1

21、1）制定的語音編解碼標準，提供了一種自適應的解決方法來跟蹤快速變化的無線信道情況和本地流量情況。AMR編碼器實時根據(jù)信道類型（全速率或半速率）選擇多種碼率中的一種，從而達到語音編碼和信道編碼的最優(yōu)組合以滿足瞬時的無線信道條件和本地容量需求。AMR提供了從4.75kbits/s到12.2kbits/s的多種碼率選擇。AMR憑借其優(yōu)異的性能成為UMTS和ITU第三代系統(tǒng)的語音編碼方案之一。ARM語音編碼器的原理：ARM編碼器由多個固定速率的語音編碼器、信源控制器的速率方式、能夠有效克服傳輸錯誤和丟包的錯誤對消器組成。多速率的語音編碼器是一種單個集成的，它有8個固定的信源速率模式，從4.75kbps

22、 到12.2kbps, 此編碼器能夠根據(jù)命令在每20MS語音幀中改變它的速率.語音仍然是第三代移動通信系統(tǒng)中最重要的業(yè)務之一，問題在于:如何在優(yōu)化頻譜資源的同時增強靈活性和語音質(zhì)量，尤其是在用戶密集的區(qū)域。一個好的解決方案必須能夠在無噪信道條件下提供最好的質(zhì)量，而且能夠在干擾嚴重的信道條件下保持較好的質(zhì)量。WCDMA采用的自適應多速率（AMR）語音編解碼器，能夠根據(jù)通信信道的改變而動態(tài)地在信源編碼和信道編碼之間調(diào)整比特分配。4.4可選擇模式語音編碼（SMV）SMV用于CDMA2000演進系統(tǒng)中，其基本原理與前述兩種基本相同，它也是可變速率的，從速率等級上看與IS-95中的CELP一樣，有9.6kbps、4.8kbps、2.4kbps、1.2kbps四種，不同的是SMV允許有四種模式供系統(tǒng)側(cè)選擇，即MODE0（高品質(zhì)模式）、MODE1（標準模式）、MODE2（經(jīng)濟模式）、MODE3（容量節(jié)省模式），不同的模式實現(xiàn)不同程度的話音質(zhì)量和平均速率的折中，通過調(diào)整不同等級速率所占的比例實現(xiàn)不同的模式，從而調(diào)整平均數(shù)據(jù)速率。4.5視頻信源編碼H.264在3GPP的R6、R7以及3GPP2的高演進版本中，視頻通信業(yè)務采用了H.264/AVC（高級視頻編碼）視頻壓縮標準。H.264從某種程度上看是MPEG的擴展，在H.264中，一幅圖像可編碼成一個或者若干個片（sl