第6章 有噪信道編碼(ok)

1、第第6 6章章 有噪信道編碼定理有噪信道編碼定理 6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則6.2 6.2 錯誤概率與編碼方法錯誤概率與編碼方法6.3 6.3 有噪信道編碼定理有噪信道編碼定理6.4 6.4 聯(lián)合信源信道編碼定理聯(lián)合信源信道編碼定理6.5 6.5 糾錯編碼的基本思想糾錯編碼的基本思想6.6 6.6 常用編碼方法常用編碼方法 前一章已經(jīng)從理論上討論了，對于無噪無前一章已經(jīng)從理論上討論了，對于無噪無損信道只要對信源進行適當?shù)木幋a，總能以信道損信道只要對信源進行適當?shù)木幋a，總能以信道容量無差錯的傳遞信息。但是一般信道總會存在容量無差錯的傳遞信息。但是一般信道總會存在噪聲和干

2、擾，那么在有噪信道中進行無錯傳輸可噪聲和干擾，那么在有噪信道中進行無錯傳輸可以達到的最大信息傳輸率是多少呢？這就是本章以達到的最大信息傳輸率是多少呢？這就是本章所要討論的問題。本章的核心是香農第二定理。所要討論的問題。本章的核心是香農第二定理。第第6 6章章 有噪信道編碼有噪信道編碼 6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則 為了減少錯誤，提高通信的可靠性，就必須分析錯為了減少錯誤，提高通信的可靠性，就必須分析錯誤概率與哪些因素有關，有沒有辦法控制，能控制到什么誤概率與哪些因素有關，有沒有辦法控制，能控制到什么程度。程度。 前邊已經(jīng)討論過，錯誤概率與信道的統(tǒng)計特性有關，前邊已經(jīng)討論

3、過，錯誤概率與信道的統(tǒng)計特性有關，但并不是唯一相關的因素，譯碼方法的選擇也會影響錯誤但并不是唯一相關的因素，譯碼方法的選擇也會影響錯誤率。率。例：有一個例：有一個BSCBSC信道，如圖所示信道，如圖所示 01011/31/32/32/3若收到若收到“0”譯作譯作“0”，收到，收到“1”譯作譯作“1”，則平均錯誤概，則平均錯誤概率為：率為：(0)(1)2(0)(1)3EeePPPPP反之，若收到反之，若收到“0”譯作譯作“1”，收到，收到“1”譯作譯作“0”，則平，則平均錯誤概率為均錯誤概率為1/3，可見錯誤概率與譯碼準則有關。，可見錯誤概率與譯碼準則有關。6.1 6.1 錯誤概率與譯碼規(guī)則錯誤

4、概率與譯碼規(guī)則例：例： 輸入符號集輸入符號集 輸出符號集輸出符號集 譯碼規(guī)則譯碼規(guī)則 iAa()jiF ba0.50.30.20.20.30.50.30.30.4P6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則可以設計譯碼準則：可以設計譯碼準則：A：11( )F ba22()F ba33( )F ba和和B：11( )F ba23()F ba32( )F ba jbB 譯碼規(guī)則的選擇應該有一個依據(jù)，一個自然的依據(jù)就譯碼規(guī)則的選擇應該有一個依據(jù)，一個自然的依據(jù)就是使是使平均錯誤概率最小平均錯誤概率最小.若譯碼規(guī)則為若譯碼規(guī)則為:6.1.1幾個基本概念幾個基本概念:1)1)譯碼的條件正確概率

5、譯碼的條件正確概率：收到：收到 的情況下，譯碼的條件正的情況下，譯碼的條件正確概率為：確概率為：( ()/)(/)jjijP F bbP abjb6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則()jiF ba 2)條件錯誤譯碼的概率條件錯誤譯碼的概率:為收到為收到 后，推測發(fā)出除了后，推測發(fā)出除了 之之外其它符號的概率：外其它符號的概率： jbia( /)1(/)jijP e bP ab 3)平均錯誤譯碼概率為：平均錯誤譯碼概率為： 11()( /)()(1(/)msejjjijjjPp bP e bp bP ab 它表示經(jīng)過譯碼后平均每收到一個符號所產(chǎn)生錯誤的它表示經(jīng)過譯碼后平均每收到

6、一個符號所產(chǎn)生錯誤的大小，也稱大小，也稱平均錯誤概率平均錯誤概率。由前面分析知由前面分析知,為了使平均錯誤概率最小為了使平均錯誤概率最小,應該使應該使為最大為最大,即選擇譯碼函數(shù)即選擇譯碼函數(shù) 并使之滿足條件：并使之滿足條件： ( ()/)jjP F bb*()jF ba*(/)(/)jijiP abP abaa 也就是說，收到一個符號以后譯成具有最大后驗概率也就是說，收到一個符號以后譯成具有最大后驗概率的那個輸入符號。這種譯碼準則稱為的那個輸入符號。這種譯碼準則稱為“最大后驗概率準最大后驗概率準則則”或或“最小錯誤概率準則最小錯誤概率準則”。6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)

7、則6.1.26.1.2最小錯誤概率譯碼準則最小錯誤概率譯碼準則: :選擇選擇 使?jié)M足使?jié)M足:6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則6.1.3 6.1.3 最大似然譯碼準則最大似然譯碼準則: :)/()/(*ijjabpabp*)(abFj這樣定義的譯碼規(guī)則稱為這樣定義的譯碼規(guī)則稱為最大似然譯碼準則最大似然譯碼準則. .由以上準則可寫出平均錯誤概率：由以上準則可寫出平均錯誤概率：() ( /)1 ()/ ()EjjjjjYYPP b P e bP F bbP b,() ()ijjjX YYp abP F b b1 ()jjYP F b b *,()ijX Y aP ab也可寫成：也

8、可寫成：*,(/) ( )EjiiX Y aPP ba P a上式也可寫成對行求和：上式也可寫成對行求和：( )(/)()EijijXYPP aP baF ba( )( )iieXP a P如果先驗概率相等，則：如果先驗概率相等，則：( )1iEeXPPr6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則例：例：0.50.30.20.20.30.50.30.30.4P設先驗概率相等，根據(jù)最大似然準則可選擇譯碼函數(shù)設先驗概率相等，根據(jù)最大似然準則可選擇譯碼函數(shù)為為B：112332( )()()F baF baF ba*,11( / )(0.20.3)(0.30.3)(0.20.4)0.5673

9、3EY XaPP b a6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則若采用前邊講到的譯碼函數(shù)若采用前邊講到的譯碼函數(shù)A，則平均錯誤率為：則平均錯誤率為：*,11( / )(0.30.2)(0.30.3)(0.20.5)0.633EY XaPP b a6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則11( )F ba22( )F ba33( )F ba若采用最小錯誤概率譯碼準則，則聯(lián)合矩陣為：若采用最小錯誤概率譯碼準則，則聯(lián)合矩陣為：0.1250.0750.05()0.050.0750.1250.150.150.2ijP ab 所得譯碼函數(shù)為：所得譯碼函數(shù)為：C：132333( )(

10、)()F baF baF ba平均錯誤率為：平均錯誤率為：*,1( / )(0.1250.05)(0.0750.075)(0.050.125)0.53EY XaPP b a6.1 6.1 錯誤概率與譯碼規(guī)則錯誤概率與譯碼規(guī)則*()jF ba*(/)(/)jijiP abP abaa 碼字碼字 與輸出序列與輸出序列 之間對應位置上不同碼元的個數(shù)稱之間對應位置上不同碼元的個數(shù)稱為漢明距離，記為：為漢明距離，記為：1、漢明距離及最小碼距：、漢明距離及最小碼距： 碼字碼字 與輸出序列與輸出序列 之間對應位置上不同碼元的個數(shù)稱之間對應位置上不同碼元的個數(shù)稱為漢明距離，記為：為漢明距離，記為：6.2 6.

11、2 錯誤概率與編碼方法錯誤概率與編碼方法),(jiDij如：如：101111i111100j(,)3ijD (,)3ijD 在一碼書在一碼書C中，任意兩個碼字的漢明距離的最小值稱為該中，任意兩個碼字的漢明距離的最小值稱為該碼碼C的最小距離，簡稱的最小距離，簡稱最小碼距最小碼距，記為：，記為：mind 一個碼一個碼C的糾檢錯能力與的糾檢錯能力與最小碼距最小碼距有關。有關。選擇譯碼函數(shù)選擇譯碼函數(shù) 使?jié)M足使?jié)M足:2 2、 最小距離譯碼準則最小距離譯碼準則: :),(),(min*jijDD*)(jF即即: :),(),(*jijDD6.2 6.2 錯誤概率與編碼方法錯誤概率與編碼方法6.3 6.3

12、 有噪信道編碼定理（香農第二定理）有噪信道編碼定理（香農第二定理）1、有噪信道編碼定理有噪信道編碼定理 如一個離散無記憶信道，信道容量為如一個離散無記憶信道，信道容量為C。當信息傳輸。當信息傳輸率率RC時，只要碼長足夠長，總可以在輸入符號集中時，只要碼長足夠長，總可以在輸入符號集中 找到找到M 個碼字組成的一組碼個碼字組成的一組碼 和相應的譯碼和相應的譯碼準則，使信道輸出端的平均錯誤譯碼概率達到任意小。準則，使信道輸出端的平均錯誤譯碼概率達到任意小。nX(2 )nR(2 , )nRn2 2、有噪信道編碼逆定理、有噪信道編碼逆定理 如一個離散無記憶信道，信道容量為如一個離散無記憶信道，信道容量為

13、C。當信息傳輸。當信息傳輸率率RC時，則無論碼長時，則無論碼長n多長，總找不到一種編碼多長，總找不到一種編碼 使信道輸出端的平均錯誤譯碼概率達到任意小。使信道輸出端的平均錯誤譯碼概率達到任意小。(2 , )nRn 這個定理是信道編碼的理論依據(jù)，可以看出：信道容量這個定理是信道編碼的理論依據(jù)，可以看出：信道容量是一個明確的分界點，當取分界點以下的信息傳輸率時，是一個明確的分界點，當取分界點以下的信息傳輸率時， 以指數(shù)趨近于以指數(shù)趨近于0；當取分界點以下的信息傳輸率時，；當取分界點以下的信息傳輸率時， 以指以指數(shù)趨近于數(shù)趨近于1；因此在任何信道中，信道容量都是可達的、最；因此在任何信道中，信道容量

14、都是可達的、最大的可靠信息傳輸率。大的可靠信息傳輸率。 這個定理是一個存在定理，它沒有給出一個具體可構造這個定理是一個存在定理，它沒有給出一個具體可構造的編碼方法，在它的證明過程中，碼書是隨機的選取的，它的編碼方法，在它的證明過程中，碼書是隨機的選取的，它有助于指導各種通信系統(tǒng)的設計，有助于評價各種系統(tǒng)及編有助于指導各種通信系統(tǒng)的設計，有助于評價各種系統(tǒng)及編碼的效率。碼的效率。EPEP6.3 6.3 有噪信道編碼定理（香農第二定理）有噪信道編碼定理（香農第二定理）6.4 6.4 聯(lián)合信源信道編碼定理聯(lián)合信源信道編碼定理 從香農第一、第二定理可以看出，要做到有效和可靠的從香農第一、第二定理可以看出，要做到有效和可靠的傳輸信息，我們可以將通信系統(tǒng)設計成兩部分的組合，即傳輸信息，我們可以將通信系統(tǒng)設計成兩部分的組合，即信源編碼和信道編碼兩部分，首先通過信源編碼，用盡可信源編碼和信道編碼兩部分，首先通過信源編碼，用盡可能少的信道符號來表達信源，盡可能減少編碼后信源的數(shù)能少的信道符號來表達信源，盡可能減少編碼后信源的數(shù)