北工大信息論第六章 有噪信道編碼14

1、4/1p4/ 1p4/3p4/3p0011信源信源（信源編碼，信道編碼）（信源編碼，信道編碼）譯碼譯碼（信源譯碼，信道譯碼）（信源譯碼，信道譯碼）信道信道信宿信宿sjAabFjj,.,2 , 1,*)( 注意注意: : 譯碼規(guī)則是人為定的譯碼規(guī)則是人為定的, ,對于同一個信道可有多個對于同一個信道可有多個不同的譯碼規(guī)則不同的譯碼規(guī)則0.80.20.10.9a1a2b1b2對于二元信道就可制定若干不同譯碼規(guī)則，如對于二元信道就可制定若干不同譯碼規(guī)則，如圖所示圖所示。1242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（：“

2、好好”的譯碼規(guī)則的標準是的譯碼規(guī)則的標準是：譯碼正確譯碼正確-如果接收到如果接收到bj，按，按 譯成譯成aj* ， 而輸入的剛好是而輸入的剛好是aj*()*jjF baAbj的譯碼正確概率為：的譯碼正確概率為： | )()|(*jjjjbbFPbYaXPbj的譯碼錯誤概率為：的譯碼錯誤概率為：| )(1| )()b|(jjjjjbbFPbYbFXPeP 譯碼錯誤概率的統(tǒng)計平均稱為譯碼錯誤概率的統(tǒng)計平均稱為記為記為PesjjjjsjjjebbFPbPbePbPP11| )(1)()|()(Pe 使使PePe式式1()1() |sejjjjPP bP F bb*) (|)eijijiYX aYX

3、aPP abP a P b a（當輸入等概當輸入等概: : raPbFPjj/1)(*1(|)ejiYX aPP bar上式可化為：上式可化為：11() () |sjjjjP bP F bb*111()1()ssjjjjjjP b F bP b a 參見下圖，假設參見下圖，假設P(a1)=0.4, ,分別求出分別求出4 4種譯碼規(guī)種譯碼規(guī)則所對應的平均差錯率。則所對應的平均差錯率。 0.80.20.10.9a1a2b1b21242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（： 9 . 01 . 02 . 08 . 06

4、 . 04 . 0|XYXPP 54.006.008.032.0XYP6 .0)08.032.0(1)()(1),(1)(2111111baPbaPbbFPFPsjjje 11( ) ( |)( )1 ( )|ssejjjjjjjPP b P e bP bP F bb要減小要減小 ，必須減小各個接收符號的譯碼，必須減小各個接收符號的譯碼錯誤概率，或者增大各個接收符號的譯碼正確概錯誤概率，或者增大各個接收符號的譯碼正確概率。率。( | )jPe b ( )|jjP F bbAabaPbaPBbAabFFijijjjjj, )|()|()(*，：)()()|()()|()()|()|(*jijjj

5、ijjjjjijjbaPbaPbaPbPbaPbPbaPbaPAabaPbaPBbAabFFijijjjjj, )()()(*，： 0.80.20.10.9a1a2b1b254.006.008.032.02121bbaaPXY2211)()(:abFabFF 14. 0)54. 032. 0(1)(11sjjjebbFPPAaabPabPBbAabFFiijjjjjj, )|()|()(*，：4 .03 .03 .05 .03 .02 .02 .03 .05 .0|XYP解：按轉移概率最大原則確定極大似然譯碼規(guī)則如下：解：按轉移概率最大原則確定極大似然譯碼規(guī)則如下： ),(,)()()(:32

6、231211aaabFabFabFF)|()|(*ijjjabPabP如果輸入等概，則如果輸入等概，則 )()(*ijaPaP)()()|()()|()(*jijjijijjjbaPbaPabPaPabPaP DMCXa1,a2Yb1,b2a1=0a2=1b1=0b2=11-p1-pp=0.01p=0.01DMSUu1,u25 . 05 . 01021uuPUU為：為：H H（U U）=logM=logM=1=1比特比特/ /符號符號：C=log2-H(0.99,0.01)=0.92C=log2-H(0.99,0.01)=0.92比特比特/ /符號符號99.001.001.099.02121|

7、bbaaPXY信源與信道之間不加信道編碼，則由于信道輸入等概分布，則信源與信道之間不加信道編碼，則由于信道輸入等概分布，則極大似然譯碼規(guī)則就是最佳譯碼規(guī)則，根據(jù)信道轉移矩陣極大似然譯碼規(guī)則就是最佳譯碼規(guī)則，根據(jù)信道轉移矩陣確定極大似然譯碼規(guī)則為：確定極大似然譯碼規(guī)則為：2211)()(:abFabFF平均差錯率為：平均差錯率為：01. 02/ )01. 001. 0()|(1 )(|11*,1aXYijsjjjeabPrbFbPrP對信源符號進行對信源符號進行“重復重復2 2次次”編碼編碼: :,21uuU,.,8213X,.,8213Y,813X33|XYP11100011111010110

8、00110100010001111110101100011010001000081876543218276543211Fffuu11110000：fppppppppppppppppppppppppppppppPXY132222223322222238765432181|33，8887868415131211(）FFFFFFFF即：即： 1111111101010110001000100010008876415321FF42381103)62(211 )(|11pppFPrPiiie：信道編碼信道編碼平均錯誤率平均錯誤率 結論結論：碼元比特/3/1/ )(NUHR 碼元比特/1/ )(NUHR1

9、11,110,101,100011,010,001,00087654321 11011100100100100000:75311fppppppppppppppppppppppppppppppppppppppppppppppppppppppppppPXY123222232222332222232232232222223876543217531|33，7877565534331211(）FFFFFFFF 223811099. 1)44(411 )(|11pppFPMPiiie 兩個等長符號序列兩個等長符號序列x和和y之間的漢明距離，記為之間的漢明距離，記為D(x,y)，是是x與與y之間對應位置上不

10、同符號的個數(shù)。之間對應位置上不同符號的個數(shù)。 求漢明距離：求漢明距離：D(x,z)=z)=2;D(y,z)=3因此，因此，z與與x的相似程度的相似程度與與y的相似程度的相似程度 x=100111,=100111,y=111000,=111000,z=111111,=111111,比較比較z與與x和和y的相的相似程度。似程度。和”運算符。表示為“模式中為：之間的漢明距離可表示與則2),(1 , 0,.1 , 0,.12121NkkkkNkNyxYXDYXyyyyYxxxxX,.,21qcccC CccccccDjijiji,),(CccccccDdjijiji,),(minmin ,.,21Ms

11、ss,.,.,221221NNNNBA個消息長二進制碼字傳送用次擴展信道MNccccccsssMFNMfMN,.,.,.,.,212212121NiijjjNjjjACccPcPBCcFF, )|()|()(*，：NNjjjjiiiibbbaaac. .2121)|().|()|().|.()|(22112121NNNNijijijiiijjjijabpabpabpaaabbbpcp碼元錯誤概率為碼元錯誤概率為p，正確概率為，正確概率為 pp1則有：則有：),(),(),()1()1 ()|(jijijicDNcDNcDijpppppcP極大似然譯碼規(guī)則極大似然譯碼規(guī)則為最小漢明距離譯碼規(guī)則為

12、最小漢明距離譯碼規(guī)則NijjjjNjjjACccDcDBCcFF,),(min),()(*，： 最小距離譯碼規(guī)則可在一般信道中采用，但不一定與極最小距離譯碼規(guī)則可在一般信道中采用，但不一定與極大似然譯碼規(guī)則等價，只有大似然譯碼規(guī)則等價，只有對于二元對稱信道，它對于二元對稱信道，它才與極大似然譯碼規(guī)則等價才與極大似然譯碼規(guī)則等價，并且當并且當輸入等概輸入等概時是最佳的時是最佳的。 對于二元對稱信道，若對于二元對稱信道，若輸入等概輸入等概，無論用什么規(guī)則確定，無論用什么規(guī)則確定譯碼函數(shù)，與之對應的平均差錯率都可用譯碼函數(shù)，與之對應的平均差錯率都可用漢明距離漢明距離表示：表示： jcDNcDjjje

13、jjjjppMcPMP),(),(*11 |11若信道是離散、無記憶、平穩(wěn)的，且信道容量為若信道是離散、無記憶、平穩(wěn)的，且信道容量為C C，只要待傳，只要待傳送的信息率送的信息率RCRCRC，就一定找不到一種信道編碼方法，使得碼長足，就一定找不到一種信道編碼方法，使得碼長足夠大時，平均差錯率任意接近于零。夠大時，平均差錯率任意接近于零。 信道編碼定理告訴我們：信道編碼定理告訴我們：RCRCRC時，無論如何編碼，都不時，無論如何編碼，都不可能使平均差錯綠逼近零。因此，信道容量可能使平均差錯綠逼近零。因此，信道容量C C是確?？煽啃詡魇谴_?？煽啃詡鬏?shù)男畔鬏斅实纳舷蕖］數(shù)男畔鬏斅实纳舷蕖?CC

14、 54321cccccc21,cc543,ccc21514213 cccccccc 01001101001001110 005432152114321ccccccccccccc100110100100111H00TTCHHC或 I)()(knknQkkn )( IQH 100110100100111H215142132211 cccccccccccc),(21ccm1011011101GGmCnkCmGnk G PIG IkkP)(knk 00TTGHHG或GQPPQPQPIIQHGTTTT或0) (101110011100100111001G可知信息位有可知信息位有3 3位，則線性分組碼為位

15、，則線性分組碼為（7，3）分組碼，生成矩陣生成的碼字為：分組碼，生成矩陣生成的碼字為：11101001101001101001110011100111010010011100111010000000111110101100011010001000Cm PIG 101111100111PTPQ 110011111101Q1000110010001100101110001101) (IQH，; 1tminddtd個錯誤的充要條件是一個碼能夠檢測出; 12tmincctd個錯誤的充要條件是一個碼能夠糾正1ttdmindccctdtt充要條件是個錯誤的出個錯誤，同時又能檢測一個碼能夠糾正1011011101Ge),.,(0121cccccnn),.,(0121yyyyynn),.,(),.,(001122110121cycycycycyeeeeennnnnncyecey。，否則位發(fā)生錯誤時，當碼字第01iieei，則進行校驗，校驗結果為對接收序列用一致性校驗矩陣syH，則有錯誤存在。如果0sTTTeHHecyHs)(eyeycyc 得