北工大信息論第六章 有噪信道編碼14

1、4/1p4/ 1p4/3p4/3p0011信源信源（信源編碼，信道編碼）（信源編碼，信道編碼）譯碼譯碼（信源譯碼，信道譯碼）（信源譯碼，信道譯碼）信道信道信宿信宿sjAabFjj,.,2 , 1,*)( 注意注意: : 譯碼規(guī)則是人為定的譯碼規(guī)則是人為定的, ,對(duì)于同一個(gè)信道可有多個(gè)對(duì)于同一個(gè)信道可有多個(gè)不同的譯碼規(guī)則不同的譯碼規(guī)則0.80.20.10.9a1a2b1b2對(duì)于二元信道就可制定若干不同譯碼規(guī)則，如對(duì)于二元信道就可制定若干不同譯碼規(guī)則，如圖所示圖所示。1242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（：“

2、好好”的譯碼規(guī)則的標(biāo)準(zhǔn)是的譯碼規(guī)則的標(biāo)準(zhǔn)是：譯碼正確譯碼正確-如果接收到如果接收到bj，按，按 譯成譯成aj* ， 而輸入的剛好是而輸入的剛好是aj*()*jjF baAbj的譯碼正確概率為：的譯碼正確概率為： | )()|(*jjjjbbFPbYaXPbj的譯碼錯(cuò)誤概率為：的譯碼錯(cuò)誤概率為：| )(1| )()b|(jjjjjbbFPbYbFXPeP 譯碼錯(cuò)誤概率的統(tǒng)計(jì)平均稱為譯碼錯(cuò)誤概率的統(tǒng)計(jì)平均稱為記為記為PesjjjjsjjjebbFPbPbePbPP11| )(1)()|()(Pe 使使PePe式式1()1() |sejjjjPP bP F bb*) (|)eijijiYX aYX

3、aPP abP a P b a（當(dāng)輸入等概當(dāng)輸入等概: : raPbFPjj/1)(*1(|)ejiYX aPP bar上式可化為：上式可化為：11() () |sjjjjP bP F bb*111()1()ssjjjjjjP b F bP b a 參見下圖，假設(shè)參見下圖，假設(shè)P(a1)=0.4, ,分別求出分別求出4 4種譯碼規(guī)種譯碼規(guī)則所對(duì)應(yīng)的平均差錯(cuò)率。則所對(duì)應(yīng)的平均差錯(cuò)率。 0.80.20.10.9a1a2b1b21242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（： 9 . 01 . 02 . 08 . 06

4、 . 04 . 0|XYXPP 54.006.008.032.0XYP6 .0)08.032.0(1)()(1),(1)(2111111baPbaPbbFPFPsjjje 11( ) ( |)( )1 ( )|ssejjjjjjjPP b P e bP bP F bb要減小要減小 ，必須減小各個(gè)接收符號(hào)的譯碼，必須減小各個(gè)接收符號(hào)的譯碼錯(cuò)誤概率，或者增大各個(gè)接收符號(hào)的譯碼正確概錯(cuò)誤概率，或者增大各個(gè)接收符號(hào)的譯碼正確概率。率。( | )jPe b ( )|jjP F bbAabaPbaPBbAabFFijijjjjj, )|()|()(*，：)()()|()()|()()|()|(*jijjj

5、ijjjjjijjbaPbaPbaPbPbaPbPbaPbaPAabaPbaPBbAabFFijijjjjj, )()()(*，： 0.80.20.10.9a1a2b1b254.006.008.032.02121bbaaPXY2211)()(:abFabFF 14. 0)54. 032. 0(1)(11sjjjebbFPPAaabPabPBbAabFFiijjjjjj, )|()|()(*，：4 .03 .03 .05 .03 .02 .02 .03 .05 .0|XYP解：按轉(zhuǎn)移概率最大原則確定極大似然譯碼規(guī)則如下：解：按轉(zhuǎn)移概率最大原則確定極大似然譯碼規(guī)則如下： ),(,)()()(:32

6、231211aaabFabFabFF)|()|(*ijjjabPabP如果輸入等概，則如果輸入等概，則 )()(*ijaPaP)()()|()()|()(*jijjijijjjbaPbaPabPaPabPaP DMCXa1,a2Yb1,b2a1=0a2=1b1=0b2=11-p1-pp=0.01p=0.01DMSUu1,u25 . 05 . 01021uuPUU為：為：H H（U U）=logM=logM=1=1比特比特/ /符號(hào)符號(hào)：C=log2-H(0.99,0.01)=0.92C=log2-H(0.99,0.01)=0.92比特比特/ /符號(hào)符號(hào)99.001.001.099.02121|

7、bbaaPXY信源與信道之間不加信道編碼，則由于信道輸入等概分布，則信源與信道之間不加信道編碼，則由于信道輸入等概分布，則極大似然譯碼規(guī)則就是最佳譯碼規(guī)則，根據(jù)信道轉(zhuǎn)移矩陣極大似然譯碼規(guī)則就是最佳譯碼規(guī)則，根據(jù)信道轉(zhuǎn)移矩陣確定極大似然譯碼規(guī)則為：確定極大似然譯碼規(guī)則為：2211)()(:abFabFF平均差錯(cuò)率為：平均差錯(cuò)率為：01. 02/ )01. 001. 0()|(1 )(|11*,1aXYijsjjjeabPrbFbPrP對(duì)信源符號(hào)進(jìn)行對(duì)信源符號(hào)進(jìn)行“重復(fù)重復(fù)2 2次次”編碼編碼: :,21uuU,.,8213X,.,8213Y,813X33|XYP11100011111010110

8、00110100010001111110101100011010001000081876543218276543211Fffuu11110000：fppppppppppppppppppppppppppppppPXY132222223322222238765432181|33，8887868415131211(）FFFFFFFF即：即： 1111111101010110001000100010008876415321FF42381103)62(211 )(|11pppFPrPiiie：信道編碼信道編碼平均錯(cuò)誤率平均錯(cuò)誤率 結(jié)論結(jié)論：碼元比特/3/1/ )(NUHR 碼元比特/1/ )(NUHR1

9、11,110,101,100011,010,001,00087654321 11011100100100100000:75311fppppppppppppppppppppppppppppppppppppppppppppppppppppppppppPXY123222232222332222232232232222223876543217531|33，7877565534331211(）FFFFFFFF 223811099. 1)44(411 )(|11pppFPMPiiie 兩個(gè)等長符號(hào)序列兩個(gè)等長符號(hào)序列x和和y之間的漢明距離，記為之間的漢明距離，記為D(x,y)，是是x與與y之間對(duì)應(yīng)位置上不

10、同符號(hào)的個(gè)數(shù)。之間對(duì)應(yīng)位置上不同符號(hào)的個(gè)數(shù)。 求漢明距離：求漢明距離：D(x,z)=z)=2;D(y,z)=3因此，因此，z與與x的相似程度的相似程度與與y的相似程度的相似程度 x=100111,=100111,y=111000,=111000,z=111111,=111111,比較比較z與與x和和y的相的相似程度。似程度。和”運(yùn)算符。表示為“模式中為：之間的漢明距離可表示與則2),(1 , 0,.1 , 0,.12121NkkkkNkNyxYXDYXyyyyYxxxxX,.,21qcccC CccccccDjijiji,),(CccccccDdjijiji,),(minmin ,.,21Ms

11、ss,.,.,221221NNNNBA個(gè)消息長二進(jìn)制碼字傳送用次擴(kuò)展信道MNccccccsssMFNMfMN,.,.,.,.,212212121NiijjjNjjjACccPcPBCcFF, )|()|()(*，：NNjjjjiiiibbbaaac. .2121)|().|()|().|.()|(22112121NNNNijijijiiijjjijabpabpabpaaabbbpcp碼元錯(cuò)誤概率為碼元錯(cuò)誤概率為p，正確概率為，正確概率為 pp1則有：則有：),(),(),()1()1 ()|(jijijicDNcDNcDijpppppcP極大似然譯碼規(guī)則極大似然譯碼規(guī)則為最小漢明距離譯碼規(guī)則為

12、最小漢明距離譯碼規(guī)則NijjjjNjjjACccDcDBCcFF,),(min),()(*，： 最小距離譯碼規(guī)則可在一般信道中采用，但不一定與極最小距離譯碼規(guī)則可在一般信道中采用，但不一定與極大似然譯碼規(guī)則等價(jià)，只有大似然譯碼規(guī)則等價(jià)，只有對(duì)于二元對(duì)稱信道，它對(duì)于二元對(duì)稱信道，它才與極大似然譯碼規(guī)則等價(jià)才與極大似然譯碼規(guī)則等價(jià)，并且當(dāng)并且當(dāng)輸入等概輸入等概時(shí)是最佳的時(shí)是最佳的。 對(duì)于二元對(duì)稱信道，若對(duì)于二元對(duì)稱信道，若輸入等概輸入等概，無論用什么規(guī)則確定，無論用什么規(guī)則確定譯碼函數(shù)，與之對(duì)應(yīng)的平均差錯(cuò)率都可用譯碼函數(shù)，與之對(duì)應(yīng)的平均差錯(cuò)率都可用漢明距離漢明距離表示：表示： jcDNcDjjje

13、jjjjppMcPMP),(),(*11 |11若信道是離散、無記憶、平穩(wěn)的，且信道容量為若信道是離散、無記憶、平穩(wěn)的，且信道容量為C C，只要待傳，只要待傳送的信息率送的信息率RCRCRC，就一定找不到一種信道編碼方法，使得碼長足，就一定找不到一種信道編碼方法，使得碼長足夠大時(shí)，平均差錯(cuò)率任意接近于零。夠大時(shí)，平均差錯(cuò)率任意接近于零。 信道編碼定理告訴我們：信道編碼定理告訴我們：RCRCRC時(shí)，無論如何編碼，都不時(shí)，無論如何編碼，都不可能使平均差錯(cuò)綠逼近零。因此，信道容量可能使平均差錯(cuò)綠逼近零。因此，信道容量C C是確?？煽啃詡魇谴_保可靠性傳輸?shù)男畔鬏斅实纳舷?。輸?shù)男畔鬏斅实纳舷蕖?CC

14、 54321cccccc21,cc543,ccc21514213 cccccccc 01001101001001110 005432152114321ccccccccccccc100110100100111H00TTCHHC或 I)()(knknQkkn )( IQH 100110100100111H215142132211 cccccccccccc),(21ccm1011011101GGmCnkCmGnk G PIG IkkP)(knk 00TTGHHG或GQPPQPQPIIQHGTTTT或0) (101110011100100111001G可知信息位有可知信息位有3 3位，則線性分組碼為位

15、，則線性分組碼為（7，3）分組碼，生成矩陣生成的碼字為：分組碼，生成矩陣生成的碼字為：11101001101001101001110011100111010010011100111010000000111110101100011010001000Cm PIG 101111100111PTPQ 110011111101Q1000110010001100101110001101) (IQH，; 1tminddtd個(gè)錯(cuò)誤的充要條件是一個(gè)碼能夠檢測(cè)出; 12tmincctd個(gè)錯(cuò)誤的充要條件是一個(gè)碼能夠糾正1ttdmindccctdtt充要條件是個(gè)錯(cuò)誤的出個(gè)錯(cuò)誤，同時(shí)又能檢測(cè)一個(gè)碼能夠糾正1011011101Ge),.,(0121cccccnn),.,(0121yyyyynn),.,(),.,(001122110121cycycycycyeeeeennnnnncyecey。，否則位發(fā)生錯(cuò)誤時(shí)，當(dāng)碼字第01iieei，則進(jìn)行校驗(yàn)，校驗(yàn)結(jié)果為對(duì)接收序列用一致性校驗(yàn)矩陣syH，則有錯(cuò)誤存在。如果0sTTTeHHecyHs)(eyeycyc 得