第6章-有噪離散信道編碼

第1頁2023/2/2DepartmentofElectronicsandInformation,NCUTSongPeng第六章

──────────────

有噪離散信道編碼6.1差錯、差錯控制系統(tǒng)分類6.2糾錯碼的基本概念6.3譯碼規(guī)則6.5香農第二定理第2頁2023/2/2(1)數(shù)字通信系統(tǒng)工作原理數(shù)字通信系統(tǒng)模型信源：可以是人或機器（例如計算機、傳感器）；信源編碼器：將信源輸出變換成信息序列；調制器：把輸入的消息序列變換為適合于在實際信道中傳輸（存儲）的信號波形；信道編碼在通信系統(tǒng)中的地位和作用第3頁2023/2/2(1)數(shù)字通信系統(tǒng)工作原理傳輸信道/存儲媒介有線：實際的傳輸信道可能是光纜、電纜等有線信道；無線：高頻無線線路、衛(wèi)星中繼等無線信道；存儲媒介：媒介可以是磁帶、磁盤、光盤等；無論何種傳輸媒介，都受到不同性質的干擾有線信道中的脈沖干擾；無線信道中的噪聲和衰落；存儲媒介的缺損也被看做是脈沖干擾。信道編碼在通信系統(tǒng)中的地位和作用第4頁2023/2/2數(shù)字通信系統(tǒng)工作原理解調器：其輸入信號一般是受到干擾的混合波形，解調器的任務就是從有用信號和干擾的混合波形中恢復有用的信號，這個過程與調制器的過程相反。由于干擾的作用，解調器的輸出信號不可避免地包含著差錯，差錯的多少不應超過系統(tǒng)所規(guī)定的數(shù)值。信源譯碼器：把解調器輸出的序列變換成為信源輸出的估值。信宿：用戶。

信道編碼在通信系統(tǒng)中的地位和作用第5頁2023/2/2(2)通信系統(tǒng)的主要技術指標傳輸速率碼元：攜帶數(shù)據(jù)信息的信號單元。碼元傳輸速率（波特率、調制速率）：每秒鐘通過信道傳輸?shù)拇a元數(shù)。單位是波特（Bd）。比特率（比特傳輸速率）：每秒鐘通過信道傳輸?shù)男畔⒘?。單位是比?秒（bit/s）。這兩種傳輸速率的定義不同，它們都是衡量系統(tǒng)傳輸能力的主要指標.

二進制：每個碼元的信息含量為1比特，二進制的波特率與比特率在數(shù)值上是相等的。

M進制：每一個碼元的信息含量為log2M。如果碼元傳輸速率為rs波特，相應的比特率rb為：rb=rslog2M(bit/s)信道編碼在通信系統(tǒng)中的地位和作用第6頁2023/2/2(2)通信系統(tǒng)的主要技術指標差錯率：差錯率是衡量傳輸質量的重要指標之一，有幾種不同的定義碼元差錯率：指在傳輸?shù)拇a元總數(shù)中發(fā)生差錯的碼元數(shù)所占的比例（平均值），簡稱誤碼率。比特差錯率（誤比特率）：指在傳輸?shù)谋忍乜倲?shù)中發(fā)生差錯的比特數(shù)所占的比例（平均值）。在二進制傳輸系統(tǒng)中，碼元差錯率就是比特差錯率。碼組差錯率：指在傳輸?shù)拇a組總數(shù)中發(fā)生差錯的碼組數(shù)所占的比例（平均值）。根據(jù)不同的應用場合對差錯率有不同的要求。在電報傳送時，允許的比特差錯率約為10－4～10－5；計算機數(shù)據(jù)傳輸，一般要求比特差錯率小于10－8～10－9；遙控指令和武器系統(tǒng)指令中，要求誤比特率更小。信道編碼在通信系統(tǒng)中的地位和作用第7頁2023/2/2(2)通信系統(tǒng)的主要技術指標可靠性衡量傳輸系統(tǒng)質量的一項重要指標，工程中經常用平均無故障間隔時間來衡量。在數(shù)字通信系統(tǒng)中信息傳輸（存儲）遇到的最主要的問題是在傳輸過程中出現(xiàn)差錯的問題，也就是傳輸可靠性

的問題。在傳輸過程中產生不同差錯的主要原因不同的傳輸系統(tǒng)有不同的性能；在傳輸過程中干擾不同。不同的用戶或不同的傳輸系統(tǒng)對差錯率的要求不同。有兩種途徑降低誤碼率以滿足系統(tǒng)要求：降低信道（調制解調器/傳輸媒介）本身引起的誤碼率；采用信道編碼，在數(shù)字通信系統(tǒng)中增加差錯控制設備。信道編碼在通信系統(tǒng)中的地位和作用第8頁2023/2/2(2)通信系統(tǒng)的主要技術指標可靠性降低信道引起誤碼率的主要方法選擇合適的傳輸線路：如有線線路中，電纜線路優(yōu)于明線線路，光纜優(yōu)于電纜；改進傳輸線路的傳輸特性或增加發(fā)送信號功率：如進行相位均衡和幅度均衡以改進線路的群延時特性和幅頻特性，增加中繼放大器。在無線信道中，可以增加發(fā)射機功率、利用高增益天線、低噪聲放大器等方法改善信道；選用潛在抗干擾性較強的調制解調方案。信道編碼在通信系統(tǒng)中的地位和作用第9頁2023/2/2(3)采用信道編碼的數(shù)字通信系統(tǒng)在某些情況下，信道的改善可能較困難或者不經濟，可采用信道編碼，以便滿足系統(tǒng)差錯率的技術指標要求。信道編碼為系統(tǒng)設計者提供了一個降低系統(tǒng)差錯率的措施。采用信道編碼后的數(shù)字通信系統(tǒng)可用下圖描述。信道編碼在通信系統(tǒng)中的地位和作用第10頁2023/2/26.1差錯及差錯控制系統(tǒng)分類(1)錯誤圖樣

在通信系統(tǒng)的接收端，若接收矢量R

和發(fā)送的原碼字C不一樣，例如C=(11000)，而R=(10001)，R與C不同，即出現(xiàn)了兩個錯誤。這種錯誤是由信道中的噪聲干擾所引起的。錯誤圖樣：設發(fā)送的碼字為C=(v1,v2,…,vn)，接收矢量為R=(r1,r2,…,rn)；由于R=C+E，所以E=(e1,e2,…,en)=(c1+r1,c2+r2,…,cn+rn)；如ei=ci+ri，則表示碼字的第i位受到干擾,也就是說R

的第i

位有錯;

例如：C=(11000)，R=(10001)，根據(jù)上式可得：

E=(1+1,1+0,0+0,0+0,0+1)；可知接收矢量的第2位和第5位是錯誤的。第11頁2023/2/2(2)錯誤種類隨機錯誤：由隨機噪聲的干擾所引起。由于噪聲的隨機性，使得這種錯誤的特點為：各碼元是否發(fā)生錯誤是相互獨立的，通常不會成片地出現(xiàn)錯誤。突發(fā)錯誤：由突發(fā)噪聲的干擾所引起。(3)檢錯碼與糾錯碼檢錯碼：有發(fā)現(xiàn)錯誤能力但沒有糾正錯誤的能力。糾錯碼：有發(fā)現(xiàn)并糾正錯誤能力的碼，是一種重要的抗干擾碼。6.1差錯及差錯控制系統(tǒng)分類第12頁2023/2/2(4)糾錯編碼的分類按校驗位與信息位之間的約束關系來分分組碼：編碼的規(guī)則僅局限于本碼組之內，本碼組的監(jiān)督元僅和本碼組的信息元相關。卷積碼：本碼組的監(jiān)督元不僅和本碼組的信息元相關，而且還與本碼組相鄰的前n－1個碼組的信息元相關。按校驗位與信息位之間的關系來分線性碼：編碼規(guī)則可以用線性方程表示；非線性碼：編碼規(guī)則不能用線性方程表示；6.1差錯及差錯控制系統(tǒng)分類第13頁2023/2/2(4)糾錯編碼的分類按碼字的結構分系統(tǒng)碼：前k個碼元與信息碼組一致；非系統(tǒng)碼：沒有系統(tǒng)碼的特性。按糾正差錯的類型分糾正隨機錯誤的碼；糾正突發(fā)錯誤的碼。按碼字中每個碼元的取值分二進制碼；多進制碼。6.1差錯及差錯控制系統(tǒng)分類第14頁2023/2/2

A.偶（或奇）校驗方法偶校驗位p和消息m之間的關系為

m0+m1+m2+…+mk－1+p=0(mod2)

則C=(m0,m1,m2,…,mk－1,p)為一個偶校驗碼字。

C中一定有偶數(shù)個“1”

所有可能的C的全體稱為一個碼率為k/(k+1)的(k+1,k)

偶校驗碼；確定校驗位p的編碼方程為：p=m0+m1+m2+…+mk－1

當差錯圖案E中有奇數(shù)個“1”，即R

中有奇數(shù)個位有錯時，可以通過校驗方程是否為0判斷有無可能傳輸差錯。校驗方程為1表明一定有奇數(shù)個差錯，校驗方程為0表明可能有偶數(shù)個差錯。（5）檢錯與糾錯原理6.1差錯及差錯控制系統(tǒng)分類第15頁2023/2/2

B.重復消息位方法

n重復碼：碼率為1/n，僅有兩個碼字C0和C1，傳送1比特(k=1)消息；

C0=(00…0)，C1=(11…1)n重復碼可以檢測出任意小于n/2個差錯的錯誤圖案

BSC信道：pb≤1/2，n比特傳輸中發(fā)生差錯數(shù)目越少，概率越大：

(1－pb)n>pb(1－pb)n－1>…

>pbt(1－pb)n－t>…

>pbn

總認為發(fā)生差錯的圖案是差錯數(shù)目較少的圖案，當接收到重復碼的接收序列R

中“1”的個數(shù)少于一半時，認為發(fā)送的是C0，否則認為是C1。（5）檢錯與糾錯原理6.1差錯及差錯控制系統(tǒng)分類第16頁2023/2/2B.重復消息位方法（5）檢錯與糾錯原理6.1差錯及差錯控制系統(tǒng)分類圖示糾1個任意差錯的3重碼第17頁2023/2/2C.等重碼（定比碼）設計碼字中的非0符號個數(shù)恒為常數(shù)，即C由全體重量恒等于m的n重向量組成。5中取3等重碼可以檢測出全部奇數(shù)位差錯，對某些碼字的傳輸則可以檢測出部分偶數(shù)位差錯。（5）檢錯與糾錯原理6.1差錯及差錯控制系統(tǒng)分類第18頁2023/2/2

(6)差錯控制的基本方式前向糾錯(FEC)

發(fā)送端發(fā)送能夠被糾錯的碼；接收端收到這些碼后，通過糾錯譯碼器不僅能自動發(fā)現(xiàn)錯誤，而且能自動糾正接收碼字傳輸中的錯誤。6.1差錯及差錯控制系統(tǒng)分類第19頁2023/2/2

(6)差錯控制的基本方式自動請求重發(fā)(ARQ):重傳反饋方式

發(fā)送端發(fā)出能夠發(fā)現(xiàn)（檢測）錯誤的碼；接收端收到通過信道傳來的碼后，譯碼器根據(jù)該碼的編碼規(guī)則，判決收到的碼序列中有無錯誤產生；通過反饋信道把判決信號告訴發(fā)端；發(fā)端根據(jù)這判決信號，把接收端認為有錯的消息再次傳送，直到接收端認為正確接收為止。6.1差錯及差錯控制系統(tǒng)分類第20頁2023/2/2

(6)差錯控制的基本方式自動請求重發(fā)(ARQ)ARQ方式對系統(tǒng)的要求必須有一反饋信道；適用于一個用戶對一個用戶的通信；信源能夠控制；系統(tǒng)收發(fā)兩端必須互相配合，控制電路比較復雜。前向信息反饋(IRQ)：也稱回程校驗方式。收端把收到的數(shù)據(jù),原封不動地通過反饋信道送回到發(fā)端;

發(fā)端比較發(fā)的數(shù)據(jù)與反饋來的數(shù)據(jù)，從而發(fā)現(xiàn)錯誤，并且把錯誤的消息再次傳送，直到發(fā)端沒有發(fā)現(xiàn)錯誤為止。6.1差錯及差錯控制系統(tǒng)分類第21頁2023/2/2(6)差錯控制的基本方式混合糾錯(HEC)：是FEC與ARQ方式的結合發(fā)端發(fā)送同時具有自動糾錯和檢測能力的碼組；收端收到碼組后，檢查差錯情況，如果差錯在碼的糾錯能力以內，則自動進行糾正；如果信道干擾很嚴重，錯誤很多，超過了碼的糾錯能力，但能檢測出來，則經反饋信道請求發(fā)端重發(fā)這組數(shù)據(jù)。這種方式在一定程度上避免了FEC方式要求用復雜的譯碼設備和ARQ方式信息連貫性差的缺點，并能達到較低的誤碼率，因此在實際中的應用越來越廣。6.1差錯及差錯控制系統(tǒng)分類第22頁2023/2/2(6)差錯控制的基本方式6.1差錯及差錯控制系統(tǒng)分類第23頁2023/2/26.2糾錯碼的基本概念分組碼：就是對每個k位長的信息組，按照一定規(guī)則增加r=n－k位校驗碼元，構成長度為n的序列(cn－1，cn－2，…，c1，c0)，該序列稱為碼字(或者碼組、碼矢)。如果采用二進制碼，則信息組共有2k種組合，經過編碼后相應碼字只有2k種，稱這2k個碼字集合為(n，k)分組碼。每個長度為n的序列稱為n重，(n，k)分組碼的碼字集合數(shù)量只有2k個，所以，分組碼就是確定某種規(guī)則，從2n個n重中篩選出2k個不同的碼字。被選中的2k個n重為許用碼組，其余的2n－2k個碼字為禁用碼組。碼率：表示信息位在碼字中所占的比例。(n，k)分組碼的碼率為R=k/n。第24頁2023/2/2卷積碼(n0，k0，m)：是對每段長度為k0的信息組，按照一定的規(guī)則增加r0=n0－k0個校驗元，構成長度為n0的碼段，而r0個校驗元不僅與當前本段的信息元有關，而且與前m段的信息元也有關，當信息元不斷輸入時，輸出碼序列為半無限長。上圖是一個(2，1，2)卷積碼編碼器，其中k0=1，即每次輸入一位信息到移位寄存器，而輸出碼元組的個數(shù)為n0=2，即每輸入一個信息位，編碼器輸出兩個碼元。6.2糾錯碼的基本概念第25頁2023/2/2(n0，k0，m)卷積碼的碼率為R=k0/n0，與m無關。在卷積碼中，稱n0(m+1)為編碼約束碼長，說明k0個信息從輸入編碼器到移出移寄存器時對編碼輸出影響的碼元數(shù)。漢明距離：兩個n重x、y之間對應碼元取值不同的個數(shù)，稱為這兩個n重之間的漢明距離，用d(x、y)表示。n重x中非零碼元的個數(shù)稱為漢明重量，簡稱重量，用w(x)表示。(n，k)分組碼中，任意兩個碼字x、y之間的漢明距離的最小值，稱為該分組碼的最小漢明距離，簡稱為最小距離，表示為最小漢明距離表明該分組碼抗干擾能力的大小。它與碼字的檢錯、糾錯能力有關，d0越大，碼的抗干擾能力越強，在相同的譯碼規(guī)則下，錯誤譯碼的概率越小。6.2糾錯碼的基本概念第26頁2023/2/2例6.1(3，2)碼共有四個碼字，分別為000，011，101，110，

d0=2。例6.2討論(n，1)重復碼的檢錯能力和錯誤譯碼概率，假設碼元錯誤概率為pe=0.1。

(1)(2，1)重復碼。只有兩個碼字(00)和(11)，d0=2，R=1/2。只有當發(fā)送端發(fā)送碼字為(00)而接收端接收碼字錯成(11)，或(11)錯譯碼為(00)時，才造成錯誤譯碼。

若用不完備譯碼(并與ARQ結合)，只有當兩個碼元同時出錯時，才會造成無法識別的錯誤，所以錯誤譯碼概率為p2e=10－2。這種碼能發(fā)現(xiàn)傳輸中的一個錯誤，但不能自動糾正。6.2糾錯碼的基本概念第27頁2023/2/2(2)(3，1)重復碼。它的兩個碼字是(000)和(111)，d0=3，R=1/3。

設發(fā)送端發(fā)送碼字是(000)，若收到的是(001)或(010)或(100)，則根據(jù)大數(shù)譯碼準則判斷為(000)，信息組為0；若收到的是(011)，(101)，(110)，(111)中之一，則造成錯誤譯碼，錯判為信息組是1。所以正確譯碼的概率為

Q=1－［(1－pe)3+3pe(1－pe)2］同理，當發(fā)送端發(fā)送碼字(111)時，正確譯碼的概率與上述結果相同。所以不管發(fā)送端發(fā)送碼字(000)、(111)的先驗概率如何分布，正確譯碼概率都為Q。因此，該碼能糾正序列中的一個錯誤，此時錯誤譯碼概率

p=1－Q=1－［(1－pe)3+3pe(1－pe)2］=2.8×10－26.2糾錯碼的基本概念第28頁2023/2/2(3)(4，1)重復碼。顯然，該碼的d0=4，R=1/4。由于n是偶數(shù)，故只能采用不完備譯碼。它的糾錯能力如下：

①能糾正一個錯誤的同時發(fā)現(xiàn)兩個錯誤。

若發(fā)送的是(0000)，則錯一個時，根據(jù)大數(shù)準則可正確判斷發(fā)送的是0的信息組。若錯兩個變成(0011)，(1100)，(1010)，(0101)，(1001)，(0110)之一時，則譯碼器無法做出判決，而指出發(fā)生了兩個錯誤。僅在變成(1110)，(0111)，(1011)，(1101)和(1111)時，譯碼器才做出錯誤譯碼。這時的錯誤譯碼概率

②若僅用來檢錯，則可檢測e=d0－1=3個錯誤。若發(fā)送的是(0000)，則僅在變成(1111)時，才產生錯誤譯碼，而其他情況均能正確譯碼或發(fā)現(xiàn)錯誤。因此，這時的錯誤譯碼概率

p=p4e=10－4

6.2糾錯碼的基本概念第29頁2023/2/2(4)(5，1)重復碼。(5，1)碼的d0=5，R=1/5。它的糾錯能力如下：①能糾正兩個隨機錯誤，這時的錯誤譯碼概率傳送信息組0、1的錯誤概率從0.1降至0.7%，約降低了兩個量級。

②若僅用來檢錯，則能發(fā)現(xiàn)e=d0－1=4個錯誤。

若與ARQ系統(tǒng)結合進行糾錯，則錯誤譯碼概率大約為

p=p5e=10－5

隨著碼長n的增加，重復碼的d0=n越來越大，抗干擾能力越來越強。6.2糾錯碼的基本概念第30頁2023/2/2通過上面這些例子可看出，(n，k)分組碼的最小距離d0與糾錯能力和檢錯能力之間有如下關系。

任意(n，k)分組碼，如果要在碼字內檢測e個隨機錯誤，則要求碼的最小距離滿足d0≥e+1；糾正t個隨機錯誤，則要求d0≥2t+1；糾正t個隨機錯誤，并且檢測e(≥t)個錯誤，則要求d0≥e+t+1；糾正t個隨機錯誤和ρ個刪除，則d0≥e+ρ+1。最小距離為d0，至多能夠檢測e=d0－1個錯誤，能夠糾正

個錯誤。該定理確定了分組碼糾錯能力、檢錯能力與漢明距離之間的關系，是糾錯理論中的基本定理之一。6.2糾錯碼的基本概念第31頁2023/2/2(n，k)分組碼的最小漢明距離d0與n、k之間滿足下列關系：

d0≤n－k+1例如，(7，4)線性分組碼的最小漢明距離為d0=n－k+1=4，最多可以檢測3個錯誤，而只能夠糾正1個錯誤。奇偶校驗碼是只有一個檢驗元的(n，n－1)分組碼，其最小漢明距離為2，所以只能檢測一個錯誤，而沒有糾錯能力。奇偶校驗碼隨著n的增加，碼率接近1，而錯誤譯碼概率接近誤碼元率pe。也就是說，隨著碼長的增加，該碼的抗干擾能力接近0。6.2糾錯碼的基本概念第32頁2023/2/26.3譯碼規(guī)則譯碼器的任務就是根據(jù)已知的編譯碼規(guī)則，從接收到的序列中盡可能正確地恢復信源發(fā)送的信息。

對于譯碼器來說，編譯碼規(guī)則是已知的，即發(fā)送端所采用的編碼算法及其對應的碼集合是已知的。其任務就是根據(jù)接收到的碼字序列確定發(fā)送端發(fā)送的碼字，所以接收到的碼字序列也是已知的。第33頁2023/2/26.3.1兩種譯碼規(guī)則先討論單個符號傳輸情況。對于二元對稱信道，信道輸入為x，輸出為y，如圖所示。譯碼應當根據(jù)接收到的符號y確定輸入符號是x=a1=0還是x=a2=1。信道的特性及其參數(shù)為，信道錯誤傳輸?shù)母怕蕿閜e，正確傳輸概率為1－pe，信源輸入的先驗分布為p(x=0)=p，則p(x=1)=1－p。信道譯碼就是根據(jù)接收到的符號、信道特性及信道輸入的先驗分布找到信道輸入的估值

，即最有可能發(fā)送該消息的輸入符號。從統(tǒng)計角度而言，信道輸入的估值應當滿足稱為最佳譯碼，即錯誤譯碼的概率最小。6.3譯碼規(guī)則第34頁2023/2/26.3.1兩種譯碼規(guī)則由于概率P(xi|y)是后驗概率，因此該方法稱為最大概率譯碼(MAP)。后驗概率P(xi|y)應當根據(jù)貝葉斯公式進行計算。得到后驗概率為于是得到最大后驗譯碼規(guī)則為：如果P(0|y)>P(1|y)，則；否則，。6.3譯碼規(guī)則第35頁2023/2/26.3.1兩種譯碼規(guī)則將上述分析方法推廣到矢量情況中。假設接收的碼字序列為r=(r1，r2，…，rn)，而碼字集合為C，其中元素ci滿足ci=(ci1，ci2，…，cin)。譯碼的主要任務是如何盡可能正確地再現(xiàn)碼字ci。在已知接收符號序列r的條件下，譯碼器需要從碼集合中找到一個碼字ci作為譯碼估值，滿足這就是最大后驗譯碼。后驗概率可根據(jù)先驗概率P(ci)和信道轉移矩陣，再據(jù)貝葉斯公式得到6.3譯碼規(guī)則第36頁2023/2/26.3.1兩種譯碼規(guī)則在實際中，為了便于譯碼，通?？梢宰龀鱿铝屑僭O：

(1)構成碼字集合的各個碼字的先驗概率是相等的，即P(ci)=P(cj)，對所有的i，j；(2)P(r)對于任何序列都有相同的概率取值。根據(jù)上述兩種假設，P(ci|r)最大等價于P(r|ci)最大，于是最大后驗概率譯碼等效于最大先驗概率譯碼，即最佳譯碼等價于最大似然譯碼(MLD)。對于無記憶信道而言，碼字的似然函數(shù)P(r|ci)就是構成該碼字的聯(lián)合概率，等于各個碼元的似然函數(shù)的乘積，即其中，n為碼字的序列長度。所以最大似然譯碼為6.3譯碼規(guī)則第37頁2023/2/26.3.1兩種譯碼規(guī)則信道為二元對稱信道時，根據(jù)漢明距離的定義，序列r中如果有d個碼元與ci的碼元不同，則對應的漢明距離為d，所以對于二元碼，d就是發(fā)送碼的碼元與接收碼的碼元中不同碼元的數(shù)量，此時的似然函數(shù)為在實際通信系統(tǒng)中，碼元錯誤概率p總是很小，即p/(1－p)<<1，而(1－p)n為常數(shù)，所以漢明距離d越小，則P(r|ci)越大；反之，漢明距離d越大，則P(r|ci)越小，這樣最大似然函數(shù)對應于最小漢明距離，于是最大似然譯碼轉化為漢明距離譯碼。漢明距離譯碼是一種硬判決譯碼，逐個比較接收碼字r與各種可能碼字ci的對應碼元，選擇漢明距離最小的碼字作為譯碼估值。6.3譯碼規(guī)則第38頁2023/2/26.3.2錯誤譯碼概率在信道特性一定的情況下，各種可能碼字ck產生某一接收序列rj的概率為如果接收序列rj確實是由碼字ci產生，對于特定序列rj，正確譯碼概率Pc(rj)為Pc(rj)=P(rj|ci)P(ci)相應錯誤譯碼的概率Pe(rj)為

Pe(rj)=P(rj)－Pc(rj)對于選擇好的譯碼規(guī)則，錯誤譯碼的概率PE應當為所有接收序列rj對應的錯誤譯碼概率Pe(rj)之和，即6.3譯碼規(guī)則第39頁2023/2/26.3.2錯誤譯碼概率平均錯誤譯碼概率為設rj譯碼時選擇的輸入碼字編號為irj，則錯誤譯碼概率可以表示為平均錯誤譯碼的概率取決于譯碼規(guī)則。對于最大后驗概率譯碼，譯碼規(guī)則是根據(jù)規(guī)則選擇的。對于最大似然譯碼而言，譯碼規(guī)則是maxP(rj|ci)。當先驗概率分布P(ci)滿足等概率分布，且P(r)對于任何序列都有相同的概率取值時，平均錯誤譯碼的概率是最小的，此時最大似然譯碼與最大后驗概率譯碼相當。6.3譯碼規(guī)則第40頁2023/2/26.3.2錯誤譯碼概率舉例：設信道輸入、輸出符號集合分別為{a1，a2，a3}和{b1，b2，b3}，而且信道轉移矩陣為6.3譯碼規(guī)則選擇兩種譯碼規(guī)則分別計算輸入為等概率分布和p(a1)=0.25、p(a2)=0.25、p(a3)=0.5時，兩種譯碼規(guī)則對應的平均錯誤譯碼概率。解(1)當輸入為等概率分布時，兩種譯碼規(guī)則的平均錯誤譯碼概率分別為由于譯碼規(guī)則A就是最大似然譯碼，當輸入等概率時，p(bj)(j=1，2，3)都相等，所以最大譯碼是最優(yōu)的，平均錯誤譯碼概率最小。第41頁2023/2/26.3.2錯誤譯碼概率舉例：6.3譯碼規(guī)則(2)當輸入分布為p(a1)=0.25、

p(a2)=0.25、p(a3)=0.5時，兩種規(guī)則的平均錯誤譯碼概率分別為從結果可以看出PE′(B)>PE′(A)，盡管概率轉移矩陣是對稱的，但是由于輸入不是等概分布的，因此最大似然譯碼并不是最優(yōu)的，即其對應的平均錯誤譯碼概率不是最小的。第42頁2023/2/26.3.2錯誤譯碼概率舉例：6.3譯碼規(guī)則已知信道的轉移矩陣為采用最大似然譯碼，當輸入為等先驗分布，求平均錯誤譯碼概率PE；如果先驗分布為(0.4，0.4，0.2)，重新計算PE。解:最大似然譯碼規(guī)則就是選擇轉移矩陣中的每列元素最大值作為譯碼輸出的估值，所以錯誤譯碼概率為當先驗分布為(0.4，0.4，0.2)時,由此可見，盡管輸入為等概率分布，但是當接收的各個符號概率不相等時，最大似然估計的錯誤譯碼概率也不是最小的。第43頁2023/2/26.3.2錯誤譯碼概率舉例：6.3譯碼規(guī)則設離散無記憶信道的誤碼元率為pe=0.1，現(xiàn)有兩個碼字(000，111)通過信道傳輸，假設碼字是等概率分布的，采用最大似然規(guī)則譯碼，計算譯碼平均錯誤概率PE。解由于碼字長度n=3，信道輸出端接收的碼字共有23=8種組合，將其表示為b0~b7，并將輸入兩種碼字表示為{a0，a1}。由于兩個碼字中每個碼元都可能出錯，根據(jù)誤碼元率可以得出條件轉移為p(b0|a0)=(1－pe)3=0.729

p(b0|a1)=p3e=10－3

p(b1|a0)=(1－pe)2pe=8.1×10－2

p(b1|a1)=(1－pe)p2e=9×10－3

p(b2|a0)=(1－pe)2pe=8.1×10－2

p(b2|a1)=(1－pe)p2e=9×10－3

p(b3|a0)=(1－pe)p2e=9×10－3

p(b3|a1)=(1－pe)2pe=8.1×10－2

p(b4|a0)=(1－pe)2pe=8.1×10－2

p(b4|a1)=(1－pe)p2e=9×10－3

p(b5|a0)=(1－pe)p2e=9×10－3

p(b5|a1)=(1－pe)2pe=8.1×10－2

p(b6|a0)=(1－pe)p2e=9×10－3

p(b6|a1)=(1－pe)2pe=8.1×10－2

p(b7|a0)=p3e=10－3

p(b7|a1)=(1－pe)3=0.729第44頁2023/2/26.3.2錯誤譯碼概率舉例：6.3