物理信息論與編碼原理-第7章-信道編碼的基本概念課件

1、信息論與編碼原理（第七章）信道編碼的基本概念8/4/20221Department of Electronics and Information, NCUT Song Peng第1頁，共48頁。第7章 信道編碼的基本概念7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用7.2 錯(cuò)誤的種類和有關(guān)術(shù)語7.3 信道編碼的基本思想和分類7.4 檢錯(cuò)與糾錯(cuò)原理7.5 差錯(cuò)控制的基本方式和能力8/4/20222Department of Electronics and Information, NCUT Song Peng第2頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(1) 數(shù)字通信系統(tǒng)工作原理

2、(2) 通信系統(tǒng)的主要技術(shù)指標(biāo)(3) 采用信道編碼的數(shù)字通信系統(tǒng)8/4/20223Department of Electronics and Information, NCUT Song Peng第3頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(1) 數(shù)字通信系統(tǒng)工作原理數(shù)字通信系統(tǒng)模型信源：可以是人或機(jī)器（例如計(jì)算機(jī)、傳感器）；信源編碼器：將信源輸出變換成信息序列；調(diào)制器：把輸入的消息序列變換為適合于在實(shí)際信道中傳輸（存儲(chǔ)）的信號(hào)波形；返回8/4/20224Department of Electronics and Information, NCUT Song Peng第4頁，

3、共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(1) 數(shù)字通信系統(tǒng)工作原理 傳輸信道/存儲(chǔ)媒介 有線：實(shí)際的傳輸信道可能是光纜、電纜等有線信道； 無線：高頻無線線路、衛(wèi)星中繼等無線信道； 存儲(chǔ)媒介：媒介可以是磁帶、磁盤、光盤等； 無論何種傳輸媒介，都受到不同性質(zhì)的干擾 有線信道中的脈沖干擾； 無線信道中的噪聲 和衰落； 存儲(chǔ)媒介的缺損也被看做是脈沖干擾。圖示8/4/20225Department of Electronics and Information, NCUT Song Peng第5頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(1) 數(shù)字通信系統(tǒng)工作原理解調(diào)器：其

4、輸入信號(hào)一般是受到干擾的混合波形，解調(diào)器的任務(wù)就是從有用信號(hào)和干擾的混合波形中恢復(fù)有用的信號(hào)，這個(gè)過程與調(diào)制器的過程相反。由于干擾的作用，解調(diào)器的輸出信號(hào)不可避免地包含著差錯(cuò)，差錯(cuò)的多少不應(yīng)超過系統(tǒng)所規(guī)定的數(shù)值。信源譯碼器：把解調(diào)器輸出的序列變換成為信源輸出的估值。信宿：用戶。 圖6.1.1 所示的數(shù)字通信系統(tǒng)并沒有信道編碼和信道譯碼的環(huán)節(jié)。為了明確信道編碼在數(shù)字通信系統(tǒng)中的地位和作用，介紹數(shù)字通信系統(tǒng)的主要技術(shù)指標(biāo)。圖示返回目錄8/4/20226Department of Electronics and Information, NCUT Song Peng第6頁，共48頁。7.1 信道編碼

5、在數(shù)字通信系統(tǒng)中的地位和作用(2) 通信系統(tǒng)的主要技術(shù)指標(biāo) 傳輸速率 碼元：攜帶數(shù)據(jù)信息的信號(hào)單元。 碼元傳輸速率（波特率、調(diào)制速率）：每秒鐘通過信道傳輸?shù)拇a元數(shù)。單位是波特（Bd）。 比特率（比特傳輸速率）：每秒鐘通過信道傳輸?shù)男畔⒘?。單位是比?/秒（bit/s）。 這兩種傳輸速率的定義不同，它們都是衡量系統(tǒng)傳輸能力的主要指標(biāo). 二進(jìn)制：每個(gè)碼元的信息含量為 1 比特，二進(jìn)制的波特率與比特率在數(shù)值上是相等的。 M進(jìn)制：每一個(gè)碼元的信息含量為 log2M。如果碼元傳輸速率為 rs 波特，相應(yīng)的比特率 rb 為：rb = rs log2M (bit/s)8/4/20227Department

6、of Electronics and Information, NCUT Song Peng第7頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(2) 通信系統(tǒng)的主要技術(shù)指標(biāo) 差錯(cuò)率：差錯(cuò)率是衡量傳輸質(zhì)量的重要指標(biāo)之一，有幾種不同的定義 碼元差錯(cuò)率：指在傳輸?shù)拇a元總數(shù)中發(fā)生差錯(cuò)的碼元數(shù)所占的比例（平均值），簡(jiǎn)稱誤碼率。 比特差錯(cuò)率（比特誤碼率）：指在傳輸?shù)谋忍乜倲?shù)中發(fā)生差錯(cuò)的比特?cái)?shù)所占的比例（平均值）。在二進(jìn)制傳輸系統(tǒng)中，碼元差錯(cuò)率就是比特差錯(cuò)率。 碼組差錯(cuò)率：指在傳輸?shù)拇a組總數(shù)中發(fā)生差錯(cuò)的碼組數(shù)所占的比例（平均值）。 根據(jù)不同的應(yīng)用場(chǎng)合對(duì)差錯(cuò)率有不同的要求。 在電報(bào)傳送時(shí)，允許的比

7、特差錯(cuò)率約為 104105； 計(jì)算機(jī)數(shù)據(jù)傳輸，一般要求比特差錯(cuò)率小于 108109； 遙控指令和武器系統(tǒng)指令中，要求誤比特率更小。8/4/20228Department of Electronics and Information, NCUT Song Peng第8頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(2) 通信系統(tǒng)的主要技術(shù)指標(biāo) 可靠性 是衡量傳輸系統(tǒng)質(zhì)量的一項(xiàng)重要指標(biāo)，工程中經(jīng)常用平均無故障間隔時(shí)間來衡量。 在數(shù)字通信系統(tǒng)中信息傳輸（存儲(chǔ)）遇到的最主要的問題是在傳輸過程中出現(xiàn)差錯(cuò)的問題，也就是傳輸可靠性 的問題。 在傳輸過程中產(chǎn)生不同差錯(cuò)的主要原因 不同的傳輸系統(tǒng)有不

8、同的性能； 在傳輸過程中干擾不同。 不同的用戶或不同的傳輸系統(tǒng)對(duì)差錯(cuò)率的要求不同。 有兩種途徑降低誤碼率以滿足系統(tǒng)要求： 降低信道（調(diào)制解調(diào)器/傳輸媒介）本身引起的誤碼率； 采用信道編碼，在數(shù)字通信系統(tǒng)中增加差錯(cuò)控制設(shè)備。8/4/20229Department of Electronics and Information, NCUT Song Peng第9頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(2) 通信系統(tǒng)的主要技術(shù)指標(biāo) 可靠性 降低信道引起誤碼率的主要方法 選擇合適的傳輸線路：如有線線路中，電纜線路優(yōu)于明線線路，光纜優(yōu)于電纜； 改進(jìn)傳輸線路的傳輸特性或增加發(fā)送信號(hào)功率：

9、如進(jìn)行相位均衡和幅度均衡以改進(jìn)線路的群延時(shí)特性和幅頻特性，增加中繼放大器。在無線信道中，可以增加發(fā)射機(jī)功率、利用高增益天線、低噪聲放大器等方法改善信道； 選用潛在抗干擾性較強(qiáng)的調(diào)制解調(diào)方案。返回目錄8/4/202210Department of Electronics and Information, NCUT Song Peng第10頁，共48頁。7.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用(3) 采用信道編碼的數(shù)字通信系統(tǒng)在某些情況下，信道的改善可能較困難或者不經(jīng)濟(jì)，可采用信道編碼，以便滿足系統(tǒng)差錯(cuò)率的技術(shù)指標(biāo)要求。信道編碼為系統(tǒng)設(shè)計(jì)者提供了一個(gè)降低系統(tǒng)差錯(cuò)率的措施。采用信道編碼后的數(shù)字通

10、信系統(tǒng)可用圖7.1.2 所示。返回目錄8/4/202211Department of Electronics and Information, NCUT Song Peng第11頁，共48頁。7.2 錯(cuò)誤的種類和有關(guān)術(shù)語 (1) 錯(cuò)誤圖樣 (2) 錯(cuò)誤種類 (3) 檢錯(cuò)碼與糾錯(cuò)碼8/4/202212Department of Electronics and Information, NCUT Song Peng第12頁，共48頁。7.2 錯(cuò)誤的種類和有關(guān)術(shù)語(1) 錯(cuò)誤圖樣 在通信系統(tǒng)的接收端，若接收矢量 R 和發(fā)送的原碼字 V 不一樣，例如 V =(11000)，而 R =(10001)，

11、R 與 V 不同，即出現(xiàn)了兩個(gè)錯(cuò)誤。這種錯(cuò)誤是由信道中的噪聲干擾所引起的。 錯(cuò)誤圖樣： 設(shè)發(fā)送的碼字為 V=(v1,v2,vn)，接收矢量為R=(r1,r2,rn)； 由于R=V+E，所以 E=(e1,e2,en)=(v1+r1,v2+r2,vn+rn)； 如 ei=vi+ri，則表示碼字的第 i 位受到干擾,也就是說 R 的第 i 位有錯(cuò); 例如：V =(11000)，R =(10001)， 根據(jù)上式可得： E=(1+1,1+0,0+0,0+0,0+1)； 可知接收矢量的第 2 位和第 5 位是錯(cuò)誤的。返回目錄8/4/202213Department of Electronics and I

12、nformation, NCUT Song Peng第13頁，共48頁。7.2 錯(cuò)誤的種類和有關(guān)術(shù)語(2) 錯(cuò)誤種類隨機(jī)錯(cuò)誤：由隨機(jī)噪聲的干擾所引起。由于噪聲的隨機(jī)性，使得這種錯(cuò)誤的特點(diǎn)為：各碼元是否發(fā)生錯(cuò)誤是相互獨(dú)立的，通常不會(huì)成片地出現(xiàn)錯(cuò)誤。突發(fā)錯(cuò)誤：由突發(fā)噪聲的干擾所引起。(3) 檢錯(cuò)碼與糾錯(cuò)碼檢錯(cuò)碼：有發(fā)現(xiàn)錯(cuò)誤能力但沒有糾正錯(cuò)誤的能力。糾錯(cuò)碼：有發(fā)現(xiàn)并糾正錯(cuò)誤能力的碼，是一種重要的抗干擾碼。返回目錄8/4/202214Department of Electronics and Information, NCUT Song Peng第14頁，共48頁。7.3 信道編碼的基本思想和分類(1

13、) 編碼信道(2) 信道編碼的基本思想(3) 信道編碼的分類8/4/202215Department of Electronics and Information, NCUT Song Peng第15頁，共48頁。7.3 信道編碼的基本思想和分類(1) 編碼信道 是研究糾錯(cuò)編碼和譯碼的一種模型。圖7.3.1 所示。 編碼信道： 無線通信中的發(fā)射機(jī)、天線、自由空間、接收機(jī)等的全體； 有線通信中的如調(diào)制解調(diào)器、電纜等的全體； Internet 網(wǎng)的多個(gè)路由器、節(jié)點(diǎn)、電纜、底層協(xié)議等的全體； 計(jì)算機(jī)的存儲(chǔ)器（如磁盤等）的全體。8/4/202216Department of Electronics a

14、nd Information, NCUT Song Peng第16頁，共48頁。7.3 信道編碼的基本思想和分類(1) 編碼信道二進(jìn)制信道：當(dāng)碼字 C 和接收向量 R 均由二元序列（向量表示時(shí)），稱編碼信道為二進(jìn)制信道。C=(c0,c1,cn-1), ci0,1R=(r0,r1,rn-1), ri0,1 描述二進(jìn)制信道輸入輸出關(guān)系或噪聲干擾程度的是轉(zhuǎn)移概率p(R/C)。無記憶二進(jìn)制信道：對(duì)任意的 n 都有： 則稱為無記憶二進(jìn)制信道。8/4/202217Department of Electronics and Information, NCUT Song Peng第17頁，共48頁。7.3 信

15、道編碼的基本思想和分類(1) 編碼信道 無記憶二進(jìn)制對(duì)稱信道 /BSC /硬判決信道：無記憶二進(jìn)制信道的轉(zhuǎn)移概率又滿足 p(0/1)=p(1/0)=pb，稱為無記憶二進(jìn)制對(duì)稱信道。 只要噪聲是白噪聲，大多數(shù)二進(jìn)制傳輸信道的模型都可以等效為一個(gè) BSC信道。8/4/202218Department of Electronics and Information, NCUT Song Peng第18頁，共48頁。7.3 信道編碼的基本思想和分類(1) 編碼信道 無記憶二進(jìn)制對(duì)稱信道 /BSC /硬判決信道：無記憶二進(jìn)制信道的轉(zhuǎn)移概率又滿足 p(0/1)=p(1/0)=pb，稱為無記憶二進(jìn)制對(duì)稱信道。

16、 二進(jìn)制編碼信道模型：R =C+E (mod 2) E：錯(cuò)誤圖樣（隨機(jī)變量）； 稱 E=(e0,e1,en1) 中 ei=1 為第 i 位上的一個(gè)隨機(jī)錯(cuò)誤； 第 i 至第 j 位之間有很多錯(cuò)誤時(shí)，稱為一個(gè) ji+1 長(zhǎng)的突發(fā)錯(cuò)誤。8/4/202219Department of Electronics and Information, NCUT Song Peng第19頁，共48頁。7.3 信道編碼的基本思想和分類(1) 編碼信道二進(jìn)制軟判決信道：無記憶編碼信道的每一個(gè)二元符號(hào)輸出可以用多個(gè)比特表示，理想情況下為實(shí)數(shù)，此時(shí)的無記憶二進(jìn)制信道稱為二進(jìn)制軟判決信道。返回目錄8/4/202220Dep

17、artment of Electronics and Information, NCUT Song Peng第20頁，共48頁。7.3 信道編碼的基本思想和分類(2) 信道編碼的基本思想 信道編碼的對(duì)象：是信源編碼器輸出的信息序列 m。通常是二元符號(hào) 1、0 組成的序列。 信道編碼的基本思想 按一定規(guī)則給數(shù)字序列 m 增加一些多余的碼元，使不具有規(guī)律性的信息序列 m 變換為具有某種規(guī)律性的數(shù)碼序列 C； 碼序列中的信息序列碼元與多余碼元之間是相關(guān)的； 信道譯碼器利用這種預(yù)知的 編碼規(guī)則譯碼。檢驗(yàn)接收到的數(shù)字序列 R 是否符合既定的 規(guī)則，從而發(fā)現(xiàn) R 中是否有錯(cuò)，或者糾正其中的差錯(cuò); 根據(jù)相關(guān)

18、性來檢測(cè)（發(fā)現(xiàn)）和糾正傳輸過程中產(chǎn)生的差錯(cuò)就是信道編碼的基本思想。8/4/202221Department of Electronics and Information, NCUT Song Peng第21頁，共48頁。7.3 信道編碼的基本思想和分類(2) 信道編碼的基本思想 碼元的組成及其它們之間的關(guān)系 信息碼組：數(shù)字序列 m 總是以 k 個(gè)碼元為一組傳輸，稱這 k 個(gè)碼元的碼組為信息碼組。例如遙控系統(tǒng)中的每個(gè)指令字，計(jì)算機(jī)中的每個(gè)字節(jié)。 碼組（碼字）：信道編碼器按一定的規(guī)則對(duì)每個(gè)信息碼組附加一些多余的碼元，構(gòu)成了 n 個(gè)碼元的碼組。 碼組的 n 個(gè)碼元之間是相關(guān)的，附加的 (nk) 個(gè)多

19、余碼元為何種符號(hào)序列與待編碼的信息碼組有關(guān)。 監(jiān)督碼元（監(jiān)督元）：附加的 (nk) 個(gè)碼元稱為該碼組的監(jiān)督碼元或監(jiān)督元。8/4/202222Department of Electronics and Information, NCUT Song Peng第22頁，共48頁。7.3 信道編碼的基本思想和分類(2) 信道編碼的基本思想 可靠性與帶寬、速度的關(guān)系 從信息傳輸?shù)慕嵌?，監(jiān)督元不載有任何信息，所以是多余的。這種多余度使碼字具有一定的糾錯(cuò)和檢錯(cuò)能力，提高了傳輸?shù)目煽啃裕档土苏`碼率； 如果要求信息傳輸速度不變，在附加了監(jiān)督元后必須減小碼組中每個(gè)碼元符號(hào)的持續(xù)時(shí)間，對(duì)二進(jìn)制碼，就是要減小脈沖寬

20、；若編碼前每個(gè)碼脈沖的歸一化寬度為1，則編碼后的歸一化寬度為 k/n (kn,k/n pb(1pb)n 1 pbt(1pb)n t pbn 總認(rèn)為發(fā)生差錯(cuò)的圖案是差錯(cuò)數(shù)目較少的圖案，當(dāng)接收到重復(fù)碼的接收序列 R 中“1”的個(gè)數(shù)少于一半時(shí)，認(rèn)為發(fā)送的是C0，否則認(rèn)為是 C1。圖6.1.7 所示糾 1 個(gè)任意差錯(cuò)的 3 重復(fù)碼。8/4/202231Department of Electronics and Information, NCUT Song Peng第31頁，共48頁。7.4 檢錯(cuò)與糾錯(cuò)原理(3) 重復(fù)消息位方法返回目錄8/4/202232Department of Electronic

21、s and Information, NCUT Song Peng第32頁，共48頁。7.4 檢錯(cuò)與糾錯(cuò)原理(4) 等重碼（定比碼）設(shè)計(jì)碼字中的非 0 符號(hào)個(gè)數(shù)恒為常數(shù)，即 C 由全體重量恒等于 m 的 n 重向量組成。5 中取 3 等重碼可以檢測(cè)出全部奇數(shù)位差錯(cuò)，對(duì)某些碼字的傳輸則可以檢測(cè)出部分偶數(shù)位差錯(cuò)。返回目錄8/4/202233Department of Electronics and Information, NCUT Song Peng第33頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(1) 差錯(cuò)控制的基本方式(2) 最大似然譯碼8/4/202234Department of E

22、lectronics and Information, NCUT Song Peng第34頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(1) 差錯(cuò)控制的基本方式前向糾錯(cuò)(FEC) 自動(dòng)請(qǐng)求重發(fā)(ARQ)混合糾錯(cuò)(HEC)前向信息反饋(IRQ)8/4/202235Department of Electronics and Information, NCUT Song Peng第35頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(1) 差錯(cuò)控制的基本方式 前向糾錯(cuò)(FEC) 發(fā)送端發(fā)送能夠被糾錯(cuò)的碼； 接收端收到這些碼后，通過糾錯(cuò)譯碼器不僅能自動(dòng)發(fā)現(xiàn)錯(cuò)誤，而且能自動(dòng)糾正接收碼字傳輸中的錯(cuò)誤。8/

23、4/202236Department of Electronics and Information, NCUT Song Peng第36頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(1) 差錯(cuò)控制的基本方式 自動(dòng)請(qǐng)求重發(fā)(ARQ) 發(fā)送端發(fā)出能夠發(fā)現(xiàn)（檢測(cè)）錯(cuò)誤的碼； 接收端收到通過信道傳來的碼后，譯碼器根據(jù)該碼的編碼規(guī)則，判決收到的碼序列中有無錯(cuò)誤產(chǎn)生； 通過反饋信道把判決信號(hào)告訴發(fā)端； 發(fā)端根據(jù)這判決信號(hào)，把接收端認(rèn)為有錯(cuò)的消息再次傳送，直到接收端認(rèn)為正確接收為止。8/4/202237Department of Electronics and Information, NCUT Song

24、 Peng第37頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(1) 差錯(cuò)控制的基本方式 自動(dòng)請(qǐng)求重發(fā)(ARQ) ARQ 方式對(duì)系統(tǒng)的要求 必須有一反饋信道； 適用于一個(gè)用戶對(duì)一個(gè)用戶的通信； 信源能夠控制； 系統(tǒng)收發(fā)兩端必須互相配合，控制電路比較復(fù)雜。8/4/202238Department of Electronics and Information, NCUT Song Peng第38頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(1) 差錯(cuò)控制的基本方式 混合糾錯(cuò)(HEC)：是 FEC 與 ARQ 方式的結(jié)合 發(fā)端發(fā)送同時(shí)具有自動(dòng)糾錯(cuò)和檢測(cè)能力的碼組； 收端收到碼組后，檢查差錯(cuò)情況，如

25、果差錯(cuò)在碼的糾錯(cuò)能力以內(nèi)，則自動(dòng)進(jìn)行糾正； 如果信道干擾很嚴(yán)重，錯(cuò)誤很多，超過了碼的糾錯(cuò)能力，但能檢測(cè)出來，則經(jīng)反饋信道請(qǐng)求發(fā)端重發(fā)這組數(shù)據(jù)。 這種方式在一定程度上避免了 FEC 方式要求用復(fù)雜的譯碼設(shè)備和 ARQ 方式信息連貫性差的缺點(diǎn)，并能達(dá)到較低的誤碼率，因此在實(shí)際中的應(yīng)用越來越廣。圖示8/4/202239Department of Electronics and Information, NCUT Song Peng第39頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(1) 差錯(cuò)控制的基本方式 前向信息反饋(IRQ)：也稱回程校驗(yàn)方式。 收端把收到的數(shù)據(jù), 原封不動(dòng)地通過反饋信道送回到

26、發(fā)端; 發(fā)端比較發(fā)的數(shù)據(jù)與反饋來的數(shù)據(jù)，從而發(fā)現(xiàn)錯(cuò)誤，并且把錯(cuò)誤的消息再次傳送，直到發(fā)端沒有發(fā)現(xiàn)錯(cuò)誤為止。圖示8/4/202240Department of Electronics and Information, NCUT Song Peng第40頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(1) 差錯(cuò)控制的基本方式返回返回目錄8/4/202241Department of Electronics and Information, NCUT Song Peng第41頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(2) 最大似然譯碼 譯碼過程 譯碼器接收到一個(gè)接收碼字 R 后，按編碼規(guī)則對(duì)

27、R 進(jìn)行譯碼后輸出信息碼組的估值 m ； 信息碼組 m 與碼字 C 之間是有固定規(guī)則的，這相當(dāng)于信道譯碼器能給出碼字 C 的估值 C 。當(dāng) C C 時(shí)就出現(xiàn)了譯碼錯(cuò)誤。因?yàn)橹挥挟?dāng) C =C 時(shí)，m =m。8/4/202242Department of Electronics and Information, NCUT Song Peng第42頁，共48頁。7.5 差錯(cuò)控制的基本方式和能力(2) 最大似然譯碼 最大后驗(yàn)概率譯碼準(zhǔn)則 當(dāng)譯碼器收到某一個(gè)接收碼字 R 后，根據(jù)最大后驗(yàn)概率 p(C/R) 進(jìn)行譯碼判決，一定是譯碼錯(cuò)誤概率最小。 根據(jù)貝葉斯原理：8/4/202243Department of Electronics and Information, NCUT Song Peng第43頁，共48頁。(2) 最大似然譯碼 最大后驗(yàn)概率譯碼準(zhǔn)則 似然函數(shù)：p(R/C) 漢明距離（距離）：在 (n,k)線性碼中，兩個(gè)碼字 U、V 之間對(duì)應(yīng)碼元位上符號(hào)取