信息論第六章信道編碼(1)教材

1、第六章信道編碼信道編碼定理1948年,信息論的奠基人C.E.Shannon在他的開創(chuàng)性論文“通信的數(shù)學(xué)理論”中,提出了著名的有噪信道編碼定理。他指出：對任何信道,只要信息傳輸速率R不大于信道容量C, 就一定存在這樣的編碼方法：在采用最大似然譯碼時,其誤碼率可以任意小。信道編碼第六章信道編碼信道編碼定理該定理在理論上給出了對給定信道通過編碼所能達(dá)到的編碼增益的上限,并指出了為達(dá)到理論極限應(yīng)采用的譯碼方法。在信道編碼定理中,香農(nóng)提出了實(shí)現(xiàn)最佳編碼的三個基本條件 ：(1 )采用隨機(jī)編譯碼方式 ; (2 )編碼長度 , 即分組的碼組長度無限 ; (3)譯碼采用最佳的最大似然譯碼算法。信道編碼第六章信道

2、編碼信道編碼定理在滿足這三個條件的前提下 ,香農(nóng)認(rèn)為在有噪信道中可以實(shí)現(xiàn)無差錯傳輸。在這一編碼定理的理論引導(dǎo)下, 人們開始了對設(shè)計出信道好碼的探索與研究。信道編碼定理為人們探索信道的最佳編碼方案提供了理論依據(jù),但并沒有指明如何獲得好碼。后來出現(xiàn)了多種信道編碼方案,如RS碼、卷積碼、級聯(lián)碼等。每一編碼方案的提出,性能雖有所提高,但距香農(nóng)極限還有很大距離。1993年出現(xiàn)的Turbo碼,由于其很好地應(yīng)用了編碼定理中的隨機(jī)性編譯碼條件和最佳譯碼算法, 而獲得了幾乎接近香農(nóng)理論極限的譯碼性能, 立即在通信界引起了研究Turbo碼的熱潮。信道編碼第六章信道編碼信道編碼的歷史50年代至60年代初，主要研究各

3、種有效的編、譯碼方法，奠定了線性分組碼的理論基礎(chǔ)；提出了BCH編碼、譯碼方法以及卷積碼的序列譯碼；給出了糾錯碼的基本碼限；還出版了糾錯碼的第一本專著60年代至70年代初，這是糾錯碼發(fā)展過程中最為活躍的時期。提出了如門限譯碼、迭代譯碼、軟判決譯碼和卷積碼的Viterbi譯碼等有效的編譯碼方法；同時注意到了糾錯碼實(shí)用化的問題，討論了如碼重量分布、譯碼錯誤概率和不可檢錯誤概率的計算、信道的模型化等與實(shí)用化有關(guān)的各種問題信道編碼第六章信道編碼信道編碼的歷史70年代以來，糾錯碼在實(shí)際應(yīng)用中得到了更大的發(fā)展。大規(guī)模集成電路和微機(jī)的迅速發(fā)展，為糾錯碼的實(shí)用打下了堅實(shí)的物質(zhì)基礎(chǔ)。70年代末、80年代初（20世

4、紀(jì)），G. Ungerboeck把調(diào)碼與調(diào)制相結(jié)合提出了網(wǎng)格編碼調(diào)制（TCM,trellis-coded modulation）技術(shù)是編碼理論的又一重要里程碑。繼TCM之后，1993年C.Berrou，A. Glavieux和P. Thitimajshima發(fā)現(xiàn)的Turbo碼是又一重大突破信道編碼第六章信道編碼信道編碼定理指出：在編碼速率小于信道容量的條件下，通過編碼可以使譯碼錯誤概率任意小，從而達(dá)到可靠通信。給出的結(jié)果只說明存在一種編碼方式。其誤碼率隨著碼長n的增長趨于任意小。證明是非構(gòu)造性的，它沒有告訴我們?nèi)绾螛?gòu)造實(shí)際上可實(shí)現(xiàn)的、具有上述性能的這類碼的方法。信道編碼/糾錯編碼/差錯控制：就

5、是為解決這一問題而產(chǎn)生的學(xué)科，它的目的是尋找在實(shí)際上易于實(shí)現(xiàn)且能達(dá)到可靠通信的編譯碼方法。6.1 信道編碼的概念6.2 線性分組碼6.3 循環(huán)碼6.4 卷積碼6.5 信道編碼總結(jié)第六章 信道編碼第六章信道編碼6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用6.1.2 信道編碼的基本思想和分類6.1.3 檢錯與糾錯原理6.1.4 差錯控制的基本方式和能力6.1 信道編碼的概念第六章信道編碼(1) 數(shù)字通信系統(tǒng)工作原理數(shù)字通信系統(tǒng)模型信源：可以是人或機(jī)器（例如計算機(jī)、傳感器）；信源編碼器：將信源輸出變換成信息序列；調(diào)制器：把輸入的消息序列變換為適合于在實(shí)際信道中傳輸/存儲的信號波形；6.1.1 信

6、道編碼在數(shù)字通信系統(tǒng)中的地位和作用6.1信道編碼的概念第六章信道編碼傳輸信道/存儲媒介有線：實(shí)際的傳輸信道可能是光纜、電纜等有線信道；無線：高頻無線線路、衛(wèi)星中繼等無線信道；存儲媒介：媒介可以是磁帶、磁盤、光盤等；無論何種傳輸媒介，都受到不同性質(zhì)的干擾：有線信道中的脈沖干擾；無線信道中的噪聲和衰落；存儲媒介的缺損也被看做是脈沖干擾。解調(diào)器：其輸入信號一般是受到干擾的混合波形，解調(diào)器的任務(wù)就是從有用信號和干擾的混合波形中恢復(fù)有用的信號，這個過程與調(diào)制器的過程相反。由于干擾的作用，解調(diào)器的輸出信號不可避免地包含著差錯，差錯的多少不應(yīng)超過系統(tǒng)所規(guī)定的數(shù)值。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和

7、作用6.1信道編碼的概念第六章信道編碼信源譯碼器：把解調(diào)器輸出的序列變換成為信源輸出的估值。圖6.1.1所示的數(shù)字通信系統(tǒng)并沒有信道編碼和信道譯碼的環(huán)節(jié)。為了明確信道編碼在數(shù)字通信系統(tǒng)中的地位和作用，介紹數(shù)字通信系統(tǒng)的主要技術(shù)指標(biāo)。6.1信道編碼的概念6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用第六章信道編碼(2) 通信系統(tǒng)的主要技術(shù)指標(biāo)傳輸速率碼元：攜帶數(shù)據(jù)信息的信號單元。碼 元 傳 輸 速 率/波特率/調(diào)制速率：每秒鐘通過信道傳輸?shù)拇a元數(shù)。單位是波特(Bd)。比特率/比特傳輸速率：每秒鐘通過信道傳輸?shù)男畔⒘?。單位是比?秒(bit/s)。這兩種傳輸速率的定義不同，它們都是衡量系統(tǒng)傳輸能

8、力的主要指標(biāo)。二進(jìn)制：每個碼元的信息含量為1比特，二進(jìn)制的波特率與比特率在數(shù)值上是相等的。M進(jìn)制：每一個碼元的信息含量為 log2M。如果碼元傳輸速率為 rs 波特，相應(yīng)的比特率 rb 為rb = rs log2M (bit/s)6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用6.1信道編碼的概念第六章信道編碼差錯率：差錯率是衡量傳輸質(zhì)量的重要指標(biāo)之一，它有以下幾種不同的定義。碼元差錯率：指在傳輸?shù)拇a元總數(shù)中發(fā)生差錯的碼元數(shù)所占的比例（平均值），簡稱誤碼率。比 特 差 錯 率 /比特誤碼率：指在傳輸?shù)谋忍乜倲?shù)中發(fā)生差錯的比特數(shù)所占的比例（平均值）。在二進(jìn)制傳輸系統(tǒng)中，碼元差錯率就是比特差錯率。

9、碼組差錯率：指在傳輸?shù)拇a組總數(shù)中發(fā)生差錯的碼組數(shù)所占的比例（平均值）。根據(jù)不同的應(yīng)用場合對差錯率有不同的要求。在電報傳送時，允許的比特差錯率約為10-410-5；計算機(jī)數(shù)據(jù)傳輸，一般要求比特差錯率小于10-810-9；在遙控指令和武器系統(tǒng)的指令系統(tǒng)中，要求有更小的誤比特率或碼組差錯率。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用6.1信道編碼的概念第六章信道編碼可靠性可靠性是衡量傳輸系統(tǒng)質(zhì)量的一項重要指標(biāo)，工程中經(jīng)常用平均無故障間隔時間來衡量。在數(shù)字通信系統(tǒng)中信息傳輸/存儲所遇到的最主要的問題是在傳輸過程中出現(xiàn)差錯的問題，也就是傳輸可靠性的問題。在傳輸過程中產(chǎn)生不同差錯的主要原因：不同的傳

10、輸系統(tǒng)有不同的性能；在傳輸過程中干擾不同。不同的用戶或不同的傳輸系統(tǒng)對差錯率的要求不同。有兩種途徑降低誤碼率以滿足系統(tǒng)要求：降低信道(調(diào)制解調(diào)器/傳輸媒介)本身引起的誤碼率；采用信道編碼，在數(shù)字通信系統(tǒng)中增加差錯控制設(shè)備。6.1信道編碼的概念6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用第六章信道編碼降低信道引起誤碼率的主要方法選擇合適的傳輸線路：如有線線路中，電纜線路優(yōu)于明線線路，光纜優(yōu)于電纜；改進(jìn)傳輸線路的傳輸特性或增加發(fā)送信號功率：如進(jìn)行相位均衡和幅度均衡以改進(jìn)線路的群延時特性和幅頻特性，增加中繼放大器。在無線信道中，可以增加發(fā)射機(jī)功率、利用高增益天線、低噪聲放大器等方法改善信道；選用

11、潛在抗干擾性較強(qiáng)的調(diào)制解調(diào)方案。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用6.1信道編碼的概念第六章信道編碼(3) 采用信道編碼的數(shù)字通信系統(tǒng)在某些情況下，信道的改善可能較困難或者不經(jīng)濟(jì)，這就要求采用信道編碼，以便滿足系統(tǒng)差錯率的技術(shù)指標(biāo)要求。信道編碼為系統(tǒng)設(shè)計者提供了一個降低系統(tǒng)差錯率的措施。采用信道編碼后的數(shù)字通信系統(tǒng)可用圖6.1.2所示。6.1.1 信道編碼在數(shù)字通信系統(tǒng)中的地位和作用6.1信道編碼的概念信源編碼解調(diào)器信源圖6.1.2 有信道編碼的數(shù)字通信系統(tǒng)框圖調(diào)制器傳輸媒介信宿信源譯碼信道譯碼信道編碼第六章信道編碼(1) 編碼信道：是研究糾錯編碼和譯碼的一種模型。如圖6.1.3

12、所示。編碼信道無線通信中的發(fā)射機(jī)、天線、自由空間、接收機(jī)等的全體；有線通信中的如調(diào)制解調(diào)器、電纜等的全體；Internet 網(wǎng)的多個路由器、節(jié)點(diǎn)、電纜、底層協(xié)議等的全體；計算機(jī)的存儲器（如磁盤等）的全體。6.1信道編碼的概念6.1.2 信道編碼的基本思想和分類圖6.1.3 編碼信道信道譯碼信道編碼編碼信道消息碼字接收向量消息p(R / C ) = p( Ri i )第六章信道編碼二進(jìn)制信道：當(dāng)碼字 C 和接收向量 R 均由二元序列/向量表示時，稱編碼信道為二進(jìn)制信道。C=(C0,C1,Cn-1), Ci0,1R=(R0,R1,Rn-1), Ri0,1描述二進(jìn)制信道輸入輸出關(guān)系或噪聲干擾程度的是

13、轉(zhuǎn)移概率p(R/C)。無記憶二進(jìn)制信道：對任意的n都有則稱為無記憶二進(jìn)制信道。無記憶二進(jìn)制對稱信道/BSC/硬判決信道：無記憶二進(jìn)制信道的轉(zhuǎn)移概率又滿足 p(0/1)=p(1/0)=pb，稱為無記憶二進(jìn)制對稱信道。如圖6.1.4所示。6.1信道編碼的概念n 1i =0/ C6.1.2 信道編碼的基本思想和分類第六章信道編碼只要噪聲是白噪聲，大多數(shù)二進(jìn)制傳輸信道的模型都可以等效為一個BSC信道。二進(jìn)制編碼信道模型：R =C+E (mod 2)E：隨機(jī)變量；差錯圖案：隨機(jī)序列(Ei)；稱E=(E0,E1,En-1)中Ei=1為第i位上的一個隨機(jī)錯誤；第i至第j位之間有很多錯誤時，稱為一個ji+1長

14、的突發(fā)錯誤。二進(jìn)制軟判決信道：無記憶編碼信道的每一個二元符號輸出可以用多個比特表示，理想情況下為實(shí)數(shù)，此時的無記憶二進(jìn)制信道稱為二進(jìn)制軟判決信道。6.1.2 信道編碼的基本思想和分類6.1信道編碼的概念第六章信道編碼硬判決和軟判決譯碼在差錯控制編碼方面的第一個量化的飛躍在于系統(tǒng)工程師意識到將解調(diào)和譯碼分離會帶來損失。差錯控制編碼理論的提出，最初是為了補(bǔ)償由解調(diào)器引進(jìn)的差錯。在這個思想指引下，解調(diào)器首先判斷調(diào)制器的輸入會是什么，然后將判決的結(jié)果輸入到譯碼器；然后使用已知的碼字結(jié)構(gòu)去判斷編碼器輸入端的碼字。這個過程稱之為“硬”判決譯碼；它并不是一個最佳的方法，因?yàn)閷τ诿看斡才袥Q，解調(diào)器都要丟失一些

15、可能會用到的信息，而且我們知道，不應(yīng)該在和這個信息有關(guān)的所有判決執(zhí)行之前，將信息過早地丟棄。6.1信道編碼的概念6.1.2 信道編碼的基本思想和分類第六章信道編碼硬判決和軟判決譯碼采用將編碼和調(diào)制結(jié)合的方法，解調(diào)器就不會將一些錯誤傳遞到譯碼器。解調(diào)器只是對各種符號進(jìn)行暫時的估計，通常被稱作“軟”判決，這樣就可以不丟失一些對于譯碼器來說有用的信息?！白罴选钡淖g碼器可以采用（最大后驗(yàn)概率）算法，將比特差錯率（）最小化。軟判決譯碼相對于硬判決譯碼，通常在性能上具有一定程度的改善。經(jīng)常引用的數(shù)字是，如果采用軟判決，信號的會相對于硬判決具有的優(yōu)勢。在進(jìn)行硬判決譯碼時，采用碼字間漢明距離最大化準(zhǔn)則；而對于

16、軟判決譯碼，則是幾何距離（歐式距離）最大化準(zhǔn)則。因此，軟判決譯碼時我們常說針對“信號空間”進(jìn)行譯碼。6.1信道編碼的概念6.1.2 信道編碼的基本思想和分類第六章信道編碼(2) 信道編碼的基本思想信道編碼的對象：是信源編碼器輸出的信息序列m。通常是二元符號1、0組成的序列。信道編碼的基本思想按一定規(guī)則給數(shù)字序列m增加一些多余的碼元，使不具有規(guī)律性的信息序列 m 變換為具有某種規(guī)律性的數(shù)碼序列 C；碼序列中的信息序列碼元與多余碼元之間是相關(guān)的；信道譯碼器利用這種預(yù)知的 編碼規(guī)則譯碼。檢驗(yàn)接收到的數(shù)字序列 R 是否符合既定的 規(guī)則，從而發(fā)現(xiàn) R 中是否有錯，或者糾正其中的差錯；根據(jù)相關(guān)性來檢測/發(fā)

17、現(xiàn)和糾正傳輸過程中產(chǎn)生的差錯就是信道編碼的基本思想。6.1信道編碼的概念6.1.2 信道編碼的基本思想和分類第六章信道編碼碼元的組成及其它們之間的關(guān)系信息碼組：數(shù)字序列 m 總是以 k 個碼元為一組傳輸，稱這k 個碼元的碼組為信息碼組。例如遙控系統(tǒng)中的每個指令字，計算機(jī)中的每個字節(jié)。碼組/碼字：信道編碼器按一定的規(guī)則對每個信息碼組附加一些多余的碼元，構(gòu)成了 n 個碼元的碼組。碼組的 n 個碼元之間是相關(guān)的，附加的 (nk) 個多余碼元為何種符號序列與待編碼的信息碼組有關(guān)。監(jiān)督碼元/監(jiān)督元：附加的 (nk) 個碼元稱為該碼組的監(jiān)督碼元或監(jiān)督元。6.1.2 信道編碼的基本思想和分類6.1信道編碼的

18、概念第六章信道編碼可靠性與帶寬、速度的關(guān)系從信息傳輸?shù)慕嵌?，監(jiān)督元不載有任何信息，所以是多余的。這種多余度使碼字具有一定的糾錯和檢錯能力，提高了傳輸?shù)目煽啃裕档土苏`碼率；如果要求信息傳輸速度不變，在附加了監(jiān)督元后必須減小碼組中每個碼元符號的持續(xù)時間，對二進(jìn)制碼，就是要減小脈沖寬；若編碼前每個碼脈沖的歸一化寬度為1，則編碼后的歸一化寬度為 k/n (kn,k/n pb(1pb)n 1 pbt(1pb)n-t pbn總認(rèn)為發(fā)生差錯的圖案是差錯數(shù)目較少的圖案，當(dāng)接收到重復(fù)碼的接收序列 R 中“1”的個數(shù)少于一半時，認(rèn)為發(fā)送的是C0，否則認(rèn)為是 C1。圖6.1.7所示糾1個任意差錯的3重復(fù)碼。6.1

19、信道編碼的概念6.1.3 檢錯與糾錯原理第六章信道編碼6.1.3 檢錯與糾錯原理6.1信道編碼的概念第六章信道編碼(4) 等重碼/定比碼設(shè)計碼字中的非0符號個數(shù)恒為常數(shù)，即 C 由全體重量恒等于 m 的 n 重向量組成（等重碼） /非0符號與0符號的比例是固定的（定比碼）等重碼可以檢測出全部奇數(shù)位差錯，對某些碼字的傳輸則可以檢測出部分偶數(shù)位差錯。定比碼有很好的檢錯能力，由于監(jiān)督位數(shù)多，因此其效率比奇偶校驗(yàn)碼低。但它的應(yīng)用很廣，因?yàn)樗鼈兊拇蟛糠衷O(shè)備都可以與不編碼的五單位和其單位電報系統(tǒng)通用。如5/3,7/3定比碼。6.1信道編碼的概念6.1.3 檢錯與糾錯原理2006/12/534第六章信道編碼

20、(1) 差錯控制的基本方式前向糾錯(FEC)：發(fā)送端的信道編碼器將信息碼組編成具有一定糾錯能力的碼。接收端信道譯碼器對接收碼字進(jìn)行譯碼，若傳輸中產(chǎn)生的差錯數(shù)目在碼的糾錯能力之內(nèi)時，譯碼器對差錯進(jìn)行定位并加以糾正。自動請求重發(fā)(ARQ)：用于檢測的糾錯碼在譯碼器輸出端只給出當(dāng)前碼字傳輸是否可能出錯的指示，當(dāng)有錯時按某種協(xié)議通過一個反向信道請求發(fā)送端重傳已發(fā)送的碼字全部或部分?；旌霞m錯(HEC)：是FEC與ARQ方式的結(jié)合。發(fā)端發(fā)送同時具有自動糾錯和檢測能力的碼組，收端收到碼組后，檢查差錯情況，如果差錯在碼的糾錯能力以內(nèi)，則自動進(jìn)行糾正。如果信道干擾很嚴(yán)重，錯誤很多，超過了碼的糾錯能力，但能檢測出

21、來，則經(jīng)反饋信道請求發(fā)端重發(fā)這組數(shù)據(jù)。6.1信道編碼的概念6.1.4 差錯控制的基本方式和能力第六章信道編碼信息反饋(IRQ)：也稱回程校驗(yàn)方式。收端把收到的數(shù)據(jù)，原封不動地通過反饋信道送回到發(fā)端，發(fā)端比較發(fā)的數(shù)據(jù)與反饋來的數(shù)據(jù)，從而發(fā)現(xiàn)錯誤，并且把錯誤的消息再次傳送，直到發(fā)端沒有發(fā)現(xiàn)錯誤為止。6.1信道編碼的概念6.1.4 差錯控制的基本方式和能力6.1.4 差錯控制的基本方式和能力兩個碼字中相應(yīng)碼元取不同數(shù)值的碼元數(shù)。兩個碼字中相應(yīng)碼元取不同數(shù)值的碼元數(shù)。 漢明距離（碼距）漢明距離（碼距）漢明距離（碼距）漢明距離（碼距）=1011010111010011例例 6.1.4 差錯控制的基本方式

22、和能力 最小最小漢明距離（最小碼距）漢明距離（最小碼距）同一碼所有漢明距離中最小的一個。同一碼所有漢明距離中最小的一個。例例（4，3）偶校驗(yàn)碼）偶校驗(yàn)碼10010000001111001010111101010110最小漢明距離（最小碼距）最小漢明距離（最小碼距）=6.1.4 差錯控制的基本方式和能力檢錯和糾錯能力檢錯和糾錯能力1檢錯檢錯l dmin-12糾錯糾錯t （dmin-1）/23l+t= dmin-1, tl最小漢明距離最小漢明距離 （最小碼距（最小碼距d d）：任意兩碼）：任意兩碼字之間的漢明距離的最小值字之間的漢明距離的最小值 mind第六章信道編碼(2) 最大似然譯碼譯碼過程由圖6.1.2可見：譯碼器接收到一個接收碼字 R 后，按編碼規(guī)則對