信息理論與編碼基礎(chǔ)復(fù)習(xí)題

信息理論與編碼基礎(chǔ)復(fù)習(xí)題1.從通信的實(shí)質(zhì)意義來(lái)講，如果信宿收到的消息是已知的，則等于沒(méi)有收到任何消息。2,當(dāng)一個(gè)信源中所有的符號(hào)消息為等概時(shí)，該信源的嫡最大。.即時(shí)碼一定是單義可譯碼。.不使用間隔即可區(qū)分碼字，就必然要求碼字具有惟一性。.噪聲嫡為0的信道稱(chēng)為確定信道。#000000#99CC00#999933#993333.從通信的實(shí)質(zhì)意義來(lái)講，人們對(duì)消息中所包含的未知成分更感興趣，用概率論的術(shù)語(yǔ)來(lái)說(shuō)，就是具有不確定性的成分。.當(dāng)兩個(gè)集合相互獨(dú)立時(shí)，它們的共嫡最大。.等長(zhǎng)碼都是即時(shí)碼。.無(wú)記憶離散信源發(fā)生的各個(gè)消息符號(hào)是相互獨(dú)立的，印信源發(fā)生的符號(hào)序列中的各個(gè)符號(hào)之間沒(méi)有關(guān)聯(lián)性，各個(gè)符號(hào)的由現(xiàn)概率統(tǒng)計(jì)獨(dú)立。.定長(zhǎng)非奇異碼肯定是惟一可譯碼。.消息中未知的或不確定的成分，通常被稱(chēng)為消息中所包含的信息，而消息的傳遞需要由信號(hào)來(lái)載荷。.代碼組集合中的所有代碼組都包含相同個(gè)數(shù)的碼元的編碼稱(chēng)為等長(zhǎng)碼。.信源編碼器的主要任務(wù)是完成輸入消息集合與輸生代碼集合之間的映射。.譯碼時(shí)不需要考察后續(xù)碼元，稱(chēng)之為即時(shí)碼。.在即時(shí)碼中，任何一個(gè)碼字都不是其他碼字的延長(zhǎng)。.通信系統(tǒng)的任務(wù)是將信源的消息有效可靠地傳送到信宿。.在通信系統(tǒng)中，人們習(xí)慣于將通信分為數(shù)字通信和模擬通信，其實(shí)質(zhì)亦是根據(jù)信源消息是數(shù)字還是模擬來(lái)劃分的。.信源能夠用隨機(jī)過(guò)程來(lái)建模，從描述信源消息的隨機(jī)過(guò)程的平穩(wěn)性角度，信源可以分為平穩(wěn)信源和非平穩(wěn)信源，也可以按隨機(jī)過(guò)程的類(lèi)別將其分為高斯信源和馬爾可夫信源等。.文本信源和語(yǔ)音信源都是針對(duì)人類(lèi)語(yǔ)言、文字、聲樂(lè)等感知的，又通稱(chēng)為自然語(yǔ)信源。.若信源發(fā)生的消息是由K個(gè)離散符號(hào)構(gòu)成的符號(hào)序列，且各個(gè)消息相互統(tǒng)計(jì)獨(dú)立，則稱(chēng)這種信源為發(fā)生符號(hào)序列消息離散無(wú)記憶信源。.若單符號(hào)離散無(wú)記憶信源的信源空間為[X?H,對(duì)其進(jìn)行K重?cái)U(kuò)展得到符號(hào)序列X=XX2,X,則稱(chēng)擴(kuò)展后的信源為離散無(wú)記憶信源[X?H的K重?cái)U(kuò)展信源，記為XK。.研究信源最主要的目的是為信源編碼服務(wù)。.當(dāng)信息量單位用比特、時(shí)間單位為秒時(shí)，信息傳輸速率的量綱為比特/秒..對(duì)信源的分類(lèi)可以有多種方法，主要基于兩方面的考慮。一是信源消息取值的集合以及消息取值時(shí)刻的集合；二是信源消息的統(tǒng)計(jì)特性。.信道是傳遞消息的通道，廣義上是指從信源到信宿間傳遞物理信號(hào)的媒質(zhì)和設(shè)施。.從信息傳輸?shù)慕嵌葋?lái)講，研究信源主要是研究其輸生的消息，簡(jiǎn)稱(chēng)信源消息。.信源消息中的信息是一個(gè)時(shí)變的不可預(yù)知的函數(shù)，因此，描述信源消息或?qū)π旁唇?，隨機(jī)過(guò)程是一個(gè)有效的工具。.根據(jù)人們對(duì)信源消息的感知情況將其分為數(shù)據(jù)信源、文本信源、語(yǔ)音信源、圖像信源等。.若信源發(fā)生N個(gè)不同符號(hào)Xi,X2,,,Xi,,,Xn,分別代表N種不同的消息，各個(gè)符號(hào)的概率分別為Pi,,,P,,,R且相互統(tǒng)計(jì)獨(dú)立，則稱(chēng)這種信源為單符號(hào)消息離散無(wú)記憶信源。.若信源發(fā)生的消息是由K個(gè)離散符號(hào)構(gòu)成的符號(hào)序列，且各個(gè)消息相互統(tǒng)計(jì)相關(guān)，則稱(chēng)這種信源為發(fā)生符號(hào)序列消息離散有記憶信源。.信源編碼的目標(biāo)是用盡可能少的碼元符號(hào)或盡可能低的數(shù)據(jù)速率來(lái)表示信源消息。.當(dāng)信息量單位用比特、時(shí)間單位為碼元（或符號(hào)或符號(hào)序列等）所占用的時(shí)間時(shí)，信息傳輸速率的量綱為比特/碼元（或比特/符號(hào)、比特/符號(hào)序列等）；.離散有記憶信源發(fā)生的各個(gè)消息符號(hào)是相互關(guān)聯(lián)的，其記憶性或關(guān)聯(lián)性通常有兩種方式來(lái)描述。一是用其聯(lián)合概率來(lái)表示，這就是發(fā)生符號(hào)序列的離散有記憶信源；二是用其條件概率來(lái)表示，這就是發(fā)生符號(hào)序列的馬爾可夫信源。.為了理解怎樣的信源編碼才是好的或者說(shuō)是有效的，首先要能夠?qū)π旁磪?shù)進(jìn)行測(cè)量。.最佳編碼是無(wú)失真信源編碼的理想模式。為了達(dá)到這個(gè)目的，通常需要遵循下面兩個(gè)原則：（1）對(duì)信源中由現(xiàn)概率大的消息（或符號(hào)），盡可能用短的代碼組（碼字）來(lái)表示，簡(jiǎn)稱(chēng)短碼，反之用長(zhǎng)碼。（2）不使用間隔即可區(qū)分碼字。.代碼組集合中各代碼組所包含的碼元個(gè)數(shù)不相同的編碼稱(chēng)為變長(zhǎng)碼。.碼字含義的惟一性又稱(chēng)為單義可譯性，這樣的碼字稱(chēng)為單義可譯碼。.譯碼時(shí)要接收多于一個(gè)碼字所包含的碼元才能決定的信源編碼，稱(chēng)為非即時(shí)碼。.若在兩個(gè)代碼組之間使用間隔，就會(huì)減小信源的信息傳輸速率，進(jìn)而降低編碼效率。.非即時(shí)碼也可能是單義可譯碼，這說(shuō)明單義可譯碼不一定是即時(shí)碼。.冗余度是衡量信源編碼效率的一個(gè)物理量，冗余度越低，編碼效率就越高。.信源編碼器輸由代碼組的信息傳輸速率與信道容量之比，稱(chēng)為信源編碼器的編碼效率。即t]=R/CX100%,當(dāng)R=C時(shí)，n=100%這是信源編碼的最理想特性，這樣的信源編碼能最充分地利用信道；當(dāng)R<C時(shí)，刀<100%說(shuō)明這樣的信源編碼還沒(méi)有最充分地利用信道，具有進(jìn)一步改進(jìn)的潛力；當(dāng)R>C時(shí)，刀>100%說(shuō)明信源編碼輸由的信息速率超過(guò)了信道的傳輸能力，這樣必然會(huì)產(chǎn)生失真。.信息含量效率越高，信源的冗余度越低。.關(guān)于兩個(gè)獨(dú)立信道Q1、Q2串聯(lián)，（X信道Q1的輸入；Y信道Q1的輸由，也是信道Q2的輸入；Z信道Q2的輸由。）數(shù)據(jù)處理過(guò)程中，隨著數(shù)據(jù)的不斷處理，從處理后的數(shù)據(jù)中所得的原始信息會(huì)愈來(lái)愈少；串聯(lián)信道的轉(zhuǎn)移概率矩陣是各單元信道的轉(zhuǎn)移概率矩陣之積；xYzrn成一個(gè)馬爾可夫鏈。.關(guān)于變長(zhǎng)編碼，無(wú)失真r進(jìn)制變長(zhǎng)碼碼長(zhǎng)不得低于信源r進(jìn)制符號(hào)嫡；變長(zhǎng)編碼時(shí)，隨著信源序列長(zhǎng)度N的增大，編碼效率提高；變長(zhǎng)碼的編碼效率高于定46石空于無(wú)失真信源編碼，有效的信源編碼可使輸出碼元概率均勻化；霍夫曼編碼過(guò)程中，可能造成碼字不惟一，但平均碼長(zhǎng)是相同的，因而編碼效率是相同；香農(nóng)編碼不能保證碼字具有非續(xù)長(zhǎng)性O(shè)47.48.確讓47.48.確讓唾?gòu)?fù)N次”是定長(zhǎng)碼采用擇多譯碼策略；能減低平均差錯(cuò)率.引入限失真編碼不是因?yàn)樘峁┬旁吹男畔⒙?給定Xi條件下隨機(jī)事件V」所包含的不確定度和條件自信息量p（y」/xi）,數(shù)量上相等，單位相同。.信息是集合之間的變異度屬于從隨機(jī)不確定性的角度來(lái)定義信息。.信源編碼不屬于狹義信息論。I（xi；y」）不滿(mǎn)足非負(fù)性。.關(guān)于定長(zhǎng)編碼，引入失真不可能提高定長(zhǎng)碼的編碼效率是不正確的。.{0,10,11}可能是任何概率分布對(duì)應(yīng)的Huffman.算術(shù)編碼的碼長(zhǎng)與該序列的累計(jì)概率有關(guān)B.Huffman碼無(wú)法對(duì)只含2個(gè)符號(hào)的信源進(jìn)行壓縮是不正確的。.應(yīng)用極大似然譯碼規(guī)則總可以確定譯碼的平均差錯(cuò)率是不正確的。.對(duì)信源U的2元符號(hào)串進(jìn)行編碼，取碼長(zhǎng)為3=N,則信息率R=2/3。.率失真函數(shù)體現(xiàn)平均互信息的上凸性是不正確的.糾錯(cuò)編碼中，減小帶寬不能減小差錯(cuò)概率。.本體論是最高層次的信息.信息的亡生丕屬于信息論電班究?jī)?nèi)容。--『.M蟒馬爾南夫信源的極限嫡竄于m+1階條件嫡是不正確的。.信道容量：消息在不失真?zhèn)鬏數(shù)臈l件下，信道所允許的最大信息傳輸速率稱(chēng)為信道容量。.最佳信源編碼：具有最短的代碼組平均長(zhǎng)度或編碼效率接近于1的信源編碼稱(chēng)為最佳信源編碼，簡(jiǎn)稱(chēng)最佳編碼。.信源：消息的源，通常是提供消息的人、設(shè)備或事物.單符號(hào)離散信源：如果信源發(fā)生的消息是離散的、有限或無(wú)限可列的符號(hào)或數(shù)字，且一個(gè)符號(hào)代表一條完整的消息，則稱(chēng)這種信源為單符號(hào)離散信源。.信源冗余度：設(shè)信源實(shí)際的嫡為H,該種信源可能的最大嫡為fax,則R=(H^rH)/HmaxX100%為信源的冗余度。.信源編碼器編碼效率：信源編碼器輸由代碼組的信息傳輸速率與信道容量之比，稱(chēng)為信源編碼器的編碼效率，即n=R/CX100%.單義可譯碼：對(duì)任何一個(gè)有限長(zhǎng)度的信源消息序列，如果編碼得到的碼字序列不與其他任何信源消息序列所對(duì)應(yīng)的碼字序列相同，則稱(chēng)這樣的碼為單義可譯碼。1.信宿：消息傳遞的對(duì)象，通常是接收消息的人、設(shè)備或事物；.信源空間：若信源的輸由是隨機(jī)事件X,其由現(xiàn)概率為P(X),則它們所構(gòu)成的集合，稱(chēng)為信源的概率空間，簡(jiǎn)稱(chēng)為信源空間。.信息率：對(duì)于信源編碼器的輸由序列，其單位時(shí)間內(nèi)所包含的信息量稱(chēng)為信源編碼器的信息傳輸速率，簡(jiǎn)稱(chēng)信息率。.通信中的信息、消息和信號(hào)三者之間的關(guān)系？通信中的信息、消息和信號(hào)是緊密相聯(lián)的：通信系統(tǒng)傳輸?shù)氖切盘?hào)，信號(hào)是消息的載體，消息中的未知成分是信息。.消息通常具有如下特征：(1)消息可以產(chǎn)生、傳遞和獲取；(2)消息是有內(nèi)容的。.信息具有的特征：(1)未知性或不確定性；(2)由不知到知等效為不確定性的集合的元素的減少；(3)可以度量；(4)可以產(chǎn)生、消失，可以被攜帶、存儲(chǔ)、處理；(5)可以產(chǎn)生動(dòng)作。.對(duì)于二進(jìn)制信源的各種信源空間，當(dāng)P(0)、P(1)在什么情況下得到的I(X；Y)就是I(X；Y)max?對(duì)于二進(jìn)制信源的各種信源空間，當(dāng)P(0)=P(1)=1/2時(shí)，對(duì)應(yīng)于二進(jìn)制對(duì)稱(chēng)信道的平均互信息量為最大，得到的I(X;Y)就是I(X;Y)max。.數(shù)字通信中可靠性的含義，在通信系統(tǒng)中哪個(gè)環(huán)節(jié)解決這個(gè)問(wèn)題：直觀(guān)地理解，可靠性表明消息傳輸中不由錯(cuò)的程度。對(duì)于數(shù)字通信來(lái)說(shuō)，信道編碼的主要任務(wù)就是解決這個(gè)問(wèn)題。從傳輸?shù)慕嵌瓤紤]，它可以用消息由錯(cuò)概率的大小來(lái)表征。.香農(nóng)信息論主要是圍繞通信的有效性和可靠性而展開(kāi)的，它主要解決的問(wèn)題：(1)圍繞信息的度量所展開(kāi)的討論；(2)圍繞無(wú)失真信源編碼所展開(kāi)的討論；(3)基于信息傳輸時(shí)允許一定程度的失真或差錯(cuò)所展開(kāi)的討論；(4)圍繞信道編碼所展開(kāi)的討論；(5)圍繞帶限信道傳輸信息的能力所展開(kāi)的討論；(6)圍繞通信網(wǎng)的發(fā)展帶來(lái)的信息傳輸問(wèn)題所展開(kāi)的討論；(7)圍繞通信的保密所展開(kāi)的討論。.請(qǐng)簡(jiǎn)述自信息量I(Xi)的定義并說(shuō)明它的合理性：事件Xi的由現(xiàn)概率為P(Xi),其所帶來(lái)的信息量：,，、，1I(Xi)=loga=-logaP(x)P(x)為事件Xi的自信息量。合理性：若信源中事件Xi的概率為p(Xi),它的由現(xiàn)所帶來(lái)的信息量用I(Xi)來(lái)表示并稱(chēng)之為事件Xi的自信息量，則從上述分析可知，I(Xi)必須滿(mǎn)足以下幾個(gè)條件：1)信源輸由Xi所包含的信息量?jī)H依賴(lài)于它的概率，而與它的取值無(wú)關(guān)。I(x)是p(x)的連續(xù)函數(shù)。I(Xi)是p(Xi)的減函數(shù),即：如果P(Xi)>P(為),則I(Xi)<I(Xj)極限情況，若P（xi）=0,則1（為）-00；若P（x）=1,則I（Xj）=0o4）若兩個(gè)單符號(hào)離散信源（符號(hào)集合X,Y）統(tǒng)計(jì)獨(dú)立，則X中由現(xiàn)xi、Y中由現(xiàn)yj的聯(lián)合信息量I（x㈠Yj）=I（Xi）+I（yj）o80.信源編碼的主要目的？（1）把信源發(fā)生的消息一一對(duì)應(yīng)地變換成由信道基本符號(hào)構(gòu)成的代碼組，以使得消息能在編碼信道上傳輸；（2）盡量減小代碼組的平均長(zhǎng)度，以提高信道傳輸消息的有效性，即提高編碼效率。.數(shù)字通信中有效性的含義，在通信系統(tǒng)中哪個(gè)環(huán)節(jié)解決這個(gè)問(wèn)題：直觀(guān)地理解，有效性表明信源消息中“有用消息”占有的程度。對(duì)于數(shù)字通信來(lái)說(shuō)，信源編碼的主要任務(wù)就是解決這個(gè)問(wèn)題。從傳輸?shù)慕嵌瓤紤]，它可以用單位時(shí)間內(nèi)傳輸有用消息的多少來(lái)表征。.信息理論要解決的基本問(wèn)題：（1）什么是信息，如何度量；（2）能否最有效且無(wú)失真地表述待傳輸?shù)男畔ⅲ考赐ㄐ庞行缘臉O限條件是什么；（3）在允許一定失真的條件下，待傳輸信息的表述能否比無(wú)失真要求時(shí)更有效？如果有，這種“更有效”的極限條件是什么；（4）在給定的信道中，信息傳輸有沒(méi)有極限；（5）從存在噪聲或干擾的實(shí)際環(huán)境中提取通信系統(tǒng)傳輸?shù)男畔?，極限條件是什么；（6）設(shè)計(jì)什么樣的系統(tǒng)能夠達(dá)到上述極限；（7）現(xiàn)實(shí)中接近上述極限的設(shè)備是否存在；.請(qǐng)用語(yǔ)言敘述信息嫡的定義：若信源符號(hào)xi（i=1,2,,,N)的由現(xiàn)^率為P(xi),其自信息量為I(Xi),則該信源各個(gè)不同符號(hào)Xi所包含的自信息量I(Xi)在信源空間P(X)=｛Rxi),P(X2),,,P(Xi),,,Rxn)｝中的統(tǒng)計(jì)平均值，即NH(X)="P(x)I(x)八P(x)I(X[)=，P(X)logP(X)i4XX稱(chēng)為信源的信息嫡，簡(jiǎn)稱(chēng)信源嫡。其中，定義0lb0=0o.對(duì)信源編碼的基本要求？(1)選擇合適的信道基本符號(hào)，以使映射后的代碼適應(yīng)信道。(2)尋求一種方法，把信源發(fā)由的消息變換成相應(yīng)的代碼組。這種方法就是編碼，變換成的代碼就是碼字。(3)編碼應(yīng)使消息集合與代碼組集合中的元素一一對(duì)應(yīng)。.簡(jiǎn)單敘述香農(nóng)第二定理：對(duì)于有噪信道的信道編碼，若R<C則存在某種編碼可以使傳輸錯(cuò)誤概率任意小；反之，若R>C,則不存在可以使傳輸錯(cuò)誤概率任意小的編碼。.對(duì)于對(duì)稱(chēng)信道，當(dāng)信源的符號(hào)消息概率怎么分布時(shí)，輸出隨機(jī)變量集合提供的信息量等于信道容量C?對(duì)于對(duì)稱(chēng)信道，當(dāng)且僅當(dāng)信源的符號(hào)消息等概分布時(shí)，任何一個(gè)輸入符號(hào)Xi對(duì)輸由隨機(jī)變量集合Y提供的信息量相等，且等于信道容量Co.簡(jiǎn)單敘述香農(nóng)第一定理：設(shè)離散無(wú)記憶信源X包含N個(gè)符號(hào)｛x1,x2,,,xi,,,xN｝，信源發(fā)生K重符號(hào)序列，則此信源可發(fā)生NK個(gè)不同的符號(hào)序列消息，其中第j個(gè)符號(hào)序列消息的由現(xiàn)概率為，其信源編碼后所得的二進(jìn)制代碼組長(zhǎng)度為Bj,代碼組的平均長(zhǎng)度為人色A當(dāng)K趨于無(wú)限大時(shí)，和H(X)之間的關(guān)系為lim-=H(X).香農(nóng)第一定理，又稱(chēng)為無(wú)失真信源編碼定理或變長(zhǎng)碼信源編碼定理。定理指由，要做到無(wú)失真的信源編碼，編碼后信源符號(hào)平均長(zhǎng)度將不能小于信源嫡，其極限情況是信源的嫡值；若編碼的平均碼長(zhǎng)小于信源的嫡值，則單義可譯碼不存在，在譯碼或反變換時(shí)必然帶來(lái)失真或差錯(cuò)。.香農(nóng)第一定理表明，在無(wú)失真信源編碼中，采用擴(kuò)展信源的手段，雖然可以減少每一信源符號(hào)所需要的平均碼符號(hào)數(shù)，使編碼的有效性有所提高，但無(wú)論怎樣擴(kuò)展，無(wú)失真信源編碼的結(jié)果，在無(wú)噪離散信道中傳輸?shù)挠行允怯幸欢ㄏ薅鹊?，具極限值就是信源嫡。當(dāng)信息傳輸速率等于信道容量C時(shí)，編碼效率達(dá)到最高，亦即信息傳輸?shù)挠行宰罡摺２](méi)有給由怎樣來(lái)實(shí)現(xiàn)這樣的編碼，所以說(shuō)香農(nóng)第一定理是一個(gè)存在性定理。.在一般的信息傳輸系統(tǒng)中，信宿將收到的消息yj根據(jù)某種規(guī)則判決為對(duì)應(yīng)于信源符號(hào)消息集合中的某一個(gè)Xi,這個(gè)判決的過(guò)程稱(chēng)為接收譯碼，簡(jiǎn)稱(chēng)譯碼，譯碼時(shí)所用的規(guī)則稱(chēng)為譯碼準(zhǔn)則。.信源編碼要解決的主要矛盾是信息傳輸?shù)挠行裕P(guān)心的是編碼效率，追求的是平均長(zhǎng)度最短的最佳編碼，采用的方法通常是盡量壓縮信源中的冗余度。但由于最佳編碼的碼字中冗余度已經(jīng)極小，如果在傳輸中發(fā)生了錯(cuò)誤，就會(huì)發(fā)生張冠李戴的現(xiàn)象。實(shí)際的通信信道免不了總會(huì)存在干擾和噪聲，為尋求通信的可靠性，有必要研究專(zhuān)門(mén)針對(duì)通信可靠性的編碼，這就是信道編碼。.香農(nóng)第二定理告訴人們，對(duì)于有噪信道，只要信道編碼采取足夠的碼長(zhǎng)N,總存在某種編碼方式，能使其傳輸錯(cuò)誤概率任意小，且信道上的信息傳輸速率可以無(wú)限接近于信道容量，即在有噪信道中消息是可以可靠地傳輸?shù)模@對(duì)于設(shè)計(jì)實(shí)際的通信系統(tǒng)具有十分重要的意義。.設(shè)由一離散無(wú)記憶信源X：ai,a2,a3P(X):1/2,1/4,1/4構(gòu)成二重?cái)U(kuò)展信源X2,求該擴(kuò)展信源的嫡hx2)。解二重?cái)U(kuò)展，即擴(kuò)展信源的每個(gè)符號(hào)序列由給定信源中的2個(gè)符號(hào)組成，因此符號(hào)序列共有32=9種，分別是aa(i,j=1,2,3),不妨將它們看作新的信源符號(hào)，因此擴(kuò)展信源又可以看作是共有9個(gè)“單符號(hào)”的離散無(wú)記憶信源。NK[-xPlbp]i1

由式HXK)=KH(X)=3H(X2)二一"P(aiaj)lbP(aaj)i,jW有問(wèn)題轉(zhuǎn)化到求aa的聯(lián)合概率，因?yàn)閍、a統(tǒng)計(jì)獨(dú)立，故Raa戶(hù)Ra)Ra)。略去其計(jì)算過(guò)程，得H[X2)=3比特/符號(hào)序列而擴(kuò)展前信源X的嫡為3H(X)=—￡P(guān)(a)logP(ai)=1.5比特/符號(hào)i1且有HX2)=2HX)94.已知某單符號(hào)離散信源的概率空間為X:P(XX:P(X):a11136a249a314該信源發(fā)生的消息均為二重符號(hào)序列aaj),(i、j=1,2,3),兩個(gè)符號(hào)的關(guān)聯(lián)性用條件概率Ra/aj)表示，如表3.2所示，求HX2)。表3.2給由的條件概率aiaaia2a3ai9/112/110a21/83/41/8a302/97/9解由表3.2有33H(X2)--…P(aaj)lbP(aaj)i4j=4由Raa戶(hù)Ra)Ra/ai),可求由9個(gè)聯(lián)合概率P(aiai)=P(ai)P(ai/ai)=(11/36)(9/11)=1/4RaaARai)P(a/ai)=(11/36)(2/11)=1/18P(a3a3)=P(a3)P(a3/a3)=(1/4)(7/9)=7/36略去其計(jì)算過(guò)程，得H(X2)=2.412比特/符號(hào)序列也可以由原信源嫡和條件嫡來(lái)求擴(kuò)展后的嫡，有h(x>=_自pg±}ibpg)=L5d2(比特『符號(hào))1-]33=—紀(jì)工尸(叼力也尸包血心。870《比特/符號(hào))1-1.j-iH(X)+H(X2/X1)=2.412(比特/符號(hào)序列).一信源X(x1,x2,x3,x4)經(jīng)編碼后得碼字集合S(1,01,001,0001)且對(duì)應(yīng)?，F(xiàn)接收到碼元序列為101110001001101011,試寫(xiě)由譯碼結(jié)果解該編碼規(guī)則為：x1-1,x2-01,x3—001,x4—001,每一碼字均以1結(jié)尾，見(jiàn)1即可譯碼。對(duì)所接收序列的譯碼結(jié)果為x1,x2,x1,x1,x4,x3,,.一信源X(x1,x2,x3,x4),經(jīng)編碼后得到碼字集合S(1,10,100,1000)且對(duì)應(yīng)，現(xiàn)收到碼序列10010111000110011010,試給由譯碼結(jié)果。解該編碼規(guī)則為：x1-1,x2-10,x3—100,x4