信息論實(shí)驗(yàn)指導(dǎo)書

1、信息論與編碼實(shí)驗(yàn)指導(dǎo)書任課教師：劉亞榮桂林理工大學(xué)電計(jì)系1Matlab基礎(chǔ)：1、變量不需指定類型，拿來就用；變量區(qū)分大小寫2、向量定義： x=1/2, 1/4, y=(0:360)*pi/180;向量的轉(zhuǎn)置x（列向量）3、 .* ./ .運(yùn)算，逐個(gè)元素進(jìn)行運(yùn)算。例x1=1/2,1/4,1/4, x2=2,4,4， 則x1*x2有定義（逐元素相乘=1,1,1）a=3 顯示出a=3。5、畫圖命令plot(x,y); x（向量）是一系列坐標(biāo)， y（向量）是一系列值。6、求和：sum(), 求積分：求微分：符號(hào)微分diff(f)求f對(duì)自由變量的一階微分diff(f,v) 求f對(duì)符號(hào)變量v的一階微分di

2、ff(f,v,n)求f對(duì)符號(hào)變量v求n階微分符號(hào)積分int(f,v) 求表達(dá)式f的對(duì)符號(hào)變量v的不定積分int(f,v,a,b) 求表達(dá)式f的對(duì)符號(hào)變量v的在(a,b)范圍內(nèi)定積分7 M函數(shù)文件的基本結(jié)構(gòu)函數(shù)文件由function語句引導(dǎo)，其基本結(jié)構(gòu)為：function 輸出形參表=函數(shù)名(輸入形參表)注釋說明部分函數(shù)體語句說明：(1)關(guān)于函數(shù)文件名: 函數(shù)文件名與函數(shù)名也可以不相同。當(dāng)兩者不同時(shí)，MATLAB將忽略函數(shù)名而確認(rèn)函數(shù)文件名，因此調(diào)用時(shí)使用函數(shù)文件名。(2)關(guān)于注釋說明部分。注釋說明包括三部分內(nèi)容：緊隨函數(shù)文件引導(dǎo)行之后以%開頭的第一釋行。(3)關(guān)于return語句。執(zhí)行到該語句

3、就結(jié)束函數(shù)的執(zhí)行，程序流程轉(zhuǎn)至調(diào)用該函數(shù)的位置。通常，在函數(shù)文件中也可不使用return語句，這時(shí)在被調(diào)函數(shù)執(zhí)行完成后自動(dòng)返回。8顯示圖形y= xy2t=y=實(shí)驗(yàn)一：計(jì)算離散信源的熵一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?1、熟悉離散信源的特點(diǎn)；2、學(xué)習(xí)仿真離散信源的方法3、學(xué)習(xí)離散信源平均信息量的計(jì)算方法4、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容:1、寫出計(jì)算自信息量的Matlab 程序2、寫出計(jì)算離散信源平均信息量的Matlab 程序。3、掌握二元離散信源的最大信息量與概率的關(guān)系。4、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性并完成習(xí)題。四、實(shí)驗(yàn)報(bào)告要求簡要總結(jié)離散信源

4、的特點(diǎn)及離散信源平均信息量的計(jì)算 ,寫出習(xí)題的MATLAB實(shí)現(xiàn)語句。信息論基礎(chǔ)：自信息的計(jì)算公式1I(a)Matlab 實(shí)現(xiàn)： 或I=-log2(p)p2a熵（平均自信息）的計(jì)算公式 p p1qqH(x) p pii2i2ii1i1Matlab實(shí)現(xiàn)：HX=sum(-x.*log2(x) ；或者h(yuǎn)=h-x(i)*log2(x(i);習(xí)題：1. 甲地天氣預(yù)報(bào)構(gòu)成的信源空間為：3晴云大雨 小雨X 111818p(x),24乙地信源空間為：晴 小雨Y 718p(y),8求此兩個(gè)信源的熵。求各種天氣的自信息量。案：H(X) HY)2、某信息源的符號(hào)集由 A、B、C、D、E 組成，設(shè)每一符號(hào)獨(dú)立出現(xiàn)，其出

5、現(xiàn)的概率分別為，1/4，1/8，1/8，3/16，5/16，試求該信源符號(hào)的平均信息量。（答案：H(X) = 符號(hào)）3、設(shè)有四個(gè)消息分別以概率 傳送，每一消息的出現(xiàn)是相互H(X) =1.75bit/符號(hào)）4. 設(shè)一個(gè)二元信源（只有 0 和 1 兩種符號(hào)）其概率空間為： X0 p(x) p,1 p編程畫出 H 與 p 的關(guān)系，并說明當(dāng) P 呈什么分布時(shí)，平均信息量達(dá)到最大值。（說明：H=-p.*log2(p)-(1-p).log2(1-p);）實(shí)驗(yàn)二：驗(yàn)證熵的可加性與強(qiáng)可加性1. 【例 2.6】有一離散無記憶信源a a a2X13 1 1 1p(x), ,2 4 4驗(yàn)證二次擴(kuò)展信源X 的熵等于離

6、散信源X 的熵的 2 倍，即2H(X ) 2H(X)2答案：H(X)1.5;H(X ) 3.022. 驗(yàn)證兩個(gè)統(tǒng)計(jì)獨(dú)立的信源X,Y ，驗(yàn)證：4H() H(X)HY)其中：a a a X b b b Y 123123 1 1 1 1 1 1, ,p(x), ,2 4 4p(y)3 3 3H(X) HY) H()3、條件熵的計(jì)算與熵的強(qiáng)可加性驗(yàn)證離散二維平穩(wěn)信源，滿足：H(X X ) H(X )H(X | X )12121某一離散二維平穩(wěn)信源 0 1 2 X 11 4 1p(x), ,36 9 4X X 其聯(lián)合概率分布 p(X X )為：1212001141211017編程計(jì)算：1) 聯(lián)合熵H(X

7、 X )122) 條件熵H(X | X )213) 驗(yàn)證：H(X X ) H(X )H(X | X )12121H(X )1.5426; H(X | X )0.8717答案：121H(X X )2.4144 H(X )H(X | X )2.414412121聯(lián)合熵的計(jì)算HXY=0;5for i=1:size(b,1)for j=1:size(b,2)if b(i,j)0HXY=HXY-b(i,j).*log2(b(i,j);endendendHXY實(shí)驗(yàn)三：離散信道的平均互信息的計(jì)算1. 【習(xí)題 】設(shè)信源 Xx x 120.6,0.4p(x) 通過一干擾信道，接收到符號(hào)為Y y ,y ，其信道矩

8、陣為：12 5166P31,441) 求信源 X 中事件x 和x 分別含有的自信息；122) 收到消息 y (j 1,2)后，獲得的關(guān)于x (i 1,2)的信息量；ji3) 求信源 X 和輸出變量 Y 的信息熵；4) 信道疑義度H(X |Y)和噪聲熵HY | X)；5) 接收到消息 Y 后獲得的平均互信息；答案：I(x ) I(x )12I(x ;y )I(x ;y )I(x ;y )0.0931,I(x ;y )11122122H(X)HY)H(X |Y)I(X;Y)HY | X)2. 二元信道的互信息與信源分布的關(guān)系有二元信源：6 0 1 X p(x) 1 有二元信道，其傳遞矩陣為：10.

9、8 0.2，其中 ，即傳遞矩陣P0.2 0.8p pPp p 1 p編程實(shí)現(xiàn)下面題目：1) 畫出平均互信息隨信源分布 的關(guān)系曲線，并求出最大平均互信息。I(X;Y)驗(yàn)證：信道容量（最大平均互信息）滿足： C 1 H(p)2）驗(yàn)證：信道容量（最大平均互信息）滿足：C 1H(p)實(shí)驗(yàn)四：離散信道及其信道容量一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?1、了解信道傳輸概率的狀態(tài)圖和信道轉(zhuǎn)移概率矩陣特點(diǎn)；2、了解什么是信道容量和最佳輸入概率分布；3、列出計(jì)算信道容量和平均互信息的計(jì)算步驟；4、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容:1、寫出幾種特殊離散信道的信道容量計(jì)算的 Matlab

10、 程序。2、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性。3、完成習(xí)題四、實(shí)驗(yàn)報(bào)告要求簡要總結(jié)離散信道的特點(diǎn)及信道容量的計(jì)算，并寫出具體仿真步驟。習(xí)題：1 1/2 1/2 000 00 5 3/10 1/10 0P 0C r0 100002 71 0P 1 0Cs0 13 】1 1 1 13 3 6 61 1 1 16 6 3 3P C logs H(p p )L1s4 1 1 12 4 41 2 1P6 3 61 1 38 8 4求 p(a )Cip(a) C= =解：一般信道信道容量計(jì)算步驟：ss求pb |a ) pb |a j） pb |a )jijjiijj1j18js log 2）cj

11、1 2 求pb )）pb )jcjjr p(a )pb |a ) 求p(a )）pb )jijiii1實(shí)驗(yàn)五：連續(xù)信源的差熵與波形信道的信道容量一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?1、熟悉連續(xù)信源的特點(diǎn)；2、學(xué)習(xí)仿真連續(xù)信源的方法3、學(xué)習(xí)連續(xù)信源平均信息量的計(jì)算方法4、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容:1、寫出計(jì)算連續(xù)信源平均信息量的Matlab 程序。2、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性。3、完成習(xí)題并寫出具體實(shí)現(xiàn)步驟。四、實(shí)驗(yàn)報(bào)告要求簡要總結(jié)連續(xù)信源的特點(diǎn)及連續(xù)信源平均信息量的計(jì)算。知識(shí)點(diǎn)：1 x 2p=1/sqrt(2*pi*u2)*exp(-(x

12、-m)2/(2*u2);3int(f,v,a,b)f v f x x 12I dx,(x 2x2)22 x4“”9 ， 和 。5、連續(xù)信源的差熵與波形信道的信道容量：h(x) p(x) p(x)RSc B )N練習(xí)：一、計(jì)算下面幾類信源的差熵：1 均勻分布連續(xù)信源 1(a xb)p(x)ba(xb,xa) 0其中b8,a 4 2 高斯信源1(xm)2p(x)exp()22其中m 3, 423 指數(shù)分布信源【習(xí)題 4.2】p(x) e x(x 0;0)其中 1/44 拉普拉斯概率分布信源【習(xí)題 4.2】1012e(x ; 0)p(x) |x|其中 1/4解答：h b a) 2均勻分布信源的差熵為

13、： 1高斯分布信源的差熵為：h )3.047122e指數(shù)分布信源的差熵為：hlog( )3.44272e拉普拉斯分布信源的差熵為：hlog( )4.4427二、波形信道的信道容量實(shí)驗(yàn)?zāi)康模赫莆障戕r(nóng)公式，即信息傳輸率、帶寬、信噪比的關(guān)系PC W )sPn【習(xí)題 4.183kHz, 又設(shè)信Ps號(hào)功率+噪聲功率)/噪聲功率=10dB )10lg 是以10 為底Pn1) 2) 若信噪比降為5dB，要達(dá)到相同的最大信息傳輸率，信道帶寬應(yīng)是多少？答案：1. 最大信息傳輸率R 9965.784(bit/s)t2. 帶寬應(yīng)為： W = 4.8439e+003實(shí)驗(yàn)六：無失真信源編碼與保真度準(zhǔn)則下的信源編碼一、實(shí)

14、驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?1、理解無失真信源編碼與保真度準(zhǔn)則下的信源編碼的物理意義；2、理解無失真信源編碼與保真度準(zhǔn)則下的信源編碼的區(qū)別；3、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容:1、學(xué)習(xí)應(yīng)用信源編碼定理解決實(shí)際問題。2、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性。3、完成習(xí)題并寫出具體實(shí)現(xiàn)步驟。四、實(shí)驗(yàn)報(bào)告要求11寫出習(xí)題實(shí)現(xiàn)的具體步驟。習(xí)題：ss21S15.4）若有一信源，每秒鐘發(fā)出2.66個(gè)信源符號(hào)。 4P(s)55說明原因。 3U 7.1）一個(gè)四元對(duì)稱信源,接收符號(hào)為 114141Pu)440 1 1 1 0 1 1V 0,1,2,3，其失真矩陣為D，求和

15、Dmax D。1 1 0 11 1 1 0實(shí)驗(yàn)七：有噪信道編碼定理一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?1、理解有噪信道編碼定理的物理意義；2、熟悉 Matlab 編程；三、實(shí)驗(yàn)內(nèi)容:1、學(xué)習(xí)應(yīng)用有噪信道編碼定理解決實(shí)際問題。2、將程序在計(jì)算機(jī)上仿真實(shí)現(xiàn)，驗(yàn)證程序的正確性。3、完成習(xí)題并寫出具體實(shí)現(xiàn)步驟。四、實(shí)驗(yàn)報(bào)告要求寫出習(xí)題實(shí)現(xiàn)的具體步驟。習(xí)題：121131216126131 6.1）設(shè)有一離散信道，其信道傳遞矩陣為：，并設(shè)6113211p(x ) , p(x ) p(x ) ,試分別按最小錯(cuò)誤概率準(zhǔn)則與最大似然譯碼準(zhǔn)則確24定譯碼規(guī)則，并計(jì)算相應(yīng)的平均錯(cuò)誤概率。12

16、3 編碼編碼）一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?1、掌握無失真的信源編碼的基本原理；2、熟練掌握Huffman以及香農(nóng)-費(fèi)諾-埃利斯編碼的方法步驟；三、實(shí)驗(yàn)內(nèi)容:1、根據(jù) Huffman 編碼的方法步驟，用 Matlab 編寫二元 Huffman 編碼的程序；2、用習(xí)題 1 驗(yàn)證程序的正確性。3、編寫程序?qū)崿F(xiàn)香農(nóng)-費(fèi)諾-埃利斯編碼，并完成習(xí)題。四、實(shí)驗(yàn)報(bào)告要求 Huffman編碼的 Matlab 2、寫出習(xí)題實(shí)現(xiàn)具體步驟。源程序：aa13習(xí)題：1、某一離散信源概率分布：p=1/2,1/4,1/8,1/16,1/16 求信源的熵，并對(duì)該信源進(jìn)行二元哈夫曼編碼，得到碼字和

17、平均碼長以及編碼效率。s sssS 2、設(shè)一離散無記憶信源12134111P(s) 4288埃利斯編碼，并求平均碼長及編碼效率。答案：ssss 10, L二元碼/)1234香農(nóng)-費(fèi)諾-埃利斯編碼步驟：12k11）F(S) F(a ) P(a )P(a )kkii11412）l(a ) ) 1P(a )kk3） 取 （l(a )作為 所對(duì)應(yīng)的碼字W F Sakkk實(shí)驗(yàn)十 信道的糾錯(cuò)編碼（線性分組碼）一、實(shí)驗(yàn)設(shè)備:1、計(jì)算機(jī)2、軟件：Matlab二、實(shí)驗(yàn)?zāi)康?通過線性分組碼的實(shí)驗(yàn)，進(jìn)一步加深對(duì)線性分組碼編碼理論的理解。三、實(shí)驗(yàn)內(nèi)容:1、對(duì)線性分組碼編碼規(guī)則進(jìn)行驗(yàn)證。2、對(duì)譯碼數(shù)據(jù)輸出進(jìn)行驗(yàn)證。四、實(shí)驗(yàn)報(bào)告要求1、完成例題，并寫出具