北京郵電大學(xué)信息論實(shí)驗(yàn)5

1、北京郵電大學(xué)信息論實(shí)驗(yàn)5作者:日期:北京郵電大學(xué)信息論實(shí)驗(yàn)第五次實(shí)驗(yàn)實(shí)驗(yàn)內(nèi)容實(shí)驗(yàn)輸入信源：二元序列0,1 ,概率分別為0. 2和0.8給定參數(shù):，分別為0.0 4和0 .32、計(jì)算N0N。注:紅色的參數(shù)可變 仿真驗(yàn)證：產(chǎn)生長(zhǎng)度為N的序列，N>N0 判斷典型序列：X：NiPi1, ,q，繪制這個(gè)比例隨N變化的情況。計(jì)算非典型序列占總序列的比例 改變概率分布，討論概率分布對(duì)典型序列的影響。1、實(shí)驗(yàn)原理典型序列和非典型序列空_.%sx.%s-.blLlr-.i.>* TT-.IJ5.is -Tynsx-J5UTI_RhlxJU5-i.isx.it i尹I丹*wntthltypiCAl-0

2、 lypkal 彌 I 屮；0"誦抑如托»：hVh r+*hV?l'l<l>MI'： Ivpi.皿i. iisd piO二：小斤二.對(duì)于一個(gè)離散無(wú)記憶信源，任意給定 兩組其中一組£> 0,3> 0,使得長(zhǎng)度N>N 0的序列都可以分為P（x）H（X）1一 log N M£。稱之為典型序列，另一組出現(xiàn)的概率和小于 典型序列的概率估計(jì)p（ X ）接近2-?（?），其偏差不大于2?；?當(dāng)3足夠小時(shí)，每個(gè)典型序列的概率此時(shí)序列的長(zhǎng)度需要很大。估計(jì)典型序列的個(gè)數(shù):(1)2NH(X) N2Nh(x)3、漸進(jìn)均分特性當(dāng)

3、63;取值很小時(shí)（N要求很大）,對(duì)于典型序列：Ng 2NH（X）, P（X）2 NH（X）這意味著當(dāng)N足夠大時(shí)，典型序列接近等概率2-?（?），數(shù)目近似于2?（?） 非典型序列出現(xiàn)的概率接近為零丄log p（iX）H（X）N，以概率收斂實(shí)驗(yàn)步驟1、實(shí)驗(yàn)流程開始其中，P為0、1序列的初始分布概率，N為模擬的信源序列長(zhǎng)度。2、關(guān)鍵代碼分析(1)求自信息方差V ar1 = p (1)*(log2( p(1 )人2)+p (2)* (l o g2(卩(2)人2) (- p (2)* 1o g2( p(2)- p (1)*10 g2 (p(1) A 2 ；這個(gè)式子利用的是如下公式：2Var = Elog

4、2(p (x) - H(X)A2式子中p (1), P (2 )代表0和1的概率。 判斷是否是非典型序列abs( 1 ength(fin d ( S IGNAL(i, :) = 1)/N-p (2)>=k s iX：NiPi,i 1, ,q這行代碼是利用了如下公式進(jìn)行判斷：先統(tǒng)計(jì)出元素1的下表，再統(tǒng)計(jì)其個(gè)數(shù)，計(jì)算頻率后于原概率作比較 即可判斷是否是非典型序列。實(shí)驗(yàn)結(jié)果概率分布為0.2、0. 8時(shí)四、(1)理論計(jì)算結(jié)果這個(gè)結(jié)果表明，當(dāng)0、1序列服從概率(0. 2、0.8 )的分布時(shí)，信源序列 長(zhǎng)度要達(dá)到1 7 7.7778才可以達(dá)到要求，非典型序列出現(xiàn)的概率小于0.04。仿真結(jié)果3.255

5、 1s J o Q o o 質(zhì)孝富轄刃、樂(lè)此禍耳Q =010Q?乩 XIQ 聒 04 関序汎爭(zhēng)虞T從圖中我們可以看出，當(dāng)序列長(zhǎng)度上升時(shí)，非典型序列出現(xiàn)的概率逐漸變小，當(dāng)達(dá)到177附近時(shí)，非典型序列出現(xiàn)的概率已經(jīng)趨向于0,符合題目所給的要求,驗(yàn)證了信源序列的分組定理。(2)改變概率分布時(shí)我們?nèi)×艘韵挛褰M概率擬合符合0和符號(hào)1( 0. 1、0. 9; 0.2、0.8;0 . 3、0.7;0. 4、0.6 ; 0. 5、0.5)，使用與上一個(gè)實(shí)驗(yàn)完全相同的方法仿真，得到了 下面的曲線。曲線中，橫坐標(biāo)為N的大小，縱坐標(biāo)為非典型序列出現(xiàn)的概率。非若列凸刃出現(xiàn)的概辜三序利辰忡的羌系曲線5 151 直 fl

6、5 3 5 £ J O ? m o o從圖中,我們可以看出隨著概率趨向于等概分布，序列長(zhǎng)度N的增加越容易使得非典型序列的概率下降，即曲線的趨近于0的點(diǎn)會(huì)更加靠左。這是 由于，由于？?大小與自信息的方差成正比，當(dāng)趨向于等概分布時(shí)，自信息的方差逐漸變小，這使得？?變小。五、實(shí)驗(yàn)中遇到的問(wèn)題 本次實(shí)驗(yàn)中，遇到的最大的問(wèn)題就是 具體典型序列，在典型序列中所占的比例 沒(méi)有辦法做的，因?yàn)镹 0的理論值已經(jīng)是 個(gè)非常小的數(shù)，大概需要上億次的仿真運(yùn)算,在上一個(gè)版本的題目中，要求隨機(jī)選擇兩個(gè) ,繪制這個(gè)比例隨 N變化的情況。這個(gè)題目是 177,而典型序列出現(xiàn)的概率為2-?(?)，這是- ，才可以得到一個(gè)較為穩(wěn)定的解。在找到司中威老師反映這個(gè)問(wèn)題后，老師將題目這一問(wèn)取消了。六、實(shí)驗(yàn)感想經(jīng)過(guò)本次實(shí)驗(yàn)，我進(jìn)一步認(rèn)識(shí)了信息論基礎(chǔ)一書中對(duì)