第二章基本信息論馬爾可夫信源

第二章基本信息論馬爾可夫信源第1頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月一、馬爾可夫鏈信源每一狀態(tài)下可能輸出的符號(hào)：設(shè)信源所處的狀態(tài)為：每一時(shí)刻信源發(fā)出一個(gè)符號(hào)后，所處的狀態(tài)發(fā)生轉(zhuǎn)移信源輸出的隨機(jī)符號(hào)序列為：信源所處的狀態(tài)序列為：設(shè)在第t時(shí)刻信源處于狀態(tài)ei時(shí)，輸出符號(hào)xk的概率給定，為：第2頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月設(shè)信源在t的前一時(shí)刻(t-1)時(shí)刻處于ei狀態(tài)，而在時(shí)刻t轉(zhuǎn)移到ej狀態(tài)，轉(zhuǎn)移概率為：上式的條件概率稱(chēng)為馬爾可夫鏈在時(shí)刻t的狀態(tài)一步轉(zhuǎn)移概率第3頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月若信源輸出的符號(hào)和所處的狀態(tài)滿(mǎn)足以下兩個(gè)條件，則稱(chēng)為馬爾可夫信源。二、馬爾可夫信源的定義1）某時(shí)刻信源輸出哪個(gè)符號(hào)只與此時(shí)刻信源所處的狀態(tài)有關(guān)，而與以前的狀態(tài)以及以前的輸出符號(hào)均無(wú)關(guān)。第4頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月2）信源某時(shí)刻t所處的狀態(tài)，由當(dāng)前的輸出符號(hào)和前一時(shí)刻(t-1)

信源所處的狀態(tài)唯一確定。第5頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月馬爾可夫信源特征的描述方法：狀態(tài)轉(zhuǎn)移圖條件概率狀態(tài)的一步轉(zhuǎn)移概率第6頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月三、馬爾可夫信源熵若馬爾可夫信源的狀態(tài)數(shù)為m，則稱(chēng)為m階馬爾可夫信源m階馬爾可夫信源的熵：第7頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月eiej第8頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月有限齊次馬爾可夫鏈的各態(tài)歷經(jīng)定理第9頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第10頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第11頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8根據(jù)狀態(tài)轉(zhuǎn)移圖、條件概率矩陣或狀態(tài)一步轉(zhuǎn)移概率矩陣，可寫(xiě)出：解：第12頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第13頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月000110110:0.50:0.20:0.51:0.51:0.21:0.50:0.81:0.8第14頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月第15頁(yè)，課件共16頁(yè)，創(chuàng)作于2023年2月表示馬爾可夫信源穩(wěn)定后，其極限熵=各狀態(tài)的極限概率各狀態(tài)發(fā)出的符號(hào)形成的無(wú)記憶信源熵離散無(wú)記憶信源熵：取決于信源符號(hào)的概率分布離散有記憶信源熵：取決于信源符號(hào)的概率分布和信源符號(hào)間的條件概率穩(wěn)定后的馬爾可夫信源熵：取決于狀態(tài)概率分