信息論與編碼第六章 保真度準(zhǔn)則下的信源編碼

1、第六章 保真度準(zhǔn)則下的信源編碼7.1 引 言 無(wú)失真信源編碼定理（無(wú)噪離散信道編碼定理）實(shí)際上是討論信息傳輸有效性的界的問(wèn)題，證明了必有一種編碼方法，使每一個(gè)信源符號(hào)所需要的平均碼長(zhǎng)符號(hào)數(shù)，在數(shù)量上無(wú)限接近于該信源的熵值，用這樣的碼可幾乎無(wú)差錯(cuò)地譯出原來(lái)的信源符號(hào)，反之，每一信源符號(hào)所含有的平均碼符號(hào)數(shù)小于信源的熵值，則不可能無(wú)差錯(cuò)地譯出原信源符號(hào)。 有噪離散信道的編碼定理，討論的是信息傳輸?shù)目煽啃詥?wèn)題，證明了必有一種編碼方法，只要信道的信息傳輸率小于信道容量，在信道的輸出端可幾乎無(wú)差錯(cuò)地譯出信道輸入端輸入的消息，反之， 時(shí)，不可能無(wú)差錯(cuò)譯碼。 概括兩個(gè)定理：只要 ，總能找到一種編碼，使在信道

2、上能以任意小的錯(cuò)誤概率，以任意接近C的傳輸率來(lái)傳送信息。但若信息傳輸率R大于信道C，不可能實(shí)現(xiàn)無(wú)失真的傳輸，使傳輸錯(cuò)誤 任意小。 實(shí)際上，完全無(wú)失真地傳輸信源消息是不可能實(shí)現(xiàn)的。 另一方面，實(shí)際生活中，人們一般并不要求，也沒(méi)有必要全無(wú)失真地恢復(fù)消息。 ? 如何在一定程度失真的條件下，快速而且較準(zhǔn)確地傳送信源的消息。?7.2 信息率失真函數(shù)的定義和性質(zhì) 信息傳輸率R與失真有關(guān)，為了定量地描述信息傳輸率和失真的關(guān)系，引入失真度（函數(shù)）的概念。 是信源統(tǒng)計(jì)特性 ，信道統(tǒng)計(jì)特性 以及人們規(guī)定的失真函數(shù) 的函數(shù)，當(dāng)失真函數(shù)被選定，信源和信道的統(tǒng)計(jì)特性給定后， 就是一個(gè)確定的量，更為重要的是，當(dāng) 給定后， 就只是信道的統(tǒng)計(jì)特性：傳遞概率 的函數(shù)。 ，變動(dòng)信道的傳遞概率 ，就可變動(dòng)平均失真度 “人們?cè)试S的失真”往往是規(guī)定其平均失真度 不能超過(guò)某一限定的值D，規(guī)定 ，因此我們可以把本身能控制選擇的允許平均失真D作為對(duì)信道統(tǒng)計(jì)特性 的一種約束條件，求信道信息率 的最小值，使以前討論的極小值問(wèn)題具有實(shí)用意義。實(shí)質(zhì)：用最小的信道信息率傳輸信息（最小代價(jià)）但能滿足給定的允許失真度 ；換句話說(shuō)：滿足允許失真度前提下，使信道傳輸?shù)男畔⒆钚?。信道N次無(wú)記憶擴(kuò)展后：當(dāng)信源和信道無(wú)記憶