z第五章 信源編碼

第1章：概述第2章：信源熵第3章：信道容量第5章：信源編碼第7章：密碼體制的安全性測(cè)度信源編碼信源編碼是以提高通信的有效性為目的編碼。通常通過(guò)壓縮信源的冗余度來(lái)實(shí)現(xiàn)。采用的一般方法是壓縮每個(gè)信源符號(hào)的平均比特?cái)?shù)或信源的碼率。同樣多的信息用較少的碼率來(lái)傳送，使單位時(shí)間內(nèi)傳送的平均信息量增加，從而提高通信的有效性。信源編碼的基本途徑有兩個(gè)：使序列中的各個(gè)符號(hào)盡可能地互相獨(dú)立，即解除相關(guān)性；使編碼中各個(gè)符號(hào)出現(xiàn)的概率盡可能地相等，即概率均勻化。5.1.2香農(nóng)編碼設(shè)有離散無(wú)記憶信源1234香農(nóng)編碼方法的步驟按信源符號(hào)的概率從大到小的順序排隊(duì)不妨設(shè)例設(shè)有一單符號(hào)離散無(wú)記憶信源試對(duì)該信源編二進(jìn)制香農(nóng)碼。編碼過(guò)程（1）5.1.2費(fèi)諾編碼對(duì)概率按m進(jìn)行分組，使每組概 率盡可能相等給每個(gè)分組分配一個(gè)碼元對(duì)每個(gè)分組重復(fù)2、3步，直到不可分為止1234按信源符號(hào)的概率從大到小的順序排隊(duì)不妨設(shè)設(shè)有一單符號(hào)離散無(wú)記憶信源試對(duì)該信源編二進(jìn)制費(fèi)諾碼。例編碼過(guò)程費(fèi)諾碼比較適合于每次分組概率都很接近的信源。將信源符號(hào)按概率由大到小順序排隊(duì)；給兩個(gè)概率最小的符號(hào)各分配一個(gè)碼位，將其概率相加后合并作為一個(gè)新的符號(hào)，與剩下的符號(hào)一起，稱(chēng)為縮減信源；將縮減信源符號(hào)仍按概率由大到小順序排隊(duì)；重復(fù)步驟2、3直至概率和為1。21435.1.3赫夫曼編碼設(shè)有一單符號(hào)離散無(wú)記憶信源試對(duì)該信源編二進(jìn)制哈夫曼碼。例編碼過(guò)程設(shè)有離散無(wú)記憶信源用兩種不同的方法對(duì)其編二進(jìn)制huffman碼例方法一方法二信源符號(hào)ai概率p(ai)碼字Wi1碼長(zhǎng)Ki1碼字Wi2碼長(zhǎng)K’i2a10.411002a20.2012102a30.20003112a40.1001040103a50.1001140113兩種不同的編碼方法得到的碼字和碼長(zhǎng)的對(duì)比平均碼長(zhǎng)和編碼效率兩種編碼方法編出的碼字的碼長(zhǎng)方差比較結(jié)論：進(jìn)行赫夫曼編碼時(shí)，為得到碼方差最小的碼，應(yīng)使合并的信源符號(hào)位于縮減信源序列盡可能高的位置上，以減少再次合并的次數(shù)，充分利用短碼。

5.1.5游程編碼

游程：指數(shù)字序列中連續(xù)出現(xiàn)相同符號(hào)的一段。在二元信源中，連續(xù)的一段‘0’稱(chēng)為一個(gè)‘0’游程，‘0’的個(gè)數(shù)稱(chēng)為此游程的長(zhǎng)度，同樣，也有‘1’游程。

游程序列：用交替出現(xiàn)的‘0’游程、‘1’游程的長(zhǎng)度，來(lái)表示任意二元序列而產(chǎn)生的一個(gè)新序列。它和二元序列是一個(gè)一一對(duì)應(yīng)的變換。000101110010001……31132131……若已知二元序列以0起始，從游程序列很容易恢復(fù)成原來(lái)的二元序列游程序列是多元序列，各長(zhǎng)度可按赫夫曼編碼或其它方法處理以達(dá)到壓縮碼率的目的。

游程編碼只適用于二元序列，對(duì)于多元信源，一般不能直接利用游程編碼

因?yàn)橛纬套儞Q是一一對(duì)應(yīng)的可逆變換，所以游程變換后，熵不變。組合編碼可獲得較高的編碼效率：游程編碼赫夫曼編碼冗余位信源序列中不攜帶信息的符號(hào)。多元信源序列：冗余位上面二元1表示信息位，0表示冗余位

5.1.6冗余位編碼冗余位序列游程編碼信息序列赫夫曼編碼

分幀傳送冗余位序列的編碼方法。N個(gè)符號(hào)為一幀，編成一個(gè)L-D碼字，每個(gè)碼字含有兩個(gè)數(shù)：Q和T。Q：本幀內(nèi)信息位的數(shù)目。T：信息位的位置信息。L-D編碼第個(gè)信息位的位置序號(hào)。例001000000010000，N=15,編L-D碼。編碼。編碼位數(shù)：Q的位數(shù)T的位數(shù)1T=47。、計(jì)算出00100101111譯碼。T=47適用：冗余位和信息位數(shù)目相差較大的情況。2§5.1離散信源編碼§5.2連續(xù)信源編碼

§5.3相關(guān)信源編碼

§5.4變換編碼5.2.1最佳標(biāo)量量化5.2.2矢量量化搜索信道碼書(shū)碼書(shū)采樣量化、編碼檢索預(yù)測(cè)編碼：利用信號(hào)序列的時(shí)間相關(guān)性，通過(guò)預(yù)測(cè)以減少信息冗余后再進(jìn)行編碼；5.3相關(guān)信源編碼變換編碼：引入某種變換，將信號(hào)序列變換為另一個(gè)域上彼此獨(dú)立或者相關(guān)程度較低的序列，同時(shí)將能量集中在部分樣值上，再對(duì)這個(gè)新序列進(jìn)行編碼。如傅立葉變換、余弦變換、哈達(dá)瑪變換、變換、小波變換等。5.4變換編碼小結(jié)香農(nóng)編碼、費(fèi)諾編碼、霍夫曼編碼最佳