信道容量與信息率失真函數(shù)的比較--王炤鑫.doc

信息論與編碼論文論文題目：信道容量與信息率失真函數(shù)的比較專(zhuān) 業(yè)：電子信息工程姓 名：王照鑫日 期：09.11.這一學(xué)期我有新接觸了一門(mén)課程信息論與編碼，他是電子信息與電器學(xué)科規(guī)劃教材，電子信息工程類(lèi)專(zhuān)業(yè)的很重要的課程。對(duì)于學(xué)習(xí)信息的我來(lái)說(shuō)我該怎樣完成這份論文呢？我想我應(yīng)該先說(shuō)明本文的主要角色，就是本文的題目信息容量與信息率失真函數(shù)的比較。那么先來(lái)說(shuō)說(shuō)信息容量吧：信道容量我們定義為：信道能無(wú)錯(cuò)誤傳送的最大信息率。那么對(duì)于只有一個(gè)信源和一個(gè)信宿的單用戶(hù)信道，它是一個(gè)數(shù)，單位是比特每秒或比特每符號(hào)。它代表每秒或每個(gè)信道符號(hào)能傳送的最大信息量，或者說(shuō)小于這個(gè)數(shù)的信息率必能在此信道中無(wú)錯(cuò)誤地傳送。對(duì)于多用戶(hù)信道，當(dāng)信源和信宿都是兩個(gè)時(shí),它是平面上的一條封閉線。 信道容量（Channel capacity，又譯通道容量）的單位為比特每秒、奈特每秒等等。在電機(jī)領(lǐng)域、計(jì)算機(jī)科學(xué)領(lǐng)域、消息理論中，信道容量是指在一個(gè)通信信道中能夠可靠地傳送信息時(shí)可達(dá)至的最大速率上限。根據(jù)有噪信道編碼定理，一個(gè)已知通道的信道容量，則是指在一個(gè)有限的傳送速率中可達(dá)到任意小的錯(cuò)誤率。 香農(nóng)在第二次世界大戰(zhàn)期間發(fā)展出信息論，為信道容量提了定義，并且提供了計(jì)算信道容量的數(shù)學(xué)模型。香農(nóng)指出，信道容量是信道的輸入與輸出的互信息量的最大值，這一最大取值由輸入信號(hào)的概率分布決定。信道容量是信道的一個(gè)參數(shù)，反映了信道所能傳輸?shù)淖畲笮畔⒘?，其大小與信源無(wú)關(guān)。對(duì)不同的輸入概率分布，互信息一定存在最大值。我們將這個(gè)最大值定義為信道的容量。一但轉(zhuǎn)移概率矩陣確定以后，信道容量也完全確定了。盡管信道容量的定義涉及到輸入概率分布，但信道容量的數(shù)值與輸入概率分布無(wú)關(guān)。我們將不同的輸入概率分布稱(chēng)為試驗(yàn)信源，對(duì)不同的試驗(yàn)信源，互信息也不同。其中必有一個(gè)試驗(yàn)信源使互信息達(dá)到最大。這個(gè)最大值就是信道容量。 信道容量有時(shí)也表示為單位時(shí)間內(nèi)可傳輸?shù)亩M(jìn)制位的位數(shù)（稱(chēng)信道的數(shù)據(jù)傳輸速率，位速率），以位/秒（b/s）形式予以表示，簡(jiǎn)記為bps。通信的目的是為了獲得信息，為度量信息的多少（信息量），我們用到了熵這個(gè)概念。在信號(hào)通過(guò)信道傳輸?shù)倪^(guò)程中，我們涉及到了兩個(gè)熵，發(fā)射端處信源熵即發(fā)端信源的不確定度，接收端處在接收信號(hào)條件下的發(fā)端信源熵即在接收信號(hào)條件下發(fā)端信源的不確定度。接收到了信號(hào)，不確定度小了，我們也就在一定程度上消除了發(fā)端信源的不確定性，也就是在一定程度上獲得了發(fā)端信源的信息，這部分信息的獲取是通過(guò)信道傳輸信號(hào)帶來(lái)的。如果在通信的過(guò)程中熵不能夠減?。ú淮_定度減?。┑脑?，也就沒(méi)有通信的必要了。最理想的情況就是在接收信號(hào)條件下信源熵變?yōu)?（不確定度完全消失），這時(shí)，發(fā)端信息完全得到。通信信道，發(fā)端 X，收端 Y。從信息傳輸?shù)慕嵌瓤?，通過(guò)信道傳輸了 I(X;Y)=H(X)-H(X|Y) ,( 接收Y前后對(duì)于X的不確定度的變化)。 I該值與兩個(gè)概率有關(guān)， p(x),p(y|x)，特定信道轉(zhuǎn)移概率一定，那么在所有 p(x) 分布中，max I(X;Y)就是該信道的信道容量C(互信息的上凸性）。 要使信道容量有確切的含義，尚須證明相應(yīng)的編碼定理，就是說(shuō)當(dāng)信息率低于信道容量時(shí)必存在一種編碼方法，使之在信道中傳輸而不發(fā)生錯(cuò)誤或錯(cuò)誤可任意逼近于零。已經(jīng)過(guò)嚴(yán)格證明的只有無(wú)記憶單用戶(hù)信道和多用戶(hù)信道中的某些多址接入信道和退化型廣播信道。對(duì)某些有記憶信道，只能得到容量的上界和下界，確切容量尚不易規(guī)定。 那么我們?cè)賮?lái)說(shuō)說(shuō)我們大標(biāo)題上的第二位關(guān)鍵人物信息率失真函數(shù)研究在限定失真下為了恢復(fù)信源符號(hào)所必需的信息率，簡(jiǎn)稱(chēng)率失真理論。信源發(fā)出的符號(hào)傳到信宿后，一般不能完全保持原樣，而會(huì)產(chǎn)生失真。要避免這種失真幾乎是不可能，而且也無(wú)必要，因?yàn)樾潘薏还苁侨诉€是機(jī)器，靈敏度總是有限的，不可能覺(jué)察無(wú)窮微小的失真。倘若在處理信源符號(hào)時(shí)允許一定限度的失真，可減小所必需的信息率，有利于傳輸和存儲(chǔ)。率失真理論就是用以計(jì)算不同類(lèi)型的信源在各種失真限度下所需的最小信息率。因此，這一理論是現(xiàn)代所有信息處理問(wèn)題的理論基礎(chǔ)。 無(wú)失真信源編碼和有噪信道編碼告訴我們：只要信道的信息傳輸速率小于信道容量，總能找到一種編碼方法,使得在該信道上的信息傳輸?shù)牟铄e(cuò)概率任意??；反之，若信道的信息傳輸速率大于信道容量，則不可能使信息傳輸差錯(cuò)概率任意小。但是，無(wú)失真的編碼并非總是必要的。香農(nóng)首先定義了信息率失真函數(shù)R(D)，并論述了關(guān)于這個(gè)函數(shù)的基本定理。定理指出：在允許一定失真度D的情況下，信源輸出的信息傳輸率可壓縮到R(D)值，這就從理論上給出了信息傳輸率與允許失真之間的關(guān)系，奠定了信息率失真理論的基礎(chǔ)。信息率失真理論是進(jìn)行量化、數(shù)模轉(zhuǎn)換、頻帶壓縮和數(shù)據(jù)壓縮的理論基礎(chǔ)。本章主要介紹信息率失真理論的基本內(nèi)容，側(cè)重討論離散無(wú)記憶信源。首先給出信源的失真度和信息率失真函數(shù)的定義與性質(zhì)；然后討論離散信源和連續(xù)信源的信息率失真函數(shù)計(jì)算；在這基礎(chǔ)上論述保真度準(zhǔn)則下的信源編碼定理。信息率失真函數(shù)在實(shí)際問(wèn)題中，信號(hào)有一定得失真是可以容忍的。但是當(dāng)失真大于某一個(gè)限度時(shí)，信息質(zhì)量就會(huì)有嚴(yán)重?fù)p傷。要規(guī)定失真限度，必須有一個(gè)定量的失真測(cè)度。為此，可以引入失真函數(shù)。信息率失真函數(shù)的定義 信源給定，且又具體定義了失真函數(shù)以后，總希望在滿(mǎn)足一定失真的情況下，使信源傳輸給收信者的信息傳輸率R盡可能地小。即在滿(mǎn)足保真度準(zhǔn)則下，尋找信源必須傳輸給收信者的信息率R的下限值-這個(gè)下限值與D有關(guān)。從接收端來(lái)看，就是在滿(mǎn)足保真度準(zhǔn)則下，尋找再現(xiàn)信源消息所必須獲得的最低平均信息量。而接收端獲得的平均信息量可用平均互信息I(U;V)來(lái)表示，這就變成了在滿(mǎn)足保真度準(zhǔn)則的條件下，尋找平均互信息I(U;V)的最小值。尋找平均互信息I(U;V)的最小值。而B(niǎo)D是所有滿(mǎn)足保真度準(zhǔn)則的試驗(yàn)信道集合，因而可以在D失真許可的試驗(yàn)信道集合BD中尋找一個(gè)信道P(vj / ui) ，使I(U;V) 取極小值。由于平均互信息I(U;V)是P(vj / ui)的U型凸函數(shù)，所以在BD集合中，極小值存在。這個(gè)最小值就是在D D的條件下，信源必須傳輸?shù)淖钚∑骄畔⒘?。率失真函?shù)給出了熵壓縮編碼可能達(dá)到的最小熵率與失真的關(guān)系，其逆函數(shù)稱(chēng)為失真率函數(shù)，表示一定信息速率下所可能達(dá)到的最小的平均失真。連續(xù)無(wú)記憶信源的信息率失真函數(shù)：連續(xù)無(wú)記憶信源的信息率失真函數(shù)。高斯信源的信息率失真函數(shù) 對(duì)高斯信源，在一般失真函數(shù)下，其率失真函數(shù)是很難求得的，但在平方誤差失真度量下，其率失真函數(shù)有簡(jiǎn)單的封閉表達(dá)式。連續(xù)無(wú)記憶信源信息率失真函數(shù)值失真度量下連續(xù)無(wú)記憶信源的信息率失真函數(shù)一般情況下，連續(xù)無(wú)記憶信源下信息率失真函數(shù)的計(jì)算相當(dāng)困難，絕大多數(shù)情況下無(wú)解析解。以上闡明兩者的各自的一些概念和理論相關(guān)，從定理的描述可知，信息失真率R(D)是一個(gè)界限。通信過(guò)程中雖然有失真，但是仍然能滿(mǎn)足要求，否則就不能滿(mǎn)足通信的要求?？傮w來(lái)說(shuō)香農(nóng)的信息論三個(gè)基本概念都是臨界值，是從理論上衡量通信是否滿(mǎn)足要求的重要界限。 三個(gè)定理都指出理想編碼方式的存在，可是需要我們?nèi)ふ液吞剿?。連、兩個(gè)概念既有不同點(diǎn)有存在共同的相關(guān)點(diǎn)，兩者都是求平均互信息極值的問(wèn)題，兩個(gè)對(duì)偶問(wèn)題值得我們?nèi)ジ畛潭鹊耐趯ず捅容^。實(shí)際的信源編碼(無(wú)失真編碼或先限失真編碼后無(wú)失真編碼)的最終目標(biāo)是盡量接近最佳編碼，使編碼信息傳輸率接近最大值，而同時(shí)又保證譯碼后能無(wú)失真地恢復(fù)信源的全部信息量、或限失真條件下的必要信息量。編碼后信息傳輸率的提高使每個(gè)編碼符號(hào)能攜帶盡可能多的信息量，-使得傳輸同樣多的信源總信息量所需的碼符號(hào)數(shù)大大減少-使所需的單位時(shí)間傳輸信道單位時(shí)間信道容量大大減少，或在不變的前提下使傳輸時(shí)間大大縮短，從而提高了通信的效率。 香農(nóng)三定理仍然只是個(gè)存在性定理，至于最佳編碼方法如何尋找，