通信原理 課件全套 第1-13章 緒論、確定和隨機信號分析 -復(fù)用與多址技術(shù)

通信原理第一章：緒論你對未來通信系統(tǒng)有什么愿景？VR體驗 全息通信萬物互聯(lián)星際通信參考教材

電子版講義

《信息論與通信原理導(dǎo)論》，唐嵐

編著

QQ:課程交流

教學(xué)立方：發(fā)布課件，課后作業(yè)，上交作業(yè)1.1

現(xiàn)代通信技術(shù)及發(fā)展

現(xiàn)代通信技術(shù)是指用現(xiàn)代科學(xué)手段，如電子，光技術(shù)實現(xiàn)信息傳遞的一門技術(shù)科學(xué)。

通信技術(shù)的發(fā)展1838：摩爾斯發(fā)明有線電報1876：貝爾發(fā)明有線電話1898：馬可尼發(fā)明無線電報1906：真空電子管出現(xiàn)并應(yīng)用于通信1918：無線電廣播1938：電視廣播1940：雷達與微波通信系統(tǒng)1948：香農(nóng)提出信息概念，奠定信息論基礎(chǔ)電磁波，光是信息傳輸?shù)妮d體通信的目的1.1

現(xiàn)代通信技術(shù)及發(fā)展

20世紀70年代以來，大規(guī)模集成電路的發(fā)展，計算機技術(shù)與通信技術(shù)的結(jié)合，推動了衛(wèi)星通信，移動通信和光纖通信的發(fā)展。

20世紀80年代到90年代，通信網(wǎng)絡(luò)向程控化，數(shù)字化，智能化發(fā)展，寬帶接入網(wǎng)成為研究熱點。

21世紀，物聯(lián)網(wǎng)，移動互聯(lián)，無處不在的連接，高速率，低時延。1.2

通信系統(tǒng)的構(gòu)成

通信系統(tǒng)的組成框圖

通信系統(tǒng)傳遞的信息包括語音，文字，圖像，視頻等。將媒體信息轉(zhuǎn)化成電信號（電壓，電流，電磁場等）傳輸媒介：電纜，光纖，自由空間與信源的作用相反保證高效，高質(zhì)量的通信（盡可能準確真實地還原信息）H

(

)=

H

(

)

ej

(

)

Ke

j

td1.2

通信系統(tǒng)的構(gòu)成

模擬通信系統(tǒng)：系統(tǒng)內(nèi)傳輸?shù)氖悄M信號。

發(fā)送的信號波形在收端無失真恢復(fù)

抗噪聲性能差模擬線性調(diào)制：振幅調(diào)制，雙邊帶調(diào)制，單邊帶調(diào)制，殘留邊帶調(diào)制非線性調(diào)制：窄帶調(diào)頻，寬帶調(diào)頻《高頻電路》1.2

通信系統(tǒng)的構(gòu)成

數(shù)字通信系統(tǒng)：系統(tǒng)中傳輸?shù)氖菙?shù)字信號。

數(shù)字符號狀態(tài)的正確識別。本門課的主要研究內(nèi)容通信原理只關(guān)注基帶信號處理信源編碼：數(shù)據(jù)壓縮，用盡可能少的二進制數(shù)字表示信源輸出。信道編碼：在二進制信息序列中以受控的方式引入一些冗余，以克服信號在信道傳輸中所遭受的噪聲和干擾的影響。提供傳輸?shù)目煽啃?。?shù)字調(diào)制器：將二進制信息序列映射成信號波形。1.2

通信系統(tǒng)的構(gòu)成100111tS(t)tS(t)100111tS(t)a.

信號波形b.

疊加噪聲后的波形c.

再生后的波形模擬接收機無法濾除噪聲

數(shù)字通信系統(tǒng)vs模擬通信系統(tǒng)（優(yōu)點）

抗噪聲性能好數(shù)字通信系統(tǒng)可以從噪聲中恢復(fù)出原始信號1.2

通信系統(tǒng)的構(gòu)成

數(shù)字通信系統(tǒng)可通過信道編碼方式有效地改善通信質(zhì)量

數(shù)字信號便于運用計算機技術(shù)，數(shù)字信號處理技術(shù)進行處理，存儲和交換。

有利于不同種類信號的綜合。

數(shù)字通信系統(tǒng)vs模擬通信系統(tǒng)（缺點）

技術(shù)較復(fù)雜

占用較寬的帶寬（以語音傳輸為例）1.3

通信系統(tǒng)分類

通信方式

單工通信：只進行信息的單向傳輸，如廣播系統(tǒng)或?qū)ず粝到y(tǒng)。

半雙工通信：具備雙向信道，但不能同時進行通信，如無線對講機。

全雙工通信：具備雙向信道，可以同時進行通信。大多數(shù)通信系統(tǒng)，如蜂窩通信系統(tǒng)，有線電話均為全雙工通信。全雙工可分為TDD和FDD。1.3

通信系統(tǒng)分類

按網(wǎng)絡(luò)結(jié)構(gòu)可分為：

點對點：最簡單的網(wǎng)絡(luò)結(jié)構(gòu)；

點對多點：廣播，電視等系統(tǒng)；

多點通信：多組用戶同時通信。根據(jù)用戶的需求進行交換連接：電路交換和分組交換《數(shù)據(jù)通信》1.4

通信使用的頻段

有線通信：每種傳輸媒介都有自己特定的頻率特性，取決于媒介的材質(zhì)、物理尺寸、生產(chǎn)工藝等。

雙絞線：工作頻率為0~1MHz;

同軸電纜：工作頻率為1MHz~1GHz.1.4

通信使用的頻段

無線通信：信號以電磁波的形式在空間傳播，不同頻段信號的傳播特性不同。

30-300Hz

ELF

10000-1000km 特低頻 海底通信音頻

音頻電話，低速數(shù)據(jù)通信甚低頻

導(dǎo)航，時標低頻

導(dǎo)航，電力通信0.3-3kHz

VF3-30kHz

VLF30-300kHzLF

10-1km0.3-3MHz

MF3-30MHz

HF30-300MHzVHF

10-1m0.3-3GHz

UHF中頻

廣播，業(yè)余無線電通信高頻 廣播，無線通信甚高頻 電視，調(diào)頻廣播，移動通信超高頻

電視，移動通信，雷達，遙測3-30GHz

SHF

極高頻

微波中繼通信，空間通信，雷達30-300GHz

10-1mm

FHF 特高頻 衛(wèi)星通信，射電天文雷達10-10GHz紅外，可見光，紫外光 光纖通信，光波直視通信1.5

通信信道及特征

通信信道在發(fā)送機和接收機間提供連接，包括雙絞線，光纖，自由空間等。

加性噪聲

由通信系統(tǒng)內(nèi)部組成元件引起（熱噪聲）

由系統(tǒng)外引起的噪聲和干擾

信號衰減，幅度和相位失真，多徑效應(yīng)

有限的信道帶寬：限制了信號在信道上的傳輸速率1.5

通信信道及特征

有線信道：

雙絞線：0~1MHz，被用作電話線

同軸電纜：1MHz~1GHz，用于電視廣播系統(tǒng)中

幅度和相位失真，加性噪聲，鄰近信道的串音干擾

光纖信道

信道帶寬比同軸電纜高好幾個數(shù)量級，1GHz~100GHz

低損耗，高帶寬，可提供遠距離的寬帶通信業(yè)務(wù)

發(fā)送機或調(diào)制器是LED或激光，通過改變光源強度發(fā)送信息。在接收機中，光強由光電二極管檢測，照射到光電二極管上的光功率和電信號的變化成正比。

光纖信道的噪聲源主要來自光電二極管和電子放大器。1.5

通信信道及特征

無線電磁信道

電磁能通過天線輻射出去，為獲得有效的能量輻射，天線尺寸必須大于（0.1*電磁波的波長）

地波傳輸：地波傳播的特點是信號比較穩(wěn)定，基本上不受天氣的影響，但隨著電波頻率的升高，傳輸損耗迅速增大。地面的導(dǎo)電性能越好，電波的頻率越低，地波傳播的損耗越小。因此，這種方式更加適合幾十kHz以下的低頻傳輸。1.5

通信信道及特征

天波傳輸：

天波傳播是電離層和地面對發(fā)送信號的反射形成的，電離層是由位于地球表面之上高度為50～400km的幾層帶電粒子所組成。在白晝，太陽給較低大氣層加熱，引起高度在120km以下的電離層的形成。電離層最高可反射40MHz的頻率。軍事中常用的短波通信的工作頻段為1.6MHz

-

30MHz。短波通信可以通過在電離層和地面間的多次反射傳播很遠距離。天波傳播的主要問題：多徑效應(yīng)：發(fā)送信號經(jīng)由多條傳播路徑以不同時延到達接收機時，會引起1、符號間干擾；2、信號衰落。噪聲來源：大氣噪聲和熱噪聲。1.5

通信信道及特征

直達徑傳播（LOS）：30MHz以上頻段的甚高頻（VHF)和更高頻段的信號。30MHz以上頻段的信號穿過電離層損耗較小，可用于衛(wèi)星通信（1GHz~100GHz）。移動通信目前主要使用特高頻（UHF，300MHz~3GHz）。天線架在高塔上，保證覆蓋范圍。多徑效應(yīng)仍明顯。熱噪聲和宇宙噪聲為主要噪聲。頻率越高，多徑效應(yīng)越弱，受大氣環(huán)境影響越大，比如，10GHz的信號受雨衰影響大。1.4

通信系統(tǒng)的性能度量

有效性（傳輸速率）

符號周期（s），符號傳輸速率（波特率，1Baud=1符號/s），波特率和符號周期成反比；

比特傳輸速率（bits/s）：若一個符號攜帶k比特信息，波特率為x，則比特率=kx;

頻帶利用率（bits/s/Hz）：若傳輸占用帶寬B，則頻帶利用率=kx/B;

可靠性（誤碼率）

誤碼率，誤比特率（和編碼調(diào)制方式，信噪比相關(guān)）通信原理確定與隨機信號分析信號可分為確定信號和隨機信號確定信號：能用函數(shù)準確表示出來的信號《信號與系統(tǒng)》隨機信號：無法用函數(shù)準確表示出來，只能通過概率分布等統(tǒng)計特性描述的信號。通信信號和噪聲為隨機信號。《概率論與隨機過程》，《信息論》確定信號分析基礎(chǔ)信號的傅里葉變換（信號的時域-頻域變換）周期信號：可展開為傅里葉級數(shù)非周期信號：傅里葉變換公式j(luò)

tF

(

)

e d

1

2

f(t)

e

j

tdt

f(t)

F

(

)

頻譜函數(shù)傅里葉變換得到的是雙邊譜，但實際的物理頻率自能是正數(shù)。帶寬對應(yīng)正頻率部分。確定信號分析基礎(chǔ)例子：數(shù)字通信中常用的矩形函數(shù)時域表示形式為

A,f(t)

0,

t

2 2其他

F

(

)=A

Sa

2

時域有限，頻域無限若取到第1一個零點的寬度為信號帶寬，則信號帶寬為

Hz確定信號分析基礎(chǔ)信號的時域及頻域卷積特性f1(t)

f2

(t)

F1(

)F2

(

)當信號通過線性系統(tǒng)時（比如信道），系統(tǒng)的輸出為輸入信號和系統(tǒng)沖擊響應(yīng)的卷積。f1(t)

f2

(t)

F1(

)

F2

(

)當f2(t)為正弦信號時，頻域卷積定理相當于調(diào)制定理。確定信號分析基礎(chǔ)帶通與低通信號的表示信源所產(chǎn)生的信息信號多為低頻（基帶）信號信道中傳輸?shù)臑檎{(diào)制后的帶通信號帶通信號特點：實高頻信號低通信號特點：復(fù)（或?qū)崳┑皖l信號帶通信號可以用一個等效低通信號來表示信號處理在基帶完成，簡化了帶通信號處理確定信號分析基礎(chǔ)帶通信號的頻譜特性實信號的傅里葉變換具有對稱性：X(

f)

X

*(

f

)帶通信號的頻域特性：幅度偶對稱，相位奇對稱。帶通信號的全部信息包含在正頻域中。帶通信號的頻譜位于遠離零的某頻率

f0

附近。在正頻率部分占用的頻段為帶通信號的帶寬確定信號分析基礎(chǔ)帶通信號的等效低通x

(t)

F

1

X

(f)

F

1

X

(f)

u(f)

x(t)

1

(t)

j

1

22

t

X

(f)

X

(f)

u(f) Xl

(f)

2

X

(f

f0

)x(t)xl

(t)0 0xl

(t)

F

1

Xl

(f)

2x

(t)

e

j

2

f0t

x(t)

jx?(t)

e

j

2

f0t

x(t)

cos

2

f t

x?(t)

sin

2

f t

j

x?(t)

cos

2

f0

t

x(t)

sin

2

f0

t

1x(t)

jx?(t)2 2x(t)的希爾伯特變換確定信號分析基礎(chǔ)帶通和等效低通信號的關(guān)系x(t)

Re

xl

(t)

e

j

2

f0t

xi

(t)

cos

2

f0

t

xq

(t)

sin

2

f0

t

rx

(t)

cos

2

f0t

x

(t)

確定信號分析基礎(chǔ)Y

(f)

X

(f)

H(f)2l llY(f)

1X(f)H

(f)2ll ly(t)

1x(t)

h

(t)????(????)=????(????)?

?(????)帶通系統(tǒng)（信道）的等效低通帶通系統(tǒng)：傳遞函數(shù)位于頻率f0

附近的系統(tǒng)h(t)

Re

hl

(t)

e

j

2

f0t

低通響應(yīng)函數(shù)若帶通信號x(t)

通過沖激響應(yīng)為h(t)的帶通系統(tǒng)，輸入輸出關(guān)系可表示為××+x1(t)xi

(t)xq

(t)cos2

f0t

0

sin2

f

tx(t)調(diào)制和解調(diào)中的頻譜搬移模塊可以合并到信道中，等效低通信道的輸入輸出關(guān)系為yl

(t)

xl

(t)

hl

(t)xl

(t)

的具體形式由調(diào)制方式?jīng)Q定，詳見數(shù)字調(diào)制技術(shù)一章????(????)=????(????)?

?(????)隨機信號分析基礎(chǔ)一些常見的隨機變量–

貝努力隨機變量取值為0和1，概率分別為p和1-p的隨機變量。概率分布：統(tǒng)計特性：p[

X

1]

p p[

X

0]

1

pE[

X

]

pVAR[X]

p(1

p)隨機信號分析基礎(chǔ)– 二項式隨機變量：對n個具有共同參數(shù)p的貝努力隨機變量的總和建模概率分布：統(tǒng)計特性：例：n個比特在通信信道上傳輸，每個比特的錯誤概率為p,錯誤比特數(shù)服從二項分布P[

X

k

]

n

pk

(1

p)n

k

k

k

0,1,

,

nE[

X

]

np,VAR[

X

]

np(1

p)隨機信號分析基礎(chǔ)均勻分布概率密度函數(shù)統(tǒng)計特性：10,

p(x)

b

a

, a

x

b其他2E[

X

]

b

a12(b

a)2VAR[

X

]

隨機信號分析基礎(chǔ)12x

t2Q(x)

e 2

dt

F

(x)

1

Q

x

m

12

22

2和高斯隨機變量密切相關(guān)的Q函數(shù)：

(

x

m)2p(x)

e高斯（正態(tài)）隨機變量 X

~

N (m,

2)概率密度函數(shù)：隨機信號分析基礎(chǔ)若度函數(shù)為

2

隨機變量獨立同分布，零均值，方差相同的高斯隨機變量則x為具有n個自由度的

2隨機變量，其概率密例，衰落信道的信道增益服從自由度為2的

2

分布12n/2

nx

2n

x

2

2

,n

1

e x

0

p(x)

2

(

)

0,

其他隨機信號分析基礎(chǔ)為瑞利隨機變量。瑞利隨機變量的PDF為瑞利（Rayleigh）隨機變量如果X1和X2是兩個均值為0，方差為

2

的獨立同分布的高斯變量，則2

ep(x)2

2

,x2

x

0,

x

0其他例，在無線系統(tǒng)中，當發(fā)射機和接收機之間無直達徑時，信道衰落的幅值服從瑞利分布隨機信號分析基礎(chǔ)例，在無線系統(tǒng)中，當發(fā)射機和接收機之間有直達徑時，信道衰落的幅值服從萊斯分布萊斯（Rice）隨機變量若x1和x2是兩個獨立的高斯變量，x1的均值為m1，x2的均值為m2，兩個變量的方差均為

2服從萊斯分布。概率密度函數(shù)為2sx2

2

x2

s2

xI

e, x

0

0

p(x)

2

0，

其他隨機信號分析基礎(chǔ)聯(lián)合高斯隨機變量：一個n維向量

x，若向量中的元素服從聯(lián)合高斯分布，其聯(lián)合概率密度函數(shù)為211/2

e

1

x

m

T

C

1

x

m

p(x)

(2

)n/2

C其中，m

E

x

,

C

E

(x

m)

x

m

T

– 若x

中的元素相互獨立，則

p(x)

為n個變量概率密度函數(shù)的乘積。隨機信號分析基礎(chǔ)聯(lián)合高斯變量任何子集中的隨機變量也是聯(lián)合高斯的。對于聯(lián)合高斯隨機變量，不相關(guān)等價于獨立。隨機信號分析基礎(chǔ)如果

Xi

,

i

1,

2,

表示獨立同分布的隨機變量序列，定義序列的平均運算兩個極限定理，大數(shù)定理和中心極限定理準確地闡述了當n趨于很大時，Yn

的統(tǒng)計特性。nniX1ni

1Y

隨機信號分析基礎(chǔ)中心極限定理：如果大數(shù)定律：如果

Xi

,

i

1,

2,

是一個具有

E

Xi

的獨立同分布的隨機變量序列，則

Xi

,

i

1,

2,

是一個獨立同分布的隨機變量序列，E

Xi

m,

Var(

Xi

)

2ni

1Xi

E[

X1]n1

in

/

ni

1X

mn1

N (0,1)隨機信號分析基礎(chǔ)復(fù)隨機變量Z

X

jY

可視為由一對實隨機矢量X和Y組成的向量[X

Y];復(fù)隨機變量Z

X

jY的概率密度函數(shù)定義為X和Y的聯(lián)合概率密度函數(shù)。–

如果X和Y聯(lián)合高斯分布，且X和Y獨立同分布，則Z的概率密度函數(shù)為z

22

212

212

2x2

y2

e

e 2

2p(z)

隨機信號分析基礎(chǔ)–

復(fù)高斯隨機變量Z的均值和方差定義為E[Z

]

E[

X

]

j

E[Y

]VAR[Z

]=E[

Z

2

]

E[Z

]

2

VAR[X

]

VAR[Y

]機過程隨隨機過程的定義–

設(shè)某隨機系統(tǒng)輸?shù)暮瘮?shù)，所有可?出的樣本點為定義于參數(shù)集T上能的樣本函數(shù)在t

T

點是一個隨機變量X(t)，則集合

X

(t)

t

T

為一個隨機過程。隨機過程是時間的函數(shù)；隨機過程在每個時間點上的值為隨機變量；隨機過程舉例：語音信號，電視信號，雷達信號，噪聲。隨機過程可表示為多維隨機變量

[x1,

x2

,

x3,

]可通過變量的各階概率密度函數(shù)描述隨機過程的統(tǒng)計特性隨機過程令

[

X1,

X

2

,

Xk

]

表示隨機過程在k個時間點上的采樣值，則該隨機過程在k個時刻的聯(lián)合行為由隨機向量[

X1,

X

2

,

Xk

]的聯(lián)合概率分布函數(shù)決定。FX

(x1,

x2

,

,

xk

;t1,t2

,

,tk

)

P(

X1

x1,

X

2

x2

,

Xk

xk

)隨機過程隨機過程x(t)的均值和自相關(guān)函數(shù)定義為均值相關(guān)函數(shù)mX

(t)=E[

X

(t)]R (t,t)

E[X(t)

X*(t)]X 1 2 1 2兩個隨機過程x(t)和y(t)的互相關(guān)函數(shù)定義為R (t

,

t )

E[X(t

)Y

*(t )]XY 1 2 1 2平穩(wěn)隨機過程若序列的統(tǒng)計性質(zhì)與時間的推移無關(guān)，即符號序列的概率分布與時間起點無關(guān)，則該隨機過程為嚴平穩(wěn)隨機過程。對任意t1,

t2

,

,

tk和任意

，嚴平穩(wěn)隨機過程的k階概率分布函數(shù)滿足FX

x1,

,

xk

;t1,

,

tk

FX

x1,

,

xk

;t1

,

,

tk

任意階的聯(lián)合概率密度函數(shù)具有時移不變性平穩(wěn)隨機過程對嚴平穩(wěn)隨機過程而言，任意兩個不同時刻取樣值的一維概率密度函數(shù)完全相同，即對任意不同時刻

i,j,嚴平穩(wěn)隨機過程的二維聯(lián)合概率分布也與時間起點無關(guān)，即f

xi

f

xj

f

xixj

f

xi

k

x

j

k

???? ???????? =

???? ???????????? ????????????????只和（j-i）相關(guān)廣義平穩(wěn)隨機過程（寬平穩(wěn)隨機過程）廣義平穩(wěn)隨機過程的充要條件：均值為常數(shù)：

E(x(t))

自相關(guān)函數(shù)滿足：Rx

(t1,

t2

)

Rx

(t1

t2

)嚴平穩(wěn)隨機過程一定是寬平穩(wěn)隨機過程寬平穩(wěn)隨機過程不一定是嚴平穩(wěn)隨機過程如果x(t)和y(t)為廣義平穩(wěn)隨機過程，且Rxy

(t1,

t2

)

R

xy

(

)，則兩過程聯(lián)合平穩(wěn)。平穩(wěn)隨機過程功率譜密度：反映信號功率在單位頻率上的分布情況功率譜密度是實、非負和w的偶函數(shù)。信號功率的計算公式：21NN(

)N

S(

)

lim E

UNNNx (n)e

j

nU (

)

n

NXXX

P

E

X

(t)

2

R (0)

S (f

)df

平穩(wěn)隨機過程的性質(zhì)性質(zhì)一：對于廣義平穩(wěn)隨機過程，SX(f)

F

[RX(

)]性質(zhì)二：如果x(t)和y(t)是聯(lián)合廣義平穩(wěn)隨機過程，則z(t)=ax(t)+by(t)是廣義平穩(wěn)隨機過程，其自相關(guān)函數(shù)和功率譜密度為2 2**ZX Y XYYXb R ( (R (

)

a R (

)

)

abR

)

ba

R (

)2 2 *SZ(f)

a SX(f)

b SY

(

f

)

2Re[ab

SXY

(

f

)]平穩(wěn)隨機過程

性質(zhì)三：當一個廣義平穩(wěn)隨機過程x(t)通過一個沖激響應(yīng)為h(t)的線性時不變系統(tǒng)時，輸出過程y(t)和x(t)是聯(lián)合廣義平穩(wěn)隨機過程，且下列關(guān)系成立：mY

mX

h(t)dt

mX

H

(0)*Y XR (

)

R (

)*

h(

)*

h

(

)2SY

(

f

)

SX

(

f

)

H

(

f

)RXY

(

)

RX

(

)*

h

(

)*SXY

(

f

)

SX

(

f

)H (f

)*高斯隨機過程如果對所有采樣時刻如果x(t)和y(t)是聯(lián)合高斯過程，則復(fù)過程Z(t)=x(t)+jy(t)是高斯的。(t1,

t2

,

,

tn

)

，隨機矢量(X(t1),

X(t2

),

,

X(tn

))服從聯(lián)合高斯分布，則該隨機過程為高斯隨機過程。對兩個不相關(guān)的高斯隨機過程，有RXY

(t

,

t)

E

X

(t

)

E

Y

(t)

,

t,

白過程2R

N0

白過程：功率譜對所有頻率為常數(shù)，即SX(f)

N0

2自相關(guān)函數(shù)為離散時間隨機過程–

功率譜密度定義為–

自相關(guān)函數(shù)為–

離散時間隨機過程的功率為XXR (m)e采樣時間T為整數(shù)集時，隨機過程為離散隨機過程。離散隨機過程通?？捎?/p>

x(n),x(n

1),

x(n

M

)這樣的時間序列來表示。

j2

fmm

S (f)

XX

1

2

1

2 j2

fmR (m)

S

(

f

)e

df

XX

1

2

P

E

X(n)2

R (0)

1

2

S (f

)df

馬爾可夫（markov）過程設(shè)X(t)為隨機過程，若對任意t1

t2

tk

1

時刻的隨機變量X

t1

,

X

t2

,

,

X

tk

1

，有P

X

tk

1

xk

1

P

X

tk

1

xk

1

X

tk

xk

則稱X(t)為markov隨機過程。離散markov隨機過程X

t1

x1,

X

t2

x2

,

,

X

tk

xk

P

X

tk

1

xk

1

P

X

tk

1

xk

1

X

tk

xk

X

t1

x1,

X

t2

x2

,

,

X

tk

xk

馬爾可夫（markov）過程C-K方程xk

;tk

)xk

;tk

)f

X

(xk

1,

xk

1;tk

1,

tk

1xk

;tk

)

f

X

(xk

1;tk

1

f

X

(xk

1;tk

1xk

;tk

)

f

X

(xk

;tk

f

X

(xk

1;tk

1xk

1;tk

1)dxkxk

1;tk

1)

f

X

(xk

1;tk

1

無后效性在當前狀態(tài)(xk

,

tk

)已知的條件下，將來所處的狀態(tài)和過去的狀態(tài)無關(guān)，即馬爾可夫鏈離散狀態(tài)集：狀態(tài)值離散可數(shù)的馬爾可夫隨機過程。

Xn

：馬爾可夫鏈S

1,

2,

,

N

N狀態(tài)概率：

pi

(n)

P(

Xn

=

i)狀態(tài)概率矢量：

P(n)

p1(n),

p2

(n),

,

pN

(n)

pi

(n)

1i

1狀態(tài)轉(zhuǎn)移概率：

ij

(m,

n)

P

Xn

j

Xm

i

馬爾可夫鏈常數(shù)，則P

P

S

pi

1i

1根據(jù)全概率公式p(n)

p(m)

(m,

n)齊次馬爾可夫鏈：

ij

(m,

n)只和時間間隔m-n相關(guān)，而和時間起點m無關(guān)。p(n)

p(m)

n

m當markov鏈達到穩(wěn)態(tài)時，狀態(tài)概率矢量為馬爾可夫鏈狀態(tài)集S={0,1,2}。一步狀態(tài)轉(zhuǎn)移矩陣該markov鏈是齊次的，因此，例：某房間內(nèi)有兩個燈泡，每天壞掉一個燈泡的概率為p，一個也不壞的概率為q=1-p。設(shè)

xn

為第n天房間剩下的好燈泡的個數(shù)。試證明當n

時，

xn的狀態(tài)概率為（1,0,0）。0

1

0

0

p q

0

p

q

0

0qn 0

npqn

11

n

1

qn

1

qn

npqn

1

qn

0

1

0

0

n

1 0

1

0

0

n

馬爾可夫鏈狀態(tài)概率矢量的初始值P(0)

[0

0

1]P(n)

P(0)

n

1 0 0

通信原理信源及信息測度信源的數(shù)學(xué)模型及分類

單符號信源

符號序列信源

連續(xù)波形信源信源的數(shù)學(xué)模型及分類（單符號信源）

根據(jù)信源產(chǎn)生的消息的不同的隨機性質(zhì)，可以將信源分為：

離散信源（取值離散）：信源輸出的是單個符號的消息，符號的取值是有限的（離散）。我們可用一維離散隨機變量x來描述信源的輸出。

文本，計算機代碼，電報符號，數(shù)字碼1 2qa

x

P(x)

P(a1) P(a2

)a

a

P(aq

)

P(ai

)

1q

i

1信源的數(shù)學(xué)模型及分類（單符號信源）

連續(xù)信源：輸出消息的取值是連續(xù)的，隨機的?？捎靡痪S連續(xù)性隨機變量x來描述這些消息。

語音信號，視頻信號，熱噪聲等

x

R

P(x)

P(x)

R

P(x)

dx

1信源的數(shù)學(xué)模型及分類（符號序列信源）

當信源輸出的消息是按一定概率選取的符號序列時，可以把這種信源輸出的消息看做時間或空間上離散的一系列隨機變量，即隨機矢量。這樣，信源的輸出可以表示為X

[x1,

x2

,

,

x

N

]信源輸出的符號序列可以建模為離散時間隨機過程信源的數(shù)學(xué)模型及分類

平穩(wěn)信源（按照符號的性質(zhì)分類）

在隨機矢量中，若每個隨機變量都是離散性隨機變量，且X

的各維概率分布與時間起點無關(guān)。則該信源為離散平穩(wěn)信源。

在隨機矢量中，若每個隨機變量都是連續(xù)性隨機變量，且

X

的各維概率密度函數(shù)與時間起點無關(guān)。則該信源為連續(xù)平穩(wěn)信源。信源的數(shù)學(xué)模型及分類

平穩(wěn)信源（按照符號間的相關(guān)性分類）

無記憶信源：信源在不同時刻發(fā)出的符號之間是相互獨立的。向量中的各變量獨立。X

[x1,

x2

,

,

x

N

]即N維隨機矢量的聯(lián)合概率分布滿足P(

X

)

P(

X1

X

2

XN

)

P1(

X1)P2

(

X

2

)

PN

(

XN

)

PN

(

X )i信源的數(shù)學(xué)模型及分類

有記憶信源：信源在不同時刻發(fā)出的符號之間相互依賴。

有記憶信源可建模為馬爾可夫隨機過程。

當記憶長度為m+1時，被稱為m階馬爾可夫信源。

當信源輸出為離散值時，m階馬爾可夫信源可用m階馬爾可夫鏈來表示。信源的數(shù)學(xué)模型及分類（波形信源）

隨機波形信源：信源輸出消息在時間和幅值上均為連續(xù)的；在某一固定時間，輸出消息的取值又是連續(xù)和隨機的。

隨機波形信源可建模為連續(xù)隨機過程

語音信號，熱噪聲，電視圖像離散信源的信息熵

離散信源的數(shù)學(xué)模型

信源輸出多少信息？每個消息攜帶多少信息量？a1

x

P(x)

P(a1)a2

aqP(a2

)

P(aq

)

q

P(ai

)

1i

1xx?收到某消息獲得的信息量=收到消息前關(guān)于某事件的不確定性- 收到消息后關(guān)于某事件的不確定性離散信源的信息熵

自信息：如果事件ai發(fā)生，則它包含的信息量為1i

事件ai發(fā)生之前，表示ai發(fā)生的不確定性；

事件ai發(fā)生之后，表示ai提供的信息量。

對數(shù)以2為底時，信息量的單位為比特；以e為底時，單位為奈特；以10為底時，單位為哈特。I(ai)

logP(a

)離散信源的信息熵

信息熵：信源的平均自信息1qP(ai

)

log

P(ai

)P(a

)i

1

H

(x)

E

log

i

信源輸出后，每個消息或符號提供的平均信息量；

信源輸出前，信源的平均不確定性；例子：某地天氣預(yù)報構(gòu)成的信源空間為：

X

P(x)

1/2

晴陰 大雨 小雨

1/4 1/8 1/8

天氣預(yù)報提供的平均信息量

H

X

1.75比特信息熵的基本性質(zhì)

熵函數(shù)：qH

(x)

P(ai

)

log

P(ai

)

H

(p1,

p2

,

,

pq

)

H(p)i

1

確定性：當任一概率 pi

1 時， H(p)

0

非負性：H(p)

0

可加性：統(tǒng)計獨立信源的聯(lián)合信源的熵等于分別熵之和。H

(XY)

H(X)

H(Y)信息熵的基本性質(zhì)

強可加性：兩個相互關(guān)聯(lián)的信源X和Y的聯(lián)合信源的熵等于信源X的熵加上在X已知條件下Y的條件熵。H

(XY)

H(X)

H(Y

X)nnmijiji

p

P(Y

yX

x)logP(Y

yX

x)

條件熵的計算公式：H(Y

X)

pi

H

(Y

X

xi

)i

1

i

1

j

1信息熵的基本性質(zhì)

極值性（最大離散熵定理）：在離散信源情況下，信源各符號等概分布時，熵值達到最大。H(p)

H

(p1,

p2

,

,

pq

)

H

(1/

q,1/

q,

,1/

q)

log

q離散平穩(wěn)信源

離散平穩(wěn)信源：平穩(wěn)信源，時間離散，符號取值離散X

[x1,

x2

,

,

x

N

]

離散平穩(wěn)無記憶信源：信源輸出的消息序列是平穩(wěn)序列并且符號之間是統(tǒng)計獨立的。

隨機矢量的聯(lián)合概率分布等于隨機矢量中各個隨機變量的概率乘積。

離散平穩(wěn)有記憶信源離散平穩(wěn)無記憶信源

離散平穩(wěn)無記憶信源：將一個離散無記憶信源的輸出消息序列用一組長度為N的序列X

[x1,

x2

,

,

x

N

]來表示。這時，它就等效為一個新信源。新信源的輸出是長為N的符號序列，其中每個變量都是來自基本樣本空間的隨機變量，并且變量之間相互獨立。這個由隨機矢量x所構(gòu)成的新信源為離散無記憶信源的N次擴展信源。離散無記憶擴展信源

離散無記憶信源的概率空間1 2 q

x

P(a

) P(a

)P(a

)

P(x)

a1

a2

aq

X的N次擴展信源xN

是具有qN個符號序列的離散信源，其概率空間為

xN

P(α1)P(αN

)

q

P(αi

)

α1

α2

αqNP(α2

)

ai

2

ai3aiN

αi

ai1

P

αi

P

ai1

P

ai

2

P

aiN

[x1,x2

,

,x

N

]離散無記憶擴展信源

N次擴展信源的信息熵

qNNiii

1H

(x )

P αlog

P

αP

αi

P

ai1

P

ai

2

P

aiN

NH

(x)離散平穩(wěn)信源

在一段時間內(nèi)，信源輸出的信號用隨機矢量表

一維平穩(wěn)信源：任意兩個不同時刻信源發(fā)出的符號的概率分布完全相同12qaP(a2

)

x

P(x)

P(a1)a

a

P(aq

)

x2示為x

x1

x3

xi

P(xi

aq

)

P(x

j

aq

)

P(aq

)P(xi

a1)

P(xj

a1)

P(a1)

離散平穩(wěn)信源

二維平穩(wěn)信源：信源發(fā)出符號的一維和二維概率分布與時間起點無關(guān)。P(xixi

k

)

P(x

j

x

j

k

), i

j

離散平穩(wěn)信源：各維聯(lián)合概率分布均與時間起點無關(guān)，即j

NP(xi

)

P(x

j

)P(xixi

k

)

P(x

j

x

j

k

),P(xixi

1

xi

N

)

P(x

j

x

j

1

x

)對于平穩(wěn)信源，其聯(lián)合概率分布和條件概率分布均與時間起點無關(guān)，只與關(guān)聯(lián)長度相關(guān)二維離散平穩(wěn)信源二維平穩(wěn)信源1 2Nx

x

x12q

xi

P(a

)

P(x)

P(a

)

a1

a2

aq

P(a

)

任何長度為2的符號序列的概率分布相同P(x1x2

)

P(x2x3

)

P(x

N

1x

N

)

可根據(jù)輸出信號的二維概率分布計算長度為2的序列的信息熵平穩(wěn)信源的二次擴展信源及信息熵12qa1

x

P(a

)P(a

)

a2

aq

P(a

)

i j ij ia1a1a1a2

x1x2

P(x)

P(aa)

P(a

)P(a a

)

P(xx

)

1 2

aqaq

由于是平穩(wěn)信源，所以聯(lián)合概率不隨時間變化

當l=2

時，由兩個符號組成的序列可視為二維平穩(wěn)信源的輸出：

信源有q2

種可能的輸出，每個輸出代表新信源的一個符號，二維平穩(wěn)信源及信息熵

二維平穩(wěn)信源聯(lián)合熵

二維平穩(wěn)信源條件熵

1 2q qi ji jP a

a logP a

a

H

(x

x )

i

1 j

1qi jj iH

(x2i

1i

1 j

1x1

ai

)x1)

P

ai

H

(x2

P

a

a

log

P

q qa a

qjP aai

log

P

aj

ai

j

1二維平穩(wěn)信源及信息熵

聯(lián)合熵和條件熵的關(guān)系H

(x1x2

)

H

(x1)

H

(x2

x1)

條件熵和無條件熵的關(guān)系H

(x2

x1)

H

(x2

)H

(x1x2

)

H

(x1)

H

(x2

)

2H

x

x1和x2相互獨立時，等式成立離散平穩(wěn)信源的極限熵

設(shè)離散平穩(wěn)信源的數(shù)學(xué)模型為

假設(shè)已知符號序列的各維概率分布。1 2qa1

x

P(a

)P(a

)

P(x)

a2

aqP(a

)

發(fā)出的符號序列為

x

x1

x2 x3

xi

離散平穩(wěn)信源的極限熵

離散平穩(wěn)信源的N次擴展信源的信息熵（聯(lián)合熵）

在已知前N-1個符號時，后面一個符號所攜帶的平均信息量為q qi1

1 iN

1H

(x1x2

xN

)

P

ai1ai

2

aiN

logP

ai1ai

2

aiN

平均符號熵：N長的信源符號序列中平均每個信源符號所攜帶的信息量為N 1 2NNH (x)

1

H

(x

x

x

)

1 2Ni1iN

1N

1i1

1 iN

1H

X X

X

X

P

ai1

ai2

aiN

log

P

q qai a

aN離散平穩(wěn)信源的極限熵

離散平穩(wěn)信源具有如下性質(zhì)：

平均符號熵HN

(x)

隨N的增加是非遞增的；

條件熵H

XN

X1X

2

XN

1

隨N的增加是非遞增的；

對于離散平穩(wěn)信源，極限熵H

存在，且H

limHN(x)

limH(XNN

N

X1X

2

XN

1)離散平穩(wěn)信源的極限熵

某離散平穩(wěn)信源的概率空間為

若信源符號間相互獨立，則信源熵

x

1

P(x)

0 1 2

11 4

36 9 4

3H

(x)

P(ai

)

log

P(ai

)

1.542(比特/符號)i

1離散平穩(wěn)信源的極限熵????????????????01209/111/8012/113/42/9201/87/9

若符號間相互依賴，且條件概率為????(????????|?????????

3 31 2i j i jH

(x

x )

P a

a logP a

a

2.41

i

1 j

1平均每符號攜帶的信息量1.2比特離散平穩(wěn)信源的極限熵

極限熵1 2NN

1i1

1 iN

1H

X X

X

Xq q

P

ai1

ai2

aiN

logP

aiN

ai1

aiN

1

NP(aiai

)N

13 3

P(aiN

1

aiN

)

log

P(aiN

aiN

1

)iN

1

1

iN

1

H

X

2X1

0.87(比特/

符號)馬爾可夫信源

信源輸出的符號序列中符號之間的依賴關(guān)系是有限的，即任何時刻信源符號發(fā)生的概率只與前面已經(jīng)發(fā)出的若干個符號有關(guān)，而與更前面的符號無關(guān)。

M階有記憶離散信源：在時刻l之前的M個符號已知的條件下，時刻l所發(fā)出的符號只和這M個符號相關(guān)，而與更之前的符號無關(guān)。P

X

l

xlX

1

x1,X

2

x2

,

P

X

l

xl

X

l

1

xl

1,

X

l

2

xl

2

,

,

X

l

m

xl

m

M階有記憶離散信源可用馬爾可夫鏈來描述。馬爾可夫信源

M階馬爾可夫信源：

令態(tài)。

信源輸出符號的概率與信源狀態(tài)有關(guān)。

我們可以把前面M個符號組成的符號序列看作信源在當前時刻的狀態(tài)。

假設(shè)信源符號集有q個符號，則信源有qM個不同的狀態(tài)，對應(yīng)于qM個長度為M的不同序列。1 2 JX

a1,

a2

,

,

aq

表示信源可能的輸出符號

令 S

E,E,

,

E

（J

qM）表示信源所處的狀馬爾可夫信源

狀態(tài)轉(zhuǎn)移概率：s

(l

)

EmX

l

1

xl

1,

X

l

2

xl

2

,

X

(l

-

m

1),

X

l

m

xl

m

X

l

xls(l

1)

En狀態(tài)一步轉(zhuǎn)移概率 可由條件概率P

X

l

xl確定X

l

1

xl

1,

X

l

2

xl

2

,

,

X

l

m

xl

m

Pr????(????+1)=

????????|???????? =

????????馬爾可夫信源為時齊馬爾可夫信源。

若狀態(tài)轉(zhuǎn)移概率

P(sl

E

jsl

1

Ei

)

與時刻l無關(guān)，則馬爾可夫信源

定義：信源輸出的符號序列和信源所處的狀態(tài)滿足下列兩個條件（1）某一時刻信源符號的輸出只與此時刻信源的狀態(tài)有關(guān)，而與之前的狀態(tài)及輸出都沒有關(guān)（2）信源某時刻所處的狀態(tài)由當前的輸出符號和前一時刻信源的狀態(tài)唯一確定。sl

Ei

系。P

xl

al

sl

Ei

,

xl

1

al

1,

sl

1

Ej

,

P

xl

al馬爾可夫信源

例1.有一個二元二階馬爾可夫信源，其信源符號集為[0，1]，條件概率為P

0

00

P

111

0.8P

1

00

P

0

11

0.2P

0

01

P

0

10

P

1

01

P

110

0.5該信源有4種可能的狀態(tài)：E1

:

00,

E2:

01,

E3

:10,

E4:11P

E1P

E2P

E3E1

P

E4E1

P

E3E2

P

E2E4

0.8E4

0.2E3

P

E4E2

P

E1E3

0.5馬爾可夫信源Ej

E

時齊遍歷的馬爾可夫鏈

轉(zhuǎn)移步數(shù)足夠長以后，信源所處的狀態(tài)與初始狀態(tài)無關(guān)，每種狀態(tài)出現(xiàn)的概率達到一種穩(wěn)定分布；

Q

Ej

P

Ei

Ej

Q

Ei

Q

Ej

1Ei

E馬爾可夫信源根據(jù)全概率公式：

411iQ E P EQ(E)

422iQ E P EQ(E)

i

1

i

1433iQ E P Ei

1Q(E)

444iQ E P EEi

Ei

Ei

Ei

i

1Q(E)

4

Q(Ei

)

1i

1Q(E1)

Q(E4

)

5

/

14Q(E2

)

Q(E3

)

1

/

7馬爾可夫信源的極限熵

M階馬爾可夫信源的極限熵

iN

i1H

XiN

1N 1 2 N

1i1

1 iN

1X

X

Xq q

P

ai1

ai2

aiNlog

P a a

a

q qi iJiiQ(E

)H

X

EN

1N

MiN

1 iN

M

1q qiN

1

iN

M

1

i

1

P(aiN

aiN

M

)

log

P(aiNai

,

ai

)N

1 N

M

P a ,

aai ,

aiN

1 N

M

N

P(aiN

aiN

1

,

aiN

M

)

log

P(aiNqi

P a Ei

log

P

aiN

Ei

iN

1馬爾可夫信源

時齊遍歷馬爾可夫鏈的熵

JiiQ(E

)H X EH

i

1qEi

log

P

ak

Ei

P

akk

1馬爾可夫信源

接-例1

JiiQ(E

)H X EH

i

1P

0

00

P

111

0.8P

1

00

P

0

11

0.2P

0

01

P

0

10

P

1

01

P

110

0.5qEi

log

P

ak

Ei

P

akk

1波形信源的統(tǒng)計特性

隨機波形信源：信源輸出為時間的連續(xù)函數(shù)，在任意時刻的取值為取值連續(xù)的隨機變量。

信源的輸出可用隨機過程

x(t)

來描述；

隨機過程

x(t)

可看成由一族時間函數(shù) xi

(t)

組成，xi

(t)

為樣本函數(shù)。隨機過程中有無限多個樣本函數(shù)。

在任意時刻t，信源輸出

x(t)為取值連續(xù)的隨機變量；波形信源的統(tǒng)計特性

隨機波形信源可用有限維概率密度函數(shù)族和相應(yīng)的統(tǒng)計量來描述。P

x1,

t1

P

x1,

x2

,

t1,

t2

P

x1,

x2

,

,

xn

,

t1,

t2

,

tn

波形信源的統(tǒng)計特性

隨機波形信源分為平穩(wěn)隨機波形信源和非平穩(wěn)隨機波形信源

平穩(wěn)隨機波形信源：各維概率密度函數(shù)不隨時間平移而變化p(x1(t1),

x2

(t2

),

,

xn

(tn

))

p(x1(t1

),

x2

(t2

),

,

xn

(tn

))

非平穩(wěn)隨機波形信源：各維概率密度函數(shù)隨時間平移而變化

在通信系統(tǒng)中，通常用平穩(wěn)隨機過程來描述隨機波形信源的輸出波形信源的離散化

時間離散化：

時域采樣定理：如果某一時間連續(xù)函數(shù)的頻帶受的采樣值確定。

當隨機過程的總時間為T時，波形信源的輸出包括2FT個采樣值的隨機序列。

通過采樣，將波形信源變換成時間離散的隨機序列。2F限（頻率上限為F），函數(shù)完全可以由間隔

12F

波形信源的輸出可以用一系列 t

n

時刻上的樣本值

n

來表征。x

2F

波形信源的離散化

幅度離散化：對不同時刻的采樣值進行量化。

采樣+量化使隨機過程變換成時間和取值都是離散的隨機序列。

問題：將時間取值連續(xù)的輸出轉(zhuǎn)換成時間取值離散的輸出是否造成信息損失？A.

是

B.

否損失由什么導(dǎo)致？A.

采樣

B.

量化C

采樣+量化如果有信息損失，損失了多少信息量？連續(xù)信源

連續(xù)信源：輸出消息為連續(xù)隨機變量的信源。

連續(xù)信源是波形信源的特例波形信源

x(t1),

x(t2

),

,

x(tn

)

x(ti

)

連續(xù)信源連續(xù)信源的信息測度

p(x)

dx

1

p(x)

RX

R

連續(xù)信源的差熵

基本連續(xù)信源的數(shù)學(xué)模型為取值連續(xù)的實數(shù)集

連續(xù)信源的差熵：h(

X

)

p(x)

log

p(x)

dxR差熵 絕對熵不代表信源平均不確定性的大小，不代表連續(xù)信源輸出的信息量與離散信源的熵在形式上統(tǒng)一，實際中往往討論熵的差值。連續(xù)信源的信息測度

可加性：

可為負數(shù)。

兩個連續(xù)變量X、Y的聯(lián)合熵和條件熵h(

XY

)

p(xy)

log

p(xy)

dxdyRh(Y X

)

p(x)

p(y

x)

log

p(y

x)

dxdyR

連續(xù)信源差熵的性質(zhì)：h(XY)

h(X)

h(Y

X)

h(X)

h(Y)兩種特殊連續(xù)信源的差熵

均勻分布連續(xù)信源的差熵

一維隨機變量X在[a,b]內(nèi)均勻分布，其差熵1 1balog

dxh(

X

)

b

a

b

a

log(b

a)

比特/自由度兩種特殊連續(xù)信源的差熵

高斯信源的差熵

信源輸出的一維隨機變量x的概率分布為高斯分布，則2

1

log

2

e

2h(

X

)

p(x)

log

p(x)dx 1 2

22

2

x

m

2

p(x)