講座第二概率

A={HH,對每個事件A，我們定義一個數(shù)字P(A，稱為A1、事件A的概率是一個非負實數(shù)：P(A3、對兩兩不相交（互斥）事件A1A2￥(

=?(Ai

: ω=HHTHHTHHTTX(ω)=6。例2.3：令W={(xy)x2y2￡1}表示單位圓盤，輸出為該圓盤中的一點w=(x,y，則有隨機變量：X(w)=x,Y(w)=y,Z(w) DxN (cumulativedistributionfunction,CDFF(x)(X若X的取值為一些可數(shù)的數(shù)值x1,x2

p(x)=(X=對所有的xp(x)30bò(a<X<b)= p(x)dxòa

a￡bp(x)p(x)x

Fx( p(t)dtp(x)=F￠(x)(quantilefunction)

(a)=inf{x:

3其中a?[0,。若F嚴格遞增并且連續(xù)，則F-1(aXF-1FXX中值(median)：F-1X (0,1)，其CDF的反函數(shù)記為F-?-1?a -1 a ?÷,F ?1-÷÷=(- è2 2注意在離散情況下為?xxp(x) 個常數(shù)b的距離，即X

小。因此我們可以確定b的值，使得(X-b)2)最小，b可認為是X的一個很好預測。（不能直接最小化Xb)2(X-b)2=(X-X+X-=((X-X)+(X-=(X-b)(X-X)==(X-X)2+(X-b)2=(X-b)(X-X)=b*=argmin(X-b)2=argmin(X-b)2= 眾數(shù)：設隨機變量X有密度p(x)x0x0=argx

p(x)x0為X的眾數(shù) [薩姆工作了幾天之后，要求見廠長。 若X為均值m的隨機變量，X的方差記為s2、s2或(XX(X (X-m)2=s2=ò(x-m)2dF假設期望存在，標準差是sd (X),又記為s或sX(X)2=m2+(X=)= (X=0)=1- q?[,我們稱X服從參數(shù)為θ的Bernoulli分布，記為X~p(x|q)=qx(1-q)1-x,forx?[, ?n÷x ? p(x|n,q)=?÷q(1-q) ?÷èx ?x (n-中拋擲到第j面的概率為 ，假設我們一共拋擲n次。jx=j

,...,x

x表示拋擲到第j 表示隨機向量，其中則x的分布為多項分布，記為X~Mu(n,θ) ? p(x|n,θ)=

qj

÷= jxj

xK÷

x

xK

!...xK當n=1時，記為Categorical分布Cat(x|θ) Mu(x即x~Cat(θ),則p(x=j|θ交通事故）X?{0,12}l滿足參數(shù)為lxlp(x|l)=

~ l l l=1:均勻分布X~Unif ?p(x)=íb- x?[a,? 2高斯分布/正態(tài)分布

(m,s2==表示服從標準正態(tài)分布的變量，記為Z pdf和CDF分別記為若X (m,s2)，則Z=(X-m)s 若Z (0,1) X=m+sZ (m,s2當s

(x|m,s2)=d(x-其中Diracltaíd(x)=í

ifx 使得

￥d(x)dx? fx1 -￥òf(x)d(x-u)dxò

f別將Diracdelta函數(shù)與Kroneckerdeltadij

(i

=??

ifi=fi1 ()

x?,StudenttStudentt分布的pdf無噪 有噪 ：對任意正實數(shù)隨機變量ate-p(x|a,b)=G(a) Ga(x|shape=a,scale=b) baG(a)

xa-1e-x?=Ga?x|shape=a,rate

1 反Gamma分布：若X~Ga(a,b

1X~ -xIG(x|shape=a,scale=b)=G(a) p(x)= (x|m,t2)p(t2)dt2如Studentt(x|m,s2,v)=

(x|m,s2l)?

v,v÷dl l22 當自由度 ￥時，極限分布為高斯分?(x|m,s2,￥)= limò (x| l)Ga? vv?l (x|m,s2n l 2

XD對離散型隨機變量，如果(X,Y)有聯(lián)合密度函數(shù)pX(x)=(X=x)=?(X=x,Y=y)=?p(x, pYy)0時： (x|y)=(X=x|Y=y)=(X=x,Y=y)=pX,Y(x,YX (Y= p(Y (x|y)=pX,Y(x,

pYy)0X pY(pX條件概率鏈規(guī)則（Chainp(x,y)=p(x|y)p(p(x,y,z)=p(x|y,z)p(y,=p(x或

y,z)p(y|z)p(z)p(x,y,z)=p(x)p(y|x)p(z|x, ??

y1, px(x)j

pY|X(x|yj)pY(yj

似 先 y|x pX|Y(x|ykpYyk X ? (x|yp(y后

X

òpX|Y(x

D+-|D

D

Dc Dc |Dc .9Dc DcDc .099D|

DDc

DD+--|D-

-D

-|D++|DD+Dc +D+|Dc .1 -|Dc++|DcDc DcDc - - D|- 得病概率幾乎為- -D-Dc .001若對所有的xy(或

=x,Y=y)=(X=x)(Y=pX,Y(x,y)=pX(x)pY(則稱X與Y獨立，記為X^若對所有的xy，z(X=x,Y=y|Z=z)=(X=x|Z=z)(Y=y|Z=或pX,Y|Z(x,y|z)=pX|Z(x|z)pY|Z(y|則稱X與Y獨立，記為X^Y| 當X1,...,XN 為X1,...,XN ~，我們稱X1,...,XN為獨立同分布（IndependentIdenticallyDistribution,IID）樣本，表示X1,...,XN 也稱X1,...,XN是分布F的隨機樣本。若F有密度p， XXCov(X,YX=r(X,Y Cov(X,X)=(X)=

(XY)-(X)(Y-1￡r(X,Y)￡1X、Y獨立，則X、Y不（線性）(XY)=(X)(Y

Cov(X,Y)=(X+Y)=(X)+(Y)+2Cov(X,Y(X-Y)=(X)+(Y)-2Cov(X,Y(X+Y)=(X-Y)=(X)+(Y(?aX)=?a2(X)+2??aaCov(X,Y ?X1=

...÷

D??

Cov(X1,X2 Cov(X1,XDΣ?Cov(X2, (X2 Cov(X2,XDΣ? èCov( (XD 多元Studentt 方差X2，則樣本均值 1 X依概率 斂于期望i，即對任意 Nlim NN

稱 為的一致估計（一致性20,as考慮拋硬幣的問題，其中正面向上的概率為p，令表示單次拋擲的輸出（0或1）。因此pXi 1Xi若共拋擲N次，正面向上的比率為XNXN而是表示當N很大時XN的分布緊圍繞令p12，若要求0.4 解：Xp122Xp1 p12, Np1pN1 0.4 0.6 XN

125N0.7125N0.7N

XN

4N

N(CentralLimitTheorem,2

X1,X2...,X1 Xi