(完整版)概率論與數(shù)理統(tǒng)計(jì)知識(shí)點(diǎn)總結(jié)(免費(fèi)超詳細(xì)版)

1、1 概率論與數(shù)理統(tǒng)計(jì) 第一章 概率論的基本概念 2 樣本空間、隨機(jī)事件 1 1 事件間的關(guān)系 A B 則稱事件 B B 包含事件 A A，指事件 A A 發(fā)生必然導(dǎo)致事件 B B 發(fā)生 A B xx A 或 x B稱為事件 A A 與事件 B B 的和事件，指當(dāng)且僅當(dāng) A A , B B 中至少有一個(gè)發(fā)生時(shí)，事件 A B發(fā)生 A B xx A 且 x B稱為事件 A A 與事件 B B 的積事件，指當(dāng) A A , B B 同時(shí)發(fā)生時(shí)，事件 A B發(fā)生 A B xx A 且 x B稱為事件 A A 與事件 B B 的差事件，指當(dāng)且僅當(dāng) A A 發(fā)生、B B 不發(fā)生時(shí)，事件 A B發(fā)生 A B ，

2、則稱事件 A A 與 B B 是互不相容的，或互斥的，指事件 A A 與事 件 B B 不能同時(shí)發(fā)生，基本事件是兩兩互不相容的 A B S 且 A B ，則稱事件 A A 與事件 B B 互為逆事件，又稱事件 A A 與事件 B B 互為對(duì)立事件 2 2 .運(yùn)算規(guī)則 交換律A B B A A B B A 結(jié)合律(A B) C A (B C) (A B)C A(B C) 分配律A (B C) (A B) (A C) A (B C) (A B)(A ,C) 徳摩根律A B A B A B A B 3 .頻率與概率 定義 在相同的條件下，進(jìn)行了 n n 次試驗(yàn)，在這 n n 次試驗(yàn)中，事件 A A

3、發(fā)生的次數(shù)nA稱為事 件 A A 發(fā)生的頻數(shù)，比值nA：n稱為事件 A A 發(fā)生的頻率 概率：設(shè) E E 是隨機(jī)試驗(yàn)，S S 是它的樣本空間，對(duì)于 E E 的每一事件 A A 賦予一個(gè)實(shí)數(shù)，記為 P( AP( A), 稱為事件的概率 1 1 概率P(A)滿足下列條件： (1) 非負(fù)性：對(duì)于每一個(gè)事件 A A 0 P(A) 1 (2) 規(guī)范性：對(duì)于必然事件 S S P(S) 12 (3 3)可列可加性：設(shè)AI,A2, ,An是兩兩互不相容的事件， 有P( Ak) P(Ak) (n可 k 1 k 1 以取 ) 2 2.概率的一些重要性質(zhì)： (i i)P( ) 0 (iii (iii )設(shè) A A，

4、B B 是兩個(gè)事件若 A B，則P(B A) (iv) 對(duì)于任意事件 A A，P(A) 1 (v) P(A) 1 P(A) (逆事件的概率) (vi(vi)對(duì)于任意事件 A A，B B 有 P(A B) P(A) P(B) P(AB) 4 等可能概型(古典概型) 等可能概型：試驗(yàn)的樣本空間只包含有限個(gè)元素，試驗(yàn)中每個(gè)事件發(fā)生的可能性相同 若事件 A 包含 k k 個(gè)基本 事件，即 A 兔 2 ek，里 ，ik是 12 n 中某 k 個(gè)不同的數(shù)，則有 5.條件概率 (1)(1) 定義：設(shè) A,BA,B 是兩個(gè)事件，且P(A) 0，稱P(B|A) P(AB)為事件 A A 發(fā)生的條 P(A) 件下

5、事件 B B 發(fā)生的條件概率 (2)(2) 條件概率符合概率定義中的三個(gè)條件 1 1。非負(fù)性：對(duì)于某一事件 B B，有P(B| A) 0 2 2。規(guī)范性：對(duì)于必然事件 S S，P(S| A) 1 3 3 可列可加性：設(shè) B1,B2, 是兩兩互不相容的事件，則有 ( (ii ii )若Ai, A2, , An是兩兩互不相容的事件，則有 n P( Ak) n P(Ak) (n可以取 P(B) P(A)，P(B) P(A) k P(A) Peij j 1 k A 包含的基本事件數(shù) n S 中基本事件的總數(shù) 3 P( Bi A ) P(Bi A ) i 1 i 1 (3) 乘法定理 設(shè)P(A) 0，則

6、有P(AB) P(B)P(A| B)稱為乘法公式4 (4) 全概率公式： P(A) 6 6 .獨(dú)立性 定義 設(shè) A A , B B 是兩事件，如果滿足等式 P(AB) P(A)P(B)，則稱事件 A,BA,B 相互獨(dú)立 定理一 設(shè) A A , B B 是兩事件，且 P(A) 0,若 A A, B B 相互獨(dú)立，則 P(B| A) P B 定理二 若事件 A A 和 B B 相互獨(dú)立，則下列各對(duì)事件也相互獨(dú)立： A A 與B ,A與 B ,A 與 B 第一章 隨機(jī)變量及其分布 1 隨機(jī)變量 定義 設(shè)隨機(jī)試驗(yàn)的樣本空間為 S e. X X(e)是定義在樣本空間 S S 上的實(shí)值單值函 數(shù)，稱X X

7、(e)為隨機(jī)變量 2 離散性隨機(jī)變量及其分布律 1.1. 離散隨機(jī)變量：有些隨機(jī)變量，它全部可能取到的值是有限個(gè)或可列無限多個(gè)，這種隨 機(jī)變量稱為離散型隨機(jī)變量 P(X Xk) Pk滿足如下兩個(gè)條件(1 1) Pk 0,( 2 2) Pk =1=1 k 1 2.2. 三種重要的離散型隨機(jī)變量 (1) (0(0- - 1)1)分布 設(shè)隨機(jī)變量 X X 只能取 0 0 與 1 1 兩個(gè)值，它的分布律是 P(X k) pk(1-p)1-k, k 0,1 (0 p 1)，則稱 X X服從以 P P 為參數(shù)的(0(0- - 1)1)分布或 兩點(diǎn)分布。 (2) 伯努利實(shí)驗(yàn)、二項(xiàng)分布 設(shè)實(shí)驗(yàn) E E 只有兩

8、個(gè)可能結(jié)果：A A 與A，則稱 E E 為伯努利實(shí)驗(yàn)設(shè)P(A) p (0 p 1), 此時(shí)P(A) 1-p . .將E獨(dú)立重復(fù)的進(jìn)行 n n 次，則稱這一串重復(fù)的獨(dú)立實(shí)驗(yàn)為 n n 重伯努利實(shí)驗(yàn)。 P(X k) n pkqn-k, k 0,1,2, n 滿足條件(1 1) Pk 0, (2 2) Pk =1 =1 注意 k k 1貝葉斯公式: P(Bk | A) P(BQP(A|BQ n P(Bi)P(A|Bi) i 1 0 5 到n pkqn-k是二項(xiàng)式(p q)n的展開式中出現(xiàn)pk的那一項(xiàng)，我們稱隨機(jī)變量 X X 服從參數(shù) k 為 n n，p p 的二項(xiàng)分布。 (3 3 )泊松分布 設(shè)隨機(jī)

9、變量 X X 所有可能取的值為 0,1,20,1,2，而取各個(gè)值的概率為 ke- P(X k) ,k 0,1,2 ,其中 0是常數(shù)，則稱 X X 服從參數(shù)為 的泊松分布記為 k! X () 3 隨機(jī)變量的分布函數(shù) 定義 設(shè) X X 是一個(gè)隨機(jī)變量，x x 是任意實(shí)數(shù)，函數(shù) F(x) PX x, - x 稱為 X X 的分布函數(shù) 分布函數(shù)F(x) P(X x),具有以下性質(zhì)(1) (1) F(x)是一個(gè)不減函數(shù) (2 2 ) 0 F(x) 1,且 F( ) 0,F( ) 1 (3 3) F(x 0) F(x),即 F(x)是右連續(xù)的 4 連續(xù)性隨機(jī)變量及其概率密度 連續(xù)隨機(jī)變量：如果對(duì)于隨機(jī)變量

10、 X X 的分布函數(shù) F F (x x),存在非負(fù)可積函數(shù) f (x)，使 x 對(duì)于任意函數(shù) x x 有F(x) f (t) dt,則稱 x x 為連續(xù)性隨機(jī)變量，其中函數(shù) f(x)f(x)稱為 X X 的概率密度函數(shù)，簡(jiǎn)稱概率密度 1 1 概率密度f (x)具有以下性質(zhì)，滿足(1 1) f(x) 2,2,三種重要的連續(xù)型隨機(jī)變量 (1)(1)均勻分布 均勻分布記為X U (a，b) (2)(2)指數(shù)分布 服從參數(shù)為 的指數(shù)分布。 0, (2) f(x)dx 1 ； (3) P(X1 X X2) J(x)dx ； (4 (4 )若 f(x)在點(diǎn) x x 處連續(xù)，則有F(x) f (x) 若連續(xù)

11、性隨機(jī)變量 X X 具有概率密度 f(x) 1 b- a 0 其他 b，則成 X X 在區(qū)間(a,b)(a,b)上服從 若連續(xù)性隨機(jī)變量 X X 的概率密度為 f (x) 丄ex ，x. ，其他 0 其中 0為常數(shù)，則稱 X X 0 6 (3 3 )正態(tài)分布7 （X ）2 型隨機(jī)變量 X X 的概率密度為f （x） 1一， （）廳 （ 0）為常數(shù)，則稱 X服從參數(shù)為， 的正態(tài)分布或高斯分布，記為 ，2） 5 隨機(jī)變量的函數(shù)的分布 1 二維隨機(jī)變量 的隨機(jī)變量，稱 X X（e）為隨機(jī)變量，由它們構(gòu)成的一個(gè)向量（ X X，Y Y）叫做二維隨機(jī)變量 設(shè)（X X，Y Y ） 是二 維隨機(jī)變量，對(duì)于任意

12、實(shí)數(shù) x x， y y， 二元函數(shù) F(x，y) P(X x) (Y y）記成 PX x，丫 y稱為二維隨機(jī)變量（ X X，Y Y ）的 分布函數(shù) 如果二維隨機(jī)變量 （X X， Y Y）全部可能取到的值是有限對(duì)或可列無限多對(duì)， 則稱（X X， Y Y ）是離散型的隨機(jī)變量。 我們稱P（X xi ，Y yj） Pij，i，j 1,2，為二維離散型隨機(jī)變量（ X X，Y Y ）的 分布律。 對(duì)于二維隨機(jī)變量 （X, X, Y Y）的分布函數(shù)F （x，y），如果存在非負(fù)可積函數(shù) f(x x, , y y)， y x 使對(duì)于任意 x x, , y y 有F （x， y） f （u， v） dudv,則

13、稱（X , YX , Y）是連續(xù)性的隨機(jī)變量， 函數(shù) f f （x x，y y）稱為隨機(jī)變量（X X，Y Y）的概率密度，或稱為隨機(jī)變量 X X 和 Y Y 的聯(lián)合概率密 度。 2 邊緣分布 二維隨機(jī)變量（X X，Y Y ）作為一個(gè)整體，具有分布函數(shù)F （x，y） 而 X X 和 Y Y 都是隨機(jī) 變量，各自也有分布函數(shù)，將他們分別記為FX（x）, FY（y），依次稱為二維隨機(jī)變量 （X X，Y Y）若連續(xù) 其中， 特別，當(dāng) 0, 1時(shí)稱隨機(jī)變量 X X 服從標(biāo)準(zhǔn)正態(tài)分布 定理 設(shè)隨機(jī)變量 X X 具有概率密度 fx(x),- ,又設(shè)函數(shù)g（x）處處可導(dǎo)且恒有 g(x) Y= g(X)是 連續(xù)

14、型 變量，其概率密度為 fv(y) fx h(y) 0 h(y), y ，其他 第三章 多維隨機(jī)變量 定義設(shè) E E 是一個(gè)隨機(jī)試驗(yàn)，它的樣本空間是S e. X X（e）和Y Y（e）是定義在 S S 上 8 關(guān)于 X X 和關(guān)于 Y Y 的邊緣分布函數(shù)。 Pi? Pij PX Xi, i 1,2, j 1 分別稱pi? P?j為(X X，Y Y)關(guān)于 X X 和關(guān)于 Y Y 的邊緣分布律。 fY(y)為 X X, Y Y 關(guān)于 X X 和關(guān)于 Y Y 的邊緣概率密度。 3 條件分布 為在X Xi條件下隨機(jī)變量 X X 的條件分布律。 fY(y) ，則稱f(x, y)為在 Y=yY=y 的條件

15、下 X X 的條件 fy(y) 概率密度，記為fX |Y (x y) = = f (x, y) 1 J(y) 4 4 相互獨(dú)立的隨機(jī)變量 定義設(shè)F (x，y)及FX (x)，F(xiàn)Y(y)分別是二維離散型隨機(jī)變量(X X，Y Y)的分布函 數(shù)及邊緣分布函數(shù)若對(duì)于所有 x,yx,y 有PX x,Y y PX xPY y，即 Fx, y FX (X)FY (y)，則稱隨機(jī)變量 X X 和 Y Y 是相互獨(dú)立的。 對(duì)于二維正態(tài)隨機(jī)變量(X X，Y Y)，X X 和 Y Y 相互獨(dú)立的充要條件是參數(shù) 0 5 兩個(gè)隨機(jī)變量的函數(shù)的分布 1 1，Z=X+YZ=X+Y 的分布 設(shè)(X,Y)(X,Y)是二維連續(xù)型

16、隨機(jī)變量，它具有概率密度 f(X, y). .則 Z=X+YZ=X+Y 仍為連續(xù)性 P?j Pij PY yi，j 1,2, fX (x) f (x, y)dy fY(y) f (x, y) dx分別稱 fX(x), 定義 設(shè)(X X，Y Y )是二維離散型隨機(jī)變量，對(duì)于固定的 若PY yj ， 則稱PX 人丫 比 墜空 j j PY yj Pij . ,i P?j 1,2 為在Y y j條件下 隨機(jī)變量 X X 的條件分布律，同樣PY yj X Xi PX Xi,Y yj PX 燈 Pij ,j 1,2, Pi? 設(shè)二維離散型隨機(jī)變量( X X，Y Y)的概率密度為 f (x, y)，( X

17、 X，Y Y )關(guān)于 Y Y 的邊緣概 率密度為fY(y)，若對(duì)于固定的 y y， 9 隨機(jī)變量，其概率密度為 fX 丫 f (z y, y) dy或fX Y (z) f (x,z x) dx10 又若 X X 和 Y Y 相互獨(dú)立，設(shè)(X X , Y Y )關(guān)于 X X , Y Y 的邊緣密度分別為 fX (x), fY (y)則 fx Y(z) fx(z y) fY(y)dy 和 fx 丫 fx(x) fy(z x)dx這兩個(gè)公式稱為 fx , fY的卷積公式 有限個(gè)相互獨(dú)立的正態(tài)隨機(jī)變量的線性組合仍然服從正態(tài)分布 Y 2 2，Z 的分布、Z XY 的分布 X Y 設(shè)(X,Y)(X,Y)是

18、二維連續(xù)型隨機(jī)變量，它具有概率密度 f (x, y)，則Z ，Z XY X 仍為連續(xù)性隨機(jī)變量其概率密度分別為 fY x(z) xf (x,xz)dx fxY (z) 1f (x,-)dx又若 x x 和 Y Y 相互獨(dú)立，設(shè)(X X，Y Y )關(guān)于 X X，Y Y 的邊緣密度分別 X X 為 fx (x), fY(y)則可化為 fY x (z) fx (x) fY (xz)dx 3 3 M maxX，Y及 N min X ,Y的分布 設(shè) X X，Y Y 是兩個(gè)相互獨(dú)立的隨機(jī)變量，它們的分布函數(shù)分別為 M maxX，Y不大于 z z 等價(jià)于 X X 和 Y Y 都不大于 z z 故有PM z

19、PX 乙丫 z又 由于 X X 和 Y Y 相互獨(dú)立，得到 M maxX，Y的分布函數(shù)為Fmax(z) FX(Z)FY(z) N minX,Y的分布函數(shù)為 Fmin (z) 1 1 FX (z) 1 Fy(z) 第四章 隨機(jī)變量的數(shù)字特征 1 數(shù)學(xué)期望 Pk, k=1,2k=1,2，若級(jí)數(shù) XkPk絕對(duì) k 1 收斂，則稱級(jí)數(shù) XkPk的和為隨機(jī)變量 X X 的數(shù)學(xué)期望，記為E(X),即E(X) xk Pk k 1 i fxY ( z) 7fx(x)fY(J)dx Fx(x),FY(y)由于 定義 設(shè)離散型隨機(jī)變量 X X 的分布律為PX Xk 11 設(shè)連續(xù)型隨機(jī)變量 X X 的概率密度為f

20、(X)，若積分 xf(x)dx絕對(duì)收斂，則稱積分 xf(x)dx的值為隨機(jī)變量 X X 的數(shù)學(xué)期望，記為E(X)，即E(X) xf(x)dx 定理 設(shè) Y Y 是隨機(jī)變量 X X 的函數(shù) Y= Y= g(X)(g(g 是連續(xù)函數(shù)) ) (i(i)如果 X X 是離散型隨機(jī)變量，它的分布律為PX xk pk , k=1,2k=1,2，若 g(xk)pk k 1 絕對(duì)收斂則有 E(Y) E(g(X) g(xk)pk k 1 (iiii)如果 X X 是連續(xù)型隨機(jī)變量，它的分概率密度為 f (x)，若 g(x) f (x)dx絕對(duì)收斂則 有 E(Y) E(g(X) g(x)f(x)dx 數(shù)學(xué)期望的幾

21、個(gè)重要性質(zhì) 1 1 設(shè) C C 是常數(shù)，則有E(C) C 2 2 設(shè) X X 是隨機(jī)變量，C C 是常數(shù)，則有E(CX) CE(X) 3 3 設(shè) X,YX,Y 是兩個(gè)隨機(jī)變量，則有 E(X Y) E(X) E(Y); 4 4 設(shè) X X, Y Y 是相互獨(dú)立的隨機(jī)變量，則有 E(XY) E(X)E(Y) 2 方差 2 2 定義 設(shè) X X 是一個(gè)隨機(jī)變量，若 E X E(X) 存在，則稱E X E(X) 為 X X 的方 2 匚 差，記為 D D (x x )即 D D ( x x) = = E X E(X) ，在應(yīng)用上還引入量,D(x)，記為(X), 稱為標(biāo)準(zhǔn)差或均方差。 2 2 2 D(X

22、) E(X E(X)2 E(X2) (EX)2 方差的幾個(gè)重要性質(zhì) 1 1 設(shè) C C 是常數(shù)，則有D(C) 0, 2 12 2 2 設(shè) X X 是隨機(jī)變量，C C 是常數(shù)，則有 D(CX) C D(X) , D(X C) D(X) 3 3 設(shè) X,Y X,Y 是兩個(gè)隨機(jī)變量，則有 D(X Y) D(X) D(Y) 2E(X - E(X)(Y - E(Y)特 別，若 X,YX,Y 相互獨(dú)立，則有 D(X Y) D(X) D(Y) 4 4 D(X) 0的充要條件是 X X 以概率 1 1 取常數(shù)E(X)，即PX E(X) 1 切比雪夫不等式：設(shè)隨機(jī)變量 X X 具有數(shù)學(xué)期望E(X) 2，則對(duì)于任

23、意正數(shù) ，不等式 PX - 成立 3 協(xié)方差及相關(guān)系數(shù) 定義 量EX E(X)Y E(Y)稱為隨機(jī)變量 X X 與 Y Y 的協(xié)方差為Cov(X,Y)，即 Cov(X,Y) E(X E(X)(Y E(Y) E(XY) E(X)E(Y) 工 Cov(X，Y) 而 XY - 稱為隨機(jī)變量 X X 和 Y Y 的相關(guān)系數(shù) *D(x)佢YT 對(duì)于任意兩個(gè)隨機(jī)變量 X X 和 Y Y, D(X Y) D(X) D(Y) 2Cov(X,Y) 協(xié)方差具有下述性質(zhì) l lCov(X,Y) Cov(Y,X), Cov(aX,bY) abCov(X,Y) 2 2Cov(X! X2,Y) COV(X!,Y) COV

24、(X2,Y) 定理 1 1 XY 1 2 2 XY 1的充要條件是，存在常數(shù) a,ba,b 使PY a bx 1 當(dāng) XY 0 0 時(shí)，稱 X X 和 Y Y 不相關(guān) 附：幾種常用的概率分布表 分布 參數(shù) 分布律或概率密度 數(shù)學(xué) 期望 方差 兩點(diǎn)分 布 0 p 1 PX k) pk(1 p)i,k 0,1， p p(1 p) 二項(xiàng)式 分布 n 1 0 p 1 P(X k) Cn pk(1 p)n k,k 0,1, n， np np(1 p) 13 泊松分 布 0 ke P(X k) - ,k 0,1,2, k! 幾何分 布 0 p 1 k 1 P(X k) (1 p) p,k 1,2, 丄 p 1 p 2 p 均勻分 布 a b 1