多維隨機變量及其分布.doc

第三章 多維隨機變量及其分布一、教材說明本章內(nèi)容包括：多維隨機變量的聯(lián)合分布和邊際分布、多維隨機變量函數(shù)的分布、多維隨機變量的特征數(shù)，隨機變量的獨立性概念，條件分布與條件期望。本章仿照一維隨機變量的研究思路和方法。1、教學(xué)目的與教學(xué)要求本章的教學(xué)目的是：（1）使學(xué)生掌握多維隨機變量的概念及其聯(lián)合分布，理解并掌握邊際分布和隨機變量的獨立性概念；（2）使學(xué)生掌握多維隨機變量函數(shù)的分布，理解并掌握多維隨機變量的特征數(shù)；（3）使學(xué)生理解和掌握條件分布與條件期望。本章的教學(xué)要求是：（1）深刻理解多維隨機變量及其聯(lián)合分布的概念，會熟練地求多維離散隨機變量的聯(lián)合分布列和多維連續(xù)隨機變量的聯(lián)合密度函數(shù)，并熟練掌握幾種常見的多維分布；（2）深刻理解并掌握邊際分布的概念，能熟練求解邊際分布列和邊際密度函數(shù)；理解隨機變量的獨立性定義，掌握隨機變量的獨立性的判定方法；（3）熟練掌握多維隨機變量的幾種函數(shù)的分布的求法，會用變量變換法求解、證明題目；（4）理解并掌握多維隨機變量的數(shù)學(xué)期望和方差的概念及性質(zhì)，掌握隨機變量不相關(guān)與獨立性的關(guān)系；（5）深刻理解條件分布與條件期望，能熟練求解條件分布與條件期望并會用條件分布與條件期望的性質(zhì)求解、證明題目。2、本章的重點與難點 本章的重點是多維隨機變量的聯(lián)合分布和邊際分布、多維隨機變量函數(shù)的分布及條件分布、多維隨機變量的特征數(shù)，難點是多維隨機變量函數(shù)的分布及條件分布的求法。二、教學(xué)內(nèi)容本章共分多維隨機變量及其聯(lián)合分布、邊際分布與隨機變量的獨立性、多維隨機變量函數(shù)的分布、多維隨機變量的特征數(shù)、條件分布與條件期望等5節(jié)來講述本章的基本內(nèi)容。3.1 多維隨機變量及其聯(lián)合分布一、多維隨機變量 定義3.1.1 如果是定義在同一個樣本空間上的個隨機變量，則稱為維隨機變量或隨機向量。二、 聯(lián)合分布函數(shù)1、定義3.1.2 對任意個實數(shù)，則個事件同時發(fā)生的概率 稱為維隨機變量的聯(lián)合分布函數(shù)。2、性質(zhì) 定理 3.1.1 任一二維聯(lián)合分布函數(shù)必具有如下四條基本性質(zhì)：（1） 單調(diào)性：分別對或是單調(diào)不減的，即當時有；當時有。（2） 有界性：對任意的和，有，且（3） 右連續(xù)性 對每個變量都是右連續(xù)的，即。（4） 非負性 對任意的有證明 仿一維分布函數(shù)的性質(zhì)的證明，此處略。注 任一二維聯(lián)合分布函數(shù)必具有以上四條基本性質(zhì)；還可證明具有以上性質(zhì)的二元函數(shù)一定是某個二維隨機變量的分布函數(shù)。 例3.1.1 證明二元函數(shù) 滿足二維分布函數(shù)的性質(zhì)（1）（2）（3），但它不滿足性質(zhì)（4），故不是分布函數(shù)。分析：證明某二元函數(shù)是二維分布函數(shù)需驗證滿足二維分布函數(shù)的性質(zhì)（1）（2）（3）（4），若證不是二維分布函數(shù)只需驗證其中一條性質(zhì)不滿足即可。證明：略。三、 聯(lián)合分布列1、定義3.1.3 如果二維隨機變量只取有限個或可列個數(shù)對，則稱為二維離散隨機變量，稱為的聯(lián)合分布列。還可以用書135頁的表格形式記聯(lián)合分布列。2、聯(lián)合分布列的基本性質(zhì)：（1）非負性 （2）正則性 例3.1.2 從1，2，3，4中任取一數(shù)記為，再從1，中任取一數(shù)記為，求的聯(lián)合分布列及。分析：求二維離散隨機變量的聯(lián)合分布列，關(guān)鍵是寫出二維離散隨機變量可能取的數(shù)對及其發(fā)生的概率。解：略。四、 聯(lián)合密度函數(shù)1、定義3.1.4 如果存在二元非負函數(shù)，使得二維隨機變量的分布函數(shù)可表示為則稱為二維連續(xù)隨機變量，稱為的聯(lián)合密度函數(shù)。注 在偏導(dǎo)數(shù)存在的點上，有。2、 聯(lián)合密度函數(shù)的基本性質(zhì)（1）非負性（2）正則性 注 可求概率具體使用左式時，積分范圍是的非零區(qū)域與的交集部分，然后設(shè)法化成累次積分再計算出結(jié)果。例3.1.3 設(shè)（X，Y）的聯(lián)合密度函數(shù)為 求（1）；（2）。解 略五、 常用多維分布1、多項分布進行次獨立重復(fù)試驗，如果每次試驗有個可能結(jié)果：且每次試驗中發(fā)生的概率為記為次獨立重復(fù)試驗中出現(xiàn)的次數(shù)，。則取值的概率，即出現(xiàn)次，出現(xiàn)次，出現(xiàn)次的概率為其中這個聯(lián)合分布列稱為項分布，又稱為多項分布，記為例3.1.4 一批產(chǎn)品共有100件，其中一等品60件，二等品30件，三等品10件。從這批產(chǎn)品中有放回地任取3件，以和分別表示取出的3件產(chǎn)品中一等品、二等品的件數(shù)，求二維隨機變量的聯(lián)合分布列。分析 略。解 略。2、多維超幾何分布 多維超幾何分布的描述：袋中有只球，其中有只號球，。記，從中任意取出只，若記為取出的只球中號球的個數(shù)，則 其中。 例3.1.5 將例3.1.4改成不放回抽樣，即從這批產(chǎn)品中不放回地任取3件，以和分別表示取出的3件產(chǎn)品中一等品、二等品的件數(shù)，求二維隨機變量的聯(lián)合分布列。解 略。3、多維均勻分布設(shè)為中的一個有界區(qū)域，其度量為，如果多維隨機變量的聯(lián)合密度函數(shù)為則稱服從上的多維均勻分布，記為例3.1.6 設(shè)為平面上以原點為圓心以為半徑的圓，服從上的二維均勻分布，其密度函數(shù)為試求概率解 略。4、二元正態(tài)分布 如果二維隨機變量的聯(lián)合密度函數(shù)為則稱服從二維正態(tài)分布，記為其中五個參數(shù)的取值范圍分別是：以后將指出：分別是與的均值，分別是與的方差，是與的相關(guān)系數(shù)。例3.1.7 設(shè)二維隨機變量求落在區(qū)域內(nèi)的概率。解 略。注 凡是與正態(tài)分布有關(guān)的計算一般需要作變換簡化計算。3.2 邊際分布與隨機變量的獨立性一、邊際分布函數(shù)1、二維隨機變量中 的邊際分布 的邊際分布 2、在三維隨機變量的聯(lián)合分布函數(shù)中，用類似的方法可得到更多的邊際分布函數(shù)。例3.2.1設(shè)二維隨機變量的聯(lián)合分布函數(shù)為這個分布被稱為二維指數(shù)分布，求其邊際分布。解 略。注 與的邊際分布都是一維指數(shù)分布，且與參數(shù)無關(guān)。不同的對應(yīng)不同的二維指數(shù)分布，但它們的兩個邊際分布不變，這說明邊際分布不能唯一確定聯(lián)合分布。二、邊際分布列二維離散隨機變量的聯(lián)合分布列為 的邊際分布列 的邊際分布列 三、邊際密度函數(shù)如果二維連續(xù)隨機變量的聯(lián)合密度函數(shù)為，因為所以相應(yīng)的邊際密度例3.2.3設(shè)二維隨機變量的聯(lián)合密度函數(shù)為試求：（1）邊際密度函數(shù)和；（2）及。解 略。四、隨機變量間的獨立性定義3.2.1 設(shè)維隨機變量的聯(lián)合分布函數(shù)為，為的邊際分布函數(shù)。如果對任意個實數(shù)，有則稱相互獨立。（1）在離散隨機變量場合，如果對任意個取值，有則稱相互獨立。（2）在連續(xù)隨機變量場合，如果對任意個取值，有則稱相互獨立。例3.2.7設(shè)二維隨機變量的聯(lián)合密度函數(shù)為問與是否相互獨立？分析 為判斷與是否相互獨立，只需看邊際密度函數(shù)之積是否等于聯(lián)合密度函數(shù)。解 略。3.3 多維隨機變量函數(shù)的分布一、多維離散隨機變量函數(shù)的分布以二維為例討論，設(shè)二維隨機變量的取值為 隨機變量的取值為. 令，則例3.3.2（泊松分布的可加性）設(shè) 且與相互獨立。證明證明：略。注 證明過程用到離散場合下的卷積公式，這里卷積指“尋求兩個獨立隨機變量和的分布運算”，對有限個獨立泊松變量有例3.3.3（二項分布的可加性）設(shè)且與相互獨立。證明證明 略。注（1）該性質(zhì)可以推廣到有限個場合（2）特別當時，這表明，服從二項分布的隨機變量可以分解成個相互獨立的0-1分布的隨機變量之和。二、最大值與最小值的分布例3.3.4（最大值分布）設(shè)是相互獨立的個隨機變量，若設(shè)在以下情況下求的分布：（1）（2）同分布，即（3）為連續(xù)隨機變量，且同分布，即的密度函數(shù)為 （4）解 略。 注 這道題的解法體現(xiàn)了求最大值分布的一般思路。例3.3.5（最小值分布）設(shè)是相互獨立的個隨機變量；若，試在以下情況下求的分布：（1）（2）同分布，即（3）為連續(xù)隨機變量，且同分布，即的密度函數(shù)為 （4）解 略。注 這道例題的解法體現(xiàn)了求最小值分布的一般思路。三、 連續(xù)場合的卷積公式定理3.3.1設(shè)與是兩個相互獨立的連續(xù)隨機變量，其密度函數(shù)分別為、，則其和的密度函數(shù)為 證明 略。本定理的結(jié)果就是連續(xù)場合下的卷積公式。例3.3. 6（正態(tài)分布的可加性）設(shè)且與相互獨立。證明證明 略注 任意n個相互獨立的正態(tài)變量的非零線性組合仍是正態(tài)變量。四、變量變換法1、變量變換法 設(shè)的聯(lián)合密度函數(shù)為，函數(shù)有連續(xù)偏導(dǎo)數(shù)，且存在唯一的反函數(shù)，其變換的雅可比行列式 若 則的聯(lián)合密度函數(shù)為這個方法實際上就是二重積分的變量變換法，其證明可參閱數(shù)學(xué)分析教科書。例3.3. 9設(shè)與獨立同分布，都服從正態(tài)分布，記試求的聯(lián)合密度函數(shù)。是否相互獨立？解 略。2、增補變量法增補變量法實質(zhì)上是變換法的一種應(yīng)用：為了求出二維連續(xù)隨機變量的函數(shù)的密度函數(shù)，增補一個新的隨機變量，一般令或。先用變換法求出的聯(lián)合密度函數(shù) ，再對關(guān)于v積分，從而得出關(guān)于的邊際密度函數(shù)。例3.3.10（積的公式） 設(shè)與相互獨立，其密度函數(shù)分別為 和.則的密度函數(shù)為 證 略。例3.3.11（商的公式） 設(shè)與相互獨立，其密度函數(shù)分別為和，則的密度函數(shù)為 證 略。注 例3.3.10和例3.3.11的結(jié)果可以直接用來解題。3.4 多維隨機變量的特征數(shù)一、多維隨機變量函數(shù)的數(shù)學(xué)期望定理3.4.1若二維隨機變量的分布用聯(lián)合分布列或聯(lián)合密度函數(shù)表示，則的數(shù)學(xué)期望為這里所涉及的數(shù)學(xué)期望都假設(shè)存在。例3.4.1在長為的線段上任取兩個點與，求此兩點間的平均長度。解 略。二、數(shù)學(xué)期望與方差的運算性質(zhì) 性質(zhì)3.4.1 設(shè)是二維隨機變量，則有 注 。性質(zhì)3.4.2 若隨機變量與相互獨立，則有。注 若相互獨立，則有性質(zhì)3.4.3若隨機變量與相互獨立，則有注 若相互獨立，則有 例3.4.3 已知隨機變量相互獨立，且求的數(shù)學(xué)期望、方差和標準差。 解 略。 三、協(xié)方差1、定義3.4.1 設(shè)是二維隨機變量，若存在，則稱此數(shù)學(xué)期望為與的協(xié)方差，或稱為與的相關(guān)（中心）矩，并記為 特別有注 當時，稱與正相關(guān)，這時與同時增加或同時減少。當時，稱與負相關(guān)。當時，稱與不相關(guān)。2、性質(zhì)性質(zhì)3.4.4 性質(zhì)3.4.5若隨機變量與相互獨立，則，反之不然。注 不相關(guān)是比獨立更弱的一個新概念。性質(zhì)3.4.6 對任意二維隨機變量，有注 該性質(zhì)可以推廣到更多個隨機變量場合，即對任意個隨機變量，有性質(zhì)3.4.7 協(xié)方差的計算與，的次序無關(guān)，即性質(zhì)3.4.8任意隨機變量與常數(shù)的協(xié)方差為零，即。性質(zhì)3.4.9 對任意常數(shù)有 。性質(zhì)3.4.10設(shè)是任意三個隨機變量，則。 例3.4.7設(shè)二維隨機變量的聯(lián)合密度函數(shù)為試求。解 略。四、相關(guān)系數(shù)1、定義3.4.2設(shè)是二維隨機變量，且則稱為與的（線性）相關(guān)系數(shù)。 注 （1）與同符號，故從的取值也可反應(yīng)出與的正相關(guān)，負相關(guān)和不相關(guān)。（2）相關(guān)系數(shù)的另一個解釋是：它是相應(yīng)標準化變量的協(xié)方差。若記與的數(shù)學(xué)期望分別為，其標準化變量為，則有 例3.4.7二維正態(tài)分布相關(guān)系數(shù)就是。2、相關(guān)系數(shù)的性質(zhì)引理3.4.1（施瓦茨不等式）對任意二維隨機變量，若與的方差都存在，且記，則有 性質(zhì)3.4.11 性質(zhì)3.4.12 的充要條件是與間幾乎處處有線性關(guān)系，即存在與，使得其中當時，有； 當時有。證明 略 。 注 （1）相關(guān)系數(shù)刻畫了與之間的線性關(guān)系，因此也常稱其為“線性相關(guān)系數(shù)”。（2）若，稱與不相關(guān)。不相關(guān)是指與之間沒有線性關(guān)系，但與之間可能有其他的關(guān)系。譬如平方關(guān)系，對數(shù)關(guān)系等。（3）若，則稱與完全正相關(guān)；若，則稱與完全負相關(guān) 。 例3.4.7設(shè)二維隨機變量的聯(lián)合密度函數(shù)為試求與的相關(guān)系數(shù) 。性質(zhì)3.4.13 在二維正態(tài)分布場合，不相關(guān)與獨立是等價的。五、隨機向量的數(shù)學(xué)期望與協(xié)方差陣1、 定義3.4.3 記維隨機向量為 若其每個分量的數(shù)學(xué)期望都存在，則稱 為維隨機向量的數(shù)學(xué)期望向量，簡稱為的數(shù)學(xué)期望，而稱為該隨機向量的方差協(xié)方差陣，記為。2、 定理3.4.2 維隨機向量的協(xié)方差陣是一個對稱的非負定矩陣。 證明 略。例3.4.12（元正態(tài)分布）設(shè)維隨機向量的協(xié)方差陣為，數(shù)學(xué)期望向量為。又記，則由密度函數(shù)定義的分布稱為元正態(tài)分布，記為。其中表示的行列式，表示的逆陣，表示向量的轉(zhuǎn)置。3.5 條件分布與條件期望一、 條件分布1、離散隨機變量的條件分布設(shè)二維離散隨機變量的聯(lián)合分布列為 定義3.5.1對一切使的，稱為給定條件下的的條件分布列。同理對一切使的，稱為給定條件下的條件分布列。定義3.5.2給定條件下的條件分布函數(shù)為給定條件下的條件分布函數(shù)為例3.5.2 設(shè)隨機變量與相互獨立，且在已知的條件下求的條件分布。解 略。2、連續(xù)隨機變量的條件分布設(shè)二維連續(xù)隨機變量的聯(lián)合密度函數(shù)為，邊際密度函數(shù)為和。定義3.5.3對一切使的，給定條件下的條件分布函數(shù)和條件密度函數(shù)分別為 同理對一切使的x，給定條件下的條件分布函數(shù)和條件密度函數(shù)分別為例3.5.5設(shè)服從上的均勻分布，試求給定條件下的條件密度函數(shù)。解 略。3、連續(xù)場合的全概率公式和貝葉斯公式全概率公式的密度函數(shù)形式貝葉斯公式的密度函數(shù)形式注 由邊際分布和條件分布就可以得到聯(lián)合分布。二、條件數(shù)學(xué)期望1、定義3.5.4 條件分布的數(shù)學(xué)期望（若存在）稱為條件數(shù)學(xué)期望，其定義如下：注 (1)條件數(shù)學(xué)期望具有數(shù)學(xué)期望的一切性質(zhì)。(2)條件數(shù)學(xué)期望可以看成是隨機變量的函數(shù)，其本身也是一個隨機變量。2、定理3.5.1 （重期望公式）設(shè)是二維隨機變量，且存在，則。證明 略。注 重期望公式的具體使用如下（1） 如果是一個離散隨機變量，（2） 如果是一個連續(xù)隨機變量，例3.5.10 （隨機個隨機變量和的數(shù)學(xué)期望）設(shè)是一列獨立同分布的隨機變量，隨機變量只取正整數(shù)值，且與獨立。證明第四章 大數(shù)定律與中心極限定理一、教材說明本章內(nèi)容包括特征函數(shù)及其性質(zhì)，常用的幾個大數(shù)定律，隨機變量序列的兩種收斂性的定義及其有關(guān)性質(zhì)，中心極限定理。大數(shù)定律涉及的是一種依概率收斂，中心極限定理涉及按分布收斂。這些極限定理不僅是概率論研究的中心議題，而且在數(shù)理統(tǒng)計中有廣泛的應(yīng)用。1、教學(xué)目的與教學(xué)要求本章的教學(xué)目的是：（1）使學(xué)生掌握特征函數(shù)的定義和常用分布的特征函數(shù)；（2）使學(xué)生深刻理解和掌握大數(shù)定律及與之相關(guān)的兩種收斂性概念，會熟練運用幾個大數(shù)定律證明題目；（3）使學(xué)生理解并熟練掌握獨立同分布下的中心極限定理。本章的教學(xué)要求是：（1）理解并會求常用分布的特征函數(shù)；（2）深刻理解并掌握大數(shù)定律，能熟練應(yīng)用大數(shù)定律證明題目；（3）理解并掌握依概率收斂和按分布收斂的定義，并會用其性質(zhì)證明相應(yīng)的題目；（4）深刻理解與掌握中心極限定理，并要對之熟練應(yīng)用。2、重點與難點本章的重點是大數(shù)定律與中心極限定理，難點是用特征函數(shù)的性質(zhì)證明題目，大數(shù)定律和中心極限定理的應(yīng)用。二、 教學(xué)內(nèi)容本章共分特征函數(shù)、大數(shù)定律、隨機變量序列的兩種收斂性，中心極限定理等4節(jié)來講述本章的基本內(nèi)容。4.1特征函數(shù)一、特征函數(shù)的定義1.定義4.1.1 設(shè)是一個隨機變量，稱，- t + ，為的特征函數(shù)。注 因為，所以總是存在的，即任一隨機變量的特征函數(shù)總是存在的。2.特征函數(shù)的求法（1）當離散隨機變量的分布列為Pk= P（= xk)，k = 1，2，則的特征函數(shù)為(t)=，- t + 。（2）當連續(xù)隨機變量的密度函數(shù)為p(x)，則的特征函數(shù)為(t)=，- t + 。例4.1.1 常用分布的特征函數(shù)(1) 單點分布：P(= a) = 1，其特征函數(shù)為(t) = eita。(2) 0 1分布：P(= x) =px(1 - p)1 x，x = 0，1，其特征函數(shù)為(t) = peit + q，其中q = 1 p。(3) 泊松分布P()：P(= k) = ，k = 0，1，其特征函數(shù)為(t) = = =。(4) 標準正態(tài)分布N(0,1)：因為密度函數(shù)為p(x) = ，- x + 。所以特征函數(shù)為(t) = = 。二、 特征函數(shù)的性質(zhì)性質(zhì)4.1.1 | (t) | (0) = 1。性質(zhì)4.1.2 (-t) = ，其中是(t)的共軛。性質(zhì)4.1.3 若Y = a + b ，其中a，b是常數(shù)，則。性質(zhì)4.1.4 獨立隨機變量和的特征函數(shù)為特征函數(shù)的積，即設(shè)與Y相互獨立，則 。 性質(zhì)4.1.5 若E(l)存在，則的特征函數(shù)可l次求異，且對1 k l，有 (k) (0) =ikE(k)。注 上式提供了一條求隨機變量的各階矩的途徑，特別可用下式去求數(shù)學(xué)期望和方差。證明 略。定理4.1.1 （一致連續(xù)性）隨機變量的特征函數(shù)(t)在(- ，+ )上一致連續(xù)。定理4.1.2 （非負定性）隨機變量的特征函數(shù)(t)是非負定的。定理4.1.4 （唯一性定理）隨機變量的分布函數(shù)由其特征函數(shù)唯一決定。例4.1.3 試利用特征函數(shù)的方法求伽瑪分布Ga(，)的數(shù)學(xué)期望和方差。解 因為Ga(，)的特征函數(shù)(t) = ，(t) = ；(0) = ；(t) = ；(0) = ，所以由性質(zhì)4.1.5得 4.2大數(shù)定律一、何謂大數(shù)定律（大數(shù)定律的一般提法）定義4.2.1設(shè)為隨機變量序列，若對任意的,有 (4.2.5)則稱服從大數(shù)定律。二、切比雪夫大數(shù)定律定理4.2.2（切比雪夫大數(shù)定律）設(shè)為一列兩兩不相關(guān)的隨機變量序列，若每個的方差存在，且有共同的上界，即,則服從大數(shù)定律，即對任意的，式(4.2.5)成立。利用切比雪夫不等式就可證明。此處略。推論（定理4.2.1：伯努利大數(shù)定律）設(shè)為n重伯努利試驗中事件A發(fā)生的次數(shù)，P為每次試驗中A出現(xiàn)的概率，則對任意的，有分析 服從二項分布，因此可以把表示成n個相互獨立同分布、都服從01分布的隨機變量的和。三、馬爾可夫大數(shù)定律定理4.2.3（馬爾可夫大數(shù)定律）對隨機變量序列，若馬爾可夫條件成立，則服從大數(shù)定律，即對任意的，式(4.2.5)成立。證明 利用切比雪夫不等式就可證得。例4.2.3 設(shè)為一同分布、方差存在的隨機變量序列，且僅與和相關(guān)，而與其他的不相關(guān)，試問該隨機變量序列是否服從大數(shù)定律？解 可證對，馬爾可夫條件成立，故由馬爾可夫大數(shù)定律可得服從大數(shù)定律。四、辛欽大數(shù)定律定理4.2.4 （辛欽大數(shù)定律）設(shè)為一獨立同分布的隨機變量序列，若的數(shù)學(xué)期望存在，則服從大數(shù)定律，即對任意的，式(4.2.5)成立。4.3隨機變量序列的兩種收斂性一、依概