概率論總結(jié)介紹

概率論總結(jié)介紹第1篇概率論總結(jié)介紹第1篇?多維隨機變量的函數(shù)分布：

(一)和的分布：

設(shè)是一個二維離散型隨機變量，密度函數(shù)為,現(xiàn)在來求的分布，按照定義為

用密度函數(shù)代替密度函數(shù)

可得：

則對.

同理有對稱性可以求出：.

以上所得和分布的邊際密度通常稱之為概率密度的卷積公式，顯然和的分布函數(shù)主要是要確定好分布函數(shù)的積分區(qū)域然后將二重積分化為累次積分即可.

以下給出一些具有可加性的常用結(jié)論：

假設(shè)隨機變量相互獨立

二項分布：

若,且二者獨立，則.

泊松分布：

若且二者相互獨立，則

正態(tài)分布：

伽馬分布：

卡方分布：

m個兩點分布的隨機變量的和服從試驗次數(shù)為m的二項分布

服從幾何分布的m個隨機變量的和負二項分布Nb(m,p)

服從的m個指數(shù)分布的和服從伽馬分布

(二)商的分布與和的分布：

這個主要是利用二重積分的變量替換利，用雅可比行列式進行變量替換之后在利用求邊際密度方法求得替換之后的變量的密度函數(shù)，然后在積分即得到分布函數(shù).

這里不做過多敘述…….

多維隨機變量的特征數(shù)：

這里只討論二維的情形，高于二維的情形在二維的情形上推廣之即可.

多維隨機變量的數(shù)學期望：

設(shè)若二維隨機變量的分布用聯(lián)合分布列或者用聯(lián)合密度函數(shù)表示，則的數(shù)學期望如下：

二維離散型隨機變量的數(shù)學期望：

對于離散型隨機變量而言其分布列只要把與分別對應(yīng)合并起來即可

其數(shù)學期望表達式為：

二維連續(xù)型隨機變量的數(shù)學期望:

.

多維隨機變量的方差：

這個根據(jù)數(shù)學期望依據(jù)方差的計算公式即可，不做過多描述.

數(shù)學期望與方差的性質(zhì)：

注意這里只列出二維的情形，多維的情形推廣之.

設(shè)是二維隨機變量，則有：.

若隨機變量和相互獨立，則有：

協(xié)方差：

設(shè)是一個二維隨機變量，若存在，則稱此數(shù)學期望為的協(xié)方差，或稱為X與Y的相關(guān)矩，并將其記為：

.

特別有.

從協(xié)方差的定義可以看出他是偏差的數(shù)學期望，由于偏差可正可負故其協(xié)方差也可正可負，取值的正負有其意義，要想理解協(xié)方差到底是個什么意思且看下圖：

假設(shè)二維隨機變量的取值區(qū)域如上圖所示，若為二維離散型隨機變量的取值也如上圖所示只不過不能取到橢圓域內(nèi)的所有點只去離散個點.假設(shè)上圖平行于X軸與平行于y軸的兩條相交直線的交點坐標為且將二維隨機變量取值的區(qū)域分割為四個象限則由協(xié)方差的定義：

當隨機變量的取值落在區(qū)域的時候?qū)е?當隨機變量的取值落在區(qū)域的時候?qū)е?由此可知當落在區(qū)域的隨機變量取值多于區(qū)域取值或者在區(qū)域的取值,偏離的程度很大的時候，一般情況下也即的面積大于的面積和的時候，將導致，這個時候隨機變量的取值圖形將如上圖所示，這時候我們可以看出圖形呈現(xiàn)出的情形是X的取值將與Y的取值大致呈現(xiàn)出同時增加的傾向，這時候我們就稱兩隨機變量大致呈現(xiàn)出正相關(guān)的關(guān)系.

如果反之隨機變量的取值區(qū)域呈現(xiàn)出如下情形：

此時將與上面的分析相反其相關(guān)系數(shù),X的取值與Y的取值大致呈現(xiàn)出同時減小的傾向，則稱此時的兩隨機變量為負相關(guān).

而當隨機變量的取值區(qū)域呈現(xiàn)出下面的情況時候：

?不相關(guān).png

這個時候與的值正負相抵導致此時則稱兩隨機變量完全不相關(guān).

上面為了幫助理解相關(guān)系數(shù)，我們從幾何的角度去理解，因為很多的數(shù)學問題如果從邏輯上面不好把握的話我們可以從幾何上找到突破口，我國著名數(shù)學家華羅庚曾經(jīng)說過：‘’數(shù)無形時少直覺，形無數(shù)時難入微“，這句話說得相當?shù)木?，短?4個字就把數(shù)與形的關(guān)系說得清清楚楚說得你醍醐灌頂、豁然開朗,你不服都不行.確實從幾何上面來理解數(shù)學更加的直觀形象，但是上面我們僅僅是從圖形出發(fā)來建立什么是多維隨機變量的相關(guān)性的感性認知，兩個隨機變量什么時候正相關(guān)負相關(guān)如果僅僅只是從圖形上面感性理解這也是片面的朦朧的不精確的，比如從上面的圖形中我們能夠感性的認識到如果隨機變量取值總區(qū)域越偏平即橢圓形狀越是扁其線性相關(guān)程度就越高，越是呈圓形那么其相關(guān)程度就越是低，如果取極限位置即兩個隨機變量呈現(xiàn)出一條直線那么他們不就是完全相關(guān)了嗎？但是我們?nèi)绾稳ズ饬繖E圓的扁平程度嘞？用一個什么樣的表達式去衡量嘞？這是一個問題，所以我們?nèi)绻肜硇缘恼J識什么是多維隨機變量的相關(guān)性與不相關(guān)，還是得從更加微觀的角度即數(shù)的角度去認知他，下面我們就從代數(shù)出發(fā)來認知協(xié)方差與標準化后的協(xié)方差即相關(guān)系數(shù)的具體意義

相關(guān)系數(shù)：

就如同方差有量綱一樣，協(xié)方差也是一個有量綱的量，為了比較相關(guān)程度的高低我們必須設(shè)法去掉協(xié)方差的量綱，之前說過方差是描述數(shù)據(jù)之間的差異與數(shù)據(jù)的波動程度的一個量，我們?yōu)榱藢⒉煌S機變量的方差進行比較將他們進行了標準化即放在同一個標準下進行比較因此我們將方差比上數(shù)學期望去掉了量綱，同方差一樣我們也要對協(xié)方差進行標準化處理去掉量綱使得不同隨機二維變量之間的相關(guān)程度具有可比性.

因此就將標準化后的相關(guān)系數(shù)稱之為協(xié)方差：

設(shè)若是一個二維離散型隨機變量，且,.則稱

.

為隨機變量的相關(guān)系數(shù).由此可見所謂相關(guān)系數(shù)就是將協(xié)方差比上隨機變量各自的標準差，相關(guān)系數(shù)的正負由分子決定，相關(guān)系數(shù)大于零則說明正相關(guān)，小于零則說明負相關(guān)，等于零則說明不相關(guān).如果相關(guān)系數(shù)的作用和協(xié)方差是一樣的那么說句話糙理不糙的話就是脫褲子放屁多此一舉說了數(shù)學家是不會做這么無聊的

上面為了幫助理解相關(guān)系數(shù)，我們從幾何的角度去理解，因為很多的數(shù)學問題如果從邏輯上面不好把握的話我們可以從幾何上找到突破口，我國著名數(shù)學家華羅庚曾經(jīng)說過：‘’數(shù)無形時少直覺，形無數(shù)時難入微“，這句話說得相當?shù)木伲潭?4個字就把數(shù)與形的關(guān)系說得清清楚楚說得你醍醐灌頂、豁然開朗,你不服都不行.確實從幾何上面來理解數(shù)學更加的直觀形象，但是上面我們僅僅是從圖形出發(fā)來建立什么是多維隨機變量的相關(guān)性的感性認知，兩個隨機變量什么時候正相關(guān)負相關(guān)如果僅僅只是從圖形上面感性理解這也是片面的朦朧的不精確的，比如從上面的圖形中我們能夠感性的認識到如果隨機變量取值總區(qū)域越偏平即橢圓形狀越是扁其線性相關(guān)程度就越高，越是呈圓形那么其相關(guān)程度就越是低，如果取極限位置即兩個隨機變量呈現(xiàn)出一條直線那么他們不就是完全相關(guān)了嗎？但是我們?nèi)绾稳ズ饬繖E圓的扁平程度嘞？用一個什么樣的表達式去衡量嘞？這是一個問題，所以我們?nèi)绻肜硇缘恼J識什么是多維隨機變量的相關(guān)性與不相關(guān)，還是得從更加微觀的角度即數(shù)的角度去認知他，下面我們就從代數(shù)出發(fā)來認知協(xié)方差與標準化后的協(xié)方差即相關(guān)系數(shù)的具體意義事情的，連我這樣的小子都不會做這樣的事情何況高尚偉大的數(shù)學家.相關(guān)系數(shù)除了用來判斷兩隨機變量的相關(guān)性以外還可以用來度量相關(guān)性.

那么度量相關(guān)性到底是如何實現(xiàn)的嘞？先來看一個數(shù)學上非常著名且無論是在幾何學還是在分析學亦或是在代數(shù)學上都有應(yīng)用的不等式，帥氣且霸氣的柯西—施瓦茨(Schwarz)不等式：

對任意二維隨機變量,若X與Y的方差都存在，且記為,則有

.

這個定理的證明是很簡單，這不是重點，重點是大家有沒有覺得這個不等式很熟悉？r如果我們將協(xié)方差看做是一個內(nèi)積的話像不像高等代數(shù)中的內(nèi)積公式？,這簡直就像極了愛情，這是不是巧合？我們是不是可以將概率論中的實值函數(shù)隨機變量做成一個向量空間，然后在定義一個內(nèi)積為協(xié)方差，這樣就做成了一個概率空間上面的歐式空間？有這個想法可以但是有待驗證，下面就來驗證隨機變量是否能做成一個高等代數(shù)中的向量空間然后在驗證是否定義了協(xié)方差這個內(nèi)積之后可以做成一個歐式空間.

驗證是否概率論中的隨機變量做成的集合能否做成實數(shù)域上的一個向量空間

以上即可證明隨機變量可以做成一個向量空間

下面接著證明協(xié)方差是否能夠定義為向量空間上的內(nèi)積將隨機變量做成的向量空間在作成一個歐式空間.

對稱性：

線性性質(zhì)：

由協(xié)方差的定義可得

.

正則性：

故綜上所述所有的隨機變量可以做成一個歐式空間其內(nèi)積為協(xié)方差.

由向量的內(nèi)積公式可得其中為向量X與Y的夾角.故.然后可以證明的充要條件是X與Y有相關(guān)關(guān)系.當?shù)臅r候不相關(guān)，上面感性的認識過越大即相關(guān)系數(shù)的分子絕對值越大也即相關(guān)系數(shù)絕對值越大則兩隨機變量的相關(guān)程度就越高，故相關(guān)系數(shù)越是接近于一則兩隨機變量的相關(guān)程度也就越高，反之越是接近與零則其相關(guān)程度也就越低.

其實相關(guān)系數(shù)還可以做另外一種理解：

若即隨機變量的數(shù)學期望為則其標準化的變量為

則即兩隨機變量的相關(guān)系數(shù)等于標準化后的隨機變量的方差.

通過將高等代數(shù)中的歐式空間引入到概率論中能夠有助于我們理解相關(guān)系數(shù)，因此我們要具有知識的遷移能力這很重要，不能為了知識而知識，知識就是拿來運用的.

協(xié)方差矩陣：

記n維隨機向量為，若其每個分量的數(shù)學期望都存在，則：

為n維隨機變量向量的數(shù)學期望向量簡稱為X的數(shù)學期望而稱

為隨機向量的協(xié)方差矩陣，此矩陣是一個對稱非負定矩陣，主對角線上的元素為對應(yīng)位置的方差，其他位置為對應(yīng)隨機變量的協(xié)方差，只要將協(xié)方差矩陣的算法輸入到計算機內(nèi)部我們就可以很清晰的看清楚n維隨機向量任意兩個隨機變量間的相關(guān)關(guān)系.

條件分布與數(shù)學期望

離散型隨機變量的條件分布

條件分布無疑就是在知道聯(lián)合分布的情況下運用條件概率公式求之即可不做過多敘述.

連續(xù)型隨機變量的條件分布

設(shè)二維離散型隨機變量的聯(lián)合概率密度，邊際密度函數(shù)為.

在離散隨機變量場合，其條件概率的分布函數(shù)為.因為連續(xù)型隨機變量取某個值的時候其概率為零，故在連續(xù)型場合不可以簡單的使用條件概率公式，這會導致分母為零，因此既然不能求出某一點取值的概率，我們又在數(shù)學分析中學過極限的概念，因此我們可以將看做時的值去代替,于是就可以得出如下的定理:

對一切使得的y，給定條件下X的條件分布函數(shù)和條件密度函數(shù)分別為

.

連續(xù)場合的全概率公式和貝葉斯公式

由條件密度函數(shù)可得

可得到邊際密度函數(shù)

就得貝葉斯公式的密度函數(shù)形式為：

由對稱性即可得到.

條件數(shù)學期望

條件分布的數(shù)學期望如果存在則稱其為條件期望.條件期望的計算只要利用連續(xù)型場合和離散型場合的定義用條件概率代替非條件概率計算即可.

設(shè)服從二維正態(tài)分布由邊際分布知X服從正態(tài)分布,Y服從正態(tài)分布.我們可以求得其條件分布也服從正態(tài)分布

要了解條件數(shù)學期望的意義且看如下例子：

_在勘察犯罪現(xiàn)場獲取犯罪分子信息的時候經(jīng)常根據(jù)腳印的大小來判斷其身高，一般認為腳印和足長可以可以視作二維正態(tài)分布在處理，即其條件分布服從正態(tài)分布由此可以得到：,里面除了腳印大小y為未知數(shù)以外其他的參數(shù)都可以看做是已知的，因此只要知道了犯罪嫌疑人的腳印大小就可以推斷其身高.

上面已經(jīng)知道了我們可以用條件期望來進行推斷實際上這種推斷只是一種估計，那么這種推斷是否是可靠的嘞？可靠的依據(jù)又在哪里嘞？

條件均值說白了就是在已知的條件下去預測的值,那么用條件均值預測有些什么好處嘞？下面進行說明.

我們已經(jīng)知道條件均值是關(guān)于未知數(shù)y的一個函數(shù)，我們不妨假定還有其他的關(guān)于y的函數(shù)可以對x進行預測，判斷這個預測值好壞的依據(jù)是誤差要盡可能的小即,但是是一個隨機變量取值并不固定，因此就要求其均值

為了去掉絕對值方便運算將其替換成.

我們可以證明當?shù)臅r候成立，因此用條件均值進行預測的時候其均方誤差將達到最小，這就是用條件均值進行合理預測的理論依據(jù).我們也將稱之為是第一類回歸.

但是當某些分布的密度函數(shù)未知或者是函數(shù)過分復雜的時候我們也可以降低要求，即不尋求最優(yōu)預測，只需求滿意預測即可，當不使用條件均值時我們通常使用一個簡單的函數(shù)即線性函數(shù)來替代他進行預測，不妨設(shè)為的線性預測，則我們要求

為了求出參數(shù)a和b，可以進行如下處理將上式分別對a和b求偏導數(shù)然后求出穩(wěn)定點a,b即可得到參數(shù)a,b的計算公式(很顯然必然有一個a,b的取值滿足上式).

由此得到我們將其稱之為第二類回歸，由此可知對正態(tài)分布而言其第一類回歸就是第二類回歸，即在理論上來講用條件均值來預測犯罪嫌疑人的身高是合理最優(yōu)的預測方案.

特征函數(shù)

隨機變量的分布函數(shù)可以全面的描述隨機變量的統(tǒng)計規(guī)律，但是分布函數(shù)和密度函數(shù)使用起來并不方便，比如知兩隨機變量他們兩個相互獨立其密度函數(shù)分別為則的密度函數(shù)即為的卷積，但是當我們要研究即n個隨機變量和的分布的時候我們就要求次卷積，我的媽耶，這個計算量是相當?shù)拇蟮?，即便是如今的計算機也是吃不消的，因此我們必須需求其他的工具來解決這個問題，在數(shù)學分析中我們知道傅里葉(Fourier)變換能夠?qū)⒕矸e運算轉(zhuǎn)化為乘法運算即，因此我們密度函數(shù)進行傅里葉變換將卷積運算轉(zhuǎn)化為乘法運算然后在通過傅里葉逆變換即可以求得密度函數(shù)，乘法運算顯然是要比卷積運算方便的.

設(shè)是隨機變量的密度函數(shù)，則的傅里葉變換是,i是虛數(shù)也即.

設(shè)是任一隨機變量，則稱

是的特征函數(shù).

顯然任何一個隨機變量其特征函數(shù)都是存在的因為.

定理一：

設(shè)的特征函數(shù)分別為則的特征函數(shù)為

，n維情形推廣之.

定理二：

設(shè)隨機變量有N階矩存在，則的特征函數(shù)可微N次且對有：

,這個公式可以方便計算隨機變量的K階矩只要對其特征函數(shù)求K階導數(shù)即可

從上面我們知道任何一個隨機變量分布函數(shù)唯一的對應(yīng)著一個特征函數(shù)，實際上也可以證明任何一個特征函數(shù)也唯一地確定了他的分布函數(shù)，即特征函數(shù)與分布函數(shù)是一個雙射.由此我們就可以利用傅里葉逆變換根據(jù)隨機變量的特征函數(shù)來確定其密度函數(shù)與分布函數(shù).

傅里葉變換：.

傅里葉逆變換：

由特征函數(shù)我們可以看到，數(shù)學各個分支看起來似乎相互獨立，其實是各分支相互滲透的，概率論的產(chǎn)生離不開數(shù)學分析,高等代數(shù)和復變函數(shù)的發(fā)展，而概率論的發(fā)展也反過來推動了其他數(shù)學分支的發(fā)展，知識與知識之間要有遷移能力，要有整體上的把握，這樣才能對數(shù)學有全面的了解.

大數(shù)定律與中心極限定律

前面說過對于隨機試驗，隨著隨機試驗的次數(shù)逐漸增多，頻率將會逐漸穩(wěn)定到概率，平均值將會逐漸穩(wěn)定到均值，這個穩(wěn)定只是一個很直覺的說法，那么如和讓這種直覺轉(zhuǎn)化成數(shù)學意義嘞？這就是下面要解決的問題.

伯努利大數(shù)定律：

設(shè)是n重伯努利試驗中A試驗發(fā)生的次數(shù)，又A在每次試驗中出現(xiàn)的概率為.則對任意的,有

上式中的就是n次隨機試驗的頻率，也就是說隨著n次數(shù)的增加其頻率趨向于概率的概率趨向于一，這個是與數(shù)學分析中的極限概念是不同，極限是存在存在，當,的時候任意的都滿足

而伯努利大數(shù)定律是強調(diào)的是概率,當n趨于無窮的時候其概率趨向于一，也就是說，事件發(fā)生的可能性會越來越大，但也有可能的事件會發(fā)生，因此我們就將頻率依照概率收斂于概率.

對于伯努利大數(shù)定律實際上我們是討論了形如的隨機變量，當時的統(tǒng)計規(guī)律，其中是獨立的服從分布的隨機變量，因此我們將伯努利大數(shù)定律推廣到更為一般的情形

大數(shù)定律：

若諸是隨機變量序列，如果存在常數(shù)序列使得對任意的有：

成立，則稱隨機變量序列服從大數(shù)定律，由此可知，伯努利大數(shù)定律只是上敘大數(shù)定律的一個特例.

切比雪夫大數(shù)定律：

設(shè)是一些兩兩互不相關(guān)的隨機變量，又設(shè)他們的方差有界，即存在常數(shù)使得諸則對任意的有：

此定理可有切比雪夫不等式得證明

由此可見伯努利大數(shù)定律是切比雪夫大數(shù)定律的特例，切比雪夫大數(shù)定律是大數(shù)定律的特例

馬爾可夫大數(shù)定律：

在證明切比雪夫大數(shù)定律的過程中其實我們可以發(fā)現(xiàn)只要則{}服從大數(shù)定律，即對任意的有：

切比雪夫大數(shù)定律是馬爾可夫大數(shù)定律的特例，馬爾可夫大數(shù)定律的重要性在與對于隨機變量序列已經(jīng)沒有了獨立性、同分布性、不相關(guān)性的假定，在以上大數(shù)定律的證明過程中都是以切比雪夫不等式為前提的因此都要要求隨機變量具有方差，但是進一步的研究表明，方差的存在也不是必要的，下面介紹一個與方差無關(guān)的大數(shù)定律，辛欽大數(shù)定律

辛欽大數(shù)定律：

設(shè)諸是一系列獨立同分布的隨機變量且數(shù)學期望存在：

則對任意的,有成立

在上面的所有大數(shù)定律中伯努利大數(shù)定律是證明了頻率依照概率穩(wěn)定與概率，而辛欽大數(shù)定律是證明了平均值依照概率會穩(wěn)定與數(shù)學期望，現(xiàn)有伯努利大數(shù)定律而后將其推廣給出大數(shù)定律的一般形式，而后將伯努利大數(shù)定律的條件一步步放寬，伯努利大數(shù)定律數(shù)切比雪夫大數(shù)定律的特例子，切比雪夫大數(shù)定律是馬爾可夫大數(shù)定律的特例，無論是切比雪夫大數(shù)定理還是伯努利大數(shù)定律亦或是馬爾可夫大數(shù)定律他們?nèi)叩淖C明都是與切比雪夫不等式有關(guān)，因此要求其隨機變量序列具有方差，但是辛欽大數(shù)定律是與方差無關(guān)的，他至于隨機變量序列是否獨立以及各自的數(shù)學期望是否存在有關(guān).

隨機變量序列的兩種收斂性：

在大數(shù)定律中我們從頻率的穩(wěn)定性出發(fā)，引入了

即隨機變量序列{}依概率收斂于常數(shù)a的概念，很自然的我們也把他進行推廣，即不把它收斂于一個常數(shù)而是收斂于一個隨機變量，于是引入如下定義：

設(shè)有一列隨機變量如果對任意的,有

則稱隨機變量序列{}依概率收斂于記作

大數(shù)定律只是上敘依概率收斂的一種情況特殊情況

如果我們已知那么他們的分布函數(shù)之間會有什么樣的關(guān)系嘞？

定義：設(shè),是一系列分布函數(shù)，如果對的每個連續(xù)點都有

則稱分布函數(shù)列{}弱收斂于

定理1：

若隨機變量序列依概率收斂于隨機變量，則隨機變量序列的分布函數(shù)列弱收斂于的分布函數(shù)

一般來說此定理反過來不成立

定理2：

隨機變量序列其中c為常數(shù)的充要條件為

為退化分布是的分布函數(shù)

此定理說明隨機變量和的分布弱收斂于退化分布這就是大數(shù)定律

定理3：

分布函數(shù)列{}弱收斂于分布函數(shù)的充要條件書相應(yīng)的特征函數(shù)列{}收斂于的特征函數(shù).

前面我們了解到特征函數(shù)有便于減少求獨立隨機變量和的分布的計算量，而且可以很方便的求出和的分布的一些特征數(shù)，有了這個定理之后我們將極大的拓寬特征函數(shù)的使用范圍，當求獨立分布和的極限問題的時候這個工具將發(fā)揮出巨大的威能

中心極限定理：

之前曾經(jīng)提到過高斯在研究誤差理論的時候曾經(jīng)利用了正態(tài)分布，那么大家有沒有想過為什么會選著正態(tài)分布來研究誤差嘞？那么現(xiàn)在我們來研究一下誤差到底是一個什么樣的隨機變量，以我國的東風導彈為例，設(shè)靶心為原點，則導彈的彈著點為,現(xiàn)在我們已經(jīng)知道都服從正態(tài)分布，可以看做是導彈射擊的橫向誤差要和縱向誤差，而造成產(chǎn)生誤差的原因是有無數(shù)個微小的因數(shù)積累總和而成的，比如空氣的阻力，空氣的濕度，炮彈的火藥差異，發(fā)射站的具體情況等等一系列原因造成的，我們不妨假設(shè)這一系列的因素造成的橫向誤差和為誤差為，即，我們暫且先把這一系列誤差隨機變量看做是獨立同分布的，現(xiàn)在我們來研究隨機變量和的分布，數(shù)學家們發(fā)現(xiàn)，當?shù)臅r候可能趨向于無窮這時候其方差越來越大，均值也越來越大，造成分布極其的不穩(wěn)定，而且求其分布函數(shù)越來越困難，此時我們研究這種情形就沒有什么現(xiàn)實意義，我們只討論取有限值時候的隨機變量，伯努利大數(shù)定律告訴我們：

這是因為先進行了隨機變量和的去中心化讓后比上一個增長因子，這樣我們才能使得使得其分布函數(shù)序列弱收斂于一個分布函數(shù)，然后我們用近似分布區(qū)代替和的分布，使得其特征函數(shù)序列也收斂于一個特征函數(shù)，這樣我們就能夠運用特征函數(shù)去求出隨機變量和的分布問題：

回顧一下我們之前的標準化我們不妨將隨機變量和中心化之后再比上其標準差進行標準化

有這樣就能夠使得不論n為多少，使得的分布能夠大致穩(wěn)定下來即依照概率能夠使得當收斂于某一個,其分布函數(shù)也弱收斂于一個分布函數(shù).

當是服從參數(shù)為的兩點分布的時候，則有下述歷史上著名的

棣莫弗(DeMoivre)—拉普拉斯(Laplace)定理：?

在n重伯努利試驗中，事件A在每次試驗中出現(xiàn)的概率為,為n此試驗中事件A出現(xiàn)的次數(shù)，則

此定理的說明‘’二項分布收斂于正態(tài)分布‘’，當n很大的時候可以用來近似計算二項分布的取值

而且此定理還可以用來計算伯努利大數(shù)定律事件發(fā)生的概率，而伯努利大數(shù)定律只是說明頻率收斂于概率并沒有說事件發(fā)生的概率是多少，由此可知此定理比伯努利大數(shù)定律更強.

此定理的發(fā)明由棣莫弗首先研究，而后由拉普拉斯推廣，這個定理的提出就是正態(tài)分布出現(xiàn)的雛形，但遺憾的是兩位數(shù)學家并沒有把正態(tài)分布當成一回事情，只是把它用來近似計算二項分布，以前我們提到過二項分布收斂于泊松分布但是這里又提二項分布收斂于正態(tài)分布這是不是沖突嘞？這其實不沖突，二則收斂的條件不同罷了，收斂于泊松分布是要求，而正態(tài)分布則是要求,經(jīng)過其他數(shù)學家的推廣，然后高斯才用正態(tài)分布來計算誤差，而后拉普拉斯又整合中心極限定理發(fā)現(xiàn)隨機誤差正是滿足中心極限定理的.

將上面的定理推廣之后就能夠得到更加一般的定理即林德貝格—勒維(Lindeberg-Levy)定理：

若諸是一系列獨立同分布的隨機變量，且

則有

上面的定理我們是在獨立同分布的情形下提出的，但在現(xiàn)實環(huán)境中眾多的微小元素雖然是獨立的但是卻未必是同分布的，因此我們要考慮獨立但是未必同分布的的隨機變量序列的分布問題，為解決這一問題就有了林德貝格定理：

設(shè)隨機變量序列滿足林德貝格條件(這個定理主要是保證能夠穩(wěn)定下來不趨向于無窮)則當是對任意的x，有

故此定理證明了由大量的微小且獨立的隨機因素并且積累而形成的變量，將會是一個正態(tài)隨機變量，這樣就能夠理解為什么誤差理論可以用正態(tài)分布來描述了.說白了中心極限定理就是用來描敘正態(tài)分何以成為正態(tài)分布，什么樣的隨機變量服從正態(tài)分布的一個定理.

概率論總結(jié)介紹第2篇1估測方差用卡方，估測均值，用正太或t,,方差已知用N,未知用T。

假設(shè)檢驗：

根據(jù)樣本，估計關(guān)于總體的某假設(shè)H0的真?zhèn)?，?yīng)該拒絕還是接受

u檢驗：總體標準差σ已知

t檢驗：用于樣本含量較小(如n<60)，總體標準差σ未知，呈正態(tài)分布的計量資料

F檢驗：用來檢驗兩總體的方差是否相等，如果相等，則樣本方差的比值符合F分布。

概率論總結(jié)介紹第3篇這個理解了都不用特意去記要用的時候信手捏來，我是個很勤快的人其他公式都懶得記懶得寫了。。。。下面只分析條件概率、全概率公式、貝葉斯公式：

條件概率：

所謂條件概率就是在事件A發(fā)生的情況下B發(fā)生的概率，即AB為樣本空間中兩兩事件若P(B)>0則稱：

為在B發(fā)生的前提下A發(fā)生的條件概率，簡稱條件概率。

這個公式不難理解，實際上上面公式也就是說“在B發(fā)生的條件下A發(fā)生的概率等于事件A與事件B共有的樣本點的個數(shù)比上B的樣本點的個數(shù)”，而且可以驗證此條件概率滿足概率的三條公理化定義。

乘法公式：

全概率公式：

設(shè)為樣本空間的一個分割，即互不相容，且,如果則對任一事件A有：

這個公式也是很好理解的因為諸互不相容而且其和事件為樣本空間，故A事件中的樣本點的個數(shù)等于A與諸_有樣本點的和。

貝葉斯公式：

貝葉斯公式是在全概率公式和乘法公式的基礎(chǔ)上推得的。

設(shè)若為樣本空間的一個分割，即互不相容，且如果則：

公式的證明是根據(jù)條件概率來的，然后在把分子分母分別用乘法公式和全概率公式代替即可，公式中的一般為已知概率稱之為先驗概率公式中則稱之為后驗概率，全概率公式和乘法公式為由原因推結(jié)果，而貝葉斯公式則為由結(jié)果推原因。

事件獨立性：

上面我們介紹了條件概率這個概念，在條件A下條件B發(fā)生的概率為,如果B的發(fā)生不受A的影響嘞？直覺上來講這就將意味著

故引入如下定義對任意兩個事件A,B若則稱事件A與事件B相互獨立

除了兩個隨機事件相互獨立滿足的定義當然也會有多個隨機事件獨立滿足的定義，對N隨機事件相互獨立則要求對事件中的任意個隨機事件都相互獨立.

伯努利概型：

定義：如果實驗E只有兩種可能的結(jié)果：,然后把這個試驗重復n次就構(gòu)成了n重伯努利試驗或稱之為伯努利概型.顯然每次伯努利試驗事件結(jié)果之間是相互獨立互不影響的，則伯努利試驗顯然是服從二項分布的，之后再介紹二項分布。

概率論總結(jié)介紹第4篇二維分布函數(shù)（聯(lián)合分布函數(shù)）：F(x,y)=P\{X\lex,Y\ley\},\\x,y\inR??.基本性質(zhì)：

（邊緣分布函數(shù)）：F_X(x)=F(x,+\infty),F_Y(y)=F(+\infty,y)?.（條件分布函數(shù)）：F_{X|Y}(x\|\y)=P\{X\lex\|\Y=y\}=\int_{-\infty}^x\dfrac{f(x,y)}{f_Y(y)}dx?,?F_{Y|X}(y\|\x)=P\{Y\ley\|\X=x\}=\int_{-\infty}^y\dfrac{f(x,y)}{f_X(x)}dy.

一維（分布律）：P\{X=x_k\}=p_k,\\k=1,2,\cdots?.

二維

（聯(lián)合分布律）：P\{X=X_i,Y=Y_i\}=p_{ij},\\i,j=1,2,\cdots????.

（邊緣分布律）：p_{i\cdot}=P\{X=x_i\},p_{\cdotj}=P\{Y=y_i\}?.

（條件分布律）：P(X=x_i\|\Y=y_i)=\dfrac{p_{ij}}{p_{\cdotj}},P(Y=y_j\|\X=x_i)=\dfrac{p_{ij}}{p_{i\cdot}}.

方差D(X)=E[X-E(X)]^2=E(X^2)-E^2(X)??.

標準差\sigma(X)=\sqrt{D(X)}.協(xié)方差Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}=E(XY)-E(X)E(Y).

相關(guān)系數(shù)\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{D(x)}\sqrt{D(Y)}}?.

矩

10-1分布（兩點分布）

2二項分布

3泊松（Poisson）分布

4幾何分布

5超幾何分布

1均勻分布

2指數(shù)分布

3正態(tài)分布

4卡方分布

5t分布

6F分布

*7\Gamma分布

1Y=g(X)的分布

設(shè)隨機變量X?的密度函數(shù)為f_X(x),x\inR?，Y=g(X)?存在反函數(shù)X=h(Y)?，則Y?的密度函數(shù)為

f_Y(y)=\begin{cases}f_X[h(y)]|h^\prime(y)|,&\alpha<y<\beta,\\0,&其它,\end{cases}\\

其中\(zhòng)alpha,\beta為常數(shù)，視情況確定.

2Z=X+Y的分布

f_Z(z)=\int_{-\infty}^{+\infty}f(z-y,y)dy=\int_{-\infty}^{+\infty}f(x,z-x)dx.\\

若X,Y相互獨立，可得卷積公式.

3Z_1=\dfracYX,Z_2=XY?的分布

f_{Z_1}(z)=\int_{-\infty}^{+\infty}|x|f(x,xz)dx.\\f_{Z_2}(z)=\int_{-\infty}^{+\infty}\dfrac{1}{|x|}f(x,\dfraczx)dx.\\

4M=max\{X,Y\},N=min\{X,Y\}的分布

設(shè)X,Y相互獨立，則：

\begin{align}&F_M(z)=F_X(z)F_Y(z).\\&F_N(z)=1-\big[1-F_X(z)\big]\big[1-F_Y(z)\big].\end{align}\\

概率論總結(jié)介紹第5篇離散型隨機變量函數(shù)的分布：

隨機變量函數(shù)指是定義在X上的一個函數(shù)而X是一個隨機變量則顯然也可看做是一個隨機變量,對于離散型隨機變量函數(shù)的分布列只需要把隨機變量替換成隨機變量的函數(shù)就可以了,數(shù)學期望和方差也按照定義求之即可不做過多敘述

連續(xù)型隨機變量的函數(shù)：

求離散型隨機變量函數(shù)的分布列是很容易的一件事情,而對連續(xù)型隨機變量我們不能直接把隨機變量的函數(shù)帶入密度函數(shù)求出隨機變量函數(shù)的分布列的，而需要從隨機變量的分布函數(shù)推得隨機變量函數(shù)的分布函數(shù)然后對隨機變量函數(shù)的分布函數(shù)求導即可得到隨機變量函數(shù)的密度函數(shù),我們可以將此問題分為兩種情況討論。

一、當Y=g(X)單調(diào)的時候：

定理1.

設(shè)X是連續(xù)型隨機變量,其密度函數(shù)為.是另一個隨機變量.若嚴格單調(diào),其反函數(shù)有連續(xù)的導函數(shù),則的密度函數(shù)為：

因為我們知道X的密度函數(shù)所以可以求出其分布函數(shù),然后有X的分布函數(shù)推出的分布而后求導即可得到隨機變量函數(shù)的密度函數(shù).

定理2.

設(shè)隨機變量則.

定理3.

設(shè)隨機變量X服從伽馬分布,則當時,有

二、當g(X)為其他形式的時候：

為其他形式也即不單調(diào)的時候不能用上面的公式只能依靠X的分布函數(shù)去推的密度函數(shù).

分布函數(shù)的其他特征數(shù)：

數(shù)學期望和方差是隨機變量重要的兩個特征數(shù),隨機變量還有其他的特征數(shù),下面做一一給出其定義和介紹.

K階矩：

k階原點矩：

將稱之為X的k階原點矩,顯然當k=1是即為數(shù)學期望

k階中心矩：

將稱之為k階中心距,顯然當k=2的時候即為方差

k階原點矩的意義為隨機變量偏離原點的數(shù)學期望

k階中心距的意義為隨機變量偏離中心的數(shù)學期望

變異系數(shù)：

方差反映了隨機變量取值的波動程度,但比較兩個隨機變量的波動大小時,如果僅看方差有時候是不好做比較的,原因有兩個.

其一:隨機變量的取值有量綱,不同的隨機變量僅僅用方差去(或者標準差去衡量)顯然是不太合理的.

其二:即使是在相同量綱的條件下,隨機變量的取值有一個相對性問題,隨機變量取值較大的通常情況下其方差也更大

因此為了消除量綱與隨機變量取值的相對性對隨機變量取值的影響,我們引入一個一個新的特征數(shù)即變異系數(shù).

設(shè)隨機變量的方差和數(shù)學期望都存在則稱：

為X的變異系數(shù),通過變異系數(shù)的表達式我們看到標準差比上數(shù)學期望消除了量綱的影響即變異系數(shù)是一個無量綱的量,而且也把數(shù)學期望作為單位去度量隨機變量取值的波動性.

如果還不能理解變異系數(shù)的表達式給大家打個淺顯的比方譬如,有甲乙丙丁四位IT從業(yè)人員,甲乙兩位是普通程序員,甲的收入的月薪20K,乙的收入是月薪30K,在甲乙的階層平均收入是月薪25K.丙丁兩位是高管,丙的收入是月薪24W,乙的收入是月薪27W,丙丁階層都是CTO(ChiefTechnologyOfficer)的平均收入是月薪25W.現(xiàn)在問是甲和乙的收入差距大些還是丙和丁的收入差距大些,一般人肯定會認為是丙和丁的差距大些,為什么嘞？因為他們認為丙和丁相差3W而甲和乙只相差1W那么顯然是前者相差大一些.謬也!因為首先甲乙和丙丁兩個人不在同一條水平線上,他們的收入的量綱一個是K(即一千RMB)后者的量綱是W(即一萬RMB),如果僅僅只是比較經(jīng)濟收益差異的大小那么顯然前者是要小于后者的,但是這樣片面的比較是不科學的,就像我拿自己身上穿的10塊錢一雙的休閑鞋和別人幾萬塊錢一雙的名牌鞋去比較一樣,結(jié)果顯而易見但是沒有什么意義.其次,甲乙和丙丁因為不在同一個階層甲乙之間的收入差距1W在丙丁階層看來是無足輕重的,就像我如果現(xiàn)在一天賺了1KRMB我會相當高興但是如果馬云一天只賺1KRMB在他看來跟阿里巴巴沒有賺錢是一個意思,甚至還要虧錢,因為阿里巴巴每天的運營成本都遠大于這個值.因此要比較甲乙和丙丁的收入差距我們就得消除以上的影響,必須要相對性的比較也就是說把甲乙間的比較放在甲乙的那個階層進行度量,把丙丁間的收入差異放在丙丁的階層進行度量,得到一個與階層無關(guān)的系數(shù),把他們的差異放到同一個標準下這樣就能夠比較甲乙和丙丁到底是前者間的差異大還是后者間的差異大.因此我們只需要把甲和乙的收入差距10K比上他們那個階層收入的平均值25K的比例系數(shù),丙丁之間也做同樣的處理得比例系數(shù)顯然甲乙得到的系數(shù)大于丙丁得到的差異系數(shù)因此甲乙之間的收入差距是要大于丙丁之間的收入差距的.

上面的變異系數(shù)的表達式的原理就是我所打比方的原理.

分位數(shù)：

設(shè)連續(xù)型隨機變量X的分布函數(shù)為,密度函數(shù)為,對任意的,稱滿足條件

的為此分布的p分位數(shù),若則稱為此分布的中位數(shù).

偏度系數(shù)：

一說到這個偏度系數(shù)我就很納悶了,明明是個很簡單的特征數(shù)為什么就是有那么多人理解不了,有些學弟學妹們問過我有些考研的研友也問過我,說他們做題目的時候雖然會做但是就是不能理解這個偏度系數(shù)到底是個什么意思,我雖然告訴他們這個特征數(shù)的含義,但是并不能確定他們是否理解了,因為語言表達和書面表達是不能劃等號的,就像筆者本人看起來就是吊兒郎當?shù)膭e人不罵我做流氓我就心滿意足了,但是我內(nèi)心深處其實是個很正經(jīng)很內(nèi)向的人(肯定有自己的同學要罵我不要臉了O(∩∩)O哈哈~),現(xiàn)在我將他詳細的寫出來并且配上圖片說明,要是在不懂是個什么意思我把電話號碼居住地址告訴你你過來干脆打死我算了O(∩∩)O~,有些人還問過我其他的特征數(shù)比如協(xié)方差與協(xié)方差矩陣,相關(guān)系數(shù),不急后面我都會一一做解釋的：

設(shè)隨機變量X的前三階矩都存在,則比值

稱為X的偏度系數(shù),簡稱偏度.當時,則稱該分布為正偏,又稱右偏；當時,則稱該分布為負偏或者左偏

偏度是描敘一個分布對稱性程度的一個特征數(shù),這個可以從以下幾個方面進行解釋

當密度函數(shù)p(x)關(guān)于數(shù)學期望對稱的時候這時候有即隨機變量取值在均值左邊的概率等于隨機變量取值在均值右邊的概率故其三階中心矩必等于零,從而其偏度系數(shù)必定為零,這表明關(guān)于對稱的分布其偏度系數(shù)為零,如正態(tài)分布是關(guān)于對稱的分布其偏度系數(shù)為零.

當偏度時候,該分布為偏態(tài)分布,當時候為左偏,當時為右偏,左偏右偏的含義下面配圖更加直觀形象的進行解釋.

上面圖像是當偏度系數(shù)大于零的時候即右偏的時候分布函數(shù)的大致圖像輪廓,黃色的線表示均值分割線,現(xiàn)在我們來根據(jù)圖像理解偏度系數(shù)的表達式偏度系數(shù),在上面的圖像中,意味著,其分布函數(shù)有如下特性：

均值右邊的概率即分布函數(shù)以均值為分割線右邊區(qū)域的面積大于左邊區(qū)域的面積或者右邊圖像曲線的尾巴拖得很長很長或者兩者兼而有之,那如何解釋這樣的分布函數(shù)圖像的性質(zhì)嘞？這還得從表達式中的來分析因為的決定的正負情況,右偏的時候,因為均值左邊的值是決定的主要因素,均值右邊的值是決定的主要因素,當時候,這意味著取得大于均值的X的值比取得小于X的值要多(當樣本總數(shù)固定的時候即取得均值右側(cè)值的概率(均值右側(cè)分布函數(shù)曲線的面積)要大于取得左側(cè)值的概率(均值左側(cè)分布函數(shù)曲線的面積))或者當取得X的值大于均值的數(shù)量小于取得X值小于均值的數(shù)量的時候,取得大于均值的X的值偏離均值的程度就要大于取得均值左邊的值,這種情況就造成了分布函數(shù)的尾部拖得很長很長或者兩者兼而有之如上面的分布函數(shù)圖像所示.

當?shù)臅r候依上類推即可.這就是偏度系數(shù)表達式分子的意義所在,下面繼續(xù)解釋分母的意義.

偏度系數(shù)分母的也與變異系數(shù)的分母有著相同的作用都是為了消去量綱,使得各個分布的偏度系數(shù)具有相同的量綱,但是這里有一個問題不知道大家到底想沒有想過,為什么偏度系數(shù)的分子不用或者而改用,在理論上來講使用前者也是行得通的,但是為什么要用后者嘞？這很奇怪耶,難道是數(shù)學家們吃飽了撐的硬是要給你整個三次方出來顯得更專業(yè)更加高大上？顯然高尚的數(shù)學家們是不會這樣無聊的,那么為什么不用前者而用后者嘞？其實前面在均值部分我們就提到過平均值是穩(wěn)定于均值的,而的平均值是等于零的因此對任何分布而言都是恒等于零的這顯然不能用作偏度系數(shù)的分子,那為什么不用嘞?因為我們是打算選用標準差來度量偏度系數(shù)消去量綱,二次方的分子就是方差如果要消去量綱的話那豈不是所有的偏度系數(shù)都恒等于一了？因此選擇三次方是最理想的.

峰度系數(shù)：

設(shè)隨機變量X的前四階原點矩存在,則：

稱為X的峰度系數(shù),簡稱峰度.

峰度系數(shù)是描述分布尖峭程度或尾部粗細程度或二者兼述的一個特征數(shù)

想要描述一個分布函數(shù)的尖峭程度以及尾部粗細程度顯然這是一個兩個分布之間的特征數(shù),因為一個分布函數(shù)的尖峭程度與尾部粗細其實并不像偏度系數(shù)那樣可以判定一個分布是左偏還是右偏,一個分布的對稱程度是好判定的但是一個分布函數(shù)的尖峭程度你如何去判定？如何才算是尖峭？如何擦算是尾部很粗？這個必須得通過比較兩個分布之間的尖鞘程度和尾部粗細程度才能夠?qū)崿F(xiàn),但是各種各樣的分布都有,在分布空間里任選兩個分布進行比較組合方式多種多樣因此這使得比較的系數(shù)也會多種多樣,那我們可不可以選取一個分布為參考分布將所有的分布都與其進行比較？答案是肯定的,設(shè)定了比較的參考分布之后我們就能夠想辦法構(gòu)造統(tǒng)一的峰度系數(shù)來進行尖峭程度的比較,但是我們應(yīng)該選取一個怎樣的參考分布嘞？這個得先認