計量經(jīng)濟學2 概率統(tǒng)計基礎(chǔ)

1、計量經(jīng)濟學 Lecturer： 王振宏王振宏Email: mobile:ffice Address： 北北7-1203D第2章概率統(tǒng)計基礎(chǔ)第2章 概率統(tǒng)計基礎(chǔ)n計量經(jīng)濟學分析的變量多是隨機變量，模型都有隨機誤差項n介紹計量經(jīng)濟分析的概率統(tǒng)計基礎(chǔ)知識內(nèi)容提要1 1隨機性與概率隨機性與概率2 2隨機變量和概率分布隨機變量和概率分布3 3參數(shù)估計和假設檢驗參數(shù)估計和假設檢驗第一節(jié) 隨機性和概率一、計量經(jīng)濟分析、隨機性和概率一、計量經(jīng)濟分析、隨機性和概率二、概率的頻率定義二、概率的頻率定義三、概率的古典定義三、概率的古典定義四、概率的公理化定義四、概率的公理化定義五、概率的性

2、質(zhì)五、概率的性質(zhì)六、條件概率和統(tǒng)計獨立性六、條件概率和統(tǒng)計獨立性一、計量經(jīng)濟分析、隨機性和概率一、計量經(jīng)濟分析、隨機性和概率（一）計量經(jīng)濟分析和隨機性（一）計量經(jīng)濟分析和隨機性 n隨機性指事物的結(jié)果、水平不能完全事先確定 n計量經(jīng)濟分析的對象必然有隨機性，隨機性是計量經(jīng)濟模型的根本特征之一n來源：行為隨機性、模型簡化、觀測統(tǒng)計誤差n隨機變量，隨機誤差項，計量經(jīng)濟模型是隨機模型、隨機變量模型。n隨機性是計量經(jīng)濟分析的矛盾焦點，也是計量經(jīng)濟學產(chǎn)生發(fā)展的原因 （二）隨機性和概率（二）隨機性和概率 n隨機事物比確定性事物難以預測和把握n但隨機性和隨機事物并不是無規(guī)律。表面偶然性背后有內(nèi)在必然性隨機事物

3、或者其特定結(jié)果發(fā)生的可能性大小，“概率”（Probability）。 n概率由隨機事物本身特征決定n概率是描述、分析和利用隨機事物的關(guān)鍵n研究概率的幾種主要方法概率的頻率定義、古典定義和公理化定義二、概率的頻率定義二、概率的頻率定義概率定義：伯奴里大數(shù)定律（法則）的支持（P48）)(lim)(AFAPNn三、概率的古典定義三、概率的古典定義（一）隨機試驗和樣本空間（一）隨機試驗和樣本空間隨機試驗、樣本點、基本事件、樣本空間隨機試驗、樣本點、基本事件、樣本空間隨機事件隨機事件樣本點組合，性質(zhì)同集合（交、樣本點組合，性質(zhì)同集合（交、并、和、等價、包含、逆、互斥、差、完備并、和、等價、包含、逆、互斥

4、、差、完備事件組）事件組）（二）古典概型和概率的古典定義（二）古典概型和概率的古典定義古典概型古典概型三個特征：三個特征： 有限結(jié)果、互不相容、等可能有限結(jié)果、互不相容、等可能nmnnAP11)(樣本點總數(shù)包含的樣本點個數(shù)A古典概型局限性：（1）古典概型要求試驗的可能結(jié)果總數(shù)有限，又要求某種等可能性（2）推廣到幾何概率時還會導致一些矛盾（幾何概率不是結(jié)果數(shù)量有限，而是范圍、測度有限） 四、概率的公理化定義四、概率的公理化定義 柯爾莫哥洛夫（Kolmogorov）（1933年）在集合論和測度論的基礎(chǔ)上建立了概率論公理體系。克服古典定義的缺陷（一）事件和事件域（一）事件和事件域柯爾莫哥洛夫概率論公

5、理化體系：基本概念是樣本點，不是事件。樣本點相應于隨機試驗的結(jié)果。樣本點看作抽象的點，它們的全體構(gòu)成樣本空間，仍用 表示。事件定義為 的一個子集，它包含若干個樣本點，事件發(fā)生當且僅當A所包含的樣本點中有一個發(fā)生 事件域就是由全體事件構(gòu)成的集類，我們用F表示。一般要求F滿足下列三個要求：（i） F；（ii）若 F，則 F；（iii）若 F； ，則 F。AAnA, 2 , 1nnnA1滿足這三點集類稱“ -域”或“ -代數(shù)”事件域F就是定義在樣本空間的 -域 和 都包含在F中。 （二）概率（二）概率定義 概率是從事件（也是集合）到實數(shù)的映射，是一種集合函數(shù)。 定義定義：對事件域F中的每個元素A，概

6、率是定義在事件域F上，滿足如下三個條件的集合函數(shù) ： （i） ，對一切 F；非負（ii） 完備（iii）若 F， ，且兩兩互不相容，則 完全可加、可列可加)(AP0)(APA1)(PiA, 2 , 1i11)()(iiiiAPAP五、概率的性質(zhì)：五、概率的性質(zhì)：P29 六、條件概率和統(tǒng)計獨立性六、條件概率和統(tǒng)計獨立性 （一）條件概率（一）條件概率 n已知B發(fā)生的條件下，事件A發(fā)生的概率，稱為A以B為條件的“條件概率” 。n性質(zhì)：非負、規(guī)范、可列可加等（P31）)(BAP)()(BPABP)()()(BAPBPABP)()()()()(12121312121nnnAAAAPAAAPAAPAPAA

7、APn條件概率條件概率的含義：貝葉斯定理。n在具體行動之前，無論決策如何制定，在結(jié)果的證據(jù)收集并確認后，決策時可以改變的。n例如：某人認為A超市東西比B超市便宜（二）全概率公式和貝葉斯公式（二）全概率公式和貝葉斯公式 是樣本空間的一個完全分割，即兩兩互不相容。那么由概率完全可加性和乘法定理得 全概率公式全概率公式11)()()()(iiiiiABPAPBAPBPiAn貝葉斯公式若 能且只能與 之一同時發(fā)生，那么 1)()()()()()()()(iiiiiiiiABPAPABPAPBPABPAPBAPB,21nAAA（三）事件獨立性（三）事件獨立性n對事件A和B，若則稱它們是“統(tǒng)計獨立的”。n

8、可擴展到更多事件的獨立性n若事件A和B獨立，則 )()()(BPAPABP)()(APBAP第二節(jié)第二節(jié) 隨機變量和概率分布隨機變量和概率分布n在概率統(tǒng)計和計量經(jīng)濟分析中，人們更關(guān)心的是有隨機性的經(jīng)濟指標水平，都是數(shù)量化的隨機事件。n例如某時刻的股票價格，某天某銀行吸收的存款數(shù)量，某商場某月的銷售額，某商品的市場價格水平等。一、隨機變量及其概率分布一、隨機變量及其概率分布（一）隨機變量（一）隨機變量 （二）概率分布（二）概率分布 （三）分布函數(shù)（三）分布函數(shù) （四）密度函數(shù)（四）密度函數(shù) （五）隨機變量函數(shù)的概率分布（五）隨機變量函數(shù)的概率分布 （一）隨機變量（一）隨機變量n數(shù)量化的隨機事件通

9、常稱為“隨機變量”（Random variable）n隨機變量是從樣本空間擴張而成的 -域到實數(shù)集的函數(shù)。n隨機變量也可以是通過對定性事件的數(shù)量化轉(zhuǎn)化而得到。 n“離散型隨機變量”和“連續(xù)型隨機變量”。（二）概率分布（二）概率分布n隨機變重要的是它們?nèi)√囟ㄖ档目赡苄?，稱為隨機變量的“概率分布”（Probability distribution）。n離散型隨機變量只能取有限或可數(shù)個值，概率分布可以用羅列、表格、圖形表示等。n連續(xù)要用分布函數(shù)。 （三）分布函數(shù)（三）分布函數(shù)n連續(xù)型隨機變量可能取值無窮多，每個值取到概率無窮小，無法用羅列概率方法表達研究。n只能用反映隨機變量取特定范圍值可能性大小的

10、“分布函數(shù)”（Distribution function），也稱“累積分布函數(shù)”（Accumulated distribution function）描述研究。 n分布函數(shù)隨機變量取值不大于給定水平的概率構(gòu)成的函數(shù)： )()(xPxFx離散型隨機變量分布函數(shù)隨機變量的分布函數(shù)有如下性質(zhì) （P35）已知隨機變量的分布函數(shù)就知道了隨機變量在任何區(qū)間上取值的概率，分布函數(shù)完整地描述了隨機變量的情況，掌握分布函數(shù)就等于掌握了隨機變量的隨機性規(guī)律。 kiipxPxF1)()(（四）密度函數(shù)（四）密度函數(shù)n連續(xù)型隨機變量概率分布另一個概念，“密度函數(shù)”（Density function）或稱“概率密度函數(shù)

11、”。n密度函數(shù)密度與分布函數(shù)關(guān)系dttfxFx)()()(xf（五）隨機變量函數(shù)的概率分布（五）隨機變量函數(shù)的概率分布如果 是隨機變量 的函數(shù) 設 的分布函數(shù)為 ，則 的分布函數(shù)為)()(xF)(xyydFxG)()()(xxkkpxG)()(xydyyfxG)()()(二、多元分布和條件分布二、多元分布和條件分布 （一）隨機向量和多元分布（一）隨機向量和多元分布 n“隨機向量隨機向量”概念研究一組有關(guān)聯(lián)的隨機變量概念研究一組有關(guān)聯(lián)的隨機變量 n 一個一個n n個分量的隨機向量個分量的隨機向量 n隨機向量的隨機向量的“多元分布多元分布”。n“聯(lián)合分布函數(shù)聯(lián)合分布函數(shù)”兩個或多個隨機變量取兩個或

12、多個隨機變量取一組特定值的概率分布一組特定值的概率分布n隨機變量邊際分布隨機變量邊際分布 ),(1n),(),(111nnnxxPxxF),(11,mmiiiixxF),(1miixxF（二）條件分布和隨機變量的獨立性（二）條件分布和隨機變量的獨立性n條件分布條件分布n隨機變量的相互獨立性隨機變量的相互獨立性)()(BxPBxF)()()()(yxPyxFyxFBxF)()(),(111nnnxFxFxxF三、概率分布的數(shù)字特征三、概率分布的數(shù)字特征 （一）期望（一）期望 （二）方差（二）方差 （三）期望和方差的性質(zhì)（三）期望和方差的性質(zhì) （四）條件期望和全數(shù)學期望（四）條件期望和全數(shù)學期望

13、（五）高階矩（五）高階矩 （六）協(xié)方差和相關(guān)系數(shù)（六）協(xié)方差和相關(guān)系數(shù) 四、常見分布四、常見分布 （一）正態(tài)分布（一）正態(tài)分布 （二）（二） 分布分布 （三）（三）t分布分布 （四）（四）F分布分布 2（一）正態(tài)分布取值于（ ）的連續(xù)分布正態(tài)分布完全由期望和方差決定分布密度函數(shù) 數(shù)學期望 方差 正態(tài)分布記為 ,222)(21)(xexf2),(2N正態(tài)分布是以數(shù)學期望為中心的對稱分布正態(tài)分布密度函數(shù)具有“鐘形”特征95%左右集中分布在期望加減2倍標準差范圍99%以上集中在期望加減3倍標準差范圍內(nèi)正態(tài)分布偏度為 =0正態(tài)分布密度函數(shù)有常峰態(tài)，峰度 接近32323)(E224)(E一般正態(tài)分布隨機

14、變量變換成“標準正態(tài)分布”密度函數(shù) ) 1 , 0(N2221)(xex判斷正態(tài)分布n根據(jù)密度函數(shù)的形態(tài)進行判斷：用頻數(shù)直方圖的上方邊緣作為密度函數(shù)的近似，判斷隨機變量是否服從正態(tài)分布。 n根據(jù)偏度、峰度特征檢驗：利用觀測樣本計算三階矩和四階矩的近似值（與后面講的抽樣分布有關(guān)），偏度和峰度近似值，如果接近0和3，則認為隨機變量服從正態(tài)分布，也稱“通過了正態(tài)性檢驗”。 （二） 分布n標準正態(tài)分布隨機變量的平方所服從的分布。 n取值范圍是（ ），顯然是非對稱分布。 n數(shù)學期望等于自由度 ，方差為2 2kk, 0（三）三）t分布設 服從標準正態(tài)分布 服從自由度為 的 分布則隨機變量服從自由度為 的t

15、分布t分布概率密度函數(shù)形態(tài)類似標準正態(tài)分布方差為 ，比標準正態(tài)分布平坦，尾部厚 Xk2kXt/k)2( kk（四）四）F分布分布 服從自由度 的 分布， 服從自由度 的 分布，相互獨立，那么隨機變量 服從的分布稱為有兩個自由度 和 的F分布記為 1X1k222X2k2211kXkXF ),(21kkF1k2k五、隨機變量的收斂性和極限理論五、隨機變量的收斂性和極限理論（一）隨機變量的收斂性（一）隨機變量的收斂性 n大量隨機變量之和的概率分布是通過隨機變量序列極限分布表現(xiàn)的，極限定理的基礎(chǔ)是隨機變量序列的收斂性。n隨機變量序列的收斂性與一般變量不同，是概率、概率分布或者分布特征的收斂性，有依分布

16、收斂和依概率收斂等。n不同的收斂性定義將導致不同的極限定理。 分布函數(shù)弱收斂分布函數(shù)弱收斂： 對于分布函數(shù)序列 （為了簡單起見，常常直接寫成 ），如果存在函數(shù) 使得 在 的每個連續(xù)點上都成立，則稱“ 弱收斂于 ”。 )(xFn)(xFn)(xF)()(limxFxFnn)(xF)(xF)(xFn 依分布收斂依分布收斂： 設隨機變量序列 的分布函數(shù)序列為 ，隨機變量 的分布函數(shù)為 ，如果 弱收斂于 ，則稱“ 依分布收斂于 ”。 nn)(xFn)(xF)(xF)(xFn依概率收斂依概率收斂： 對于隨機變量序列 和隨機變量 ，如果 或 對任意的 成立，則稱“ 依概率收斂于 ”。有時候也稱 的“概率極

17、限”是 ，并可記為n0limnnP1limnnP0nnnnlimp（二）大數(shù)法則（二）大數(shù)法則 伯奴利大數(shù)定理（P48） 獨立同分布場合的大數(shù)定律（P48） （三）中心極限定理（三）中心極限定理 獨立同分布場合的中心極限定理（P49） 非獨立同分布場合的中心極限定理（P49）第三節(jié)第三節(jié) 參數(shù)估計和假設檢驗參數(shù)估計和假設檢驗 n隨機變量取值往往無窮多，不可能通過全面調(diào)查了解總體分布，只能根據(jù)從總體抽取的部分樣本推斷根據(jù)從總體抽取的部分樣本推斷總體情況。這稱為總體情況。這稱為“統(tǒng)計推斷統(tǒng)計推斷”，包括參數(shù)估計和，包括參數(shù)估計和假設檢驗等假設檢驗等。n計量經(jīng)濟分析的觀測數(shù)據(jù)相當于隨機變量總體抽取觀

18、測數(shù)據(jù)相當于隨機變量總體抽取的樣本的樣本，計量經(jīng)濟的回歸分析就是根據(jù)樣本推斷總回歸分析就是根據(jù)樣本推斷總體情況體情況，因此計量經(jīng)濟分析與統(tǒng)計推斷有非常密切的聯(lián)系。n計量經(jīng)濟分析的樣本不是按標準抽樣方法抽取，是通過受客觀條件限制的觀測得到，推斷分析的難度通過受客觀條件限制的觀測得到，推斷分析的難度更大更大。 一、隨機抽樣和抽樣分布一、隨機抽樣和抽樣分布（一）隨機抽樣和樣本統(tǒng)計量樣本、抽樣、樣本統(tǒng)計量抽樣：一般隨機、重復等樣本統(tǒng)計量：樣本均值 樣本方差 niiXnX11niiXXnS122)(11（二）抽樣分布1、正態(tài)總體小樣本分布，樣本均值、方差的分布，樣本線性函數(shù)的分布2、一般總體的大樣本抽樣

19、分布 中心極限定理與漸近正態(tài)分布 二、參數(shù)估計二、參數(shù)估計（一）最大似然估計 （二）矩估計 （三）最小二乘估計 （四）估計量的性質(zhì)（五）參數(shù)估計方法的歸納和比較 （一）最大似然估計（一）最大似然估計（Maximum likelihood estimates，ML）n基本原理：隨機變量的分布參數(shù)水平在數(shù)據(jù)生成過程中起著作用，不同參數(shù)水平生成特定數(shù)據(jù)集的可能性不同，可以根據(jù)生成樣本的可能性大小估計參數(shù)水平。根據(jù)事物出現(xiàn)的概率（幾率、可能性）的大小推斷參數(shù)水平。n如：一個老戰(zhàn)士和一個軍訓學生各射擊一次，但只有一槍中靶。問可能是誰打中的。n最大似然估計的核心是似然函數(shù)（Likelihood funct

20、ion）。樣本同時出現(xiàn)的聯(lián)合概率密度n對數(shù)似然函數(shù) nikixf11),(),(1kL例例2-11：正態(tài)分布參數(shù)的估計（：正態(tài)分布參數(shù)的估計（53） 已知一隨機變量服從未知參數(shù)的正態(tài)分布 ，并且已經(jīng)觀測到一組樣本 ，要求估計分布參數(shù)。 ),(2Nnxx,1222)(221),()(xexfxfnixniiiexfL12)(1222221ln),(ln),(lnniixnn1222)(21ln22ln2niixnx11niixxn122)(1例例2-12：泊松分布參數(shù)的估計（：泊松分布參數(shù)的估計（53） 觀測到一個服從未知參數(shù)的泊松分布的隨機變量的10個數(shù)據(jù)的樣本，這些數(shù)據(jù)分別為5、0、1、2、

21、3、2、3、4、1、1，要求估計出該泊松分布的未知分布參數(shù) 。根據(jù)泊松分布的概率公式，該隨機變量的數(shù)值為 的概率為10個數(shù)據(jù)出現(xiàn)的聯(lián)合分布概率為! !ixixexfi,ix207360,201010110101exexfiixiiii! !這個聯(lián)合分布概率就是生成上述10個數(shù)據(jù)的似然函數(shù)，記作 ，即它的對數(shù)似然函數(shù)是求導可得 的最大似然估計 必須滿足所以 。 L 2073602010eL 242.12ln2010207360lnln2010lnL 12010lndLdML012010ML2ML（二）矩估計（54） （Method of moments，MM）n矩估計，也稱為“矩方法” 。 n基本原理：樣本統(tǒng)計量依概率收斂于未知參數(shù)的一個函數(shù)，可利用樣本矩作為總體矩的近似，獲得未知參數(shù)的估計值。 （三）最小二乘估計（56） least squaren最小二乘法是估計隨機變量參數(shù)最基本的方法，也是計量經(jīng)濟分析中運用最廣泛的參數(shù)估計方法。 n基本原理：根據(jù)隨機變量理論值與實際觀測值的偏差平方和最小估計參數(shù)。n最小二乘估計不要求知道隨機變量服從的分布。 （四）估計量的性質(zhì)（56）n線性性n無偏性（漸近無偏）n有效性（漸近有效）n一致性n最小方