線性回歸模型的有偏估計實用全套PPT

線性回歸(huíguī)模型的有偏估計第一頁，共63頁。為什么要復習(fùxí)數(shù)理統(tǒng)計學數(shù)理統(tǒng)計學是計量經(jīng)濟學的基礎(chǔ)，它為計量經(jīng)濟學提供了唯一而有效的方法。數(shù)理統(tǒng)計較難，而且許多同學對于數(shù)學公式與數(shù)學符號的健忘，提醒我們(wǒmen)有必要在展開計量經(jīng)濟學討論之前，對本課程中經(jīng)常使用到的數(shù)理統(tǒng)計學基本內(nèi)容事先進行一些溫習和回顧。第二頁，共63頁。主要(zhǔyào)內(nèi)容第一節(jié)基本概念第二節(jié)對總體的描述——隨機變量的數(shù)字特征第三節(jié)對樣本的描述——樣本分布的數(shù)字特征第四節(jié)隨機變量的分布——總體和樣本的連接點第五節(jié)通過樣本，估計(gūjì)總體（一）——估計(gūjì)量的特征第六節(jié)通過樣本，估計(gūjì)總體（二）——估計(gūjì)方法第七節(jié)通過樣本，估計(gūjì)總體（三）——假設(shè)檢驗第三頁，共63頁。第一節(jié)基本概念總體(zǒngtǐ)和個體樣本和樣本容量隨機變量統(tǒng)計量隨機變量的分布函數(shù)和分布密度函數(shù)第四頁，共63頁。根據(jù)中心極限定理，Var()可以用代替(dàitì)，所以仍按已知方差正態(tài)分布的方法進行的置信區(qū)間估計。（1）正態(tài)總體(zǒngtǐ)；使P(1<<2)=1-總體、隨機變量(suíjībiànliànɡ)、樣本間的聯(lián)系類似(lèisì)：統(tǒng)計量一般用它來提取由樣本帶來的總體信息。（1）如果a、b為常數(shù)，則5、依據(jù)結(jié)論，作出經(jīng)濟學上的解釋。1正態(tài)分布(fēnbù)第六節(jié)通過樣本，估計總體(zǒngtǐ)（二）

——估計方法第三節(jié)對樣本(yàngběn)的描述

——樣本(yàngběn)分布的數(shù)字特征t分布(fēnbù)的定義（某甲的成績?yōu)楸还烙嫷膮?shù)）定義(dìngyì)離均差N(，2/n)。1.1總體（集合）、個體（構(gòu)成(gòuchéng)集合的元素）、樣本和樣本容量研究對象的全體稱為總體或母體，組成總體的每個基本單位稱為個體?？傮w中抽出若干個個體組成的集體稱為樣本。樣本中包含(bāohán)的個體的個數(shù)稱為樣本的容量，又稱為樣本的大小。注意：抽樣是按隨機原則選取的，即總體中每個個體有同樣的機會被選入樣本。第五頁，共63頁。1.2隨機變量(suíjībiànliànɡ)根據(jù)概率不同而取不同數(shù)值的變量稱為隨機變量（RandomVariable）。一個隨機變量具有下列特性(tèxìng)：可以取許多不同的數(shù)值，取這些數(shù)值的概率為p，第六頁，共63頁?？傮w、隨機變量(suíjībiànliànɡ)、樣本間的聯(lián)系樣本就是一個隨機變量，所謂“樣本容量為n的樣本”就是n個相互獨立且與總體有相同分布的隨機變量X1，……，Xn。每一次具體抽樣(chōuyànɡ)所得的數(shù)據(jù)，就是n元隨機變量的一個觀察值，記為（x1，……，xn）。樣本是總體的一部分?？傮w一般是未知的，一般要通過樣本才能部分地推知總體的情況。第七頁，共63頁。1.3統(tǒng)計(tǒngjì)量設(shè)（x1，x2，……，xn）為一組樣本觀察值，函數(shù)y=f（x1，x2，……，xn）若不含有未知參數(shù)，則稱為(chēnɡwéi)統(tǒng)計量。統(tǒng)計量一般是連續(xù)函數(shù)。由于樣本是隨機變量，因而它的函數(shù)y也是隨機變量，所以，統(tǒng)計量也是隨機變量。統(tǒng)計量一般用它來提取由樣本帶來的總體信息。第八頁，共63頁。1.4隨機變量的分布(fēnbù)函數(shù)定義若X為一隨機變量(suíjībiànliànɡ)，對任意實數(shù)x，稱F（x）＝P（Xx）為隨機變量(suíjībiànliànɡ)X的分布函數(shù)。第九頁，共63頁。連續(xù)型隨機變量(suíjībiànliànɡ)的分布密度定義：對于任何實數(shù)(shìshù)x，如果隨機變量X的分布函數(shù)F（x）可以寫成第十頁，共63頁。分布密度(mìdù)函數(shù)的性質(zhì)：概率密度函數(shù)的大小能夠反映X在x附近(fùjìn)取值的概率的大小，從而比分布函數(shù)更直觀。第十一頁，共63頁。舉例(jǔlì)：正態(tài)分布X～N（u，）x2x2f(x)F(x)x1x1XX第十二頁，共63頁。第二節(jié)對總體的描述

——隨機變量的數(shù)字(shùzì)特征2.1、數(shù)學期望(qīwàng)2.2、方差2.3、數(shù)學期望(qīwàng)與方差的圖示第十三頁，共63頁。2.1.1數(shù)學期望(qīwàng)：一個加權(quán)平均值數(shù)學期望描述隨機變量(suíjībiànliànɡ)（總體）的一般水平。定義2.1離散型隨機變量(suíjībiànliànɡ)數(shù)學期望的定義：定義2.2連續(xù)型隨機變量(suíjībiànliànɡ)數(shù)學期望的定義變量X的取值x1x2……xn相應概率Pp1p2……pn第十四頁，共63頁。2.1.2數(shù)學期望(qīwàng)的性質(zhì)（1）如果a、b為常數(shù)，則E(aX+b)=aE(X)+b（2）如果X、Y為兩個隨機變量，則E(X+Y)=E(X)+E(Y)（3）如果g(x)和f(x)分別(fēnbié)為X的兩個函數(shù)，則E[g(X)+f(X)]=E[g(X)]+E[f(X)]（4）如果X、Y是兩個獨立的隨機變量，則E(X.Y)=E(X).E(Y)第十五頁，共63頁。2.2.1方差(fānɡchà)的定義定義(dìngyì)離均差如果隨機變量X的數(shù)學期望E(X)存在，稱[X-E(X)]為隨機變量X的離均差。顯然，隨機變量離均差的數(shù)學期望是0，即E[X-E(X)]=0定義(dìngyì)方差、標準差隨機變量離均差平方的數(shù)學期望叫隨機變量的方差，記作Var(x)或D(x)。方差的算術(shù)平方根叫標準差。第十六頁，共63頁。2.2.2方差(fānɡchà)的意義（1）離均差和方差都是用來描述離散程度的，即描述X對于它的期望的偏離程度，這種偏差越大，表明變量的取值越分散。（2）一般情況下，我們采用方差來描述離散程度。因為離均差的和為0，無法體現(xiàn)隨機變量的總離散程度。方差中由于有平方(píngfāng)，從而消除了正負號的影響，并易于加總。第十七頁，共63頁。2.2.3方差(fānɡchà)的性質(zhì)（1）Var(c)=0（2）Var(c+x)=Var(x)（3）Var(cx)=c2Var(x)（4）x,y為相互獨立(dúlì)的隨機變量，則Var(x+y)=Var(x)+Var(y)=Var(x-y)（5）Var(x)=E(x2)-(E(x))2第十八頁，共63頁。數(shù)學期望(qīwàng)與方差的圖示數(shù)學期望描述隨機變量的集中程度，方差(fānɡchà)描述隨機變量的分散程度。1.方差(fānɡchà)同、期望變大2.期望同、方差(fānɡchà)變小51055第十九頁，共63頁。第三節(jié)對樣本(yàngběn)的描述

——樣本(yàngběn)分布的數(shù)字特征一、樣本(yàngběn)均值：二、樣本(yàngběn)方差、樣本(yàngběn)標準差第二十頁，共63頁。第四節(jié)隨機變量的分布(fēnbù)

——總體和樣本的連接點4.1幾種重要的分布(fēnbù)4.2分布(fēnbù)：總體和樣本之間的連接點

學習的重點應放在確定X服從什么分布(fēnbù)，和各種分布(fēnbù)的聯(lián)系上。第二十一頁，共63頁。4.1幾種(jǐzhǒnɡ)重要的分布4.1.1正態(tài)分布(fēnbù)4.1.2卡方分布(fēnbù)4.1.3t分布(fēnbù)4.1.4F分布(fēnbù)4.1.5臨界值點第二十二頁，共63頁。4.1.1正態(tài)分布定義正態(tài)分布的定義定理(dìnglǐ)正態(tài)分布的數(shù)學期望和方差第二十三頁，共63頁。正態(tài)分布圖示x2x2f(x)F(x)x1x1XX第二十四頁，共63頁。正態(tài)分布的標準化定義(dìngyì)標準正態(tài)分布定理正態(tài)分布標準化第二十五頁，共63頁。關(guān)于(guānyú)正態(tài)分布的和第二十六頁，共63頁。4.1.22分布(fēnbù)2分布(fēnbù)的定義N=7N=11概率xN為自由度第二十七頁，共63頁。定理2分布的和仍然(réngrán)服從2分布第二十八頁，共63頁。4.1.3t分布(fēnbù)t分布(fēnbù)的定義概率密度x標準正態(tài)分布t-分布0第二十九頁，共63頁。4.1.4F分布(fēnbù)F分布(fēnbù)的定義x概率密度第三十頁，共63頁。4.1.5臨界值點：（1）標準(biāozhǔn)正態(tài)分布、t分布臨界值點（雙側(cè)）/2/21-類似(lèisì)：第三十一頁，共63頁。臨界值點：（2）卡方分布(fēnbù)（雙側(cè)）、F分布(fēnbù)（單側(cè)）臨界值點x概率密度1-/2/21-x第三十二頁，共63頁。4.2分布：總體(zǒngtǐ)和樣本之間的連接點第三十三頁，共63頁。第五節(jié)通過(tōngguò)樣本，估計總體（一）

——估計量的特征無偏性有效性兼顧(jiāngù)無偏和有效：最小均方誤一致性大樣本下，具一致性的估計量具“無偏”和“有效”特性。第三十四頁，共63頁。5.1無偏性定義(dìngyì)的真值的真值有偏無偏第三十五頁，共63頁。5.2有效性定義(dìngyì)第三十六頁，共63頁。形象感覺無偏性和有效性：重慶(zhònɡqìnɡ)長安廠4支比賽用槍的抽樣結(jié)果準而不精又精又準精而不準不精不準一次射擊就是(jiùshì)一次抽樣。試問：哪些是無偏估計？哪些是有偏估計？哪些是有效估計？第三十七頁，共63頁。偏差與方差(fānɡchà)的權(quán)衡：最小均方誤有偏，方差極小無偏，方差極大第三十八頁，共63頁。5.3一致性的定義(dìngyì)第三十九頁，共63頁。n增大時，一致(yīzhì)估計量的“無偏”“有效”特性N小N大N極大的真值。第四十頁，共63頁。第六節(jié)通過樣本，估計總體(zǒngtǐ)（二）

——估計方法點估計區(qū)間估計區(qū)間估計的概念、步驟(bùzhòu)應用：對總體期望的區(qū)間估計1、已知方差，對數(shù)學期望E進行區(qū)間估計正態(tài)總體一般總體大樣本下2、方差未知，對數(shù)學期望E進行區(qū)間估計大樣本下/小樣本下第四十一頁，共63頁。6.1區(qū)間(qūjiān)估計的概念所謂區(qū)間估計就是以一定的可靠性給出被估計參數(shù)(cānshù)的一個可能的取值范圍。具體作法是找出兩個統(tǒng)計量1(x1,…,xn)與2(x1,…,xn)，使P(1<<2)=1-(1,2)稱為置信區(qū)間，1-稱為置信系數(shù)（置信度），稱為冒險率（測不準的概率）或者顯著水平，一般取5%或1%。第四十二頁，共63頁。對區(qū)間估計(gūjì)的形象比喻我們經(jīng)常說某甲的成績“大概80分左右”，可以看成(kànchénɡ)一個區(qū)間估計。（某甲的成績?yōu)楸还烙嫷膮?shù)）P(1<<2)=大概的準確程度（1-）

如：P(75<<85)=95%=1-5%“大概80分左右”冒險率（也叫顯著水平）下限上限置信系數(shù)1－第四十三頁，共63頁。6.2區(qū)間(qūjiān)估計的步驟：1)找一個含有該參數(shù)的統(tǒng)計量;2)構(gòu)造一個概率為的事件;3)通過(tōngguò)該事件解出該參數(shù)的區(qū)間估計.第四十四頁，共63頁。6.3已知方差(fānɡchà)，對總體期望值E=的區(qū)間估計（1）正態(tài)總體(zǒngtǐ)；（2）一般總體(zǒngtǐ)，大樣本下。第四十五頁，共63頁。（1）正態(tài)總體，方差(fānɡchà)已知，估計均值u第四十六頁，共63頁。/2/21-圖示如下(rúxià)第四十七頁，共63頁。（2）一般總體，方差已知，大樣本(yàngběn)下數(shù)學期望E的區(qū)間估計中心極限定理指出，無論是否為正態(tài)總體，當樣本(yàngběn)容量相當大時，有樣本(yàngběn)平均數(shù)漸進地服從正態(tài)分布。在n>=30時，近似地，樣本(yàngběn)平均數(shù)N(，2/n)。所以，對于大樣本(yàngběn)仍可以按正態(tài)總體進行均值的區(qū)間估計。第四十八頁，共63頁。6.4方差未知，正態(tài)總體，對數(shù)學期望E＝u的區(qū)間(qūjiān)估計（1）大樣本下根據(jù)中心極限定理，Var()可以用代替(dàitì)，所以仍按已知方差正態(tài)分布的方法進行的置信區(qū)間估計。第四十九頁，共63頁。（2）小樣本(yàngběn)下第五十頁，共63頁。區(qū)間估計(gūjì)，統(tǒng)計量的選擇小結(jié)第五十一頁，共63頁。第七節(jié)通過樣本，估計(gūjì)總體（三）

——假設(shè)檢驗基本概念：假設(shè)檢驗，原假設(shè)/備擇假設(shè)小概率事件原理在假設(shè)檢驗中的應用置信水平假設(shè)檢驗的步驟應用：正態(tài)總體(zǒngtǐ)期望的假設(shè)檢驗（方差已知/方差未知）（t檢驗等）方差的假設(shè)檢驗第五十二頁，共63頁。7.1假設(shè)檢驗的概念(gàiniàn)定義：稱對任何一個隨機變量未知的分布類型(lèixíng)或參數(shù)的假設(shè)為統(tǒng)計假設(shè)，簡稱假設(shè)。檢驗該假設(shè)是否正確稱為假設(shè)檢驗。在統(tǒng)計假設(shè)，如H0:p=0.5（稱為原假設(shè)）H1:p0.5（稱為備擇假設(shè)）

第五十三頁，共63頁。7.2“小概率(gàilǜ)原理”在假設(shè)檢驗中的應用數(shù)理統(tǒng)計學中的“小概率原理”認為：概率很小的事件在一次抽樣試驗中幾乎是不可能發(fā)生的。在H0成立的條件下，統(tǒng)計量落在拒絕域為一個小概率事件，因此，在一次抽樣試驗中，依據(jù)小概率原理，是不會(bùhuì)發(fā)生的。要是小概率事件（“統(tǒng)計量落在拒絕域”）居然發(fā)生了。那么，只能是提出的假設(shè)H0發(fā)生了錯誤，所以必須拒絕H0。第五十四頁，共63頁。顯著性水平(shuǐpíng)是小概率事件發(fā)生(fāshēng)的概率；在假設(shè)檢驗中也稱為置信水平。第五十五頁，共63頁。7.3假設(shè)檢驗的步驟(bùzhòu)：Step1:分析問題，提出原假設(shè)和備擇假設(shè)；Step2:選擇和計算統(tǒng)計量U：在原假設(shè)成立時，U的分布已知；含有要檢驗的參數(shù)；各個參數(shù)應該都是已知的、可求的。Step3：構(gòu)造小概率事件：Step4：判斷(pànduàn)小概率事件是否發(fā)生：Step5：下結(jié)論：若小概率事件發(fā)生，拒絕原假設(shè)H0；選擇備擇假設(shè)H1。否則，原假設(shè)成立。第五十六頁，共63頁。假設(shè)檢驗的具體