統(tǒng)計檢驗分析第三章第四章

統(tǒng)計檢驗分析第三章第四章第一頁，共六十三頁，2022年，8月28日樣本標準差小,說明樣本變量的分布比較密集在平均數(shù)附近,否則,表明樣本的分布比較離散.在抽樣試驗(或重復的等精度測量)中,常用到樣本平均數(shù)的標準差,亦稱樣本平均數(shù)的標準誤或簡稱標準誤(standarderrorofmean)平均數(shù)的誤差實質(zhì)上是樣本平均數(shù)與總體平均數(shù)之間的相對誤差.第二頁，共六十三頁，2022年，8月28日標準差與標準誤的區(qū)別標準差是表示個體間變異大小的指標,反映了整個樣本對樣本平均數(shù)的離散程度,是數(shù)據(jù)精密度的衡量指標。標準誤反映樣本平均數(shù)對總體平均數(shù)的變異程度,從而反映抽樣誤差的大小,是量度結果精密度的指標。樣本數(shù)越大，樣本標準差趨于總體標準差；標準誤越來越小，即樣本平均數(shù)越接近總體平均數(shù)?？梢赃m當增加N，減少SEM。第三頁，共六十三頁，2022年，8月28日第3章樣本幾何與隨機抽樣一、樣本幾何二、樣本均值和協(xié)方差矩陣的期望值三、廣義樣本方差四、樣本均值、協(xié)方差和相關系數(shù)的矩陣運算五、線性組合的樣本均值和協(xié)方差第四頁，共六十三頁，2022年，8月28日一、樣本幾何本章深入地研究描述性統(tǒng)計量：樣本均值，樣本協(xié)方差矩陣和樣本相關矩陣的幾何解釋。P個變量（列）N個觀測值（行）第五頁，共六十三頁，2022年，8月28日數(shù)據(jù)矩陣X可以看成是：p維空間的n個點組成，或n維空間的p個向量組成第六頁，共六十三頁，2022年，8月28日例如矩陣p維空間的n個點組成n維空間的p個向量組成第七頁，共六十三頁，2022年，8月28日均值向量和偏差向量定義n維坐標的平均向量1’=[1,1,..1]，該向量與各個坐標軸等角，為其單位向量，設均值向量為：yi在單位1向量的投影為：偏差向量為：第八頁，共六十三頁，2022年，8月28日例題3-1分解下面矩陣為均值向量和偏差向量。求解：均值向量：偏差向量：第九頁，共六十三頁，2022年，8月28日不改變偏差向量的方向和長度，移動到從原點開始第十頁，共六十三頁，2022年，8月28日偏差向量的長度和夾角偏差向量的長度的平方：長度與方差成正比兩個偏差向量的夾角：夾角的余弦是樣本相關系數(shù)第十一頁，共六十三頁，2022年，8月28日例題3-2計算樣本協(xié)方差矩陣和相關矩陣。求解：樣本協(xié)方差和相關矩陣：第十二頁，共六十三頁，2022年，8月28日二、樣本均值和協(xié)方差矩陣的期望值隨機樣本的定義樣本均值的估計樣本協(xié)方差矩陣的估計第十三頁，共六十三頁，2022年，8月28日隨機樣本的定義設p個變量n次測量值都為隨機變量；每一次的觀察值Xi代表來自密度函數(shù)為f(x)的一個公共聯(lián)合分布的獨立觀測值，所有的Xi構成了一個來自f(x)的隨機樣本。特點：單次觀測中，p個變量的值常常是相關的； 不同次的觀測中得到的結果是獨立的； 當變量隨著時間變化時，獨立性可能不成立。第十四頁，共六十三頁，2022年，8月28日樣本均值的估計設X1,…Xn是來自均值為μ，協(xié)方差矩陣為Σ的聯(lián)合分布的一個隨機樣本；求該樣本的均值的期望和協(xié)方差矩陣。解：樣本的均值為：

X=(X1+X2…+Xn)/n它的期望為：E(X)=(E(X1)+…E(Xn))/n=μ它的協(xié)方差矩陣為：Cov(X)=E(X-μ)(X-μ)’無偏估計第十五頁，共六十三頁，2022年，8月28日設X1,…Xn是來自均值為μ，協(xié)方差矩陣為Σ的聯(lián)合分布的一個隨機樣本；求該樣本的均值的期望和協(xié)方差矩陣。解：它的協(xié)方差矩陣為：Cov(X)由于Xj和Xl之間相互獨立，所以交叉項都為零Cov(X)N無窮大時，方差為零，均值無偏，因此估計是是一致估計第十六頁，共六十三頁，2022年，8月28日樣本協(xié)方差矩陣的估計設X1,…Xn是來自均值為μ，協(xié)方差矩陣為Σ的聯(lián)合分布的一個隨機樣本；求該樣本的協(xié)方差矩陣的期望。解：樣本的協(xié)方差矩陣為：求其期望第十七頁，共六十三頁，2022年，8月28日求樣本的協(xié)方差矩陣的期望有偏估計偏差為-Σ/n加權后是無偏估計第十八頁，共六十三頁，2022年，8月28日三、廣義樣本方差無偏的樣本協(xié)方差矩陣元素如下：包含p個方差和p(p-1)/2個協(xié)方差。廣義樣本方差=|S|，即行列式，可以表示變異性總樣本方差=s11+s22+…spp廣義樣本方差的幾何意義廣義方差為零的情況標準化的廣義樣本方差|R|第十九頁，共六十三頁，2022年，8月28日廣義樣本方差的幾何意義兩個偏差向量d1，d2構成的平面如圖所示平行四邊形的面積為：偏差向量的長度和夾角：所以平行四邊形的面積為第二十頁，共六十三頁，2022年，8月28日數(shù)學歸納法可證：所以大的體積對應大的廣義樣本方差。第二十一頁，共六十三頁，2022年，8月28日廣義方差為零的情況偏差矩陣中任意一個偏差向量位于其它偏差向量生成的平面中，則廣義方差為零，即下面矩陣中各列線性相關。（退化）第二十二頁，共六十三頁，2022年，8月28日標準化的廣義樣本方差|R|改變所有偏差向量的比例，對每個觀測值xjk用下式來替換計算出來的行列式稱為標準化的廣義方差|R||S|和|R|的關系：第二十三頁，共六十三頁，2022年，8月28日四、樣本均值、協(xié)方差和相關系數(shù)的矩陣運算已知觀測矩陣X利用計算機計算樣本統(tǒng)計量：第3章作業(yè)：證明上面三個等式。第二十四頁，共六十三頁，2022年，8月28日五、線性組合的樣本均值和協(xié)方差兩個隨機樣本的線性組合如下：q個隨機樣本的線性組合AX，樣本均值向量和樣本協(xié)方差矩陣為第二十五頁，共六十三頁，2022年，8月28日第4章多元正態(tài)分布一、多元正態(tài)密度及其性質(zhì)二、從多元正態(tài)分布抽樣與極大似然估計三、樣本均值和樣本協(xié)方差的抽樣分布四、樣本均值和樣本協(xié)方差的大樣本特性五、評估正態(tài)性假定六、搜尋離群值及“清潔”數(shù)據(jù)七、變換到接近正態(tài)性第二十六頁，共六十三頁，2022年，8月28日一、多元正態(tài)密度及其性質(zhì)由于中心極限效應，不論母總體的類型，許多多元統(tǒng)計的抽樣分布是近似正態(tài)的。一元正態(tài)分布：其中紅色部分表示從x到μ的統(tǒng)計距離的平方：推廣到多元正態(tài)分布中表示x到μ的廣義統(tǒng)計距離的平方（作用：標準化所有變量；消除相關的影響）第二十七頁，共六十三頁，2022年，8月28日多元正態(tài)分布：例4-1，計算二元正態(tài)密度，其中計算得二維正態(tài)密度為：第二十八頁，共六十三頁，2022年，8月28日二元正態(tài)分布圖第二十九頁，共六十三頁，2022年，8月28日輪廓線（Contour）：p維正態(tài)密度產(chǎn)生一個等高的x值的路線為橢球面，即在x到μ的廣義距離的平方為常數(shù)的所有x值，這些路線稱為輪廓線。例4-2，計算二元正態(tài)密度的輪廓線，其中求解：軸是由下面向量組成第三十頁，共六十三頁，2022年，8月28日x值的實心橢球滿足下式的概率為1-α，是自由度為p的卡方分布概率為0.5和0.9的輪廓線如下：第三十一頁，共六十三頁，2022年，8月28日多元正態(tài)分布的性質(zhì)設X服從Np(μ,Σ)分布X的分量的線性組合還是正態(tài)分布

a）線性組合如下，它服從如下分布反之也成立b）q個線性組合它服從如下分布第三十二頁，共六十三頁，2022年，8月28日多元正態(tài)分布的性質(zhì)設X服從Np(μ,Σ)分布X的分量的所有子集是正態(tài)分布 例如把X分成兩部分：第三十三頁，共六十三頁，2022年，8月28日多元正態(tài)分布的性質(zhì)零協(xié)方差意味著分量是獨立分布的第三十四頁，共六十三頁，2022年，8月28日多元正態(tài)分布的性質(zhì)分量的條件分布是正態(tài)的則X1的條件分布是正態(tài)的，并且均值和協(xié)方差為（假定X2=x2）：第三十五頁，共六十三頁，2022年，8月28日多元正態(tài)分布的性質(zhì)相互獨立的分量的線性組合服從正態(tài)分布V1，V2的聯(lián)合多元正態(tài)分布的協(xié)方差為：如果b‘c=0則V1、V2相互獨立第三十六頁，共六十三頁，2022年，8月28日二、從多元正態(tài)分布抽樣和極大似然估計多元正態(tài)似然：假定p*1向量X1，X2…Xn，是來自均值為μ，協(xié)方差矩陣為Σ的多元正態(tài)總體的隨機樣本，且相互獨立，每個都服從Np(μ,Σ)分布，則它們的聯(lián)合密度是邊緣概率密度之積：對于觀察值{x1，x2…xn}代入上式得到的函數(shù)稱為似然函數(shù)，極大似然估計就是使得上式最大而估計的參數(shù)值。第三十七頁，共六十三頁，2022年，8月28日利用跡（對角線元素之和）的性質(zhì)，把似然函數(shù)化簡如下，用L表示似然函數(shù)：需要估計的參數(shù)為μ和Σ。第三十八頁，共六十三頁，2022年，8月28日μ和Σ的極大似然估計 假定p*1向量X1，X2…Xn，是來自均值為μ，協(xié)方差矩陣為Σ的多元正態(tài)總體的隨機樣本，μ和Σ的極大似然估計量為：觀察值（抽樣值）的稱為μ和Σ的極大似然估計值估計出來的似然函數(shù)的極大值如下：第三十九頁，共六十三頁，2022年，8月28日極大似然估計量具有不變性即h(θ)函數(shù)的極大似然估計是由估計出來的h值給定的

充分統(tǒng)計量設X1，X2…Xn，是來自均值為μ，協(xié)方差矩陣為Σ的多元正態(tài)總體的隨機樣本，則即μ和Σ的信息都包含在S和中。第四十頁，共六十三頁，2022年，8月28日Example2第四十一頁，共六十三頁，2022年，8月28日第四十二頁，共六十三頁，2022年，8月28日疊加方法：第四十三頁，共六十三頁，2022年，8月28日改進方法1第四十四頁，共六十三頁，2022年，8月28日改進方法2傅里葉變換，得到：根據(jù)Ej(w)建立對數(shù)似然函數(shù)：第四十五頁，共六十三頁，2022年，8月28日第四十六頁，共六十三頁，2022年，8月28日第四十七頁，共六十三頁，2022年，8月28日仿真結果第四十八頁，共六十三頁，2022年，8月28日仿真結果第四十九頁，共六十三頁，2022年，8月28日三、X和S的抽樣分布一元情況下：設X1，X2…Xn，是來自一元正態(tài)總體（N(μ,σ2)）的隨機樣本，則多元情況下：設X1，X2…Xn，是來自多元正態(tài)總體（Np(μ,Σ)）的隨機樣本，則第五十頁，共六十三頁，2022年，8月28日樣本協(xié)方差矩陣的抽樣分布以其發(fā)現(xiàn)者命名為威沙特分布（獨立的多元正態(tài)隨機樣本的乘積之和）：威沙特分布的性質(zhì)（線性組合特性）：第五十一頁，共六十三頁，2022年，8月28日四、X和S的大樣本特性設X是由大量獨立的原因V1,V2,..Vn確定，且Vi具有近似相同的變異性，設X=V1+V2,..+Vn，應用中心極限定理，無論Vi的母體分布如何，X的分布近似正態(tài)（n足夠大）。大數(shù)定理：設X1,X2…Xn來自任何均值為μ與非奇異協(xié)方差Σ的總體的獨立觀察結果，在n趨于無窮時：中心極限定理：對大樣本容量有第五十二頁，共六十三頁，2022年，8月28日五、評估正態(tài)性假定觀測結果Xj是否違背它們來自正態(tài)總體的假定？大部分實際工作中，對一維、二維的研究是多的，并且在低維為正態(tài)而高維為非正態(tài)的病態(tài)數(shù)據(jù)集并不多見。評估一元邊緣分布的正態(tài)性評估二元正態(tài)性第五十三頁，共六十三頁，2022年，8月28日評估一元邊緣分布的正態(tài)性第五十四頁，共六十三頁，2022年，8月28日評估一元邊緣分布的正態(tài)性n較小時用點圖，n>25時用直方圖，有助于揭示分布的差異；第五十五頁，共六十三頁，2022年，8月28日評估一元邊緣分布的正態(tài)性Q-Q圖：專門用來評估正態(tài)性假設的圖形：任何單一特征Xj的n個觀測值xi，按照大小排序后表示為位于x(j)左邊的比例(概率p)為j/n，通常用(j-0.5)/n近似；標準正態(tài)分位數(shù)q(j)定義如下：第五十六頁，共六十三頁，2022年，8月28日Q-Q圖,成對數(shù)（q(j)x(j)）接近一條直線時，不拒絕這些數(shù)據(jù)服從正態(tài)分布的假設。即在正態(tài)假設下，它們的關系如下：Q-Q圖的直線性可通過相關系數(shù)來檢驗：第五十七頁，共六十三頁，2022年，8月28日例4-1：畫出Q-Q圖，并用相關系數(shù)檢驗是否拒絕正態(tài)假設。數(shù)據(jù)見表。第五十八頁，共六十三頁，2