Chp非參數(shù)估計(jì)PPT課件

1、1Chp7：非參數(shù)估計(jì) CDF估計(jì) 點(diǎn)估計(jì) 區(qū)間估計(jì) 統(tǒng)計(jì)函數(shù)估計(jì) 點(diǎn)估計(jì) 區(qū)間估計(jì)第1頁/共35頁2Chp7：非參數(shù)估計(jì) 一個非參數(shù)模型的例子： “非參數(shù)”并不意味著沒有參數(shù)，而是指模型不能參數(shù)化（有無限個參數(shù)）。第2頁/共35頁3非參數(shù)化方法 一些流行的非參數(shù)化方法： 直方圖、核密度估計(jì) (密度估計(jì)) 樣條、小波回歸 (回歸) 核判別分析、最近鄰、支持向量機(jī)SVM (分類)第3頁/共35頁4非參數(shù)化方法 非參數(shù)模型有時亦稱局部模型（local model） 如：核回歸 常用核函數(shù) :第4頁/共35頁5CDF估計(jì)和統(tǒng)計(jì)函數(shù)估計(jì) 回到最基本狀態(tài)，無需任何假設(shè)第5頁/共35頁6經(jīng)驗(yàn)分布函數(shù)(Em

2、pirical Distribution Function， EDF) 令 為IID，則經(jīng)驗(yàn)分布函數(shù) 定義為 其中 稱為指示函數(shù)（indicator function）。 注意： 是基于排序好的樣本數(shù)據(jù)的一個步長函數(shù)，在有樣本時跳 1/n 。第6頁/共35頁7 是F的一個很好估計(jì)？ 給定x， 是一個隨機(jī)變量： 服從二項(xiàng)分布 所以第7頁/共35頁8 是F F的一個很好估計(jì)？ 所以無偏估計(jì)一致估計(jì)第8頁/共35頁9EDF的置信區(qū)間 Glivenko-Cantelli 定理 如果 ，則 Dvoretzky-Kiefer-Wolfowitz (DKW)不等式 如果 ，則對任意 可根據(jù)下面的步驟構(gòu)造F的

3、1-置信區(qū)間。第9頁/共35頁10EDF置信區(qū)間 定義 則對任意F和所有x 所以 為F的 非參數(shù)置信區(qū)間。其中第10頁/共35頁11例：神經(jīng)纖維上相鄰脈沖的相隔時間95%的置信區(qū)間中的參數(shù)為：時間t第11頁/共35頁12統(tǒng)計(jì)函數(shù)的估計(jì) 統(tǒng)計(jì)函數(shù)/統(tǒng)計(jì)泛函：F的任意函數(shù) 均值： 方差： 中值： 統(tǒng)計(jì)函數(shù)的估計(jì)：嵌入式估計(jì)量(Plug-in Estimator) 的嵌入式估計(jì)量為 插入 代替未知的F( )xdF xm=()( )22xdF xsm=-()11 2mF-=第12頁/共35頁13嵌入式估計(jì)量：線性函數(shù) 若對某個函數(shù) ，有 ，則稱T為一個線性函數(shù)。 T為一個線性函數(shù)： 該函數(shù)的嵌入式估計(jì)

4、量為 例如：均值第13頁/共35頁14例：方差 方差： 因此 注意：與樣本方差稍有不同。該估計(jì)不是無偏估計(jì)第14頁/共35頁15例：偏度 令 和 分別表示隨機(jī)變量X的均值和方差，偏度定義為： 表示分布偏離對稱的程度。 因?yàn)?所以 的嵌入式估計(jì)量為：m2s第15頁/共35頁16例：樣本相關(guān)系數(shù) 令 表示X與Y之間的相關(guān)系數(shù)，其中 為二元隨機(jī)向量的分布 。 其中 用 代替 中的F，得到樣本相關(guān)系數(shù)：( )( )( )( )( )( )()12345,T FT FTFT FTFTFa=第16頁/共35頁17例：樣本分位數(shù) 令F為密度為f的嚴(yán)格增函數(shù) 第p分位數(shù)： 的估計(jì)為 由于 不可逆，為避免歧義，

5、定義 稱為樣本分位數(shù)。第17頁/共35頁18線性函數(shù)估計(jì)的置信區(qū)間 通?？梢约俣ň€性函數(shù)滿足中心極限定理，即 這樣只要知道了 ，就可以比較容易得到置信區(qū)間：漸近正態(tài)性 基于正態(tài)的置信區(qū)間： 如95%的置信區(qū)間為： 問題：標(biāo)準(zhǔn)誤差 的估計(jì)第18頁/共35頁19標(biāo)準(zhǔn)誤差 的估計(jì) 影響函數(shù) Bootstrap方法第19頁/共35頁20影響函數(shù)(Influence Functions) 影響函數(shù)用于估計(jì)一個嵌入式估計(jì)量的標(biāo)準(zhǔn)誤差。影響函數(shù)定義為 其中x 為x處的一個Delta函數(shù)， 為F和點(diǎn)x的混合體 影響函數(shù)形式同導(dǎo)數(shù)相同，表示統(tǒng)計(jì)函數(shù) 的變化率。影響函數(shù)越大，當(dāng)F變成 時， 變化越大（與估計(jì)的方差

6、有關(guān)）概率為1-概率為第20頁/共35頁21經(jīng)驗(yàn)影響函數(shù) 影響函數(shù)為 簡記為 經(jīng)驗(yàn)影響函數(shù)為第21頁/共35頁22影響函數(shù)的性質(zhì) 令 為一個線性函數(shù)， 則 1. 證明：T(F)是線性函數(shù)第22頁/共35頁23影響函數(shù)的性質(zhì) 2. 對任意G，有證明：第23頁/共35頁24影響函數(shù)的性質(zhì) 3. 證明：L的期望為0第24頁/共35頁25影響函數(shù)的性質(zhì) 4. 令 ，若 ，則證明：根據(jù)性質(zhì)2，令L的方差所以根據(jù)CLT，第25頁/共35頁26影響函數(shù)的性質(zhì) 5. 令 則 其中證明：第26頁/共35頁27影響函數(shù)的性質(zhì)證明（續(xù)）：類似的，根據(jù)大數(shù)定律，另所以第27頁/共35頁28影響函數(shù)的性質(zhì) 6. 證明：

7、根據(jù)性質(zhì)4和性質(zhì)5，將性質(zhì)4中中的 用其估計(jì) 代替，極限分布仍然成立，即或第28頁/共35頁29影響函數(shù)與標(biāo)準(zhǔn)誤差 對線性函數(shù)， 令 得到標(biāo)準(zhǔn)誤差估計(jì)： 最后： 可用于計(jì)算置信區(qū)間第29頁/共35頁30與直接用方差的嵌入式估計(jì)量 結(jié)果一致例：均值 線性函數(shù)為 嵌入式估計(jì)量為 , 所以95%的置信區(qū)間為 。第30頁/共35頁31例7.11：Plasma Cholesterol51位無心臟病病人的血漿膽固醇()211nniiXXns=-$第31頁/共35頁32例7.11：Plasma Cholesterol320位動脈狹窄病人的血漿膽固醇第32頁/共35頁33例7.11：Plasma Cholesterol 兩組的差別： 初步結(jié)論：有心臟病的病人的膽固醇更高。這個結(jié)論的可靠性需考察該估計(jì)的標(biāo)準(zhǔn)誤差: 95%的置信區(qū)間：方差較小該結(jié)論比較可靠但并不能馬上說明膽固醇會引起心臟病