Chp非參數(shù)估計(jì)PPT課件

1、1Chp7：非參數(shù)估計(jì) CDF估計(jì) 點(diǎn)估計(jì) 區(qū)間估計(jì) 統(tǒng)計(jì)函數(shù)估計(jì) 點(diǎn)估計(jì) 區(qū)間估計(jì)第1頁(yè)/共35頁(yè)2Chp7：非參數(shù)估計(jì) 一個(gè)非參數(shù)模型的例子： “非參數(shù)”并不意味著沒(méi)有參數(shù)，而是指模型不能參數(shù)化（有無(wú)限個(gè)參數(shù)）。第2頁(yè)/共35頁(yè)3非參數(shù)化方法 一些流行的非參數(shù)化方法： 直方圖、核密度估計(jì) (密度估計(jì)) 樣條、小波回歸 (回歸) 核判別分析、最近鄰、支持向量機(jī)SVM (分類)第3頁(yè)/共35頁(yè)4非參數(shù)化方法 非參數(shù)模型有時(shí)亦稱局部模型（local model） 如：核回歸 常用核函數(shù) :第4頁(yè)/共35頁(yè)5CDF估計(jì)和統(tǒng)計(jì)函數(shù)估計(jì) 回到最基本狀態(tài)，無(wú)需任何假設(shè)第5頁(yè)/共35頁(yè)6經(jīng)驗(yàn)分布函數(shù)(Em

2、pirical Distribution Function， EDF) 令 為IID，則經(jīng)驗(yàn)分布函數(shù) 定義為 其中 稱為指示函數(shù)（indicator function）。 注意： 是基于排序好的樣本數(shù)據(jù)的一個(gè)步長(zhǎng)函數(shù)，在有樣本時(shí)跳 1/n 。第6頁(yè)/共35頁(yè)7 是F的一個(gè)很好估計(jì)？ 給定x， 是一個(gè)隨機(jī)變量： 服從二項(xiàng)分布 所以第7頁(yè)/共35頁(yè)8 是F F的一個(gè)很好估計(jì)？ 所以無(wú)偏估計(jì)一致估計(jì)第8頁(yè)/共35頁(yè)9EDF的置信區(qū)間 Glivenko-Cantelli 定理 如果 ，則 Dvoretzky-Kiefer-Wolfowitz (DKW)不等式 如果 ，則對(duì)任意 可根據(jù)下面的步驟構(gòu)造F的

3、1-置信區(qū)間。第9頁(yè)/共35頁(yè)10EDF置信區(qū)間 定義 則對(duì)任意F和所有x 所以 為F的 非參數(shù)置信區(qū)間。其中第10頁(yè)/共35頁(yè)11例：神經(jīng)纖維上相鄰脈沖的相隔時(shí)間95%的置信區(qū)間中的參數(shù)為：時(shí)間t第11頁(yè)/共35頁(yè)12統(tǒng)計(jì)函數(shù)的估計(jì) 統(tǒng)計(jì)函數(shù)/統(tǒng)計(jì)泛函：F的任意函數(shù) 均值： 方差： 中值： 統(tǒng)計(jì)函數(shù)的估計(jì)：嵌入式估計(jì)量(Plug-in Estimator) 的嵌入式估計(jì)量為 插入 代替未知的F( )xdF xm=()( )22xdF xsm=-()11 2mF-=第12頁(yè)/共35頁(yè)13嵌入式估計(jì)量：線性函數(shù) 若對(duì)某個(gè)函數(shù) ，有 ，則稱T為一個(gè)線性函數(shù)。 T為一個(gè)線性函數(shù)： 該函數(shù)的嵌入式估計(jì)

4、量為 例如：均值第13頁(yè)/共35頁(yè)14例：方差 方差： 因此 注意：與樣本方差稍有不同。該估計(jì)不是無(wú)偏估計(jì)第14頁(yè)/共35頁(yè)15例：偏度 令 和 分別表示隨機(jī)變量X的均值和方差，偏度定義為： 表示分布偏離對(duì)稱的程度。 因?yàn)?所以 的嵌入式估計(jì)量為：m2s第15頁(yè)/共35頁(yè)16例：樣本相關(guān)系數(shù) 令 表示X與Y之間的相關(guān)系數(shù)，其中 為二元隨機(jī)向量的分布 。 其中 用 代替 中的F，得到樣本相關(guān)系數(shù)：( )( )( )( )( )( )()12345,T FT FTFT FTFTFa=第16頁(yè)/共35頁(yè)17例：樣本分位數(shù) 令F為密度為f的嚴(yán)格增函數(shù) 第p分位數(shù)： 的估計(jì)為 由于 不可逆，為避免歧義，

5、定義 稱為樣本分位數(shù)。第17頁(yè)/共35頁(yè)18線性函數(shù)估計(jì)的置信區(qū)間 通?？梢约俣ň€性函數(shù)滿足中心極限定理，即 這樣只要知道了 ，就可以比較容易得到置信區(qū)間：漸近正態(tài)性 基于正態(tài)的置信區(qū)間： 如95%的置信區(qū)間為： 問(wèn)題：標(biāo)準(zhǔn)誤差 的估計(jì)第18頁(yè)/共35頁(yè)19標(biāo)準(zhǔn)誤差 的估計(jì) 影響函數(shù) Bootstrap方法第19頁(yè)/共35頁(yè)20影響函數(shù)(Influence Functions) 影響函數(shù)用于估計(jì)一個(gè)嵌入式估計(jì)量的標(biāo)準(zhǔn)誤差。影響函數(shù)定義為 其中x 為x處的一個(gè)Delta函數(shù)， 為F和點(diǎn)x的混合體 影響函數(shù)形式同導(dǎo)數(shù)相同，表示統(tǒng)計(jì)函數(shù) 的變化率。影響函數(shù)越大，當(dāng)F變成 時(shí)， 變化越大（與估計(jì)的方差

6、有關(guān)）概率為1-概率為第20頁(yè)/共35頁(yè)21經(jīng)驗(yàn)影響函數(shù) 影響函數(shù)為 簡(jiǎn)記為 經(jīng)驗(yàn)影響函數(shù)為第21頁(yè)/共35頁(yè)22影響函數(shù)的性質(zhì) 令 為一個(gè)線性函數(shù)， 則 1. 證明：T(F)是線性函數(shù)第22頁(yè)/共35頁(yè)23影響函數(shù)的性質(zhì) 2. 對(duì)任意G，有證明：第23頁(yè)/共35頁(yè)24影響函數(shù)的性質(zhì) 3. 證明：L的期望為0第24頁(yè)/共35頁(yè)25影響函數(shù)的性質(zhì) 4. 令 ，若 ，則證明：根據(jù)性質(zhì)2，令L的方差所以根據(jù)CLT，第25頁(yè)/共35頁(yè)26影響函數(shù)的性質(zhì) 5. 令 則 其中證明：第26頁(yè)/共35頁(yè)27影響函數(shù)的性質(zhì)證明（續(xù)）：類似的，根據(jù)大數(shù)定律，另所以第27頁(yè)/共35頁(yè)28影響函數(shù)的性質(zhì) 6. 證明：

7、根據(jù)性質(zhì)4和性質(zhì)5，將性質(zhì)4中中的 用其估計(jì) 代替，極限分布仍然成立，即或第28頁(yè)/共35頁(yè)29影響函數(shù)與標(biāo)準(zhǔn)誤差 對(duì)線性函數(shù)， 令 得到標(biāo)準(zhǔn)誤差估計(jì)： 最后： 可用于計(jì)算置信區(qū)間第29頁(yè)/共35頁(yè)30與直接用方差的嵌入式估計(jì)量 結(jié)果一致例：均值 線性函數(shù)為 嵌入式估計(jì)量為 , 所以95%的置信區(qū)間為 。第30頁(yè)/共35頁(yè)31例7.11：Plasma Cholesterol51位無(wú)心臟病病人的血漿膽固醇()211nniiXXns=-$第31頁(yè)/共35頁(yè)32例7.11：Plasma Cholesterol320位動(dòng)脈狹窄病人的血漿膽固醇第32頁(yè)/共35頁(yè)33例7.11：Plasma Cholesterol 兩組的差別： 初步結(jié)論：有心臟病的病人的膽固醇更高。這個(gè)結(jié)論的可靠性需考察該估計(jì)的標(biāo)準(zhǔn)誤差: 95%的置信區(qū)間：方差較小該結(jié)論比較可靠但并不能馬上說(shuō)明膽固醇會(huì)引起心臟病