非參數(shù)統(tǒng)計-一元非參數(shù)回歸課件

第九章一元非參數(shù)回歸第九章一元非參數(shù)回歸一元非線性回歸模型:給定一組觀測值(xi,yi)，i=1,2,…,n概述可以采用多項式回歸.一元非線性回歸模型:概述可以采用多項式回歸.概述概述9.1核回歸光滑模型局部加權(quán)最小二乘估計:如果取核函數(shù)9.1核回歸光滑模型局部加權(quán)最小二乘估計9.1核回歸光滑模型利用核密度估計的基本思想，估計yi的權(quán)重。加權(quán)平均核hn小,yi的權(quán)重小,反之,則越大。9.1核回歸光滑模型利用核密度估計的基本9.1核回歸曲線Nadaraya-Watson核估計為：Gasser-Muller核估計為：9.1核回歸曲線Nadaraya-Watson核估計為：9.1核回歸曲線Nadaraya-Watson核估計為：以鮭魚和鱸魚為例，繪制核回歸曲線如下。M1<-function(x,h){sum(y[1:260]*exp(-0.5*((xx[1:260]-x)/h)^2))/sum(exp(-0.5*((xx[1:260]-x)/h)^2))}x<-seq(min(xx),max(y),length=50),z=rep(0,50)for(iin1:50){z[i]<-M1(x[i],0.2)}plot(xx,y)lines(x,z)9.1核回歸曲線Nadaraya-Watson核估計為：核回歸估計范例

h=0.2h=0.8核回歸估計范例h=0.2h=0.89.2局部線性回歸主要避免邊界估計不精確.在x的鄰域用線性函數(shù)取代yi的平均.特別,如果K(.)是[-1,1]上的均勻分布,則9.2局部線性回歸主要避免邊界估計不精確.9.2局部多項式回歸在局部線性函數(shù)回歸的基礎上確定β的矩陣表達式:9.2局部多項式回歸在局部線性函數(shù)回歸的基礎上確定β的矩陣9.3Lowess穩(wěn)健回歸異常點可能導致線性回歸模型最小二乘估計發(fā)生偏差,改進局部線性擬合方法來降低異常點對估計的影響.

基本思想:首先局部線性回歸擬合,其次對權(quán)數(shù)進行平滑.算法步驟:9.3Lowess穩(wěn)健回歸異常點可能導致9.4k-近鄰回歸與k-近鄰核密度估計類似，基本思想是用距離x最近的k個樣本點處yi的值來估計當前點的取值,并確定權(quán)值.一.k-近鄰估計特點：比核密度回歸簡單。9.4k-近鄰回歸與k-近鄰核密度估計類9.4k-近鄰回歸

knearhg<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

knearhg<-sum(A[find.k,2])/kreturn(knearhg)}9.4k-近鄰回歸knearhg<-function9.4k-近鄰回歸k=3k=109.4k-近鄰回歸k=3k=109.4k-近鄰回歸二.k-近鄰核估計9.4k-近鄰回歸二.k-近鄰核估計9.4k-近鄰回歸knearm<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

R<-max((abs(x-A[find.k,1])))knearm<-sum(A[,2][1:260]*exp(-0.5*((A[,1][1:260]-x)/R)^2))/sum(exp(-0.5*((A[,1][1:260]-x)/R)^2))return(knearm)}9.4k-近鄰回歸knearm<-function(A,9.4k-近鄰回歸k=5k=29.4k-近鄰回歸k=5k=29.4k-近鄰回歸k=159.4k-近鄰回歸k=159.5正交序列回歸前面講的三種情況回歸是局部的思想.預測只能是局部的,全局估計法效果比較好的是正交多項式回歸.正交基的概念:9.5正交序列回歸前面講的三種情況回歸是9.5正交序列回歸回歸模型近似為:進行最小二乘估計:9.5正交序列回歸回歸模型近似為:進行最小二乘估計:9.5正交序列回歸區(qū)間[-1,1]上的Legendre多項式正交基:9.5正交序列回歸區(qū)間[-1,1]上的Legendre多9.5正交序列回歸例9.7對摩托車數(shù)據(jù)采用Legendre多項式正交基建立回歸模型,效果圖如下.注意:對解釋變量施行變換:9.5正交序列回歸例9.7對摩托車數(shù)據(jù)采用Leg9.5正交序列回歸9.5正交序列回歸第九章一元非參數(shù)回歸第九章一元非參數(shù)回歸一元非線性回歸模型:給定一組觀測值(xi,yi)，i=1,2,…,n概述可以采用多項式回歸.一元非線性回歸模型:概述可以采用多項式回歸.概述概述9.1核回歸光滑模型局部加權(quán)最小二乘估計:如果取核函數(shù)9.1核回歸光滑模型局部加權(quán)最小二乘估計9.1核回歸光滑模型利用核密度估計的基本思想，估計yi的權(quán)重。加權(quán)平均核hn小,yi的權(quán)重小,反之,則越大。9.1核回歸光滑模型利用核密度估計的基本9.1核回歸曲線Nadaraya-Watson核估計為：Gasser-Muller核估計為：9.1核回歸曲線Nadaraya-Watson核估計為：9.1核回歸曲線Nadaraya-Watson核估計為：以鮭魚和鱸魚為例，繪制核回歸曲線如下。M1<-function(x,h){sum(y[1:260]*exp(-0.5*((xx[1:260]-x)/h)^2))/sum(exp(-0.5*((xx[1:260]-x)/h)^2))}x<-seq(min(xx),max(y),length=50),z=rep(0,50)for(iin1:50){z[i]<-M1(x[i],0.2)}plot(xx,y)lines(x,z)9.1核回歸曲線Nadaraya-Watson核估計為：核回歸估計范例

h=0.2h=0.8核回歸估計范例h=0.2h=0.89.2局部線性回歸主要避免邊界估計不精確.在x的鄰域用線性函數(shù)取代yi的平均.特別,如果K(.)是[-1,1]上的均勻分布,則9.2局部線性回歸主要避免邊界估計不精確.9.2局部多項式回歸在局部線性函數(shù)回歸的基礎上確定β的矩陣表達式:9.2局部多項式回歸在局部線性函數(shù)回歸的基礎上確定β的矩陣9.3Lowess穩(wěn)健回歸異常點可能導致線性回歸模型最小二乘估計發(fā)生偏差,改進局部線性擬合方法來降低異常點對估計的影響.

基本思想:首先局部線性回歸擬合,其次對權(quán)數(shù)進行平滑.算法步驟:9.3Lowess穩(wěn)健回歸異常點可能導致9.4k-近鄰回歸與k-近鄰核密度估計類似，基本思想是用距離x最近的k個樣本點處yi的值來估計當前點的取值,并確定權(quán)值.一.k-近鄰估計特點：比核密度回歸簡單。9.4k-近鄰回歸與k-近鄰核密度估計類9.4k-近鄰回歸

knearhg<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

knearhg<-sum(A[find.k,2])/kreturn(knearhg)}9.4k-近鄰回歸knearhg<-function9.4k-近鄰回歸k=3k=109.4k-近鄰回歸k=3k=109.4k-近鄰回歸二.k-近鄰核估計9.4k-近鄰回歸二.k-近鄰核估計9.4k-近鄰回歸knearm<-function(A,x,k){na<-nrow(A)or<-1:nadis<-NULLfor(iin1:na){dis<-c(dis,(abs(x-A[i,1])))}ra<-rank(dis)find.k<-or[ra<k+1]

R<-max((abs(x-A[find.k,1])))knearm<-sum(A[,2][1:260]*exp(-0.5*((A[,1][1:260]-x)/R)^2))/sum(exp(-0.5*((A[,1][1:260]-x)/R)^2))return(knearm)}9.4k-近鄰回歸knearm<-function(A,9.4k-近鄰回歸k=5k=29.4k-近鄰回歸k=5k=29.4k-近鄰回歸k=159.4k-近鄰回歸k=159.5正交序列回歸前面講的三種情況回歸是局部的思想.預測只能是局部的,全局估計法效果比較好的是正交多項式回歸.正交基的概念:9.5正交序列回歸前面講的三種情況回歸是9.5正交序列回歸回歸模型近似為:進行最小二乘估計:9.5正交序列回