中科院統(tǒng)計學課程

中科院統(tǒng)計學課程1非參數(shù)回歸參數(shù)回歸（線性回歸）時，假設(shè)r(x)

為線性的。當r(x)

不是x的線性函數(shù)時，基于最小二乘的回歸效果不佳非參數(shù)回歸：不對r(x)的形式做任何假定局部加權(quán)方法：用點x附近的Yi的加權(quán)平均表示r(x)回憶：knn回歸函數(shù)：Knn：用訓練樣本中最鄰近x0的k個樣本的均值估計條件期望其中

為x0的鄰域，由訓練樣本中最鄰近x0的k個點xi

定義回憶：knn例：核回歸：Nadaraya-Watson鄰域中點的權(quán)重不是等權(quán)重，而是每個樣本的權(quán)重隨其到目標點的距離平滑衰減其中參數(shù)h稱為帶寬(bandwidth)，核函數(shù)有時可寫為：K可為任意平滑的函數(shù)，滿足常用核函數(shù)Epanechnikov核：使風險最小的核函數(shù)高斯核：三次方核：核回歸：Nadaraya-Watson回憶一下回歸方程的定義：分別對用核密度估計，得到核回歸：Nadaraya-Watson證明：核回歸：Nadaraya-Watson證明（續(xù)）核回歸：Nadaraya-Watson這可以被看作是對y取一個加權(quán)平均，對x附近的值給予更高的權(quán)重：其中核回歸：Nadaraya-Watson將核回歸估計寫成如下形式：其中，核回歸：Nadaraya-Watson類似核密度估計中求期望的展開，得到同理，其中核回歸：Nadaraya-Watson最后，得到估計的風險為最佳帶寬以的速率減少，在這種選擇下風險以的速率減少，這是最佳收斂速率（同核密度估計）核回歸：Nadaraya-Watson實際應用中，利用交叉驗證對求最佳帶寬h。交叉驗證對風險的估計為實際上不必每次留下一個計算單獨估計，可以寫成以下形式例：不同帶寬下Nadaraya-Watson回歸的結(jié)果核回歸：Nadaraya-Watson模型類型：非參數(shù)損失：平方誤差參數(shù)選擇：留一交叉驗證局部線性回歸問題：加權(quán)核回歸在訓練數(shù)據(jù)中靠近邊界的點的估計很差核在邊界區(qū)域不對稱，局部加權(quán)平均在邊界區(qū)域上出現(xiàn)嚴重偏差

局部線性回歸局部線性回歸：在每一個將要被預測的點x處解一個單獨的加權(quán)最小二乘問題，找到使下述表達式最小的局部線性回歸邊界上的N-W核：核在邊界不對稱

偏差大邊界上的局部線性回歸：將偏差降至一階藍色曲線：真實情況綠色曲線：估計值黃色區(qū)域：x0的局部區(qū)域如果選定核函數(shù)，這無需計算映射可以計算點積假設(shè)f在RKHS中，則局部多項式回歸：用d次多項式回歸代替線性回歸實際應用中，利用交叉驗證對求最佳帶寬h。嶺回歸只需計算數(shù)據(jù)點的內(nèi)積核回歸：Nadaraya-Watson另一種對偶表示推導方式另一種對偶表示推導方式KernelTrick如嶺回歸方法核嶺回歸鄰域中點的權(quán)重不是等權(quán)重，而是每個樣本的權(quán)重隨其到目標點的距離平滑衰減Cauchy-Schwarz不等式Epanechnikov核：其中為x0的鄰域，由訓練樣本中最鄰近x0的k個點xi定義黃色區(qū)域：x0的局部區(qū)域核回歸：局部線性回歸則估計為：其中W(x)是一個的對角矩陣且第i個對角元素是估計在yi上是線性的，因為權(quán)重項wi(x)不涉及yi

，可被認為是等價核局部線性回歸局部線性回歸通過自動修改核，將偏差降至一階由于,偏差

為局部線性回歸邊界上的局部等價核（綠色點）內(nèi)部區(qū)域的局部等價核（綠色點）局部多項式回歸局部多項式回歸：用d次多項式回歸代替線性回歸可以考慮任意階的多項式，但有一個偏差和方差的折中通常認為：超過線性的話，會增大方差，但對偏差的減少不大，因為局部線性回歸能處理大多數(shù)的邊界偏差，可變寬度核可變寬度核：如使每一個訓練點的帶寬與它的第k個近鄰的距離成反比在實際應用中很好用，雖然尚未有理論支持怎樣選擇參數(shù)不會改變收斂速度，但在有限樣本時表現(xiàn)更好注意：上述這些擴展（包括局部線性/局部多項式）都可應用到核密度估計中核方法為什么要用核方法？得到更豐富的模型，但仍然采用同樣的方法如嶺回歸方法

核嶺回歸內(nèi)容Kerneltrick再生Hilbert空間線性模型線性模型：方便、應用廣泛有很強的理論保證但還是有局限性可以通過擴展特征空間增強線性模型的表示能力如特征空間為R6而不是R2特該特征空間的線性預測器為嶺回歸對給定的最小化正則化的殘差則最優(yōu)解為需O(p3)運算對偶表示一種對偶表示為：其中需O(n3)運算對偶嶺回歸為了預測一個新的點其中此時只需計算Gram矩陣G嶺回歸只需計算數(shù)據(jù)點的內(nèi)積特征空間中的線性回歸基本思想：將數(shù)據(jù)映射到高維空間（特征空間）然后在高維空間中用線性方法嵌入式特征映射：核函數(shù)則核函數(shù)為其中為將數(shù)據(jù)映射到高維空間的映射有許多可能的核函數(shù)最簡單的為核特征空間中的嶺回歸為了預測一個新的點其中計算Gram矩陣G利用核函數(shù)計算內(nèi)積另一種對偶表示推導方式線性嶺回歸最小化：等價于滿足約束則拉格朗日函數(shù)為Wolfe對偶問題轉(zhuǎn)化為其對偶問題：對L求偏導并置為0，得到Wolfe對偶問題將和代入拉格朗日函數(shù)原目標函數(shù)轉(zhuǎn)化為總之，這些被稱為核技巧(kerneltrick),尋找一個映射：和一個學習方法，使得核回歸：Nadaraya-WatsonKerneltrick不會改變收斂速度，但在有限樣本時表現(xiàn)更好邊界上的局部線性回歸：亦稱為原方法的核化(kernelizingtheoriginalmethod).問題：加權(quán)核回歸在訓練數(shù)據(jù)中靠近邊界的點的估計很差K可為任意平滑的函數(shù)，滿足鄰域中點的權(quán)重不是等權(quán)重，而是每個樣本的權(quán)重隨其到目標點的距離平滑衰減局部線性回歸通過自動修改核，將偏差降至一階核回歸：Nadaraya-Watson問題：加權(quán)核回歸在訓練數(shù)據(jù)中靠近邊界的點的估計很差通常認為：超過線性的話，會增大方差，但對偏差的減少不大，因為局部線性回歸能處理大多數(shù)的邊界偏差，偏差為將和代入拉格朗日函數(shù)最優(yōu)解寫成矩陣形式為：得到解：相應的回歸方程為：點積核化嶺回歸將點積換成核函數(shù)Kerneltrick就實現(xiàn)了對線性嶺回歸的核化，在空間統(tǒng)計學中稱為Kriging算法。核方法通過將輸入空間映射到高維空間（特征空間），然后在高維空間中用線性方法高維：維數(shù)災難通過核技巧，避免維數(shù)災難KernelTrick將問題變?yōu)槠鋵ε紗栴}：只需計算點積，與特征的維數(shù)無關(guān)，如在線性嶺回歸中，最大化下列目標函數(shù)在高維空間中的點積可寫成核(kernel)的形式，如果選定核函數(shù)，這無需計算映射可以計算點積KernelTrick總之，這些被稱為核技巧(kerneltrick),尋找一個映射：

和一個學習方法，使得F的維數(shù)比X高,因此模型更豐富算法只需要計算點積存在一個核函數(shù)，使得在算法中任何出現(xiàn)項的地方，用代替亦稱為原方法的核化(kernelizingtheoriginalmethod).點積核實際應用中，利用交叉驗證對求最佳帶寬h。問題：加權(quán)核回歸在訓練數(shù)據(jù)中靠近邊界的點的估計很差假設(shè)f在RKHS中，則核回歸：Nadaraya-Watson核回歸：Nadaraya-Watson核回歸：Nadaraya-Watson假設(shè)f在RKHS中，則核回歸：Nadaraya-WatsonCauchy-Schwarz不等式將核回歸估計寫成如下形式：如果選定核函數(shù)，這無需計算映射可以計算點積就實現(xiàn)了對線性嶺回歸的核化，在空間統(tǒng)計學中稱為Kriging算法。核回歸：Nadaraya-Watson交叉驗證對風險的估計為不同帶寬下Nadaraya-Watson回歸的結(jié)果Mercer’sTheorem核回歸：Nadaraya-Watson總之，這些被稱為核技巧(kerneltrick),尋找一個映射：和一個學習方法，使得Cauchy-Schwarz不等式核回歸：Nadaraya-Watson再生Hilbert空間將和代入拉格朗日函數(shù)假設(shè)f在RKHS中，則假設(shè)f在RKHS中，則K可為任意平滑的函數(shù)，滿足其中為x0的鄰域，由訓練樣本中最鄰近x0的k個點xi定義轉(zhuǎn)化為求解下述“簡單”問題其中W(x)是一個的對角矩陣且第i個對角元素是什么樣的函數(shù)可以作為核函數(shù)？F的維數(shù)比X高,因此模型更豐富什么樣的函數(shù)可以作為核函數(shù)？Mercer’s定理給出了連續(xù)對稱函數(shù)k可作為核函數(shù)的充要條件：半正定半正定核：對稱：且對任意訓練樣本點和任意滿足K被稱為Gram矩陣或核矩陣。矩陣形式：半正定核的性質(zhì)對稱Cauchy-Schwarz不等式Mercer’sTheorem當且僅當一個函數(shù)K滿足半正定形式時，函數(shù)K可以寫成其中

為特征映射：該核定義了一個函數(shù)集合，其中每個元素可以寫成因此某些核對應無限個預測變量的變換Mercer核RKHS：再生Hilbert空間

—ReproducingKernelHilbertSpaces為了證明上述定理，構(gòu)造一個特殊的特征空間定義函數(shù)空間再生性質(zhì)映射到一個函數(shù)空間有限、半正定Mercer’sTheorem粗略地說，如果K