貝葉斯非參數(shù)模型框架構(gòu)建簡介

1、貝葉斯非參數(shù)模型框架構(gòu)建簡介Abstract：In1973，F(xiàn)ergusonproposedaparametricmodelwithinfinitedimensionalparameterspacetorepresentthepriormethod，andthenemergedalargenumberofmethodstoconstructaBayesiannonparametricmodel.Basedonthesedifferentmodelconstructionmethods，Bayesiannonparametricprocessiswidelyusedinregression，cl

2、ustering，variableselectionandsoon.ThispaperintroducesthemethodofConstructingBayesianKeywords：Bayesiannonparametri；Nonparametricmodels；Localobservation貝葉斯模型的基本是用數(shù)學(xué)中的概率論來表示和處理所有形式的模型中的不確定量。這是一個十分簡單卻異常有效的方法。只需要掌握兩個概率論的定理：求和規(guī)則和乘法規(guī)則。考慮隨機變量x和y，他們分別取值于不同的空間X和Y。求和規(guī)則意思是：如果知道兩個隨機變量x和y的聯(lián)合概率密度，可以通過累加y的所有可能的值得到x

3、的邊界概率。如果y連續(xù)則可簡單地用積分替換求和。例如如果有倫敦和劍橋的高溫的聯(lián)合概率分布模型則可通過求和倫敦的高溫得到在劍橋高溫的邊際分布。乘法規(guī)則意思是：x和y的聯(lián)合概率可以分解為x的邊界概率和給定x得到的y條件概率。使用D來表示可觀察到的數(shù)據(jù)。通常我們稱為“數(shù)據(jù)點“或測量量，但這是不可少的假設(shè)。例如，數(shù)據(jù)可以是單個圖像，觀察到的圖形或有序的測量，而不僅僅是一個集合。我們的模型將索為m，我們可能要考慮多個替代模型。每個模型通常有大量的自由參數(shù)，如果需要我們將表示為一個向量。首先，我們需要確保模型m定義好，其表示意義為預(yù)測或預(yù)測數(shù)據(jù)。正如前面討論我們用概率論來代表預(yù)測模型。對于任何給定的設(shè)置的

4、模型參數(shù)，模型必須能夠產(chǎn)生預(yù)測形式。數(shù)據(jù)的可能性對應(yīng)函數(shù)參數(shù)的可能性?？赡苄裕磳τ谌魏谓o定的參數(shù)設(shè)置作出當(dāng)前狀態(tài)下的預(yù)測。但是，模型m并不完全定義，直到我們指定參數(shù)值的“范圍”。線性回歸模型中斜率可表示為-1到+1之間的值，也可以指定斜率為-100到+100之間的值。事實上，若要完全指定的模型，我們需要多一點指定參數(shù)的選擇范圍，我們需要在此范圍內(nèi)定義一個分布。只有那樣模型m才能夠作出預(yù)測。我們使用求和規(guī)則和乘法規(guī)則來預(yù)測模型的概率。參數(shù)的先驗性，如上文所述（例如，它可能是-1；+1）在超過了允許的值的參數(shù)分布的形式。沒有先驗知識我們的模型是不明確的：我們不能生成或預(yù)測數(shù)據(jù)，除非我們知道如何選

5、擇其值。一旦先驗和可能性的預(yù)測做出了定義，然后模型m在指定的數(shù)據(jù)集上，就可以生成可能的數(shù)據(jù)集。人們經(jīng)常反對貝葉斯方法，因為它迫使人們定義先驗分布的參數(shù)。由此看來，是完全誤導(dǎo)性的。對所有模型都做出假設(shè)，如果沒有假設(shè)它幾乎不可能作出任何預(yù)測或從觀測數(shù)據(jù)的預(yù)測。貝葉斯模型框架的第一階段是利用概率論知識顯式聲明所有的假設(shè)。這樣的模型是比較好的，先驗知識和可能性是必然要求。事實上，先驗和可能性之間的區(qū)別是隨機的，兩者都是模型的重要組成部分。人們反對使用先驗分布參數(shù)，理由是他們不想用隨機變量作為參數(shù)。例如，如果要估算天文數(shù)據(jù)，該行星的質(zhì)量的不是隨機的。這是對貝葉斯模型語義概率的誤解。概率用來代表我們未知數(shù)

6、量的不確定性。認(rèn)為“概率”只是作為模型的不確定性等，如：擲骰子，可重復(fù)實驗，然而不能用于對一顆行星的質(zhì)量不確定性的表示。這兩種形式的不確定性從根本上是主觀的；擲骰子的確定性取決于合適的初始條件，同樣關(guān)于該行星的質(zhì)量不確定性有取決于觀測數(shù)據(jù)對行星軌道的知識。最后，經(jīng)過科學(xué)訓(xùn)練的人在數(shù)據(jù)分析和建模概念方面感到非常不適應(yīng)。這又是極大地誤導(dǎo)：所有模型都涉及到假設(shè)，數(shù)據(jù)分析得出的所有結(jié)論都是基于條件假設(shè)的。概率框架是完全透明的假設(shè)，所有的假設(shè)都作為分布未知數(shù)量。這些假設(shè)很容易產(chǎn)生爭議。相同的數(shù)據(jù)可以根據(jù)不同模型的假設(shè)條件（和先驗）重新分析。結(jié)論根據(jù)的假設(shè)可能改變的事實對好的科學(xué)實踐至關(guān)重要。幸運的是，給

7、定足夠多的數(shù)據(jù)量，先驗性的影響可以得到克服，似然方法和后結(jié)論將收斂。這些假設(shè)促進了科學(xué)的進步，只有合適數(shù)據(jù)才能生存。貝葉斯模型是主觀而不是任意：給定數(shù)據(jù)完整規(guī)范的模型，有且只有一種方式往感興趣的方向進行。其建模因而成為一個非常簡單的過程：提出假設(shè)（可能的模型、參數(shù)、噪聲過程等），代表一切形式的不確定性，使用概率論的語言。給定數(shù)據(jù)，使用概率理論，要對模型中任何未知的數(shù)量做出推斷，或者要從模型做出預(yù)測。這一過程本身很自然地對數(shù)據(jù)順序處理。預(yù)測一些數(shù)據(jù)利用事先觀察數(shù)據(jù)。和與積規(guī)則也告訴我們?nèi)绾巫鲱A(yù)測模型?？紤]一些未知的預(yù)測量x（例如下一個數(shù)據(jù)點）給定觀測的數(shù)據(jù)D和模型m。預(yù)測是從不同的參數(shù)值，依據(jù)給

8、出的數(shù)據(jù)，觀察每個參數(shù)值的后驗概率加權(quán)預(yù)測的平均。對于參數(shù)化模型，可以簡化自給定參數(shù)的預(yù)測都是獨立的觀測數(shù)據(jù)。正如討論的參數(shù)與非參數(shù)模型。如果我們考慮大量的模型，然后根據(jù)和與積的規(guī)則，我們的預(yù)測是模型的加權(quán)平均。概率模型框架也提供了直觀提供了模型的比較問題。假設(shè)競爭概率模型集M，給出了一些觀測數(shù)據(jù)，我們可以評價一個特定的模型m的后驗概率。高階模型如三次多項式顯然比低階模型的線性多項式更加復(fù)雜?；趦?yōu)化（如最大似然方法或受罰似然方法）的模型擬合程序需要十分小心，對一個相對較小的數(shù)據(jù)集切勿用數(shù)據(jù)擬合擬合參數(shù)過于復(fù)雜的模型。過擬合不是一個全貝葉斯問題，還有沒有擬合的數(shù)據(jù)模型。我們僅用求和和乘法規(guī)則來處理，在概率論中并沒有優(yōu)化的規(guī)則。更復(fù)雜的模型是指一個具有多個參數(shù)，只是傳播它的預(yù)測概率可能比一個簡單的模型的數(shù)據(jù)集更復(fù)雜。如果所有模型數(shù)據(jù)集，被都指定為概率分布，那么所有模型都有相同數(shù)量的概率用來傳遞可能的數(shù)據(jù)。給出一個特定的數(shù)據(jù)集，因此就有可能拒絕這兩個模型太簡單或者太復(fù)雜而不能使用概率論的規(guī)則。貝葉斯模型比較方法可以用于解決眾多的問題中學(xué)習(xí)復(fù)雜模型的結(jié)構(gòu)。例如，它用來學(xué)習(xí)復(fù)雜模型的結(jié)構(gòu)，找到相關(guān)的變量或功能來預(yù)測問題，發(fā)現(xiàn)隱馬爾科夫模型狀態(tài)數(shù)量，在概率圖模型中學(xué)習(xí)依賴性結(jié)構(gòu)。上述方法對模型的比較依賴于枚舉的用于比較的一組模型的能力。Ba