丨確定近似推斷變分

確定性近似（deterministicapproximation）屬于解析近似（ytical當(dāng)這個(gè)函數(shù)復(fù)雜到?jīng)]法用解析式表達(dá)時(shí)，一個(gè)直觀的思路是找到另一個(gè)形式更簡潔的函數(shù)按照一定規(guī)則來盡可能地近這個(gè)復(fù)雜函數(shù)，這種方法就是確定性近似。我們再熟悉不過的四舍五入其實(shí)就是最簡單的確定性近似。確定性近似的典型代表是變分推斷（variationalBayesianinference），它解決的問題是對隱變量y關(guān)于已知輸入x的后驗(yàn)概率p(y|x)的近似，近似的方式是利用最優(yōu)的近似概率分布q(y)來近p(y|x)。這里的q(y)表示的是y在x這一組特定的輸入數(shù)據(jù)之上的分布，它并不會(huì)將x視為可從數(shù)學(xué)上看，如果假定模型的參數(shù)α是固定不變的，那么隱變量y關(guān)于輸入x的后驗(yàn)概p(y|x,α)

p(y,∫p(y,y雖然后驗(yàn)概率將數(shù)據(jù)和模型聯(lián)系起來，但隱變量的不可觀察性使分母上的積分式變得無法計(jì)算。期望最大化算法（EM）雖然能夠用于求解隱變量，但它是使輸出結(jié)果最大的那個(gè)隱變量取值來代替原本的求和運(yùn)算，簡化求解的同時(shí)也失去了推斷的邊際化這一精髓。要在保留邊際化操作的基礎(chǔ)上做出近似，就得借助于變分法。變分法的出發(fā)點(diǎn)是觀測的概率分布p(x)log[p(x)]=logy

p(x,y)=logy

p(x, =log

p(x,上面的表達(dá)式中涉及對求和項(xiàng)的對數(shù)運(yùn)算，這時(shí)利用簡森不等式（Jensen’sinequality）

p(x, =Eqlogp(x,Y)?Eqlog等式右側(cè)的結(jié)果被稱為變分下界（variationallowerbound），也叫下界（evidencelowerbound），它小于或者等于等式左側(cè)的log[p(x)]，用對數(shù)概率減去變分下界就可以得到q(y)和p(y|x)的KL散度。這說明變分下界可以用來表示隱變量的預(yù)測分布q(y)和根據(jù)觀測結(jié)果推導(dǎo)出的真實(shí)分布p(y|x到底相差多少，也就是近似的接近程度。兩個(gè)分布之間的變分下界越大，它們之間的KL散度就會(huì)越小，分布特性也就越接近。提升變分下界要兩手抓：一方面要盡可能地增加p(x)，因?yàn)榈仁阶髠?cè)不小于等式右側(cè)，變分下界的增加意味著log[p(x)]得增加得，這一過程被稱為近似學(xué)習(xí)（approximatelearning）；另一方面，在p(x)確定之后，就需要找到在這個(gè)確定的p(x)上，讓變分下界最大的隱變量分布，也就是q(y)，這一過程被稱為近似推斷（approximate要對變分下界做出優(yōu)化，需要引入平均場理論的方法。平均場理論（meanfieldtheory）在變分中，平均場理論將復(fù)雜的多變量y分解成一系列獨(dú)立的因子yi，多變量的分布q(y)則被因子化成所有因子分布的乘積q(y)

∏∏

不難看出，這和前面介紹過的樸素的思想不謀而合，只不過樸素拆分的是屬將高維的q(y)1q?(y)

Zq(y來擬合復(fù)雜的、不容易計(jì)算的后驗(yàn)分布p(y|x)，優(yōu)化的對象是變分下界。（variationalmessagepassing）對網(wǎng)絡(luò)中的結(jié)點(diǎn)應(yīng)用變分推斷時(shí)，只需要關(guān)注這個(gè)節(jié)點(diǎn)的馬爾可夫毯，也就是它的父結(jié)點(diǎn)（parent）、子節(jié)點(diǎn)（child）以及共父結(jié)點(diǎn)（co-parent）。在計(jì)算結(jié)點(diǎn)Hj對應(yīng)的低維概率分布Qj 時(shí)，這些結(jié)點(diǎn)和Hj之間的條件概率都會(huì)作為變量出現(xiàn)，而不出于簡化計(jì)算的考慮，變分消息算法假設(shè)待計(jì)算節(jié)點(diǎn)Hj關(guān)于其父結(jié)點(diǎn)的條件概率分（conjugate-exponentialmodel）指數(shù)分布族具有計(jì)算上的便利：它的對數(shù)形式是可計(jì)算的，狀態(tài)也完全可以由自然參數(shù)表示；先驗(yàn)分布的共軛特性同樣有助于簡化運(yùn)算，它保證了后驗(yàn)分布和先驗(yàn)分布具有相同的形式，區(qū)別只在于參數(shù)的不同。有馬爾可夫毯和共軛指數(shù)模型作為基礎(chǔ)，就可以對網(wǎng)絡(luò)進(jìn)行消息了。雖然變分消息的具體機(jī)制比較復(fù)雜，但其基本原則無外乎兩條：父結(jié)點(diǎn)向子結(jié)點(diǎn)自布的充在子結(jié)點(diǎn)向父結(jié)點(diǎn)消息之前，首先要接收來自共父結(jié)點(diǎn)的消息，這是由匯連結(jié)構(gòu)中變量之間的依賴性所決定的。接收到所有來自父結(jié)點(diǎn)和子結(jié)點(diǎn)的消息后，目標(biāo)結(jié)點(diǎn)用這些消息來更新自己的自然參數(shù)，進(jìn)而更新后驗(yàn)分布，在一輪一輪的迭代過程中，變分分布就會(huì)逐漸接近最優(yōu)值——這與置信的思路不謀而合。同為處理未知參數(shù)和隱變量的方法，變分和后面要介紹的EM算法之間有著千絲萬Eisner）的講義《變分推斷的次解釋》（High-LevelExnationofVariationalInference），它將變分法和EM算法納入到了統(tǒng)一的框架下。來估計(jì)隱變量，這種對隱變量的預(yù)測就是典型的推斷問題。具體的實(shí)現(xiàn)方式是前向-后向算法（forward-backwardalgorithm），如果對前向-后向算法進(jìn)行近似處理，就可以得到變分推斷（variationalinference）。題（decoding），最典型的方法非基于最大后驗(yàn)的維特比譯碼（Viterbidecoding）莫在此基礎(chǔ)上把問題復(fù)雜化一些，將參數(shù)設(shè)定為未知的話，推斷問題就變成了估計(jì)模型參數(shù)的學(xué)習(xí)問題（learing），這在后面會(huì)有詳細(xì)的闡述。出于運(yùn)算復(fù)雜性的考慮，處理未知參數(shù)時(shí)可以直接找到讓輸出后驗(yàn)概率最大化的那一組參數(shù)，這就是EM算法。將EM算法中參數(shù)的最大化替換成標(biāo)準(zhǔn)推斷中的邊際化操作，其結(jié)果就是本講的主題——變分。這也體現(xiàn)出變分和EM的區(qū)別：EM中應(yīng)用了隱變量的概率分布，但對待估計(jì)的參數(shù)只是做出點(diǎn)估計(jì)；變分則一視同仁，對兩類非觀測變量都使用（empiricalBayesmethod）經(jīng)驗(yàn)方法其實(shí)就是在統(tǒng)計(jì)學(xué)習(xí)模塊中介紹的方法，也就是引入超先驗(yàn)構(gòu)造層次模型的做法。經(jīng)驗(yàn)會(huì)計(jì)算出級(jí)別最高的超先驗(yàn)分布的參數(shù)最可能的取值，而不是對它的分布進(jìn)行積分，這讓它有別于全的途徑。這種方法在計(jì)算隱變量的后驗(yàn)分布時(shí)使用變分推斷來估計(jì)，所以被稱為變分EM（variationalEM）。在專門用于機(jī)器學(xué)習(xí)的庫PyMC3中，變分推斷可以通過ADI類實(shí)現(xiàn)。ADI的全稱是自動(dòng)微分變分推斷（AtomaicDiffereniaionriaioalnferece），是一種基于平均場理論的高效算法，它將變分后驗(yàn)分布初始化為球面高斯分布，不同參數(shù)的后驗(yàn)彼此無關(guān)，再通過訓(xùn)練數(shù)據(jù)擬合到真實(shí)的后驗(yàn)上。算機(jī)性能的限制，代碼中的n設(shè)定得較小，但實(shí)際上n越大，推斷結(jié)果才會(huì)越精確。今天我和你了變分推斷的基本原理，以及它和EM算法之間的關(guān)聯(lián)，包含以下變分用簡單的近似分布來擬合真實(shí)的后驗(yàn)分布，并利用平均場分解簡化對變分下界變分和EM算法都是對隱變量的處理，可以從統(tǒng)一的角度分析于《統(tǒng)計(jì)會(huì)》（JournalfAmerianSaisicalAssociaion）第12卷第518期上的《從統(tǒng)計(jì)學(xué)看變分推斷》（VariaionalIerene: