2025神經(jīng)網(wǎng)絡(luò)與深度學習概率圖模型

概率圖模型《神經(jīng)網(wǎng)絡(luò)與深度學習》2025如何表示高維隨機向量的概率密度？

概率圖模型概率圖模型是指一種用圖結(jié)構(gòu)來描述多元隨機變量之間條件獨立關(guān)系的概率模型。每個節(jié)點都對應一個隨機變量，可以是觀察變量，隱變量或是未知參數(shù)等；每個連接表示兩個隨機變量之間具有依賴關(guān)系。概率圖模型模型表示（圖結(jié)構(gòu)）有向圖

無向圖推斷（Inference）給定部分變量，推斷另一部分變量的后驗概率。學習（Learning）參數(shù)學習：給定一組訓練樣本，求解模型參數(shù)概率圖模型模型表示貝葉斯網(wǎng)絡(luò)有向圖模型（DirectedGraphicalmodel），也稱為貝葉斯網(wǎng)絡(luò)（BayesianNetwork），或信念網(wǎng)絡(luò)（BeliefNetwork，BN）。練習局部馬爾可夫性質(zhì)貝葉斯網(wǎng)絡(luò)的局部馬爾可夫性質(zhì)：每個隨機變量在給定父節(jié)點的情況下，條件獨立于它的非后代節(jié)點．利用局部馬爾可夫性，可以對多元變量的聯(lián)合概率進行簡化，從而降低建模的復雜度。例子：是4個局部條件概率的乘積，這樣只需要1+2+2+4=9個獨立參數(shù)。條件獨立性在貝葉斯網(wǎng)絡(luò)中，如果兩個節(jié)點是直接連接的，它們肯定是非條件獨立的，是直接因果關(guān)系。父節(jié)點是“因”，子節(jié)點是“果”。如果兩個節(jié)點不是直接連接的，但是它們之間有一條經(jīng)過其他節(jié)點的路徑連接互連接，它們之間的條件獨立性就比較復雜。

Sigmoid信念網(wǎng)絡(luò)Sigmoid信念網(wǎng)絡(luò)網(wǎng)絡(luò)中的變量為二值變量，取值為{0,1}。常見的有向圖模型隱馬爾可夫模型（HiddenMarkovModel，HMM）表示一種含有隱變量的馬爾可夫過程隱馬爾可夫模型的聯(lián)合概率可以分解為輸出概率轉(zhuǎn)移概率高斯混合模型高斯混合模型（GaussianMixtureModel，GMM）是由多個高斯分布組成的模型，其密度函數(shù)為多個高斯密度函數(shù)的加權(quán)組合。高斯混合模型圖模型表示概率主題模型概率主題模型有向圖模型深度信念網(wǎng)絡(luò)變分自編碼器馬爾可夫隨機場馬爾可夫隨機場，也稱無向圖模型，是一類用無向圖來表示一組具有馬爾可夫性質(zhì)的隨機變量X的聯(lián)合概率分布模型。無向圖的馬爾可夫性團（Clique）團：一個全連通子圖，即團內(nèi)的所有節(jié)點之間都連邊。共有7個團Hammersley-Clifford定理無向圖的聯(lián)合概率可以分解為一系列定義在最大團上的非負函數(shù)的乘積形式。無向圖模型無向圖模型的聯(lián)合分布可以表示為其中E(Xc)為能量函數(shù)，Z是配分函數(shù)。Illustration:ImageDe-Noising(1)OriginalImageNoisyImageIllustration:ImageDe-Noising(2)Illustration:ImageDe-Noising(3)NoisyImageRestoredImage(ICM)Illustration:ImageDe-Noising(4)RestoredImage(Graphcuts)RestoredImage(ICM)對數(shù)線性模型勢能函數(shù)的一般定義為聯(lián)合概率p(x)的對數(shù)形式為也稱為最大熵模型條件隨機場y一般為隨機向量條件概率p(y|x)常見的無向圖模型模型對比有向圖和無向圖的轉(zhuǎn)換有向圖和無向圖的轉(zhuǎn)換道德圖（MoralGraph）AmoralgraphofadirectedacyclicgraphGisanundirectedgraphinwhicheachnodeoftheoriginalGisnowconnectedtoitsMarkovblanket.有向圖和無向圖有向圖和無向圖學習有向圖模型

無向圖模型以對數(shù)線性模型為例，偏導數(shù)含隱變量的參數(shù)估計含隱變量的參數(shù)學習隱變量即變量是不可觀測的邊際似然函數(shù)（MarginalLikelihood）需要用EM算法進行參數(shù)估計高斯混合模型圖模型表示一個簡單的解法：K-meansK-means算法初始化中心點

m1(1),…,mk(1)

迭代執(zhí)行下面兩步分配步（Assignmentstep）：更新步（Updatestep）K-means算法期望最大化（Expectation-Maximum，EM）算法假設(shè)有一組變量，有部分變量是是不可觀測的，如何進行參數(shù)估計呢？證據(jù)下界對數(shù)邊際似然函數(shù)利用Jensen不等式另外一種推導EM算法E步M步收斂性E步M步GMMRevisitGMMRevisitGMMRevisitGMM的參數(shù)學習GMM的參數(shù)學習k-meansclusteringvs.

EMclustering

推斷（Inference）InferenceinGraphicalModels推斷精確推斷ExactInference變量消去法VariableEliminationAlgorithm信念傳播聯(lián)合樹算法近似推斷ApproximateInference變分推斷采樣法（蒙特卡羅方法）主要在于如何計算邊際概率p(y).如何有效地計算邊際概率？邊際概率如何減少計算量？乘法的分配律變量消去法邊際概率變量消除法可以按照不同的順序來消除變量邊際概率p(x4)如何減少重復計算？信念傳播算法信念傳播（BeliefPropagation，BP）算法也稱為和積（Sum-Product）算法或消息傳遞（MessagePassing）算法，將變量消除法中的和積（Sum-Product）操作看作是消息，并保存起來，這樣可以節(jié)省大量的計算資源。鏈上的消息傳遞鏈上的消息傳遞鏈式結(jié)構(gòu)圖模型的信念傳播過程更一般的推斷樹結(jié)構(gòu)和積算法因子圖（FactorGraph）UndirectedTreeDirectedTreePolytree近似推斷環(huán)路信念傳播（LoopyBeliefPropagation）在具有環(huán)路的圖上依然使用和積算法，即使得到不精確解，在某些任務上也可以近似精確解。變分法（VariationalMethod）引入一個變分分布（通常是比較簡單的分布）來近似這些條件概率，然后通過迭代的方法進行計算。采樣法（SamplingMethod）通過模擬的方式來采集符合某個分布p(x)的一些樣本，并通過這些樣本來估計和這個分布有關(guān)的運算基于采樣法的近似推斷采樣法（SamplingMethod）

直接采樣均勻分布逆變換采樣（InverseTransformSampling）Box–Muller方法正態(tài)分布拒絕采樣重要性采樣馬爾可夫鏈蒙特卡羅（MarkovChainMonteCarlo，MCMC）方法Metropolis-Hastings算法Metropolis算法Gibbs采樣法采樣法假設(shè)原始分布p(x)難以直接采樣引入一個容易采樣的分布q(x)一般稱為提議分布（ProposalDistribution）流程：先從分布q(x)中采樣再以某個標準來拒絕一部分的樣本使得最終采集的樣本服從分布p(x)

拒絕采樣拒絕采樣接受概率（AcceptanceProbability）重要性采樣如果采樣的目的是計算分布p(x)下函數(shù)f(x)的期望，那么實際上抽取的樣本不需要嚴格服從分布p(x)。也可以通過另一個分布，即提議分布q(x)，直接采樣并估計Ep[f(x)]。

馬爾可夫過程

馬爾可夫鏈離散時間的馬爾可夫過程也稱為馬爾可夫鏈（Markovchain）狀態(tài)轉(zhuǎn)移矩陣例子平穩(wěn)分布（StationaryDistribution）細致平穩(wěn)條件馬爾可夫鏈蒙特卡羅方法

Metropolis-Hastings算法Metropolis算法吉布斯采樣（GibbsSampling）是一種有效地對高維空間中的分布進行采樣的MCMC方法，可以看作是Metropolis-Hastings算法的特例。全條件概率（FullConditionalProbability）吉布斯采樣使用全條件概率作為提議分布來依次對每個維度進行采樣，并設(shè)置接受率為A=1。吉布斯采樣可以按照任意的順序根據(jù)全條件分布依次對每個變量進行采樣。假設(shè)從一個隨機的初始化狀態(tài)x(0)

開始，按照下標順序依次對M個變量進行采樣。吉布斯采樣使用MCMC方法的注