概率分布、MLE與MAP.pptx

吳金龍 概率分布 MLE MAP 擲硬幣 給定一個不均勻的硬幣 如何近似得到花朝上的概率 暴力強擲 然后計算花朝上的比例 以此作為近似值WHY 擲硬幣 記花朝上的概率為 0 1 記隨機變量x為擲一次此硬幣的結(jié)果 x 1 花朝上x 0 數(shù)字朝上則有Pr x 1 Pr x 0 1 Bernoulli分布 x 1或者x 0 擲硬幣 擲了N次 假設(shè)每次擲硬幣相互獨立 則觀察到上面結(jié)果的概率為 擲硬幣 MLE 對上式取對數(shù) 的MaximumLikelihoodEstimation MLE 上式對 求導(dǎo) 并設(shè)導(dǎo)數(shù)為零 擲硬幣 badMLE MLE有時不給力 如果你擲了5次硬幣 N 5 5次都是花朝上 此時 1 USEMagicBayes 為 引入先驗分布 何種先驗 Pr x Pr x Pr 擲硬幣 MAP 的共軛先驗分布為Beta分布則 的后驗分布為 其中a b 0 l N m 的maximumaposteriori MAP 估計上式對 求導(dǎo) 并設(shè)導(dǎo)數(shù)為零即可 擲硬幣 Binomial分布 已知 重復(fù)擲硬幣N次 其中m次花朝上的概率 把N次擲硬幣看成一個整體 m次花朝上的概率 Binomial分布N 1時 Binomial分布退化為Bernoulli分布 擲硬幣 擲骰子 如何近似獲得各個面朝上的概率 Still暴力強擲 擲骰子 MLE MAP MLE MAP 共軛先驗分布 Dirichlet分布 擲骰子 Multinomial分布 已知每個面朝上的概率值 則擲骰子N次 其中第k面次朝上的總概率值為 Multinomial分布 Gaussian Normal 分布 一維情形 高維情形 Gaussian分布的MLE 數(shù)據(jù)集對應(yīng)的對數(shù)似然值為對均值和方差求導(dǎo)數(shù) 設(shè)導(dǎo)數(shù)值為0 得 Gaussian分布的MAP 給定方差 均值的共軛先驗分布為Gaussian分布給定均值 1 方差的共軛先驗分布為Wishart Gamma分布方差和均值都未知 均值 1 方差 的聯(lián)合共軛先驗分布為Gaussian Wishart Gamma分布 Gaussian分布的優(yōu)勢 具有極好的分析性質(zhì)如果 x y 滿足Gaussian分布 則x y也滿足Gaussian分布如果 x y 是Gaussian分布 則x也滿足Gaussian分布 在具有相同均值與方差的所有 實值 分布中 Gaussian分布具有最大熵如果給定取值只在有限區(qū)間時 什么分布具有最大熵 答案見Wikipedia一定條件下 多個隨機變量的和近似滿足Gaussian分布 中心極限定理 中心極限定理 Gaussian分布的劣勢 分布的參數(shù)數(shù)量隨著維數(shù)D二次方增長限制方差矩陣為特殊形式 如何限制 對角陣 D個參數(shù) 正比于單元陣 1個 低秩矩陣 kD個 單峰 unimodal 無法對多峰分布進行很好的近似混合Gaussian分布 對outliers不夠robust使用heavy tailed的分布 如Student st 分布 周期性分布 vonMises分布 其他分布 Powerlaw分布Poisson分