主觀概率和先驗分布

歡迎閱讀本文檔，希望本文檔能對您有所幫助!歡迎閱讀本文檔，希望本文檔能對您有所幫助!感謝閱讀本文檔，希望本文檔能對您有所幫助!感謝閱讀本文檔，希望本文檔能對您有所幫助!歡迎閱讀本文檔，希望本文檔能對您有所幫助!感謝閱讀本文檔，希望本文檔能對您有所幫助!第二章主觀概率和先驗分布SubjectiveProbabilityandPriorDistribution本章主要參考文獻：60，52，上帝怎樣擲骰子§2-1基本概念一、概率（probability）1.頻率fn(A)==Na/NP(A)==fn(A)…古典概率的定義2. Laplace在《概率的理論分析》(1812)中的定義P(A)==k/N式中，k為A所含基本事件數(shù)，N為基本事件總數(shù)適用條件1.基本事件有限2.每個基本事件等可能3.公理化定義E是隨機試驗,S是E的樣本空間,對E的每一事件A,對應(yīng)有確定實數(shù)P(A),若滿足:①非負性：0≤P(A)≤1②規(guī)范性：P(S)=1③可列可加性：對兩兩不相容事件Ak(k=1,2…)(Ai∩Aj=φ)P(∪Ak)=∑P(Ak)則稱P(A)為事件A發(fā)生的概率二、主觀概率(subjectiveprobability,likelihood)1.為什么引入主觀概率。有的自然狀態(tài)無法重復試驗如：明天是否下雨新產(chǎn)品銷路如何明年國民經(jīng)濟增長率如何能否考上博士生。試驗費用過于昂貴、代價過大例：洲導彈命中率戰(zhàn)爭中對敵方下一步行動的估計2.主觀概率定義：合理的信念的測度某人對特定事件會發(fā)生的可能的度量。即他相信(認為)事件將會發(fā)生的可能性大小的程度。這種相信的程度是一種信念，是主觀的，但又是根據(jù)經(jīng)驗、各方而后知識，對客觀情況的了解進行分析、推理、綜合判斷而設(shè)定(Assignment)的，與主觀臆測不同。例：考博士生、擲硬幣、拋圖釘三、概率的數(shù)學定義對非空集Ω，元素ω，即Ω=｛ω｝，F(xiàn)是Ω的子集A所構(gòu)成的σ-域(即Ω∈F；若A∈F則A∈F；若Ai∈Fi=1,2,…則∪Ai∈F)若P(A)是定在F上的實值集函數(shù)，它滿足①非負性P(A)≥0②規(guī)范性P(Ω)=1③可列可加性則稱P(A)為直的(主以或客觀)概率測度，簡稱概率ω為基本事件A為事件三元總體(Ω，F(xiàn)，P)稱為概率空間注意：主觀概率和客觀概率（objectiveprobability）有相同的定義四、主客觀概率的比較(一) 基本屬性：O：系統(tǒng)的固有的客觀性質(zhì)，在相同條件下重復試驗時頻經(jīng)的極限S：概率是觀察者而非系統(tǒng)的性質(zhì)，是觀察者對對系統(tǒng)處于某狀態(tài)的信任程度(二)拋硬幣：正面向上概率為１／２O：只要硬幣均勻，拋法類似，次數(shù)足夠多，正面向上的概率就是１／２，這是簡單的定義。S：這確是定義，DMer認為硬幣是均勻的，正、反面出現(xiàn)的可能性(似然率)相同，１／２是個主觀的量。(三)下次拋硬幣出現(xiàn)正面的概率是１／２O：這種說法不對，不重復試驗就談不上概率S：對DMer來說，下次出現(xiàn)正、反是等可能的。但是他不是說硬幣本身是公正的，它可能會有偏差，就他現(xiàn)有知識而言，沒有理由預言一面出現(xiàn)的可能會大于另一面，但多次拋擲的觀察結(jié)果可以改變他的信念。O、S：下次拋硬幣出現(xiàn)正面還是反面不能確定，但知道：要么是正面，要么是反面?！?-2先驗分布(Priordistribution)及其設(shè)定在決策分析中，尚未通過試驗收集狀態(tài)信息時所具有的信息叫先驗信息，由先驗信息所確定的概率分布叫先驗分布。設(shè)定先驗分布是Bayesean分析的需要.一、設(shè)定先驗分布時的幾點假設(shè)1.連通性(Connectivity)，又稱可比性即事件A和B發(fā)生的似然性likelihood是可以比較的：A?＞LB或A~LB或B?＞LA必有一種也僅有一種成立.**A?＞LB讀作A發(fā)生的似然性大于B發(fā)生的似然性,A~LB讀作A發(fā)生的似然性與B發(fā)生的似然性相當。2.傳遞性(Transitivity)若對事件A，B，C,A?＞LB，B?＞LC則A?＞LC3.部分小于全體：若AB則B?LA例：設(shè)定明年國民經(jīng)濟增長率時：①A：8～11%B：12～15%C：15～20%若A?＞LB，B?＞LC，則A?＞LC②A：8～11%D：8～10%必有D?＞LA二、離散型隨機變量先驗分布的設(shè)定1.對各事件加以比較確定相對似然率例1.考博士生E：考取E：考不取若P(E)=2P(E)則P(E)=2/3P(E)=1/3例2。某地氣候狀況：正常年景θ1，旱θ2，澇θ3正常與災年之比：3∶2則P（θ1)=0.6水旱災之比1∶1P(θ2)=P(θ3)=0.2該法適用于狀態(tài)數(shù)較少的場合2.打賭法設(shè)事件E發(fā)生時收入P，（0＜P＜1）且E＼c＝(1—P)調(diào)整P，使決策人感到兩者無差異為止,則：P(E)=P三、連續(xù)型RV的先驗分布的設(shè)定1.直方圖法·該法適用于θ取值是實軸的的某個區(qū)間的情況·步驟：①,將區(qū)間劃分子區(qū)間θi…離散化②設(shè)定每個子區(qū)間的似然率π(θi)…賦值③變換成概率密度曲線例如：明年國民經(jīng)濟的增長率·缺點：①子區(qū)間的劃分沒有標準②賦值不易③尾部誤差過大2.相對似然率法·適用范圍：同1步驟：①離散化②賦值：給出各區(qū)間似然的相對比值③規(guī)范化：例如：同1A.相對似然率R似然率π(A)子區(qū)間8～9%1010／ΣR7～899／ΣR9～107.57.5／ΣRB.決策者給出每二個狀態(tài)似然率的比例關(guān)系aij=pi/pj(1)應(yīng)有aij=1/aji(2)aij=aik.akj(3)在(3)式不滿足時，可用最小二乘法估計決策人心目中真正的主觀概率分布Pii=1,…，n即求規(guī)劃問題min{∑∑(aijpj-pi)}s.t.∑pi=1,pi≥0*用拉格朗日乘數(shù)法,構(gòu)造拉格朗日函數(shù)L＝上式對，i=1,2…n求偏導數(shù)，并令其為0，得：l=1,2,…,n.與聯(lián)列，構(gòu)成n+1階齊次方程組，求得Pi,i=1,…，n3.區(qū)間對分法·適用范圍：可以是開區(qū)間·步驟：①求中位②確定上、下四分位點(quartilefractile)③由于誤差積累,最多確定八分位點(Eighthfractile)例：產(chǎn)品銷售量(預計明年)·缺點：精度差4.與給定形式的分布函數(shù)相匹配這是最常用，且常常被濫用的方法·步驟：①選擇一個與先驗信息匹配得最好的函數(shù)如正態(tài)，泊松，β，e-Cauchy分布等例：a)在單位時間以恒常的平均比率入出現(xiàn)，則在T單位長度時間內(nèi)該事件出現(xiàn)的次數(shù)服從Poisson分布2-4b)若影響某一隨機變量的因素很多而每一因素的作用均不顯著，則該變量服從正態(tài)分布。例如，測量誤差，彈落點，人的生理特征的度量，農(nóng)作物產(chǎn)量等均服從正態(tài)分布。c)事件A出現(xiàn)的概率為P，n次獨立試驗出現(xiàn)r次A的概率b(p,r,n)=.即服從二項分布。②參數(shù)估計：A.矩法：N(μ,σ)Be(α，β)·缺點：尾部估計不準，但對矩的影響卻很大B.分位數(shù)：利用幾個分位點和現(xiàn)成的概率密度函數(shù)分位數(shù)表，估計參數(shù)并檢驗。5.概率盤法(dart)用園盤中的扇形區(qū)表示抽獎事件,透用于西方管理人員·注意：狀態(tài)的概率或概率分布不是也不應(yīng)富由決策分析人員來設(shè)定，而應(yīng)當由決策人和有關(guān)問題專家提供基本信息。理由：§2-3無信息先驗分布一、為什么要研究無信息先驗·Bayesean法需要有先驗分布，貝葉斯法的簡明性使人在無信息時也想用它。二、如何設(shè)定無信息先驗分布1.位置參數(shù)隨機變量X的概率密度函數(shù)形如f(x-θ)時θ∈稱為位置參數(shù)其無信息先驗π(θ)必為一常數(shù)2.標度參數(shù)X的密度函數(shù)為1/σf(x/σ)σ＞稱為標度密度σ稱為標度參數(shù)其無信息先驗π(σ)=1/σ§2.4利用過去的數(shù)據(jù)設(shè)定先驗分布一、有θ的統(tǒng)計數(shù)據(jù)為能獲得θ的