統(tǒng)計(jì)中著名的佯謬與悖論課件講義

統(tǒng)計(jì)中著名的佯謬與悖論

Paradox－－佯謬vs悖論佯謬：從常識(shí)上看是錯(cuò)的，實(shí)際上是對(duì)的；有時(shí)一個(gè)命題的對(duì)立面是佯謬，也被稱為佯謬。例：整體可以與部分一一對(duì)應(yīng),比如自然數(shù)集合與質(zhì)數(shù)集合{2,3,5,…}={第k個(gè)質(zhì)數(shù)|k=1,2,3,…}{k;k=1,2,3,…}悖論：因?yàn)殡[含的條件未被揭示，一個(gè)命題竟然在形式上和它的對(duì)立面都是對(duì)的或者都是錯(cuò)的。例：圓的弦大於內(nèi)接正三角形邊長的概率是1/2，1/3或1/4http://www.nici.kun.nl/~peterh/doc/bertrand.htmlSimpson’sParadox加州大學(xué)伯克利分校研究生院被訴性別歧視，因?yàn)榕骄浫÷曙@著低于男生。

Bickel,P.J.,Hammel,E.A.,andO'Connell,J.W.(1975)."SexbiasinGraduateadmissions:datafromBerkeley".Science187:398-404.調(diào)查結(jié)果：基本上每個(gè)系女生錄取率都高于或等于男生。圖解：只有兩個(gè)系的簡化情形

（非真實(shí)數(shù)據(jù)）假如只有數(shù)學(xué)和金融兩個(gè)系，錄取人數(shù)都是50人。數(shù)學(xué)系男生錄取率50%，女生錄取率60%；金融系男生錄取率5%，女生錄取率6%。Jeon,J.W.,Chung,H.Y.,andBae,J.S.(1987).ChancesofSimpson’sParadox.JournaloftheKoreanStatisticalSociety,16,117-125.圖解：更多系的情形（非真實(shí)數(shù)據(jù)）箭頭越往OFFER方向，錄取率越高；每個(gè)系女生（紅）都比男生（藍(lán)）錄取率高；總的錄取率，男生大于女生Simpson佯謬告訴我們什么只要對(duì)照組和實(shí)驗(yàn)組的組成結(jié)構(gòu)不同，效應(yīng)就可能來自組成結(jié)構(gòu)而不是實(shí)驗(yàn)處理。從統(tǒng)計(jì)的顯著到因果的結(jié)論，中間有關(guān)鍵的邏輯鏈條。絕大多數(shù)量化研究結(jié)果都會(huì)在這個(gè)環(huán)節(jié)受到隱含的質(zhì)問。RegressionTowardstheMean歷史的誤會(huì)：“回歸”(Regression)與

趨中回歸(RegressionTowardstheMean)F.Galton(1885演講)--父代高度如果高于總體中值，其子代高度傾向于比父代矮，偏向總體中值；類似地：某次考試平均分為75；得90分的學(xué)生群體在另一次同難度考試的平均成績將低于90分；得60分的學(xué)生群體在另一次同難度考試中平均成績將高于60分。遺傳高度的均值為0；上下代遺傳高度不變；簡單地假定，有一半（紅條部分）運(yùn)氣好，表現(xiàn)高度比遺傳高度長高了1個(gè)單位；另一半（藍(lán)條部分）運(yùn)氣差，比遺傳高度長矮了1個(gè)單位。然后我們看表現(xiàn)高度為1的個(gè)體： 運(yùn)氣好的比運(yùn)氣差的要多；運(yùn)氣好遺傳高度為0，運(yùn)氣差遺傳高度為2；平均遺傳高度小于1偏向均值0；無論其子代還是父代，總平均高度等于遺傳高度平均值（運(yùn)氣不遺傳），小于表現(xiàn)高度1偏向均值0。圖解之二：二元正態(tài)分布圖與回歸線趨中回歸從回歸系數(shù)角度看任意的單變量回歸，只要自變量和因變量都被標(biāo)準(zhǔn)化（除以標(biāo)準(zhǔn)方差），除了沒有誤差的退化情形，結(jié)果回歸系數(shù)絕對(duì)值一定小于一。注意：自變量與因變量標(biāo)準(zhǔn)化后，聯(lián)合分布的圖像關(guān)于對(duì)角線鏡像對(duì)稱。Y=XY=.5*X+sqrt(.75)*eY=0*X+e趨中回歸派生佯謬：KellyParadox來自惡劣學(xué)習(xí)環(huán)境的學(xué)生與來自優(yōu)越學(xué)習(xí)環(huán)境的學(xué)生考試成績都是x1，預(yù)測誰更優(yōu)秀？/PDF/2004Wainer_ThreeParadoxes.pdf趨中回歸派生悖論：逆回歸悖論博士的薪水均值和貢獻(xiàn)均值都比碩士都高一個(gè)標(biāo)準(zhǔn)差。用薪水預(yù)測貢獻(xiàn)，同樣薪水、博士貢獻(xiàn)比碩士大，博士要投訴；如果用貢獻(xiàn)預(yù)測薪水，同樣貢獻(xiàn)、博士薪水比碩士高，碩士要投訴。薪水貢獻(xiàn)趨中回歸無所不在即使信度為1，只要非退化情形，就有趨中回歸即使身高的測量沒有誤差，高個(gè)子人群的兒子平均身高仍然會(huì)偏低向均值與是否用多層分析模型沒有關(guān)系高錄取分的學(xué)校，學(xué)生趨中回歸退步；低錄取分的學(xué)校學(xué)生趨中回歸進(jìn)步；用多層模型能發(fā)現(xiàn)，學(xué)校越好，學(xué)生成績越容易退步和時(shí)間先后沒有關(guān)系一群高個(gè)子的人，其父親平均身高會(huì)偏低向均值；其兒子平均身高也會(huì)偏低向均值思考高錄取分的學(xué)校，學(xué)生趨中回歸成績退步，是年年逐步退步還是只在緊隨其后的第一年退步？提示：比較兩類追蹤數(shù)據(jù)相關(guān)系數(shù)矩陣

1 .8 .8 1 .9 .7.8 1 .8 v.s. .9 1 .9.8 .8 1 .7 .9 1低錄取分的學(xué)校，學(xué)生考試成績會(huì)自然進(jìn)步，這結(jié)論本身是對(duì)是錯(cuò)？是否可以說學(xué)生趨中回歸、考試成績所考察的學(xué)習(xí)成就也進(jìn)步？假如學(xué)習(xí)成就也趨中回歸進(jìn)步，是否可以歸因于學(xué)校的教育、甚至歸因于學(xué)校的錄取分高低？提示：學(xué)習(xí)成績的隨機(jī)性分兩部分討論：考試誤差帶來的隨機(jī)性和學(xué)習(xí)成就本身的不穩(wěn)定性；提示：討論學(xué)習(xí)成就不穩(wěn)定性是否依賴學(xué)校的教育、學(xué)校錄取分的高低Lord悖論：因果推理所隱含的前提男學(xué)員體重均值比女學(xué)員高。培訓(xùn)前后男女學(xué)員均值不變；方差與相關(guān)系數(shù)也相同。培訓(xùn)前體重W1培訓(xùn)后的體重W2結(jié)論之一：

培訓(xùn)對(duì)男女學(xué)員體重影響完全相同培訓(xùn)導(dǎo)致的體重變化D男

=W2,男–

W1,男

培訓(xùn)導(dǎo)致的體重變化D女

=W2,女

–

W1,女統(tǒng)計(jì)工作者A發(fā)現(xiàn)D男與D女的分布完全一樣因果論斷的隱含前提假如沒有培訓(xùn)，男女學(xué)員的體重變化分布是一樣的因?yàn)榕嘤?xùn)后仍然如此，所以培訓(xùn)對(duì)男女體重的影響沒有區(qū)別培訓(xùn)的影響同分布=D男D女仍然同分布=D男D女結(jié)論之二：

培訓(xùn)前同樣體重的男女學(xué)員，培訓(xùn)后體重不同W2,男＝α男+β*W1,男+e男

W2,女＝α女+β*W1,女+e女統(tǒng)計(jì)工作者B發(fā)現(xiàn)

α男>α女α男α女因果論斷的隱含前提假如沒有培訓(xùn)，前測時(shí)同體重的男女學(xué)員，在后測時(shí)的體重預(yù)期相同(α男=α女)

因?yàn)榕嘤?xùn)后α男>α女，所以培訓(xùn)對(duì)男女體重變化造成有差異培訓(xùn)的影響只要男女學(xué)員均值不同，兩種前提不可能同時(shí)成立同分布=D男D女==>兩中心連線斜率為1α男>α女α男=α女==>兩中心連線斜率<1不同分布<E(D男)E(D女)Lord悖論的啟示從統(tǒng)計(jì)結(jié)論到文章結(jié)論，要特別留意是否隱含了特定的邏輯鏈條。理想的論文：在文章中明示必要的前提和邏輯環(huán)節(jié)，如果有保留看法，就寫上充分的讓步意見差強(qiáng)人意的論文：文章基于某種關(guān)鍵的隱含假設(shè)，非常內(nèi)行的讀者才明白結(jié)論并不如表面上那么可靠，外行的