數(shù)據(jù)挖掘的統(tǒng)計(jì)限制

第二節(jié)數(shù)據(jù)挖掘的統(tǒng)計(jì)限制一、整體情報(bào)預(yù)警二、邦弗朗尼原理三、邦弗朗尼原理的例子1、事件：

2002年，美國(guó)布什政府提出了針對(duì)所有可獲得的數(shù)據(jù)進(jìn)行挖掘的計(jì)劃，目的用于追蹤恐怖活動(dòng)。這些數(shù)據(jù)包括信用卡收據(jù)、酒店記錄、旅行數(shù)據(jù)以及許多其他類型的情報(bào)。一、整體情報(bào)預(yù)警Totalinformationawareness(TIA)2、缺陷：

尋找了許多關(guān)聯(lián)模糊的數(shù)據(jù)，顯然會(huì)得出虛假的結(jié)果因此侵犯無(wú)辜者的隱私。

①通過瀏覽大量的數(shù)據(jù)，并想從中發(fā)現(xiàn)疑似的恐怖行為，是否會(huì)找出很多無(wú)辜行為。

②是否會(huì)找出雖然非法但不是恐怖行為的行為。

③這些最終結(jié)果的發(fā)現(xiàn)是否會(huì)導(dǎo)致警察登門造訪甚至更糟糕的情形。二、邦弗朗尼原理1、非正式闡述：可幫助我們避免將隨機(jī)出現(xiàn)看成真正出現(xiàn)。

假定人們有一定量的數(shù)據(jù)并期望從中找到某個(gè)特定類型的事件。即使數(shù)據(jù)完全隨機(jī)，也可以期望該類型事件發(fā)生。任何隨機(jī)數(shù)據(jù)往往都會(huì)有一些不同尋常的特征，這些特征看上去雖然很重要，但實(shí)際上并不重要，除此之外，別無(wú)他由，這個(gè)意義上而言，這些事件的出現(xiàn)純屬“臆造”。

在數(shù)據(jù)隨機(jī)性假設(shè)的基礎(chǔ)上，可以計(jì)算所尋找事件出現(xiàn)次數(shù)的期望值。如果該結(jié)果顯著高于你所希望找到的真正實(shí)例的數(shù)目，那么可以預(yù)期，尋找到的幾乎任何事物都是臆造的，也就是說(shuō)，他們是在統(tǒng)計(jì)上出現(xiàn)的假象，而不是你所尋找事件的憑證。二、邦弗朗尼原理2、原理：

在考察數(shù)據(jù)時(shí)，如果將某些對(duì)象視為數(shù)據(jù)的有趣特征，而這些對(duì)象中的許多都可能會(huì)在隨機(jī)數(shù)據(jù)中出現(xiàn)，那么這些顯著的特征就不可依賴。對(duì)于那些實(shí)際中并不充分罕見的特征來(lái)說(shuō)，上述觀察結(jié)果限制了從這些數(shù)據(jù)特征中進(jìn)行挖掘的能力。3、作用：對(duì)數(shù)據(jù)挖掘的過度使用進(jìn)行警告。三、邦弗朗尼原理的例子1、數(shù)據(jù)挖掘的目標(biāo)：

確信在某個(gè)地方有一群惡人，目的是找出這群惡人。我們有理由相信這些惡人會(huì)定期在某個(gè)賓館聚會(huì)商討作惡計(jì)劃。2、數(shù)據(jù)的有趣特征：惡人在兩個(gè)不同日子入住同一賓館。3、假設(shè)：（1）惡人數(shù)目可能有10億（2）每個(gè)人每100天當(dāng)中會(huì)有一天去賓館（3）一個(gè)賓館最多容納100個(gè)人。因此10

萬(wàn)個(gè)賓館足夠容納10億人中的1％也

就是1000萬(wàn)人在某個(gè)給定的日子入住賓館。（4）我們將對(duì)1000天的賓館入住記錄進(jìn)行

核查。4、是否能推斷某兩人可能是惡人：（1）假設(shè)沒有惡人，則每人去賓館的概率為0.01，且是隨機(jī)地從10萬(wàn)個(gè)賓館中選擇一個(gè)。（2）給定某天，任意兩人決定去賓館的概率：0.0001（3）給定某天，兩人同時(shí)入住同一賓館的概率：0.0001/105=10-9

（4）任意給定不同兩天，兩人入住同一賓館的概率：10-9的平方，即10-18上述推理中，只需要兩人兩次中每次住的賓館相同即可，不需要兩次都是同一賓館。5、事件出現(xiàn)多少次表明作惡事件發(fā)生：事件：兩個(gè)人在兩天中的每一天入住相同賓館。（1）10億人中的人員組對(duì)個(gè)數(shù)：（2）1000天內(nèi)任意兩天的組合個(gè)數(shù)：（3）疑似作惡事件的期望數(shù)目：6、結(jié)果：大概25萬(wàn)對(duì)人員疑似惡人，即使他們根本不是。假定實(shí)