概率分布在測試中的應(yīng)用

在QA的日常測試中，有時(shí)會(huì)遇到概率事件，比如某卡片的抽中概率，某類寶物的掉落概率都需要被測試，但是具體要怎樣測試？測試多少次？出現(xiàn)什么結(jié)果表示測試通過？我一直沒有找到一個(gè)明確的答案，帶著這個(gè)疑問，我進(jìn)行了一些資料搜索和思考，下面把我的經(jīng)驗(yàn)分享給大家。

,

,

,

二項(xiàng)分布

,

二項(xiàng)分布在游戲中使用的很多，比如抽卡系統(tǒng)，一般策劃會(huì)設(shè)定抽到xx卡的概率是多少，這個(gè)進(jìn)行n次抽卡，抽到幾張xx卡的概率分布函數(shù)就是二項(xiàng)分布。根據(jù)定義可知，在二項(xiàng)分布中，n次試驗(yàn)中正好得到k次成功的概率由概率質(zhì)量函數(shù)給出：

"那么怎么測試這張卡被抽中的概率呢？這里看一個(gè)例子，下圖分別是概率為0.1的事件在10,100,500和1000次的事件中的出現(xiàn)次數(shù)的概率分布。"

可以看到隨著試驗(yàn)次數(shù)的增多，中間的峰越窄，事件發(fā)生的次數(shù)越向真實(shí)概率集中，可以預(yù)見的，我們測試抽卡次數(shù)越多，所得到xx卡的數(shù)量就越接近于它的本身概率。

,

那么在測試中，如何判斷所得的結(jié)果是正確的呢？這里需要用到統(tǒng)計(jì)學(xué)中假設(shè)檢驗(yàn)的方法。

,

通俗的說，假設(shè)檢驗(yàn)大致可以理解為：小概率事件不會(huì)發(fā)生，如果發(fā)生了小概率事件，那就否定之前的假設(shè)。

,

關(guān)于統(tǒng)計(jì)學(xué)還有兩點(diǎn)額外信息，

第一：小概率可以取5%或者1%，5%在統(tǒng)計(jì)學(xué)中被認(rèn)為是顯著的，1%在統(tǒng)計(jì)學(xué)中被認(rèn)為是非常顯著的。

第二：假設(shè)檢驗(yàn)只能證偽，而不能證明假設(shè)。

,

把以上的想法應(yīng)用到概率測試中，我有如下思路：

和上圖展示的一樣，每個(gè)概率分布的主體都應(yīng)該相互隔開，可以采取5%或者1%的顯著性水平，5%就是左右兩邊各有2.5%的概率越過精度間隔，1%就是0.5%的概率越過，相鄰兩個(gè)概率分布的間隔就是測試的精度。

,

舉個(gè)例子，比如一個(gè)事件A，結(jié)果B發(fā)生的概率是0.5，我進(jìn)行了500次事件A的測試，發(fā)現(xiàn)B一共發(fā)生了235次，我對概率測試的精度要求是0.1。這些數(shù)據(jù)說明了什么呢？

,

首先，理論上概率是0.5，精度要求是0.1，那么0.45-0.55的實(shí)際測試概率都是可以接受的，一共進(jìn)行了500次測試，對應(yīng)到B發(fā)生的次數(shù)就是500*0.45-500*0.55，也就是225次到275次之間，而實(shí)際B發(fā)生了235次，在這個(gè)區(qū)間內(nèi)。

,

其次，在0.1的精度下，也就是225次和275次時(shí)，我們來看概率是0.4或者0.6的可能性有多大：

,

">x<-pbinom(225,500,0.4)"

>print(x)

[1]0.9897285

,

">x<-pbinom(275,500,0.6)"

>print(x)

[1]0.01300643

可以看到，假設(shè)事件B發(fā)生的概率是0.4，那么實(shí)際測試時(shí)，B的次數(shù)有98.97%的概率小于等于225次，我們實(shí)際得到的是235次，在統(tǒng)計(jì)學(xué)的假設(shè)檢驗(yàn)中，此為小概率事件，就證否了之前的假設(shè)：事件B實(shí)際發(fā)生的概率是0.4。以此類推，我們可以證否所有事件B發(fā)生概率小于0.4的假設(shè)。

,

,

同理，假設(shè)事件B發(fā)生的概率是0.6，那么它有1.3%的可能在實(shí)際測試時(shí)B發(fā)生的次數(shù)小于等于275，而我們現(xiàn)在得到的數(shù)據(jù)是235，這同樣證否了所有事件B發(fā)生概率大于等于0.6的假設(shè)。

"由于我們設(shè)定的精度為0.1（表示實(shí)際概率可以取值為0.1,0.2,0.3…0.9,1），所以得出結(jié)論：事件B發(fā)生的概率是0.5，符合理論，測試通過！"

,

以上就是我關(guān)于概率測試的經(jīng)驗(yàn)，由于在實(shí)際測試中，概率的數(shù)值和精度的需求不定，而二項(xiàng)分布在不同概率和不同測試次數(shù)下曲線都不一樣，我這里有一些快捷的竅門可以提供給大家：

1.

在顯著性水平為5%的情況下，精度為0.1的概率事件測試400次，而精度為0.01的概率事件測試40000次

2.

在顯著性水平為1%的情況下，精度為0.1的概率事件測試700次，而精度為0.01的概率事件測試70000次

,

最后，附上一些不同測試次數(shù)和精度下的概率分布圖，幫助大家直觀的了解二項(xiàng)分布：

"精度0.1下100,500和1000次試驗(yàn)二項(xiàng)分布概率分布圖"

"精度0.01下5000,10000和50000次試驗(yàn)二項(xiàng)分布概率分布圖

"

泊松分布

泊松分布對應(yīng)的是二項(xiàng)分布的極端情況，當(dāng)二項(xiàng)式分布的次數(shù)n很大，而發(fā)生的概率p很小時(shí)，就可以使用泊松分布代替二項(xiàng)式分布，具體來說，它的成立需要滿足三個(gè)條件

事件是小概率事件

事件是獨(dú)立的，不會(huì)互相影響

事件發(fā)生的概率是穩(wěn)定的

,

先來看一個(gè)例子：

已知某家小雜貨店，平均每周售出2個(gè)水果罐頭。請問該店水果罐頭的最佳庫存量是多少？

假定不存在季節(jié)因素，可以近似認(rèn)為，這個(gè)問題滿足以下三個(gè)條件：

（1）每個(gè)顧客購買水果罐頭是小概率事件（顧客的數(shù)量很多）。

（2）購買水果罐頭的顧客是獨(dú)立的，不會(huì)互相影響。

（3）顧客購買水果罐頭的概率是穩(wěn)定的。

,

"在統(tǒng)計(jì)學(xué)上，只要某類事件滿足上面三個(gè)條件，它就服從""泊松分布""。"

,

泊松分布的公式如下：

各個(gè)參數(shù)的含義：

P：每周銷售k個(gè)罐頭的概率。

X：水果罐頭的銷售變量。

k：X的取值（0，1，2，3...）。

λ：每周水果罐頭的平均銷售量，是一個(gè)常數(shù)，本題為2。

根據(jù)公式，計(jì)算得到每周銷量分布：

從上表可見，如果存貨4個(gè)罐頭，95%的概率不會(huì)缺貨（平均每19周發(fā)生一次）；如果存貨5個(gè)罐頭，98%的概率不會(huì)缺貨（平均59周發(fā)生一次）。

,

對應(yīng)到游戲測試中，有什么應(yīng)用呢？

,

已知某珍惜道具，平均每周掉出2個(gè)，請問該在每周掉出多少個(gè)時(shí)設(shè)置報(bào)警？看到這里，是不是立馬就得出了答案？因?yàn)橛螒蛑?，玩家的行為是未知的，就算知道了道具掉落的概率，也很難在實(shí)際中計(jì)算玩家得到道具的概率，這個(gè)時(shí)候，只使用平均每周掉出2個(gè)這一項(xiàng)數(shù)據(jù)，就可以根據(jù)泊松分布計(jì)算出概率分布，從而確定掉落大于多少時(shí)是小概率事件。

,

,

再舉個(gè)例子，在項(xiàng)目進(jìn)入開發(fā)后期后，已知在游戲測試中，平均每周會(huì)有兩次crash，那么，當(dāng)本周crash次數(shù)達(dá)到多少時(shí)，應(yīng)該引起QA對本周周版本質(zhì)量的重視呢？

,

泊松分布在游戲開發(fā)中的應(yīng)用還可以有很多，我在這里拋磚引玉，相信大家只要理解了它的概念，就能輕易的找到它的應(yīng)用場景。

指數(shù)分布

指數(shù)分布在游戲中也會(huì)有存在，來看一個(gè)網(wǎng)上的例子：

在某游戲抽卡系統(tǒng)中，策劃填了設(shè)置紫卡被抽中的概率是5%，策劃說，設(shè)置5%是為了給玩家抽卡20次就抽中一次的體驗(yàn)。但是游戲上線后，許多玩家在抽卡時(shí)抱怨臉黑，很難抽到紫卡，而又有一部分玩家反應(yīng)運(yùn)氣好能連著抽到紫卡，和策劃20次中一次的預(yù)期不符。項(xiàng)目組第一反應(yīng)是游戲中出現(xiàn)了bug，但是一直排查不到，這時(shí)，程序靈機(jī)一動(dòng)，寫了一個(gè)模擬抽卡的程序，并畫出了圖，也就是下圖，下圖為概率5%，模擬50000次隨機(jī)得到的結(jié)果：

,

上圖中紅色的是分布圖，X軸是出現(xiàn)次數(shù)，Y軸是抽中紫卡間隔。而綠色的圖是概率分布圖，X軸是間隔數(shù)，Y軸是概率。

按策劃的想法，5%概率應(yīng)該等同于20次出現(xiàn)一次，那上圖很明顯并不滿足20次出現(xiàn)一次出現(xiàn)規(guī)則，實(shí)際間隔從近到遠(yuǎn)呈下坡形狀分布，就是說相鄰的概率最大，間隔最大超過160，這與玩家所吐槽的抽卡體驗(yàn)是一致的。但50000次隨機(jī)總共出現(xiàn)了2508次，從統(tǒng)計(jì)的意義上來說又是符合5%概率的。

,

所以這個(gè)問題，究其原因就是所謂的概率是統(tǒng)計(jì)意義上的還是分布意義上的問題。這里，就需要介紹另一個(gè)分布：指數(shù)分布。

,

指數(shù)分布是固定概率事件的出現(xiàn)間隔的概率分布，應(yīng)用到抽卡中，就是兩次抽中xx卡之間間隔抽卡次數(shù)的分布。它的公式網(wǎng)