評價指標(biāo)模型方法模型的評價

1、評價指標(biāo)模型方法-模型的評價 評分模型的評價指標(biāo) 【摘要】如何評價一個評分模型的判別能力，一般在統(tǒng)計(jì)上用roc、cap、k-s統(tǒng)計(jì)量、gini系數(shù)統(tǒng)計(jì)量等圖形工具或統(tǒng)計(jì)指標(biāo)。其中roc曲線是較受歡迎的，而k-s統(tǒng)計(jì)量、gini系數(shù)等和roc曲線之間有一定的聯(lián)系。 【關(guān)鍵詞】評分模型 評價指標(biāo) 如果把業(yè)務(wù)上的二分類問題從統(tǒng)計(jì)角度理解，都在于尋找一個分類器，這個分類器可能是logistic模型，也可以是多元判別模型，還可以使其它復(fù)雜形式的模型。 一、roc曲線 roc，英文全稱receiver operating curve，翻譯成中文，簡稱受試者工作特征曲線。其在統(tǒng)計(jì)實(shí)務(wù)中應(yīng)用甚廣，尤其應(yīng)用于處

2、理醫(yī)學(xué)研究中的“正常組”和“異常組”區(qū)分建模問題，用于評價分類模型的表現(xiàn)能力。 roc曲線原理。 要說清楚roc曲線的原理，我們從一個簡單的分類實(shí)例問題說起。假如我們有了基于商業(yè)銀行企業(yè)貸款數(shù)據(jù)建立違約-非違約的業(yè)務(wù)分類模型，比如說我們是預(yù)測的所有樣本的違約概率或者信用評級得分，比如信用評級得分，我們獲得了關(guān)于兩類樣本的分布圖形： 圖 兩類樣本的違約率經(jīng)驗(yàn)分布 1.基本假設(shè) 上面的圖例可以看成一個基于銀行債務(wù)人違約率分類的分類器。左邊的分布表示歷史樣本數(shù)據(jù)中違約者預(yù)測得到的違約率的分布；右邊的分布相應(yīng)表示非違約者的分布，其中c點(diǎn)表示決策者做出決斷的切分點(diǎn)，對于該點(diǎn)有這樣的經(jīng)濟(jì)意義：一旦我們確定

3、了c點(diǎn)，不考慮其他業(yè)務(wù)處理，的樣本被預(yù)測為違約者，反之被預(yù)測為非謂語這。對于一個固定的cutoff點(diǎn)，我們可得到一些有實(shí)際意義的量化指標(biāo)： hr=，表示在c點(diǎn)左邊，對defaulters的信用得分分布中，基于c點(diǎn)做決策時候，被正確命中的比率，這里h表示被正確預(yù)測的違約者的樣本個數(shù)，nd表示違約樣本的總數(shù)。 hr=，表示在c點(diǎn)左邊，對non-defaulters的信用得分分布中，基于c點(diǎn)做決策時候，被錯誤預(yù)測的比率，這里f表示被錯誤預(yù)測的違約者的樣本個數(shù)，nnd表示非違約樣本的總數(shù)。 繪制方法 很顯然，當(dāng)我們移動c點(diǎn)的時候，我們得到了一個二維坐標(biāo)點(diǎn)的集合，far，hr|c？綴信用得分區(qū)間這里的f

4、ar，hr是風(fēng)險管理領(lǐng)域的專用表示方法。將其用統(tǒng)計(jì)中的一些概念進(jìn)行一般化處理，得到：fd=，表示在c點(diǎn)左邊違約樣本個數(shù)，fd表示在c點(diǎn)違約者信用得分的累積概率；fnd=far則相應(yīng)表示非違約者信用得分的累積概率；同樣我們可得到二維坐標(biāo)集合fnd，|c？綴信用得分區(qū)間。 我們將fnd，|c？綴在xy坐標(biāo)平面上繪制，就得到了roc曲線。 roc曲線與其他評價指標(biāo)間關(guān)系。 統(tǒng)計(jì)量 圖 roc曲線切線k-s統(tǒng)計(jì)量 k-s檢驗(yàn)，用于檢驗(yàn)樣本是否來自一個指定的分布或者檢驗(yàn)兩類樣本是否同分布。對上述例子，兩樣本分布獨(dú)立性的檢驗(yàn)常用k-s統(tǒng)計(jì)量： d=max|fd-fd|，這里為了符合常識，我們用表示變量得分

5、。 系數(shù)/ar準(zhǔn)確率 gini系數(shù)和ar準(zhǔn)確率實(shí)際上是同一個東西，gini系數(shù)這一稱呼不知道來源于哪，倒是ar準(zhǔn)確率這一術(shù)語常常在金融風(fēng)險管理中出現(xiàn)。它的計(jì)算方法是：roc曲線和對角線之間的面積與perfect model和對角線圍成的面積之比，用于度量模型精確性的一個相對指標(biāo)。 ar=，這里表示roc曲線與對角線圍成的面積，pd表示y=1直線與對角線圍成的面積。很容易計(jì)算：ar=2auc-1。 考慮roc曲線上的導(dǎo)數(shù)，很顯然由這個關(guān)系式，我們得到在roc曲線上某點(diǎn)的似然比為該點(diǎn)的導(dǎo)數(shù)，這一指標(biāo)可以刻畫模型局部的區(qū)分能力。 二、cap曲線 cap曲線，亦稱能力曲線，被各大銀行和評級機(jī)構(gòu)用于對違約率類模型的檢驗(yàn)，它檢驗(yàn)?zāi)Ｐ偷念A(yù)測結(jié)果排序能力。 我們依然以上面信用評分模型為例子，能力曲線的繪制通過以下步驟得到： 1.對已經(jīng)評分的銀行客戶按其預(yù)測的違約概率從高到低排序； 2.橫坐標(biāo)表示客戶按違約率概率從高到低排序后得到樣本總數(shù)的累計(jì)百分比，縱坐標(biāo)表示違約客戶總數(shù)的累計(jì)百分比； 3.曲線上任何一點(diǎn)的坐標(biāo)具有如下意義：表示給定所有排序后客戶樣本的一個比例；表示在給定的條件下，違約客戶概率大于等于比例的客戶中最小概率樣本個數(shù)占總的違約客戶樣