ROC分析方法概要

1、第二章ROC曲線分析概要本文先介紹了ROC理論的一些基礎(chǔ)知識(shí)如特異度和靈敏度等，然后簡(jiǎn)要介紹了非參數(shù)ROC分析方法，并建立了ROC模型。最后介紹了R0C曲線及在R軟件中的繪制。2.1ROC分析的基本要素ROC分析的基本要素包括真陽(yáng)性和假陽(yáng)性也稱靈敏度和特異度，以及“金標(biāo)準(zhǔn)”“金標(biāo)準(zhǔn)”劃分被測(cè)試者的真實(shí)狀態(tài)為對(duì)照組和病例組兩類。常見(jiàn)的金標(biāo)準(zhǔn)有跟蹤隨訪、活組織檢查、尸體解剖、手術(shù)探查等。雖然“金標(biāo)準(zhǔn)”沒(méi)有必要是十全十美的，但“金標(biāo)準(zhǔn)”應(yīng)與評(píng)價(jià)的診斷系統(tǒng)無(wú)關(guān)，而且比要評(píng)價(jià)的診斷系統(tǒng)更可靠?！敖饦?biāo)準(zhǔn)”不夠完美時(shí)，可用采用Bayesian、模糊金標(biāo)準(zhǔn)、EM估計(jì)等方法解決。對(duì)按照“金標(biāo)準(zhǔn)”確定的二分類總體

2、，對(duì)照組和病例組分別用陰性和陽(yáng)性表示診斷試驗(yàn)結(jié)果。假定總體樣本量是N,診斷試驗(yàn)的可能結(jié)果總共有四種：被測(cè)試者患病且被正確診斷為患病者，被測(cè)試者無(wú)病且被錯(cuò)誤診斷為患病者，被測(cè)試者無(wú)病且被正確診斷為無(wú)病者，被測(cè)試者無(wú)病且被錯(cuò)誤診斷為患病者。我們可以用一個(gè)2X2的列聯(lián)表來(lái)表示它們之間的關(guān)系。診斷結(jié)果“金標(biāo)準(zhǔn)”合計(jì)，中-F/.患、炳者健康者陽(yáng)性a(真陽(yáng)性)b(假陽(yáng)性)a+b陰性c(假陰性)d(真陰性)c+d合計(jì)a+cb+da+b+c+d二NabTPR=FPR=-a+cb+d在醫(yī)學(xué)研究中，診斷試驗(yàn)準(zhǔn)確度指標(biāo)最常用的是靈敏度與特異度。靈敏度(sensitivity)，也叫真陽(yáng)率(truepositiver

3、ate，即TPR)是被測(cè)試者患病且被正確診斷為患病者的樣本量在陽(yáng)性總體中占的比例。靈敏度值越大，假陰率越小。據(jù)表2-1其計(jì)算公式是：靈敏度(sensitivity)=真陽(yáng)率(TPR)=1假陰率(FNR)二亠a+c標(biāo)準(zhǔn)誤為：SEtpr=Jac/(a+c)3特異度(specificity)，也叫真陰率(truenon-positiverate,即TNPR)，是受試者無(wú)病且被正確診斷為無(wú)病者的樣本量占陰性總體的比例。假陽(yáng)率(falsepositiverate,即FPR)=1-特異度特異度值越大，假陽(yáng)率越小。據(jù)表2-1其計(jì)算公式是：特異度(specificity)=真陰率(TNPR)=1-假陽(yáng)率(FP

4、R)=b+d標(biāo)準(zhǔn)誤為：SEFPr=Jbd/(b+d)3假設(shè)二分類總體均服從正態(tài)分布，TPR、FPR、TNPR和FNPR之間的關(guān)系可以用圖2-1來(lái)描述。圖中x=c為截?cái)帱c(diǎn)(診斷閾值)，a為假陽(yáng)率(FPR),B為假陰率(FNPR)。斷點(diǎn)特異度冋靈敏度邛)無(wú)病組有病組2.2ROC準(zhǔn)確性評(píng)價(jià)指標(biāo)的優(yōu)越性診斷試驗(yàn)的準(zhǔn)確性評(píng)價(jià)指標(biāo)有正確率、靈敏度和特異度等。它們雖然都可以反映診斷的準(zhǔn)確性，但評(píng)價(jià)的效果不是很理想。正確率是被測(cè)試者被正確診斷的例數(shù)和所占總體的百分?jǐn)?shù)。其計(jì)算公式是：a+d正確百分率=x100%標(biāo)準(zhǔn)誤是：SE=J(a+d)(b+c)/N3正確百分率正確百分率的不足之處：1很大程度上依賴患病率。例

5、如，雖然患病率是5%，如果判定所有樣本為健康者，也有可能有95%的正確百分率；2受診斷閾值的限制；3沒(méi)有表示出假陽(yáng)性和假陰性錯(cuò)誤診斷所占的比例，沒(méi)有唯一性表示，即使有相同的正確百分率的兩個(gè)總體，也可能有十分不同的假陽(yáng)性和假陰性?；诖?，單獨(dú)計(jì)算靈敏度和特異度，以彌補(bǔ)正確率的不足，如果兩個(gè)指標(biāo)的值越高，診斷評(píng)價(jià)效果也就越好，其實(shí)不然。在對(duì)診斷系統(tǒng)做出比較時(shí)，如果單獨(dú)使用靈敏度與特異度，就會(huì)存在很大的不足：這兩個(gè)指標(biāo)依賴于診斷閾值（或截?cái)帱c(diǎn)），改變?cè)\斷閾值可以增加診斷的靈敏度，但同時(shí)也減少了特異度；反之，如果增加診斷的特異度，則需要以減少靈敏度為代價(jià)。另外，有人提出的Youden指數(shù)、陽(yáng)性似然比、

6、：真陽(yáng)率與假陽(yáng)率之比）和陰性似然比等等。Youden指數(shù)是指真陽(yáng)性率與假陽(yáng)性率之差，計(jì)算公式為：Youden指數(shù)=靈敏度+特異度-1=真陽(yáng)性率-假陽(yáng)性率=TPR-FPR=a+cbb+d其標(biāo)準(zhǔn)誤為：SEYouden指數(shù)ac+bd(a+c)3(b+d)3陽(yáng)性似然比（positivelikelihoodratio簡(jiǎn)寫為：LR+）是真陽(yáng)性率與假陽(yáng)性率之比，即靈敏度與（1-特異度）的比值，它是ROC曲線某工作點(diǎn)對(duì)應(yīng)的斜率。陰性似然比（negativelikelihoodratio簡(jiǎn)寫為：LR-）是假陰性率與真陰性率之比，即（1-敏感度）與特異度的比值。這些診斷指標(biāo)綜合考慮了靈敏度和特異度，但一個(gè)指標(biāo)只對(duì)

7、應(yīng)于一個(gè)診斷閾值。當(dāng)診斷閾值改變時(shí)，會(huì)得到不同的指標(biāo)值，給診斷準(zhǔn)確度的比較帶來(lái)不便。所以一般選擇陽(yáng)性似然比或Youden指數(shù)最大者為最佳工作點(diǎn)。在評(píng)價(jià)整個(gè)診斷方法的準(zhǔn)確性時(shí)用ROC分析，當(dāng)改變?cè)\斷閾值時(shí)，可同時(shí)獲得靈敏度和特異度，也就可以獲得TPR和FPR值。ROC曲線是以FPR為橫坐標(biāo)和以TPR為縱坐標(biāo)繪制而成，并且ROC曲線下的面積大小衡量了診斷系統(tǒng)的判別能力。2.3ROC曲線的構(gòu)建0.00.20.40.60.81.DFRP以假陽(yáng)性率(FPR)為橫坐標(biāo)、真陽(yáng)性率(TRP)為縱坐標(biāo)，形成正方形，在圖上將ROC工作點(diǎn)標(biāo)出，并用線條將這些低昂依序連接起來(lái)構(gòu)建不光滑的ROC曲線。構(gòu)建光滑的曲線需要

8、交涉對(duì)照組和病例組服從于某一分布(如正態(tài)分布、Gamma分布等)，用曲線擬合技術(shù)估計(jì)其參數(shù)，直接用參數(shù)產(chǎn)生曲線。無(wú)論資料類型如何，曲線一定通過(guò)(0,0)和(1,1)兩點(diǎn)，這兩個(gè)點(diǎn)對(duì)應(yīng)著靈敏度=0，特異度=1和靈敏度=1,特異度=0理論上診斷實(shí)驗(yàn)都有TPR=1,FPR=0。完全無(wú)價(jià)值的診斷為TPR=FPR，這條線條稱為幾率線(guessingline或chanceline),也稱為無(wú)信息線(lineofnoinformation)；ROC曲線對(duì)診斷的準(zhǔn)確性采用同一尺度直觀地體現(xiàn)出來(lái)，描述了診斷實(shí)驗(yàn)對(duì)正反兩種狀態(tài)的判別能力。曲線上每一個(gè)點(diǎn)通過(guò)改變其診斷閥值(截?cái)帱c(diǎn))而得，是靈敏度和特異度的折衷結(jié)果

9、。提高診斷標(biāo)準(zhǔn)則產(chǎn)生較低的靈敏度和較高的特異度；降低診斷標(biāo)準(zhǔn)則產(chǎn)生較高的靈敏度和較低的特異度。如果比較兩個(gè)診斷方法的效果，則較高的ROC曲線具有較好的診斷性能，如果曲線交叉，則通過(guò)計(jì)算曲線下面積進(jìn)行進(jìn)一步比較。用ROC曲線下面積(記為A)反映診斷試驗(yàn)的準(zhǔn)確度，它可以被看成是正確Z決策的概率。該面積的取值范圍為(0.5,1),完全無(wú)價(jià)值的診斷A=0.5；完美的Z診斷A=1。習(xí)慣上認(rèn)為ROC曲線下面積為0.500.70,表示診斷的準(zhǔn)確度較低；Z在0.700.90之間表示診斷的準(zhǔn)確度中等；面積達(dá)到0.90以上則表示診斷的準(zhǔn)確度較高。2.4ROC曲線的擬合方法ROC曲線的獲得是通過(guò)兩個(gè)不同的總體（正常

10、組和異常組），它的橫軸和縱軸（假陽(yáng)性率和真陽(yáng)性率）存在相關(guān)關(guān)系，因此不能假定它們來(lái)自單一的總體，不能用一般非線性模型擬合。ROC曲線擬合方法主要有雙正態(tài)模型參數(shù)法和非參數(shù)法。除了主要的ROC分析方法外，有序回歸模型（包括位置尺度模型、比例優(yōu)勢(shì)模型、GEE法）、COX比例風(fēng)險(xiǎn)模型等也可以擬合ROC曲線、計(jì)算ROC曲線下面積以及標(biāo)準(zhǔn)誤。這些模型還考慮了協(xié)變量的混雜效應(yīng)。2.4.1雙正態(tài)模型參數(shù)法雙正態(tài)模型假定正常組和異常組都服從正態(tài)分布。當(dāng)前該模型在ROC分析上比較完善，可以處理不同的ROC資料，獲得光滑的ROC曲線。當(dāng)樣本量較大時(shí)，有序分類數(shù)大于5時(shí)，該模型獲得的結(jié)果是比較可靠的。但是當(dāng)樣本量較

11、少時(shí)，雙正態(tài)模型擬合會(huì)產(chǎn)生退化資料，ML估計(jì)會(huì)迭代不收斂。按“金標(biāo)準(zhǔn)”將實(shí)驗(yàn)對(duì)象劃分為正常組和異常組，假設(shè)它們分別服從總體均值為卩0、|11（0t|正常=1一（）0ao真陽(yáng)性率為：TPR=Pmt|異常=1一（！一!）1ai其中、叫分別表示正常組和異常組的實(shí)驗(yàn)測(cè)量值或有序分類之；t為截?cái)帱c(diǎn)，實(shí)驗(yàn)測(cè)量值xt,診斷為陽(yáng)性，xWt診斷為陰性；（）為標(biāo)準(zhǔn)正態(tài)累積分布函數(shù)。令t=p0+a-11FPR,則有： HYPERLINK l bookmark32 o Current Document p一pa HYPERLINK l bookmark34 o Current Document TPR=Q_+-1FP

12、Raiai令a=3,b=%,則上式可寫為：a1a1TPR=a+b-1FPR,0FPR1j=11jj=x0ix0ix0ij=1i=11x屮(xo.，xi.)=0.5xij0 xAZ的標(biāo)準(zhǔn)誤為:SE(AZ)=Z|AZ(1-AZ)+帆-1)(Qj-AZ2)+(n0-1)(Q2-AZ2)nn10其中Q是兩個(gè)隨機(jī)隨著的異常組觀測(cè)值比一個(gè)隨機(jī)選擇的正常組觀察值都更大可能分類為異常的概率。Q2是一個(gè)隨機(jī)隨著的異常組觀測(cè)值比兩個(gè)隨機(jī)選擇的正常組觀察值都更大可能分類為異常的概率。25基于非參數(shù)法的ROC分析基于本文實(shí)證分析采用的是非參數(shù)方法的ROC模型，因此將在本小結(jié)著重介紹下非參數(shù)法的ROC分析。2.51等級(jí)

13、變量的非參數(shù)ROC分析通常情況下，診斷系統(tǒng)獲得的原始資料的記錄有離散型和連續(xù)型兩種形式。許多生物醫(yī)學(xué)診斷試驗(yàn)的測(cè)量工具是連續(xù)型的，如血清抗原和酶濃度；醫(yī)學(xué)影像診斷試驗(yàn)的診斷結(jié)果是離散型的。對(duì)于不同的形式，ROC曲線估計(jì)方法是相同的,我們以離散型診斷結(jié)果為例。如果將診斷指標(biāo)以有序分類的方式分成k類，k=1,K。其中1類別表示完全沒(méi)患病，K類別表示肯定患病。假設(shè)對(duì)于每一個(gè)分類類別Y,有一個(gè)隱藏的連續(xù)決策變量X,將結(jié)果劃分到第k類中，如果決策變量X在區(qū)間（Tk-1，Tk）中，k=1,K;T0=8,Tk=+8;即當(dāng)Tk-1XTk，則Y=k。第k類中，N表示第k類中的正常個(gè)體數(shù)，N表示第k類中的異常個(gè)體

14、數(shù)，N為正k0k10?？倐€(gè)體數(shù)，N表示異常總個(gè)體數(shù)，N表示總個(gè)體數(shù)。一般可劃分為5（或6）1等級(jí)，即肯定不正常、可能不正常、異?？梢伞⒖赡苷?、肯定正常，分別以1、2、3、4、5標(biāo)記。如表表示：診斷結(jié)果診斷分類合計(jì)12345正常N10N20N30N40N50N0異常N11N21N31N41N51N1合計(jì)N每個(gè)分類可以作為診斷閾值（通常從第二個(gè)分類開(kāi)始，因?yàn)槿粢缘谝粋€(gè)分類為閾值，其實(shí)是沒(méi)有什么意義的），陽(yáng)性和陰性的判斷標(biāo)準(zhǔn)是：該類及以上類別的樣本為陽(yáng)性；該類以下樣本為陰性，對(duì)于每一個(gè)診斷閾值，都可以整理出類似于表2-1的2X2的列聯(lián)表。例如，以表2-2中的分類3為診斷閾值時(shí)，正常組陽(yáng)性個(gè)體數(shù)為N

15、+N+NTOC o 1-5 h z304050其假陽(yáng)率為N+N+NFPR304050N0異常組陽(yáng)性個(gè)體數(shù)為N+N+N，其真陽(yáng)率為314151N+N+NTPR314151N1同樣可以以表中的分類5、4、2為診斷閾值來(lái)計(jì)算的ROC的坐標(biāo)點(diǎn)，并得到相應(yīng)的FPR和TPR。圖描述了不同診斷閾值下的分類：此時(shí)，我們假設(shè)正常組和異常組的總體都滿足正態(tài)分布。圖中采用4個(gè)診斷閾值將正常組和異常組分2.5.2實(shí)例分析在放射學(xué)診斷試驗(yàn)中，有109份CT影像，正常影像為58份，異常影像為51份，有位影像工作者將這些CT影像分類為如表2-3所示：診斷結(jié)果診斷分類合計(jì)12345正常336611558異常322113351

16、合計(jì)109根據(jù)2.5.1節(jié)的結(jié)論，我們可以得到以類別2、3、4、5為診斷閾值的2X2的列聯(lián)表，從而得到相應(yīng)的ROC工作點(diǎn)。以類別2為診斷閾值：診斷結(jié)果金標(biāo)準(zhǔn)合計(jì)患者健康者陽(yáng)性482573陰性33336合計(jì)5158109TPR=4851FPR-2558正常組陽(yáng)性個(gè)體數(shù)為25，其假陽(yáng)性率為FPR=25=0.431058異常組陽(yáng)性個(gè)體數(shù)為48，其真陽(yáng)性率為TPR=48=0.942051同理可得到分類3、4、5這四個(gè)診斷閾值所對(duì)應(yīng)的ROC工作點(diǎn)。故FPR，TPR=(0.4310,0.9420),(0.3296,0.9020),(0.2241,0.8627),(0.0345,0.6471)從圖可以看出，

17、診斷閾值越嚴(yán)格(分類類別越高)，將試驗(yàn)結(jié)果決策為陽(yáng)性的可信度越高；診斷閾值越寬松(分類類別越低)，將試驗(yàn)結(jié)果決策為陽(yáng)性的可信度也相應(yīng)地越低。oo00CJc時(shí)為陽(yáng)性，當(dāng)yWc時(shí)為陰性。那么，若設(shè)“金標(biāo)準(zhǔn)”為(，貝V對(duì)于每一個(gè)閾值c,我們就能推斷出相應(yīng)的真陽(yáng)率TPR(靈敏度)和假陽(yáng)率FPR(1特異度)，設(shè)靈敏度為Sen(c)，特異度為Spe(c)，則有：/、Snii(y.c|k=1)TPR(c)=Sen(c)=i=ini/、Snoi(yc|k=0)FPR(c)=1-Spe(c)=i=ilno其中，n為金標(biāo)準(zhǔn)K=0時(shí)的樣本量，同理，n為金標(biāo)準(zhǔn)K=1時(shí)的樣本量。01如上述所示，當(dāng)變量為連續(xù)型時(shí)，每個(gè)C

18、都有對(duì)應(yīng)的靈敏度和特異度，把c取遍此連續(xù)型變量在樣本中的所有互異的觀測(cè)值，把這些點(diǎn)對(duì)FPR(c)，TPR(c)連成曲線便構(gòu)成ROC曲線。26R0C曲線間差異的顯著性檢驗(yàn)ROC曲線提供了直觀比較兩個(gè)診斷方法準(zhǔn)確性的方法，較高的ROC曲線具有較好的診斷性能，但是如果曲線交叉，則無(wú)法直觀地看出來(lái)，同時(shí)，直觀上看兩條曲線有差異，但是不一定是統(tǒng)計(jì)顯著的，所以需要通過(guò)統(tǒng)計(jì)檢驗(yàn)的方法進(jìn)一步檢驗(yàn)兩種診斷方法的準(zhǔn)確性是否有顯著差別。采用參數(shù)法非參數(shù)法擬合ROC曲線有不同的檢驗(yàn)方法。對(duì)于雙正態(tài)模型方法擬合的ROC曲線，可以采用雙變量參數(shù)卡方檢驗(yàn)(bivariateChi-squaretest)、真陽(yáng)性率z檢驗(yàn)(T

19、PRZ-scoretest)、面積z檢驗(yàn)(areaz-scoretest)。雙變量參數(shù)卡方檢驗(yàn)檢驗(yàn)兩診斷實(shí)驗(yàn)的雙正態(tài)參數(shù)間有無(wú)差異。假設(shè)兩個(gè)ROC曲線的參數(shù)分別是(a1,b1)、(a2,b2)。原假設(shè)：兩條雙正態(tài)ROC曲線相同，即a1=a2,b1=b2。如果原假設(shè)成立，且參數(shù)估計(jì)值a1,bi,a2,b2為聯(lián)合正態(tài)分布。則檢驗(yàn)統(tǒng)計(jì)量為：X2=Sw-i(5服從自由度為2的卡方分布，其中6為行向量(a1-a2，bi-b2),3是2X2協(xié)方差矩陣，矩陣元素：311=Var(ai)+Var(a2)一2Cov(ai,a2)3=Var(b)+Var(b)一2Cov(b,b)221212312=321=Cox

20、(ai,bi)+Cox(a2,b2)-Cox(ai,b2)-Cox(a2,bi)真陽(yáng)性z檢驗(yàn)有時(shí)候想要研究的是在特定的假陽(yáng)性率條件下，兩條ROC曲線上的真陽(yáng)性率是否相同。此時(shí)并不關(guān)心兩診斷實(shí)驗(yàn)是否產(chǎn)生完全相同的ROC曲線。此時(shí)，原假設(shè)為：在特定的FPR下，兩條ROC曲線的TPR相等，即0TPR=TPR=TPR。120當(dāng)原假設(shè)成立，且a1,b1,a2,b2為多變量正態(tài)，則V=(FPR2)-(FPRJ=a2+b2t(FPR0)-ai+bi-i(FPR0)服從均值為0，標(biāo)準(zhǔn)差av=V311-2t312+t2322的隨機(jī)正態(tài)分布。其中t二-1（1一FPR0）。面積z檢驗(yàn)該方法對(duì)ROC曲線下面積間的差值

21、做z檢驗(yàn)來(lái)判斷兩個(gè)診斷實(shí)驗(yàn)方法的準(zhǔn)確性。原假設(shè)為：兩條ROC曲線下面積相等，即A=A。如果原假設(shè)成立，且樣z1z2本量較大，則兩診斷ROC曲線下面積的差值：aav=AA=12z1z2r（厶+b/）（厶+b22）CT2=v近似服從均值為0，方差為：Cov（0i,0j）的正態(tài)分布，其中片:i=1,2,3,4=a1，a2，bl，b2,為ROC曲線的四個(gè)參數(shù)。當(dāng)兩個(gè)比較的診斷實(shí)驗(yàn)相互獨(dú)立時(shí)，對(duì)應(yīng)的所有交叉曲線協(xié)方差項(xiàng)等于0.Metz等的研究表明，當(dāng)正常組和異常組的樣本量都超過(guò)50時(shí)，以上檢驗(yàn)的結(jié)果都是可靠的。2.6.3非參數(shù)擬合ROC曲線時(shí)，曲線下面積的比較利用Hanley和McNe訂非參數(shù)法擬合ROC曲線時(shí)，比較兩個(gè)ROC曲線下面積間是否有顯著差異時(shí)，可用檢驗(yàn)統(tǒng)計(jì)量z=|Az1-Az2|7SE1+SE2-2rSEiSE2z是標(biāo)準(zhǔn)正態(tài)的離差值，SE1和SE2是兩個(gè)實(shí)驗(yàn)的標(biāo)準(zhǔn)誤，分別有上文計(jì)算公式得到。R是兩個(gè)ROC曲線下面積間的相關(guān)系數(shù)