第十三章診斷試驗的評價

1、宇傳華（宇傳華（ ) )December 13December 13，20052005為什么要學(xué)習(xí)診斷試驗的評價循證醫(yī)學(xué)的重要內(nèi)容及時取舍或靈活應(yīng)用新的診斷試驗（試劑、藥物、方法）提高業(yè)務(wù)素質(zhì)，減少患者不必要的經(jīng)濟(jì)開支。目 錄第一節(jié) 貝葉斯定理第二節(jié) 診斷試驗中常用的評價指標(biāo)第三節(jié) ROC曲線第一節(jié) 貝葉斯定理貝葉斯定理應(yīng)用第二節(jié) 診斷試驗中常用的評價指標(biāo)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異

2、度、常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異度、（四）（四）Youden指數(shù)、（五）陽性似然比、（六）陰性似然比、指數(shù)、（五）陽性似然比、（六）陰性似然比、（七）陽性預(yù)報值、（七）陽性預(yù)報值、 （八）陰性預(yù)報值。（八）陰性預(yù)報值。例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）2755

3、20180700(N)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)靈敏度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，其取值范圍均在（0, 1）之間，其值越接近于1，說明其診斷準(zhǔn)確性越好。缺點：當(dāng)比較兩個診斷試驗時，單獨使用靈敏度或特異度，可能出現(xiàn)矛盾。解決辦法：將兩指標(biāo)結(jié)合：Youden指數(shù)、陽性似然比、陰性似然比等例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）

4、425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)醫(yī)生最關(guān)心的問題：醫(yī)生最關(guān)心的問題： 1. 試驗陽性時患病的概率多大？試驗陽性時患病的概率多大？ 2. 試驗陰性時不患病的概率多大？試驗陰性時不患病的概率多

5、大？例例13.2 表13.2 ECG診斷試驗的結(jié)果例例13.2 表13.2 ECG診斷試驗的結(jié)果例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)陽性預(yù)報值與陰性預(yù)報值第三節(jié) ROC曲線 ROC ROC【receiver(relative) operating receiver(relative) operating characteristiccharacteristic的縮寫，譯為的縮寫，譯為“接受者工接受者工作特征作特征”】ROCROC曲線研究歷史曲

6、線研究歷史1950s 雷達(dá)信號觀測能力評價雷達(dá)信號觀測能力評價1960s中期中期 實驗心理學(xué)、心理物理學(xué)實驗心理學(xué)、心理物理學(xué)1970s末與末與1980s初初 診斷醫(yī)學(xué)診斷醫(yī)學(xué)ROC的涵義與起源的涵義與起源診斷試驗：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、診斷試驗：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計模型等檢查。病理學(xué)、統(tǒng)計模型等檢查。重要性：重要性： 1. 循證醫(yī)學(xué)的重要組成部分循證醫(yī)學(xué)的重要組成部分 2. 診斷試驗評價方法可用于：診斷試驗評價方法可用于： 臨床試驗評價 臨床檢驗評價 流行病學(xué)篩查試驗評價 實驗室檢驗評價 統(tǒng)計學(xué)模型評價ROC曲線評價診斷試驗的重要性曲線評價診斷試

7、驗的重要性 靈敏度靈敏度,特異度特異度,假陰性率假陰性率,假陽性率假陽性率Test variable不同不同診斷界值診斷界值時時靈敏度與特異度間的平衡靈敏度與特異度間的平衡(trade off)(trade off)0204060801005060708090100特異度靈敏度百分率（）百分率（）Test variable完美診斷試驗完美診斷試驗0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR無用診斷試驗無用診斷試驗0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR完美與無用的完美與無用的ROC曲線曲線真真陽陽性性率率即即靈

8、靈敏敏度度假陽性率假陽性率 即即 1特異度特異度機率線機率線(chance line)(diagonal reference line)診斷準(zhǔn)確度較低（診斷準(zhǔn)確度較低（ 0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲線下面積（曲線下面積（Area）與診斷準(zhǔn)確度高低）與診斷準(zhǔn)確度高低高 0.90-1.00 = excellent (A)中 0.80-0.90 = good (B) 0.70-0.80 = fair (C)低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F)似然比（似然比（LR）在）

9、在ROC曲線空間的涵義曲線空間的涵義白細(xì)胞計數(shù)診斷白血病白細(xì)胞計數(shù)診斷白血病LR7.5LR0.7LR2.3LR25.0基本概念小結(jié)基本概念小結(jié)lROC曲線反映了靈敏度與特異度間的平衡 (增加靈敏度將降低特異度；增加特異度將降低靈敏度)。 l在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗準(zhǔn)確度越高。 l在ROC曲線空間，如果曲線沿著機會線（45度對角線）越緊密，則試驗準(zhǔn)確度越低。 l在診斷界值（cutpoint）處的正切線的斜率就是該試驗值對應(yīng)的陽性似然比（likelihood ratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方移動，LR+逐漸減小

10、。lROC曲線下面積是重要的試驗準(zhǔn)確度指標(biāo)。 主要任務(wù)：主要任務(wù)：l 計算計算ROC曲線工作點曲線工作點（Coordinate point或或Operating point）（）（FPR, TPR）l 連接相鄰兩點連接相鄰兩點一、一、ROC曲線工作點的計算與曲線繪制曲線工作點的計算與曲線繪制連續(xù)型數(shù)據(jù)的連續(xù)型數(shù)據(jù)的ROC曲線工作點（曲線工作點（TPR，F(xiàn)PR）計算）計算 將這9個數(shù)據(jù)從大到小排列，以前8個數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個四格表表表133 假想的連續(xù)型數(shù)據(jù)假想的連續(xù)型數(shù)據(jù) 將診斷分類數(shù)據(jù)按大到小排序，以前4個分類作為診斷界值

11、，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個四格表，每個四格表對應(yīng)的ROC曲線的工作點見下表。某放射醫(yī)生對某放射醫(yī)生對 109份份 CT影像的分類影像的分類 診 斷 分 類金標(biāo)準(zhǔn)12345合計異常 3 2 2 11 33 51正常 33 6 6 11 2 58 該資料不同診斷界值的該資料不同診斷界值的 FPR和和 TPR值值診斷界值（診斷分類）5432FPR0.03450.22410.32960.4310TPR0.64710.86270.90200.941210011圖圖 有有 序序分分類類資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.

12、81.00.00.20.40.60.81.0FPRTPR 2二、二、ROC曲線下面積的計算曲線下面積的計算lROC曲線下面積曲線下面積 (Area)l 部分部分ROC曲線下的面積曲線下的面積l FPR為某值對應(yīng)的為某值對應(yīng)的TPR值值(一) Hanley 和 McNeil ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率 ),(111jinananjninaZxxnnA jijijijinanananaxxxxxxxx05.01),( AZ的標(biāo)準(zhǔn)誤)(ZASE可采用公式 naZnZaZZZnnAQnAQnAAASE)(1()(1()1()(2221其中，1Q是兩個隨機選擇的異常組

13、觀察值比一個隨機選擇的正常組觀察值都有更大可能被判為異常的概率。2Q是一個隨機選擇的異常組觀察值比兩個隨機選擇的正常組觀察值都有更大可能被判為異常的概率。Mann-Whitney U 統(tǒng)計量統(tǒng)計量Hanley 和 McNeil與Mann-Whitney U 檢驗l由秩和檢驗中的Mann-Whitney U統(tǒng)計量（SPSS等軟件均可計算）可計算ROC曲線下面積l零假設(shè)H0:總體ROC面積0.5的檢驗等價于Mann-Whitney U檢驗Mann-Whitney UMann-Whitney Umax,1znanaAn nn n統(tǒng)計量統(tǒng)計量3330.532(1)()1120.50.5()|(1)()

14、112nanaiinaZZZnaiinaUn nZn nNttNNn nAAZSE An nNttn nNN分子分母同除有SPSS輸出的輸出的ROC面積檢驗面積檢驗P值即為上述值即為上述Z值對應(yīng)的概率值對應(yīng)的概率Hanley 和 McNeil與梯形規(guī)則（trapezoidal rule） l Hanley 和 McNeil法ROC曲線下面積所有曲線下（包括最左側(cè)的三角形）面積之和圖圖 有有 序序分分類類資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR（二）其他ROC曲線下面積計算方法1. 雙正態(tài)法2.

15、有序回歸模型3. 其他模型(如雙Gama法、雙指數(shù)法)2122212111222121. ROC100 1()2.ROC()()2()()()()ZZZZZZZZZZZZAZSE AAAZSEASEArSE ASE ArrAAZSEASEA曲線下面積的（）置信區(qū)間為兩曲線下面積比較檢驗公式：其中 為兩面積間的相關(guān)系數(shù)，令 0,有：l單個連續(xù)型資料（實例1）l單個有序分類資料（實例2）l兩個相關(guān)連續(xù)型資料（實例3）l兩個相關(guān)有序分類資料（實例4）二、二、ROC分析的數(shù)據(jù)類型分析的數(shù)據(jù)類型Test variables采用骨髓診斷作為金標(biāo)準(zhǔn)，對采用骨髓診斷作為金標(biāo)準(zhǔn)，對100例缺鐵性貧血例缺鐵性貧血

16、疑似患者進(jìn)行確診，患該病者為異常組疑似患者進(jìn)行確診，患該病者為異常組(34例例)，未患該病者，未患該病者為正常組為正常組(66例例)。為了考察紅細(xì)胞平均容積（。為了考察紅細(xì)胞平均容積（MCV）診斷）診斷缺鐵性貧血的效果，測得每一個體的缺鐵性貧血的效果，測得每一個體的MCV值如下：值如下：表表 紅紅細(xì)細(xì)胞胞平平均均容容積積骨髓診斷MCV結(jié)果606668697171737474747677777777787879798080818181828283838383838383848484848585868686878888888989899090正常組9191929393939494949496979

17、8 1001035258626567686971727273737475767777異常組7879808081818182838485858688889092 注：資料來自JR Beck, EK Shultz, Arch Pathol Lab Med，1986.State VariableTest Variable實例實例1：MCV診斷缺鐵性貧血診斷缺鐵性貧血圖圖4 4 連續(xù)性資料的兩組頻率分布連續(xù)性資料的兩組頻率分布 0.3 0.2 0.100.10.20.3556065707580859095100105組段上限值異常組頻率正常組頻率State Variable 骨髓診斷骨髓診斷Test

18、Variable MCV結(jié)果結(jié)果0正常組正常組1異常組異常組Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果試驗測如果試驗測量值越小患量值越小患病的可能性病的可能性越大時應(yīng)改越大時應(yīng)改變默認(rèn)的變默認(rèn)的OptionsSPSS輸出結(jié)果Case Processing SummaryCase Processing Summary3466骨髓診斷PositiveaNegativeValid N(listwise)Smaller values of the test result variable(s) indicatestronger eviden

19、ce for a positive actual state.The positive actual state is 1.a. SPSS輸出結(jié)果SPSS輸出結(jié)果Area Under the CurveArea Under the CurveTest Result Variable(s): mcv結(jié)果.717.053.000.614.820AreaStd. ErroraAsymptoticSig.bLower BoundUpper BoundAsymptotic 95% ConfidenceIntervalThe test result variable(s): mcv結(jié)果 has at le

20、ast one tie between thepositive actual state group and the negative actual state group. Statisticsmay be biased.Under the nonparametric assumptiona. Null hypothesis: true area = 0.5b. SPSS輸出結(jié)果MCVMCV診斷缺鐵性貧血的診斷缺鐵性貧血的ROCROC曲線曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機率線工作點某放射醫(yī)生將已知實際分類的影像，某放射醫(yī)生將已知實際分類的影像，按肯定正常、可能正常、疑似異常、可能異常、肯按肯定正常、可能正常、疑似異常、可能異常、肯定異常，分別分為定異常，分別分為1、2、3、4、5五類。五類。表表 單個診斷試驗的有序分類資料單個診斷試驗的有序分類資料分類12345合計正常組 35 68 49 29 12 193= nn異常組 2 3 8 16 12 41= naState VariableTest VariableFrequency Variable圖圖6 6 單個有序分類資料的兩組頻率分布單個有序分類資料的兩組頻率分布-0.5-0.4-0.