診斷試驗的評價和roc分析備課講稿

1、診斷試驗的評價和診斷試驗的評價和ROC分析分析一、診斷試驗的研究設(shè)計隨機對照重復倫理盲法試驗設(shè)計中的要素一、處理因素二、受試對象三、試驗效應臨床試驗避免偏倚的技巧隨機對照重復盲法臨床試驗資料的數(shù)據(jù)集臨床試驗資料的數(shù)據(jù)集 分析應包括在知情同意的基礎(chǔ)上，愿意參加試驗的分析應包括在知情同意的基礎(chǔ)上，愿意參加試驗的所有隨機化所有隨機化后的受試者后的受試者，也即原計劃好處理（治療）的受試者都需進入分析，也即原計劃好處理（治療）的受試者都需進入分析，而不是根據(jù)實際上完成的受試者。而不是根據(jù)實際上完成的受試者。 按此原則所作的分析是按此原則所作的分析是最好的分析最好的分析，研究在病人知情同意的前，研究在病人

2、知情同意的前提下，應該考慮參與者的依從性，制定合理的納入排除標準，要求提下，應該考慮參與者的依從性，制定合理的納入排除標準，要求每一個隨機分到試驗組或?qū)φ战M的受試者都應該盡量完整地隨訪，每一個隨機分到試驗組或?qū)φ战M的受試者都應該盡量完整地隨訪，記錄研究結(jié)果如療效、安全性評價指標以及脫離原因。同時，要考記錄研究結(jié)果如療效、安全性評價指標以及脫離原因。同時，要考慮參與者和不愿意參與者的差異，以及給研究結(jié)果帶來的偏倚。慮參與者和不愿意參與者的差異，以及給研究結(jié)果帶來的偏倚。 意向性分析（意向性分析（Intention to treatIntention to treat）全分析集（全分析集（full

3、 analysis setfull analysis set， FASFAS）安全性評價（安全性評價（safety setsafety set）臨床有效性的統(tǒng)計學評價=0為什么要學習診斷試驗的評價為什么要學習診斷試驗的評價選擇最科學合理的診斷方法，循證選擇最科學合理的診斷方法，循證醫(yī)學的重要內(nèi)容醫(yī)學的重要內(nèi)容根據(jù)實際需要，提供具有優(yōu)勢的診根據(jù)實際需要，提供具有優(yōu)勢的診斷試驗（試劑、藥物、方法）斷試驗（試劑、藥物、方法）金標準的選擇 最為可靠的診斷標準！ 二、診斷試驗的評價指標表表13.1 13.1 診斷資料診斷資料22四格表四格表 金標準（D） 診 斷 結(jié) 果(T) 病例（D） 對照(D) 合

4、 計 TP(真陽性) FP(假陽性) TP+FP FN(假陰性) TN(真陰性) FN+TN 陽 性（T） 陰 性（T） 合計 TP+FN FP+TN N 陽性預測值公式： )()|()()|()()|()|(DPDTPDPDTPDPDTPTDP， )()|()()|()()|()|(DPDTPDPDTPDPDTPTDPPV診斷實驗的靈敏度和特異度不會受到患病率的影響，診斷實驗的靈敏度和特異度不會受到患病率的影響，但是預測值指標會受到患病率高低的影響。但是預測值指標會受到患病率高低的影響。陽性預測值的應用 例例13.1 以往調(diào)查得知，某人群2000名成年男子中有1人患有冠心病。采用心電圖（el

5、ectrocardiogram，ECG）作為診斷工具，金標準確診的冠心病病例組中98為ECG陽性，未患該病的對照組中1為ECG陽性，問ECG診斷為陽性時成年男子實際患冠心病的概率是多少？ 解：已知)(DP0005.020001，98.0%98)|(DTP 01.0%1)|(DTP，9995.00005.01)(1)(DPDP 根據(jù)（13.1）式有： (|) ()(|)(|) ()(|) ()0.980.00050.04670.980.00050.01 0.9995P TDP DP DTP TDP DP TDP D 但在臨床上，ECG僅用于懷疑患有冠心病者，)(DP10時，得到)|(TDP91.

6、59 因此ECG用于人群效果較差，但用于臨床診斷價值較高。 診斷試驗的評價指標二、診斷試驗中常用的評價指標：靈敏度、特異二、診斷試驗中常用的評價指標：靈敏度、特異度、誤診率、漏診率度、誤診率、漏診率 三、預測指標：陽性預測值、陰性預測值三、預測指標：陽性預測值、陰性預測值 四、診斷試驗的綜合評價指標：正確率、四、診斷試驗的綜合評價指標：正確率、Youden指數(shù)、比數(shù)積、陽性似然比、陰性似然比指數(shù)、比數(shù)積、陽性似然比、陰性似然比診斷試驗中常用的評價指標例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)

7、171（TN）275520180700(N)常用指標有（一）正確百分率、（二）靈敏度、（三）特異度、常用指標有（一）正確百分率、（二）靈敏度、（三）特異度、（四）（四）Youden指數(shù)、（五）陽性似然比、（六）陰性似然比、指數(shù)、（五）陽性似然比、（六）陰性似然比、（七）陽性預報值、（七）陽性預報值、 （八）陰性預報值。（八）陰性預報值。例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合

8、計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)靈敏度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，其取值范圍均在（0, 1）之間，其值越接近于1，說明其診斷準確性越好。缺點：當比較兩個診斷試驗時，單獨使用靈敏度或特異度，可能出現(xiàn)矛盾。解決辦法：將兩指標結(jié)合：Youden指數(shù)、陽性似然比、陰性似然比等例例13.2 表13.2 EC

9、G診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)醫(yī)生最關(guān)心的問題：醫(yī)生最關(guān)心的問題： 1. 試驗陽性時患病的

10、概率多大？試驗陽性時患病的概率多大？ 2. 試驗陰性時不患病的概率多大？試驗陰性時不患病的概率多大？ 3. 如何選擇合適的診斷界值，做出合理如何選擇合適的診斷界值，做出合理的診斷，使患者獲得最好的處理的診斷，使患者獲得最好的處理例例13.2 表13.2 ECG診斷試驗的結(jié)果例例13.2 表13.2 ECG診斷試驗的結(jié)果例例13.2 表13.2 ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合 計出現(xiàn)不出現(xiàn)陽 性陰 性合計416(TP) 9（FP）425104(FN)171（TN）275520180700(N)陽性預報值與陰性預報值五、 截斷點的選擇與ROC曲線 在進行診斷臨界點選擇的時候，需要綜合

11、考在進行診斷臨界點選擇的時候，需要綜合考慮靈敏度和特異度，選擇最佳診斷界值。慮靈敏度和特異度，選擇最佳診斷界值。ROC曲線提供了很好的臨界點選擇工具。曲線提供了很好的臨界點選擇工具。 ROC ROC【receiver(relative) operating receiver(relative) operating characteristiccharacteristic的縮寫，譯為的縮寫，譯為“接受者工接受者工作特征作特征”】ROCROC曲線研究歷史曲線研究歷史1950s 雷達信號觀測能力評價雷達信號觀測能力評價1960s中期中期 實驗心理學、心理物理學實驗心理學、心理物理學1970s末與末與

12、1980s初初 診斷醫(yī)學診斷醫(yī)學ROC的涵義與起源的涵義與起源診斷試驗：泛指血液生化、影像學、免疫學、細胞學、診斷試驗：泛指血液生化、影像學、免疫學、細胞學、病理學、統(tǒng)計模型等檢查。病理學、統(tǒng)計模型等檢查。重要性：重要性： 1. 循證醫(yī)學的重要組成部分循證醫(yī)學的重要組成部分 2. 診斷試驗評價方法可用于：診斷試驗評價方法可用于： 臨床試驗評價 臨床檢驗評價 流行病學篩查試驗評價 實驗室檢驗評價 統(tǒng)計學模型評價ROC曲線評價診斷試驗的重要性曲線評價診斷試驗的重要性 靈敏度靈敏度,特異度特異度,假陰性率假陰性率,假陽性率假陽性率Test variable 醫(yī)學診斷試驗多數(shù)不能將病例和對照完全分開，

13、而只有將二者100%的分開時，才能夠獲得100%正確的診斷。不同不同診斷界值診斷界值時時靈敏度與特異度間的平衡靈敏度與特異度間的平衡(trade off)(trade off)0204060801005060708090100特異度靈敏度百分率（）百分率（）Test variable完美診斷試驗完美診斷試驗0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR無用診斷試驗無用診斷試驗0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR完美與無用的完美與無用的ROC曲線曲線真真陽陽性性率率即即靈靈敏敏度度假陽性率假陽性率 即即 1特異

14、度特異度機率線機率線(chance line)(diagonal reference line)診斷準確度較低（診斷準確度較低（ 0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲線下面積（曲線下面積（Area）與診斷準確度高低）與診斷準確度高低高 0.90-1.00 = excellent (A)中 0.80-0.90 = good (B) 0.70-0.80 = fair (C)低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F)似然比（似然比（LR）在）在ROC曲線空間的涵義曲線空間的涵義白細

15、胞計數(shù)診斷白血病白細胞計數(shù)診斷白血病LR7.5LR0.7LR2.3LR25.0基本概念小結(jié)基本概念小結(jié)lROC曲線反映了靈敏度與特異度間的平衡 (增加靈敏度將降低特異度；增加特異度將降低靈敏度)。 l在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗準確度越高。 l在ROC曲線空間，如果曲線沿著機會線（45度對角線）越緊密，則試驗準確度越低。 l在診斷界值（cutpoint）處的正切線的斜率就是該試驗值對應的陽性似然比（likelihood ratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方移動，LR+逐漸減小。lROC曲線下面積是重要的試驗準確度指

16、標。 主要任務(wù)：主要任務(wù)：l計算計算ROC曲線工作點曲線工作點（Coordinate point或或Operating point）（）（FPR, TPR）l連接相鄰兩點連接相鄰兩點一、一、ROC曲線工作點的計算與曲線繪制曲線工作點的計算與曲線繪制連續(xù)型數(shù)據(jù)的連續(xù)型數(shù)據(jù)的ROC曲線工作點（曲線工作點（TPR，F(xiàn)PR）計算）計算 將這9個數(shù)據(jù)從大到小排列，以前8個數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個四格表表表133 假想的連續(xù)型數(shù)據(jù)假想的連續(xù)型數(shù)據(jù) 將診斷分類數(shù)據(jù)按大到小排序，以前4個分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性

17、。這樣，可整理出4個四格表，每個四格表對應的ROC曲線的工作點見下表。某放射醫(yī)生對某放射醫(yī)生對 109份份 CT影像的分類影像的分類 診 斷 分 類金標準12345合計異常 3 2 2 11 33 51正常 33 6 6 11 2 58 該資料不同診斷界值的該資料不同診斷界值的 FPR和和 TPR值值診斷界值（診斷分類）5432FPR0.03450.22410.32960.4310TPR0.64710.86270.90200.9412圖圖 有有 序序分分類類資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTP

18、R 2二、二、ROC曲線下面積的計算曲線下面積的計算lROC曲線下面積曲線下面積 (Area)l 部分部分ROC曲線下的面積曲線下的面積l FPR為某值對應的為某值對應的TPR值值(一) Hanley 和 McNeil ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率 ),(111jinananjninaZxxnnA jijijijinanananaxxxxxxxx05.01),( AZ的標準誤)(ZASE可采用公式 naZnZaZZZnnAQnAQnAAASE)(1()(1()1 ()(2221其中，1Q是兩個隨機選擇的異常組觀察值比一個隨機選擇的正常組觀察值都有更大可能被判為

19、異常的概率。2Q是一個隨機選擇的異常組觀察值比兩個隨機選擇的正常組觀察值都有更大可能被判為異常的概率。Mann-Whitney U 統(tǒng)計量統(tǒng)計量Hanley 和 McNeil與Mann-Whitney U 檢驗l由秩和檢驗中的Mann-Whitney U統(tǒng)計量（SPSS等軟件均可計算）可計算ROC曲線下面積l零假設(shè)H0:總體ROC面積0.5的檢驗等價于Mann-Whitney U檢驗Mann-Whitney UMann-Whitney Umax,1znanaAn nn n統(tǒng)計量統(tǒng)計量3330.532(1)()1120.50.5()|(1)()112nanaiinaZZZnaiinaUn nZn

20、 nNttNNn nAAZSE An nNttn nNN分子分母同除有SPSS輸出的輸出的ROC面積檢驗面積檢驗P值即為上述值即為上述Z值對應的概率值對應的概率Hanley 和 McNeil與梯形規(guī)則（trapezoidal rule） lHanley 和 McNeil法ROC曲線下面積所有曲線下（包括最左側(cè)的三角形）面積之和圖圖 有有 序序分分類類資資料料的的未未光光滑滑R R O O C C 曲曲線線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR（二）其他ROC曲線下面積計算方法1. 雙正態(tài)法2. 有序回歸模型3. 其他模型(如雙Gama法、雙指數(shù)法)

21、2122212111222121. ROC100 1()2.ROC()()2()()()()ZZZZZZZZZZZZAZSE AAAZSEASEArSE ASE ArrAAZSEASEA曲線下面積的（）置信區(qū)間為兩曲線下面積比較檢驗公式：其中 為兩面積間的相關(guān)系數(shù)，令 0,有：l單個連續(xù)型資料（實例1）l單個有序分類資料（實例2）l兩個相關(guān)連續(xù)型資料（實例3）l兩個相關(guān)有序分類資料（實例4）二、二、ROC分析的數(shù)據(jù)類型分析的數(shù)據(jù)類型Test variables采用骨髓診斷作為金標準，對采用骨髓診斷作為金標準，對100例缺鐵性貧血例缺鐵性貧血疑似患者進行確診，患該病者為異常組疑似患者進行確診，患

22、該病者為異常組(34例例)，未患該病者，未患該病者為正常組為正常組(66例例)。為了考察紅細胞平均容積（。為了考察紅細胞平均容積（MCV）診斷）診斷缺鐵性貧血的效果，測得每一個體的缺鐵性貧血的效果，測得每一個體的MCV值如下：值如下：表表 紅細胞平均容積紅細胞平均容積骨髓診斷MCV 結(jié)果606668697171737474747677777777787879798080818181828283838383838383848484848585868686878888888989899090正常組919192939393949494949697981001035258626567686971727

23、273737475767777異常組7879808081818182838485858688889092 注：資料來自 JR Beck, EK Shultz, Arch Pathol Lab Med，1986.State VariableTest Variable實例實例1：MCV診斷缺鐵性貧血診斷缺鐵性貧血圖圖4 4 連續(xù)性資料的兩組頻率分布連續(xù)性資料的兩組頻率分布 0.3 0.2 0.100.10.20.3556065707580859095100105組段上限值異常組頻率正常組頻率State Variable 骨髓診斷骨髓診斷Test Variable MCV結(jié)果結(jié)果0正常組正常組1異常

24、組異常組Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果試驗測如果試驗測量值越小患量值越小患病的可能性病的可能性越大時應改越大時應改變默認的變默認的OptionsSPSS輸出結(jié)果Case Processing SummaryCase Processing Summary3466骨髓診斷PositiveaNegativeValid N(listwise)Smaller values of the test result variable(s) indicatestronger evidence for a positive actual s

25、tate.The positive actual state is 1.a. SPSS輸出結(jié)果SPSS輸出結(jié)果Area Under the CurveArea Under the CurveTest Result Variable(s): mcv結(jié)果.717.053.000.614.820AreaStd. ErroraAsymptoticSig.bLower BoundUpper BoundAsymptotic 95% ConfidenceIntervalThe test result variable(s): mcv結(jié)果 has at least one tie between thepos

26、itive actual state group and the negative actual state group. Statisticsmay be biased.Under the nonparametric assumptiona. Null hypothesis: true area = 0.5b. SPSS輸出結(jié)果MCVMCV診斷缺鐵性貧血的診斷缺鐵性貧血的ROCROC曲線曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機率線工作點實例實例2某放射醫(yī)生將已知實際分類的影像，某放射醫(yī)生將已知實際分類的影像，按肯定正常、可能正常、疑似異

27、常、可能異常、肯按肯定正常、可能正常、疑似異常、可能異常、肯定異常，分別分為定異常，分別分為1、2、3、4、5五類。五類。表表 單個診斷試驗的有序分類資料單個診斷試驗的有序分類資料分類12345合計正常組 35 68 49 29 12 193= nn異常組 2 3 8 16 12 41= naState VariableTest VariableFrequency Variable圖圖6 6 單個有序分類資料的兩組頻率分布單個有序分類資料的兩組頻率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345 分類異常組頻率正常組頻率State Variable 組別組

28、別Test Variable 診斷分類診斷分類0正常組正常組1異常組異常組Value of State Variable：1SPSS的的GraphsROC Curve界面界面如果試驗測量值越小患病的可能性越大時應改變默認的Options在調(diào)用在調(diào)用Graphs前，必須先用前，必須先用DataWeight Casesby: 頻數(shù)頻數(shù)圖圖7 7 放射醫(yī)生影像分類的放射醫(yī)生影像分類的ROCROC曲線曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機率線工作點診斷實驗的正確應用1. 以金標準為對照的基礎(chǔ)2. 盲法原則3. 研究對象選擇要具有代表性4. 對試

29、驗對象要有清楚的說明5. 應說明診斷試驗的實用性6. 需要進行試驗的方法要有應用前景以金標準為對照的基礎(chǔ)金標準金標準疾病診斷的準確標準腫瘤的病理診斷高血壓病人的血壓糖尿病人的血糖 對于目前沒有診斷金標準的疾病，需要采用傳統(tǒng)上認為最為準確的方法作為對照，甚至需要采用不能常規(guī)使用的一些能夠準確診斷出疾病的方法來進行對比。盲法原則雙盲原則單盲原則 研究對象選擇要具有代表性 選用樣本應該和將來診斷方法使用的目標人群一致。對試驗對象要有清楚的說明 在研究設(shè)計階段，考慮所試驗的方法將來使用的目標人群，達到準確檢驗方法的診斷效果的目標，需要準確地制定研究的納入和排除標準。 比如納入的病人是否有年齡、性別限制

30、 比如納入的病人是否能夠有其它疾病 作為健康組病人應該如何選擇 所選擇的人群應該和將來方法應用的目標人群盡量一致。應說明診斷試驗的實用性主要是與現(xiàn)有金標準相比的優(yōu)勢診斷的靈敏度診斷的特異度方法的成本方法的可接受程度需要進行試驗的方法要有應用前景醫(yī)生患者醫(yī)療費用提供者診斷試驗的串聯(lián)診斷試驗的并聯(lián)Data sample13_5;Do group=1,0;Do test_val=1 to 5;Input freq ;Output;end;end;Cards;3 2 2 11 3333 6 6 11 2;Proc logistic descending;Model group=test_val/Sca

31、le=none outroc=roc1;Freq freq;symbol1 i=join v=none c=blue;proc gplot data=roc1;title ROC Curve sample13_5;plot _sensit_*_1mspec_=1 / vaxis=0 to 1 by .1 cframe=ligr;run;Proc print;Run; The LOGISTIC Procedure Model Information Data Set WORK.SAMPLE13_5 Response Variable group Number of Response Levels

32、 2 Frequency Variable freq Model binary logit Optimization Technique Fishers scoring Number of Observations Read 10 Number of Observations Used 10 Sum of Frequencies Read 109 Sum of Frequencies Used 109 Response Profile Ordered Total Value group Frequency 1 1 51 2 0 58 Probability modeled is group=1

33、. Model Convergence Status Convergence criterion (GCONV=1E-8) satisfied. Model Fit Statistics Intercept Intercept and Criterion Only Covariates AIC 152.656 94.735 SC 155.348 100.117 -2 Log L 150.656 90.735 Testing Global Null Hypothesis: BETA=0 Test Chi-Square DF Pr ChiSq Likelihood Ratio 59.9217 1 .0001 Score 51.6100 1 .0001 Wald 34.1060 1 ChiSq Intercept 1 -3.9137 0.7510 27.1547 .0001 test_val 1 1.1426 0.1957 34.1060 ChiSq Likelihood Ratio 5.4607 1 0.0194 Score 4.4156 1 0.0356 Wald 2.6937 1 0.1007 The LOGISTIC Procedure Analysis of Maximum Likelihood Estimates Standard Wald Param