診斷試驗的評價與ROC分析課件

臨床試驗的類型I期臨床試驗：人體藥物的耐受程度，藥物在人體中的代謝情況。參加試驗的人員是健康人或病人（20左右）II期臨床試驗：藥效、安全性的初步評價?；颊邊⒓釉囼灒?00例以上）III期臨床試驗：藥效與安全性的確認(rèn)階段，我國法規(guī)要求試驗組人數(shù)300以上，總?cè)藬?shù)400-500人IV期臨床試驗：上市后的臨床研究。更大范圍使用后的療效與安全性臨床試驗的類型I期臨床試驗：人體藥物的耐受程度，藥物在人體中一、診斷試驗的研究設(shè)計隨機對照重復(fù)倫理盲法試驗設(shè)計中的要素一、處理因素二、受試對象三、試驗效應(yīng)一、診斷試驗的研究設(shè)計隨機臨床試驗避免偏倚的技巧隨機對照重復(fù)盲法臨床試驗避免偏倚的技巧隨機臨床試驗資料的數(shù)據(jù)集

分析應(yīng)包括在知情同意的基礎(chǔ)上，愿意參加試驗的所有隨機化后的受試者，也即原計劃好處理（治療）的受試者都需進入分析，而不是根據(jù)實際上完成的受試者。按此原則所作的分析是最好的分析，研究在病人知情同意的前提下，應(yīng)該考慮參與者的依從性，制定合理的納入排除標(biāo)準(zhǔn)，要求每一個隨機分到試驗組或?qū)φ战M的受試者都應(yīng)該盡量完整地隨訪，記錄研究結(jié)果如療效、安全性評價指標(biāo)以及脫離原因。同時，要考慮參與者和不愿意參與者的差異，以及給研究結(jié)果帶來的偏倚。

意向性分析（Intentiontotreat）全分析集（fullanalysisset，F(xiàn)AS）安全性評價（safetyset）臨床試驗資料的數(shù)據(jù)集分析應(yīng)包括在知情同意的基礎(chǔ)上臨床有效性的統(tǒng)計學(xué)評價臨床有效性的統(tǒng)計學(xué)評價為什么要學(xué)習(xí)診斷試驗的評價選擇最科學(xué)合理的診斷方法，循證醫(yī)學(xué)的重要內(nèi)容根據(jù)實際需要，提供具有優(yōu)勢的診斷試驗（試劑、藥物、方法）為什么要學(xué)習(xí)診斷試驗的評價選擇最科學(xué)合理的診斷方法，循證醫(yī)學(xué)金標(biāo)準(zhǔn)的選擇最為可靠的診斷標(biāo)準(zhǔn)！

金標(biāo)準(zhǔn)的選擇最為可靠的診斷標(biāo)準(zhǔn)！二、診斷試驗的評價指標(biāo)診斷實驗的靈敏度和特異度不會受到患病率的影響，但是預(yù)測值指標(biāo)會受到患病率高低的影響。二、診斷試驗的評價指標(biāo)診斷實驗的靈敏度和特異度不會受到患病率陽性預(yù)測值的應(yīng)用陽性預(yù)測值的應(yīng)用診斷試驗的評價指標(biāo)二、診斷試驗中常用的評價指標(biāo)：靈敏度、特異度、誤診率、漏診率三、預(yù)測指標(biāo)：陽性預(yù)測值、陰性預(yù)測值四、診斷試驗的綜合評價指標(biāo)：正確率、Youden指數(shù)、比數(shù)積、陽性似然比、陰性似然比診斷試驗的評價指標(biāo)二、診斷試驗中常用的評價指標(biāo)：靈敏度、特異診斷試驗中常用的評價指標(biāo)例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異度、（四）Youden指數(shù)、（五）陽性似然比、（六）陰性似然比、（七）陽性預(yù)報值、（八）陰性預(yù)報值。診斷試驗中常用的評價指標(biāo)例13.2表13.2例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果診斷試驗的評價與ROC分析課件靈敏度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，其取值范圍均在（0,1）之間，其值越接近于1，說明其診斷準(zhǔn)確性越好。缺點：當(dāng)比較兩個診斷試驗時，單獨使用靈敏度或特異度，可能出現(xiàn)矛盾。解決辦法：將兩指標(biāo)結(jié)合：Youden指數(shù)、陽性似然比、陰性似然比等靈敏度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果醫(yī)生最關(guān)心的問題：

1.試驗陽性時患病的概率多大？

2.試驗陰性時不患病的概率多大？3.如何選擇合適的診斷界值，做出合理的診斷，使患者獲得最好的處理醫(yī)生最關(guān)心的問題：

1.試驗陽性時患病的概率多大？例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果陽性預(yù)報值與陰性預(yù)報值陽性預(yù)報值與陰性預(yù)報值五、截斷點的選擇與ROC曲線五、截斷點的選擇與ROC曲線在進行診斷臨界點選擇的時候，需要綜合考慮靈敏度和特異度，選擇最佳診斷界值。ROC曲線提供了很好的臨界點選擇工具。在進行診斷臨界點選擇的時候，需要綜合考慮靈敏度和特異度ROC【receiver(relative)operatingcharacteristic的縮寫，譯為“接受者工作特征”】ROC曲線研究歷史1950’s雷達信號觀測能力評價1960’s中期實驗心理學(xué)、心理物理學(xué)1970’s末與1980’s初診斷醫(yī)學(xué)ROC的涵義與起源ROC【receiver(relative)op診斷試驗：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計模型等檢查。重要性：1.循證醫(yī)學(xué)的重要組成部分

2.診斷試驗評價方法可用于：臨床試驗評價臨床檢驗評價流行病學(xué)篩查試驗評價實驗室檢驗評價統(tǒng)計學(xué)模型評價……ROC曲線評價診斷試驗的重要性診斷試驗：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計

靈敏度,特異度,假陰性率,假陽性率Testvariable靈敏度,特異度,假陰性率,假陽性率Testvariabl醫(yī)學(xué)診斷試驗多數(shù)不能將病例和對照完全分開，而只有將二者100%的分開時，才能夠獲得100%正確的診斷。診斷試驗的評價與ROC分析課件不同診斷界值時

靈敏度與特異度間的平衡(tradeoff)0204060801005060708090100特異度靈敏度百分率（％）Testvariable不同診斷界值時

靈敏度與特異度間的平衡(tradeoff)完美與無用的ROC曲線真陽性率即靈敏度假陽性率即1－特異度機率線(chanceline)

(diagonalreferenceline)完美與無用的ROC曲線真陽性率假陽性率即1－特異度診斷準(zhǔn)確度較低（<0.7）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.664A＝0.830診斷準(zhǔn)確度較高（>0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.938ROC曲線下面積（Area）與診斷準(zhǔn)確度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)診斷準(zhǔn)確度較低（<0.7）0.00.20.40.60.81.似然比（LR）在ROC曲線空間的涵義白細(xì)胞計數(shù)診斷白血病LR＝7.5LR＝0.7LR＝2.3LR＝25.0似然比（LR）在ROC曲線空間的涵義白細(xì)胞計數(shù)診斷白血病LR基本概念小結(jié)ROC曲線反映了靈敏度與特異度間的平衡(增加靈敏度將降低特異度；增加特異度將降低靈敏度)。在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗準(zhǔn)確度越高。在ROC曲線空間，如果曲線沿著機會線（45度對角線）越緊密，則試驗準(zhǔn)確度越低。在診斷界值（cutpoint）處的正切線的斜率就是該試驗值對應(yīng)的陽性似然比（likelihoodratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方移動，LR+逐漸減小。ROC曲線下面積是重要的試驗準(zhǔn)確度指標(biāo)?；靖拍钚〗Y(jié)ROC曲線反映了靈敏度與特異度間的平衡(增加靈主要任務(wù)：計算ROC曲線工作點（Coordinatepoint或Operatingpoint）（FPR,TPR）連接相鄰兩點一、ROC曲線工作點的計算與曲線繪制主要任務(wù)：一、ROC曲線工作點的計算與曲線繪制連續(xù)型數(shù)據(jù)的

ROC曲線工作點（TPR，F(xiàn)PR）計算

將這9個數(shù)據(jù)從大到小排列，以前8個數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個四格表表13－3假想的連續(xù)型數(shù)據(jù)連續(xù)型數(shù)據(jù)的

ROC曲線工作點（TPR，F(xiàn)PR）計算診斷試驗的評價與ROC分析課件有序分類數(shù)據(jù)的

ROC曲線工作點（TPR，F(xiàn)PR）計算

將診斷分類數(shù)據(jù)按大到小排序，以前4個分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個四格表，每個四格表對應(yīng)的ROC曲線的工作點見下表。有序分類數(shù)據(jù)的

ROC曲線工作點（TPR，F(xiàn)PR）計算22二、ROC曲線下面積的計算ROC曲線下面積(Area)部分ROC曲線下的面積FPR為某值對應(yīng)的TPR值二、ROC曲線下面積的計算ROC曲線下面積(Area)(一)

Hanley和McNeil非參數(shù)法

ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率Mann-WhitneyU統(tǒng)計量(一)Hanley和McNeil非參數(shù)法Hanley和McNeil法ROC曲線下面積

與Mann-WhitneyU

檢驗

由秩和檢驗中的Mann-WhitneyU統(tǒng)計量（SPSS等軟件均可計算）可計算ROC曲線下面積零假設(shè)H0:總體ROC面積θ＝0.5的檢驗等價于Mann-WhitneyU檢驗SPSS輸出的ROC面積檢驗P值即為上述Z值對應(yīng)的概率Hanley和McNeil法ROC曲線下面積

與MannHanley和McNeil法ROC曲線下面積

與梯形規(guī)則（trapezoidalrule）

Hanley和McNeil法ROC曲線下面積等于所有曲線下梯形（包括最左側(cè)的三角形）面積之和Hanley和McNeil法ROC曲線下面積

與梯形規(guī)則（二）其他ROC曲線下面積計算方法1.雙正態(tài)法2.有序回歸模型3.其他模型(如雙Gama法、雙指數(shù)法)（二）其他ROC曲線下面積計算方法1.雙正態(tài)法三、ROC曲線下面積的假設(shè)檢驗三、ROC曲線下面積的假設(shè)檢驗單個連續(xù)型資料（實例1）單個有序分類資料（實例2）兩個相關(guān)連續(xù)型資料（實例3）兩個相關(guān)有序分類資料（實例4）二、ROC分析的數(shù)據(jù)類型Testvariables單個連續(xù)型資料（實例1）二、ROC分析的數(shù)據(jù)類型Testv實例1：采用骨髓診斷作為金標(biāo)準(zhǔn)，對100例缺鐵性貧血疑似患者進行確診，患該病者為異常組(34例)，未患該病者為正常組(66例)。為了考察紅細(xì)胞平均容積（MCV）診斷缺鐵性貧血的效果，測得每一個體的MCV值如下：StateVariableTestVariable實例1：采用骨髓診斷作為金標(biāo)準(zhǔn)，對100例缺鐵性貧血疑似患者實例1：MCV診斷缺鐵性貧血圖4

連續(xù)性資料的兩組頻率分布0.30.20.100.10.20.3556065707580859095100105組段上限值異常組頻率實例1：MCV診斷缺鐵性貧血圖4連續(xù)性資料的兩組頻率分布實例1的SPSS輸入格式StateVariable

＝骨髓診斷TestVariable

＝MCV結(jié)果0＝正常組

1＝異常組ValueofStateVariable：1實例1的SPSS輸入格式StateVariableTestSPSS的GraphsROCCurve界面如果試驗測量值越小患病的可能性越大時應(yīng)改變默認(rèn)的

Options…SPSS的GraphsROCCurve界面如果試驗測量值SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果SPSS輸出結(jié)果MCV診斷缺鐵性貧血的ROC曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機率線工作點MCV診斷缺鐵性貧血的ROC曲線0.00.20.40.60.實例2：某放射醫(yī)生將已知實際分類的影像，按肯定正常、可能正常、疑似異常、可能異常、肯定異常，分別分為1、2、3、4、5五類。StateVariableTestVariableFrequencyVariable實例2：某放射醫(yī)生將已知實際分類的影像，按肯定正常、可能正常實例2：放射醫(yī)生影像分類圖6

單個有序分類資料的兩組頻率分布-0.5-0.4-0.3-0.2-0.100.10.20.30.40.512345分類異常組頻率實例2：放射醫(yī)生影像分類圖6單個有序分類資料的兩組頻率分實例2的SPSS輸入格式StateVariable＝組別TestVariable

＝診斷分類0＝正常組

1＝異常組ValueofStateVariable：1實例2的SPSS輸入格式StateVariable＝SPSS的GraphsROCCurve界面如果試驗測量值越小患病的可能性越大時應(yīng)改變默認(rèn)的

Options…在調(diào)用Graphs前，必須先用DataWeightCases…by…:頻數(shù)SPSS的GraphsROCCurve界面如果試驗測量值圖7放射醫(yī)生影像分類的ROC曲線0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR雙正態(tài)機率線工作點圖7放射醫(yī)生影像分類的ROC曲線0.00.20.40.60診斷實驗的正確應(yīng)用1.以金標(biāo)準(zhǔn)為對照的基礎(chǔ)2.盲法原則3.研究對象選擇要具有代表性4.對試驗對象要有清楚的說明5.應(yīng)說明診斷試驗的實用性6.需要進行試驗的方法要有應(yīng)用前景診斷實驗的正確應(yīng)用1.以金標(biāo)準(zhǔn)為對照的基礎(chǔ)以金標(biāo)準(zhǔn)為對照的基礎(chǔ)

金標(biāo)準(zhǔn)疾病診斷的準(zhǔn)確標(biāo)準(zhǔn)腫瘤的病理診斷高血壓病人的血壓糖尿病人的血糖對于目前沒有診斷金標(biāo)準(zhǔn)的疾病，需要采用傳統(tǒng)上認(rèn)為最為準(zhǔn)確的方法作為對照，甚至需要采用不能常規(guī)使用的一些能夠準(zhǔn)確診斷出疾病的方法來進行對比。以金標(biāo)準(zhǔn)為對照的基礎(chǔ)

金標(biāo)準(zhǔn)盲法原則

雙盲原則單盲原則盲法原則

研究對象選擇要具有代表性

選用樣本應(yīng)該和將來診斷方法使用的目標(biāo)人群一致。研究對象選擇要具有代表性

選用樣本應(yīng)該和將來診斷方法對試驗對象要有清楚的說明

在研究設(shè)計階段，考慮所試驗的方法將來使用的目標(biāo)人群，達到準(zhǔn)確檢驗方法的診斷效果的目標(biāo)，需要準(zhǔn)確地制定研究的納入和排除標(biāo)準(zhǔn)。比如納入的病人是否有年齡、性別限制比如納入的病人是否能夠有其它疾病作為健康組病人應(yīng)該如何選擇所選擇的人群應(yīng)該和將來方法應(yīng)用的目標(biāo)人群盡量一致。對試驗對象要有清楚的說明

在研究設(shè)計階段，考慮所試驗的應(yīng)說明診斷試驗的實用性

主要是與現(xiàn)有金標(biāo)準(zhǔn)相比的優(yōu)勢診斷的靈敏度診斷的特異度方法的成本方法的可接受程度應(yīng)說明診斷試驗的實用性

主要是與現(xiàn)有金標(biāo)準(zhǔn)相比的優(yōu)勢需要進行試驗的方法要有應(yīng)用前景

醫(yī)生患者醫(yī)療費用提供者需要進行試驗的方法要有應(yīng)用前景

醫(yī)生診斷試驗的串聯(lián)診斷試驗的并聯(lián)診斷試驗的串聯(lián)Datasample13_5;Dogroup=1,0;Dotest_val=1to5;Inputfreq;Output;end;end;Cards;32211333366112;Proc

logisticdescending;Modelgroup=test_val/Scale=noneoutroc=roc1;Freqfreq;symbol1i=joinv=nonec=blue;proc

gplotdata=roc1;title'ROCCurvesample13_5';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Proc

print;Run;Datasample13_5;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_5ResponseVariablegroupNumberofResponseLevels2FrequencyVariablefreqModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead10NumberofObservationsUsed10SumofFrequenciesRead109SumofFrequenciesUsed109ResponseProfileOrderedTotalValuegroupFrequency

1151

2058Probabilitymodeledisgroup=1.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC152.65694.735SC155.348100.117-2LogL150.65690.735

TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio59.92171<.0001Score51.61001<.0001Wald34.10601<.0001ROCCurvesample13_316:47Tuesday,November13,201913TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.91370.751027.1547<.0001test_val11.14260.195734.1060<.0001OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val3.1352.1364.600AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant84.1Somers'D0.786PercentDiscordant5.4Gamma0.878PercentTied10.5Tau-a0.395Pairs2958c0.893

ROCCurvesample13_516:47Tuesday,November13,201914Obs_PROB__POS__NEG__FALPOS__FALNEG__SENSIT__1MSPEC_

10.8580733562180.647060.03448

20.6585344451370.862750.22414

30.3808746391950.901960.32759

40.1640448332530.941180.43103

50.058915105801.000001.00000ROCCurvesample13_5診斷試驗的評價與ROC分析課件Datasample13_3;Inputgroup$num;Doi=1tonum;Inputtest_val;Output;End;Cards;Case516.513.512.811.25.0Control48.56.44.61.7;Proc

logisticdata=sample13_3;Modelgroup=test_val/scale=noneoutroc=roc1;symbol1i=joinv=nonec=blue;proc

gplotdata=roc1;title'ROCCurvesample13_3';plot_sensit_*_1mspec_=1/vaxis=0to1by.1cframe=ligr;run;Proc

print;Run;Datasample13_3;TheLOGISTICProcedureModelInformationDataSetWORK.SAMPLE13_3ResponseVariablegroupNumberofResponseLevels2ModelbinarylogitOptimizationTechniqueFisher'sscoringNumberofObservationsRead9NumberofObservationsUsed9ResponseProfileOrderedTotalValuegroupFrequency1Case52Control4Probabilitymodeledisgroup='Case'.ModelConvergenceStatusConvergencecriterion(GCONV=1E-8)satisfied.ModelFitStatisticsInterceptInterceptandCriterionOnlyCovariatesAIC14.36510.905SC14.56311.299-2LogL12.3656.905

TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPr>ChiSqLikelihoodRatio5.460710.0194Score4.415610.0356Wald2.693710.1007TheLOGISTICProcedureAnalysisofMaximumLikelihoodEstimatesStandardWaldParameterDFEstimateErrorChi-SquarePr>ChiSqIntercept1-3.89122.53422.35770.1247test_val10.49510.30162.69370.1007OddsRatioEstimatesPoint95%WaldEffectEstimateConfidenceLimitstest_val1.6410.9082.963AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant90.0Somers'D0.800PercentDiscordant10.0Gamma0.800PercentTied0.0Tau-a0.444Pairs20c0.900

ROCCurvesample13_316:47Tuesday,November13,201917Obs_PROB__POS__NEG__FALPOS__FALNEG__SENSIT__1MSPEC_

10.9863114040.20.00

20.9422424030.40.00

30.9202334020.60.00

40.8393544010.80.00

50.5785343110.80.25

60.3267642210.80.50

70.1953052201.00.50

80.1660451301.00.75

90.0452350401.01.00ROCCurvesample13_3診斷試驗的評價與ROC分析課件診斷試驗的評價與ROC分析課件診斷試驗的評價與ROC分析課件診斷試驗的評價與ROC分析課件診斷試驗的評價與ROC分析課件診斷試驗的評價與ROC分析課件診斷試驗的評價與ROC分析課件1.001.000.001.001.000.750.251.251.000.500.501.500.800.500.501.300.800.250.751.550.800.001.001.800.600.001.001.600.400.001.001.400.200.001.001.200.000.001.001.001.001.000.001.001.000.750.251.重點1.臨床試驗的類型和主要特點是什么？2.臨床試驗中避免偏倚的技巧主要是什么？3.診斷試驗中常用的指標(biāo)有哪些？4.診斷試驗中常用的綜合性評價指標(biāo)有哪些？5.什么是陰性預(yù)測值和陽性預(yù)測值？6.什么是ROC曲線，有什么用途？7.診斷試驗的正確應(yīng)用需要注意哪些事項？重點1.臨床試驗的類型和主要特點是什么？診斷試驗的評價與ROC分析課件診斷試驗的評價與ROC分析課件臨床試驗的類型I期臨床試驗：人體藥物的耐受程度，藥物在人體中的代謝情況。參加試驗的人員是健康人或病人（20左右）II期臨床試驗：藥效、安全性的初步評價?；颊邊⒓釉囼灒?00例以上）III期臨床試驗：藥效與安全性的確認(rèn)階段，我國法規(guī)要求試驗組人數(shù)300以上，總?cè)藬?shù)400-500人IV期臨床試驗：上市后的臨床研究。更大范圍使用后的療效與安全性臨床試驗的類型I期臨床試驗：人體藥物的耐受程度，藥物在人體中一、診斷試驗的研究設(shè)計隨機對照重復(fù)倫理盲法試驗設(shè)計中的要素一、處理因素二、受試對象三、試驗效應(yīng)一、診斷試驗的研究設(shè)計隨機臨床試驗避免偏倚的技巧隨機對照重復(fù)盲法臨床試驗避免偏倚的技巧隨機臨床試驗資料的數(shù)據(jù)集

分析應(yīng)包括在知情同意的基礎(chǔ)上，愿意參加試驗的所有隨機化后的受試者，也即原計劃好處理（治療）的受試者都需進入分析，而不是根據(jù)實際上完成的受試者。按此原則所作的分析是最好的分析，研究在病人知情同意的前提下，應(yīng)該考慮參與者的依從性，制定合理的納入排除標(biāo)準(zhǔn)，要求每一個隨機分到試驗組或?qū)φ战M的受試者都應(yīng)該盡量完整地隨訪，記錄研究結(jié)果如療效、安全性評價指標(biāo)以及脫離原因。同時，要考慮參與者和不愿意參與者的差異，以及給研究結(jié)果帶來的偏倚。

意向性分析（Intentiontotreat）全分析集（fullanalysisset，F(xiàn)AS）安全性評價（safetyset）臨床試驗資料的數(shù)據(jù)集分析應(yīng)包括在知情同意的基礎(chǔ)上臨床有效性的統(tǒng)計學(xué)評價臨床有效性的統(tǒng)計學(xué)評價為什么要學(xué)習(xí)診斷試驗的評價選擇最科學(xué)合理的診斷方法，循證醫(yī)學(xué)的重要內(nèi)容根據(jù)實際需要，提供具有優(yōu)勢的診斷試驗（試劑、藥物、方法）為什么要學(xué)習(xí)診斷試驗的評價選擇最科學(xué)合理的診斷方法，循證醫(yī)學(xué)金標(biāo)準(zhǔn)的選擇最為可靠的診斷標(biāo)準(zhǔn)！

金標(biāo)準(zhǔn)的選擇最為可靠的診斷標(biāo)準(zhǔn)！二、診斷試驗的評價指標(biāo)診斷實驗的靈敏度和特異度不會受到患病率的影響，但是預(yù)測值指標(biāo)會受到患病率高低的影響。二、診斷試驗的評價指標(biāo)診斷實驗的靈敏度和特異度不會受到患病率陽性預(yù)測值的應(yīng)用陽性預(yù)測值的應(yīng)用診斷試驗的評價指標(biāo)二、診斷試驗中常用的評價指標(biāo)：靈敏度、特異度、誤診率、漏診率三、預(yù)測指標(biāo)：陽性預(yù)測值、陰性預(yù)測值四、診斷試驗的綜合評價指標(biāo)：正確率、Youden指數(shù)、比數(shù)積、陽性似然比、陰性似然比診斷試驗的評價指標(biāo)二、診斷試驗中常用的評價指標(biāo)：靈敏度、特異診斷試驗中常用的評價指標(biāo)例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)常用指標(biāo)有（一）正確百分率、（二）靈敏度、（三）特異度、（四）Youden指數(shù)、（五）陽性似然比、（六）陰性似然比、（七）陽性預(yù)報值、（八）陰性預(yù)報值。診斷試驗中常用的評價指標(biāo)例13.2表13.2例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果診斷試驗的評價與ROC分析課件靈敏度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，其取值范圍均在（0,1）之間，其值越接近于1，說明其診斷準(zhǔn)確性越好。缺點：當(dāng)比較兩個診斷試驗時，單獨使用靈敏度或特異度，可能出現(xiàn)矛盾。解決辦法：將兩指標(biāo)結(jié)合：Youden指數(shù)、陽性似然比、陰性似然比等靈敏度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果醫(yī)生最關(guān)心的問題：

1.試驗陽性時患病的概率多大？

2.試驗陰性時不患病的概率多大？3.如何選擇合適的診斷界值，做出合理的診斷，使患者獲得最好的處理醫(yī)生最關(guān)心的問題：

1.試驗陽性時患病的概率多大？例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果例13.2表13.2ECG診斷試驗的結(jié)果ECG診斷結(jié)果心肌梗塞合計出現(xiàn)不出現(xiàn)陽性陰性合計416(TP)9（FP）425104(FN)171（TN）275520180700(N)例13.2表13.2ECG診斷試驗的結(jié)果陽性預(yù)報值與陰性預(yù)報值陽性預(yù)報值與陰性預(yù)報值五、截斷點的選擇與ROC曲線五、截斷點的選擇與ROC曲線在進行診斷臨界點選擇的時候，需要綜合考慮靈敏度和特異度，選擇最佳診斷界值。ROC曲線提供了很好的臨界點選擇工具。在進行診斷臨界點選擇的時候，需要綜合考慮靈敏度和特異度ROC【receiver(relative)operatingcharacteristic的縮寫，譯為“接受者工作特征”】ROC曲線研究歷史1950’s雷達信號觀測能力評價1960’s中期實驗心理學(xué)、心理物理學(xué)1970’s末與1980’s初診斷醫(yī)學(xué)ROC的涵義與起源ROC【receiver(relative)op診斷試驗：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計模型等檢查。重要性：1.循證醫(yī)學(xué)的重要組成部分

2.診斷試驗評價方法可用于：臨床試驗評價臨床檢驗評價流行病學(xué)篩查試驗評價實驗室檢驗評價統(tǒng)計學(xué)模型評價……ROC曲線評價診斷試驗的重要性診斷試驗：泛指血液生化、影像學(xué)、免疫學(xué)、細(xì)胞學(xué)、病理學(xué)、統(tǒng)計

靈敏度,特異度,假陰性率,假陽性率Testvariable靈敏度,特異度,假陰性率,假陽性率Testvariabl醫(yī)學(xué)診斷試驗多數(shù)不能將病例和對照完全分開，而只有將二者100%的分開時，才能夠獲得100%正確的診斷。診斷試驗的評價與ROC分析課件不同診斷界值時

靈敏度與特異度間的平衡(tradeoff)0204060801005060708090100特異度靈敏度百分率（％）Testvariable不同診斷界值時

靈敏度與特異度間的平衡(tradeoff)完美與無用的ROC曲線真陽性率即靈敏度假陽性率即1－特異度機率線(chanceline)

(diagonalreferenceline)完美與無用的ROC曲線真陽性率假陽性率即1－特異度診斷準(zhǔn)確度較低（<0.7）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.664A＝0.830診斷準(zhǔn)確度較高（>0.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.938ROC曲線下面積（Area）與診斷準(zhǔn)確度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)診斷準(zhǔn)確度較低（<0.7）0.00.20.40.60.81.似然比（LR）在ROC曲線空間的涵義白細(xì)胞計數(shù)診斷白血病LR＝7.5LR＝0.7LR＝2.3LR＝25.0似然比（LR）在ROC曲線空間的涵義白細(xì)胞計數(shù)診斷白血病LR基本概念小結(jié)ROC曲線反映了靈敏度與特異度間的平衡(增加靈敏度將降低特異度；增加特異度將降低靈敏度)。在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗準(zhǔn)確度越高。在ROC曲線空間，如果曲線沿著機會線（45度對角線）越緊密，則試驗準(zhǔn)確度越低。在診斷界值（cutpoint）處的正切線的斜率就是該試驗值對應(yīng)的陽性似然比（likelihoodratio，LR)。在ROC曲線空間的左下角LR+最大，隨著曲線從左下往右上方移動，LR+逐漸減小。ROC曲線下面積是重要的試驗準(zhǔn)確度指標(biāo)?；靖拍钚〗Y(jié)ROC曲線反映了靈敏度與特異度間的平衡(增加靈主要任務(wù)：計算ROC曲線工作點（Coordinatepoint或Operatingpoint）（FPR,TPR）連接相鄰兩點一、ROC曲線工作點的計算與曲線繪制主要任務(wù)：一、ROC曲線工作點的計算與曲線繪制連續(xù)型數(shù)據(jù)的

ROC曲線工作點（TPR，F(xiàn)PR）計算

將這9個數(shù)據(jù)從大到小排列，以前8個數(shù)，分別作為診斷界值，大于等于診斷界值者判為陽性，小于該值者判為陰性。這樣，可整理成8個四格表表13－3假想的連續(xù)型數(shù)據(jù)連續(xù)型數(shù)據(jù)的

ROC曲線工作點（TPR，F(xiàn)PR）計算診斷試驗的評價與ROC分析課件有序分類數(shù)據(jù)的

ROC曲線工作點（TPR，F(xiàn)PR）計算

將診斷分類數(shù)據(jù)按大到小排序，以前4個分類作為診斷界值，大于等于診斷界值者為陽性，小于該值者為陰性。這樣，可整理出4個四格表，每個四格表對應(yīng)的ROC曲線的工作點見下表。有序分類數(shù)據(jù)的

ROC曲線工作點（TPR，F(xiàn)PR）計算22二、ROC曲線下面積的計算ROC曲線下面積(Area)部分ROC曲線下的面積FPR為某值對應(yīng)的TPR值二、ROC曲線下面積的計算ROC曲線下面積(Area)(一)

Hanley和McNeil非參數(shù)法

ROC曲線下面積(Az)就是異常組觀察值大于正常組觀察值的概率Mann-WhitneyU統(tǒng)計量(一)Hanley和McNeil非參數(shù)法Hanley和McNeil法ROC曲線下面積

與Mann-WhitneyU

檢驗

由秩和檢驗中的Mann-WhitneyU統(tǒng)計量（SPSS等軟件均可計算）可計算ROC曲線下面積零假設(shè)H0:總體ROC面積θ＝0.5的檢驗等價于Mann-WhitneyU檢驗SPSS輸出的ROC面積檢驗P值即為上述Z值對應(yīng)的概率Hanley和McNeil法ROC曲線下面積

與MannHanley和McNeil法ROC曲線下面積

與梯形規(guī)則（trapezoidalrule）

Hanley和McNeil法ROC曲線下面積等于所有曲線下梯形（包括最左側(cè)的三角形）面積之和Hanley和McNeil法ROC曲線下面積

與梯形規(guī)則（二）其他ROC曲線下面積計算方法1.雙正態(tài)法2.有序回歸模型3.其他模型(如雙Gama法、雙指數(shù)法)（二）其他ROC曲線下面積計算方法1.雙正態(tài)法三、ROC曲線下面積的假設(shè)檢驗三、ROC曲線下面積的假設(shè)檢驗單個連續(xù)型資料（實例1）單個有序分類資料（實例2）兩個相關(guān)連續(xù)型資料（實例3）兩個相關(guān)有序分類資料（實例4）二、ROC分析的數(shù)據(jù)類型Testvariables單個連續(xù)型資料（實例1）二、ROC分析的數(shù)據(jù)類型Testv實例1：采用骨髓診斷作為金標(biāo)準(zhǔn)，對100例缺鐵性貧血疑似患者進行確診，患該病者為異常組(34例)，