診斷試驗(yàn)設(shè)計(jì)與循證評(píng)價(jià).ppt

1、診斷試驗(yàn)的設(shè)計(jì)與評(píng)價(jià),南方醫(yī)科大學(xué)南方醫(yī)院 曾方銀 2011.7.16,一.診斷試驗(yàn)（diagnostic test）,是對(duì)疾病進(jìn)行診斷的試驗(yàn)方法。 包括實(shí)驗(yàn)室檢查，各種物理診斷如各種影像診斷（X線診斷、CT、磁共振成像）、超聲診斷以及放射性核素檢查、纖維內(nèi)窺鏡、電鏡等方法。,診斷試驗(yàn)評(píng)價(jià)的意義 應(yīng)用流行病學(xué)的方法對(duì)新的診斷試驗(yàn)進(jìn)行評(píng)價(jià)研究，將有助于臨床醫(yī)師正確選用各種診斷試驗(yàn)，科學(xué)地解釋診斷試驗(yàn)的各種結(jié)果，從而提高診斷水平。,二.診斷試驗(yàn)研究的設(shè)計(jì)原則,確定“金標(biāo)準(zhǔn)” 選擇研究對(duì)象 樣本含量的估計(jì) 診斷試驗(yàn)臨界值的制定 盲法比較診斷試驗(yàn)與金標(biāo)準(zhǔn)的結(jié)果,（一）金標(biāo)準(zhǔn)（gold standard

2、）,是指當(dāng)前臨床醫(yī)學(xué)界公認(rèn)的診斷疾病的最可靠的方法。也稱為標(biāo)準(zhǔn)診斷。 通常包括：活檢、手術(shù)發(fā)現(xiàn)、微生物培養(yǎng)、尸檢、特殊檢查和影像診斷，以及長(zhǎng)期隨訪的結(jié)果。,關(guān)于金標(biāo)準(zhǔn),可正確區(qū)分“有病”或“無病”。 當(dāng)新試驗(yàn)實(shí)際上更優(yōu)于傳統(tǒng)“金標(biāo)準(zhǔn)”方法時(shí)，應(yīng)采用最新的病理生理知識(shí)去更新傳統(tǒng)的“金標(biāo)準(zhǔn)”,常見問題,金標(biāo)準(zhǔn)選擇不當(dāng):會(huì)造成對(duì)受試者診斷分類上的錯(cuò)誤,使整個(gè)試驗(yàn)的評(píng)價(jià)失去準(zhǔn)確性的基礎(chǔ)。 研究設(shè)計(jì)方法不熟悉,或是對(duì)金標(biāo)準(zhǔn)在診斷性試驗(yàn)評(píng)價(jià)中的重要性認(rèn)識(shí)不足以及疾病診斷的金標(biāo)準(zhǔn)過于復(fù)雜或風(fēng)險(xiǎn)較大等原因, 常選用容易得到結(jié)果的、但準(zhǔn)確性不高的診斷方法作為金標(biāo)準(zhǔn)。 導(dǎo)致結(jié)論的可信度低甚至是錯(cuò)誤的結(jié)論。,（二）

3、研究對(duì)象,病例組：是指用金標(biāo)準(zhǔn)確診“有病”的病例，應(yīng)包含典型的、不典型病例，早、中、晚期病例，輕、中、重病例，有和無并發(fā)癥的患者。 對(duì)照組：是指用金標(biāo)準(zhǔn)證實(shí)沒有目標(biāo)疾病的其他病例，特別是與該病容易混淆的病例。 正常人一般不宜納入對(duì)照組。,研究對(duì)象的代表性影響評(píng)價(jià)指標(biāo)的真實(shí)性,常見錯(cuò)誤,將已知某病患者作為病例組,然后再挑選健康人或其他疾病患者作為對(duì)照組 只對(duì)診斷試驗(yàn)陽(yáng)性的患者行金標(biāo)準(zhǔn)檢查 僅選用經(jīng)金標(biāo)準(zhǔn)確診的患者及非患者為研究對(duì)象；而將曾疑為某病,但因某診斷試驗(yàn)陰性暫未采用金標(biāo)準(zhǔn)檢查的患者除外 只選用金標(biāo)準(zhǔn)確診有病的患者作為研究對(duì)象而無對(duì)照組,（三）樣本含量的估計(jì),診斷試驗(yàn)要求有一定數(shù)量的觀察對(duì)

4、象，即樣本含量。 按照統(tǒng)計(jì)學(xué)中有關(guān)總體率的樣本含量估算方法，分別計(jì)算病例組和對(duì)照組的樣本含量。,樣本含量計(jì)算舉例：,（五）診斷試驗(yàn)結(jié)果的測(cè)量,1.同步盲法比較 受檢對(duì)象在檢測(cè)前不分組，在整理資料時(shí)才按金標(biāo)準(zhǔn)進(jìn)行分組，盡可能讓所有受試患者同時(shí)接受診斷試驗(yàn)和金標(biāo)準(zhǔn)方法 采用同步盲法判定結(jié)果(尤其是定性結(jié)果)，由不知另一試驗(yàn)結(jié)果的人獨(dú)立、客觀地對(duì)診斷試驗(yàn)或金標(biāo)準(zhǔn)結(jié)果做出判斷,（四）結(jié)果測(cè)量與處理,（五）診斷試驗(yàn)結(jié)果的測(cè)量,1.同步盲法比較 如果先做診斷試驗(yàn)或金標(biāo)準(zhǔn),然后由了解前一試驗(yàn)結(jié)果的人判斷后一試驗(yàn)結(jié)果,則會(huì)發(fā)生判斷傾向性,使兩種方法一致性增高 當(dāng)評(píng)估者了解受試者是患者,就會(huì)潛意識(shí)地尋找可能存在

5、的陽(yáng)性結(jié)果；相反，如果知道受試者不是患者，則可能放棄仔細(xì)尋找陽(yáng)性信息的機(jī)會(huì),使可能存在的陽(yáng)性信息被遺漏,從而導(dǎo)致敏感度和特異度高于真實(shí)值,偏倚的原因,2.診斷實(shí)驗(yàn)的測(cè)量偏倚 應(yīng)注意診斷試驗(yàn)的重復(fù)性及測(cè)量結(jié)果的可靠性,防止測(cè)量偏倚。 如需要由操作者判斷結(jié)果的試驗(yàn),至少應(yīng)該用部分受試者對(duì)操作者的變異性進(jìn)行簡(jiǎn)要評(píng)估。 試驗(yàn)結(jié)果由儀器判斷時(shí),應(yīng)對(duì)儀器的變異性進(jìn)行簡(jiǎn)要估計(jì)。 對(duì)診斷試驗(yàn)中不確定結(jié)果出現(xiàn)的頻率,計(jì)算評(píng)價(jià)指標(biāo)時(shí)是否包括了這些不確定結(jié)果均應(yīng)說明。,偏倚的原因,不同診斷界值時(shí)敏度與特異度間的平衡,0,20,40,60,80,100,50,60,70,80,90,100,特異度,靈敏度,百分率（）

6、,Test variable,（五）診斷試驗(yàn)臨界值的制定,ROC曲線法確定診斷試驗(yàn)臨界值是目前較為理想的方法,ROC曲線反映了靈敏度與特異度間的平衡 。 在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗(yàn)準(zhǔn)確度越高。 在ROC曲線空間，如果曲線沿著機(jī)會(huì)線（45度對(duì)角線）越緊密，則試驗(yàn)準(zhǔn)確度越低。 ROC曲線下面積是重要的試驗(yàn)準(zhǔn)確度指標(biāo)。,完美與無用的ROC曲線,真陽(yáng)性率 即 靈敏度,假陽(yáng)性率 即 1特異度,機(jī)率線(chance line)(diagonal reference line),診斷準(zhǔn)確度較低（,0.7,）,0.0,0.2,0.4,0.6,0.8,1.0,0.0,0.

7、2,0.4,0.6,0.8,1.0,FPR,T,P,R,A,0.664,A,0.830,診斷準(zhǔn)確度較高,（,0.9,）,0.0,0.2,0.4,0.6,0.8,1.0,0.0,0.2,0.4,0.6,0.8,1.0,FPR,T,P,R,A,0.938,ROC曲線下面積（Area）與診斷準(zhǔn)確度高低 高 0.90-1.00 = excellent (A) 中 0.80-0.90 = good (B) 0.70-0.80 = fair (C) 低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F),臨界值的選擇,其選擇直接影響到敏感度和特異度等評(píng)價(jià)指標(biāo) 診斷試驗(yàn)不僅要

8、有區(qū)分健康或非某病與某病的界值，最好還有需要治療與判斷預(yù)后的界值（如：醫(yī)學(xué)決定水平） 其選擇取決于診斷試驗(yàn)的目的與權(quán)衡漏診和誤診的利弊 有時(shí)還要根據(jù)研究對(duì)象中不同年齡組、不同臨床特征時(shí)臨界值的差異對(duì)診斷試驗(yàn)準(zhǔn)確性的影響等多種臨床實(shí)際情況,分別選用多個(gè)臨界值,參考區(qū)間的差別,正常參考區(qū)間的獲得可根據(jù)常用的統(tǒng)計(jì)學(xué)方法,如正態(tài)分布法及百分位數(shù)法 資料必須來源于健康人的結(jié)果,同時(shí)要注意不同人種、地區(qū)、性別、年齡、不同的檢測(cè)方法和系統(tǒng)誤差等對(duì)參考值的影響 正態(tài)分布法要求資料呈正態(tài)分布,且樣本含量要大(120例以上),以保證樣本的代表性和結(jié)果的穩(wěn)定性,一般用(X2SD)作為正常參考值 資料呈偏態(tài)分布時(shí),要

9、求使用百分位數(shù)法,三、診斷試驗(yàn)評(píng)價(jià),診斷試驗(yàn)評(píng)價(jià)就是將待評(píng)診斷試驗(yàn)與診斷目標(biāo)疾病的標(biāo)準(zhǔn)方法，即“金標(biāo)準(zhǔn)”(gold standard)，進(jìn)行同步盲法比較，判定該方法對(duì)疾病“診斷”的真實(shí)性、可靠性和實(shí)用性。,目 標(biāo) 人 群,診斷試驗(yàn)評(píng)價(jià)程序,診斷試驗(yàn)與金標(biāo)準(zhǔn)比較的四格表,診斷試驗(yàn)的評(píng)價(jià)指標(biāo),靈敏度與特異度的優(yōu)缺點(diǎn),優(yōu)點(diǎn)：靈敏度與特異度不受患病率的影響，其取值范圍均在（0, 1）之間，其值越接近于1，說明其診斷準(zhǔn)確性越好。 缺點(diǎn)：當(dāng)比較兩個(gè)診斷試驗(yàn)時(shí)，單獨(dú)使用靈敏度或特異度，可能出現(xiàn)矛盾。 解決辦法：將兩指標(biāo)結(jié)合：Youden指數(shù)、陽(yáng)性似然比、陰性似然比等,醫(yī)生最關(guān)心的問題： 1. 試驗(yàn)陽(yáng)性時(shí)患病

10、的概率多大？ 2. 試驗(yàn)陰性時(shí)不患病的概率多大？,診斷試驗(yàn)的指標(biāo)（續(xù)）,例: 陽(yáng)性預(yù)測(cè)值=215/231X100%=93.07% 陰性預(yù)測(cè)值=114/129X100%=8837% PPV=93.07%表示用CPK診斷心肌梗死，結(jié)果陽(yáng)性者中有93.07%確實(shí)患心肌梗死，或者說某受檢者得到陽(yáng)性結(jié)果時(shí)，有93.07%的可能患心肌梗死。 NPV=88.37%則表示結(jié)果為陰性者不患心肌梗死的比例，即得到陰性結(jié)果時(shí)，排除患心肌梗死的概率。,預(yù)測(cè)值與靈敏度、特異度、患病率的關(guān)系 1預(yù)測(cè)值與患病率的關(guān)系 當(dāng)靈敏度、特異度一定時(shí)，陽(yáng)性預(yù)測(cè)值隨著患病率的升高而升高；陰性預(yù)測(cè)值隨著患病率的降低而升高。 Sketch

11、做了一個(gè)冠狀動(dòng)脈狹窄的診斷研究，取了195個(gè)受試者。動(dòng)脈造影以動(dòng)脈狹窄75作為異常，而運(yùn)動(dòng)試驗(yàn)以心電圖判斷，結(jié)果見下表。,患病率高時(shí)，陽(yáng)性預(yù)測(cè)值高；患病率低時(shí)，陰性預(yù)測(cè)值高。,注 ：a，真陽(yáng)性； b，假陽(yáng)性； c，假陰性；d，真陰性,診斷試驗(yàn)的指標(biāo)（續(xù)）,臨床實(shí)踐中似然比應(yīng)用的粗略判斷原則,關(guān)于診斷性能指標(biāo)特點(diǎn)：,* 靈敏度和特異性 是最基本、必須具備的獨(dú)立指標(biāo)，不受患病率影響。 * 診斷性能 其他指均來自S和Sp的計(jì)算。 * 預(yù)測(cè)值 高低常取決于患病率。 * 似然比 同時(shí)反映S和Sp的復(fù)合指標(biāo)，比S和Sp指標(biāo)更穩(wěn)定。,關(guān)于診斷試驗(yàn)臨床實(shí)用性評(píng)價(jià),指所獲證據(jù)的診斷試驗(yàn)是否能鑒別目標(biāo)疾病和非目標(biāo)

12、疾病，其鑒別診斷的臨界點(diǎn)是什么，如果使用此試驗(yàn)或不使用此試驗(yàn)，對(duì)目標(biāo)疾病的結(jié)局有何不同。 受試者操作特性曲線（receiver operating characteristic curve, ROC）：常被用來決定診斷試驗(yàn),鑒別診斷的最佳臨界點(diǎn)。,四. 診斷試驗(yàn)的臨床應(yīng)用,穩(wěn)定的指標(biāo)：敏感性、特異性、LR、LR（是最重要的指標(biāo)） 相對(duì)穩(wěn)定的指標(biāo)：準(zhǔn)確性 不穩(wěn)定的指標(biāo)：陽(yáng)性預(yù)測(cè)值、陰性預(yù)測(cè)值、患病率,似然比的應(yīng)用計(jì)算驗(yàn)后概率 驗(yàn)前比（Pretest Odds）= 驗(yàn)前概率/（1-驗(yàn)前概率） 驗(yàn)后比（Post-test Odds）= 驗(yàn)前比似然比 驗(yàn)后概率（Post-test Probabilit

13、y）= 驗(yàn)后比/（1+驗(yàn)后比）,診斷性試驗(yàn)證據(jù)的應(yīng)用示例,缺鐵性貧血的診斷(Guyatt GH,et al) 鐵蛋白 IDA非IDALR 100 8/85 108/150 0.13 總數(shù)85150,該患者患病（IDA）概率的計(jì)算,估計(jì)驗(yàn)前概率為30% 該患者血清鐵為40mg/L，LR 8.2 驗(yàn)前比0.3/（10.3）0.43 驗(yàn)后比0.438.2=3.53 驗(yàn)后概率3.53/（1+3.53）77.9%,Quality assessment of diagnosis study,1疾病譜是否包含了各種病例及易混淆的病例？ Was the spectrum of patients represe

14、ntative of the patients who will receive the test in practice? 2研究對(duì)象的選擇標(biāo)準(zhǔn)是否明確? Were selection criteria clearly described? 3參考標(biāo)準(zhǔn)是否能準(zhǔn)確區(qū)分有病、無病狀態(tài)？ Is the reference standard likely to correctly classify the target condition?,五.診斷試驗(yàn)證據(jù)的質(zhì)量評(píng)價(jià),4參考標(biāo)準(zhǔn)與診斷試驗(yàn)的實(shí)施是否時(shí)間間隔夠短，以避免病情變化的影響? Is the time period between refer

15、ence standard and index test short enough to be reasonably sure that the target condition did not change between the two tests? 5是否所有的樣本或隨機(jī)選擇的樣本均接受了參考標(biāo)準(zhǔn)的驗(yàn)證？ Did the whole sample or a random selection of the sample, receive verification using a reference standard? 6不管試驗(yàn)結(jié)果如何,是否所有的納入病人均接受了同一參考標(biāo)準(zhǔn)的證實(shí)? Di

16、d patients receive the same reference standard regardless of the index test result?,7參考標(biāo)準(zhǔn)是否與研究試驗(yàn)獨(dú)立不相干（即參考標(biāo)準(zhǔn)不包含研究試驗(yàn)）? Was the reference standard independent of the index test (i.e. the index test did not form part of the reference standard)? 8診斷性試驗(yàn)的細(xì)節(jié)是否已充分描述并可重復(fù)? Was the execution of the index test d

17、escribed in sufficient detail to permit replication of the test? 9參考標(biāo)準(zhǔn)的細(xì)節(jié)是否已充分描述并可重復(fù)? Was the execution of the reference standard described in sufficient detail to permit its replication?,10診斷試驗(yàn)的結(jié)果解釋是否是在不知曉參考標(biāo)準(zhǔn)試驗(yàn)結(jié)果的情況下進(jìn)行的？ Were the index test results interpreted without knowledge of the results of t

18、he reference standard? 11參考標(biāo)準(zhǔn)試驗(yàn)的結(jié)果解釋是否是在不知曉診斷性試驗(yàn)結(jié)果的情況下進(jìn)行的？ Were the reference standard results interpreted without knowledge of the results of the index test? 12當(dāng)解釋試驗(yàn)結(jié)果時(shí)可獲得的臨床資料是否與實(shí)際應(yīng)用中可獲得的臨床資料一致? Were the same clinical data available when test results were interpreted as would be available when the test is used in practice?,13是否報(bào)道了