診斷試驗設計與循證評價課件

1、診斷試驗的設計與評價2011.7.16診斷試驗的設計與評價2011.7.16一.診斷試驗（diagnostic test）是對疾病進行診斷的試驗方法。包括實驗室檢查，各種物理診斷如各種影像診斷（X線診斷、CT、磁共振成像）、超聲診斷以及放射性核素檢查、纖維內(nèi)窺鏡、電鏡等方法。一.診斷試驗（diagnostic test）診斷試驗評價的意義應用流行病學的方法對新的診斷試驗進行評價研究，將有助于臨床醫(yī)師正確選用各種診斷試驗，科學地解釋診斷試驗的各種結果，從而提高診斷水平。診斷試驗評價的意義二.診斷試驗研究的設計原則確定“金標準”選擇研究對象樣本含量的估計診斷試驗臨界值的制定盲法比較診斷試驗與金標準

2、的結果二.診斷試驗研究的設計原則確定“金標準”（一）金標準（gold standard）是指當前臨床醫(yī)學界公認的診斷疾病的最可靠的方法。也稱為標準診斷。通常包括：活檢、手術發(fā)現(xiàn)、微生物培養(yǎng)、尸檢、特殊檢查和影像診斷，以及長期隨訪的結果。（一）金標準（gold standard）是指當前臨床醫(yī)學界關于金標準可正確區(qū)分“有病”或“無病”。當新試驗實際上更優(yōu)于傳統(tǒng)“金標準”方法時，應采用最新的病理生理知識去更新傳統(tǒng)的“金標準”關于金標準可正確區(qū)分“有病”或“無病”。常見問題金標準選擇不當:會造成對受試者診斷分類上的錯誤,使整個試驗的評價失去準確性的基礎。研究設計方法不熟悉,或是對金標準在診斷性試驗評

3、價中的重要性認識不足以及疾病診斷的金標準過于復雜或風險較大等原因, 常選用容易得到結果的、但準確性不高的診斷方法作為金標準。導致結論的可信度低甚至是錯誤的結論。常見問題金標準選擇不當:會造成對受試者診斷分類上的錯誤,使整（二）研究對象病例組：是指用金標準確診“有病”的病例，應包含典型的、不典型病例，早、中、晚期病例，輕、中、重病例，有和無并發(fā)癥的患者。對照組：是指用金標準證實沒有目標疾病的其他病例，特別是與該病容易混淆的病例。正常人一般不宜納入對照組。研究對象的代表性影響評價指標的真實性（二）研究對象病例組：是指用金標準確診“有病”的病例，應包含常見錯誤將已知某病患者作為病例組,然后再挑選健康

4、人或其他疾病患者作為對照組只對診斷試驗陽性的患者行金標準檢查僅選用經(jīng)金標準確診的患者及非患者為研究對象；而將曾疑為某病,但因某診斷試驗陰性暫未采用金標準檢查的患者除外只選用金標準確診有病的患者作為研究對象而無對照組常見錯誤將已知某病患者作為病例組,然后再挑選健康人或其他疾?。ㄈ颖竞康墓烙嬙\斷試驗要求有一定數(shù)量的觀察對象，即樣本含量。按照統(tǒng)計學中有關總體率的樣本含量估算方法，分別計算病例組和對照組的樣本含量。（三）樣本含量的估計診斷試驗要求有一定數(shù)量的觀察對象，即樣本樣本含量計算舉例：樣本含量計算舉例：（五）診斷試驗結果的測量1.同步盲法比較受檢對象在檢測前不分組，在整理資料時才按金標準進

5、行分組，盡可能讓所有受試患者同時接受診斷試驗和金標準方法采用同步盲法判定結果(尤其是定性結果)，由不知另一試驗結果的人獨立、客觀地對診斷試驗或金標準結果做出判斷 （四）結果測量與處理（五）診斷試驗結果的測量1.同步盲法比較（四）結果測量與處理（五）診斷試驗結果的測量1.同步盲法比較如果先做診斷試驗或金標準,然后由了解前一試驗結果的人判斷后一試驗結果,則會發(fā)生判斷傾向性,使兩種方法一致性增高當評估者了解受試者是患者,就會潛意識地尋找可能存在的陽性結果；相反，如果知道受試者不是患者，則可能放棄仔細尋找陽性信息的機會,使可能存在的陽性信息被遺漏,從而導致敏感度和特異度高于真實值偏倚的原因（五）診斷試

6、驗結果的測量1.同步盲法比較偏倚的原因2.診斷實驗的測量偏倚應注意診斷試驗的重復性及測量結果的可靠性,防止測量偏倚。如需要由操作者判斷結果的試驗,至少應該用部分受試者對操作者的變異性進行簡要評估。試驗結果由儀器判斷時,應對儀器的變異性進行簡要估計。對診斷試驗中不確定結果出現(xiàn)的頻率,計算評價指標時是否包括了這些不確定結果均應說明。偏倚的原因2.診斷實驗的測量偏倚偏倚的原因不同診斷界值時敏度與特異度間的平衡0204060801005060708090100特異度靈敏度百分率（）Test variable不同診斷界值時敏度與特異度間的平衡0204060801005（五）診斷試驗臨界值的制定ROC曲線

7、法確定診斷試驗臨界值是目前較為理想的方法（五）診斷試驗臨界值的制定ROC曲線法確定診斷試驗臨界值是目ROC曲線反映了靈敏度與特異度間的平衡 。 在ROC曲線空間，如果曲線沿著左邊線，然后沿著上邊線越緊密，則試驗準確度越高。 在ROC曲線空間，如果曲線沿著機會線（45度對角線）越緊密，則試驗準確度越低。 ROC曲線下面積是重要的試驗準確度指標。ROC曲線反映了靈敏度與特異度間的平衡 。 完美與無用的ROC曲線真陽性率即靈敏度假陽性率 即 1特異度機率線(chance line)(diagonal reference line)完美與無用的ROC曲線真陽性率假陽性率 即 1特異度診斷準確度較低（0

8、.9）0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA0.938ROC曲線下面積（Area）與診斷準確度高低高 0.90-1.00 = excellent (A)中 0.80-0.90 = good (B) 0.70-0.80 = fair (C)低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F)診斷準確度較低（0.7）0.00.20.40.60.81.臨界值的選擇其選擇直接影響到敏感度和特異度等評價指標診斷試驗不僅要有區(qū)分健康或非某病與某病的界值，最好還有需要治療與判斷預后的界值（如：醫(yī)學決定水平）其選擇取決于診斷試驗

9、的目的與權衡漏診和誤診的利弊有時還要根據(jù)研究對象中不同年齡組、不同臨床特征時臨界值的差異對診斷試驗準確性的影響等多種臨床實際情況,分別選用多個臨界值臨界值的選擇其選擇直接影響到敏感度和特異度等評價指標參考區(qū)間的差別正常參考區(qū)間的獲得可根據(jù)常用的統(tǒng)計學方法,如正態(tài)分布法及百分位數(shù)法資料必須來源于健康人的結果,同時要注意不同人種、地區(qū)、性別、年齡、不同的檢測方法和系統(tǒng)誤差等對參考值的影響正態(tài)分布法要求資料呈正態(tài)分布,且樣本含量要大(120例以上),以保證樣本的代表性和結果的穩(wěn)定性,一般用(X2SD)作為正常參考值資料呈偏態(tài)分布時,要求使用百分位數(shù)法參考區(qū)間的差別正常參考區(qū)間的獲得可根據(jù)常用的統(tǒng)計學

10、方法,如正三、診斷試驗評價診斷試驗評價就是將待評診斷試驗與診斷目標疾病的標準方法，即“金標準”(gold standard)，進行同步盲法比較，判定該方法對疾病“診斷”的真實性、可靠性和實用性。 三、診斷試驗評價診斷試驗評價就是將待評診斷試驗與診斷目標疾病目標人群金標準病人非病人待評價診斷試驗評價指標有效無效有效無效診斷試驗評價程序目金標準病人非病人待評價診斷試驗評價指標有效無效有效無效診斷診斷試驗與金標準比較的四格表標準診斷有病無病診斷性試驗+a(真陽性)b(假陽性)-c(假陰性)d(真陰性)診斷試驗與金標準比較的四格表標準診斷有病無病診斷性試驗+a(診斷試驗的評價指標特征值別名含義公式 靈

11、敏度（S） 真陽性率（真患者） 在金標準診斷的“有病”病例中，診斷性試驗檢測為陽性例數(shù)的比例。真陽性率越高，漏診率越低 a/（a+c） 特異性（Sp） 真陰性率（非患者） 在金標準診斷的“無病”病例中，診斷性試驗檢測為陰性例數(shù)的比例。真陰性率越高，誤診率越低。d/（b+d）診斷試驗的評價指標特征值別名含義公式 靈敏度（S） 真陽性率靈敏度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，其取值范圍均在（0, 1）之間，其值越接近于1，說明其診斷準確性越好。缺點：當比較兩個診斷試驗時，單獨使用靈敏度或特異度，可能出現(xiàn)矛盾。解決辦法：將兩指標結合：Youden指數(shù)、陽性似然比、陰性似然比等靈敏

12、度與特異度的優(yōu)缺點優(yōu)點：靈敏度與特異度不受患病率的影響，診斷試驗設計與循證評價課件醫(yī)生最關心的問題： 1. 試驗陽性時患病的概率多大？ 2. 試驗陰性時不患病的概率多大？醫(yī)生最關心的問題： 1. 試驗陽性時患病的概率多大？診斷試驗的指標（續(xù)）陽性預測值（PPV） 陽性試驗的事后概率 診斷試驗出現(xiàn)陽性的全部事例中，有病患者出現(xiàn)陽性所占的比率。 a/(a+b) 陰性預測值（NPV） 陰性試驗的事后概率 診斷試驗出現(xiàn)陰性的全部事例中，無病患者出現(xiàn)陰性所占的比率。 d/(c+d) 準確性（Acc） 所有檢測結果中，全部真陽性和真陰性所占的比率 (a+d)/(a+b+c+d) 診斷試驗的指標（續(xù)）陽性陽

13、性試驗的事后概率 診斷試驗例: 陽性預測值=215/231X100%=93.07% 陰性預測值=114/129X100%=8837% PPV=93.07%表示用CPK診斷心肌梗死，結果陽性者中有93.07%確實患心肌梗死，或者說某受檢者得到陽性結果時，有93.07%的可能患心肌梗死。 NPV=88.37%則表示結果為陰性者不患心肌梗死的比例，即得到陰性結果時，排除患心肌梗死的概率。例:預測值與靈敏度、特異度、患病率的關系1預測值與患病率的關系 當靈敏度、特異度一定時，陽性預測值隨著患病率的升高而升高；陰性預測值隨著患病率的降低而升高。 Sketch做了一個冠狀動脈狹窄的診斷研究，取了195個受

14、試者。動脈造影以動脈狹窄75作為異常，而運動試驗以心電圖判斷，結果見下表。預測值與靈敏度、特異度、患病率的關系診斷試驗設計與循證評價課件患病率高時，陽性預測值高；患病率低時，陰性預測值高?；疾÷矢邥r，陽性預測值高；患病率低時，陰性預測值高。陽性試驗似然比（+LR） 在“有病”患者中，真陽性比例與在“無病”患者中，假陽性的比例的比值。表明試驗陽性時，患病與不患病機會的比值。比值越大 （如10），患病概率越大，試驗越好。靈敏度/（1特異性）a/(a+c)/1d(b+d)陰性試驗似然比（-LR） 患者試驗假陰性比例與非患者試驗真陰性比例的比值，表明試驗陰性時，患病與不患病機會的比值。比值越小 （如0

15、.1），不患病的概率越大，試驗越好。 (1靈敏度)/ 特異性1-a(a+c)/ d(b+d) 比數(shù)比（OR） 有病患者陽性試驗似然比與陰性試驗似然比的比值。數(shù)值越大，表明診斷試驗區(qū)分患者與非患者的能力越大。 靈敏度/(1特異性) / (1靈敏度)/ 特異性(ad)/(cb) 注 ：a，真陽性； b，假陽性； c，假陰性；d，真陰性診斷試驗的指標（續(xù)）陽性試驗似然比（+LR） 在“有病”患者中，真陽性比例臨床實踐中似然比應用的粗略判斷原則陽性似然比陰性似然比臨床判斷100.1 基本上可確定或排除診斷5100.10.2 試驗前后概率中度變化250.20.5 試驗前后概率變化較小120.51 試驗前

16、后概率基本上無變化臨床實踐中似然比應用的粗略判斷原則陽性似然比陰性似然比臨床判關于診斷性能指標特點：* 靈敏度和特異性 是最基本、必須具備的獨立指標，不受患病率影響。* 診斷性能 其他指均來自S和Sp的計算。* 預測值 高低常取決于患病率。* 似然比 同時反映S和Sp的復合指標，比S和Sp指標更穩(wěn)定。關于診斷性能指標特點：* 靈敏度和特異性 是最基本、必須具關于診斷試驗臨床實用性評價指所獲證據(jù)的診斷試驗是否能鑒別目標疾病和非目標疾病，其鑒別診斷的臨界點是什么，如果使用此試驗或不使用此試驗，對目標疾病的結局有何不同。受試者操作特性曲線（receiver operating characteris

17、tic curve, ROC）：常被用來決定診斷試驗,鑒別診斷的最佳臨界點。關于診斷試驗臨床實用性評價指所獲證據(jù)的診斷試驗是否能鑒別目標四. 診斷試驗的臨床應用穩(wěn)定的指標：敏感性、特異性、LR、LR（是最重要的指標） 相對穩(wěn)定的指標：準確性不穩(wěn)定的指標：陽性預測值、陰性預測值、患病率 四. 診斷試驗的臨床應用穩(wěn)定的指標：敏感性、特異性、LR、似然比的應用計算驗后概率驗前比（Pretest Odds）= 驗前概率/（1-驗前概率）驗后比（Post-test Odds）= 驗前比似然比 驗后概率（Post-test Probability）= 驗后比/（1+驗后比）似然比的應用計算驗后概率診斷性試

18、驗證據(jù)的應用示例缺鐵性貧血的診斷(Guyatt GH,et al)鐵蛋白 IDA非IDALR100 8/85 108/150 0.13總數(shù)85150診斷性試驗證據(jù)的應用示例缺鐵性貧血的診斷(Guyatt GH該患者患?。↖DA）概率的計算估計驗前概率為30%該患者血清鐵為40mg/L，LR 8.2驗前比0.3/（10.3）0.43驗后比0.438.2=3.53驗后概率3.53/（1+3.53）77.9%該患者患?。↖DA）概率的計算估計驗前概率為30%Quality assessment of diagnosis study1疾病譜是否包含了各種病例及易混淆的病例？ Was the spect

19、rum of patients representative of the patients who will receive the test in practice?2研究對象的選擇標準是否明確? Were selection criteria clearly described?3參考標準是否能準確區(qū)分有病、無病狀態(tài)？ Is the reference standard likely to correctly classify the target condition?五.診斷試驗證據(jù)的質(zhì)量評價Quality assessment of diagnos4參考標準與診斷試驗的實施是否時間間

20、隔夠短，以避免病情變化的影響? Is the time period between reference standard and index test short enough to be reasonably sure that the target condition did not change between the two tests?5是否所有的樣本或隨機選擇的樣本均接受了參考標準的驗證？ Did the whole sample or a random selection of the sample, receive verification using a reference

21、 standard?6不管試驗結果如何,是否所有的納入病人均接受了同一參考標準的證實? Did patients receive the same reference standard regardless of the index test result?4參考標準與診斷試驗的實施是否時間間隔夠短，以避免病情變化7參考標準是否與研究試驗獨立不相干（即參考標準不包含研究試驗）? Was the reference standard independent of the index test (i.e. the index test did not form part of the refere

22、nce standard)?8診斷性試驗的細節(jié)是否已充分描述并可重復? Was the execution of the index test described in sufficient detail to permit replication of the test?9參考標準的細節(jié)是否已充分描述并可重復? Was the execution of the reference standard described in sufficient detail to permit its replication?7參考標準是否與研究試驗獨立不相干（即參考標準不包含研究試10診斷試驗的結果解釋是否是在不知曉參考標準試驗結果的情況下進行的？ Were the index test results interpreted