版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
檢驗項目的臨床效能評價P7-761檢驗項目的臨床效能評價P7-7612教學(xué)目標與要求掌握:
1.臨床應(yīng)用評價中的“金標準”,2.檢驗項目臨床效能評價的意義及原則,
3.檢驗項目的臨床應(yīng)用評價指標及其特點。熟悉:檢驗項目臨床效能評價的研究設(shè)計方法。了解:提高檢驗項目效率的方法。P67-7622教學(xué)目標與要求掌握:P67-762第三章方法學(xué)選擇與評價知識回顧臨床實驗室方法的選擇與評價,直接影響檢驗結(jié)果的質(zhì)量。實驗方法分為決定性方法、參考方法和常規(guī)方法。參考物質(zhì)分為一級參考物、二級參考物、校準物和質(zhì)控物。常規(guī)方法應(yīng)有完整的分析體系(儀器、試劑、校準物)。其校準物的值能通過一條不間斷的鏈,溯源到國際或國家標準規(guī)定的量值上。3第三章方法學(xué)選擇與評價臨床實驗室方法的選擇與評價,直接影響方法學(xué)評價或驗證實際上是對誤差的評估,即系統(tǒng)誤差和隨機誤差。測量不確定度表明賦予被測量之值的分散性。誤差則是表明測量結(jié)果偏離真值的差值。臨床實驗室選擇方法時考慮方法的準確度、精密度、線性范圍、干擾因素、分析測量范圍和參考區(qū)間等。4方法學(xué)評價或驗證實際上是對誤差的評估,即系統(tǒng)誤差和隨機誤差。方法學(xué)的評價一、準確度的評價二、精密度的評價三、檢測限的評價四、可報告范圍五、參考區(qū)間驗證P555方法學(xué)的評價一、準確度的評價P555第一節(jié)檢驗項目臨床效能評價內(nèi)容和意義第二節(jié)研究設(shè)計第三節(jié)評價方法第四節(jié)提高檢驗項目效率的方法P676第一節(jié)檢驗項目臨床效能評價內(nèi)容和意義P676檢測系統(tǒng):完成一個項目檢測涉及的儀器、試劑、校準品、操作程序、質(zhì)量控制、保養(yǎng)計劃等的組合為檢測系統(tǒng)。若是手工操作,則還必須包括具體操作人員。補充7檢測系統(tǒng):補充7儀器配套試劑操作程序質(zhì)量控制保養(yǎng)計劃手工操作中具體操作人員真空標本采集管配套離心機校準品檢測系統(tǒng)8儀器操作程序質(zhì)量控制保養(yǎng)計劃手工操作中真空標本采集管校第一節(jié)檢驗項目臨床效能評價內(nèi)容和意義新引進的檢驗項目在臨床應(yīng)用時需進行評價:方法學(xué)的評價:技術(shù)性能----保證檢測方法準確可靠;(檢測系統(tǒng)的評價)臨床應(yīng)用價值進行評價:評價結(jié)果對疾病的診療要具有非常重要的意義(針對真實性、可靠性和適用性進行評價)。P679第一節(jié)檢驗項目臨床效能評價內(nèi)容和意義新引進的檢驗項目在臨床一、檢驗項目臨床效能評價的意義對選擇合理、可靠、有效的臨床檢驗項目,正確判斷檢驗結(jié)果對于某疾病診斷的貢獻大小,確定和執(zhí)行合理的醫(yī)療決策(對疾病的診療)具有重要意義。P68AFP對肝癌診斷治療中的作用10一、檢驗項目臨床效能評價的意義對選擇合理、可靠、有效的臨床檢二、檢驗項目臨床應(yīng)用證據(jù)評價原則方法學(xué)評價及臨床應(yīng)用價值評價;遵循循證醫(yī)學(xué)(evidence-basedmedicine,EBM)原則;循證檢驗醫(yī)學(xué)(evidence-basedlaboratorymedicint,EBLM):循證醫(yī)學(xué)的原則在檢驗醫(yī)學(xué)中的應(yīng)用。P68總的評價原則:11二、檢驗項目臨床應(yīng)用證據(jù)評價原則方法學(xué)評價及臨床應(yīng)用價值評價循證檢驗醫(yī)學(xué):(詳見第十二章)就是在大量可靠的臨床應(yīng)用資料和經(jīng)驗的基礎(chǔ)上,研究檢驗項目的臨床應(yīng)用價值,為臨床診斷、療效觀察、病情轉(zhuǎn)歸提供最有效、最實用、最經(jīng)濟的檢驗項目及最合理的組合?!芭R床應(yīng)用資料和經(jīng)驗”即證據(jù):新的、可靠的、有說服力的證據(jù)。P6812循證檢驗醫(yī)學(xué):(詳見第十二章)P6812(一)真實性的評價1.被評價的試驗和標準診斷法進行盲法對比研究標準診斷法:指對某疾病診斷最可靠的方法,通常又稱“金標準”,其可正確的診斷患者是否患有某病或不患有某病,用其評價某一試驗的臨床價值。P68具體的評價原則:別的行不行?不行?。ㄒ唬┱鎸嵭缘脑u價具體的評價原則:13(一)真實性的評價1.被評價的試驗和標準診斷法進行盲法對比研“金標準”通常指的是病原學(xué)檢查、細胞學(xué)檢查、活體組織檢查、尸檢、特殊影像檢查、長期隨訪結(jié)果、臨床專家共同制定被公認的最新診斷標準。實驗方法中的參考方法、決定性方法不是臨床應(yīng)用評價中診斷法的“金標準”,務(wù)必注意。與標準診斷法進行比對,為避免產(chǎn)生的偏倚,必須采用盲法。P6814“金標準”通常指的是病原學(xué)檢查、細胞學(xué)檢查、活體組織檢查、尸2.研究對象的選擇恰當(1)首先是病例組,必須是經(jīng)標準診斷法明確診斷的,且應(yīng)包括各型病例如:早期、中期、晚期病例,治療前、治療后的病例,典型及不典型病例等。舉例:CA125—卵巢癌,胰腺癌
如選擇偏倚,必然產(chǎn)生不正確的結(jié)論,如腫瘤標志物的檢測,僅選用住院晚期患者,診斷敏感度必定估計偏高。P68152.研究對象的選擇恰當P6815(2)對照組:一定包括經(jīng)標準診斷法診斷為無該病患者若只選擇健康人,特異度的估計必然偏高;
還應(yīng)包括無目標疾病病例,尤其選與目標疾病易混淆的病例;同時性別、年齡應(yīng)與病例組相近;按統(tǒng)計學(xué)要求,病例組、對照組樣本量應(yīng)30例以上。P6816(2)對照組:一定包括經(jīng)標準診斷法診斷為無該病患者P68163.參考區(qū)間的確定恰當參考區(qū)間如是作者自己確定的,則要考察其正常人群的選擇、樣本數(shù)量的確定、測定方法的可靠性、數(shù)據(jù)處理等方面是否正確;如是應(yīng)用文獻資料,則應(yīng)考慮是否適合本地區(qū),有無進行驗證。P68173.參考區(qū)間的確定恰當P6817
4.驗證---對原評價進行驗證的問題某試驗應(yīng)用于另一組病例具有相同真實性,實際上就是考察其復(fù)現(xiàn)性。P6818
4.驗證---對原評價進行驗證的問題P6818(二)臨床應(yīng)用意義的評價1.有敏感度、特異度或陽性似然比的計算注意:統(tǒng)計學(xué)上判斷不能代替臨床應(yīng)用意義評價。P682.分層似然比的計算做ROC曲線時,必定要做分層統(tǒng)計,計算不同連續(xù)分組數(shù)據(jù)的靈敏度及特異度。(參閱P73)19(二)臨床應(yīng)用意義的評價1.有敏感度、特異度或陽性似然比的計(三)適用性的評價①該試驗可否推廣應(yīng)用:與方法學(xué)評價中的適用性評價有所區(qū)別,此處更注重對疾病診療中的臨床應(yīng)用;②患者的驗前概率能否合理估算;③驗后概率是否對患者處理有幫助。P6920(三)適用性的評價①該試驗可否推廣應(yīng)用:與方法學(xué)評價中的適適用性評價:儀器設(shè)備、試劑的費用多少、來源、操作難度及效率、效益、效能、不良反應(yīng)、對患者的危險性、患者的依從性等。首先評價:該項目是否有利于疾病的診斷、治療和預(yù)防策略,得到最佳健康服務(wù)結(jié)果。其次考慮經(jīng)濟效益:若某檢驗項目雖然技術(shù)和診斷性能好,具有好的臨床效能,但所需費用昂貴,也降低了其實用性。P6921適用性評價:儀器設(shè)備、試劑的費用多少、來源、操作難度及效率、第二節(jié)檢驗項目臨床效能評價研究設(shè)計一、確定研究目標二、樣本的總體和抽樣計劃三、金標準和評價指標四、估算樣本量和避免偏倚22第二節(jié)檢驗項目臨床效能評價研究設(shè)計一、確定研究目標22①評價的項目;
②觀察內(nèi)容;
③該研究的臨床實際意義;
④這是一個新項目、新應(yīng)用成熟的項目,還是已應(yīng)用成熟的項目;
⑤已有類似的或可以與之競爭的項目。一、確定研究目標,并清楚地闡明研究目標P6923①評價的項目;
②觀察內(nèi)容;
③該研究的臨床實際意義;二、樣本的總體和抽樣計劃研究的樣本總體要考慮患者的分布特征,如:人口統(tǒng)計學(xué)、癥狀體征、合并癥以及疾病的階段、程度、部位等,也應(yīng)包含不同臨床機構(gòu)或地理位置的患者。P6924二、樣本的總體和抽樣計劃研究的樣本總體P6924病例組:即被金標準證實的患者對照組:金標準證實為未患該病的人,對照組可以是健康者或其他疾病的患者。
P692.抽樣計劃
用于評價的受試對象包括兩組:25P692.抽樣計劃251.探索研究階段:
對每個患者采用回顧性抽樣,其真實疾病從試驗記錄和疾病登記資料得到。
2.挑戰(zhàn)研究階段:仔細考慮目標患者總體特征頻譜,重點考慮目標患者病理學(xué)、臨床表現(xiàn)、合并癥。
3.臨床研究階段:患者樣本必須真實代表樣本總體。抽樣時需要考慮不同的研究階段P69261.探索研究階段:對每個患者采用回顧性抽樣,其真實三、金標準和評價指標金標準(goldstandard)是指被公認的診斷疾病的最可靠的方法,如病理診斷常常被作為腫瘤診斷的金標準。金標準能正確地區(qū)分受試者患病與否,若金標準選擇不妥,可能會造成錯誤分類,影響對該臨床檢驗項目的正確評價。
P6927三、金標準和評價指標金標準(goldstandard)是指最基本的指標:靈敏度和特異度綜合指標:準確度、尤登指數(shù)、似然比,患病率的預(yù)測值,受試者工作特征曲線等。評價指標P7028最基本的指標:靈敏度和特異度評價指標P7028四、估算樣本量和避免偏倚
每個檢驗項目的敏感度及特異度均是穩(wěn)定的指標。按照估計總體率樣本含量估算方法,計算病例組樣本含量n1,對照組樣本含量n2,△為容許誤差。P7029四、估算樣本量和避免偏倚每個檢驗項目的敏感度及特異度均是穩(wěn)通過選擇可靠的金標準嚴格地選擇研究對象以盲法同步用被評價檢驗項目測試研究對象以避免信息偏倚同時應(yīng)注意統(tǒng)計學(xué)的正確使用P7030通過選擇可靠的金標準P7030第三節(jié)檢驗項目臨床效能評價方法一、靈敏度和特異度二、預(yù)測值和似然比三、ROC曲線分析四、臨床應(yīng)用評價指標的綜合分析P7031第三節(jié)檢驗項目臨床效能評價方法一、靈敏度和特異度P703檢驗項目臨床效能評價指標:①靈敏度②特異度③預(yù)測值(含陽性預(yù)測值及陰性預(yù)測值)④診斷指數(shù)⑤診斷效率(含陽性似然比及陰性似然比)P7032檢驗項目臨床效能評價指標:P7032
金標準
有病無病合計
陽性真陽性(a)假陽性(b)a+b
陰性假陰性(c)真陰性(d)c+d
合計a+c
b+d
a+b+c+d
P70一、敏感度和特異度1.四格表的應(yīng)用診斷性試驗33
靈敏度(sensitivity,SEN)=a/(a+c)
特異度(specificity,SPE)=d/(b+d)
陽性預(yù)測值=a/(a+b)
陰性預(yù)測值=d/(c+d)
診斷指數(shù)=敏感度+特異度
診斷效率(準確度)=(a+d)/(a+b+c+d)100%
陽性似然比=敏感度/(1-特異度)
陰性似然比=(1-敏感度)/特異度
2.診斷性試驗評價指標的計算P7034靈敏度(sensitivity,SEN)=a/(a+c)
特是診斷試驗?zāi)軐嶋H有病的人正確地判為患者的能力,即患者被判為陽性的概率。診斷試驗結(jié)果為陽性的患者與在金標準診斷為患者間的比例。反映檢出患者的能力,該值越大,漏診病例(漏診率)越少。
靈敏度(SEN)=真陽性/(真陽性+假陰性)×100%P71(1)靈敏度(sensitivity)又稱真陽性率(truepositiverate,TPR)診斷性試驗的靈敏度35是診斷試驗?zāi)軐嶋H有病的人正確地判為患者的能力,即患者被判為是診斷試驗?zāi)軐嶋H“無病”的人正確地判為無病的能力,即無病者被判為陰性的概率。診斷試驗結(jié)果為陰性的無病者與在金標準診斷為無病者間的比例。反映檢出未患病者的能力,真陰性例數(shù)越多,則特異度越高,誤診病例(誤診率)越少特異度(SPE)=真陰性/(真陰性+假陽性)×100%P71(2)特異度(specificity),又稱真陰性率(truenegativerate,TNR)36是診斷試驗?zāi)軐嶋H“無病”的人正確地判為無病的能力,即無病者敏感度與特異度:評價真實性的基本指標。理論上:一項理想的檢驗項目其靈敏度、特異度最好均為100%,即假陽性與假陰性均為零,無一漏診與誤診。實際上:靈敏度和特異度是矛盾的統(tǒng)一體,二者存在交叉區(qū)域,隨著診斷分界點的變化而變化。P7137敏感度與特異度:評價真實性的基本指標。P7137病例組診斷界點對照組漏診率(β)誤診率(α)特異度(1-α)靈敏度(1-β)靈敏度與特異度的關(guān)系P71對照組漏診率(β)
診斷界點病例組誤診率(α)
特異度(1-α)
靈敏度(1-β)
38病例組診斷界點對照組漏診率(β)
測定值D正常人患者頻數(shù)DFNFP測定值正常人患者頻數(shù)TNTP3.診斷分界點理想模式:取中間一點(D點)分界值假陽性和假陰性均為O(沒有重疊)?,F(xiàn)實:許多檢驗項目健康人與患者結(jié)果分布有交叉。理想的檢驗項目健康群體與患者群體分布實際的檢驗項目健康群體與患者群體分布P71正常人正常人患者患者39
測定值D正常人患者分界值的高低直接影響檢驗項目診斷性試驗評價指標。先初步確定幾個分界值:分別計算真陽性、真陰性、假陽性、假陰性數(shù)值,進一步計算診斷靈敏度、診斷特異度等指標最后根據(jù)早期診斷、療效觀察、流行病學(xué)調(diào)查等各種不同目的確定分界值。P7140分界值的高低直接影響檢驗項目診斷性試驗評價指標。P71404.尤登指數(shù)尤登指數(shù)(Youden’sindex)又稱正確指數(shù),是指靈敏度和特異度之和減去1。計算公式為:尤登指數(shù)=(靈敏度+特異度)-1P72是綜合評價真實性的指標,理想的試驗應(yīng)為l。414.尤登指數(shù)P72是綜合評價真實性的指標,理想的試驗應(yīng)為l。二、似然比和預(yù)測值表達的是患某種疾病患者所測定不同結(jié)果范圍中,患該病與不患該病的比值。只有陽性、陰性結(jié)果時,一般分陽性似然比及陰性似然比兩種。P721.似然比(likelihoodratio,LR)42二、似然比和預(yù)測值表達的是患某種疾病患者所測定不同結(jié)果范圍中(1)陽性似然比(+LR):真陽性率(TPR)與假陽性率(FPR)的比值。當就診者的該診斷性試驗結(jié)果為陽性時,其患病與不患病的機會比,顯然陽性似然比的值越高,檢驗結(jié)果陽性時,診斷為某病的概率越大,該檢測方法確診疾病的能力就越強。陽性似然比=真陽性率/假陽性率=靈敏度/(1-特異度)P7243(1)陽性似然比(+LR):真陽性率(TPR)與假陽性率(F(2)陰性似然比(-LR):假陰性率(FNR)與真陰性率(TNR)的比值。當某就診者的該診斷性試驗結(jié)果為陰性時,其患病與不患病的機會比。顯然陰性似然比越小,則檢驗結(jié)果陰性時,患某病的概率越小,該檢測方法排除疾病的能力就越好。陰性似然比=假陰性率/真陰性率=(1-靈敏度)/特異度P7244(2)陰性似然比(-LR):假陰性率(FNR)與真陰性率(2.預(yù)測值(predictivevalue,PV)是表示診斷試驗?zāi)茏龀稣_判斷的概率,又分為:陽性預(yù)測值(positivepredictivevalue,PPV)陰性預(yù)測值(negativepredictivevalue,NPV)P72452.預(yù)測值(predictivevalue,PV)P72陽性預(yù)測值:是指真陽性人數(shù)占診斷試驗結(jié)果陽性人數(shù)百分比。
表示試驗結(jié)果陽性者屬于真病例概率。陰性預(yù)測值:是指真陰性人數(shù)占試驗結(jié)果陰性人數(shù)的百分比。表示試驗結(jié)果陰性者屬于非病例的概率。
P7246陽性預(yù)測值:是指真陽性人數(shù)占診斷試驗結(jié)果陽性人數(shù)百分比。
試驗的靈敏度愈高,陽性預(yù)測值就越高;
特異度越高的試驗,陰性預(yù)測值就越好檢驗項目的靈敏度和特異度并不能完全決定檢驗的陽性預(yù)測值。與人群某病的患病率有關(guān),患病率低則相對抽樣標本中的陽性預(yù)測值就低,只有足夠大的樣本才可能與總體相近。P7247試驗的靈敏度愈高,陽性預(yù)測值就越高;
特異度越高的試驗,三、ROC曲線分析ROC是受試者工作特征曲線(receiveroperatingcharacteristiccurve,ROC)又稱相對工作特性曲線原來是雷達屏幕上通過飛行物的回響來判斷飛行物的一種方法。做臨界值的判斷及不同試驗臨床價值的比較。P7348三、ROC曲線分析ROC是受試者工作特征曲線(receive首先要將測定結(jié)果分層,計算各層敏感度及特異度,然后以真陽性率(敏感度)為縱坐標,假陽性率(1-特異度)為橫坐標,將各層結(jié)果繪圖,連接各點使成曲線。其中離左上角最近的一點,即其臨界值。ROC曲線繪制步驟P7349首先要將測定結(jié)果分層,計算各層敏感度及特異度,ROC曲線繪制ROC曲線圖P7450ROC曲線圖P7450ROC曲線圖還可比較兩種診斷試驗臨床價值。其原則是曲線下覆蓋面積越大臨床價值越大。甲法比乙法臨床價值要大。ROC比較示意圖P7451ROC曲線圖還可比較兩種診斷試驗臨床價值。其原則是曲線下覆蓋(1)選擇最佳分界值:取ROC曲線上的拐點作為分界值將會得到最大的準確性,但是必須結(jié)合似然比、尤登指數(shù)以及篩查和確診等試驗?zāi)康木C合確定。
(2)診斷效率分析:利用曲線下的面積來評價不同檢驗項目或不同檢測方法對某種疾病的診斷價值。
(3)對檢驗結(jié)果的評價:靈敏度和特異度隨著診斷分界點的升高或降低而變化。ROC曲線的臨床應(yīng)用P7352(1)選擇最佳分界值:取ROC曲線上的拐點作為分界值將臨床檢驗中若有多個獨立的同類檢驗項目結(jié)果合并成sROC曲線(summaryROCcurve,sROC)
該法與Meta分析方法的原理相同Meta分析的目的是對多個同類獨立研究的結(jié)果進行匯總和合并分析,以達到增大樣本含量,提高檢驗效能的目的當多個研究結(jié)果不一致或都無統(tǒng)計學(xué)意義時,用Meta分析可得到更加接近真實情況的統(tǒng)計分析結(jié)果
P7453臨床檢驗中若有多個獨立的同類檢驗項目結(jié)果合并成sROC曲線(四、臨床應(yīng)用評價指標綜合分析1.特異度、靈敏度,兩個最重要的指標。
其他評價指標都可用它們來推導(dǎo)。缺少這兩個指標,該檢驗項目無法進行評價。在撰寫和評價論文,在引進或評價一項新檢驗項目,這兩個指標必須具備可供分析的資料。P7454四、臨床應(yīng)用評價指標綜合分析1.特異度、靈敏度,兩個最重要
2.陽性及陰性預(yù)測值是指導(dǎo)臨床診斷時比靈敏度、特異度更直觀、更容易理解的指標,應(yīng)用廣泛。當患者的檢驗結(jié)果為陽性時,必須參考該檢驗項目的陽性預(yù)測值,結(jié)果為陰性時必須參考其陰性預(yù)測值。在實驗設(shè)計中,疾病組與對照組的樣本組成有所變化時,可以影響到預(yù)測值的大小,造成誤解。P7455
2.陽性及陰性預(yù)測值是指導(dǎo)臨床診斷時比靈敏度、特異度更
3.準確性、尤登指數(shù)及診斷效率是綜合靈敏度、特異度計算出來的。原認為是很好的評價指標,實際上是很有限。舉例:如甲、乙兩個試驗靈敏度分別為80%、95%,而特異度分別為95%、80%,上述指標結(jié)果是相同或相近的[尤登指數(shù)=(0.8+0.95)-1=0.75],但這兩個試驗臨床應(yīng)用價值是不同的,甲試驗可能在確診時更有價值,乙試驗用于篩查更好。P7456
3.準確性、尤登指數(shù)及診斷效率是綜合靈敏度、特異度計算
4.似然比表達的是在某一檢驗項目的某個數(shù)值范圍內(nèi)患有或不患有某種疾病的概率。似然比是將靈敏度及特異度較好結(jié)合起來的指標。陽性似然比數(shù)值越大,當試驗結(jié)果陽性時,診斷某病可能性越大。陰性似然比數(shù)值越小,當試驗正常時(陰性),患某病可能性越小。P7457
4.似然比表達的是在某一檢驗項目的某個數(shù)值范圍內(nèi)患有或不5.ROC分析方法目前公認的評價準確度的標準方法。在循證醫(yī)學(xué)、臨床試驗、臨床檢驗、統(tǒng)計模型好壞的判別等方面具有十分重要的應(yīng)用價值。P74585.ROC分析方法P7458第四節(jié)
提高檢驗項目效率的方法
一、選擇患病率高的人群二、采用聯(lián)合試驗的方法P7559第四節(jié)
提高檢驗項目效率的方法
一、選擇患病率高的人群P
檢驗項目的靈敏度與特異度是相對固定的;人群患病率水平對一項檢驗項目陽性預(yù)測值的影響卻很大;如果將一項檢驗項目用于患病率低的人群,則陽性預(yù)測值較低;若將其用于高危人群,則可明顯提高陽性預(yù)測值。一、選擇患病率高的人群P7560
檢驗項目的靈敏度與特異度是相對固定的;一、選擇患病率高的二、采用聯(lián)合試驗的方法1.并聯(lián)試驗(paralleltest)
又稱平行試驗,只要一種試驗是陽性即判斷“異?!?,并聯(lián)試驗提高了敏感度,降低了特異度。并聯(lián)試驗敏感度=敏感度甲+(1-敏感度甲)×敏感度乙并聯(lián)試驗特異度=特異度甲×特異度乙
P7561二、采用聯(lián)合試驗的方法1.并聯(lián)試驗(paralleltes如有三種試驗聯(lián)合應(yīng)用(1)先計算甲、乙兩種試驗并聯(lián)試驗的敏感度(即敏感度甲+乙)(2)再計算三種試驗聯(lián)合應(yīng)用時的敏感度。
(設(shè)為敏感度(甲+乙+丙))敏感度(甲+乙+丙)=敏感度(甲+乙)+(1-敏感度甲+乙)×敏感度丙(3)三種試驗聯(lián)合應(yīng)用時的特異度計算公式
特異度甲+乙+丙=特異度甲×特異度乙×特異度丙
P7562如有三種試驗聯(lián)合應(yīng)用P75622.串聯(lián)試驗(serialtest):又稱序列試驗,所有試驗皆陽性才判為“異?!?,這種聯(lián)合是提高了特異度,降低了敏感度。敏感度(甲+乙)
=敏感度甲×敏感度乙
特異度(甲+乙)
=特異度甲+(1-特異度甲)×特異度乙
P75632.串聯(lián)試驗(serialtest):又稱序列試驗,所有試如有三種試驗聯(lián)合應(yīng)用時(1)敏感度甲+乙+丙
=敏感度甲×敏感度乙×敏感度丙(2)特異度(甲+乙+丙)=特異度(甲+乙)+(1-特異度(甲+乙))×特異度丙更多種試驗聯(lián)合應(yīng)用時,其平行試驗、序列試驗之敏感度可按同理進行計算。P7664如有三種試驗聯(lián)合應(yīng)用時P7664本章小結(jié)對檢驗項目臨床應(yīng)用價值評價,對其真實性、可靠性和實用性進行科學(xué)的客觀的評價。評價指標主要是靈敏度、特異性、預(yù)測值、似然比、ROC曲線等。臨床效能評價首先要確定研究目標,有抽樣計劃,必須嚴格選擇金標準診斷方法,了解預(yù)測值與患病率的相互關(guān)系。診斷分界點是平衡靈敏度和特異性的砝碼,采用ROC曲線找到合適的診斷分界點和最大的診斷效能。通過聯(lián)合試驗來提高診斷效率。65本章小結(jié)對檢驗項目臨床應(yīng)用價值評價,對其真實性、可靠性和實用1.周新,府偉靈.臨床生物化學(xué)與檢驗指導(dǎo)(第4版).北京:人民衛(wèi)生出版社,2008.2.錢士勻.臨床生物化學(xué)與檢驗指導(dǎo)(第4版).北京:人民衛(wèi)生出版社,2011.3.壟道元,趙建宏.臨床實驗室管理學(xué)[M].武漢:華中科技大學(xué)出版社,2014.4./
參考資料661.周新,府偉靈.臨床生物化學(xué)與檢驗指導(dǎo)(第4版).北
檢驗項目的臨床效能評價P7-7667檢驗項目的臨床效能評價P7-76168教學(xué)目標與要求掌握:
1.臨床應(yīng)用評價中的“金標準”,2.檢驗項目臨床效能評價的意義及原則,
3.檢驗項目的臨床應(yīng)用評價指標及其特點。熟悉:檢驗項目臨床效能評價的研究設(shè)計方法。了解:提高檢驗項目效率的方法。P67-76682教學(xué)目標與要求掌握:P67-762第三章方法學(xué)選擇與評價知識回顧臨床實驗室方法的選擇與評價,直接影響檢驗結(jié)果的質(zhì)量。實驗方法分為決定性方法、參考方法和常規(guī)方法。參考物質(zhì)分為一級參考物、二級參考物、校準物和質(zhì)控物。常規(guī)方法應(yīng)有完整的分析體系(儀器、試劑、校準物)。其校準物的值能通過一條不間斷的鏈,溯源到國際或國家標準規(guī)定的量值上。69第三章方法學(xué)選擇與評價臨床實驗室方法的選擇與評價,直接影響方法學(xué)評價或驗證實際上是對誤差的評估,即系統(tǒng)誤差和隨機誤差。測量不確定度表明賦予被測量之值的分散性。誤差則是表明測量結(jié)果偏離真值的差值。臨床實驗室選擇方法時考慮方法的準確度、精密度、線性范圍、干擾因素、分析測量范圍和參考區(qū)間等。70方法學(xué)評價或驗證實際上是對誤差的評估,即系統(tǒng)誤差和隨機誤差。方法學(xué)的評價一、準確度的評價二、精密度的評價三、檢測限的評價四、可報告范圍五、參考區(qū)間驗證P5571方法學(xué)的評價一、準確度的評價P555第一節(jié)檢驗項目臨床效能評價內(nèi)容和意義第二節(jié)研究設(shè)計第三節(jié)評價方法第四節(jié)提高檢驗項目效率的方法P6772第一節(jié)檢驗項目臨床效能評價內(nèi)容和意義P676檢測系統(tǒng):完成一個項目檢測涉及的儀器、試劑、校準品、操作程序、質(zhì)量控制、保養(yǎng)計劃等的組合為檢測系統(tǒng)。若是手工操作,則還必須包括具體操作人員。補充73檢測系統(tǒng):補充7儀器配套試劑操作程序質(zhì)量控制保養(yǎng)計劃手工操作中具體操作人員真空標本采集管配套離心機校準品檢測系統(tǒng)74儀器操作程序質(zhì)量控制保養(yǎng)計劃手工操作中真空標本采集管校第一節(jié)檢驗項目臨床效能評價內(nèi)容和意義新引進的檢驗項目在臨床應(yīng)用時需進行評價:方法學(xué)的評價:技術(shù)性能----保證檢測方法準確可靠;(檢測系統(tǒng)的評價)臨床應(yīng)用價值進行評價:評價結(jié)果對疾病的診療要具有非常重要的意義(針對真實性、可靠性和適用性進行評價)。P6775第一節(jié)檢驗項目臨床效能評價內(nèi)容和意義新引進的檢驗項目在臨床一、檢驗項目臨床效能評價的意義對選擇合理、可靠、有效的臨床檢驗項目,正確判斷檢驗結(jié)果對于某疾病診斷的貢獻大小,確定和執(zhí)行合理的醫(yī)療決策(對疾病的診療)具有重要意義。P68AFP對肝癌診斷治療中的作用76一、檢驗項目臨床效能評價的意義對選擇合理、可靠、有效的臨床檢二、檢驗項目臨床應(yīng)用證據(jù)評價原則方法學(xué)評價及臨床應(yīng)用價值評價;遵循循證醫(yī)學(xué)(evidence-basedmedicine,EBM)原則;循證檢驗醫(yī)學(xué)(evidence-basedlaboratorymedicint,EBLM):循證醫(yī)學(xué)的原則在檢驗醫(yī)學(xué)中的應(yīng)用。P68總的評價原則:77二、檢驗項目臨床應(yīng)用證據(jù)評價原則方法學(xué)評價及臨床應(yīng)用價值評價循證檢驗醫(yī)學(xué):(詳見第十二章)就是在大量可靠的臨床應(yīng)用資料和經(jīng)驗的基礎(chǔ)上,研究檢驗項目的臨床應(yīng)用價值,為臨床診斷、療效觀察、病情轉(zhuǎn)歸提供最有效、最實用、最經(jīng)濟的檢驗項目及最合理的組合。“臨床應(yīng)用資料和經(jīng)驗”即證據(jù):新的、可靠的、有說服力的證據(jù)。P6878循證檢驗醫(yī)學(xué):(詳見第十二章)P6812(一)真實性的評價1.被評價的試驗和標準診斷法進行盲法對比研究標準診斷法:指對某疾病診斷最可靠的方法,通常又稱“金標準”,其可正確的診斷患者是否患有某病或不患有某病,用其評價某一試驗的臨床價值。P68具體的評價原則:別的行不行?不行!(一)真實性的評價具體的評價原則:79(一)真實性的評價1.被評價的試驗和標準診斷法進行盲法對比研“金標準”通常指的是病原學(xué)檢查、細胞學(xué)檢查、活體組織檢查、尸檢、特殊影像檢查、長期隨訪結(jié)果、臨床專家共同制定被公認的最新診斷標準。實驗方法中的參考方法、決定性方法不是臨床應(yīng)用評價中診斷法的“金標準”,務(wù)必注意。與標準診斷法進行比對,為避免產(chǎn)生的偏倚,必須采用盲法。P6880“金標準”通常指的是病原學(xué)檢查、細胞學(xué)檢查、活體組織檢查、尸2.研究對象的選擇恰當(1)首先是病例組,必須是經(jīng)標準診斷法明確診斷的,且應(yīng)包括各型病例如:早期、中期、晚期病例,治療前、治療后的病例,典型及不典型病例等。舉例:CA125—卵巢癌,胰腺癌
如選擇偏倚,必然產(chǎn)生不正確的結(jié)論,如腫瘤標志物的檢測,僅選用住院晚期患者,診斷敏感度必定估計偏高。P68812.研究對象的選擇恰當P6815(2)對照組:一定包括經(jīng)標準診斷法診斷為無該病患者若只選擇健康人,特異度的估計必然偏高;
還應(yīng)包括無目標疾病病例,尤其選與目標疾病易混淆的病例;同時性別、年齡應(yīng)與病例組相近;按統(tǒng)計學(xué)要求,病例組、對照組樣本量應(yīng)30例以上。P6882(2)對照組:一定包括經(jīng)標準診斷法診斷為無該病患者P68163.參考區(qū)間的確定恰當參考區(qū)間如是作者自己確定的,則要考察其正常人群的選擇、樣本數(shù)量的確定、測定方法的可靠性、數(shù)據(jù)處理等方面是否正確;如是應(yīng)用文獻資料,則應(yīng)考慮是否適合本地區(qū),有無進行驗證。P68833.參考區(qū)間的確定恰當P6817
4.驗證---對原評價進行驗證的問題某試驗應(yīng)用于另一組病例具有相同真實性,實際上就是考察其復(fù)現(xiàn)性。P6884
4.驗證---對原評價進行驗證的問題P6818(二)臨床應(yīng)用意義的評價1.有敏感度、特異度或陽性似然比的計算注意:統(tǒng)計學(xué)上判斷不能代替臨床應(yīng)用意義評價。P682.分層似然比的計算做ROC曲線時,必定要做分層統(tǒng)計,計算不同連續(xù)分組數(shù)據(jù)的靈敏度及特異度。(參閱P73)85(二)臨床應(yīng)用意義的評價1.有敏感度、特異度或陽性似然比的計(三)適用性的評價①該試驗可否推廣應(yīng)用:與方法學(xué)評價中的適用性評價有所區(qū)別,此處更注重對疾病診療中的臨床應(yīng)用;②患者的驗前概率能否合理估算;③驗后概率是否對患者處理有幫助。P6986(三)適用性的評價①該試驗可否推廣應(yīng)用:與方法學(xué)評價中的適適用性評價:儀器設(shè)備、試劑的費用多少、來源、操作難度及效率、效益、效能、不良反應(yīng)、對患者的危險性、患者的依從性等。首先評價:該項目是否有利于疾病的診斷、治療和預(yù)防策略,得到最佳健康服務(wù)結(jié)果。其次考慮經(jīng)濟效益:若某檢驗項目雖然技術(shù)和診斷性能好,具有好的臨床效能,但所需費用昂貴,也降低了其實用性。P6987適用性評價:儀器設(shè)備、試劑的費用多少、來源、操作難度及效率、第二節(jié)檢驗項目臨床效能評價研究設(shè)計一、確定研究目標二、樣本的總體和抽樣計劃三、金標準和評價指標四、估算樣本量和避免偏倚88第二節(jié)檢驗項目臨床效能評價研究設(shè)計一、確定研究目標22①評價的項目;
②觀察內(nèi)容;
③該研究的臨床實際意義;
④這是一個新項目、新應(yīng)用成熟的項目,還是已應(yīng)用成熟的項目;
⑤已有類似的或可以與之競爭的項目。一、確定研究目標,并清楚地闡明研究目標P6989①評價的項目;
②觀察內(nèi)容;
③該研究的臨床實際意義;二、樣本的總體和抽樣計劃研究的樣本總體要考慮患者的分布特征,如:人口統(tǒng)計學(xué)、癥狀體征、合并癥以及疾病的階段、程度、部位等,也應(yīng)包含不同臨床機構(gòu)或地理位置的患者。P6990二、樣本的總體和抽樣計劃研究的樣本總體P6924病例組:即被金標準證實的患者對照組:金標準證實為未患該病的人,對照組可以是健康者或其他疾病的患者。
P692.抽樣計劃
用于評價的受試對象包括兩組:91P692.抽樣計劃251.探索研究階段:
對每個患者采用回顧性抽樣,其真實疾病從試驗記錄和疾病登記資料得到。
2.挑戰(zhàn)研究階段:仔細考慮目標患者總體特征頻譜,重點考慮目標患者病理學(xué)、臨床表現(xiàn)、合并癥。
3.臨床研究階段:患者樣本必須真實代表樣本總體。抽樣時需要考慮不同的研究階段P69921.探索研究階段:對每個患者采用回顧性抽樣,其真實三、金標準和評價指標金標準(goldstandard)是指被公認的診斷疾病的最可靠的方法,如病理診斷常常被作為腫瘤診斷的金標準。金標準能正確地區(qū)分受試者患病與否,若金標準選擇不妥,可能會造成錯誤分類,影響對該臨床檢驗項目的正確評價。
P6993三、金標準和評價指標金標準(goldstandard)是指最基本的指標:靈敏度和特異度綜合指標:準確度、尤登指數(shù)、似然比,患病率的預(yù)測值,受試者工作特征曲線等。評價指標P7094最基本的指標:靈敏度和特異度評價指標P7028四、估算樣本量和避免偏倚
每個檢驗項目的敏感度及特異度均是穩(wěn)定的指標。按照估計總體率樣本含量估算方法,計算病例組樣本含量n1,對照組樣本含量n2,△為容許誤差。P7095四、估算樣本量和避免偏倚每個檢驗項目的敏感度及特異度均是穩(wěn)通過選擇可靠的金標準嚴格地選擇研究對象以盲法同步用被評價檢驗項目測試研究對象以避免信息偏倚同時應(yīng)注意統(tǒng)計學(xué)的正確使用P7096通過選擇可靠的金標準P7030第三節(jié)檢驗項目臨床效能評價方法一、靈敏度和特異度二、預(yù)測值和似然比三、ROC曲線分析四、臨床應(yīng)用評價指標的綜合分析P7097第三節(jié)檢驗項目臨床效能評價方法一、靈敏度和特異度P703檢驗項目臨床效能評價指標:①靈敏度②特異度③預(yù)測值(含陽性預(yù)測值及陰性預(yù)測值)④診斷指數(shù)⑤診斷效率(含陽性似然比及陰性似然比)P7098檢驗項目臨床效能評價指標:P7032
金標準
有病無病合計
陽性真陽性(a)假陽性(b)a+b
陰性假陰性(c)真陰性(d)c+d
合計a+c
b+d
a+b+c+d
P70一、敏感度和特異度1.四格表的應(yīng)用診斷性試驗99
靈敏度(sensitivity,SEN)=a/(a+c)
特異度(specificity,SPE)=d/(b+d)
陽性預(yù)測值=a/(a+b)
陰性預(yù)測值=d/(c+d)
診斷指數(shù)=敏感度+特異度
診斷效率(準確度)=(a+d)/(a+b+c+d)100%
陽性似然比=敏感度/(1-特異度)
陰性似然比=(1-敏感度)/特異度
2.診斷性試驗評價指標的計算P70100靈敏度(sensitivity,SEN)=a/(a+c)
特是診斷試驗?zāi)軐嶋H有病的人正確地判為患者的能力,即患者被判為陽性的概率。診斷試驗結(jié)果為陽性的患者與在金標準診斷為患者間的比例。反映檢出患者的能力,該值越大,漏診病例(漏診率)越少。
靈敏度(SEN)=真陽性/(真陽性+假陰性)×100%P71(1)靈敏度(sensitivity)又稱真陽性率(truepositiverate,TPR)診斷性試驗的靈敏度101是診斷試驗?zāi)軐嶋H有病的人正確地判為患者的能力,即患者被判為是診斷試驗?zāi)軐嶋H“無病”的人正確地判為無病的能力,即無病者被判為陰性的概率。診斷試驗結(jié)果為陰性的無病者與在金標準診斷為無病者間的比例。反映檢出未患病者的能力,真陰性例數(shù)越多,則特異度越高,誤診病例(誤診率)越少特異度(SPE)=真陰性/(真陰性+假陽性)×100%P71(2)特異度(specificity),又稱真陰性率(truenegativerate,TNR)102是診斷試驗?zāi)軐嶋H“無病”的人正確地判為無病的能力,即無病者敏感度與特異度:評價真實性的基本指標。理論上:一項理想的檢驗項目其靈敏度、特異度最好均為100%,即假陽性與假陰性均為零,無一漏診與誤診。實際上:靈敏度和特異度是矛盾的統(tǒng)一體,二者存在交叉區(qū)域,隨著診斷分界點的變化而變化。P71103敏感度與特異度:評價真實性的基本指標。P7137病例組診斷界點對照組漏診率(β)誤診率(α)特異度(1-α)靈敏度(1-β)靈敏度與特異度的關(guān)系P71對照組漏診率(β)
診斷界點病例組誤診率(α)
特異度(1-α)
靈敏度(1-β)
104病例組診斷界點對照組漏診率(β)
測定值D正常人患者頻數(shù)DFNFP測定值正常人患者頻數(shù)TNTP3.診斷分界點理想模式:取中間一點(D點)分界值假陽性和假陰性均為O(沒有重疊)?,F(xiàn)實:許多檢驗項目健康人與患者結(jié)果分布有交叉。理想的檢驗項目健康群體與患者群體分布實際的檢驗項目健康群體與患者群體分布P71正常人正常人患者患者105
測定值D正常人患者分界值的高低直接影響檢驗項目診斷性試驗評價指標。先初步確定幾個分界值:分別計算真陽性、真陰性、假陽性、假陰性數(shù)值,進一步計算診斷靈敏度、診斷特異度等指標最后根據(jù)早期診斷、療效觀察、流行病學(xué)調(diào)查等各種不同目的確定分界值。P71106分界值的高低直接影響檢驗項目診斷性試驗評價指標。P71404.尤登指數(shù)尤登指數(shù)(Youden’sindex)又稱正確指數(shù),是指靈敏度和特異度之和減去1。計算公式為:尤登指數(shù)=(靈敏度+特異度)-1P72是綜合評價真實性的指標,理想的試驗應(yīng)為l。1074.尤登指數(shù)P72是綜合評價真實性的指標,理想的試驗應(yīng)為l。二、似然比和預(yù)測值表達的是患某種疾病患者所測定不同結(jié)果范圍中,患該病與不患該病的比值。只有陽性、陰性結(jié)果時,一般分陽性似然比及陰性似然比兩種。P721.似然比(likelihoodratio,LR)108二、似然比和預(yù)測值表達的是患某種疾病患者所測定不同結(jié)果范圍中(1)陽性似然比(+LR):真陽性率(TPR)與假陽性率(FPR)的比值。當就診者的該診斷性試驗結(jié)果為陽性時,其患病與不患病的機會比,顯然陽性似然比的值越高,檢驗結(jié)果陽性時,診斷為某病的概率越大,該檢測方法確診疾病的能力就越強。陽性似然比=真陽性率/假陽性率=靈敏度/(1-特異度)P72109(1)陽性似然比(+LR):真陽性率(TPR)與假陽性率(F(2)陰性似然比(-LR):假陰性率(FNR)與真陰性率(TNR)的比值。當某就診者的該診斷性試驗結(jié)果為陰性時,其患病與不患病的機會比。顯然陰性似然比越小,則檢驗結(jié)果陰性時,患某病的概率越小,該檢測方法排除疾病的能力就越好。陰性似然比=假陰性率/真陰性率=(1-靈敏度)/特異度P72110(2)陰性似然比(-LR):假陰性率(FNR)與真陰性率(2.預(yù)測值(predictivevalue,PV)是表示診斷試驗?zāi)茏龀稣_判斷的概率,又分為:陽性預(yù)測值(positivepredictivevalue,PPV)陰性預(yù)測值(negativepredictivevalue,NPV)P721112.預(yù)測值(predictivevalue,PV)P72陽性預(yù)測值:是指真陽性人數(shù)占診斷試驗結(jié)果陽性人數(shù)百分比。
表示試驗結(jié)果陽性者屬于真病例概率。陰性預(yù)測值:是指真陰性人數(shù)占試驗結(jié)果陰性人數(shù)的百分比。表示試驗結(jié)果陰性者屬于非病例的概率。
P72112陽性預(yù)測值:是指真陽性人數(shù)占診斷試驗結(jié)果陽性人數(shù)百分比。
試驗的靈敏度愈高,陽性預(yù)測值就越高;
特異度越高的試驗,陰性預(yù)測值就越好檢驗項目的靈敏度和特異度并不能完全決定檢驗的陽性預(yù)測值。與人群某病的患病率有關(guān),患病率低則相對抽樣標本中的陽性預(yù)測值就低,只有足夠大的樣本才可能與總體相近。P72113試驗的靈敏度愈高,陽性預(yù)測值就越高;
特異度越高的試驗,三、ROC曲線分析ROC是受試者工作特征曲線(receiveroperatingcharacteristiccurve,ROC)又稱相對工作特性曲線原來是雷達屏幕上通過飛行物的回響來判斷飛行物的一種方法。做臨界值的判斷及不同試驗臨床價值的比較。P73114三、ROC曲線分析ROC是受試者工作特征曲線(receive首先要將測定結(jié)果分層,計算各層敏感度及特異度,然后以真陽性率(敏感度)為縱坐標,假陽性率(1-特異度)為橫坐標,將各層結(jié)果繪圖,連接各點使成曲線。其中離左上角最近的一點,即其臨界值。ROC曲線繪制步驟P73115首先要將測定結(jié)果分層,計算各層敏感度及特異度,ROC曲線繪制ROC曲線圖P74116ROC曲線圖P7450ROC曲線圖還可比較兩種診斷試驗臨床價值。其原則是曲線下覆蓋面積越大臨床價值越大。甲法比乙法臨床價值要大。ROC比較示意圖P74117ROC曲線圖還可比較兩種診斷試驗臨床價值。其原則是曲線下覆蓋(1)選擇最佳分界值:取ROC曲線上的拐點作為分界值將會得到最大的準確性,但是必須結(jié)合似然比、尤登指數(shù)以及篩查和確診等試驗?zāi)康木C合確定。
(2)診斷效率分析:利用曲線下的面積來評價不同檢驗項目或不同檢測方法對某種疾病的診斷價值。
(3)對檢驗結(jié)果的評價:靈敏度和特異度隨著診斷分界點的升高或降低而變化。ROC曲線的臨床應(yīng)用P73118(1)選擇最佳分界值:取ROC曲線上的拐點作為分界值將臨床檢驗中若有多個獨立的同類檢驗項目結(jié)果合并成sROC曲線(summaryROCcurve,sROC)
該法與Meta分析方法的原理相同Meta分析的目的是對多個同類獨立研究的結(jié)果進行匯總和合并分析,以達到增大樣本含量,提高檢驗效能的目的當多個研究結(jié)果不一致或都無統(tǒng)計學(xué)意義時,用Meta分析可得到更加接近真實情況的統(tǒng)計分析結(jié)果
P74119臨床檢驗中若有多個獨立的同類檢驗項目結(jié)果合并成sROC曲線(四、臨床應(yīng)用評價指標綜合分析1.特異度、靈敏度,兩個最重要的指標。
其他評價指標都可用它們來推導(dǎo)。缺少這兩個指標,該檢驗項目無法進行評價。在撰寫和評價論文,在引進或評價一項新檢驗項目,這兩個指標必須具備可供分析的資料。P74120四、臨床應(yīng)用評價指標綜合分析1.特異度、靈敏度,兩個最重要
2
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年度新能源汽車批量訂購合同4篇
- 2025年度體育賽事代理運營管理合同樣本4篇
- 2025年度生態(tài)停車場車位購置協(xié)議4篇
- 生物活性營養(yǎng)土項目可行性研究報告模板范文(立項備案項目申請)
- 2025年新生入學(xué)教育法律協(xié)議書(綜合服務(wù))3篇
- 2025年度個人信用評分服務(wù)協(xié)議3篇
- 2025年度個人股權(quán)交易合同范本:股權(quán)轉(zhuǎn)讓流程與稅務(wù)籌劃4篇
- 2025年度企業(yè)項目合作協(xié)議范本4篇
- 2025年浙江澤興環(huán)保工程有限公司招聘筆試參考題庫含答案解析
- 二零二五年度林業(yè)生態(tài)恢復(fù)苗木采購合同文本4篇
- 安徽省合肥市包河區(qū)2023-2024學(xué)年九年級上學(xué)期期末化學(xué)試題
- 《酸堿罐區(qū)設(shè)計規(guī)范》編制說明
- PMC主管年終總結(jié)報告
- 售樓部保安管理培訓(xùn)
- 倉儲培訓(xùn)課件模板
- 2025屆高考地理一輪復(fù)習(xí)第七講水循環(huán)與洋流自主練含解析
- GB/T 44914-2024和田玉分級
- 2024年度企業(yè)入駐跨境電商孵化基地合作協(xié)議3篇
- 《形勢與政策》課程標準
- 2023年海南省公務(wù)員錄用考試《行測》真題卷及答案解析
- 橋梁監(jiān)測監(jiān)控實施方案
評論
0/150
提交評論