




版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
1、診斷性研究證據(jù)的評價與應(yīng)用陳世耀復(fù)旦大學(xué)臨床流行病/循證醫(yī)學(xué)中心復(fù)旦大學(xué)附屬中山醫(yī)院消化科/內(nèi)鏡診療中心第1頁,共88頁。臨床醫(yī)師的課題總結(jié)臨床實踐經(jīng)驗臨床流行病(臨床科研設(shè)計、測量與評價)應(yīng)用臨床實踐經(jīng)驗循證醫(yī)學(xué)(解決臨床問題)第2頁,共88頁。臨床流行病學(xué)的主要內(nèi)容設(shè)計、測量、評價有關(guān)病因和發(fā)病因素的研究有關(guān)診斷試驗的研究有關(guān)預(yù)防和治療措施效果的研究有關(guān)預(yù)后估計的研究第3頁,共88頁。診斷試驗的范疇各種實驗室檢查病史和體檢獲得的臨床資料X線、B超、核素等影像學(xué)檢查各種臨床公認(rèn)的診斷標(biāo)準(zhǔn)第4頁,共88頁。診斷試驗評價的目的怎樣進(jìn)行診斷試驗研究怎樣閱讀和評價有關(guān)診斷試驗的文章臨床和科研工作中怎
2、樣選擇診斷試驗診斷疾?。红`敏度和特異度高篩檢無癥狀患者:簡便、經(jīng)濟(jì)、安全易接受疾病隨訪:重復(fù)性好,影響因素少判定疾病的嚴(yán)重程度;估計疾病的臨床過程及其預(yù)后;估計對治療的反應(yīng);測定目前對治療的實際反應(yīng)第5頁,共88頁。Part 1:診斷試驗研究設(shè)計的方法(1)標(biāo)準(zhǔn)診斷方法的確定:黃金標(biāo)準(zhǔn)病理學(xué)標(biāo)準(zhǔn)(組織活檢和尸體解剖)外科手術(shù)發(fā)現(xiàn)或特殊的影像診斷長期臨床隨訪結(jié)果公認(rèn)地綜合臨床診斷標(biāo)準(zhǔn)金標(biāo)準(zhǔn)是相對的,選擇應(yīng)結(jié)合臨床具體情況第6頁,共88頁。診斷試驗研究設(shè)計的方法(2)研究對象的選擇 病例組應(yīng)當(dāng)包括該病的各種臨床類型 對照組應(yīng)選確實無該病的其他病例,并且應(yīng)包 括易 與該病相混淆的其他疾病第7頁,共8
3、8頁。診斷試驗研究設(shè)計的方法(3)樣本大小的計算 樣本大小 ua2p(1-p) n= 2 靈敏度和特異度的 95%可信區(qū)間 p Za /2 p(1-p)/n第8頁,共88頁。診斷試驗研究設(shè)計的方法(4)列出評價診斷試驗的四格表,計算各項診斷試驗的評價指標(biāo)第9頁,共88頁。Part 2:評價診斷試驗的指標(biāo)(1)黃金標(biāo)準(zhǔn)病理學(xué)標(biāo)準(zhǔn)(組織活檢和尸體解剖)外科手術(shù)發(fā)現(xiàn)或特殊的影像診斷長期臨床隨訪結(jié)果公認(rèn)地綜合臨床診斷標(biāo)準(zhǔn)金標(biāo)準(zhǔn)是相對的,選擇應(yīng)結(jié)合臨床具體情況第10頁,共88頁。診斷試驗的四格表 黃金標(biāo)準(zhǔn)病例組非病例組診斷陽性(真陽性)ab(假陽性)a+b試驗陰性(假陰性)cd(真陰性)c+d a+c
4、b+d a+b+c+d靈敏度=a/a+c陽性預(yù)測值=a/a+b特異度=d/b+d陰性預(yù)測值=d/c+d準(zhǔn)確度=a+d/a+b+c+d患病率=a+c/a+b+c+d第11頁,共88頁。評價診斷試驗的指標(biāo)(2)靈敏度靈敏度指病人組中經(jīng)診斷試驗查出陽性人數(shù)的比例(a/a+c);病人組中經(jīng)診斷試驗查出陰性人數(shù)的比例(c/a+c)即為假陰性率,又稱漏診率;假陰性率1靈敏度。是 否陽性ab陰性cd第12頁,共88頁。評價診斷試驗的指標(biāo)(3)特異度特異度指非病人組中經(jīng)診斷試驗查出陰性人數(shù)的比例(d/b+d);經(jīng)診斷試驗查出陽性人數(shù)的比例(b/b+d)即為假陽性率,又稱誤診率;假陽性率1特異度。是 否陽性ab
5、陰性cd第13頁,共88頁。例1、CK試驗診斷心肌梗死(靈敏度和特異度)心肌梗死組 CK水平無心肌梗死組354800 84400 740001536001932001391(42%)2801118133240129(99%)119200121160030120530215(93%)80168131540114(88%)26 2 088230130第14頁,共88頁。靈敏度和特異度的特點當(dāng)試驗方法和陽性標(biāo)準(zhǔn)固定時,每個診斷試驗的靈敏度和特異度是恒定的。區(qū)分診斷試驗正常和異常的臨界點會影響靈敏度和特異度。第15頁,共88頁。靈敏度和特異度的應(yīng)用(1)靈敏度高的試驗適用于:疾病漏診可能會造成嚴(yán)重后果
6、(AIDS);有幾個假設(shè)診斷,為排除某病的診斷;用于篩檢無癥狀病人而該病的發(fā)病率又比較低,當(dāng)試驗結(jié)果呈陰性時,價值更大。是否陽性ab陰性cd第16頁,共88頁。靈敏度和特異度的應(yīng)用(2)特異度高的試驗適用于:凡假陽性結(jié)果會導(dǎo)致病人精神和肉體上嚴(yán)重危害時;要肯定診斷時,當(dāng)試驗結(jié)果呈陽性時,價值更大。是否陽性ab陰性cd第17頁,共88頁。評價診斷試驗的各種指標(biāo)(4)預(yù)測值:陽性預(yù)測值指診斷試驗陽性結(jié)果中真正患病的比例(a/a+b)陰性預(yù)測值指診斷試驗陰性結(jié)果中真正未患病的比例(d/c+d)是否陽性ab陰性cd第18頁,共88頁。例2、CK試驗診斷心肌梗死(預(yù)測值)心肌梗死組 CK水平無心肌梗死組
7、354800 84400 740001536001932001391(42%)28011 +PV=9999%)1 -PV=48%19200121160030120530215(93%)80168 +PV=93%131540114(88%)26 -PV=88% 2 088230130第19頁,共88頁。預(yù)測值的特點靈敏度越高的試驗,陰性預(yù)測值越高;特異度越高的試驗,陽性預(yù)測值越高;患病率的高低對預(yù)測值的影響更大。第20頁,共88頁。例3、患病率對預(yù)測值的影響(1)監(jiān)護(hù)病房CK診斷心梗(CK80=CK-)心梗無心梗CK+215(93%)16231+PV=93%CK-151
8、14(88%)129-PV=88%Total230130360Pre=64%普通醫(yī)院CK診斷心梗(CK40歲人群肝癌非肝癌AFP+ 800 9900 10700+PV=7.48%AFP- 20089100 89300Total100099000100000Pre=1000/10萬第24頁,共88頁。例4、患病率對預(yù)測值的影響(5)AFP診斷肝癌,靈敏度80,特異度90HBsAg(+) 年齡40歲 肝硬化人群肝癌非肝癌AFP+ 8000 9000 17000+PV=47.06%AFP- 200081000 83000 Total1000090000100000Pre=10000/10萬第25頁,
9、共88頁。例5、陽性預(yù)測值的計算AFP診斷肝癌,靈敏度80,特異度90患病率10/10萬人肝癌非肝癌AFP+ 8 9999 10007+PV=0.08%AFP- 289991 89993Total1099990100000Pre=10/10萬患病率靈敏度+PV= 患病率靈敏度(1-患病率)(1特異度)第26頁,共88頁。評價診斷試驗的指標(biāo)(5)受試者工作特性曲線(Receiver Operator Characteristic Curve, ROC曲線)ROC曲線是用真陽性率(靈敏度)和假陽性率(1-特異度)作圖所得曲線;表示靈敏度和特異度之間的關(guān)系。第27頁,共88頁。例1、CK試驗診斷心肌
10、梗死(靈敏度和特異度)心肌梗死組 CK水平無心肌梗死組354800 84400 740001536001932001391(42%)2801118133240129(99%)119200121160030120530215(93%)80168131540114(88%)26 2 088230130第28頁,共88頁。CK診斷心梗的ROC曲線 假陽性率 真陽性率(靈敏度)第29頁,共88頁。CK和EKG診斷心梗ROC曲線比較 假陽性率真陽性率(靈敏度)第30頁,共88頁。ROC曲線的用途用來決定最佳臨界點;比較兩種或兩種以上診斷試驗的價值.第31頁,共88頁。評價診斷試驗的指標(biāo)(6)似然比(Li
11、kelihood ratio, LR)試驗陽性結(jié)果的似然比系真陽性率和假陽性率之比試驗陰性結(jié)果的似然比系假陰性率和真陰性率之比第32頁,共88頁。評價診斷試驗的各種指標(biāo)例6、監(jiān)護(hù)病房CK診斷心梗(CK=10050(6)1300(70)6/7045-9975(9)400(22)9/2235-4435(4)45(2)4/225-3460(7)50(3)7/315-2465(8)30(2)8/2=10050(6)1300(70)45-9975(9)400(22)試驗-35-4435(4)45(2)25-3460(7)50(3)15-2465(8)3530(2)99-LR=0.35/0.99試驗+=1
12、0050(6)1300(70)LR=6/7045-9975(9)400(22)LR=9/2235-4435(4)45(2)LR=4/225-3460(7)50(3)LR=7/315-2465(8)30(2)LR=8/2=5000100% 7%1.10=1000092%43%1.60.19=1500065%77%2.80.45=2000038%92%4.80.67=2500023%97%7.70.79第44頁,共88頁。似然比應(yīng)用舉例病人比率非病人比率似然比(+)=2500023323/3=7.7驗前概率50,驗前比0.5/(1-0.5)=1驗后比驗前比似然比133驗后概率3/(1+3)=75%
13、第45頁,共88頁。第46頁,共88頁。似然比資料來源文獻(xiàn)資料臨床試驗資料第47頁,共88頁。處理綜合試驗結(jié)果驗后比 驗前比試驗1似然比試驗2似然比第48頁,共88頁。綜合試驗結(jié)果處理舉例35歲無癥狀女性體檢發(fā)現(xiàn)運動試驗陽性(ST壓低=1mm),應(yīng)激試驗同樣陽性,該女性患冠心病概率為多少?文獻(xiàn)資料:30-39女性冠心病概率0.3%,ST段壓低,LR1=5.9,應(yīng)激試驗陽性LR2=5.7驗前概率0.3,驗前比13/997驗后比1驗前比1LR1(3/997)5.9驗前比2驗后比2驗前比2LR2驗前比1LR1LR2 (3/997)5.955.7=0.1驗后概率0.1/(1+0.1)=9%第49頁,共
14、88頁。Part 3: 診斷試驗精確性的評價指標(biāo)計量資料用標(biāo)準(zhǔn)差異及變異系數(shù)來表示 CV= SD/M計數(shù)資料用觀察符合率與卡帕(Kappa)值表示 Kappa值是排除了機(jī)遇一致率后的觀察一致率第50頁,共88頁。Kappa值計算 甲、乙醫(yī)生閱讀同樣100張胸部X線片的診斷一致性 甲醫(yī)生肺門淋巴結(jié)核正常乙醫(yī)生肺門淋巴結(jié)核 46 a b 10 56(r1)正常 12 cd 32 44(r2) 58(c1) 42(c2)觀察一致率(po)= a+d/N po= 46+32/100=78% 機(jī)遇一致率(pc)= (r1 c1)/N+ (r2 c2)/N)/N pc=(5658)/100+(4442)/
15、100)/100 =51%非機(jī)遇一致率=1-pc 非機(jī)遇一致率=100%-51%=49%實際一致率=po-pc 實際一致率= 78%-51%=27%Kappa值=po-pc/1-pc Kappa值 =27%/49%=0.55第51頁,共88頁。Kappa值計算 甲醫(yī)生兩次閱讀同樣100張胸部X線片的一致率觀察一致率(po)= a+d/N po= 69+19/100=88% 機(jī)遇一致率(pc)= (r1 c1)/N+ (r2c2)/N)/N pc=(8070)/100+(2030)/100)/100 =62%非機(jī)遇一致率=1-pc 非機(jī)遇一致率=100%-62%=38%實際一致率=po-pc 實
16、際一致率= 88%-62%=26%Kappa值=po-pc/1-pc Kappa值 =26%/38%=0.68 第1次肺門淋巴結(jié)核正常第2次肺門淋巴結(jié)核 69 a b 11 80 (r1)正常 1 c d 19 20 (r2) 70 (c1) 30 (c2)100(N)第52頁,共88頁。Kappa值計算簡化公式 N(a+d)-(r1c1+r2c2) Kappa= N2-(r1c1+r2c2)第53頁,共88頁。Kappa值判斷標(biāo)準(zhǔn) Kanidis和Koch提出判斷標(biāo)準(zhǔn) Kappa值 一致性強(qiáng)度 0 弱 00.2 輕 0.210.40 尚好 0.410.60 中度 0.610.80 高度 0.
17、811.00 最強(qiáng)第54頁,共88頁。Part 4:提高診斷試驗效率的方法(1)診斷試驗:心電圖運動試驗,Sen=80%,Spe=74%人群:典型心絞痛的老年人(90%)+PV=97%胸痛性質(zhì)待查的中年人(50%)+PV=75%情緒變化發(fā)生胸痛的青年人(10%)+PV=25%第55頁,共88頁。提高診斷試驗效率的方法(2)采用聯(lián)合試驗的方法平行試驗系列試驗第56頁,共88頁。平行試驗同時做幾個試驗,任何一個陽性即定為陽性,全陰性方定為陰性。提高靈敏度和陰性預(yù)測值(漏診減少,誤診增加)。計算:靈敏度試驗A靈敏度(1試驗A靈敏度)試驗B靈敏度特異度試驗A特異度試驗B特異度第57頁,共88頁。系列試
18、驗同時做幾個試驗,全部試驗陽性才定為陽性,其它定為陰性。提高特異度和陽性預(yù)測值(誤診減少但漏診增加)。計算:靈敏度試驗A靈敏度試驗B靈敏度特異度試驗A特異度(1-試驗A特異度)試驗B特異度第58頁,共88頁。平行試驗靈敏度和特異度計算檢查結(jié)果肝癌非肝癌AFP(+),BUS(+)641AFP(+),BUS(-)169AFP(-),BUS(+)169Sen=96% AFP(-),BUS(-)481Spe=81% 合計100100Sen=(64+16)+16 =Sen1+(1-Sen1)16/20 =Sen1+(1-Sen1)Sen2Spe=81=(81+9)-9 =Spe1-(100-10)9/9
19、0 =Spe1-Spe1(1-Spe2) =Spe1Spe2第59頁,共88頁。系列試驗靈敏度和特異度計算檢查結(jié)果肝癌非肝癌AFP(+),BUS(+)641Sen=64%AFP(+),BUS(-)169Spe=99%AFP(-),BUS(+)169 AFP(-),BUS(-)481 合計100100第60頁,共88頁。Part 5: 應(yīng)用診斷試驗:科學(xué)性評價(1)試驗是否與金標(biāo)準(zhǔn)試驗進(jìn)行“盲法”比較?是否每個被測者都做參照試驗進(jìn)行評價?所研究病人樣本是否包括臨床試驗中將使用該診斷試驗的各種病人?診斷試驗的精確性(方法介紹詳細(xì)、結(jié)果重復(fù)性好)第61頁,共88頁。應(yīng)用診斷試驗結(jié)果需要考慮的因素(2
20、)我的病人是否與文獻(xiàn)報告相似?治療后何時檢測,有無其它影響因素能否提供相關(guān)的檢查?同位素、糞便Hp抗原檢測檢查能否為病人接受?安全、無創(chuàng)傷、簡便、價廉(費用效果比)第62頁,共88頁。應(yīng)用證據(jù)解決臨床問題(3)結(jié)果是否適用并可提供給我自己的病人?診斷試驗結(jié)果是否改變了對患病率的估計?診斷試驗結(jié)果是否改變了對病人的處理? 治療理論第63頁,共88頁。臨床問題病例:一位30歲HIV陽性的男子有干咳、發(fā)燒以及缺氧癥狀。X線胸片顯示有浸潤發(fā)生,其CD4計數(shù)為200,懷疑是肺孢子蟲型肺炎。一位醫(yī)師認(rèn)為該病人患有此病的可能性是90,并計劃憑經(jīng)驗進(jìn)行治療(不進(jìn)行支氣管鏡檢查)。另一位醫(yī)師則認(rèn)為患此病的可能性
21、僅為50,她認(rèn)為應(yīng)進(jìn)行支氣管鏡檢查。提問:你如何解決這個分歧?你是否會建議進(jìn)行支氣管鏡檢查或進(jìn)行經(jīng)驗性治療方案?何種情況進(jìn)行支氣管鏡檢查是合適的?第64頁,共88頁。臨床資料HIV合并肺孢子蟲型肺炎即使治療方案從一開始就是正確的話,死亡率仍有10。如果延誤治療,其死亡率為40。有30接受了治療的病人出現(xiàn)副作用,而其中3的副作用會導(dǎo)致死亡(即由藥物引致的死亡率為1)該病支氣管鏡檢查的靈敏度為95,特異度則亦為95第65頁,共88頁。治療理論不要問:這個試驗有多好?問:這個治療有多好?治療原則:如果好處多于壞處,進(jìn)行治療試驗原則:如果有改變處理的潛在可能的話,則進(jìn)行試驗情況:不確診病例而只有一種試
22、驗可用。不確診病例,而有2種或2種以上的試驗可用第66頁,共88頁。確診疾病(1)結(jié)果Disease疾病Treat治療活死亡Present存在Yes80%20%Present存在No50%50%Benefit收益:805030第67頁,共88頁。不確診疾病(2)結(jié)果Disease疾病Treat治療活死亡Present存在Yes80%20%Present存在No50%50%Absent無No100%0%Absent無Yes90%10%收益Benefit for D+80%50%=30%危害harm for D-100%90%=10%第68頁,共88頁?;疾÷瘦^高時收益Benefit for D+
23、80%50%=30%危害harm for D-100%90%=10%如果病人患病可能性為90,你治療嗎?(假設(shè)無試驗可用)Yes!Benefit=90%*30%=27%Harm=10%*10%=1%第69頁,共88頁。患病率較低時收益Benefit for D+80%50%=30%危害harm for D-100%90%=10%如果病人患病可能性為10,你治療嗎?(假設(shè)無試驗可用)No!Benefit=10%*30%=3%Harm=90%*10%=9%第70頁,共88頁。治療或行動點(ATODDS)Prob*Benefit=(1-prob)*HarmProp/(1-prob)=Harm/ben
24、efit=ATODDSProp/(1-Prop)=10%/30%=ATODDSProp=25%第71頁,共88頁。不確診疾病,但有試驗可用(3)原則:只有在有潛在可能會改變管理的情況下才試驗第72頁,共88頁?;疾÷瘦^低時假設(shè)已知試驗靈敏度為90,特異度為70問題1如果病人患病可能性為1,你試驗嗎?Disease疾病Treat治療活死亡Present存在Yes80%20%Present存在No50%50%Absent無No100%0%Absent無Yes90%10%第73頁,共88頁?;疾÷瘦^低時No假設(shè)已知試驗靈敏度為90,特異度為70問題1如果病人患病可能性為1,你試驗嗎?No!(No t
25、est, No treat)試驗陽性似然比LR+90/(1-70%)=3驗前比Pre-Odds=1/99驗后比Post-Odds=(1/99)*3=3/99驗后概率Post-Prob=3/(3+99)%=3%第74頁,共88頁?;疾÷瘦^高時假設(shè)已知試驗靈敏度為90,特異度為70問題2如果病人患病可能性為90,你試驗嗎?Disease疾病Treat治療活死亡Present存在Yes80%20%Present存在No50%50%Absent無No100%0%Absent無Yes90%10%第75頁,共88頁。患病率較高時No假設(shè)已知試驗靈敏度為90,特異度為70問題2如果病人患病可能性為90,你試
26、驗嗎?No!(No test, But treat)試驗陰性結(jié)果的似然比(190)/70%=1/7驗前比Pre-Odds=90/10驗后比Post-Odds=(90/10)*(1/7)=9/7驗后概率Post-Prob=9/(7+9)%=56%第76頁,共88頁。診斷域值在什么可能之下對疾病僅觀察而不試驗,也不治療?診斷域值ODDS*LR+ATODDS診斷域值ODDS=ATODDS/LR+(1/3)/(90%)/(1-70%) =1/9診斷域值prob=1/(1+9)=10%第77頁,共88頁。在什么可能之上對疾病憑經(jīng)驗作治療,甚至不作試驗?治療域值ODDS*LR-ATODDS治療域值ODDS = ATODDS/LR-(1/3)/(1-90%)/70% =7/3治療域值prob=7/(7+3)=70%治療域值第78頁,共88頁。ObserveTestTreat0%10%ATODDS 70%100% Obs/Test Test/Treat試驗治療域值示意圖第79頁,共88頁。臨床問題病例:一位30歲HIV陽性的男子有干咳、發(fā)燒以及缺氧癥狀。X線胸片顯示有浸潤發(fā)生,其CD4計數(shù)為200,懷疑是肺孢子蟲型肺炎。一位醫(yī)師認(rèn)為該病人患有此病的可能性是90,并計劃憑經(jīng)驗進(jìn)行治療(不進(jìn)行支氣管鏡檢查)。另一位醫(yī)師則認(rèn)為患此病的可能性僅為5
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年濟(jì)南二?;瘜W(xué)試題及答案
- 2025年先導(dǎo)入職考試題及答案
- 2025年調(diào)研軟件面試試題及答案
- 2025年工行內(nèi)審筆試試題及答案
- 2025年南京附中考試題及答案
- 2025年百味品牌測試題及答案
- 2025年安徽消防面試試題及答案
- 2025年鋼筋工考試題及答案
- 2025年用友考試試題及答案
- 2025年城建局考試試題及答案
- 2024電力建設(shè)土建工程施工技術(shù)檢驗規(guī)范
- 2024 smart汽車品牌用戶社區(qū)運營全案
- 2023-2024學(xué)年粵教版(2019)高中信息技術(shù)必修一《數(shù)據(jù)與計算》第一章第一節(jié)《數(shù)據(jù)及其特征》教案
- 第三單元測試卷(單元測試)2024-2025學(xué)年統(tǒng)編版語文六年級上冊
- DBJ33T 1320-2024 建設(shè)工程質(zhì)量檢測技術(shù)管理標(biāo)準(zhǔn)
- GB/T 23862-2024文物包裝與運輸規(guī)范
- 計算機(jī)三級網(wǎng)絡(luò)技術(shù)題庫
- JT-T-1302.1-2019機(jī)動車駕駛員計時培訓(xùn)系統(tǒng)第1部分:計時終端技術(shù)要求
- 離婚協(xié)議書寫法
- 2024年北京市中考數(shù)學(xué)真題試卷及答案
- 《市場營銷:網(wǎng)絡(luò)時代的超越競爭》第4版 課后習(xí)題及答案 chap.1
評論
0/150
提交評論