生物醫(yī)學(xué)數(shù)據(jù)挖掘：02-性能評(píng)價(jià) 數(shù)據(jù)的采集和組織

1回顧第一章概論一、什么是數(shù)據(jù)挖掘二、數(shù)據(jù)挖掘的過(guò)程

三、數(shù)據(jù)挖掘方法的分類預(yù)測(cè)型描述型2第一章概論一、什么是數(shù)據(jù)挖掘二、數(shù)據(jù)挖掘的過(guò)程三、數(shù)據(jù)挖掘方法的分類四、數(shù)據(jù)挖掘性能評(píng)價(jià)評(píng)價(jià)準(zhǔn)則樣本的組織預(yù)測(cè)型模型的性能評(píng)價(jià)描述型模型的性能評(píng)價(jià)3評(píng)價(jià)準(zhǔn)則：結(jié)果或模型準(zhǔn)確性可理解性性能數(shù)據(jù)的噪聲四、數(shù)據(jù)挖掘性能評(píng)價(jià)4樣本的組織所有樣本屬性已知兩類樣本：相互獨(dú)立學(xué)習(xí)樣本/訓(xùn)練樣本集：規(guī)律的總結(jié)測(cè)試樣本集：評(píng)價(jià)、檢驗(yàn)四、數(shù)據(jù)挖掘性能評(píng)價(jià)5兩類樣本的分組樣本數(shù)據(jù)量計(jì)算成本隨機(jī)分組法很大低交叉驗(yàn)證法不多時(shí)中留一法更少高6隨機(jī)分組法：通常：訓(xùn)練集(2/3)，測(cè)試集(1/3)兩類樣本的分組模型評(píng)估7交叉驗(yàn)證法：如K折交叉驗(yàn)證法（一般隨機(jī)分成10組）留一法：適用樣本數(shù)據(jù)更少的情況兩類樣本的分組8舉例例1.預(yù)測(cè)型模型肺癌干預(yù)(手術(shù)/手術(shù)＋化療)及預(yù)后（五年生存）共5萬(wàn)個(gè)樣本，其中1.7萬(wàn)干預(yù)后5年內(nèi)死于肺癌如何組織數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘？9例2.共1000個(gè)，其中315個(gè)五年內(nèi)死亡如何組織數(shù)據(jù)？例3.共49個(gè)，14個(gè)5年內(nèi)死亡，35個(gè)存活如何組織數(shù)據(jù)？10總結(jié)：隨機(jī)，分布與總體相近計(jì)算成本的考慮樣本要保證足夠多，但不只是數(shù)量的多少11預(yù)測(cè)型模型的性能評(píng)價(jià)殘差混淆矩陣P11靈敏度（sensitivity）特異度（specificity）分類正確率（accuracy）ROC（receiveroperatingcharacteristicscurve）曲線四、數(shù)據(jù)挖掘性能評(píng)價(jià)12靈敏度特異度分類正確率四、數(shù)據(jù)挖掘性能評(píng)價(jià)分類/預(yù)測(cè)陽(yáng)性分類/預(yù)測(cè)陰性實(shí)際陽(yáng)性TPFN實(shí)際陰性FPTN13例：ECG(electrocardiogram)診斷試驗(yàn)的結(jié)果心肌梗塞ECG診斷結(jié)果合計(jì)陽(yáng)性陰性出現(xiàn)不出現(xiàn)合計(jì)416(TP)104（FN）5209(FP)171（TN）180425275700(N)

靈敏度=？特異度=？分類正確率=?14靈敏度與特異度取值：均在0-1之間缺點(diǎn)：?jiǎn)为?dú)使用，可能出現(xiàn)矛盾解決辦法：ROC曲線15ROC曲線靈敏度與特異度間的平衡(tradeoff)四、數(shù)據(jù)挖掘性能評(píng)價(jià)1－特異度（假陽(yáng)性率）靈敏度機(jī)率線(chanceline)

(diagonalreferenceline)16完美結(jié)果0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR無(wú)用結(jié)果0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR17ROC曲線下面積（Area）高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F)0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPR0.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.664A＝0.8300.00.20.40.60.81.00.00.20.40.60.81.0FPRTPRA＝0.93818例4.繼續(xù)前例，干預(yù)及預(yù)后（五年生存）共5萬(wàn)個(gè)樣本，其中1.7萬(wàn)干預(yù)后，5年內(nèi)死于肺癌，其余3.3萬(wàn)存活。假定對(duì)上述數(shù)據(jù)分別建立了預(yù)測(cè)型模型A和B，試比較兩個(gè)模型的性能。19預(yù)測(cè)為死亡預(yù)測(cè)為生存實(shí)際死亡例數(shù)13940306017000實(shí)際生存例數(shù)6600264003300050000預(yù)測(cè)為死亡預(yù)測(cè)為生存實(shí)際死亡例數(shù)12470453017000實(shí)際生存例數(shù)5130278703300050000模型A模型B20比較模型A與B：靈敏度特異度正確率ROC模型A81.8%80.0%80.7%0.81模型B73.4%84.5%80.7%0.7921性能評(píng)價(jià)的作用：如實(shí)表明，描述模型的性能可以比較，模型性能的優(yōu)劣、高低同一問(wèn)題可多個(gè)模型即使僅一個(gè)模型，可設(shè)計(jì)多個(gè)參數(shù)22總結(jié)第一章概論一、什么是數(shù)據(jù)挖掘二、數(shù)據(jù)挖掘的過(guò)程三、數(shù)據(jù)挖掘方法的分類四、數(shù)據(jù)挖掘性能評(píng)價(jià)23第二章數(shù)據(jù)采集與準(zhǔn)備一、數(shù)據(jù)的采集和組織1.

數(shù)據(jù)采集和管理2.數(shù)據(jù)的組織3.數(shù)據(jù)的類型二、數(shù)據(jù)管理三、數(shù)據(jù)預(yù)處理24一、數(shù)據(jù)的采集和組織數(shù)據(jù)采集和管理關(guān)系數(shù)據(jù)庫(kù)DB既往的數(shù)據(jù)，如電子病例數(shù)據(jù)倉(cāng)庫(kù)DW面向特定目標(biāo)的、集成的數(shù)據(jù)集合，如HIS25一、數(shù)據(jù)的采集和組織數(shù)據(jù)組織平面文件記錄：處理的對(duì)象屬性：一個(gè)特征26一、數(shù)據(jù)的采集和組織數(shù)據(jù)的類型數(shù)值：可運(yùn)算，如年齡、血壓分類：文字或數(shù)字，不可運(yùn)算二值型：對(duì)稱：如性別：男、女非對(duì)稱：如陽(yáng)性1、陰性0排序型數(shù)值型和分類型數(shù)據(jù)的轉(zhuǎn)換27一、數(shù)據(jù)的采集和組織例.采集原始數(shù)據(jù)姓名：ID：性別：年齡：血壓：腫瘤TNM分期：28第二章數(shù)據(jù)