數(shù)據(jù)挖掘概論

生物醫(yī)學(xué)數(shù)據(jù)挖掘上海交通大學(xué)基礎(chǔ)醫(yī)學(xué)院生物醫(yī)學(xué)工程學(xué)科,計(jì)算機(jī)教研室2011年第一章概論數(shù)據(jù)挖掘的實(shí)質(zhì)和目的背景數(shù)據(jù)挖掘的定義醫(yī)學(xué)研究的關(guān)系數(shù)據(jù)挖掘的過(guò)程數(shù)據(jù)挖掘的方法與分類預(yù)測(cè)型描述型cy.yjsh@.cn第一章概論數(shù)據(jù)挖掘的目的和應(yīng)用背景在實(shí)際生活中有種種需要產(chǎn)生數(shù)據(jù)挖掘的最初需求不是來(lái)自于醫(yī)學(xué)數(shù)據(jù)挖掘是一種數(shù)學(xué)工具cy.yjsh@.cnLotsofdataisbeingcollected

andwarehousedWebdata,e-commercepurchasesatdepartment/

grocerystoresBank/CreditCardtransactionsComputershavebecomecheaperandmorepowerfulCompetitivePressureisStrongProvidebetter,customizedservicesforanedge(e.g.inCustomerRelationshipManagement)WhyMineData?CommercialViewpointcy.yjsh@.cnWhyMineData?ScientificViewpointDatacollectedandstoredat

enormousspeeds(GB/hour)remotesensorsonasatellitetelescopesscanningtheskiesmicroarraysgeneratinggene

expressiondatascientificsimulations

generatingterabytesofdataTraditionaltechniquesinfeasibleforrawdataDataminingmayhelpscientistsinclassifyingandsegmentingdatainHypothesisFormationcy.yjsh@.cn數(shù)據(jù)挖掘產(chǎn)生的驅(qū)動(dòng)力市場(chǎng)因素信息技術(shù)存儲(chǔ)費(fèi)用大幅度下降：產(chǎn)生了巨大的數(shù)據(jù)庫(kù)交易數(shù)據(jù)可自動(dòng)獲取Internet：個(gè)性化的數(shù)據(jù)cy.yjsh@.cn案例一購(gòu)物籃:購(gòu)物習(xí)慣分析根據(jù)習(xí)慣指導(dǎo)經(jīng)營(yíng)模式-->最大利潤(rùn)分配資源的策略商品促銷手段顧客群的購(gòu)物行為規(guī)律……cy.yjsh@.cn案例一購(gòu)物籃:購(gòu)物習(xí)慣分析意大利，超市，37家連鎖店75天的會(huì)員消費(fèi)記錄46727條記錄，涉及5000多類商品20種最常購(gòu)買食品結(jié)論番茄醬+面條+金槍魚面包+牛奶……啤酒+嬰兒尿布？cy.yjsh@.cn案例二銀行貸款:客戶信用評(píng)價(jià)如何評(píng)價(jià)未知客戶的信用?從歷史的記錄來(lái)總結(jié)規(guī)律→數(shù)據(jù)挖掘1000個(gè)已知信用的申請(qǐng)人樣本20個(gè)狀態(tài)參數(shù)結(jié)論：(1)申請(qǐng)人的特征參數(shù)模型商業(yè)信用可能

評(píng)估放貸風(fēng)險(xiǎn)(2)每一個(gè)特征因素對(duì)最終信用評(píng)價(jià)的影響作用cy.yjsh@.cn案例三公共衛(wèi)生：致病相對(duì)危險(xiǎn)因子評(píng)價(jià)ACEI血管性水腫？132000例病例（已使用ACEI）其中114例產(chǎn)生了過(guò)敏反應(yīng)考察35個(gè)因素（基本12，住院診斷8，用藥15）得出417項(xiàng)規(guī)則其中37項(xiàng)有重大意義，被臨床所證實(shí)cy.yjsh@.cn案例四大規(guī)模臨床調(diào)查：危險(xiǎn)因素與心肌梗死的關(guān)系大型國(guó)際性標(biāo)準(zhǔn)化病例對(duì)照研究INTERHEART評(píng)估世界各地區(qū)危險(xiǎn)因素對(duì)冠心病的影響程度，制定相應(yīng)的預(yù)防冠心病策略涉及52個(gè)國(guó)家與地區(qū)252個(gè)臨床研究中心29972例，其中心肌梗死:正?！?:1可測(cè)危險(xiǎn)因素9種結(jié)果cy.yjsh@.cn案例五胃癌患者手術(shù)治療的預(yù)后分析手術(shù)影響預(yù)后的高發(fā)因素研究我國(guó)1072例，胃癌手術(shù)后，3年生存期結(jié)果：術(shù)中未輸血的3年生存率是輸血的3倍結(jié)果是否合理？cy.yjsh@.cn案例六欺詐檢測(cè)商業(yè)問(wèn)題：欺詐增加成本，或減少收益解決方法：用神經(jīng)網(wǎng)絡(luò)、Logistic回歸確定欺詐性例子的特征，以便將來(lái)防止（類似事情發(fā)生）或更有力的檢舉收益：通過(guò)減少不理想的客戶來(lái)增加收益例子：馬薩諸塞州汽車保險(xiǎn)局通過(guò)專家細(xì)察過(guò)去的、關(guān)于保險(xiǎn)理賠的報(bào)告去確定欺詐的例子關(guān)于原告、事故類型、傷害類型/處理措施的一些特征（超過(guò)60）都編入數(shù)據(jù)庫(kù)用降維方法去獲得帶有權(quán)重的變量，多元回歸分步子集選擇方法以識(shí)別和欺騙強(qiáng)關(guān)聯(lián)的特征cy.yjsh@.cnMiningLargeDataSets-MotivationThereisofteninformation“hidden”inthedatathatisnotreadilyevidentHumananalystsmaytakeweekstodiscoverusefulinformationMuchofthedataisneveranalyzedatallTheDataGapTotalnewdisk(TB)since1995NumberofanalystsFrom:R.Grossman,C.Kamath,V.Kumar,“DataMiningforScientificandEngineeringApplications”cy.yjsh@.cn目的數(shù)據(jù)組織初步結(jié)論數(shù)據(jù)挖掘分析應(yīng)用cy.yjsh@.cn數(shù)據(jù)殲挖掘挑的特廉點(diǎn)海量鹿數(shù)據(jù)數(shù)據(jù)撿構(gòu)成壓復(fù)雜隱藏辰的規(guī)蘋律規(guī)律波的價(jià)帳值實(shí)施抄的可帶行性cy徐.y煩js填h@覆ya哈ho是o.圓co象m.c習(xí)nWh竭at仗i怕s民Da蠅ta掘M攀in繳in其g?Ma塞ny仆D異ef匠in烘it盯io滴nsNo洗n-益tr游iv雙ia導(dǎo)l蒜ex澇tr鋤ac都ti錫on畜o代f譜im存pl租ic右it步,咬pr睬ev直io崗us棉ly血u此nk銹no橫wn祥a閉nd驅(qū)p粱ot浩en受ti貼al廊ly窄u鐘se剩fu次l渠in嬌fo名rm正at度io濫n報(bào)fr喜om騰d畝at部aEx削pl魄or碗at雖io坊n朝&赤an汗al蛙ys疑is詢,價(jià)by哈a袍ut弄om逆at賀ic執(zhí)o吊r奪se勵(lì)mi震-a標(biāo)ut俯om隸at唇ic飄m霧ea僑ns株,開(kāi)of臺(tái)l慶ar挨ge揚(yáng)q點(diǎn)ua稀nt春it植ie林s累of規(guī)d耕at揪a吊in培o講rd訴er稿t乓o吼di府sc傍ov奸er疑me哀an映in吵gf巴ul胳p蠻at妻te毯rn扮s數(shù)據(jù)掀挖掘期是用纖模式捕識(shí)別憂、統(tǒng)紀(jì)計(jì)學(xué)高、數(shù)響學(xué)等纖方法暫過(guò)濾斗存儲(chǔ)嗽在數(shù)杯據(jù)庫(kù)穩(wěn)中大截量的砌數(shù)據(jù)逝來(lái)發(fā)渴現(xiàn)新桶的、區(qū)有意集義的嘩關(guān)系究、模腫式和輸趨勢(shì)襲的過(guò)銅程。數(shù)據(jù)麗挖掘燭是對(duì)維大量鍋觀察功到的多數(shù)據(jù)冊(cè)進(jìn)行棋分析蒜，以幼便從意中發(fā)法現(xiàn)事制先未寨知的敲聯(lián)系梅和規(guī)鐵律的臉過(guò)程耽。其他目的追是讓偶數(shù)據(jù)妻擁有暴者得友到非并常清屋晰而直有用禁的結(jié)習(xí)果（過(guò)即信綱息和惡知識(shí)火）。cy落.y粗js僚h@谷ya底ho狼o.乒co廚m.c擇nWh該at松i繳s衣(n璃ot售)許Da農(nóng)ta乓M登in堡in燭g?Wh副at疲i懂s宵Da袖ta吹M摟in狹in堂g?Ce此rt巾ai下n番na銹me愈s嫩ar教e澆mo臂re儀p蟲re慮va陽(yáng)le議nt羽i局n呈ce其rt朽ai辟n偷US界l捏oc竄at心io前ns咸(錯(cuò)O’花Br升ie臉n,O’南Ru耽rk妄e,咸O’胃Re瘡il住ly良…申in裁B獲os已to謠n揚(yáng)ar論ea邁)Gr舅ou德p憲to門ge鑒th栗er彩s態(tài)im叨il茂ar股d幣oc鼠um協(xié)en珍ts促r吼et限ur端ne雁d報(bào)by暢s屯ea坑rc宣h毯en釣gi想ne較a屠cc振or茄di拖ng胖t剃o畢th緒ei世r桑co月nt粉ex腥t中(e伏.g涂.唱Am爸az床on冶r顆ai游nf過(guò)or顆es車t,去A澆ma遮zo拆n.顯co雙m,聲)Wh笑at趴i摩s窗no限t泥Da桌ta鈔M余in以in依g?Lo慰ok逆u語(yǔ)p殊ph格on廈e遺nu形mb悉er堆i礎(chǔ)n劣ph伶on肚e匹di李re稅ct趣or租yQu頓er懇y視a凍We湯b斯se饒ar謠ch備e辯ng攀in翠e革fo榆r先in左fo倚rm肥at籠io咱n侄ab潑ou見(jiàn)t浩“A仿ma惡zo擇n”cy拆.y報(bào)js陷h@齊ya鹿ho斗o.撞co擇m.c孤n數(shù)據(jù)簡(jiǎn)挖掘值的目吼的海量態(tài)數(shù)據(jù)規(guī)律知識(shí)應(yīng)用數(shù)據(jù)分挖掘(D逮at搞a護(hù)Mi困ni智ng媽)cy束.y警js蟻h@男ya爽ho炒o.蔽co秀m.c腐n第一您章患概論數(shù)據(jù)永挖掘賭的目射的和醒應(yīng)用背景定義與醫(yī)屯學(xué)研栽究的魯關(guān)系數(shù)據(jù)例挖掘筒與相側(cè)關(guān)課白程的威關(guān)系生物焰醫(yī)學(xué)部不同宏于其蛛他學(xué)?？频牟咛攸c(diǎn)數(shù)據(jù)蛋挖掘撤與醫(yī)皂學(xué)研稼究的咱關(guān)系cy粒.y填js捐h@憤ya極ho懶o.港co拳m.c砌nDr雷aw艇s級(jí)id趁ea污s出fr屯om凝m烤ac值hi省ne間l牛ea未rn覆in命g/移AI臥,嗚pa斗tt爭(zhēng)er俘n盒re療co光gn密it蔑io昏n,直s狼ta肆ti格st體ic婆s,穩(wěn)a弱nd網(wǎng)d縮慧at傻ab桐as耀e幕sy墾st腐em鐮sTr議ad炕it秋io您na澆l片Te籠ch土ni燦qu末es賄m視ay驅(qū)b疲e碧un柿su達(dá)it頭ab桃le霧d釣ue嗚t催oEn攤or餅mi比ty塵o惑f手da谷taHi時(shí)gh撓d界im宜en仁si警on專al茶it啞y敢o箏f拖da晶taHe雪te紛ro倍ge嚴(yán)ne己ou戴s,靜di比st時(shí)ri雹bu尖te蜓d濁na暈tu路re恐of況d獲at盈aOr搏ig狀in拜s凳of利D卷at柴a佛Mi炒ni怪ng機(jī)器閘學(xué)習(xí)模式泉識(shí)別統(tǒng)計(jì)懲學(xué)人工刷智能數(shù)據(jù)儲(chǔ)挖掘Da形ta購(gòu)M討in摧in鑒g數(shù)據(jù)柴庫(kù)cy創(chuàng).y撞js州h@剖ya最ho槐o.暮co雷m.c市n數(shù)據(jù)冠挖掘賞與相勉關(guān)學(xué)銹科的井關(guān)系數(shù)據(jù)節(jié)庫(kù)統(tǒng)計(jì)姿學(xué)數(shù)學(xué)將建模數(shù)據(jù)塌庫(kù)中城的知跨識(shí)發(fā)虎現(xiàn)cy某.y湯js焦h@想ya遵ho書o.房誠(chéng)co雹m.c扒n數(shù)據(jù)喪挖掘挽和醫(yī)容學(xué)研蘇究的幫關(guān)系技術(shù)學(xué)科哲學(xué)以簡(jiǎn)梅馭繁征而律后信cy睜.y腰js艇h@達(dá)ya奶ho鼻o.激co虎m.c籠n生物領(lǐng)醫(yī)學(xué)樓數(shù)據(jù)肢挖掘吧的特抓殊性醫(yī)學(xué)辮數(shù)據(jù)暴有主擴(kuò)觀性“醫(yī)知學(xué)倫騾理學(xué)拒”“這司法燒”對(duì)殃研究鍋的影玩響cy巴.y岸js鑰h@顫ya攜ho嫂o.竟co喬m.c陰n第一茅章言概論數(shù)據(jù)蝦挖掘緣瑞的目順的和信應(yīng)用背景數(shù)據(jù)攔挖掘廳的定想義醫(yī)學(xué)筍研究木的關(guān)對(duì)系數(shù)據(jù)牌挖掘譯的過(guò)乓程cy儀.y帖js止h@船ya瘦ho屬o.榨co點(diǎn)m.c蔑n數(shù)據(jù)預(yù)挖掘謙的過(guò)歲程明確壩目的采集坦組織祝數(shù)據(jù)數(shù)據(jù)姑的預(yù)管處理數(shù)據(jù)煩挖掘睜（模薯型）評(píng)價(jià)辟（?？葱偷拿浶阅芏荆┙Y(jié)論掘的解服釋和今應(yīng)用cy顧.y柏js盛h@欠ya倘ho杏o.載co袖m.c岔n第一喬章停概論數(shù)據(jù)寬挖掘復(fù)的目叢的和堪應(yīng)用背景數(shù)據(jù)堵挖掘石的定擋義醫(yī)學(xué)疫研究展的關(guān)意系數(shù)據(jù)色挖掘訂的過(guò)戴程數(shù)據(jù)詢挖掘蓄的方智法與市分類預(yù)測(cè)鴉型描述餃型cy今.y驚js羅h@原ya杠ho能o.沾co欣m(xù).c遭n預(yù)測(cè)懷型數(shù)膨據(jù)挖納掘特點(diǎn)作用對(duì)數(shù)雕據(jù)的蕩要求方法分類差、回竄歸分問(wèn)析、跳時(shí)間漫序列禮分析在、……cy吃.y繪js擊h@錢ya州ho旬o.鼻co參m.c構(gòu)n描述召型數(shù)犁據(jù)挖換掘特點(diǎn)作用對(duì)數(shù)匯據(jù)的依要求方法聚類疫、關(guān)旗聯(lián)、替序列馬分析撫、……cy視.y芽js宇h@斥ya坡ho惰o.雹co甩m.c泥nDa賠ta喉M暈in戴in籍g份Ta躬sk引s.膛..Cl友a(bǔ)s怎si濱fi央ca桃ti搞on[P蔑re世di道ct土iv鹽e]Re刊gr那es疊si惠on[P虹re沒(méi)di他ct擠iv箱e]De壘vi菊at葵io萬(wàn)n千De忘te穗ct俗io母n[P近re捉di齡ct免iv好e]……Cl牧us籃te叉ri梢ng[D叉es坡cr架ip六ti壟ve伐]As廁so潑ci幅at肢io喇n喉Ru劉le緩D播is朱co池ve嗽ry[D眾es菌cr稼ip狠ti乏ve能]Se對(duì)qu鏟en造ti蛙al飾P飼at訴te文rn扔D旨is妹co割ve淡ry[D蛾es聚cr歪ip為ti膨ve虎]……cy愈.y斧js紅h@健ya說(shuō)ho鍛o.沃co悉m.c休n第一祝章供概論一.數(shù)據(jù)麻挖掘撈的目爸的和削應(yīng)用二.數(shù)據(jù)悶挖掘聯(lián)的過(guò)到程三.數(shù)據(jù)本挖掘堂的方識(shí)法與廁分類四.數(shù)據(jù)礙挖掘蛇的性寺能評(píng)脫價(jià)本次洋課程量?jī)?nèi)容cy糞.y繞js候h@督y(tǒng)a尊ho裝o.香co親m.c鼻n性能街評(píng)價(jià)1.評(píng)價(jià)胞的總更體要蜻求/評(píng)價(jià)賊準(zhǔn)則2.預(yù)測(cè)微型模臂型的針評(píng)價(jià)讓參數(shù)3．描腦述型情模型盼的評(píng)汁價(jià)參午數(shù)cy癥.y銜js壘h@步y(tǒng)a白ho臨o.音co腎m.c然n評(píng)價(jià)座的總優(yōu)體要診求/評(píng)價(jià)辰準(zhǔn)則①趴模型討的準(zhǔn)筋確性鉆（內(nèi)芬涵）②欄模型雁的表乓達(dá)形棗式③爽模型勸建立趨的效田率④問(wèn)模型帽的抗抽干擾琴能力cy綱.y獅js刊h@舒ya橫ho環(huán)o.軌co繁m.c虜n性能灣評(píng)價(jià)1.評(píng)價(jià)嬌的總繡體要些求/評(píng)價(jià)演準(zhǔn)則2.預(yù)測(cè)吹型模誘型的彎評(píng)價(jià)怎參數(shù)3．描含述型淡模型代的評(píng)葡價(jià)參橋數(shù)cy裁.y往js歲h@乘ya啦ho涉o.突co極m.c移n預(yù)測(cè)哀型模額型的垮評(píng)價(jià)幣參數(shù)①幕殘差②沫混淆橋矩陣cy雅.y果js砌h@盈ya哥ho尿o.絨co揉m.c作n混淆校矩陣分類虛正確頸率：沈誤嗚分率調(diào)：cy臭.y廈js融h@侵ya規(guī)ho薯o.穗co住m.c纏n預(yù)測(cè)攜型模廟型的枝評(píng)價(jià)榜參數(shù)①陣殘差②踢混淆樣矩陣③綱靈敏楚度/特異偶性④RO碰Ccy慚.y似js舟h@職ya驕ho弦o.層co震m.c伸n靈敏姿度/特異改性acbdcy廊.y改js懲h@售ya毯ho滑o.銅co翼m.c巖n問(wèn)題正確動(dòng)率=靈敏碌度=特異慎性=舉一觸反三cy都.y嚇js草h@霉ya董h(huán)o旦o.境co傘m.c仍n預(yù)測(cè)際型模賠型的才評(píng)價(jià)只參數(shù)①蒜殘差②渠混淆頂矩陣③銳靈敏獲度/特異鳴性④RO英Ccy秤.y輸js井h@助ya糧ho轎o.匆co平m.c鴿nRO勉CRe蔽ce狗iv瓜er盯O濟(jì)pe薄ra脅ti萌ng神C然ha炮ra駐ct簡(jiǎn)er膊is鳳ti準(zhǔn)c受試嚷者工丟作特見(jiàn)征曲案線，旨接受月者操錘作特蜜征曲吐線Re哨la診ti運(yùn)ve甘O達(dá)pe憑ra每ti允ng雕C額ha皆ra然ct背er魯is涼ti輛c相對(duì)概工作耕特征證曲線Ar息ea志U燒nd思er惰C狀ur散veRO迷C曲線遇下的進(jìn)面積AU餃Ccy欣.y劑js毛h@喪ya孟ho舟o.秒co圾m.c故nRO色C的構(gòu)繳建例：唇有10蒸9份CT影像敞，其萌中有58份正撤常，51份異暗常。規(guī)現(xiàn)對(duì)雄這些CT影像績(jī)進(jìn)行酬分類避，按芝肯定哄正常(1竄)、可理能正笑常(2袋)、異孩?？杉梢?3踩)、可縣能異搭常(4歪)、肯披定異棄常(5膏)進(jìn)行深標(biāo)記行。靈敏度1-特異度cy必.y作js練h@少ya最ho學(xué)o.蹈co瓜m.c屢n小結(jié)傅&虎問(wèn)鎖題cy案.y偏js梅h@糠ya營(yíng)ho臂o.碌co船m.c趙n討論假設(shè)紡，腫逐瘤病膚人進(jìn)先行臨不床干祝預(yù)的味方法視，執(zhí)簡(jiǎn)化竄為：1.手術(shù)命；2.手術(shù)+放療型?，F(xiàn)要被求用威數(shù)據(jù)蝦挖掘士方法埋建立日模型偵，觀農(nóng)察不遲同方澆法對(duì)播預(yù)后灘有何詞影響鼓。問(wèn)：得這是會(huì)哪一爬類數(shù)堵?lián)谧诰蚍脚挤?？駝為什拜么？cy糟.y電js外h@膊ya軟ho旬o.烘co富m.c拖n討論假設(shè)渠：兒政童得術(shù)白血辣病，忠社會(huì)丸環(huán)境回因素瘡對(duì)患予兒可臥能有航一定即關(guān)系報(bào)。萄現(xiàn)有談研究麗者收歉集了2萬(wàn)多煩例（擾有白像血病婆、非禍白血炎?。┟?，包稱括20項(xiàng)因威素。銅希拔望找愈出哪體些因坑素與寶兒童子白血命病的倒發(fā)生談?dòng)嘘P(guān)考聯(lián)。繩例如劇：上吹過(guò)幼澇兒園旬的白象血病架發(fā)病潤(rùn)率比嚷未上廊過(guò)幼寺兒園痛的低30求%多。問(wèn)：艷這樣味的數(shù)賞據(jù)挖斷掘?qū)俟┯谀南瀭€(gè)類有型？cy匪.y辯js默h@失ya坦ho粗o.謀co兄m.c慘n討論