哈爾濱醫(yī)科大學《數(shù)據(jù)挖掘》第1章緒論

1、數(shù)據(jù)挖掘: 緒論,第1,數(shù)據(jù) 電子商務網(wǎng)站的日志 銀行帳務數(shù)據(jù) 顧客購物的數(shù)據(jù),為什么要進行數(shù)據(jù)挖掘? 商業(yè)觀點,為什么要進行數(shù)據(jù)挖掘? 科學觀點,醫(yī)學、科學、工程技術界 正快速積累大量數(shù)據(jù) (GB/hour) 地表、海洋和大氣的 全球觀測數(shù)據(jù) 基因組數(shù)據(jù) 數(shù)據(jù)挖掘技術可以幫助處理這些數(shù)據(jù) 干旱和颶風等生態(tài)擾動與全球變暖關系？ 海洋表面溫度對地表降水量和溫度影響？ 蛋白質(zhì)結(jié)構(gòu)預測、多序列比對、生物 化學通路建模、種系發(fā)生學,什么是數(shù)據(jù)挖掘,定義 數(shù)據(jù)挖掘是在大型數(shù)據(jù)存儲庫中，自動地發(fā)現(xiàn)有用信息的過程。 數(shù)據(jù)挖掘技術用來探查大型數(shù)據(jù)庫，發(fā)現(xiàn)先前未知的有用模式,什么是數(shù)據(jù)挖掘?什么不是,什么是數(shù)據(jù)

2、挖掘? 把搜索引擎得到的相似數(shù)據(jù)合并在一起 (e.g. Amazon rainforest, A,) 利用網(wǎng)絡數(shù)據(jù)分析哪些歌星在中國的名氣最高,什么不是數(shù)據(jù)挖掘? 在電話本里搜 索電話號碼 利用搜索引擎 如“Google”搜索“Amazon,數(shù)據(jù)挖掘利用了來自如下一些領域的思想： ()統(tǒng)計學的抽樣、估計、假設檢驗 ()人工智能、模式識別、機器學習 的搜索算法建摸技術、學習理論 ()最優(yōu)化、進化算法、 信息論、信號處理、 可視化、信息檢索 ()數(shù)據(jù)庫技術、并行計算 、分布式計算 傳統(tǒng)的方法可能不適合 數(shù)據(jù)量巨大 數(shù)據(jù)維度高 數(shù)據(jù)異種性（具有序列 和三維結(jié)構(gòu)的DNA數(shù)據(jù),數(shù)據(jù)挖掘的起源,人工智能、

3、 機器學習 和模式識別,統(tǒng)計學,數(shù)據(jù)挖掘,數(shù)據(jù)庫技術、并行技術、分布式技術,數(shù)據(jù)挖掘的任務,預測 使用已知變量預測未知變量的值. 描述 導出潛在聯(lián)系的模式（相關、趨勢、聚類、異常,數(shù)據(jù)挖掘的任務,分類 預測 聚類 描述 關聯(lián)分析 描述 異常檢測 預測,分類 例子,categorical,categorical,continuous,class,Training Set,Learn Classifier,聚類,Intracluster distances are minimized,Intercluster distances are maximized,關聯(lián)分析: 定義,用來發(fā)現(xiàn)描述數(shù)據(jù)中強關

4、聯(lián)特征的模式，所發(fā)現(xiàn)的模式通常用蘊涵規(guī)則或特征子集的形式表示。由于搜索空間是指數(shù)規(guī)模的，關聯(lián)分析的目標是以有效的方式提取最有趣的模式; 找出具有相關功能的基因組、識別一起訪問的Web頁面、理解地球氣候系統(tǒng)不同元素之間的聯(lián)系,Rules Discovered: Diaper - Milk Diaper, Milk - Beer,數(shù)據(jù)挖掘的挑戰(zhàn),可伸縮 高維性 異種數(shù)據(jù)和復雜數(shù)據(jù) 數(shù)據(jù)的所有權和分布 非傳統(tǒng)數(shù)據(jù),可伸縮,高維性,異種數(shù)據(jù)和復雜數(shù)據(jù),2. DIP數(shù)據(jù)庫,DIP數(shù)據(jù)庫是專門存儲蛋白質(zhì)相互作用信息的數(shù)據(jù)庫。該數(shù)據(jù)庫中也包含人工檢查的可靠信息和自動計算方法所獲取的高通量數(shù)據(jù),3.MIPS數(shù)據(jù)庫,MIPS數(shù)據(jù)庫是一個跨物種的綜合性數(shù)據(jù)庫，包含多種數(shù)據(jù)庫信息。其中的CYGD數(shù)據(jù)庫提供了比較完整酵母蛋白質(zhì)互作信息。而MIPS哺乳動物數(shù)據(jù)庫MPPI則提供了經(jīng)過人工檢查的哺乳動物蛋白質(zhì)互作信息,4.BioGrid數(shù)據(jù)庫,BioGrid數(shù)據(jù)庫是一個包含多物種蛋白質(zhì)互作信息的數(shù)據(jù)庫。數(shù)據(jù)庫中包含來自多個物種的互作信息，其中即包括物理互作信息也包括遺傳互作信息,主要記錄蛋白質(zhì)互作在內(nèi)的生物分子間的相互作用信息，并將其中的信息分為經(jīng)過人工檢查的可信信息和高通量數(shù)據(jù)信息,1. BIND數(shù)據(jù)庫,數(shù)據(jù)的所有權和分布,內(nèi)容安排,數(shù)據(jù) 探