醫(yī)學數據采集與準備

醫(yī)學數據采集與準備第1頁，共76頁，2023年，2月20日，星期三主要內容2.1數據的采集與準備2.2數據預處理第2頁，共76頁，2023年，2月20日，星期三2.1數據的采集與組織2.1.1數據的采集、存儲和管理2.1.2數據的組織第3頁，共76頁，2023年，2月20日，星期三2.1.1數據的采集、存儲和管理作用：將分散的、相互無關的、缺乏良好組織結構的海量數據加以收集并組織成結構化的數據，是數據挖掘的首要工作，也是必不可少的基礎。第4頁，共76頁，2023年，2月20日，星期三數據庫技術的演化(1)1960s和以前:文件系統(tǒng)1970s:層次數據庫和網狀數據庫1980s早期:關系數據模型,關系數據庫管理系統(tǒng)(RDBMS)的實現第5頁，共76頁，2023年，2月20日，星期三數據庫技術的演化(2)1980s晚期:各種高級數據庫系統(tǒng)(擴展的關系數據庫,面向對象數據庫等等.)面向應用的數據庫系統(tǒng)(空間數據庫，時序數據庫，多媒體數據庫等等）1990s:數據挖掘,數據倉庫,多媒體數據庫和網絡數據庫2000s流數據管理和挖掘基于各種應用的數據挖掘XML數據庫和整合的信息系統(tǒng)第6頁，共76頁，2023年，2月20日，星期三數據庫系統(tǒng)（databasemanagementsystem,DBMS）是存儲、組織和管理數據的有效工具，由一組含有內部相關數據的數據文件和一組管理數據的軟件程序組成，有時也簡稱為數據庫（database，DB）數據庫管理系統(tǒng)除了具有存儲、組織、操作數據的功能外，通常還具有一些常用的檢索和統(tǒng)計計算功能。第7頁，共76頁，2023年，2月20日，星期三數據倉庫數據倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時間相關的、不可修改的數據集合。此定義由最為權威的、被稱為“數據倉庫之父”的WilliamH.Inmon先生給出。第8頁，共76頁，2023年，2月20日，星期三數據倉庫的定義面向主題的

是相對于傳統(tǒng)數據庫的面向應用而言的。所謂面向應用，指的是系統(tǒng)實現過程中主要圍繞著一些應用或功能。而面向主題則考慮一個個的問題域，對問題域涉及到的數據和分析數據所采用的功能給予同樣的重視。典型的主題領域

顧客、產品、事務或活動、保險單、索賠和賬目。第9頁，共76頁，2023年，2月20日，星期三數據倉庫的定義集成的

數據倉庫中的數據來自各個不同的數據源（操作數據庫）。由于歷史的原因，各操作數據庫的組織結構往往是不同的，在這些異構數據輸入到數據倉庫之前，必須經歷一個集成過程。

第10頁，共76頁，2023年，2月20日，星期三數據倉庫的定義集成的

最重要的特點。應用問題的設計人員制定出不同的設計決策，且表示方法不同。例如編碼、命名習慣、實際屬性和屬性度量等方面不一致。數據進入數據倉庫時，需要消除各種不一致性。例如，數據倉庫中顧客“性別”的編碼，可采用“男/女”或“m/f”，采用哪種方式并不重要，重要的是在數據倉庫中應該統(tǒng)一編碼。如果應用數據編碼為“X/Y”，則進入數據倉庫時需要進行轉換。此外，對所有應用所涉及的問題都要考慮一致性。例如命名習慣、鍵碼結構、屬性度量以及數據特點等。第11頁，共76頁，2023年，2月20日，星期三數據倉庫的定義與時間相關的

數據倉庫以維的形式對數據進行組織，時間維是數據倉庫中很重要的一個維度。并且數據倉庫中的數據時間跨度大，從幾年甚至到幾十年，稱為歷史數據。第12頁，共76頁，2023年，2月20日，星期三數據倉庫的定義數據倉庫中數據隨時間變化的特性表現在：數據倉庫中的數據時間期限要遠遠長于操作型數據庫中的數據時間期限。操作型數據庫的時間期限一般是60～90天，而數據倉庫中數據的時間期限通常是5～10年。操作型數據庫含有“當前值”的數據，這些數據的準確性在訪問時是有效的，同樣當前值的數據能被更新。而數據倉庫中的數據僅僅是一系列某一時刻生成的復雜的快照。操作型數據的鍵碼結構可能包含也可能不包含時間元素，如年、月、日等。而數據倉庫的鍵碼結構總是包含某一時間元素。第13頁，共76頁，2023年，2月20日，星期三數據倉庫的定義不可修改的

面向應用的事務數據庫需要對數據進行頻繁的插入、更新操作，而對于數據倉庫中數據的操作僅限于數據的初始導入和記錄查詢。操作型數據是一次訪問和處理一個記錄，可以對操作型數據庫中的數據進行更新。但數據倉庫中的數據則不同，通常是一起載入與訪問的，在數據倉庫環(huán)境中并不進行一般意義上的數據更新。第14頁，共76頁，2023年，2月20日，星期三數據倉庫的定義

數據倉庫是決策支持系統(tǒng)（DecisionSupportSystem，DSS，DSS）的基礎。在數據倉庫中只有單一集成的數據源，并且數據是可訪問的。所以與傳統(tǒng)數據庫相比，在數據倉庫環(huán)境中DSS分析員的工作將較為容易。

第15頁，共76頁，2023年，2月20日，星期三數據倉庫的組成一個數據倉庫的大小一般都是在100GB以上通常，數據倉庫系統(tǒng)應該包含下列程序：（1）抽取數據與加載數據（2）整理并轉換數據（采用一種數據倉庫適用的數據格式）（3）備份與備存數據（4）管理所有查詢（即將查詢導向適當的數據源）第16頁，共76頁，2023年，2月20日，星期三2.1.2數據的組織數據的結構在關系型數據庫中，數據一般均以平面文件的形式存儲，數據的結構類似于表格。數據的類型數值型分類型二值型布爾型排序型第17頁，共76頁，2023年，2月20日，星期三2.2數據預處理2.2.1數據預處理目的2.2.2數據的分布特性2.2.3數據清洗2.2.4數據整合2.2.5數據變換2.2.6數據精簡第18頁，共76頁，2023年，2月20日，星期三第19頁，共76頁，2023年，2月20日，星期三數據預處理的目的現實世界的數據是“骯臟的”——數據多了，什么問題都會出現不完整的：有些感興趣的屬性缺少屬性值，或僅包含聚集數據含噪聲的：包含錯誤或者“孤立點”不一致的：在編碼或者命名上存在差異沒有高質量的數據，就沒有高質量的挖掘結果高質量的決策必須依賴高質量的數據數據倉庫需要對高質量的數據進行一致地集成第20頁，共76頁，2023年，2月20日，星期三數據預處理的目的在對數據進行預處理之前，重點是如何發(fā)現數據中的異?，F象首先，應根據專業(yè)的學科知識判斷明顯不合理的數據值其次，數值過度偏離均值的數據很可能是異?；虿痪_的。數據預處理一般包括數據清洗，數據整合，數據交換，數據精簡第21頁，共76頁，2023年，2月20日，星期三數據的分布特性均值：同類數據值的算術平均中值：也稱中位數。將原始數據按其值的大小順序排列，處于中間一位的數值或處于中間兩位數值的均值。眾數：原始數據集合中某個值出現的次數最多半程位：原始數據集合中最大數值和最小數值的均值。第22頁，共76頁，2023年，2月20日，星期三數據的分布特性全程范圍：數據集合的最大數值和最小數值之差四分位數：是k百分位的特例。若將原始數據按其數值順序依次排列，第一個四分位數Q1是指該集合中有四分之一的數據的值小于或等于Q1，第二個四分位數Q2是指該集合中有二分之一的數據的值小于或等于Q2，第三個四分位數Q3是指該集合中有四分之三的數據的值小于或等于Q3.第23頁，共76頁，2023年，2月20日，星期三四分位范圍：是第一和第三個四分位數之間的間距標準差：描繪了數據集合中各數值相對于均值的離散程度。第24頁，共76頁，2023年，2月20日，星期三2.2.3數據清洗數據清洗主要是處理原始數據中的缺失、不一致和受噪聲干擾等現象。第25頁，共76頁，2023年，2月20日，星期三為什么要預處理數據？現實世界的數據是“骯臟的”——數據多了，什么問題都會出現不完整的：有些感興趣的屬性缺少屬性值，或僅包含聚集數據含噪聲的：包含錯誤或者“孤立點”不一致的：在編碼或者命名上存在差異沒有高質量的數據，就沒有高質量的挖掘結果高質量的決策必須依賴高質量的數據數據倉庫需要對高質量的數據進行一致地集成第26頁，共76頁，2023年，2月20日，星期三數據質量的多維度量一個廣為認可的多維度量觀點：精確度完整度一致性合乎時機可信度附加價值可訪問性跟數據本身的含義相關的內在的、上下文的、表象的第27頁，共76頁，2023年，2月20日，星期三1.數據缺失數據并不總是完整的例如：數據庫表中，很多條記錄的對應字段沒有相應值，比如銷售表中的顧客收入引起空缺值的原因設備異常與其他已有數據不一致而被刪除因為誤解而沒有被輸入的數據在輸入時，有些數據應為得不到重視而沒有被輸入對數據的改變沒有進行日志記載空缺值要經過推斷而補上第28頁，共76頁，2023年，2月20日，星期三1.數據缺失原始數據中某些記錄的各項屬性或特征值可能不完整。例如，在一項大規(guī)模臨床藥物試驗中，需要定期采集受試者血壓、心率、血液化驗結果（血糖濃度、血脂水平、肝腎功能等）和服藥劑量等數據，然后以數據挖掘的方法分析該藥物的降壓作用以及可能的毒副作用。但是，在試驗過程中，由于某些原因，一些受試者的心率沒有被全部記錄，另一些受試者的腎功能可能沒有檢驗等。這些數據就發(fā)生了缺失，因而是不完整的。第29頁，共76頁，2023年，2月20日，星期三處理方法（1）忽略含有數據缺失的記錄。只有當數據挖掘涉及分類，而有記錄的類別屬性缺失時，或者當有的記錄有多項屬性都發(fā)生缺失時，通常采用這種方法。其他情況下一般不采用這種方法。用一個常量或標識符號（例如“未知”）來取代所有缺失的數據值。這種方法雖然簡單，但并非萬無一失。因為不同屬性的缺失值都用同一個常量代替后，可能會引起數據挖掘程序的誤判。第30頁，共76頁，2023年，2月20日，星期三處理方法（2）以全體數據相同屬性的均值取代某個記錄缺失的該屬性值。例如，某受試者的心率值缺失，可以其他受試者心率的均值充當該缺失的心里值。以全體數據中同類記錄的相同屬性的均值取代某個記錄的該屬性值。例如，某受試者為非糖尿病患者，其血糖化驗值缺失，可以用其他未患糖尿病的受試者血糖化驗值的均值充當該缺失的血糖化驗值。第31頁，共76頁，2023年，2月20日，星期三處理方法（3）以最可能發(fā)生的值取代某個記錄缺失的屬性值。例如，某位非糖尿病患者的受試者血糖化驗值丟失，可以根據其他各項記錄的相關數據，以回歸分析或決策樹等方法推斷該缺失數據最可能發(fā)生的值。第32頁，共76頁，2023年，2月20日，星期三處理方法（4）上述各種方法都有誤差，因為取代缺失數據的值并不是正確值。最后一種方法較其他方法更為合理一些。因為，在這種方法中，最大限度地利用了原始數據的所有信息推斷缺失數據最可能發(fā)生的值。第33頁，共76頁，2023年，2月20日，星期三2.數據噪聲噪聲：一個測量變量中的隨機錯誤或偏差引起噪聲數據的原因數據收集工具的問題數據輸入錯誤數據傳輸錯誤技術限制命名規(guī)則的不一致第34頁，共76頁，2023年，2月20日，星期三2.數據噪聲當被檢測的數值性數據出現隨機誤差或變異時，就產生了數據噪聲。噪聲對數據挖掘是不利的，應在實施數據挖掘之前盡可能地減小或平滑其幅度和影響。生物醫(yī)學領域內的許多數據本身存在較大的個體差異，而平滑噪聲的方法也無可避免的會掩蓋合理存在的個體差異。第35頁，共76頁，2023年，2月20日，星期三如何處理噪聲數據分箱(binning):首先排序數據，并將他們分到等深的箱中然后可以按箱的平均值平滑、按箱中值平滑、按箱的邊界平滑等等聚類：監(jiān)測并且去除孤立點計算機和人工檢查結合計算機檢測可疑數據，然后對它們進行人工判斷回歸通過讓數據適應回歸函數來平滑數據第36頁，共76頁，2023年，2月20日，星期三數據平滑的分箱方法price的排序后數據（單位：美元）：4，8，15，21，21，24，25，28，34劃分為（等深的）箱：箱1：4，8，15箱2：21，21，24箱3：25，28，34用箱平均值平滑：箱1：9，9，9箱2：22，22，22箱3：29，29，29用箱邊界平滑：箱1：4，4，15箱2：21，21，24箱3：25，25，34第37頁，共76頁，2023年，2月20日，星期三回歸平滑回歸是將原始數據擬合為某種回歸函數，以該函數的值取代相應的原始數據?？晒M合的函數形式有多種，擬合準則是回歸函數值與原始數據值之間的誤差盡可能小。最簡單的回歸是一元線性回歸，它可根據作為自變量的數據特征屬性來預測作為函數的另一個特征屬性的值。如果數據的相關特征屬性多于兩個，則可采用多元回歸，即可根據多個自變量的值來預測函數值。第38頁，共76頁，2023年，2月20日，星期三回歸xyy=x+1X1Y1Y1’第39頁，共76頁，2023年，2月20日，星期三聚類平滑聚類是以原始數據各相關特征屬性值構成特征空間，根據原始數據在此特征空間中的分布狀態(tài)，將它們聚集成幾個類別。聚類平滑是對原始數據進行聚類，并以每個類別的聚類中心取代該類別中的所有原始數據，這樣就消除了這個類別內各個原始數據之間的差異。聚類得到的類別越少，平滑效應越大。第40頁，共76頁，2023年，2月20日，星期三聚類平滑聚類的準則是：同一類別內的數據相似程度最高，而不同類別之間的差別最大。即使達到了可能的最佳聚類，仍然有些原始數據會落在各個類別之外，對這些數據要另作處理。第41頁，共76頁，2023年，2月20日，星期三聚類通過聚類分析查找孤立點，消除噪聲第42頁，共76頁，2023年，2月20日，星期三2.2.4數據整合目的：將來自于不同數據源的數據整合成一個統(tǒng)一的、一致的數據集合，供進一步的數據挖掘過程使用。原因：進行數據挖掘的全體數據可能來自于不同的數據源，而這些數據又存儲在各自不同的數據庫中。第43頁，共76頁，2023年，2月20日，星期三2.2.4數據整合實體識別（entityidentification）：也稱對象匹配（objectmatch）或設計方案整合（schemeintegration）。在不同數據庫中，可能采用不同的名稱、標識符號或代碼來表示客觀世界中的同一事物。第44頁，共76頁，2023年，2月20日，星期三數據集成數據集成：將多個數據源中的數據整合到一個一致的存儲中模式集成：整合不同數據源中的元數據實體識別問題：匹配來自不同數據源的現實世界的實體，比如：A.cust-id=B.customer_no檢測并解決數據值的沖突對現實世界中的同一實體，來自不同數據源的屬性值可能是不同的可能的原因：不同的數據表示，不同的度量等等第45頁，共76頁，2023年，2月20日，星期三2.2.4數據整合消除冗余（redundancy）：如果數據的某個特征屬性的值或狀態(tài)可以從其他一個或幾個特征屬性推導而得到，則產生了信息的冗余。利用相關性分析，可以揭示數據冗余。如果A和B是數值性的數據特征屬性，可計算A和B的相關系數。相關系數的值可介于-1和+1之間。相關系數絕對值越接近1，表明兩者間的相關性越強，產生冗余的可能性也越大。相關系數的正負表明兩者為正相關還是負相關。如果A和B是分類型（離散）的數據特征屬性，則可以計算卡方試驗來分析相關性。A和B相關性強，并不說明兩者之間存在因果關系，也可能是由于兩者分別和第三個因素C之間有一定的因果關系。第46頁，共76頁，2023年，2月20日，星期三處理數據集成中的冗余數據集成多個數據庫時，經常會出現冗余數據同一屬性在不同的數據庫中會有不同的字段名一個屬性可以由另外一個表導出，如“年薪”有些冗余可以被相關分析檢測到仔細將多個數據源中的數據集成起來，能夠減少或避免結果數據中的冗余與不一致性，從而可以提高挖掘的速度和質量。第47頁，共76頁，2023年，2月20日，星期三數據值沖突它是由于在不同數據庫中，對同一個參數采用不同單位引起的。第48頁，共76頁，2023年，2月20日，星期三2.2.5數據變換數據變換是將原始數據的類型或取值范圍變換到合適的形式，以便適應不同數據挖掘算法的要求。第49頁，共76頁，2023年，2月20日，星期三為什么要進行數據變換？原始數據類型根據數據反映的客觀事物的性質不同而各異。不同的數據挖掘算法對數據類型可能有特定的要求。生物醫(yī)學數據反映的客觀事物的生理或生化性質不同、量綱也各不相同，這導致了這些數據的數值變化范圍會有很大的差異。數據的取值范圍對某些數據挖掘算法的性能也會有所影響。第50頁，共76頁，2023年，2月20日，星期三數據轉換數據離散化新建變量轉換變量拆分數據格式變換數據分割第51頁，共76頁，2023年，2月20日，星期三離散化三種類型的屬性值：名稱型——e.g.無序集合中的值序數——e.g.有序集合中的值連續(xù)值——e.g.實數離散化將連續(xù)屬性的范圍劃分為區(qū)間有效的規(guī)約數據基于判定樹的分類挖掘離散化的數值用于進一步分析第52頁，共76頁，2023年，2月20日，星期三離散化和概念分層離散化通過將屬性域劃分為區(qū)間，減少給定連續(xù)屬性值的個數。區(qū)間的標號可以代替實際的數據值。概念分層通過使用高層的概念（比如：青年、中年、老年）來替代底層的屬性值（比如：實際的年齡數據值）來規(guī)約數據第53頁，共76頁，2023年，2月20日，星期三數據數值的離散化和概念分層生成分箱（binning）分箱技術遞歸的用于結果劃分，可以產生概念分層。直方圖分析（histogram）直方圖分析方法遞歸的應用于每一部分，可以自動產生多級概念分層。聚類分析將數據劃分成簇，每個簇形成同一個概念層上的一個節(jié)點，每個簇可再分成多個子簇，形成子節(jié)點?；陟氐碾x散化通過自然劃分分段第54頁，共76頁，2023年，2月20日，星期三通過自然劃分分段將數值區(qū)域劃分為相對一致的、易于閱讀的、看上去更直觀或自然的區(qū)間。聚類分析產生概念分層可能會將一個工資區(qū)間劃分為：[51263.98,60872.34]通常數據分析人員希望看到劃分的形式為[50000，60000]自然劃分的3-4-5規(guī)則常被用來將數值數據劃分為相對一致，“更自然”的區(qū)間第55頁，共76頁，2023年，2月20日，星期三自然劃分的3-4-5規(guī)則規(guī)則的劃分步驟：如果一個區(qū)間最高有效位上包含3，6，7或9個不同的值，就將該區(qū)間劃分為3個等寬子區(qū)間；(72,3,2)如果一個區(qū)間最高有效位上包含2，4，或8個不同的值，就將該區(qū)間劃分為4個等寬子區(qū)間；如果一個區(qū)間最高有效位上包含1，5，或10個不同的值，就將該區(qū)間劃分為5個等寬子區(qū)間；將該規(guī)則遞歸的應用于每個子區(qū)間，產生給定數值屬性的概念分層；對于數據集中出現的最大值和最小值的極端分布，為了避免上述方法出現的結果扭曲，可以在頂層分段時，選用一個大部分的概率空間。e.g.5%-95%第56頁，共76頁，2023年，2月20日，星期三3-4-5規(guī)則——例子(-$4000-$5,000)(-$400-0)(-$400--$300)(-$300--$200)(-$200--$100)(-$100-0)(0-$1,000)(0-$200)($200-$400)($400-$600)($600-$800)($800-$1,000)($2,000-$5,000)($2,000-$3,000)($3,000-$4,000)($4,000-$5,000)($1,000-$2,000)($1,000-$1,200)($1,200-$1,400)($1,400-$1,600)($1,600-$1,800)($1,800-$2,000)msd=1,000 Low=-$1,000 High=$2,000第二步第四步第一步-$351 -$159 profit $1,838 $4,700 MinLow(i.e,5%-tile) High(i.e,95%-0tile)Maxcount(-$1,000-$2,000)(-$1,000-0)(0-$1,000)第三步($1,000-$2,000)第57頁，共76頁，2023年，2月20日，星期三分類數據的概念分層生成分類數據是指無序的離散數據，它有有限個值（可能很多個）。分類數據的概念分層生成方法：由用戶或專家在模式級顯式的說明屬性的部分序。通過顯示數據分組說明分層結構的一部分。說明屬性集，但不說明它們的偏序，然后系統(tǒng)根據算法自動產生屬性的序，構造有意義的概念分層。對只說明部分屬性集的情況，則可根據數據庫模式中的數據語義定義對屬性的捆綁信息，來恢復相關的屬性。第58頁，共76頁，2023年，2月20日，星期三屬性集的規(guī)格根據在給定屬性集中，每個屬性所包含的不同值的個數，可以自動的生成概念分成；不同值個數最多的屬性將被放在概念分層的最底層。countryprovincecitystreet5個不同值65個不同值3567個不同值674,339個不同值第59頁，共76頁，2023年，2月20日，星期三數據變換 平滑：去除數據中的噪聲（分箱、聚類、回歸）聚集：匯總，數據立方體的構建數據概化：沿概念分層向上概化規(guī)范化：將數據按比例縮放，使之落入一個小的特定區(qū)間最?。畲笠?guī)范化z-score規(guī)范化小數定標規(guī)范化屬性構造通過現有屬性構造新的屬性，并添加到屬性集中；以增加對高維數據的結構的理解和精確度第60頁，共76頁，2023年，2月20日，星期三數據變換——規(guī)范化最?。畲笠?guī)范化z-score規(guī)范化小數定標規(guī)范化其中，j是使Max(||)<1的最小整數第61頁，共76頁，2023年，2月20日，星期三數據變換——規(guī)范化對數歸一法（logarithmicnormalization）:在這種簡單的歸一化算法中，原始的對數值取代原數值，構成了數據的變換值。這種算法在壓縮原始數據動態(tài)范圍時，并不引起信息的損失。第62頁，共76頁，2023年，2月20日，星期三2.2.6數據精簡數據精簡就是簡化數據表達方式（包括記錄的數量及特征屬性的數量），同時又維持原始數據的實質不變，以使數據挖掘可以實施，提高其效率，且得到相同（或基本相同）的分析結果。第63頁，共