探索性數(shù)據(jù)分析(EDA)

探索性數(shù)據(jù)分析（EDA）EDA的提出1977年，美國統(tǒng)計學家JohnW.Tukey出版了《探索性數(shù)據(jù)分析》一書，引起了統(tǒng)計學界的關注。該書指出了統(tǒng)計建模應該結(jié)合數(shù)據(jù)的真實分布情況，對數(shù)據(jù)進行分析，而不應該從理論分布假定出發(fā)去構建模型。EDA重新提出了描述統(tǒng)計在數(shù)據(jù)分析中的重要性，它為統(tǒng)計學指明了新的發(fā)展方向——和數(shù)據(jù)相結(jié)合。EDA的定義

探索性數(shù)據(jù)分析是對調(diào)查、觀測所得到的一些初步的雜亂無章的數(shù)據(jù)，在盡量少的先驗假定下進行處理，通過作圖、制表等形式和方程擬合、計算某些特征量等手段，探索數(shù)據(jù)的結(jié)構和規(guī)律的一種數(shù)據(jù)分析方法。EDA的主要特點研究從原始數(shù)據(jù)入手，完全以實際數(shù)據(jù)為依據(jù)傳統(tǒng)的統(tǒng)計分析方法通常是先假定數(shù)據(jù)服從某種分布，然后用適應這種分布的模型進行分析和預測。但實際上，多數(shù)數(shù)據(jù)(尤其是實驗數(shù)據(jù))并不能保證滿足假定的理論分布。因此，傳統(tǒng)方法的統(tǒng)計結(jié)果常常并不令人滿意，使用上受到很大的局限。分析方法從實際出發(fā)，不以某種理論為依據(jù)

傳統(tǒng)的統(tǒng)計分析方法是以概率論為理論基礎，對各種參數(shù)的估計、檢驗和預測給出具有一定精度的度量方法和度量值。而EDA在探索數(shù)據(jù)內(nèi)在的數(shù)量特征、數(shù)量關系和數(shù)量變化時，什么方法可以達到這一目的就采用什么方法，靈活對待，靈活處理。方法的選擇完全取決于數(shù)據(jù)的特點和研究的目的。分析工具簡單直觀，更易于普及

傳統(tǒng)的統(tǒng)計分析方法都比較抽象和深奧，一般人難于掌握，EDA則更強調(diào)直觀及數(shù)據(jù)可視化，使分析者能一目了然地看出數(shù)據(jù)中隱含的有價值的信息，顯示出其遵循的普遍規(guī)律及與眾不同的突出特點，促進發(fā)現(xiàn)規(guī)律，得到啟迪，滿足分析者的多方面要求，這也是EDA對于數(shù)據(jù)分析的的主要貢獻。數(shù)據(jù)類型結(jié)構化數(shù)據(jù)：

二分類型：如性別

多分類型：如職業(yè)

有序類型：如收入水平

數(shù)值類型：如年齡、收入

非結(jié)構化數(shù)據(jù)：

文本

音頻

視頻

圖片

單變量分析頻率和眾數(shù)：針對于無序的分類的變量百分位數(shù)：針對于有序的或連續(xù)的變量位置度量：均值和中位數(shù)散布度量：方差、標準差、偏度、峰度、四分位數(shù)極差偏度和峰度偏度的計算公式：

偏度是刻畫數(shù)據(jù)對稱性的指標。關于均值對稱的數(shù)據(jù)其偏度為0，呈現(xiàn)右偏的數(shù)據(jù)偏度大于0，呈現(xiàn)左偏的數(shù)據(jù)偏度小于0。峰度的計算公式：峰度是刻畫分布狀態(tài)的陡緩程度的指標。峰度等于0，分布呈正態(tài)，峰度大于0，分布呈尖峰狀態(tài)，峰度小于0，分布呈平峰狀態(tài)。四分位數(shù)極差四分位數(shù)極差定義：判斷數(shù)據(jù)異常點的方法：稱為數(shù)據(jù)的下、上截斷點。大于上截斷點或小于下截斷點的數(shù)據(jù)均為異常點。直方圖對于分類屬性，每個值在一個箱中。對于連續(xù)屬性，將值域劃分成箱（通常是等寬的）并對每個箱中的值計數(shù)。正常型直方圖：

它的形狀是中間高兩邊低，左右近似對稱。雙峰型直方圖：當直方圖中出現(xiàn)了兩個峰，這是由于觀測值來自兩個總體、兩個分布的數(shù)據(jù)混合在一起造成的。平頂型直方圖：當直方圖沒有突出的頂峰，呈平頂型。形成的原因：1.多個總體多個分布混合在一起；2.變量在某個區(qū)間均勻變化。偏態(tài)型直方圖：偏態(tài)型直方圖是指圖的頂峰有時向左偏、有時向右偏。孤島型直方圖：在直方圖旁邊有孤立的小島出現(xiàn)。直方圖作用數(shù)據(jù)是否接近對稱數(shù)據(jù)分散性如何數(shù)據(jù)是否有異常值數(shù)據(jù)中是否有間隙箱線圖箱線圖是一種顯示一維數(shù)值屬性值分布的圖形。它有6個數(shù)據(jù)節(jié)點：上邊緣、上四分位數(shù)中位數(shù)、下四分位數(shù)下邊緣、異常值。箱線圖的作用：識別異常值；判斷數(shù)據(jù)的偏態(tài)；比較幾批數(shù)據(jù)的形狀。正態(tài)性檢驗正態(tài)分布是許多檢驗的基礎，比如F檢驗，t檢驗，卡方檢驗等。因此，對于一個樣本是否來自正態(tài)總體的檢驗是至關重要的。圖示法直方圖：是否以鐘型分布箱線圖：觀測矩形位置和中位數(shù)，若矩形位于中間位置且中位數(shù)位于矩形的中間位置，則分布較為對稱。QQ圖

對于樣本，其次序統(tǒng)計量是。QQ圖是由以下的點構成的散點圖：若樣本數(shù)據(jù)近似于正態(tài)分布，在QQ圖上這些點近似地在直線附近。非參數(shù)檢驗方法Kolmogorov-Smirnov正態(tài)性檢驗：檢驗統(tǒng)計量為表示一組隨機樣本的累計頻率函數(shù)，表示分布的分布函數(shù)。Shapiro-Wilk的(W檢驗)夏皮絡—威爾克檢驗當時可以使用。兩個變量的關系兩個數(shù)值型變量線性相關（服從二元正態(tài)分布）秩相關（兩個有序的分類變量）兩個無序分類變量關聯(lián)性分析兩個數(shù)值型變量線性相關1.計算Pearson樣本相關系數(shù)Pearson樣本相關系數(shù)的取值范圍和含義是：相關系數(shù)的取值在-1~1之間。>0表示兩變量存在正的線性相關關系,

<0表示兩變量存在負的線性相關系數(shù)。=1表示兩變量存在完全正相關，=-1表示兩變量存在完全負相關，=0表示兩變量不存在線性相關關系。>0.8表示兩變量之間具有較強的線性關系，<0.3表示兩變量之間的線性相關關系較弱。問題：當我們得到相關系數(shù)后，是否就能直接判斷兩變量之間的關系？2.相關系數(shù)的假設檢驗：提出零假設：兩變量無線性相關關系選擇檢驗統(tǒng)計量：Pearson相關系數(shù)的檢驗統(tǒng)計量為t統(tǒng)計量，即其中，t統(tǒng)計量服從n-2個自由度的t分布。計算檢驗統(tǒng)計量的觀測值和p值。決策。如果p值小于顯著水平，應拒絕原假設，認為兩變量有線性相關關系，否則兩變量不存在線性相關關系。應用時注意的問題進行線性相關分析前，可以先繪制散點圖。要求兩變量都來自正態(tài)總體的隨機變量。出現(xiàn)異常值時慎用。秩相關設

的秩統(tǒng)計量是

，的秩統(tǒng)計量是。則Spearman相關系數(shù)是：對于Spearman相關系數(shù)，也可以做假設檢驗：檢驗統(tǒng)計量：其中t統(tǒng)計量服從n-2個自由度的t分布。兩個無序分類變量關聯(lián)性分析方法：

檢驗檢驗統(tǒng)計量為：其中，統(tǒng)計量服從自由度為(n-1)(m-1)的分布。

為觀測頻數(shù)，為期望頻數(shù)。多個數(shù)值型變量可以使用散點圖矩陣多個分類變量可以使用網(wǎng)狀圖

補充當目標變量是分類型變量，解釋變量是數(shù)值型變量時可以利用方差分析的方法，來判斷目標變量在不同分類水平下解釋變量的均值是否存在顯著差異。初步結(jié)論變量是否有缺失變量是否有異常值變量是否有冗余變量的分布情況樣本是否有重復樣本是否存在不平衡類問題簡單的處理對于缺失問題可以刪除記錄或者插補對于異常值可以刪除或