Matlab 數據分析 課件 康海剛 第3、4章 隨機模擬、數據預處理

Matlab數據分析第3章隨機模擬3.1隨機數的生成1.模擬均勻分布隨機變量的函數2.模擬指數分布隨機變量的函數3.模擬正態(tài)分布隨機變量的函數3.2蒙特卡羅模擬3.2.1蒙特卡羅模擬估計面積3.2蒙特卡羅模擬3.2蒙特卡羅模擬3.2.2蒙特卡羅模擬尋求近似圓周率3.2蒙特卡羅模擬3.2.3蒙特卡羅模擬解決生日問題3.3隨機行為的模擬1.一枚正規(guī)硬幣2.一個不正規(guī)的骰子3.3隨機行為的模擬3.3隨機行為的模擬3.布朗運動3.4蒙特卡羅模擬應用案例：理發(fā)店系統(tǒng)研究1.問題分析2.模型假設1）60%的顧客只需剪發(fā)，40%的顧客既要剪發(fā)又要洗發(fā)。2）每個服務員剪發(fā)需要的時間為5min，既剪發(fā)又洗發(fā)則需要8min。3）顧客的到達間隔時間服從指數分布。4）服務過程中服務員不休息。3.變量說明4.模型建立5.系統(tǒng)模擬（1）狀態(tài)（變量）3.4蒙特卡羅模擬應用案例：理發(fā)店系統(tǒng)研究1）等待服務的顧客數。2）A是否正在服務。3）B是否正在服務。（2）實體兩名服務員和多名顧客。（3）事件1）一名新顧客的到達2）A開始服務3）A結束服務4）B開始服務5）B結束服務（4）活動1）顧客排隊時間3.4蒙特卡羅模擬應用案例：理發(fā)店系統(tǒng)研究2）顧客們到達的間隔時間3）A的服務時間4）B的服務時間6.系統(tǒng)模擬算法設計7.系統(tǒng)模擬程序第4章數據預處理4.1認識數據4.1.1屬性4.1.2離散屬性和連續(xù)屬性4.2數據預處理概述1）數據清洗是通過填寫缺失的值、光滑噪聲數據、識別或刪除離群點，并解決不一致性等方式來“清洗”數據的。2）數據集成是把不同來源、格式、性質的數據在邏輯上或物理上有機地集中，以便更方便地進行數據挖掘工作，數據集成通過數據交換而達到，主要解決數據的分布性和異構性的問題。3）數據歸約就是得到數據集的簡化表示，雖然小得多，但能夠產生同樣的（或幾乎同樣的）分析結果。4.2數據預處理概述4）數據變換是將數據從一種表現形式變?yōu)榱硪环N表現形式的過程。4.2.1數據清洗1.缺失值處理（1）刪除法刪除法是對缺失值進行處理的最原始方法，它將存在缺失值的記錄刪除。（2）插補法它的思想來源是以最可能的值來插補缺失值，比全部刪除不完全樣本所產生的信息丟失要少。1）均值插補。2）回歸插補。3）極大似然估計。2．噪聲過濾（1）回歸法回歸法是用函數擬合數據來光滑數據的。4.2數據預處理概述（2）均值平滑法均值平滑法是指對于具有序列特征的變量用鄰近若干數據的均值來替換原始數據的方法，如圖4-3所示。（3）離群點分析法離群點分析法是通過聚類等方法來檢測離群點，并將其刪除，從而實現去噪的方法。4.2數據預處理概述（4）小波去噪法在數學上，小波去噪的本質是一個函數逼近問題，即如何在由小波母函數伸縮和平移所展成的函數空間中，根據提出的衡量準則，尋找對原信號的最佳逼近，以完成原信號和噪聲信號的區(qū)分。4.2.2數據集成4.2數據預處理概述4.2.3數據歸約1）屬性選擇是通過刪除不相關或冗余的屬性（或維）來減少數據量的。2）樣本選擇也就是數據抽樣。4.2.4數掘變換1.標準化2.離散化4.3

Matlab與Excel的數據交互4.3.1以交互方式導入數據1）Matlab工具條：在主頁選項卡中的變量部分，單擊導入數據。2）Matlab命令提示符：輸入“uiimport”，在彈出的窗口中選擇需要導入的數據文件，如圖4-5所示。4.3

Matlab與Excel的數據交互4.3.2炭取和寫入表1.用readtable讀取表格數據2.用writetable寫入表格數據4.3

Matlab與Excel的數據交互4.3.3大型文件和大型數據簡介4.3.4數據的清理、平滑和分組等1.清除表中的雜亂數據和缺失數據（1）加載樣本數據從一個逗號分隔的文本文件messy.csv加載樣本數據。（2）匯總表使用summary函數創(chuàng)建匯總表來查看每個變量的數據類型、說明、單位和其他描述性統(tǒng)計量。（3）查找具有缺失值的行顯示表T中至少含有一個具有缺失值的行子集。（4）替換缺失值指示符清除相應數據，將代碼-99所指示的缺失值替換標準的Matlab數值缺失值指示符NaN。（5）刪除具有缺失值的行創(chuàng)建一個新表T3，該表僅包含T中不帶缺失值的行。（6）組織數據先根據C列以降序對T3的行進行排序，然后根據A列以升序排序。4.3

Matlab與Excel的數據交互2.數據平滑和離群值檢測（1）移動均值方法移動均值方法是分批處理數據的方法，通常是為了從統(tǒng)計角度表示數據中的相鄰點。4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互（2）其他的平滑方法1）smoothdata函數提供幾種平滑選項，如Savitzky-Golay方法，這是一種常用的信號處理平滑技術。2）穩(wěn)健的Lowess方法是另一種平滑方法，尤其適用于同時包含噪聲和離群值的數據。（3）檢測離群值數據中的離群值可能使數據處理結果和其他計算量嚴重失真。4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互（4）非均勻數據并非所有數據都由等間隔的點組成，這會影響數據處理的方法。4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互4.3

Matlab與Excel的數據交互3.拆分數據變量及應用（1）加載電力中斷數據示例文件