數(shù)據(jù)分析方法MATLAB實現(xiàn)課件

普通高等院校計算機課程規(guī)劃教材MATLAB數(shù)據(jù)分析方法

李柏年吳禮斌主編張孔生丁華參編普通高等院校計算機課程規(guī)劃教材MATLAB數(shù)據(jù)分析方法李柏第2章數(shù)據(jù)描述性分析

數(shù)據(jù)描述性分析是從樣本數(shù)據(jù)出發(fā)，概括分析數(shù)據(jù)的集中位置、分散程度、相互關(guān)聯(lián)關(guān)系等，分析數(shù)據(jù)分布的正態(tài)或偏態(tài)特征.描述性分析是進行數(shù)據(jù)進一步分析的基礎(chǔ).對不同類型量綱的數(shù)據(jù)有時還要進行變換，然后再作出合理分析.本章主要介紹樣本數(shù)據(jù)的基本統(tǒng)計量、數(shù)據(jù)的可視化、數(shù)據(jù)分布檢驗及數(shù)據(jù)變換等內(nèi)容.2.1基本統(tǒng)計量與數(shù)據(jù)可視化2.1.1樣本數(shù)據(jù)的基本統(tǒng)計量

描述數(shù)據(jù)基本特征主要為集中位置和分散程度。設(shè)從所研究的對象(即總體)X中觀測得到n個觀測值第2章數(shù)據(jù)描述性分析數(shù)據(jù)描述性分析是從樣本1.均值、中位數(shù)、分位數(shù)與三均值數(shù)據(jù)(x1,x2,…,xn)的平均值稱為該數(shù)據(jù)的均值，記為x1,x2,…,xn這n個值稱為樣本數(shù)據(jù),簡稱數(shù)據(jù)，n稱為樣本容量.我們的任務(wù)就是要對樣本數(shù)據(jù)(2.1.1)進行分析，提取數(shù)據(jù)中所包含的有用的信息，從而進一步對總體的特性作出推斷.(2.1.1)(2.1.2)樣本均值描述了數(shù)據(jù)取值的平均位置.樣本均值計算簡易,但易受異常值的影響而不穩(wěn)健.1.均值、中位數(shù)、分位數(shù)與三均值數(shù)據(jù)(x1,x2,…,xn又將數(shù)據(jù)（2.1.1）按從小到大的次序排列，排序為k的數(shù)記為x(k)(1kn)，即x(1)

x(2)…x(n)，稱

(2.1.3)

為數(shù)據(jù)（2.1.1）的次序統(tǒng)計量.由次序統(tǒng)計量定義數(shù)M，稱M為數(shù)據(jù)（2.1.1）的中位數(shù)。(2.1.4)中位數(shù)是描述數(shù)據(jù)的中心位置的數(shù)字特征，若數(shù)據(jù)的分布對稱，則均值與中位數(shù)比較接近。若數(shù)據(jù)的分布為偏態(tài)，則均值與中位數(shù)差異會較大。中位數(shù)的一個顯著特點是受異常值的影響較小，具有較好的穩(wěn)健性.又將數(shù)據(jù)（2.1.1）按從小到大的次序排列，排序為k的數(shù)記為設(shè)0p<1，樣本數(shù)據(jù)（2.1.1）的p分位數(shù)定義為

(2.1.5)

其中[np]表示np的整數(shù)部分.顯然，當(dāng)p=0.5時，M0.5=M，即數(shù)據(jù)的0.5分位數(shù)等于其中位數(shù).

一般來說，從整批數(shù)據(jù)（總體）中抽取樣本數(shù)據(jù)，則整批數(shù)據(jù)中約有100p%個不超過樣本數(shù)據(jù)的p分位數(shù).在實際應(yīng)用中，0.75分位數(shù)與0.25分位數(shù)比較重要，它們分別稱為上、下四分位數(shù)，記為Q3,Q1.設(shè)0p<1，樣本數(shù)據(jù)（2.1.1）的p分位數(shù)定義為(2.

雖然均值與中位數(shù)都是描述數(shù)據(jù)集中位置的數(shù)字特征，但是均值用了數(shù)據(jù)的全部信息，中位數(shù)只用了部分信息（位置信息），因此通常情況下均值比中位數(shù)有效.當(dāng)數(shù)據(jù)有異常值時，中位數(shù)比較穩(wěn)健。為了兼顧兩者的優(yōu)勢，因此人們提出三均值的概念，定義三均值如下：

(2.1.6)

由定義可知：三均值是上四分位數(shù)、中位數(shù)與下四分位數(shù)的加權(quán)平均，即分位數(shù)向量(M0.25,M,M0.75)與權(quán)向量為w=(0.25,0.5,0.25)的內(nèi)積。雖然均值與中位數(shù)都是描述數(shù)據(jù)集中位置的數(shù)字特MATLAB提供了求均值、中位數(shù)、分位數(shù)的命令.（1）均值命令mean，其調(diào)用格式

m=mean(X);其中，輸入X為樣本數(shù)據(jù)(2.1.1),輸出m為樣本均值。（2）中位數(shù)命令median，其調(diào)用格式

MD=median(X)；其中輸入?yún)?shù)X是樣本數(shù)據(jù)(2.1.1)，輸出MD為中位數(shù).（3）P分位數(shù)命令prctile，其調(diào)用格式

SM=prctile(X,P)；其中輸入?yún)?shù)X是樣本數(shù)據(jù)(2.1.1)，P為介于0至100間的整數(shù)，P=100*p，輸出SM為P%分位數(shù)。MATLAB提供了求均值、中位數(shù)、分位數(shù)的命令.（1）均值命注意：當(dāng)樣本數(shù)據(jù)X是矩陣時，上述三個命令的輸出將給出X的每列數(shù)據(jù)的相對應(yīng)的數(shù)值，參見例2.1.1.（4）根據(jù)分位數(shù)命令及公式（2.1.6），可編寫求三均值的MATLAB程序如下。w=[0.25,0.5,0.25]；%輸入權(quán)向量wSM=w*prctile(X,w);%由(2.1.5)式計算X三均值例2.1.1.根據(jù)安徽省統(tǒng)計年鑒數(shù)據(jù)（表2.1）計算各指標(biāo)均值、中位數(shù)以及三均值.注意：當(dāng)樣本數(shù)據(jù)X是矩陣時，上述三個命令的輸出將給出X的每列項目6數(shù)據(jù)描述性分析例6-1表6-1是某省各市森林資源情況統(tǒng)計數(shù)據(jù)，計算各指標(biāo)均值、中位數(shù)以及三均值。項目6數(shù)據(jù)描述性分析例6-1表6-1是某省各市森林資源項目6數(shù)據(jù)描述性分析1、導(dǎo)入數(shù)據(jù)（方法一）原始數(shù)據(jù)是excel文件：data=xlsread('d:\ys');%導(dǎo)入數(shù)據(jù)；（方法二）或先將excel文件放到work文件夾中，再B=xlsread('yuanshishuju.xls')（方法三）如果數(shù)據(jù)文件保存在excel的某個sheet中，我們的使用方式為：A=xlsread('data.xlsx','Sheet1');2、導(dǎo)出數(shù)據(jù)用save'b.txt'B-ascii%(把矩陣B的數(shù)據(jù),導(dǎo)出到了TXT文件中，名字為b.txt)，注意空格，-ascii前有空格。xlswrite('a.xls',a)即可讀到excel文件中注意：（a是文件名，注意單引號必須英文狀態(tài)下輸入）這里的Excel都是Microsoftoffice中的Excel，對于wps的Excel，MATLAB無法讀取在進行文件讀取時，請先關(guān)閉所要讀取的數(shù)據(jù)文件將數(shù)據(jù)寫入Excel之前，請先刪除同名Excel文件，以免數(shù)據(jù)覆蓋，造成數(shù)據(jù)丟失項目6數(shù)據(jù)描述性分析1、導(dǎo)入數(shù)據(jù)解：將表6-1的數(shù)據(jù)作為一個矩陣AA輸入當(dāng)前窗口，然后對矩陣AA調(diào)用有關(guān)命令函數(shù)，程序如下：AA=[53.93 50.98 15.48 256.00 65.4144.92 40.38 14.99 211.07 151.14148.19 145.54 17.10 842.09 677.52293.86 279.86 28.80 1238.01 1035.6786.96 74.64 12.91 302.67 299.32791.50 680.96 77.80 3298.56 3252.88598.92 546.67 35.60 2291.09 2099.21];M=mean(AA);MD=median(AA);w=[0.25,0.5,0.25];SM=w*prctile(AA,[0.25;0.5;0.75]);[M;MD;SM]解：將表6-1的數(shù)據(jù)作為一個矩陣AA輸入當(dāng)前窗口，然后對矩陣輸出結(jié)果如下：>>

M_MD_SM%M文件名ans=1.0e+03*0.28830.25990.02901.20561.08300.14820.14550.01710.84210.67750.04490.04040.01290.21110.0654即如表6-2所示。輸出結(jié)果如下：表6-2某省森林資源均值、中位數(shù)與三均值表6-2某省森林資源均值、中位數(shù)與三均值2.方差與變異系數(shù)方差是描述數(shù)據(jù)取值分散性的一種度量，它是數(shù)據(jù)相對于均值的偏差平方的平均.樣本數(shù)據(jù)（2.1.1）的方差記為（2.1.7）

其算術(shù)平方根稱為標(biāo)準(zhǔn)差或根方差，即（2.1.8）

2.方差與變異系數(shù)（2.1.7）其算術(shù)平方根稱為標(biāo)準(zhǔn)差或根刻畫數(shù)據(jù)x1,x2,…,xn相對分散性的指標(biāo)可以用變異系數(shù)，其計算公式為（2.1.9）

變異系數(shù)是一個無量綱的量，一般用百分?jǐn)?shù)表示.在MATLAB中，計算方差命令var，調(diào)用格式

S=var(x);計算標(biāo)準(zhǔn)差命令std，調(diào)用格式

d=std(x)其中輸入x是樣本數(shù)據(jù)，輸出S為方差,d為標(biāo)準(zhǔn)差.當(dāng)輸入x是矩陣時，輸出x每列數(shù)據(jù)的方差與標(biāo)準(zhǔn)差.由均值與方差命令，可設(shè)計變異系數(shù)的計算程序為v=std(x)./mean(x)，或者v=std(x)./abs(mean(x))當(dāng)輸入x是矩陣時，輸出x每列數(shù)據(jù)的變異系數(shù).刻畫數(shù)據(jù)x1,x2,…,xn相對分散性的指標(biāo)可以用變異系數(shù)，例2.1.2.計算例2.1.1中各指標(biāo)的方差、標(biāo)準(zhǔn)差與變異系數(shù)解：將表2-1中的數(shù)據(jù)粘貼到MATLAB軟件A=[53.93,…,3252.88];%粘貼原始數(shù)據(jù)M=mean(A);%計算各指標(biāo)均值D=var(A);%計算各指標(biāo)方差SD=std(A);%計算各指標(biāo)標(biāo)準(zhǔn)差V=SD./abs(M)%計算各指標(biāo)變異系數(shù)[D;SD;V]%輸出計算結(jié)果表2.3安徽省森林資源方差、標(biāo)準(zhǔn)差與變異系數(shù)（2008年）例2.1.2.計算例2.1.1中各指標(biāo)的方差、標(biāo)準(zhǔn)差與變異3.樣本的極差與四分位極差極差的計算公式為：它是表示數(shù)據(jù)的分散性的數(shù)字特征.MATLAB中公式為：max(data)-min(data)，或range(data)上、下四分位數(shù)Q3,Q1之差稱為四分位極差，即R1=Q3-Q1MATLAB中計算數(shù)據(jù)data的公式為：iqr(data)4.異常點判別先求上、下截斷點：R上=Q3+1.5R1

，

R下=Q1-1.5R1小于R下或大于R上的數(shù)據(jù)均為異常值.3.樣本的極差與四分位極差極差的計算公式為：它是表示數(shù)例2.1.3根據(jù)2007年華東地區(qū)各高校教職工數(shù)據(jù)，計算專任教師、行政人員、教輔人員以及工勤人員占在職教工的百分比，以及百分比的極差、四分位極差以及上、下截斷點.表2.42007年華東地區(qū)各高校教職工數(shù)據(jù)例2.1.3根據(jù)2007年華東地區(qū)各高校教職工數(shù)據(jù)，計算專解：A=[61385 35480 10282 7842 7781134215 88568 20172 13371 1210467763 45622 10960 6798 438359149 40743 7278 5763 536547864 31385 7712 5034 373363392 45153 8179 5495 4565120996 81889 16342 11614 11151];B=A(:,2:5)./[A(:,1)*ones(1,4)];%計算百分比R=range(B);%計算極差R1=iqr(B);%計算四分位極差XJ=prctile(B,[25])-1.5*R1;%計算下截斷點SJ=prctile(B,[75])+1.5*R1;%計算上截斷點5.偏度與峰度

偏度是用于衡量分布的不對稱程度或偏斜程度的指標(biāo).隨機變量的偏度是變量的三階中心矩除以標(biāo)準(zhǔn)差的三次方，計算樣本的偏度公式為：解：A=[61385 35480 10282 7842 77其中u3,s分別表示數(shù)據(jù)的3階中心矩與標(biāo)準(zhǔn)差.Matlab計算數(shù)據(jù)偏度的命令為:skewness(data,0)

正態(tài)分布的偏度為零，若pd<0稱分布具有負偏離，也稱左偏態(tài)，此時數(shù)據(jù)位于均值右邊的比位于左邊的多；若pd>0稱分布具有正偏離，也稱右偏態(tài)，情況相反；而偏度接近0則可認(rèn)為分布是對稱的.若知道分布有可能在偏度上偏離正態(tài)分布時，可用偏離來檢驗分布的正態(tài)性.其中u3,s分別表示數(shù)據(jù)的3階中心矩與標(biāo)準(zhǔn)差.Matlab峰度

峰度用來衡量數(shù)據(jù)尾部分散性，正態(tài)分布峰度為零，峰度>0，則厚尾，峰度<0，則細尾，在金融時間序列分析中，通常要研究數(shù)據(jù)是否為尖峰、細腰、厚尾等特性。

隨機變量的峰度是變量的四階中心矩除以標(biāo)準(zhǔn)差的四次方，計算樣本的峰度公式為：其中u4,s分別表示數(shù)據(jù)的4階中心矩與標(biāo)準(zhǔn)差.Matlab計算峰度的命令為：kurtosis(data,0)-3.峰度峰度用來衡量數(shù)據(jù)尾部分散性，正態(tài)分布峰度為例2.1.4計算1995年1月3日至1999年4月1日IBM公司股票開盤價、最高價、最低價、收盤價以及成交量的偏度、峰度.解：首先在MATLAB編輯窗口鍵入ibm=ascii2fts('ibm9599.dat',1,3,2);得到數(shù)據(jù)共有六列，分別為:日期、股票開盤價、最高價、最低價、收盤價以及成交量數(shù)據(jù).然后鍵入tsmat=fts2mat(ibm);%提取ibm數(shù)據(jù)的后五列數(shù)據(jù)矩陣pd=skewness(tsmat,0);%計算偏度fd=kurtosis(tsmat,0)-3;%計算峰度[pd;fd]%輸出計算結(jié)果subplot(221),histfit(tsmat(:,1)),title('open')%做開盤價直方圖subplot(222),histfit(tsmat(:,2)),title('high')%做最高價直方圖subplot(223),histfit(tsmat(:,3)),title('low')%做最低價直方圖subplot(224),histfit(tsmat(:,4)),title('close')%做收盤價直方圖例2.1.4計算1995年1月3日至1999年4月1日IB

表2.5IBM公司股票偏度與峰度.由于正態(tài)分布的偏度與峰度都應(yīng)等于零，從表1.5可知IBM公司股票各指標(biāo)均不服從正態(tài)分布.上述數(shù)據(jù)的直方圖（圖1.1）也驗證了這一點.圖2.1IBM公司股票直方圖表2.5IBM公司股票2.1.2樣本數(shù)據(jù)可視化1.可視化數(shù)據(jù)可視化是指數(shù)據(jù)的圖形表示。借助幾何圖形可形象說明數(shù)據(jù)的特征與分布情況。常用的圖形有條形圖、直方圖、盒圖、階梯圖和火柴棒圖等.（1）條形圖.條形圖是用寬度相同的直線條的高低或長短來表示統(tǒng)計指標(biāo)數(shù)值的大小.條形圖根據(jù)表現(xiàn)資料的內(nèi)容可分為單式條形圖、復(fù)式條形圖和結(jié)構(gòu)條形圖.單式條形圖反映統(tǒng)計對象隨某一因素變化而改變的情況.復(fù)式條形圖可以反映統(tǒng)計對象隨兩個因素變動而變動的情況.結(jié)構(gòu)條形圖則反映不同統(tǒng)計對象內(nèi)部結(jié)構(gòu)的變化情況.2.1.2樣本數(shù)據(jù)可視化1.可視化在MATLAB中，繪制條形圖命令bar，調(diào)用格式

①bar(X)②bar(x,Y)①作樣本數(shù)據(jù)X的條形圖；②x的元素在橫坐標(biāo)軸上按從小到大排列，作Y和x對應(yīng)的條形圖.（2）直方圖.將觀測數(shù)據(jù)的取值范圍分為若干個區(qū)間,計算落在每個區(qū)間的頻數(shù)或頻率.在每個區(qū)間上畫一個矩形,以估計總體的概率密度.在MATLAB中，繪制直方圖命令hist，調(diào)用格式

①hist(x,n)%作數(shù)據(jù)x的直方圖，其中n表示分組的個數(shù)，缺省時n=10②[h,stats]=cdfplot(x)在MATLAB中，繪制條形圖命令bar，調(diào)用格式（2）直方圖%作數(shù)據(jù)x的經(jīng)驗分布函數(shù)圖，stats給出數(shù)據(jù)的最大值、最小值、中位數(shù)、平均值和標(biāo)準(zhǔn)差.附加有正態(tài)密度曲線的直方圖命令histfit，調(diào)用格式

①histfit(X)%X為樣本數(shù)據(jù)向量，返回直方圖和正態(tài)曲線.②histfit(X,nbins)%nbins指定bar的個數(shù)，缺省為X中數(shù)據(jù)個數(shù)的平方根.（3）盒圖.盒圖是由五個數(shù)值點組成：最小值，下四分位數(shù)，中位數(shù)，上四分位數(shù)，最大值.中間的盒子是從Q1延伸到Q3，盒子里的直線標(biāo)示出中位數(shù)的位置，盒子兩端有直線往外延伸到最小數(shù)與最大數(shù).%作數(shù)據(jù)x的經(jīng)驗分布函數(shù)圖，stats給出數(shù)據(jù)的最大值、最小在MATLAB中，繪制盒圖命令boxplot，調(diào)用格式

boxplot(X)%產(chǎn)生矩陣X的每一列的盒圖和“須”圖，“須”是從盒的尾部延伸出來，并表示盒外數(shù)據(jù)長度的線，如果“須”的外面沒有數(shù)據(jù)，則在“須”的底部有一個點.（4）階梯圖命令stairs，調(diào)用格式

stairs(x)%作數(shù)據(jù)x的階梯圖（5）火柴棒圖命令stem，調(diào)用格式

stem(x)%作數(shù)據(jù)x的火柴棒圖例2.1.5隨機生成150個服從標(biāo)準(zhǔn)正態(tài)分布隨機數(shù)，將這些數(shù)據(jù)作為樣本數(shù)據(jù)，分別作出樣本數(shù)據(jù)的柱形圖、直方圖、階梯圖、火柴棒圖等圖形。在MATLAB中，繪制盒圖命令boxplot，調(diào)用格式（4）解：x=random('normal',0,1,[1,150]);%產(chǎn)生服從標(biāo)準(zhǔn)正態(tài)分布隨機數(shù)150個bar(x)%作柱形圖（圖2.2）hist(x,20)%作直方圖（圖2.3）stairs(x)%作階梯圖（圖2.4）stem(x)%作火柴棒圖（圖2.5）圖2.2柱形圖圖2.3直方圖解：x=random('normal',0,1,[1,1圖2.4階梯圖圖2.5火柴棒圖2.二維與三維數(shù)據(jù)可視化（1）散點圖命令scatter與scatter3，調(diào)用格式scatter(x,y)其中x是橫坐標(biāo)，y是縱坐標(biāo)，輸出平面散點圖。scatter3(x,y,z)其中x,y,z分別是橫、縱、豎坐標(biāo)向量，輸出空間散點圖圖2.4階梯圖圖2.（2）曲面圖命令mesh與surf，調(diào)用格式mesh(X,Y,Z)或surf(X,Y,Z)其中Z是對應(yīng)(X,Y)處的函數(shù)值Z=f(X,Y)，[X,Y]是由命令meshgrid生成的數(shù)據(jù)點矩陣，即[X,Y]=meshgrid(x,y)，輸入向量x為xoy平面上矩形定義域的矩形分割線在x軸上的坐標(biāo)，向量y為xoy平面上矩形定義域的矩形分割線在y軸上的坐標(biāo).矩陣X為xoy平面上矩形定義域的矩形分割點的橫坐標(biāo)值矩陣，X的每一行是向量x，且X的行數(shù)等于y的維數(shù)；矩陣Y為xoy平面上矩形定義域的矩形分割點的縱坐標(biāo)值矩陣，Y的每一列是向量y，且Y的列數(shù)等于x的維數(shù).（2）曲面圖命令mesh與surf，調(diào)用格式例2.1.6對作二維正態(tài)分布隨機數(shù)的散點圖解：隨機生成服從二維正態(tài)分布的數(shù)據(jù)的命令mvnrnd，調(diào)用格式X=mvnrnd(mu,sigma,n)其中mu是均值向量，sigma是協(xié)方差矩陣，n是數(shù)據(jù)個數(shù)，輸出X是和協(xié)方差矩陣同階的隨機數(shù)據(jù)矩陣.clearmu=[23];%輸入均值向量sa=[11.5;1.53];%輸入?yún)f(xié)方差矩陣r=mvnrnd(mu,sa,100);%生成n=100的樣本數(shù)據(jù)scatter(r(:,1),r(:,2),'*');%作樣本數(shù)據(jù)平面散點圖例2.1.6對作二維正態(tài)分布隨機數(shù)%繪制密度曲面figure(2)v=sqrt(3)/2;%輸入相關(guān)系數(shù)x=-1:0.05:5;%橫坐標(biāo)的取值向量y=-2:0.05:8;%縱坐標(biāo)的取值向量[X,Y]=meshgrid(x,y);%生成網(wǎng)格點T=((X-mu(1)).^2/sa(1,1)-2*v/sqrt(sa(1,1)*sa(2,2))*(X-mu(1)).*(Y-mu(2))+(Y-mu(2)).^2/sa(2,2));%計算密度函數(shù)值Z=1/(2*pi)/sqrt(det(sa))*exp(-1/2/(1-3/4)*T);mesh(X,Y,Z)%繪制曲面%繪制密度曲面

圖1.6樣本數(shù)據(jù)的散點圖圖1.7樣本數(shù)據(jù)的密度曲面圖

由圖形1.6.可以看出，散點圖位于平面上的一個橢圓狀區(qū)域內(nèi)，不同的相關(guān)系數(shù)對應(yīng)的橢圓狀區(qū)域形狀不同，相關(guān)系數(shù)越接近與1，橢圓越扁長，可以利用這一圖形特征初步說明數(shù)據(jù)是否來自正態(tài)總體.圖1.6樣本數(shù)據(jù)的散點圖圖1.7樣本數(shù)據(jù)設(shè)總體服從正態(tài)分布N(,2)，來自總體的樣本為x1,x2,…,xn，其次序統(tǒng)計量

，則平面上n個點3.QQ圖的散點圖稱為樣本QQ圖，其中

-1(.)為標(biāo)準(zhǔn)正態(tài)分布函數(shù)的反函數(shù).

可以證明，若樣本確是來自正態(tài)總體,則散點在直線附近，即QQ圖大致呈現(xiàn)一條直線形狀。當(dāng)樣本來自其它分布總體時，樣本QQ圖將是彎曲的.這樣，利用QQ圖可以直觀地作正態(tài)性檢驗，即若QQ圖近似一條直線時，則可認(rèn)為樣本數(shù)據(jù)來自正態(tài)總體.設(shè)總體服從正態(tài)分布N(,2)，來自總體的樣本為x1,x2在MATLAB中，作正態(tài)分布QQ圖命令normplot，調(diào)用格式：

normplot(X)其中輸入X為向量時，顯示正態(tài)分布QQ圖；當(dāng)X為矩陣，則顯示每一列的正態(tài)分布概率圖形.作威布爾分布的QQ圖命令weibplot，調(diào)用格式：

weibplot(X)其中，輸入X為向量時，顯示威布爾(Weibull)分布QQ圖；若X為矩陣，則顯示每一列的威布爾概率圖形.如果數(shù)據(jù)點基本散布在直線上，則表明數(shù)據(jù)服從該分布，否則拒絕該分布.在MATLAB中，作正態(tài)分布QQ圖命令normplot，調(diào)用例2.1.7對于例2.1.6模擬的樣本數(shù)據(jù)r，分別作出兩個分量的QQ圖，從QQ圖檢驗各分量是否服從正態(tài)分布.解：subplot(121),normplot(r(:,1)),%分量x的QQ圖subplot(122),normplot(r(:,2)),%分量y的QQ圖圖1.8兩個分量的正態(tài)分布qq圖例2.1.7對于例2.1.6模擬的樣本數(shù)據(jù)r，分別作出兩個上一節(jié)中的數(shù)據(jù)直方圖與QQ圖等能直觀初略描述數(shù)據(jù)的分布，本節(jié)進一步研究如何判定數(shù)據(jù)是否服從正態(tài)分布的問題。若不服從正態(tài)分布，那么又可能服從怎樣的分布.2.2數(shù)據(jù)分布及檢驗2.2.1一元數(shù)據(jù)分布檢驗1.經(jīng)驗分布函數(shù)設(shè)來自總體X的樣本為x1,x2,…,xn，對于任意實數(shù)x,定義函數(shù)（2.2.1）

稱為經(jīng)驗分布函數(shù).上一節(jié)中的數(shù)據(jù)直方圖與QQ圖等能直觀初略描述1933年，格里汶科(Glivenko)證明了以下的結(jié)果:對于任一實數(shù)x,當(dāng)n

時Fn(x)以概率1一致收斂于分布函數(shù),即這一結(jié)論表明：對于任一實數(shù)x，當(dāng)n充分大時

F(x)Fn(x)(2.2.2)因此可用經(jīng)驗分布函數(shù)來近似代替F(x)，這一點也是由樣本推斷總體的最基本理論依據(jù)之一.在MATLAB中，作經(jīng)驗（累積）分布函數(shù)圖形命令cdfplot，調(diào)用格式：①cdfplot(X)%作樣本X的經(jīng)驗分布函數(shù)圖形1933年，格里汶科(Glivenko)證明了以下的結(jié)果:②h=cdfplot(X)%h表示曲線的環(huán)柄③[h,stats]=cdfplot(X)%stats表示樣本最小、大值、均值、中值與標(biāo)準(zhǔn)差例2.2.1生成服從標(biāo)準(zhǔn)正態(tài)分布的50個樣本點，作出樣本的經(jīng)驗分布函數(shù)圖，并與理論分布函數(shù)比較.解：%生成服從標(biāo)準(zhǔn)正態(tài)分布的50個樣本點X=normrnd(0,1,50,1);[h,stats]=cdfplot(X);%作樣本的經(jīng)驗分布函數(shù)圖holdon%作理論分布函數(shù)圖plot(-3:0.01:3,normcdf(-3:0.01:3,0,1),'r')②h=cdfplot(X)%h表示曲線的輸出結(jié)果：h=3.0013stats=min:-1.8740%樣本最小值

max:1.6924%最大值

mean:0.0565%平均值

median:0.1032%中間值

std:0.7559%樣本標(biāo)準(zhǔn)差圖1.9標(biāo)準(zhǔn)正態(tài)分及其50個樣本點的經(jīng)驗分布函數(shù)圖輸出結(jié)果：h=3.0013圖1.9標(biāo)準(zhǔn)正態(tài)分及其50個樣2.總體分布的正態(tài)性檢驗

進行參數(shù)估計和假設(shè)檢驗時，通常總是假定總體服從正態(tài)分布，雖然在許多情況下這個假定是合理的，但是當(dāng)要以此為前提進行重要的參數(shù)估計或假設(shè)檢驗，或者人們對它有較大懷疑的時候，就確有必要對這個假設(shè)進行檢驗，進行總體正態(tài)性檢驗的方法有很多種，以下針對MATLAB統(tǒng)計工具箱中提供的程序，簡單介紹幾種方法.（1）Jarque-Bera檢驗Jarque-Bera檢驗簡稱JB檢驗，它是利用正態(tài)分布的偏度g1和峰度g2，構(gòu)造一個包含g1，g2且自由度為2的卡方分布統(tǒng)計量JB，即2.總體分布的正態(tài)性檢驗進行參數(shù)估計和假設(shè)檢

（2.2.3）

對于顯著性水平

，當(dāng)JB統(tǒng)計量小于分布的分位數(shù)時接受H0，即認(rèn)為總體服從正態(tài)分布；否則拒絕H0，即認(rèn)為總體不服從正態(tài)分布.這個檢驗適用于大樣本，當(dāng)樣本容量n較小時需慎用.在MATLAB中，JB檢驗命令jbtest，調(diào)用格式

[H,P,JBSTAT,CV]=jbtest(X,alpha)其中alpha是檢驗水平，通常取0.05，0.01，缺省默認(rèn)為0.05，若h=0，則無法拒絕正態(tài)分布；若h=1，則拒絕正態(tài)分布.（2.2.3）對于顯著性水平，當(dāng)JB統(tǒng)（2）Kolmogorov-Smirnov檢驗Kolmogorov-Smirnov檢驗簡稱KS檢驗，它是通過樣本的經(jīng)驗分布函數(shù)與給定分布函數(shù)的比較，推斷該樣本是否來自給定分布函數(shù)的總體.設(shè)給定分布函數(shù)為G(x)，構(gòu)造統(tǒng)計量（2.2.4）

即兩個分布函數(shù)之差的最大值，對于假設(shè)H0：總體服從給定的分布G(x)，及給定的

，根據(jù)Dn的極限分布確定統(tǒng)計量關(guān)于是否接受H0的數(shù)量界限.

因為這個檢驗需要給定G(x)，所以當(dāng)用于正態(tài)性檢驗時只能做標(biāo)準(zhǔn)正態(tài)檢驗，即H0：總體服從標(biāo)準(zhǔn)正態(tài)分布.（2）Kolmogorov-Smirnov檢驗在Matlab中，KS檢驗命令kstest，調(diào)用格式h=kstest(x)h=kstest(x,cdf)[h,p,ksstat,cv]=kstest(x,cdf,alpha)

把向量x中的值與標(biāo)準(zhǔn)正態(tài)分布進行比較并返回假設(shè)檢驗結(jié)果h.如果h=0表示不能拒絕原假設(shè)，即不能拒絕服從正太分布.假設(shè)的顯著水平默認(rèn)值是0.05.cdf是一個兩列矩陣，矩陣的第一列包含可能的x值，第二列式假設(shè)累積分布函數(shù)G(x)的值，在可能的情況下，cdf的第一列應(yīng)包含x中的值，如果第一類沒有，則用插值的方法近似.指定顯著水平alpha,返回p值，K-S檢驗統(tǒng)計量Ksstat；截斷值cv.在Matlab中，KS檢驗命令kstest，調(diào)用格式（3）Lilliefors檢驗Lilliefors檢驗是改進K-S檢驗并用于一般的正態(tài)性檢驗，原假設(shè)H0：總體服從正態(tài)分布N(,2)，其中,2由樣本均值和方差估計.該檢驗的MATLAB命令lillietest，調(diào)用格式

[H,P,LSTAT,CV]=lillietest(X,alpha)

顯著性水平alpha在0.01和0.2之間，缺省時為0.05.輸出P為接受假設(shè)的概率值，LSTAT為測試統(tǒng)計量的值，CV為是否拒絕原假設(shè)的臨界值.H為測試結(jié)果，若H=0，則無法拒絕X是服從正態(tài)分布的；若H=1，則可以否定X服從正態(tài)分布.（3）Lilliefors檢驗Lilliefors檢驗是改進2.2.2多維數(shù)據(jù)的特征值與分布檢驗1.多維數(shù)據(jù)的數(shù)字特征

設(shè)總體為p維向量G=(X1,X2,…,Xp)，從中抽取樣本容量為n的樣本，第i個樣本觀測值為Xi=(xi1,xi2,…,xip)(i=1,2,…,n)記(2.2.5)稱X為樣本數(shù)據(jù)矩陣.為了方便起見，將X的第j個列向量記為2.2.2多維數(shù)據(jù)的特征值與分布檢驗1.多維數(shù)據(jù)的數(shù)字特征(1)樣本均值向量.記Xj的觀測值（即X中的第j列）的均值為(2.2.6)稱為p元樣本均值向量.(2)樣本協(xié)方差矩陣(2.2.7)稱Sjk為樣本數(shù)據(jù)矩陣X的第j列與第k列的協(xié)方差.(2.2.8)稱S為樣本協(xié)方差矩陣.(1)樣本均值向量.記Xj的觀測值（即X中的第j列）的均顯然，Xj的方差為Sjj，即(2.2.9)(3)樣本相關(guān)系數(shù)矩陣X的第j列與第k列的相關(guān)系數(shù)記為又記(2.2.10)稱R為樣本相關(guān)系數(shù)矩陣.顯然，Xj的方差為Sjj，即(2.2.9)(3)樣本相關(guān)系數(shù)

不難驗證，樣本相關(guān)系數(shù)矩陣與樣本協(xié)方差矩陣存在如下關(guān)系：

（2.2.11）其中，（4）樣本標(biāo)準(zhǔn)化矩陣令稱

(2.2.13)為樣本矩陣X的標(biāo)準(zhǔn)化矩陣.(2.2.12)不難驗證，樣本相關(guān)系數(shù)矩陣與樣本協(xié)方差矩陣存在如下關(guān)（5）R矩陣X的第j列與第k列的R系數(shù)定義為(2.2.14)其中

稱矩陣(xjk)pp為矩陣X的R矩陣，記為R(X)，即

（2.2.15）由定義（2.2.14）式，顯然|rjk|1,可以證明

R(x*)=R即X的標(biāo)準(zhǔn)化矩陣的R矩陣等于其相關(guān)系數(shù)矩陣.（5）R矩陣X的第j列與第k列的R系數(shù)定義為(2.2.14)在MATLAB中，計算樣本協(xié)方差矩陣命令為cov，調(diào)用格式

S=cov(X)當(dāng)X為向量時,S表示X的方差；當(dāng)X為矩陣時,S為X的協(xié)方差矩陣，即S的對角線元素是X每列的方差,S的第i行第j列元素為X的第i列和第j列的協(xié)方差值.計算樣本相關(guān)系數(shù)矩陣命令為corrcoef，調(diào)用格式

R=corrcoef(X)其中X為樣本矩陣，輸出R的對角線元是1，R的第i行第j列元為X的第i列和第j列的相關(guān)系數(shù).在MATLAB中，計算樣本協(xié)方差矩陣命令為cov，調(diào)用格式當(dāng)計算X的標(biāo)準(zhǔn)化矩陣命令為zscore,調(diào)用格式

Z=zscore(X)其中X為樣本矩陣，輸出Z是標(biāo)準(zhǔn)化矩陣。MATLAB中沒有計算R矩陣的命令，因此根據(jù)R矩陣的定義，可編寫計算R矩陣的程序如下:X=[data];%輸入樣本數(shù)據(jù)矩陣Xfori=1:size(X,2)forj=1:size(X,2)RX(i,j)=2*dot(X(:,i),X(:,j))./[sum(X(:,i).^2)+sum(X(:,j).^2)];

endendRX%輸出R（X）計算X的標(biāo)準(zhǔn)化矩陣命令為zscore,調(diào)用格式MATLAB2.多維正態(tài)分布的概念與性質(zhì)設(shè)p元總體的密度函數(shù)為：

（2.2.15）

則稱X服從p維正態(tài)分布，記為X~N(,)，其中

稱為總體均值向量，

稱為總體協(xié)方差矩陣.2.多維正態(tài)分布的概念與性質(zhì)設(shè)p元總體的密度函數(shù)為：（2多維正態(tài)分布具有如下性質(zhì)：(1)多維正態(tài)分布的邊緣分布服從正態(tài)分布，但反之不真；(2)正態(tài)隨機向量的線性函數(shù)仍然服從正態(tài)分布.

若X~Np(,)，A為s×p階常數(shù)矩陣，d為s維常數(shù)向量，則即多維正態(tài)分布在線性變換下仍然服從多維正態(tài)分布.(3)正態(tài)分布的隨機向量間相互獨立與不相關(guān)等價.多維正態(tài)分布具有如下性質(zhì)：(1)多維正態(tài)分布的邊緣分布服對于來自總體且由（2.1.19）式表示的樣本數(shù)據(jù)矩陣X，怎樣檢驗其是否是來自于多維正態(tài)總體呢？一般可按照以下QQ圖檢驗方法，具體的過程如下：(2)計算樣品點X(t)到的馬氏平方距離(1)由樣品數(shù)據(jù)矩陣計算樣品均值向量和協(xié)方差矩陣

(3)對上述馬氏平方距離從小到大排序(4)計算及，其中滿足對于來自總體且由（2.1.19）式表示的樣本數(shù)(5)以馬氏平方距離為橫坐標(biāo)，

2分位數(shù)為縱坐標(biāo)做n個點的平面散點圖，即得到分布的Q-Q圖.(6)若點散布在過原點，斜率為1的直線上.接受數(shù)據(jù)來自p元正態(tài)分布總體的假設(shè)；否則拒絕正態(tài)分布假設(shè).以上QQ圖檢驗方法的matlab程序?qū)崿F(xiàn)如下。X=[data];[N,p]=size(X);%X的行數(shù)及列數(shù)d=mahal(X,X);%計算馬氏距離d1=sort(d);%從小到大排序pt=[[1:N]-0.5]/N;%計算分位數(shù)x2=chi2inv(pt,p);%計算

2plot(d1,x2','*',[0:m],[0:m],'-r')%作圖,m是正整數(shù)(5)以馬氏平方距離為橫坐標(biāo)，2分位數(shù)為縱坐標(biāo)做n個點的例2.2.2為了研究某種疾病，對一批人同時檢測4項指標(biāo)

脂蛋白(X1)，甘油三酯(X2)，

脂蛋白(X3)，前

脂蛋白(X4).該數(shù)據(jù)是否服從四維正態(tài)分布？表2.6.doc解：首先將表2.6中數(shù)據(jù)粘帖到MATLAB軟件的編輯窗口，用A表示B=[A(:,1:4);A(:,5:8);A(:,9:12)];d=mahal(B,B);%計算馬氏距離d1=sort(d);

%從小到大排序pt=[[1:60]-0.5]/60;

%計算分位數(shù)x2=chi2inv(pt,4);

%計算卡方plot(d1,x2','*',[0:12],[0:12],'-r')

%作圖例2.2.2為了研究某種疾病，對一批人同時檢測4項指標(biāo)脂蛋圖2.14四項檢測指標(biāo)數(shù)據(jù)的正態(tài)檢驗圖從圖2.14可以看出，數(shù)據(jù)點基本落在直線上，故無法拒絕該數(shù)據(jù)服從四維正態(tài)分布.3.多維數(shù)據(jù)的多個總體協(xié)方差矩陣的相等性檢驗圖2.14四項檢測指標(biāo)數(shù)據(jù)的正態(tài)檢驗圖從圖2.14可以看出(1)兩個總體協(xié)方差矩陣相等的檢驗設(shè)從兩個總體分別抽取樣本容量為n1,n2的兩個樣本，樣本的協(xié)方差矩陣分別為s1,s2，那么在兩總體協(xié)方差矩陣相等時，其總體的協(xié)方差矩陣的估計為：若檢驗兩個總體的協(xié)方差矩陣相等，則假設(shè)檢驗：檢驗統(tǒng)計量：其中|.|表示行列式，p是向量的維數(shù)，tr表示矩陣的跡.對給定的

，查卡方分布表得到臨界值,若Qi<

則接受H0，否則拒絕H0.(1)兩個總體協(xié)方差矩陣相等的檢驗若檢驗兩個總體的協(xié)方差矩

設(shè)有k個p元總體，抽取樣本容量為ni的k個樣本，其樣本的協(xié)方差矩陣為Si(i=1,…,k)，檢驗假設(shè)如下至少有一對不相等在H0成立時，統(tǒng)計量其中f=p(p+1)(k-1)/2為自由度.對給定的

，計算概率p，若p<

則拒絕H0.(2)多個總體協(xié)方差矩陣相等的檢驗設(shè)有k個p元總體，抽取樣本容量為ni的k個樣本，其樣本的協(xié)例2.3.1檢驗表2.6三總體協(xié)方差矩陣是否相等(=0.1)解：首先輸入數(shù)據(jù)A=[data];G1=A(:,1:4);G2=A(:,5:8);G3=A(:,9:12);n=60;k=3;p=4;f=p*(p+1)*(k-1)/2；d=(2*p^2+3*p-1)*(k+1)/(6*(p+1)*(n-k));s1=cov(G1);s2=cov(G2);s3=cov(G3);s=19*(s1+s2+s3)/57;M=(n-k)*log(det(s))-19*(log(det(s1))+log(det(s2))+log(det(s3)));T=(1-d)*M%統(tǒng)計量p=1-chi2cdf(T,f)%卡方分布概率

由于p=0.4374>0.1,故知三個總體協(xié)方差矩陣相等.例2.3.1檢驗表2.6三總體協(xié)方差矩陣是否相等(=0.2.3數(shù)據(jù)變換2.3.1數(shù)據(jù)屬性變換

在解決經(jīng)濟問題綜合評價時，評價指標(biāo)通常分為效益型、成本型、適度型等類型，效益型指標(biāo)值越大越好、成本型指標(biāo)值越小越好、適度型指標(biāo)值既不能太大也不能太小為好.一般說來，對問題進行綜合評價，必須統(tǒng)一評價指標(biāo)的屬性，進行指標(biāo)的無量綱化處理.常見的處理方法有極差變換、線性比例變換、樣本標(biāo)準(zhǔn)化變換等方法.我們用I1,I2,I3分別表示效益型、成本型、適度型指標(biāo)，對于原始指標(biāo)矩陣可以建立以下矩陣2.3數(shù)據(jù)變換2.3.1數(shù)據(jù)屬性變換在解決（1）極差效益型矩陣，其變換公式為

（2.3.1）

其中

j為第j項指標(biāo)的適度數(shù)值.其中行為樣品列是指標(biāo)

指標(biāo)經(jīng)過變換后，均有0

bij1，且各指標(biāo)下最好結(jié)果的屬性值=1，最壞結(jié)果的屬性值=0.指標(biāo)變換前后的屬性值成比例.（1）極差效益型矩陣，其變換公式為（2.3.1）其中（2）極差成本型矩陣，其變換公式為

（2.3.2）

其中

j為第j項指標(biāo)的適度數(shù)值.

指標(biāo)經(jīng)過變換后，均有0

bij1，且各指標(biāo)下最差結(jié)果的屬性值=1，最好結(jié)果的屬性值=0.指標(biāo)變換前后的屬性值成比例.（2）極差成本型矩陣，其變換公式為（2.3.2）其中

（3）優(yōu)屬度效益型矩陣，其變換公式為

（2.3.3）

其中

j為第j項指標(biāo)的適度數(shù)值.（4）比值成本型矩陣，其變換公式為（2.3.4）

其中

j為第j項指標(biāo)的適度數(shù)值.（3）優(yōu)屬度效益型矩陣，其變換公式為（2.3.3）其中

2.壓縮變換模糊化利用MATLAB軟件中的模糊數(shù)學(xué)工具箱，可以直接調(diào)用以下函數(shù)實現(xiàn)數(shù)據(jù)轉(zhuǎn)換：表2.7模糊工具箱隸屬度函數(shù)2.壓縮變換模糊化利用MATLAB軟件中的模糊數(shù)學(xué)工具箱，2.3.2Boxcox變換

當(dāng)數(shù)據(jù)在左邊或右邊有長尾巴，或很不對稱時，有時需要對數(shù)據(jù)進行變換以符合非參數(shù)(或參數(shù))統(tǒng)計推斷方法的某些條件.其中最常用的一種方法就是box-cox變換(2.3.5)在MATLAB中，上述變換的命令如下：

[t,l]=boxcox(x)其中x是原始數(shù)據(jù)，t是變換以后的數(shù)據(jù)，l是變換公式中參數(shù)

的數(shù)值.2.3.2Boxcox變換當(dāng)數(shù)據(jù)在左邊或右邊有例2.3.1淮河流域包括河南、安徽、江蘇、山東4省份，1952-1991年因水災(zāi)造成的流域成災(zāi)面積數(shù)據(jù)如表2.8所示，應(yīng)用boxcox變換考察數(shù)據(jù)的正態(tài)分布特性。表2.8淮河流域成災(zāi)面積（單位：106hm2）例2.3.1淮河流域包括河南、安徽、江蘇、山東4省份，195a=[data];%輸入原始數(shù)據(jù)[b,t]=boxcox(a(:,1));%對第一列數(shù)據(jù)boxcox變換normplot(a(:,1))%原始數(shù)據(jù)qq圖normplot(b(:,1))%變換數(shù)據(jù)qq圖圖2.15淮河流域成災(zāi)面積(原始數(shù)據(jù))qq圖解：