數(shù)據(jù)的初步分析 R軟件

1、第一章 數(shù)據(jù)的初步分析 一個數(shù)據(jù)可能有很多變量和觀測值，這些變量和觀測值可以通過一些簡單的表格、圖形以及少數(shù)的特征統(tǒng)計量來進行描述。這些方法在統(tǒng)計學(xué)中稱為描述性統(tǒng)計分析方法，其目的在于幫助我們整理、展示數(shù)據(jù)，使得我們可以了解數(shù)據(jù)的特征，進而為進一步的統(tǒng)計推斷做好準備。 通過計算機軟件做數(shù)據(jù)的描述性分析，可以使我們更加直觀、便捷地了解數(shù)據(jù)特征，有利于對統(tǒng)計描述的理解。本章的實驗重點是介紹如何運用R軟件來對數(shù)據(jù)進行描述性分析，并掌握描述性統(tǒng)計的基本方法和概念。實驗一 數(shù)據(jù)的統(tǒng)計量描述一、 實驗?zāi)康某醪搅私鈹?shù)據(jù)的特點、分布形狀；熟悉R軟件的程序結(jié)構(gòu)；學(xué)會使用R軟件計算數(shù)據(jù)的描述統(tǒng)計量。二、 實驗內(nèi)容

2、掌握通過R軟件讀入或輸入數(shù)據(jù)，并能夠計算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標準差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。三、 準備知識1. 位置的度量所謂位置的度量就是那些用來描述數(shù)據(jù)集中趨勢的統(tǒng)計量。常用的有均值、眾數(shù)、中位數(shù)、百分位數(shù)等。平均數(shù)（Mean）：中位數(shù)（Median）：一組數(shù)據(jù)按從小到大（或從大到?。┑捻樞蛞来闻帕校幵谥虚g位置的一個數(shù)，即me=xn+12 當n為奇數(shù)時12xn2+xn2+1 當n為偶數(shù)時 中位數(shù)描述的是數(shù)據(jù)的中心位置不受數(shù)據(jù)分布的影響，具有穩(wěn)健性，是數(shù)據(jù)分析中相當重要的統(tǒng)計量。眾數(shù)（Mode）：在一組數(shù)據(jù)中,出現(xiàn)次數(shù)最多的那個數(shù)據(jù)。百分位數(shù)：百分位數(shù)是中位數(shù)的推廣

3、。將數(shù)據(jù)按從小到大排序后，對于0p<1，它的分位點定義為mp=xnp+1 當np不是整數(shù)時12x(np)+x(np+1) 當n是整數(shù)時其中np為np的整數(shù)部分。2. 離散趨勢度量表示數(shù)據(jù)分散或變異程度的特征統(tǒng)計量，常用的有方差、標準差、變異系數(shù)等樣本方差（Sample Variance）：描述數(shù)據(jù)取值分散性的一個度量，即樣本標準差（Standard Deviation）：樣本方差的開方，即變異系數(shù)（CV）：變異系數(shù)是刻畫數(shù)據(jù)相對分散性的一種度量CV=100×sx(%)是一個無量綱的量，用百分數(shù)表示。3. 分布形狀的度量數(shù)據(jù)分布形狀的度量包括偏度系數(shù)和峰度系數(shù)。偏度系數(shù)：計算公式

4、為g1=nn-1n-2s3i=1n(xi-x)3=n23n-1(n-2)s3s是標準差，3是樣本三階中心矩，即3=1ni=1n(xi-x)3.偏度系數(shù)是刻畫數(shù)據(jù)的對稱性指標。關(guān)于均值對稱的數(shù)據(jù)偏度系數(shù)為0.數(shù)據(jù)左偏時，對稱系數(shù)為正，右偏時為負。峰度系數(shù)：計算公式g2=n(n+1n-1n-2(n-3)s4i=1n(xi-x)4-3(n-1)2n-2(n-3) =n2(n+1)4n-1n-2(n-3)s4-3(n-1)2n-2(n-3) s是標準差，4是樣本四階中心矩，即3=1ni=1n(xi-x)4.來自正態(tài)總體的數(shù)據(jù)峰度近似為0；如果樣本數(shù)據(jù)的峰度大于0，則該數(shù)據(jù)的總體分布比正太分布的尾部更分

5、散；如果一個樣本數(shù)據(jù)的峰度小于0，則總體分布較正太分布更集中。四、 實驗背景某燈泡生產(chǎn)廠商測試某種新型燈泡的燃燒壽命，如下數(shù)據(jù)表格列出了200個燈泡樣本的可使用小時數(shù)。107736897767994599857799863656662798668746479787977868976748592788877103886368888174708561658175629471936165629265646683707866669477636675687661717791967564767277817185995992946268728567878084936976897573815465718084

6、886261618265986371621166588738068788972586982726473759062897171747085848363926881627983708177728467595873837376907871101784359677465828679746686968977608784757751456310259778368726792898296計算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標準差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。五、 實驗過程1. 讀入數(shù)據(jù)。首先通過R軟件中的read.table()命令來讀入實驗數(shù)據(jù)（也可以通過函數(shù)scan()來讀入數(shù)據(jù)）。以本實驗為

7、例，我們假定數(shù)據(jù)的存儲路徑為：I:非參數(shù)實驗教材教材第一章 描述性統(tǒng)計分析，數(shù)據(jù)名稱為”測試.txt”,則具體讀入過程如下：> x<-read.table("I:非參數(shù)實驗教材教材第一章 描述性統(tǒng)計分析測試.txt")> x=t(x)2. 均值。讀入數(shù)據(jù)后，可以通過”mean()”這一函數(shù)求數(shù)據(jù)的均值，記為x.mean，過程如下：> x.mean=mean(x);x.mean1 76.053. 數(shù)據(jù)排序。在R軟件中，對原始數(shù)據(jù)進行排序，可以通過”sort()”函數(shù)(具體用法可以參考help文件)對數(shù)據(jù)進行排序，例如，分別對數(shù)據(jù)進行降序和升序排列，過程

8、如下：> sort(x,decreasing=T) 1 116 107 103 102 101 99 98 98 98 97 96 96 96 94 94 94 94 93 19 93 92 92 92 92 92 91 90 90 89 89 89 89 89 89 88 88 88 37 88 88 87 87 86 86 86 86 85 85 85 85 85 84 84 84 84 84 55 83 83 83 83 83 82 82 82 82 81 81 81 81 81 81 80 80 80 73 79 79 79 79 79 79 79 78 78 78 78 78

9、78 77 77 77 77 77 91 77 77 77 77 76 76 76 76 76 76 75 75 75 75 75 75 74 74109 74 74 74 74 73 73 73 73 73 73 72 72 72 72 72 72 71 71127 71 71 71 71 71 71 70 70 70 70 69 69 68 68 68 68 68 68145 68 68 67 67 67 67 66 66 66 66 66 66 65 65 65 65 65 65163 65 65 64 64 64 64 63 63 63 63 63 63 62 62 62 62 62

10、62181 62 62 61 61 61 61 61 60 59 59 59 59 59 58 58 57 54 51199 45 43> sort(x,decreasing=F) 1 43 45 51 54 57 58 58 59 59 59 59 59 60 61 61 61 61 61 19 62 62 62 62 62 62 62 62 63 63 63 63 63 63 64 64 64 64 37 65 65 65 65 65 65 65 65 66 66 66 66 66 66 67 67 67 67 55 68 68 68 68 68 68 68 68 69 69 70

11、70 70 70 71 71 71 71 73 71 71 71 71 72 72 72 72 72 72 73 73 73 73 73 73 74 74 91 74 74 74 74 75 75 75 75 75 75 76 76 76 76 76 76 77 77109 77 77 77 77 77 77 77 78 78 78 78 78 78 79 79 79 79 79127 79 79 80 80 80 81 81 81 81 81 81 82 82 82 82 83 83 83145 83 83 84 84 84 84 84 85 85 85 85 85 86 86 86 86

12、87 87163 88 88 88 88 88 89 89 89 89 89 89 90 90 91 92 92 92 92181 92 93 93 94 94 94 94 96 96 96 97 98 98 98 99 101 102 103199 107 1164. 中位數(shù)。在R軟件中，求數(shù)據(jù)中位數(shù)的命令函數(shù)為median()，可以通過以下命令求中位數(shù)。> median(x)1 75.55. 分位數(shù)。求分位數(shù)的函數(shù)命令為quantile()，我們可以通過quantile()求某一個具體的分位點值，也可以同時求多個分位點值，例如> quantile(x) 0% 25% 50% 7

13、5% 100% 43.00 66.75 75.50 84.00 116.00> quantile(x,0.05)5% 59> quantile(w, probs = seq(0, 1, 0.2)0% 20% 40% 60% 80% 100%47.40 56.98 62.20 64.00 67.32 75.006. 方差和標準差。在R軟件中求方差和標準差的命令函數(shù)為var()和sd()，通過這兩個命令可以很容易的求出數(shù)據(jù)的方差、標準差。具體如下：> var(x)1 145.4548> sd(x)1 12.060467. 變異系數(shù)、峰度和偏度。在R軟件中沒有專門的函數(shù)用來求

14、數(shù)據(jù)的變異系數(shù)、峰度以及偏度，不過我們可以根據(jù)公式，自己編寫命令或函數(shù)來求這些統(tǒng)計量的值。例如，變異系數(shù)可以通過以下命令求得：> cv=100*sd(x)/mean(x); cv1 15.8586而樣本數(shù)據(jù)的峰度和偏度可以通過以下命令求得：n<- length(x)m <- mean(x)s <- sd(x)g1 <- n/(n-1)*(n-2)*sum(x-m)3)/s3g2 <- (n*(n+1)/(n-1)*(n-2)*(n-3)*sum(x-m)4)/s4-(3*(n-1)2)/(n-2)*(n-3) 我們也可以編寫一個完整的函數(shù)來將以上所有特征統(tǒng)計

15、量求出來，以下給出了一個簡單的函數(shù)（具體見附錄），用法如下：> data.outline(x) N Mean V1 std_dev Median std_mean CV CSS USS R1 200 76.05 145.4548 12.06046 75.5 0.8528035 15.8586 28945.5 1185666 73 R1 Skewness Kurtosis1 17.25 0.2770275 0.03557146六、 練習(xí)實驗1. 以下數(shù)據(jù)為非洲44個國家的人均收入（單位為美元）：1890.00640.00660.00320.00290.001870.007480.00290

16、.00740.001490.00100.00430.00170.00200.00150.00380.00440.00260.00190.00140.00290.00320.002780.003430.00250.0090.00390.00430.00220.001350.00300.00450.003580.00590.004090.00320.00310.00100.00640.00310.00130.00210.00550.00240.00計算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標準差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。2. 以下數(shù)據(jù)為福布斯雜志的全球最好的125個公司的利潤數(shù)據(jù)（單位為美元

17、）：10.934.081.460.910.730.840.860.560.420.308.752.771.021.360.670.540.390.410.390.415.892.781.610.881.080.470.490.320.220.2812.432.771.491.130.590.430.460.410.300.344.542.312.431.541.140.520.280.430.350.253.541.830.870.630.440.510.810.420.270.241.801.681.070.730.841.110.280.450.380.263.303.672.851.90

18、0.520.370.310.370.270.235.093.230.911.360.930.550.360.550.931.031.070.550.470.330.333.341.481.770.340.290.420.250.390.313.551.580.871.080.340.750.6031.530.910.911.261.000.420.430.16計算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標準差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。附錄：data_outline <-function(x)n<- length(x)m <-

19、mean(x)v <- var(x)s <- sd(x)me <- median(x)cv <- 100*s/mg1 <- n/(n-1)*(n-2)*sum(x-m)3)/s3g2 <- (n*(n+1)/(n-1)*(n-2)*(n-3)*sum(x-m)4)/s4-(3*(n-1)2)/(n-2)*(n-3)data.frame(N=n, Mean=m, Var=v, std.dev=s,Median=me, CV=cv, Skewness=g1, Kurtosis=g2, s=1)實驗二 數(shù)據(jù)分布一、實驗?zāi)康恼莆张袛鄻颖緮?shù)據(jù)是否來自正

20、太總體的方法；對于給定的樣本數(shù)據(jù)，會通過R軟件畫出樣本數(shù)據(jù)的直方圖、經(jīng)驗分布圖以及Q-Q圖。二、實驗內(nèi)容通過R軟件畫出樣本數(shù)據(jù)的直方圖、經(jīng)驗分布圖以及Q-Q圖。三、準備知識想要了解樣本數(shù)據(jù)的總體分布情況，僅有特征統(tǒng)計量是不夠的，還需要研究數(shù)據(jù)的分布。而研究數(shù)據(jù)的總體分布的一個主要問題就是想知道數(shù)據(jù)是否來自于某一個正太總體，也就是所謂的分布的正態(tài)性檢驗問題。研究這一問題常用到的方法包括直方圖、經(jīng)驗分布圖Q-Q圖以及下一個實驗內(nèi)容所包括的莖葉圖、箱線圖等直方圖：直方圖是一種二維統(tǒng)計圖表，它的兩個坐標分別是統(tǒng)計樣本和該樣本對應(yīng)的某個屬性的度量。直方圖是用面積而非高度來表示數(shù)量。直方圖由一組塊形組成，

21、每一個塊形的面積表示在相應(yīng)的小組區(qū)間中事例的百分數(shù)。采用密度尺度，每一個塊形的高度等于相應(yīng)小組區(qū)間中事例的百分數(shù)除以該區(qū)間的長度。其面積呈現(xiàn)為百分數(shù)，總面積為100%。直方圖下兩個數(shù)值之間的面積給出了落在那個區(qū)間內(nèi)的事件的百分數(shù)。經(jīng)驗分布圖：直方圖的制作適合于總體為連續(xù)分布的場合。對于一般的總體分布，若要估計它的總體分布函數(shù)，可以采用經(jīng)驗分布函數(shù)。經(jīng)驗分布函數(shù)是指根據(jù)樣本構(gòu)造的概率分布函數(shù). 設(shè)x1,xn為一組樣本, 定義函數(shù)m(x)表示樣本中小于或者等于x的樣本個數(shù), 則稱函數(shù)Fn*x=m(x)n為樣本x1,xn為的經(jīng)驗分布函數(shù).Q-Q圖：Q-Q圖是一種散點圖,對應(yīng)于正態(tài)分布的Q-Q圖,就是

22、由標準正態(tài)分布的分位數(shù)為橫坐標,樣本值為縱坐標的散點圖. 要利用QQ圖鑒別樣本數(shù)據(jù)是否近似于正態(tài)分布,只需看QQ圖上的點是否近似地在一條直線附近,而且該直線的斜率為標準差,截距為均值. 用QQ圖還可獲得樣本偏度和峰度的粗略信息.Q-Q圖可以用于檢驗數(shù)據(jù)的分布，所不同的是，Q-Q圖是用變量數(shù)據(jù)分布的分位數(shù)與所指定分布的分位數(shù)之間的關(guān)系曲線來進行檢驗的。四、實驗背景某燈泡生產(chǎn)廠商測試某種新型燈泡的燃燒壽命，如下數(shù)據(jù)表格列出了200個燈泡樣本的可使用小時數(shù)。107736897767994599857799863656662798668746479787977868976748592788877103

23、886368888174708561658175629471936165629265646683707866669477636675687661717791967564767277817185995992946268728567878084936976897573815465718084886261618265986371621166588738068788972586982726473759062897171747085848363926881627983708177728467595873837376907871101784359677465828679746686968977608784

24、757751456310259778368726792898296根據(jù)給定的樣本數(shù)據(jù)畫出數(shù)據(jù)的直方圖、經(jīng)驗分布圖以及Q-Q圖。五、實驗過程數(shù)據(jù)的讀入可以參見實驗一，這里不再重復(fù)。1. 直方圖。軟件中直方圖的命令為hist()（具體可以參考R軟件文檔），如果不輸入其它參數(shù)，則可以采取默認分組，具體為> hist(x)也可以指定分組、顏色等其它參數(shù)，例如> hist(x,breaks=15)在本實驗中，為了觀察數(shù)據(jù)的分布特征，以及判斷數(shù)據(jù)是否來自正太總體，可以同時繪出直方圖和密度估計曲線和正太分布的概率密度曲線進行比較。> hist(x, freq = FALSE)> li

25、nes(density(x), col = "blue")> w <- min(x):max(x)> lines(w, dnorm(w, mean(x), sd(x), col = "red")2.經(jīng)驗分布圖。在這一實驗中，我們同樣可以通過繪出200個燈泡使用時間的經(jīng)驗分布圖和相應(yīng)的正態(tài)分布圖來進行比較，以判斷數(shù)據(jù)是否來自于正太總體，例如> plot(ecdf(x),verticals = TRUE, do.p = FALSE)> w <- min(x):max(x)> lines(w, pnorm(w, mea

26、n(x), sd(x)3. QQ圖。QQ圖同樣可以用來判斷數(shù)據(jù)的總體情況，畫出數(shù)據(jù)的正態(tài)QQ圖和正太QQ曲線，判斷樣本是否來自正態(tài)總體，過程如下：> qqnorm(x);qqline(x)七、練習(xí)實驗1. 以下數(shù)據(jù)為非洲44個國家的人均收入（單位為美元）：1890.00640.00660.00320.00290.001870.007480.00290.00740.001490.00100.00430.00170.00200.00150.00380.00440.00260.00190.00140.00290.00320.002780.003430.00250.0090.00390.0043

27、0.00220.001350.00300.00450.003580.00590.004090.00320.00310.00100.00640.00310.00130.00210.00550.00240.00計算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標準差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。2. 以下數(shù)據(jù)為福布斯雜志的全球最好的125個公司的利潤數(shù)據(jù)（單位為美元）：10.934.081.460.910.730.840.860.560.420.308.752.771.021.360.670.540.390.410.390.415.892.781.610.881.080.470.490.320.220.

28、2812.432.771.491.130.590.430.460.410.300.344.542.312.431.541.140.520.280.430.350.253.541.830.870.630.440.510.810.420.270.241.801.681.070.730.841.110.280.450.380.263.303.672.851.900.520.370.310.370.270.235.093.230.911.360.930.550.360.550.931.031.070.550.470.330.333.341.481.770.340.290.420

29、.250.390.313.551.580.871.080.340.750.6031.530.910.911.261.000.420.430.16計算數(shù)據(jù)集的均值、中位數(shù)、分位數(shù)、方差、標準差、變異系數(shù)、偏度系數(shù)以及峰度系數(shù)。實驗三 數(shù)據(jù)的莖葉圖、盒子圖以及五數(shù)總括一、實驗?zāi)康恼莆张袛鄻颖緮?shù)據(jù)是否來自正太總體的方法；對于給定的樣本數(shù)據(jù)，會通過R軟件畫出樣本數(shù)據(jù)的莖葉圖、盒子圖以及能夠計算五數(shù)總括。二、實驗內(nèi)容 通過R軟件畫出樣本數(shù)據(jù)的莖葉圖、箱線圖，并計算五數(shù)總括。三、準備知識 1.莖葉圖 莖葉圖有三列數(shù)：左邊的一列數(shù)統(tǒng)計數(shù)，它是上（或下）向中心累積的值，中心的數(shù)（帶括號）

30、表示最多數(shù)組的個數(shù)；中間的一列表示莖，也就是變化不大的位數(shù)； 右邊的是數(shù)組中的變化位，它是按照一定的間隔將數(shù)組中的每個變化的數(shù)一一列出來，像一條枝上抽出的葉子一樣，所以人們形象地叫它莖葉圖。莖葉圖是一個與直方圖相類似的特殊工具，但又與直方圖不同，莖葉圖保留原始資料的資訊，直方圖則失去原始資料的訊息。將莖葉圖莖和葉逆時針方向旋轉(zhuǎn)90度，實際上就是一個直方圖，可以從中統(tǒng)計出次數(shù)，計算出各數(shù)據(jù)段的頻率或百分比。從而可以看出分布是否與正態(tài)分布或單峰偏態(tài)分布逼近。 2.箱線圖箱線圖（Boxplot）也稱箱圖、盒形圖等，是利用數(shù)據(jù)中的五個統(tǒng)計量：最小值、第一四分位數(shù)、中位數(shù)、第三四分位數(shù)與最大值來描述數(shù)據(jù)

31、的一種方法，它也可以粗略地看出數(shù)據(jù)是否具有有對稱性，分布的分散程度等信息，特別可以用于對幾個樣本的比較。3.五數(shù)總括直方圖、莖葉圖雖然包含了大量的樣本信息，但是沒有做任何加工或簡化。有時，我們需要用少數(shù)幾個統(tǒng)計量來對大量的原始數(shù)據(jù)進行概括。而最有代表性的、能夠反映數(shù)據(jù)重要特征的五個數(shù)為：中位數(shù)、下四分位數(shù)、上四分位數(shù)、最小值和最大值。這五個數(shù)稱為樣本數(shù)據(jù)的五數(shù)總括。四、實驗背景某燈泡生產(chǎn)廠商測試某種新型燈泡的燃燒壽命，如下數(shù)據(jù)表格列出了200個燈泡樣本的可使用小時數(shù)。1077368977679945998577998636566627986687464797879778689767485927

32、888771038863688881747085616581756294719361656292656466837078666694776366756876617177919675647672778171859959929462687285678780849369768975738154657180848862616182659863716211665887380687889725869827264737590628971717470858483639268816279837081777284675958738373769078711017843596774658286797466869689

33、77608784757751456310259778368726792898296根據(jù)給定的樣本數(shù)據(jù)畫出數(shù)據(jù)的直方圖、經(jīng)驗分布圖以及Q-Q圖。五、實驗過程數(shù)據(jù)的讀入可以參見實驗一，這里不再重復(fù)。1. 繪出數(shù)據(jù)的莖葉圖。在R中莖葉圖的繪制命令為stem()，過程為> stem(x) The decimal point is 1 digit(s) to the right of the | 4 | 3 4 | 5 5 | 14 5 | 78899999 6 | 011111222222223333334444 6 | 5555555566666677778888888899 7 | 0000

34、11111111222222333333444444 7 | 5555556666667777777778888889999999 8 | 00011111122223333344444 8 | 5555566667788888999999 9 | 00122222334444 9 | 66678889 10 | 123 10 | 7 11 | 11 | 62.繪出箱線圖。箱線圖的繪制命令為boxplot()，輸入這一命令，得到直方圖如下：> boxplot(x) 我們同樣可以會出多個數(shù)據(jù)的箱線圖，示例間附錄。3.計算五數(shù)總括。在R軟件中，自帶了計算五數(shù)總括的命令函數(shù)fivenum()，計算過程如下：> fivenum(x)1 43.0 66.