數(shù)學建模聚類分析

1、第二節(jié) 聚類分析 聚類分析（Cluster Analysis）是研究“物以類聚”的一種多元統(tǒng)計方法。國內有人稱它為群分析、點群分析、簇群分析等。一、聚類分析的基本概念研究對樣品或指標進行分類的一種多元統(tǒng)計方法,是依據(jù)研究對象的個體的特征進行分類的方法。聚類分析把分類對象按一定規(guī)則分成若干類，這些類非事先給定的，而是根據(jù)數(shù)據(jù)特征確定的。在同一類中這些對象在某種意義上趨向于彼此相似，而在不同類中趨向于不相似。職能是建立一種能按照樣品或變量的相似程度進行分類的方法。 聚類分析的基本思想是認為我們所研究的樣本或指標（變量）之間存在著程度不同的相似性（親疏關系）。于是根據(jù)一批樣本的多個觀測指標，具體找出

2、一些彼此之間相似程度較大的樣本（或指標）聚合為一類，把另外一些彼此之間相似程度較大的樣本（或指標）又聚合為另一類，關系密切的聚合到一個小的分類單位，關系疏遠的聚合到一個大的分類單位，直到把所有樣本（或指標）都聚合完畢，把不同的類型一一劃分出來，形成一個由小到大的分類系統(tǒng)。最后把整個分類系統(tǒng)畫成一張譜系圖，用它把所有樣本（或指標）間的親疏關系表示出來。這種方法是最常用的、最基本的一種，稱為系統(tǒng)聚類分析。除此以外，還有動態(tài)聚類法、圖論聚類法、模糊聚類法、有序聚類法等。聚類分析有兩種：一種是對樣本的分類，稱為Q型，另一種是對變量（指標）的分類，稱為R型。R型聚類分析的主要作用： 不但可以了解個別變量

3、之間的親疏程度，而且可以了解各個變量組合之間的親疏程度。 根據(jù)變量的分類結果以及它們之間的關系，可以選擇主要變量進行Q型聚類分析或回歸分析。（R2為選擇標準）Q型聚類分析的主要作用： 可以綜合利用多個變量的信息對樣本進行分析。 分類結果直觀，聚類譜系圖清楚地表現(xiàn)數(shù)值分類結果。 聚類分析所得到的結果比傳統(tǒng)分類方法更細致、全面、合理。在課堂上主要討論Q型聚類分析, Q型聚類常用的統(tǒng)計量是距離.那么Q型系統(tǒng)聚類法則可以表述為： 把樣本看成n維空間的點，而把變量看成n維空間的坐標軸，m個樣本開始時自成一類，然后規(guī)定各類之間的距離，將距離最小的一對并成一類，然后再計算距離，直到所有單位全部合并為止。二、

4、距離和相似系數(shù) 在進行聚類分析時，樣本間的相似系數(shù)和距離有多種不同的定義，通常按特性來劃分。變量特征的測度尺度有三種類型： 間隔尺度（由連續(xù)的實值變量表示） 有序尺度（沒有明確的數(shù)量表示，只有次序關系，如產(chǎn)品等級） 名義尺度（具有某種特性，如性別）從一組復雜數(shù)據(jù)產(chǎn)生一個相當簡單的類結構，必然要求進行“相關性”或“相似性”的度量。在相似性度量的選擇中，常常包含許多主觀上的考慮，但最重要的考慮是指標的性質或觀測的尺度（名義、次序、間隔）以及相關知識。課堂上主要討論的指標測量為間隔尺度的情況。距離每個樣本有p個指標，因此每個樣本可以看成p維空間中的一個點，n個樣本就組成p維空間中的n個點，這時很自然

5、想到用距離來度量n個樣本間的接近程度。用 表示第i個樣本與第j個樣本之間的距離。一切距離應滿足以下條件：常見的距離有：block distance 絕對值距離：euclidean distance 歐式距離squared euclidean distance 平方歐式距離chebychev distance 切比雪夫距離minkowski distance 明考斯基距離 （明氏距離）當q=1,2時，為絕對值、歐式距離；若趨近無窮時，則為切比雪夫距離明氏距離在實際的運用很多，但有一些缺點。例如觀測值的單位問題；指標間的相關問題，因此改進得到以下兩種距離：Lanberra 蘭氏距離Mahalano

6、bis 馬氏距離以上都是樣本間距離的定義。相似系數(shù)夾角余弦相關系數(shù)變量間的距離利用相似系數(shù)來定義距離利用樣本協(xié)差陣來定義距離把變量Xi的n次觀測值看成n維空間的點,在n維空間中定義m個變量間的距離。 夾角余弦 兩變量的夾角余弦定義為： 相關系數(shù) 兩變量的相關系數(shù)定義為： 三、系統(tǒng)聚類法基本步驟1. 選擇樣本間距離的定義及類間距離的定義；2. 計算n個樣本兩兩之間的距離，得到距離矩陣 3. 構造個類，每類只含有一個樣本；4. 合并符合類間距離定義要求的兩類為一個新類；5. 計算新類與當前各類的距離。若類的個數(shù)為1，則轉到步驟6，否則回到步驟4;6.畫出聚類圖； 7.決定類的個數(shù)和類。系統(tǒng)聚類分析

7、的方法系統(tǒng)聚類法的聚類原則決定于樣品間的距離以及類間距離的定義，類間距離的不同定義就產(chǎn)生了不同的系統(tǒng)聚類分析方法。以下用dij表示樣品X(i)和X(j)之間的距離，當樣品間的親疏關系采用相似系數(shù)Cij時，令 ；以下用D(p,q)表示類Gp和Gq之間的距離。1.最短距離法(SINgle method)2.最長距離法(COMplete method)最長距離最短距離ABCDEF例為了研究遼寧等5省1991年城鎮(zhèn)居民生活消費情況的分布規(guī)律，根據(jù)調查資料做類型分類，用最短距離做類間分類。數(shù)據(jù)如下：x1x2x3x4x5x6x7x8遼寧17.9039.778.4912.9419.2711.052.0413

8、.29浙江27.6850.3711.3513.3019.2514.592.7514.87河南39.4227.938.208.1416.179.421.559.76甘肅49.1627.989.019.3215.999.101.8211.35青海510.0628.6410.5210.0516.188.391.9610.81將每一個省區(qū)視為一個樣本，先計算5個省區(qū)之間的歐式距離，用D0表示距離矩陣（對稱陣，故給出下三角陣）因此將合并為一類，為類6，替代了3、4兩類類6與剩余的1、2、5之間的距離分別為： d(3,4)1 d(3,4)2 d(3,4)5得到新矩陣合并類6和類5，得到新類7類7與剩余的1

9、、2之間的距離分別為： d(5,6)1 d(5,6)2 得到新矩陣合并類1和類2，得到新類8此時，我們有兩個不同的類：類7和類8。它們的最近距離d(7,8) 得到矩陣最后合并為一個大類。這就是按最短距離定義類間距離的系統(tǒng)聚類方法。最長距離法類似！3.重心法(CENtroid method)4.類平均法(AVErage method)中間距離5.離差平方和法(WARD)基本思想來源于方差分析。它認為：如果分類正確，同類間的類差平方和應較小，類與類之間的離差平方和應較大.具體做法是，先將n個樣本分成一類,然后每次縮小一類,每縮小一類離差平方和就要增大. 離差平方和法(WARD)系統(tǒng)聚類方法的統(tǒng)一

10、系統(tǒng)聚類法參數(shù)表 類的個數(shù)的確定由適當?shù)拈撝荡_定；根據(jù)數(shù)據(jù)點的散布直觀地確定類的個數(shù)；根據(jù)統(tǒng)計量確定分類個數(shù)；類的個數(shù)的確定根據(jù)譜系圖確定分類個數(shù)的準則：各類重心間的距離必須很大；類中保包含的元素不要太多；類的個數(shù)必須符合實際應用；如果采用幾種不同的聚類方法處理，則在各種聚類圖中應該發(fā)現(xiàn)相同的類。四、系統(tǒng)聚類的參數(shù)選擇聚類類別：統(tǒng)計圖：樹型譜系圖 冰柱譜系圖聚類方法1.Between-groups linkage 類間平均法 兩類距離為兩類元素兩兩之間平均平方距離2.Within-groups linkage 類內平均法兩類距離為合并后類中可能元素兩兩之間平均平方距離3.Nearest neighbor 最短距離法 4. Furthest neighbor 最長距離法5.Centroi