聚類分析講課資料課件

第七章聚類分析第一節(jié)

引言第二節(jié)

相似性的量度第三節(jié)

系統聚類分析法第四節(jié)

K均值聚類分析

第五節(jié)

兩步聚類分析

第七章聚類分析第一節(jié)引言第二節(jié)相2什么是聚類分析？聚類分析是根據“物以類聚”的道理，對樣本或指標進行分類的一種多元統計分析方法，它們討論的對象是大量的樣本，要求能合理地按各自的特性進行合理的分類，沒有任何模式可供參考或依循，即在沒有先驗知識的情況下進行的。第一節(jié)引言2什么是聚類分析？第一節(jié)引言第7章-聚類分析講課資料課件4聚類分析無處不在誰經常光顧商店，誰買什么東西，買多少？按會員卡記錄的光臨次數、光臨時間、性別、年齡、職業(yè)、購物種類、金額等變量分類這樣商店可以……識別顧客購買模式（如喜歡一大早來買酸奶和鮮肉，習慣周末時一次性大采購）刻畫不同的客戶群的特征4聚類分析無處不在誰經常光顧商店，誰買什么東西，買多少？5聚類分析無處不在挖掘有價值的客戶，并制定相應的促銷策略：如，對經常購買酸奶的客戶對累計消費達到12個月的老客戶針對潛在客戶派發(fā)廣告，比在大街上亂發(fā)傳單命中率更高，成本更低！5聚類分析無處不在挖掘有價值的客戶，并制定相應的促銷策略：6聚類分析無處不在誰是銀行信用卡的黃金客戶？利用儲蓄額、刷卡消費金額、誠信度等變量對客戶分類，找出“黃金客戶”！這樣銀行可以……制定更具吸引力的服務，留住客戶！比如：一定額度和期限的免息透支服務！贈送百盛的貴賓打折卡！在他或她生日的時候送上一個小蛋糕！6聚類分析無處不在誰是銀行信用卡的黃金客戶？7聚類的應用領域經濟領域：幫助市場分析人員從客戶數據庫中發(fā)現不同的客戶群，并且用購買模式來刻畫不同的客戶群的特征。誰喜歡打國際長途，在什么時間，打到那里？對住宅區(qū)進行聚類，確定自動提款機ATM的安放位置股票市場板塊分析，找出最具活力的板塊龍頭股企業(yè)信用等級分類……生物學領域推導植物和動物的分類；對基因分類，獲得對種群的認識數據挖掘領域作為其他數學算法的預處理步驟，獲得數據分布狀況，集中對特定的類做進一步的研究7聚類的應用領域經濟領域：8

例對10位應聘者做智能檢驗。3項指標X，Y和Z分別表示數學推理能力、空間想象能力和語言理解能力。得分如下，選擇合適的統計方法對應聘者進行分類。應聘者12345678910X28181121262016142422Y29232223292322232927Z281816222622222424248例對10位應聘者做智能檢驗。3項指標X，Y和99101011

聚類分析根據一批樣本的許多觀測指標，按照一定的數學公式具體地計算一些樣本或一些指標的相似程度，把相似的樣本或指標歸為一類，把不相似的歸為一類。

11第二節(jié)相似性的量度一樣品相似性的度量

二變量相似性的度量

第二節(jié)相似性的量度一樣品相似性的度量二變一、樣品相似性的度量在聚類之前，要首先分析樣品間的相似性。Q型聚類分析，常用距離來測度樣品之間的相似程度。每個樣品有p個指標（變量）從不同方面描述其性質，形成一個p維的向量。如果把n個樣品看成p維空間中的n個點，則兩個樣品間相似程度就可用p維空間中的兩點距離公式來度量。兩點距離公式可以從不同角度進行定義，令dij

表示樣品Xi與Xj的距離，存在以下的距離公式：

1．明考夫斯基距離

(7.1)

明考夫斯基距離簡稱明氏距離。一、樣品相似性的度量在聚類之前，要首先分析樣品間的相似性。Q按q的取值不同又可分成下面的幾個式子按q的取值不同又可分成下面的幾個式子歐氏距離是常用的距離，大家都比較熟悉。但是在解決多元數據的分析問題時，歐氏距離就顯示出了它的不足之處。一是它沒有考慮到總體的變異對“距離”遠近的影響，顯然一個變異程度大的總體可能與更多樣品近些，既使它們的歐氏距離不一定最近；另外，歐氏距離受變量的量綱影響，這對多元數據的處理是不利的。為了克服這方面的不足，可用“馬氏距離”的概念。歐氏距離是常用的距離，大家都比較熟悉。但是在解決多元數據的分

2．馬氏距離設Xi與Xj是來自均值向量為，協方差為∑

的總體

G中的p維樣品，則兩個樣品間的馬氏距離為

(7.5)

馬氏距離又稱為廣義歐氏距離。顯然，馬氏距離與上述各種距離的主要不同就是它考慮了觀測變量之間的相關性。馬氏距離還考慮了觀測變量之間的變異性，不再受各指標量綱的影響。將原始數據作線性變換后，馬氏距離不變。 2．馬氏距離 3．蘭氏距離

(7.6)

它僅適用于一切Xij>0的情況，這個距離也可以克服各個指標之間量綱的影響。這是一個自身標準化的量，由于它對大的奇異值不敏感，它特別適合于高度偏倚的數據。雖然這個距離有助于克服明氏距離的第一個缺點，但它也沒有考慮指標之間的相關性。 3．蘭氏距離 4．距離選擇的原則

一般說來，同一批數據采用不同的距離公式，會得到不同的分類結果。產生不同結果的原因，主要是由于不同的距離公式的側重點和實際意義都有不同。因此我們在進行聚類分析時，應注意距離公式的選擇。 4．距離選擇的原則

通常選擇距離公式應注意遵循以下的基本原則：（1）要考慮所選擇的距離公式在實際應用中有明確的意義。如歐氏距離就有非常明確的空間距離概念。馬氏距離有消除量綱影響的作用。（2）要綜合考慮對樣本觀測數據的預處理和將要采用的聚類分析方法。如在進行聚類分析之前已經對變量作了標準化處理，則通常就可采用歐氏距離。（3）要考慮研究對象的特點和計算量的大小。樣品間距離公式的選擇是一個比較復雜且?guī)в幸欢ㄖ饔^性的問題，我們應根據研究對象的特點不同做出具體分折。實際中，聚類分析前不妨試探性地多選擇幾個距離公式分別進行聚類，然后對聚類分析的結果進行對比分析，以確定最合適的距離測度方法。 通常選擇距離公式應注意遵循以下的基本原則：二、變量相似性的度量

多元數據中的變量表現為向量形式，在幾何上可用多維空間中的一個有向線段表示。在對多元數據進行分析時，相對于數據的大小，我們更多地對變量的變化趨勢或方向感興趣。因此，變量間的相似性，我們可以從它們的方向趨同性或“相關性”進行考察，從而得到“夾角余弦法”和“相關系數”兩種度量方法。

1、夾角余弦 兩變量Xi與Xj看作p維空間的兩個向量，這兩個向量間的夾角余弦可用下式進行計算

(7.7)

顯然，∣cos

ij∣1。二、變量相似性的度量多元數據中的變量表現為向量形式，在幾何 2．相關系數 相關系數經常用來度量變量間的相似性。變量Xi與Xj的相關系數定義為

(7.8)

顯然也有，∣rij∣1。 2．相關系數無論是夾角余弦還是相關系數，它們的絕對值都小于1，作為變量近似性的度量工具，我們把它們統記為cij。當∣cij∣

=1時，說明變量Xi與Xj完全相似；當∣cij∣近似于1時，說 明變量Xi與Xj非常密切；當∣cij∣=0時，說明變量Xi與Xj完 全不一樣；當∣cij∣近似于0時，說明變量Xi與Xj差別很大。 據此，我們把比較相似的變量聚為一類，把不太相似的變量歸到不同的類內。在實際聚類過程中，為了計算方便，我們把變量間相似性的度量公式作一個變換為

dij

=1∣cij∣

(7.9)

或者

dij2

=1cij2(7.10)

用表示變量間的距離遠近，小的則應先聚成一類，這比較符合人們的一般思維習慣。無論是夾角余弦還是相關系數，它們的絕對值都小于1，作為變量近第三節(jié)系統聚類分析法

一系統聚類的基本思想

二類間距離與系統聚類法

第三節(jié)系統聚類分析法一系統聚類的基本思想二一、系統聚類的基本思想系統聚類的基本思想是：距離相近的樣品（或變量）先聚成類，距離相遠的后聚成類，過程一直進行下去，每個樣品（或變量）總能聚到合適的類中。系統聚類過程是：假設總共有n個樣品（或變量），第一步將每個樣品（或變量）獨自聚成一類，共有n類；第二步根據所確定的樣品（或變量）“距離”公式，把距離較近的兩個樣品（或變量）聚合為一類，其它的樣品（或變量）仍各自聚為一類，共聚成n

1類；第三步將“距離”最近的兩個類進一步聚成一類，共聚成n

2類；……，以上步驟一直進行下去，最后將所有的樣品（或變量）全聚成一類。為了直觀地反映以上的系統聚類過程，可以把整個分類系統畫成一張譜系圖。所以有時系統聚類也稱為譜系分析。除系統聚類法外，還有有序聚類法、動態(tài)聚類法、圖論聚類法、模糊聚類法等。一、系統聚類的基本思想系統聚類的基本思想是：距離相近的樣品（二、類間距離與系統聚類法在進行系統聚類之前，我們首先要定義類與類之間的距離，由類間距離定義的不同產生了不同的系統聚類法。常用的類間距離定義有8種之多，與之相應的系統聚類法也有8種，分別為最短距離法、最長距離法、中間距離法、重心法、類平均法、可變類平均法、可變法和離差平方和法。它們的歸類步驟基本上是一致的，主要差異是類間距離的計算方法不同。以下用dij表示樣品Xi與Xj之間距離，用Dij表示類Gi與Gj

之間的距離。二、類間距離與系統聚類法在進行系統聚類之前，我們首先要定義類 1.最短距離法 定義類與之間的距離為兩類最近樣品的距離，即為

(5.11)

設類Gp與類Gq合并成一個新類記為Gr，則任一類Gk與Gr的距離為

(5.12) 1.最短距離法27x21?x12?x22?x11?27x21?x12?x22?x11?最短距離法進行聚類分析的步驟如下： （1）定義樣品之間距離，計算樣品的兩兩距離，得一距離陣記為D（0）

，開始每個樣品自成一類，顯然這時Dij

=

dij。 （2）找出距離最小元素，設為Dpq，則將Gp和Gq合并成一

個新類，記為Gr，即Gr

=

｛Gp，Gq｝。 （3）按（7.12）計算新類與其它類的距離。（4）重復（2）、（3）兩步，直到所有元素并成一類為止。如果某一步距離最小的元素不止一個，則對應這些最小元素的類可以同時合并。最短距離法進行聚類分析的步驟如下：【例】設有六個樣品，每個只測量一個指標，分別是1，2，5，7，9，10，試用最短距離法將它們分類。 （1）樣品采用絕對值距離，計算樣品間的距離陣D（0），見表7.1表7.1【例】設有六個樣品，每個只測量一個指標，分別是1，2，5，7

（2）D（0）中最小的元素是D12＝D56＝1，于是將G1和G2合 并成G7，G5和G6合并成G8，并利用（7.12）式計算新類與其 它類的距離D（1），見表7.2表7.2 （2）D（0）中最小的元素是D12＝D56＝1，于是將G1

（3）在D（1）中最小值是D34＝D48＝2，由于G4與G3合并， 又與G8合并，因此G3、G4、G8合并成一個新類G9，其與其它類的距離D（2），見表7.3表7.3 （3）在D（1）中最小值是D34＝D48＝2，由于G4與G

（4）最后將G7和G9合并成G10，這時所有的六個樣品聚為一類，其過程終止。

上述聚類的可視化過程見圖7.1所示，橫坐標的刻度表示并類的距離。這里我們應該注意，聚類的個數要以實際情況所定，其詳細內容將在后面討論。圖7.1最短距離聚類法的過程 （4）最后將G7和G9合并成G10，這時所有的六個樣品聚為33最長距離法(FurtherNeighbor)以兩類中距離最遠的兩個個體之間的距離作為類間距離。33最長距離法(FurtherNeighbor)34???x11?x21????34???x11?x21????35組間平均連接法

(Between-grouplinkage)以兩類個體兩兩之間距離的平均數作為類間距離。35組間平均連接法

(Between-grouplinka36??????組間平均連接法（Between-groupLinkage)36??????組間平均連接法（Between-group37組內平均連接法

(Within-grouplinkage)將兩類個體合并為一類后，以合并后類中所有個體之間的平均距離作為類間距離。37組內平均連接法

(Within-grouplinkag38

組內平均連接法（Within-groupLinkage)x21?x12?x22?x11?38組內平均連接法（Within-groupLink39重心法(Centroidclustering)以兩類變量均值（重心）之間的距離作為類間距離。39重心法(Centroidclustering)40重心距離：均值點的距離??40重心距離：均值點的距離??41中位數法(Medianclustering)以兩類變量中位數之間的距離作為類間距離。41中位數法(Medianclustering)在SPSS中利用系統聚類法進行聚類分析設有20個土壤樣品分別對5個變量的觀測數據如表所示，試利用系統聚類法對其進行樣品聚類分析。表

土壤樣本的觀測數據在SPSS中利用系統聚類法進行聚類分析設有20個土壤樣品分別第7章-聚類分析講課資料課件

（一）操作步驟

1.在SPSS窗口中選擇Analyze→Classify→HierachicalCluster，調出系統聚類分析主界面，并將變量X1～X5移入Variables框中。在Cluster欄中選擇Cases單選按鈕，即對樣品進行聚類（若選擇Variables，則對變量進行聚類）。在Display欄中選擇Statistics和Plots復選框，這樣在結果輸出窗口中可以同時得到聚類結果統計量和統計圖。 （一）操作步驟圖

系統聚類法主界面圖系統聚類法主界面2.點擊Statistics按鈕，設置在結果輸出窗口中給出的聚類分析統計量。這里我們選擇系統默認值，點擊Continue按鈕，返回主界面。3.點擊Plots按鈕，設置結果輸出窗口中給出的聚類分析統計圖。選中Dendrogram復選框和Icicle欄中的None單選按鈕，即只給出聚類樹形圖，而不給出冰柱圖。單擊Continue按鈕，返回主界面。圖

Plots子對話框2.點擊Statistics按鈕，設置在結果輸出窗口中給出4.點擊Method按鈕，設置系統聚類的方法選項。ClusterMethod下拉列表用于指定聚類的方法，包括組間連接法、組內連接法、最近距離法、最遠距離法等；Measure欄用于選擇對距離和相似性的測度方法；剩下的TransformValues和TransformMeasures欄用于選擇對原始數據進行標準化的方法。這里我們仍然均沿用系統默認選項。單擊Continue按鈕，返回主界面。4.點擊Method按鈕，設置系統聚類的方法選項。Clus圖

Method子對話框圖Method子對話框5.點擊Save按鈕，指定保存在數據文件中的用于表明聚類結果的新變量。None表示不保存任何新變量；Singlesolution表示生成一個分類變量，在其后的矩形框中輸入要分成的類數；Rangeofsolutions表示生成多個分類變量。這里我們選擇Rangeofsolutions，并在后面的兩個矩形框中分別輸入2和4，即生成三個新的分類變量，分別表明將樣品分為2類、3類和4類時的聚類結果。點擊Continue，返回主界面。5.點擊Save按鈕，指定保存在數據文件中的用于表明聚類結圖

Save子對話框圖Save子對話框（二）主要運行結果解釋1.在結果輸出窗口中我們可以看到聚類樹形圖（Dendrogram）。從樹形圖中可以清楚地看到，若將20個樣品分為兩類，則樣品2、6、19、7、和樣品1為一類，其余的為另一類；若將樣品分為三類，則樣品8、9、4從第二類中分離出來，自成一類；依此類推。（二）主要運行結果解釋圖

系統聚類法樹形圖圖系統聚類法樹形圖2.由于我們已經在Save子對話框中設置了在數據文件中生成新的分類變量，所以，在數據編輯窗口中，我們可以看到生成的三個表示分類結果的新變量。變量名為clu4_1、clu3_1和clu2-1的三個分類變量分別表明了把樣品分成4類、3類和2類的分類情況。圖

生成三個新的分類變量2.由于我們已經在Save子對話框中設置了在數據文件中生成第四節(jié)K均值聚類分析系統聚類法需要計算出不同樣品或變量的距離，還要在聚類的每一步都要計算“類間距離”，相應的計算量自然比較大；特別是當樣本的容量很大時，需要占據非常大的計算機內存空間，這給應用帶來一定的困難。而K—均值法是一種快速聚類法，采用該方法得到的結果比較簡單易懂，對計算機的性能要求不高，因此應用也比較廣泛。第四節(jié)K均值聚類分析系統聚類法需要計算出不同樣品或變量K均值法是麥奎因（MacQueen，1967）提出的，這種算法的基本思想是將每一個樣品分配給最近中心（均值）的類中，具體的算法至少包括以下三個步驟：

1．將所有的樣品分成K個初始類；

2．通過歐氏距離將某個樣品劃入離中心最近的類中，并對獲得樣品與失去樣品的類，重新計算中心坐標；

3．重復步驟2，直到所有的樣品都不能再分配時為止。55K均值法是麥奎因（MacQueen，1967）提出的，這種算K均值法和系統聚類法一樣，都是以距離的遠近親疏為標準進行聚類的，但是兩者的不同之處也是明顯的：系統聚類對不同的類數產生一系列的聚類結果，而K—均值法只能產生指定類數的聚類結果。具體類數的確定，離不開實踐經驗的積累；有時也可以借助系統聚類法以一部分樣品為對象進行聚類，其結果作為K—均值法確定類數的參考。下面通過一個具體問題說明K均值法的計算過程。K均值法和系統聚類法一樣，都是以距離的遠近親疏為標準進行聚類【例】假定我們對A、B、C、D四個樣品分別測量兩個變量和得到結果見下表。 試將以上的樣品聚成兩類。表

樣品測量結果【例】假定我們對A、B、C、D四個樣品分別測量兩個變量和得到

第一步：按要求取K=2，為了實施均值法聚類，我們將這些樣品隨意分成兩類，比如（A、B）和（C、D），然后計算這兩個聚類的中心坐標，見表所示。 表中的中心坐標是通過原始數據計算得來的，比如（A、B）類的，等等。表

中心坐標 第一步：按要求取K=2，為了實施均值法聚類，我們將這些樣品

第二步：計算某個樣品到各類中心的歐氏平方距離，然后將該樣品分配給最近的一類。對于樣品有變動的類，重新計算它們的中心坐標，為下一步聚類做準備。先計算A到兩個類的平方距離： 由于A到（A、B）的距離小于到（C、D）的距離，因此A不用重新分配。計算B到兩類的平方距離： 第二步：計算某個樣品到各類中心的歐氏平方距離，然后將該樣品由于B到（A、B）的距離大于到（C、D）的距離，因此B要分配給（C、D）類，得到新的聚類是（A）和（B、C、D）。更新中心坐標如表所示。表

更新后的中心坐標由于B到（A、B）的距離大于到（C、D）的距離，因此B要分配

第三步：再次檢查每個樣品，以決定是否需要重新分類。計算各樣品到各中心的距離平方，得結果。到現在為止，每個樣品都已經分配給距離中心最近的類，因此聚類過程到此結束。最終得到K=2的聚類結果是A獨自成一類，B、C、D聚成一類。表

樣品聚類結果第三步：再次檢查每個樣品，以決定是否需要重新分類。二、在SPSS中利用K均值法進行聚類分析我國各地區(qū)2003年三次產業(yè)產值如表5.17所示，試根據三次產業(yè)產值利用K均值法對我國31個省、自治區(qū)和直轄市進行聚類分析。二、在SPSS中利用K均值法進行聚類分析我國各地區(qū)2003當要聚成的類數確定時，使用K均值法可以很快將觀測量分到各類中去，而且該方法處理速度快，占用內存少，尤其適用于大樣本的聚類分析。（一）操作步驟1.在SPSS窗口中選擇Analyze→Classify→K-MeansCluster，調出K均值聚類分析主界面，并將變量—移入Variables框中，將標志變量Region移入LabelCaseby框中。在Method框中選擇Iterateclassify，即使用K-means算法不斷計算新的類中心，并替換舊的類中心（若選擇Classifyonly，則根據初始類中心進行聚類，在聚類過程中不改變類中心）。在NumberofCluster后面的矩形框中輸入想要把樣品聚成的類數，這里我們輸入3，即將31個地區(qū)分為3類。至于Centers按鈕，則用于設置迭代的初始類中心。如果不手工設置，則系統會自動設置初始類中心，這里我們不作設置。當要聚成的類數確定時，使用K均值法可以很快將觀測量分到各類中圖

K-均值聚類分析主界面圖K-均值聚類分析主界面 2.點擊Iterate按鈕，對迭代參數進行設置。MaximumIterations參數框用于設定K-means算法迭代的最大次數，ConvergenceCriterion參數框用于設定算法的收斂判據，其值應該介于0和1之間。例如判據設置為0.02，則當一次完整的迭代不能使任何一個類中心距離的變動與原始類中心距離的比小于2時，迭代停止。設置完這兩個參數之后，只要在迭代的過程中先滿足了其中的參數，則迭代過程就停止。這里我們選擇系統默認的標準。單擊Continue，返回主界面。圖5.16Iterate子對話框 2.點擊Iterate按鈕，對迭代參數進行設置。Maxi 3.點擊Save按鈕，設置保存在數據文件中的表明聚類結果的新變量。其中Clustermembership選項用于建立一個代表聚類結果的變量，默認變量名為qcl_1；Distancefromclustercenter選項建立一個新變量，代表各觀測量與其所屬類中心的歐氏距離。我們將兩個復選框都選中，單擊Continue按鈕返回。圖

Save子對話框 3.點擊Save按鈕，設置保存在數據文件中的表明聚類結果 4.點擊Options按鈕，指定要計算的統計量。選中Initialclustercenters和Clusterinformationforeachcase復選框。這樣，在輸出窗口中將給出聚類的初始類中心和每個觀測量的分類信息，包括分配到哪一類和該觀測量距所屬類中心的距離。單擊Continue返回。

5.點擊OK按鈕，運行K均值聚類分析程序。圖

Options子對話框 4.點擊Options按鈕，指定要計算的統計量。選中In

（二）主要運行結果解釋

1.InitialClusterCenters（給出初始類中心）

2.IterationHistory（給出每次迭代結束后類中心的變動） 從表中可以看到本次聚類過程共經歷了三次迭代。由于我們在Iterate子對話框中使用系統默認的選項（最大迭代次數為10和收斂判據為0），所以在第三次迭代后，類中心的變化為0，從而迭代停止。 （二）主要運行結果解釋3.ClusterMembership（給出各觀測量所屬的類及與所屬類中心的距離）

下表中Cluster列給出了觀測量所屬的類別，Distance列給出了觀測量與所屬類中心的距離。（出于排版要求，此表經過加工，因此與原始輸出表形態(tài)有一定差異）。表

迭代過程中類中心的變化量表迭代過程中類中心的變化量表

各觀測量所屬類成員表表各觀測量所屬類成員表

4.FinalClusterCenters（給出聚類結果形成的類中心的各變量值）表

最終的類中心表 4.FinalClusterCenters（給出聚類由此我們可以看出31個地區(qū)被分成3類。第一類包括：江蘇、浙江、山東和廣東4個省。這一類的類中心三個產業(yè)的產值分別為1102.14億元、6423.01億元和4454.26億元，屬于三個產業(yè)都比較發(fā)達的地區(qū)。第二類包括：天津、山西、內蒙古、吉林、江西、廣西、海南、重慶、貴州、云南、西藏、陜西、甘肅、青海、寧夏和新疆16個地區(qū)。這一類的類中心三個產業(yè)的產值分別為307.61億元、795.41億元和673.63億元，屬于欠發(fā)達地區(qū)。剩下的11個地區(qū)為第三類。這一類的類中心三個產業(yè)的產值分別為713.28億元、2545.20億元和212.87億元，屬于中等發(fā)達地區(qū)。由此我們可以看出31個地區(qū)被分成3類。

5.由于我們已經在Save子對話框中設置了在數據文件中生成新的分類變量，所以，在數據編輯窗口中，我們可以看到生成的兩個表示分類結果的新變量。變量qcl_1和變量qcl_2分別代表分類號和觀測量距所屬類中心的距離。73 5.由于我們已經在Save子對話框中設置了在數據文件中生第五節(jié)兩步聚類1基本概念及統計原理（1）基本概念

二階聚類（TwoStepCluster）（也稱為兩步聚類）是一個探索性的分析工具（），為揭示自然的分類或分組而設計，是數據集內部的而不是外觀上的分類。它是一種新型的分層聚類算法（HierarchicalAlgorithms）,目前主要應用到數據挖掘（DataMining）和多元數據統計的交叉領域——模式分類中。該過程主要有以下幾個特點：分類變量和連續(xù)變量均可以參與二階聚類分析；該過程可以自動確定分類數；可以高效率地分析大數據集；用戶可以自己定制用于運算的內存容量。

第五節(jié)兩步聚類1基本概念及統計原理（2）統計原理

兩步法的功能非常強大，而原理又較為復雜。他在聚類過程中除了使用傳統的歐氏距離外，為了處理分類變量和連續(xù)變量，它用似然距離測度，它要求模型中的變量是獨立的，分類變量是多項式分布，連續(xù)變量是正態(tài)分布的。分類變量和連續(xù)變量均可以參與兩步聚類分析。第五節(jié)兩步聚類（2）統計原理第五節(jié)兩步聚類（3）分析步驟第1步預聚類：對每個觀測變量考察一遍，確定類中心。根據相近者為同一類的原則，計算距離并把與類中心距離最小的觀測量分到相應的各類中去。這個過程稱為構建一個分類的特征樹（CF）。第2步正式聚類：使用凝聚算法對特征樹的葉節(jié)點分組，凝聚算法可用來產生一個結果范圍。第五節(jié)兩步聚類（3）分析步驟第五節(jié)兩步聚類SPSS實例分析

【例】某機構為了調查學生性別和所學專業(yè)與畢業(yè)后初始工資的情況，調查抽取了60個學生的數據，如下圖所示（其中“性別”1代表男性，0代表女性；“學科”1代表農學，2代表建筑，3代表地質，4代表商務，5代表林學，6代表教育，7代表工程，8代表藝術），試根據樣本指標進行聚類分析。第1步分析：由于自變量中不僅有連續(xù)屬性，也有分類變量，故采用二階聚類進行分析。第2步數據組織：按表所示定義變量，輸入數據并保存。SPSS實例分析7878第3步二階聚類設置：按“分析→分類→兩步聚類”順序打開“二階聚類分析”對話框，并按下圖進行設置。

第3步二階聚類設置：按“分析→分類→兩步聚類”順序打開“二第4步主要結果及分析：二階聚類的模型概要和聚類質量情況聚類個案情況圖從中可以看出，此算法采用的是兩步（二階）聚類，共輸入3個變量，將所有個案聚成3類。聚類的平均輪廓值為0.6（其范圍值為-1.0～1.0，值越大越好），說明聚類質量較好。可以看出各類所占的比例情況第4步主要結果及分析：聚類個案情況圖從中可以看出，此算法采第4步主要結果及分析：各個案所屬的分類號情況第4步主要結果及分析：本章結束本章結束第七章聚類分析第一節(jié)

引言第二節(jié)

相似性的量度第三節(jié)

系統聚類分析法第四節(jié)

K均值聚類分析

第五節(jié)

兩步聚類分析

第七章聚類分析第一節(jié)引言第二節(jié)相84什么是聚類分析？聚類分析是根據“物以類聚”的道理，對樣本或指標進行分類的一種多元統計分析方法，它們討論的對象是大量的樣本，要求能合理地按各自的特性進行合理的分類，沒有任何模式可供參考或依循，即在沒有先驗知識的情況下進行的。第一節(jié)引言2什么是聚類分析？第一節(jié)引言第7章-聚類分析講課資料課件86聚類分析無處不在誰經常光顧商店，誰買什么東西，買多少？按會員卡記錄的光臨次數、光臨時間、性別、年齡、職業(yè)、購物種類、金額等變量分類這樣商店可以……識別顧客購買模式（如喜歡一大早來買酸奶和鮮肉，習慣周末時一次性大采購）刻畫不同的客戶群的特征4聚類分析無處不在誰經常光顧商店，誰買什么東西，買多少？87聚類分析無處不在挖掘有價值的客戶，并制定相應的促銷策略：如，對經常購買酸奶的客戶對累計消費達到12個月的老客戶針對潛在客戶派發(fā)廣告，比在大街上亂發(fā)傳單命中率更高，成本更低！5聚類分析無處不在挖掘有價值的客戶，并制定相應的促銷策略：88聚類分析無處不在誰是銀行信用卡的黃金客戶？利用儲蓄額、刷卡消費金額、誠信度等變量對客戶分類，找出“黃金客戶”！這樣銀行可以……制定更具吸引力的服務，留住客戶！比如：一定額度和期限的免息透支服務！贈送百盛的貴賓打折卡！在他或她生日的時候送上一個小蛋糕！6聚類分析無處不在誰是銀行信用卡的黃金客戶？89聚類的應用領域經濟領域：幫助市場分析人員從客戶數據庫中發(fā)現不同的客戶群，并且用購買模式來刻畫不同的客戶群的特征。誰喜歡打國際長途，在什么時間，打到那里？對住宅區(qū)進行聚類，確定自動提款機ATM的安放位置股票市場板塊分析，找出最具活力的板塊龍頭股企業(yè)信用等級分類……生物學領域推導植物和動物的分類；對基因分類，獲得對種群的認識數據挖掘領域作為其他數學算法的預處理步驟，獲得數據分布狀況，集中對特定的類做進一步的研究7聚類的應用領域經濟領域：90

例對10位應聘者做智能檢驗。3項指標X，Y和Z分別表示數學推理能力、空間想象能力和語言理解能力。得分如下，選擇合適的統計方法對應聘者進行分類。應聘者12345678910X28181121262016142422Y29232223292322232927Z281816222622222424248例對10位應聘者做智能檢驗。3項指標X，Y和919921093

聚類分析根據一批樣本的許多觀測指標，按照一定的數學公式具體地計算一些樣本或一些指標的相似程度，把相似的樣本或指標歸為一類，把不相似的歸為一類。

11第二節(jié)相似性的量度一樣品相似性的度量

二變量相似性的度量

第二節(jié)相似性的量度一樣品相似性的度量二變一、樣品相似性的度量在聚類之前，要首先分析樣品間的相似性。Q型聚類分析，常用距離來測度樣品之間的相似程度。每個樣品有p個指標（變量）從不同方面描述其性質，形成一個p維的向量。如果把n個樣品看成p維空間中的n個點，則兩個樣品間相似程度就可用p維空間中的兩點距離公式來度量。兩點距離公式可以從不同角度進行定義，令dij

表示樣品Xi與Xj的距離，存在以下的距離公式：

1．明考夫斯基距離

(7.1)

明考夫斯基距離簡稱明氏距離。一、樣品相似性的度量在聚類之前，要首先分析樣品間的相似性。Q按q的取值不同又可分成下面的幾個式子按q的取值不同又可分成下面的幾個式子歐氏距離是常用的距離，大家都比較熟悉。但是在解決多元數據的分析問題時，歐氏距離就顯示出了它的不足之處。一是它沒有考慮到總體的變異對“距離”遠近的影響，顯然一個變異程度大的總體可能與更多樣品近些，既使它們的歐氏距離不一定最近；另外，歐氏距離受變量的量綱影響，這對多元數據的處理是不利的。為了克服這方面的不足，可用“馬氏距離”的概念。歐氏距離是常用的距離，大家都比較熟悉。但是在解決多元數據的分

2．馬氏距離設Xi與Xj是來自均值向量為，協方差為∑

的總體

G中的p維樣品，則兩個樣品間的馬氏距離為

(7.5)

馬氏距離又稱為廣義歐氏距離。顯然，馬氏距離與上述各種距離的主要不同就是它考慮了觀測變量之間的相關性。馬氏距離還考慮了觀測變量之間的變異性，不再受各指標量綱的影響。將原始數據作線性變換后，馬氏距離不變。 2．馬氏距離 3．蘭氏距離

(7.6)

它僅適用于一切Xij>0的情況，這個距離也可以克服各個指標之間量綱的影響。這是一個自身標準化的量，由于它對大的奇異值不敏感，它特別適合于高度偏倚的數據。雖然這個距離有助于克服明氏距離的第一個缺點，但它也沒有考慮指標之間的相關性。 3．蘭氏距離 4．距離選擇的原則

一般說來，同一批數據采用不同的距離公式，會得到不同的分類結果。產生不同結果的原因，主要是由于不同的距離公式的側重點和實際意義都有不同。因此我們在進行聚類分析時，應注意距離公式的選擇。 4．距離選擇的原則

通常選擇距離公式應注意遵循以下的基本原則：（1）要考慮所選擇的距離公式在實際應用中有明確的意義。如歐氏距離就有非常明確的空間距離概念。馬氏距離有消除量綱影響的作用。（2）要綜合考慮對樣本觀測數據的預處理和將要采用的聚類分析方法。如在進行聚類分析之前已經對變量作了標準化處理，則通常就可采用歐氏距離。（3）要考慮研究對象的特點和計算量的大小。樣品間距離公式的選擇是一個比較復雜且?guī)в幸欢ㄖ饔^性的問題，我們應根據研究對象的特點不同做出具體分折。實際中，聚類分析前不妨試探性地多選擇幾個距離公式分別進行聚類，然后對聚類分析的結果進行對比分析，以確定最合適的距離測度方法。 通常選擇距離公式應注意遵循以下的基本原則：二、變量相似性的度量

多元數據中的變量表現為向量形式，在幾何上可用多維空間中的一個有向線段表示。在對多元數據進行分析時，相對于數據的大小，我們更多地對變量的變化趨勢或方向感興趣。因此，變量間的相似性，我們可以從它們的方向趨同性或“相關性”進行考察，從而得到“夾角余弦法”和“相關系數”兩種度量方法。

1、夾角余弦 兩變量Xi與Xj看作p維空間的兩個向量，這兩個向量間的夾角余弦可用下式進行計算

(7.7)

顯然，∣cos

ij∣1。二、變量相似性的度量多元數據中的變量表現為向量形式，在幾何 2．相關系數 相關系數經常用來度量變量間的相似性。變量Xi與Xj的相關系數定義為

(7.8)

顯然也有，∣rij∣1。 2．相關系數無論是夾角余弦還是相關系數，它們的絕對值都小于1，作為變量近似性的度量工具，我們把它們統記為cij。當∣cij∣

=1時，說明變量Xi與Xj完全相似；當∣cij∣近似于1時，說 明變量Xi與Xj非常密切；當∣cij∣=0時，說明變量Xi與Xj完 全不一樣；當∣cij∣近似于0時，說明變量Xi與Xj差別很大。 據此，我們把比較相似的變量聚為一類，把不太相似的變量歸到不同的類內。在實際聚類過程中，為了計算方便，我們把變量間相似性的度量公式作一個變換為

dij

=1∣cij∣

(7.9)

或者

dij2

=1cij2(7.10)

用表示變量間的距離遠近，小的則應先聚成一類，這比較符合人們的一般思維習慣。無論是夾角余弦還是相關系數，它們的絕對值都小于1，作為變量近第三節(jié)系統聚類分析法

一系統聚類的基本思想

二類間距離與系統聚類法

第三節(jié)系統聚類分析法一系統聚類的基本思想二一、系統聚類的基本思想系統聚類的基本思想是：距離相近的樣品（或變量）先聚成類，距離相遠的后聚成類，過程一直進行下去，每個樣品（或變量）總能聚到合適的類中。系統聚類過程是：假設總共有n個樣品（或變量），第一步將每個樣品（或變量）獨自聚成一類，共有n類；第二步根據所確定的樣品（或變量）“距離”公式，把距離較近的兩個樣品（或變量）聚合為一類，其它的樣品（或變量）仍各自聚為一類，共聚成n

1類；第三步將“距離”最近的兩個類進一步聚成一類，共聚成n

2類；……，以上步驟一直進行下去，最后將所有的樣品（或變量）全聚成一類。為了直觀地反映以上的系統聚類過程，可以把整個分類系統畫成一張譜系圖。所以有時系統聚類也稱為譜系分析。除系統聚類法外，還有有序聚類法、動態(tài)聚類法、圖論聚類法、模糊聚類法等。一、系統聚類的基本思想系統聚類的基本思想是：距離相近的樣品（二、類間距離與系統聚類法在進行系統聚類之前，我們首先要定義類與類之間的距離，由類間距離定義的不同產生了不同的系統聚類法。常用的類間距離定義有8種之多，與之相應的系統聚類法也有8種，分別為最短距離法、最長距離法、中間距離法、重心法、類平均法、可變類平均法、可變法和離差平方和法。它們的歸類步驟基本上是一致的，主要差異是類間距離的計算方法不同。以下用dij表示樣品Xi與Xj之間距離，用Dij表示類Gi與Gj

之間的距離。二、類間距離與系統聚類法在進行系統聚類之前，我們首先要定義類 1.最短距離法 定義類與之間的距離為兩類最近樣品的距離，即為

(5.11)

設類Gp與類Gq合并成一個新類記為Gr，則任一類Gk與Gr的距離為

(5.12) 1.最短距離法109x21?x12?x22?x11?27x21?x12?x22?x11?最短距離法進行聚類分析的步驟如下： （1）定義樣品之間距離，計算樣品的兩兩距離，得一距離陣記為D（0）

，開始每個樣品自成一類，顯然這時Dij

=

dij。 （2）找出距離最小元素，設為Dpq，則將Gp和Gq合并成一

個新類，記為Gr，即Gr

=

｛Gp，Gq｝。 （3）按（7.12）計算新類與其它類的距離。（4）重復（2）、（3）兩步，直到所有元素并成一類為止。如果某一步距離最小的元素不止一個，則對應這些最小元素的類可以同時合并。最短距離法進行聚類分析的步驟如下：【例】設有六個樣品，每個只測量一個指標，分別是1，2，5，7，9，10，試用最短距離法將它們分類。 （1）樣品采用絕對值距離，計算樣品間的距離陣D（0），見表7.1表7.1【例】設有六個樣品，每個只測量一個指標，分別是1，2，5，7

（2）D（0）中最小的元素是D12＝D56＝1，于是將G1和G2合 并成G7，G5和G6合并成G8，并利用（7.12）式計算新類與其 它類的距離D（1），見表7.2表7.2 （2）D（0）中最小的元素是D12＝D56＝1，于是將G1

（3）在D（1）中最小值是D34＝D48＝2，由于G4與G3合并， 又與G8合并，因此G3、G4、G8合并成一個新類G9，其與其它類的距離D（2），見表7.3表7.3 （3）在D（1）中最小值是D34＝D48＝2，由于G4與G

（4）最后將G7和G9合并成G10，這時所有的六個樣品聚為一類，其過程終止。

上述聚類的可視化過程見圖7.1所示，橫坐標的刻度表示并類的距離。這里我們應該注意，聚類的個數要以實際情況所定，其詳細內容將在后面討論。圖7.1最短距離聚類法的過程 （4）最后將G7和G9合并成G10，這時所有的六個樣品聚為115最長距離法(FurtherNeighbor)以兩類中距離最遠的兩個個體之間的距離作為類間距離。33最長距離法(FurtherNeighbor)116???x11?x21????34???x11?x21????117組間平均連接法

(Between-grouplinkage)以兩類個體兩兩之間距離的平均數作為類間距離。35組間平均連接法

(Between-grouplinka118??????組間平均連接法（Between-groupLinkage)36??????組間平均連接法（Between-group119組內平均連接法

(Within-grouplinkage)將兩類個體合并為一類后，以合并后類中所有個體之間的平均距離作為類間距離。37組內平均連接法

(Within-grouplinkag120

組內平均連接法（Within-groupLinkage)x21?x12?x22?x11?38組內平均連接法（Within-groupLink121重心法(Centroidclustering)以兩類變量均值（重心）之間的距離作為類間距離。39重心法(Centroidclustering)122重心距離：均值點的距離??40重心距離：均值點的距離??123中位數法(Medianclustering)以兩類變量中位數之間的距離作為類間距離。41中位數法(Medianclustering)在SPSS中利用系統聚類法進行聚類分析設有20個土壤樣品分別對5個變量的觀測數據如表所示，試利用系統聚類法對其進行樣品聚類分析。表

土壤樣本的觀測數據在SPSS中利用系統聚類法進行聚類分析設有20個土壤樣品分別第7章-聚類分析講課資料課件

（一）操作步驟

1.在SPSS窗口中選擇Analyze→Classify→HierachicalCluster，調出系統聚類分析主界面，并將變量X1～X5移入Variables框中。在Cluster欄中選擇Cases單選按鈕，即對樣品進行聚類（若選擇Variables，則對變量進行聚類）。在Display欄中選擇Statistics和Plots復選框，這樣在結果輸出窗口中可以同時得到聚類結果統計量和統計圖。 （一）操作步驟圖

系統聚類法主界面圖系統聚類法主界面2.點擊Statistics按鈕，設置在結果輸出窗口中給出的聚類分析統計量。這里我們選擇系統默認值，點擊Continue按鈕，返回主界面。3.點擊Plots按鈕，設置結果輸出窗口中給出的聚類分析統計圖。選中Dendrogram復選框和Icicle欄中的None單選按鈕，即只給出聚類樹形圖，而不給出冰柱圖。單擊Continue按鈕，返回主界面。圖

Plots子對話框2.點擊Statistics按鈕，設置在結果輸出窗口中給出4.點擊Method按鈕，設置系統聚類的方法選項。ClusterMethod下拉列表用于指定聚類的方法，包括組間連接法、組內連接法、最近距離法、最遠距離法等；Measure欄用于選擇對距離和相似性的測度方法；剩下的TransformValues和TransformMeasures欄用于選擇對原始數據進行標準化的方法。這里我們仍然均沿用系統默認選項。單擊Continue按鈕，返回主界面。4.點擊Method按鈕，設置系統聚類的方法選項。Clus圖

Method子對話框圖Method子對話框5.點擊Save按鈕，指定保存在數據文件中的用于表明聚類結果的新變量。None表示不保存任何新變量；Singlesolution表示生成一個分類變量，在其后的矩形框中輸入要分成的類數；Rangeofsolutions表示生成多個分類變量。這里我們選擇Rangeofsolutions，并在后面的兩個矩形框中分別輸入2和4，即生成三個新的分類變量，分別表明將樣品分為2類、3類和4類時的聚類結果。點擊Continue，返回主界面。5.點擊Save按鈕，指定保存在數據文件中的用于表明聚類結圖

Save子對話框圖Save子對話框（二）主要運行結果解釋1.在結果輸出窗口中我們可以看到聚類樹形圖（Dendrogram）。從樹形圖中可以清楚地看到，若將20個樣品分為兩類，則樣品2、6、19、7、和樣品1為一類，其余的為另一類；若將樣品分為三類，則樣品8、9、4從第二類中分離出來，自成一類；依此類推。（二）主要運行結果解釋圖

系統聚類法樹形圖圖系統聚類法樹形圖2.由于我們已經在Save子對話框中設置了在數據文件中生成新的分類變量，所以，在數據編輯窗口中，我們可以看到生成的三個表示分類結果的新變量。變量名為clu4_1、clu3_1和clu2-1的三個分類變量分別表明了把樣品分成4類、3類和2類的分類情況。圖

生成三個新的分類變量2.由于我們已經在Save子對話框中設置了在數據文件中生成第四節(jié)K均值聚類分析系統聚類法需要計算出不同樣品或變量的距離，還要在聚類的每一步都要計算“類間距離”，相應的計算量自然比較大；特別是當樣本的容量很大時，需要占據非常大的計算機內存空間，這給應用帶來一定的困難。而K—均值法是一種快速聚類法，采用該方法得到的結果比較簡單易懂，對計算機的性能要求不高，因此應用也比較廣泛。第四節(jié)K均值聚類分析系統聚類法需要計算出不同樣品或變量K均值法是麥奎因（MacQueen，1967）提出的，這種算法的基本思想是將每一個樣品分配給最近中心（均值）的類中，具體的算法至少包括以下三個步驟：

1．將所有的樣品分成K個初始類；

2．通過歐氏距離將某個樣品劃入離中心最近的類中，并對獲得樣品與失去樣品的類，重新計算中心坐標；

3．重復步驟2，直到所有的樣品都不能再分配時為止。137K均值法是麥奎因（MacQueen，1967）提出的，這種算K均值法和系統聚類法一樣，都是以距離的遠近親疏為標準進行聚類的，但是兩者的不同之處也是明顯的：系統聚類對不同的類數產生一系列的聚類結果，而K—均值法只能產生指定類數的聚類結果。具體類數的確定，離不開實踐經驗的積累；有時也可以借助系統聚類法以一部分樣品為對象進行聚類，其結果作為K—均值法確定類數的參考。下面通過一個具體問題說明K均值法的計算過程。K均值法和系統聚類法一樣，都是以距離的遠近親疏為標準進行聚類【例】假定我們對A、B、C、D四個樣品分別測量兩個變量和得到結果見下表。 試將以上的樣品聚成兩類。表

樣品測量結果【例】假定我們對A、B、C、D四個樣品分別測量兩個變量和得到

第一步：按要求取K=2，為了實施均值法聚類，我們將這些樣品隨意分成兩類，比如（A、B）和（C、D），然后計算這兩個聚類的中心坐標，見表所示。 表中的中心坐標是通過原始數據計算得來的，比如（A、B）類的，等等。表

中心坐標 第一步：按要求取K=2，為了實施均值法聚類，我們將這些樣品

第二步：計算某個樣品到各類中心的歐氏平方距離，然后將該樣品分配給最近的一類。對于樣品有變動的類，重新計算它們的中心坐標，為下一步聚類做準備。先計算A到兩個類的平方距離： 由于A到（A、B）的距離小于到（C、D）的距離，因此A不用重新分配。計算B到兩類的平方距離： 第二步：計算某個樣品到各類中心的歐氏平方距離，然后將該樣品由于B到（A、B）的距離大于到（C、D）的距離，因此B要分配給（C、D）類，得到新的聚類是（A）和（B、C、D）。更新中心坐標如表所示。表

更新后的中心坐標由于B到（A、B）的距離大于到（C、D）的距離，因此B要分配

第三步：再次檢查每個樣品，以決定是否需要重新分類。計算各樣品到各中心的距離平方，得結果。到現在為止，每個樣品都已經分配給距離中心最近的類，因此聚類過程到此結束。最終得到K=2的聚類結果是A獨自成一類，B、C、D聚成一類。表

樣品聚類結果第三步：再次檢查每個樣品，以決定是否需要重新分類。二、在SPSS中利用K均值法進行聚類分析我國各地區(qū)2003年三次產業(yè)產值如表5.17所示，試根據三次產業(yè)產值利用K均值法對我國31個省、自治區(qū)和直轄市進行聚類分析。二、在SPSS中利用K均值法進行聚類分析我國各地區(qū)2003當要聚成的類數確定時，使用K均值法可以很快將觀測量分到各類中去，而且該方法處理速度快，占用內存少，尤其適用于大樣本的聚類分析。（一）操作步驟1.在SPSS窗口中選擇Analyze→Classify→K-MeansCluster，調出K均值聚類分析主界面，并將變量—移入Variables框中，將標志變量Region移入LabelCaseby框中。在Method框中選擇Iterateclassify，即使用K-means算法不斷計算新的類中心，并替換舊的類中心（若選擇Classifyonly，則根據初始類中心進行聚類，在聚類過程中不改變類中心）。在NumberofCluster后面的矩形框中輸入想要把樣品聚成的類數，這里我們輸入3，即將31個地區(qū)分為3類。至于Centers按鈕，則用于設置迭代的初始類中心。如果不手工設置，則系統會自動設置初始類中心，這里我們不作設置。當要聚成的類數確定時，使用K均值法可以很快將觀測量分到各類中圖

K-均值聚類分析主界面圖K-均值聚類分析主界面 2.點擊Iterate按鈕，對迭代參數進行設置。MaximumIterations參數框用于設定K-means算法迭代的最大次數，ConvergenceCriterion參數框用于設定算法的收斂判據，其值應該介于0和1之間。例如判據設置為0.02，則當一次完整的迭代不能使任何一個類中心距離的變動與原始類中心距離的比小于2時，迭代停止。設置完這兩個參數之后，只要在迭代的過程中先滿足了其中的參數，則迭代過程就停止。這里我們選擇系統默認的標準。單擊Continue，返回主界面。圖5.16