12-第七章-聚類分析

第七章聚類分析

第7章聚類分析第3章判別分析

分類學(xué)是人類認(rèn)識(shí)世界的基礎(chǔ)科學(xué)。聚類分析和判別分析是研究事物分類的基本方法,廣泛地應(yīng)用于自然科學(xué)研究、社會(huì)科學(xué)研究、工農(nóng)業(yè)生產(chǎn)各個(gè)領(lǐng)域。

在大氣科學(xué)研究中，存在著兩種不同的分類問題：

1）事先不知道分類的類別和分類數(shù)目，也不清楚樣本的屬性，需要根據(jù)一定的規(guī)則進(jìn)行分類—聚類問題；

2）事先已經(jīng)知道分類的類別，用因子判定預(yù)報(bào)量的可能屬于的類別—判別分類。分類問題1）氣候區(qū)的劃分：干旱、半干旱2）天氣過程的分類：根據(jù)多個(gè)氣象要素(溫度，氣壓，濕度等)的時(shí)間演變曲線分類。3）大氣環(huán)流分型：緯向型（西風(fēng)），經(jīng)向型先確定典型，然后根據(jù)與“典型”的相似程度進(jìn)行類型劃分。利用相關(guān)、相似性度量，考察樣品之間的親疏關(guān)系。思路聚類分析的原則是同一類中的個(gè)體有較大的相似性，不同類中的個(gè)體差異很大。根據(jù)分類對(duì)象的不同，分為樣本聚類和變量聚類。1．樣品聚類

樣品聚類在統(tǒng)計(jì)學(xué)中又稱為Q型聚類。就是對(duì)事件Cases(或稱樣品或稱觀測(cè)量）進(jìn)行聚類。是根據(jù)被觀測(cè)的對(duì)象的各種特征，即反映被觀測(cè)對(duì)象特征的各變量值進(jìn)行分類。樣品聚類是進(jìn)行判別分析的之前的必要工作。根據(jù)樣品聚類的結(jié)果進(jìn)行判別分折。得出判別函數(shù)，進(jìn)而對(duì)其他研究對(duì)象屬于哪一類作出判斷。[例]在選拔少年運(yùn)動(dòng)員時(shí)首先要根據(jù)少年的身體形態(tài)、身體素質(zhì)、生理功能的各種指標(biāo)(變量)進(jìn)行測(cè)試，得到各種指標(biāo)的測(cè)試值(變量值)，據(jù)此對(duì)少年進(jìn)行分類。根據(jù)分類結(jié)果再求出選材的判別函數(shù)，作為選材的依據(jù)。又比如，可以根據(jù)啤酒中含有的酒精成分、鈉成分、熱量的“卡路里”數(shù)值對(duì)啤酒進(jìn)行分類。

應(yīng)該注意的是，不同的目的選用不同的指標(biāo)作為分類的依據(jù)。例如，對(duì)少年為選拔運(yùn)動(dòng)員所選用的指標(biāo)就不同于為分課外活動(dòng)小組所選用的指標(biāo)，對(duì)啤酒按價(jià)格進(jìn)行分類和按成分進(jìn)行分類所選用的指標(biāo)也是不同的。2．變量聚類

變量聚類在統(tǒng)計(jì)學(xué)中又稱為R型聚類。反映同一事物特點(diǎn)的變量有很多，我們往往根據(jù)所研究的問題選擇部分變量對(duì)事物的某一方面進(jìn)行研究。由于人類對(duì)客觀事物的認(rèn)識(shí)是有限的，往往難以找出真正彼此獨(dú)立的有代表性的變量，而影響對(duì)問題的進(jìn)一步認(rèn)識(shí)和研究。

例如，在回歸分析中由于自變量的共線性導(dǎo)致偏回歸系數(shù)不能真正反映自變量對(duì)因變量的影響，等等。因此，往往先要進(jìn)行變量聚類，找出彼此獨(dú)立且有代表性的自變量，而又不丟失大部分信息（如主成分分析）。在生產(chǎn)活動(dòng)中也有很多需要進(jìn)行變量聚類的實(shí)例：制衣業(yè)制定衣服型號(hào)就是根據(jù)人體各部分尺寸數(shù)據(jù)找出最有代表性的指標(biāo)，如身長(zhǎng)、胸圍、褲長(zhǎng)、腰圍等作為上衣及褲子的代表性指標(biāo)。制鞋業(yè)中制定鞋的型號(hào)也是如此。

變量聚類使批量生產(chǎn)成為可能。

無論哪種聚類分析得出的結(jié)論都是為了某種目的所做的工作，往往并非在自然界真實(shí)存在。常用的聚類方法逐步并類法：一開始，每個(gè)樣品自成一類，然后按一定的規(guī)則每次縮小一類，直到所有的樣品都成為“一類”為止。又稱為“合二為一”逐步分解法：一開始，所有樣品的全體成為一類，然后按一定的規(guī)則每次將一類分為兩類，直到無法可分為止。又稱“一分為二”。調(diào)優(yōu)法：先給定一個(gè)初始分類，按照某種最優(yōu)準(zhǔn)則，不斷調(diào)整分類，最終得到合理的分類?！?相似性度量在聚類分析中，需要對(duì)不同個(gè)體（空間點(diǎn)或時(shí)間點(diǎn)）進(jìn)行相似分析，相似的就歸為一類，客觀地度量任兩個(gè)個(gè)體的相似程度大致有下面幾種指標(biāo)：相關(guān)距離系數(shù)相似系數(shù)1.相關(guān)距離系數(shù)

用來研究要素場(chǎng)中不同空間點(diǎn)之間的相似程度。設(shè)對(duì)p個(gè)空間點(diǎn)的要素場(chǎng)，抽取n個(gè)時(shí)間點(diǎn)的樣本資料，那么衡量第k個(gè)與第l個(gè)空間點(diǎn)之間的相似程度可用相關(guān)距離系數(shù)：相關(guān)系數(shù)2.相似系數(shù)

研究要素場(chǎng)不同時(shí)間點(diǎn)之間的相似程度。衡量第i個(gè)時(shí)間點(diǎn)與第j個(gè)時(shí)間點(diǎn)之間相似程度用：where

上面的sij衡量了兩個(gè)時(shí)間點(diǎn)之間的相關(guān)程度，它常在Q型因子分析中用來代替兩個(gè)變量的相關(guān)系數(shù)。

在實(shí)際問題中，研究n個(gè)時(shí)間觀測(cè)點(diǎn)之間的相關(guān)系數(shù)沒有明顯的物理意義。因?yàn)?，在?jì)算兩時(shí)間點(diǎn)相關(guān)系數(shù)時(shí)，要用到空間點(diǎn)的平均值和方差，再加上如果變量是不同氣象要素時(shí)，在實(shí)際解釋上更為困難。雖然rkl和sij是衡量?jī)蓚€(gè)空間點(diǎn)和時(shí)間點(diǎn)相關(guān)程度的，但還不能用它們作為聚類過程的相似性系數(shù)，因?yàn)橐话愕南嗨葡禂?shù)應(yīng)具有如下性質(zhì):其中，稱為個(gè)體A與B之間的相似系數(shù)，rkl和sij因?yàn)殡m然滿足上述性質(zhì)（i），卻并不滿足性質(zhì)（ii），但是經(jīng)過7.1和7.2的變換后就滿足了。θ及α的數(shù)值變化在0到π之間，θ=0時(shí)為完全相似，θ=π時(shí)則為完全不相似。不同個(gè)體的相似系數(shù)還可以進(jìn)行相加或平均，這些在原來的rkl和sij中都是不能解釋的。IMinkovski距離(1)p=1，域塊距離（Block

distance）在聚類分析中，也可以使用距離系數(shù)進(jìn)行聚類，距離比較近的個(gè)體可以歸為一類。3.距離系數(shù)(2)p=2,歐氏距離（Euclidean距離）實(shí)際中更常用平方歐氏距離II平均距離IVMahalanobis距離IIIPearson距離上述距離系數(shù)是對(duì)時(shí)間點(diǎn)而言的，對(duì)空間點(diǎn)之間距離的度量可以類似地定義，只需將i，j換成空間點(diǎn)k，l即可。這些距離系數(shù)的性質(zhì)：非負(fù)性唯一性對(duì)稱性三角不等式§2

逐級(jí)歸并法1

基本原理一開始假定每一個(gè)體為獨(dú)立的一組(類)，設(shè)分析對(duì)象為空間中p個(gè)點(diǎn)，這樣就有p個(gè)組。

第一步要找兩個(gè)最相似的組把它們合并，得到(p-1)組。在這一步中要普查p(p-1)／2個(gè)相似系數(shù)中哪兩個(gè)最相似，最相似的兩個(gè)點(diǎn)的相似系數(shù)保留下來作為第一級(jí)歸并級(jí)的相似水平。

第二步把其余的組與第一步合并組進(jìn)行比較，以哪一組與它最相似為原則進(jìn)行歸并。由于相似系數(shù)具有可加性，可用平均相似系數(shù)作衡量判據(jù)。如此下去，每一次都將“最相似”(或“最近”)的兩組歸并，直到所有個(gè)體歸并為一組為止。歸并過程可制成枝形圖(或稱樹圖)。基本原理************************空間中的p個(gè)點(diǎn)例:

設(shè)有p＝6個(gè)空間點(diǎn)的要素場(chǎng)，計(jì)算它們的相關(guān)陣及相關(guān)距離系數(shù)，表中上三角陣列出各點(diǎn)之間相關(guān)系數(shù)，下三角陣列出相關(guān)距離系數(shù)，系數(shù)以弧度為單位。從相關(guān)距離系數(shù)陣出發(fā)作逐級(jí)歸并。第一級(jí)根據(jù)相似系數(shù)最小為最相似的原則把l與2點(diǎn)歸為一類，其相似水平(記為α)定義為它們間的距離即為0.142。第二級(jí)考察在3，4，5，6點(diǎn)中哪一點(diǎn)與第一級(jí)的組最相似，即分別計(jì)算3*6*4*2*5*1*

其中以θ(1,2,3)為最小，故3點(diǎn)歸到1，2點(diǎn)的一類，相似水平為0.393。但比這一級(jí)距離還小的有θ56＝0.330，故實(shí)際上在這一水平下還應(yīng)有另一類，即5，6點(diǎn)組成的一類。第三級(jí)，余下的第4點(diǎn)應(yīng)歸哪一類，計(jì)算可見第4點(diǎn)與1，2，3點(diǎn)最相似，歸為一類，記此為I類；5，6點(diǎn)為II類。6個(gè)空間點(diǎn)可分為二類，分級(jí)水平為1.091．分類過程可繪成樹圖．由圖可見，若要把6個(gè)點(diǎn)分為三類，則1，2，3為一類，4點(diǎn)獨(dú)成一類，5，6點(diǎn)為另一類。分類水平為0.393．§3

平均權(quán)重串組法平均權(quán)重串組法與上節(jié)方法類似，只是在每一級(jí)歸并后重新考慮各組的相似系數(shù)陣。以北京1951-1956年12月-2月氣溫資料為例：研究對(duì)象是時(shí)間點(diǎn)（年）分類（相似系數(shù)），據(jù)7.4計(jì)算各年之間的距離陣。

第1步：在相似距離系數(shù)矩陣中找出6個(gè)時(shí)間點(diǎn)之間距離最小的兩個(gè)點(diǎn)歸為1類。在本例中，1，5點(diǎn)滿足這一要求，可歸為一類，這一過程稱為串組。

第2步：重新計(jì)算串組后的距離系數(shù)矩陣D（1）。做法是將已經(jīng)合并的1，5點(diǎn)看做時(shí)間空間中的一個(gè)新點(diǎn)，記為15。其與其它數(shù)據(jù)點(diǎn)之間的距離系數(shù)用前一步距離系數(shù)的平均值代替。例如，計(jì)算第K個(gè)點(diǎn)（k=2，3，4，6）與15點(diǎn)的新距離系數(shù)第3步：以新的相似距離系數(shù)矩陣為基礎(chǔ)，重復(fù)第2步的過程，做新的合并后，又重新計(jì)算串組后的距離系數(shù)矩陣。最后的結(jié)果是一個(gè)樹狀圖。其中的橫坐標(biāo)叫做“串組水平”。如果分為2類，則1951、1955和1953年為一類，代表氣溫是下降型；1952、1956和1954年為另一類，代表氣溫有上升趨勢(shì)類?！?最優(yōu)分割法最優(yōu)分割是有序樣本聚類分析的一種方法，可用于對(duì)某一階段氣象要素資料進(jìn)行分段，以確定不同時(shí)段的氣候特征。在對(duì)氣象要素時(shí)間序列分割中，總希望分割出的各段內(nèi)數(shù)據(jù)比較接近，而某段內(nèi)各數(shù)據(jù)的變化幅度則是用該段的方差來表示，或者用離差平方和來表示。在分割法中簡(jiǎn)稱為變差，變差愈小表明各段數(shù)據(jù)愈接近。因此，要比較不同的分割，可以用分割后的各段變差之和作為某種分割的優(yōu)劣標(biāo)準(zhǔn)，以最小者為最優(yōu)。因此變差的計(jì)算是十分重要的。變差及其計(jì)算變差的計(jì)算設(shè)一變量的有序樣本x1，x2，…．xn，分為若干段，由第i個(gè)值到第j個(gè)值(j=1，2．…，n-1;j>i)的某段變差計(jì)算公式為區(qū)間離差平方和（1）由上式計(jì)算任意分割點(diǎn)i,j之間的變差,組成一變差矩陣V；（2）由矩陣V中元素計(jì)算各種可能的2分割對(duì)應(yīng)的各部分?jǐn)?shù)據(jù)的總變差；找出其中的最小值，以確定最佳分割點(diǎn)。最小值記為：最優(yōu)分割計(jì)算步驟

（3）由vm*(2)及V中的元素計(jì)算

在其中找出最小值，就是最優(yōu)3分割所對(duì)應(yīng)的總變差，確定它們的分割點(diǎn)。（4)完全類似(3)，在中找出最小值，當(dāng)m＝n時(shí)，就是n個(gè)數(shù)據(jù)的最優(yōu)k分割所對(duì)應(yīng)的總變差，由總變差的分割點(diǎn)確定n個(gè)數(shù)據(jù)的k分割。例子（p195）

以1961—1966年太陽黑子相對(duì)數(shù)的6個(gè)數(shù)據(jù)3分割為例來說明最優(yōu)分割方法步驟，這6個(gè)數(shù)據(jù)為：

112，54，38，28，10，15．最優(yōu)二分割：(112)(54，38，28，10，15)最優(yōu)三分割：(112)(54，38)(28，10，l5)

首先計(jì)算出變差陣V:最優(yōu)分割的顯著性檢驗(yàn)SPSS應(yīng)用

當(dāng)要聚類的類數(shù)已知時(shí)，使用K-meanscluster

執(zhí)行快速聚類QuickCluster命令。

其特點(diǎn)是：處理速度快，占用內(nèi)存少，適合于大樣本的聚類分析。屬于樣品（case）動(dòng)態(tài)聚類過程。K均值聚類法

首先要選擇用于聚類分析的變量和類數(shù)：參與聚類分析的變量必須是數(shù)值型變量，且至少要有1個(gè)。

聚類數(shù)必須大于等于2。但聚類數(shù)不能大于數(shù)據(jù)文件中的觀測(cè)量的數(shù)。為了清楚地表明各觀測(cè)量最后聚到哪一類，還應(yīng)該指定一個(gè)表明觀測(cè)量特征的變量作為標(biāo)識(shí)變量，例如編號(hào)（No.）、姓名（Name）等。

如果選擇了n個(gè)數(shù)值型變量參與聚類分析,最后要求聚類數(shù)為k。Step1:可以由系統(tǒng)首先選擇k個(gè)觀測(cè)量(也可以自己指定)作為聚類的種子，n個(gè)變量組成n維空間。每個(gè)觀測(cè)量在n維空間中是一個(gè)點(diǎn)。k個(gè)事先選定的觀測(cè)量就是k個(gè)聚類中心點(diǎn)，也稱為初始類中心。K均值聚類法步驟

Step2:按照距這幾個(gè)類中心的距離最小原則，把觀測(cè)量分派到各類中心所在的類中去，完成第一次迭代形成的k類。Step3:根據(jù)組成每一類的觀測(cè)量，計(jì)算各變量均值。每一類中的n個(gè)均值在n維空間中又形成k個(gè)點(diǎn)，這就是第二次迭代的類中心，按照這種方法依次迭代下去，直到達(dá)到指定的迭代次數(shù)或達(dá)到中止迭代的判據(jù)要求時(shí)，迭代停止。聚類過程結(jié)束。

注意事項(xiàng)：

1快速聚類分析使用的是歐氏距離平方，各變量的權(quán)重相等。如果使用其他統(tǒng)計(jì)量進(jìn)行聚類，則不能用這種方法。

2快速聚類變量必須是連續(xù)變量。如果測(cè)定變量的單位不同，應(yīng)該對(duì)聚類變量進(jìn)行標(biāo)準(zhǔn)化后，再進(jìn)行聚類，否則會(huì)得出錯(cuò)誤的結(jié)論。

[例]對(duì)游泳運(yùn)動(dòng)員進(jìn)行分項(xiàng)。僅以10名運(yùn)動(dòng)員的三項(xiàng)測(cè)試數(shù)據(jù)為例。其中變量

Xl＝肩寬／髖寬×100；

X2＝胸厚／胸圍×100；

X3＝腿長(zhǎng)／身長(zhǎng)×100。預(yù)計(jì)按姿勢(shì)分為蝶泳、仰泳、蛙泳、自由泳4類。data13-02

（1）讀取數(shù)據(jù)。（2）按Statistics—Classify—K-meancluster順序逐一單擊，打開主對(duì)話框。

（3）指定分析變量和標(biāo)識(shí)變量。本例中標(biāo)識(shí)變量是“no”。因此,選擇主對(duì)活框中左面變量表中的“no”，使變量名移到“

LabelCasesby”框中。選據(jù)參與聚類分析的數(shù)值型變量（3個(gè)），單擊向右箭頭按鈕，使選中的變量名移到右面的“Variables:”矩形框中。（4）確定分類數(shù)系統(tǒng)默認(rèn)的分類數(shù)為2，顯示在“Numberof”后面的矩形框中。按分析要求應(yīng)該分為4類，將原數(shù)值2改為4。K-MeansClusterAnalysis主對(duì)話框

（5）選擇聚類方法在主對(duì)話標(biāo)小的“

Method”框中的兩項(xiàng)中可以選擇一種聚類方法。*其他參數(shù)全部選用系統(tǒng)默認(rèn)值，無需繼續(xù)操作其他按鈕或圖標(biāo)按鈕。（6）單擊按鈕“OK”，執(zhí)行QuickCluster命令。K-MeansClusterAnalysis主對(duì)話框

選擇一種聚類方法：Iterate

and

classify是默認(rèn)，聚類分析過程中不斷計(jì)算類中心，并根據(jù)結(jié)果更換類中心。Classify

only根據(jù)初始類中心進(jìn)行聚類，過程中不改變類中心。兩個(gè)二級(jí)對(duì)話框Iterate按鈕只有選擇Iterate

and

classify后才會(huì)被激活，用來指定迭代參數(shù)：系統(tǒng)默認(rèn)迭代次數(shù)為10次；或者收斂判據(jù)為0。迭代過程中滿足其中一個(gè)，迭代就停止。勾選復(fù)選框，則每個(gè)觀測(cè)量被分配到一類后即刻計(jì)算新的類中心，不選此項(xiàng)