優(yōu)質(zhì)實用課件精選-氣候統(tǒng)計第三章-判別分析與聚類分析

第三章判別分析與聚類分析第三章判別分析與聚類分析

在多元統(tǒng)計分析中，廣泛使用一種統(tǒng)計應(yīng)用方法，即根據(jù)表征某一事物或現(xiàn)象類型的隨機變量的取值樣本分布，將事物或現(xiàn)象劃分為若干類型。例如，在氣候分析中，需將氣候劃分成若干類型，干旱氣候，濕潤氣候，半干旱氣候等，究竟劃分幾類？選擇濕度、相對濕度、降水量、蒸發(fā)量等氣候要素為指標，根據(jù)樣品的相近程度，劃分為若干種類型，這稱為聚類分析；數(shù)量統(tǒng)計上，即分析眾多的樣本劃分確認來自幾個不同的總體。在多元統(tǒng)計分析中，廣泛使用一種統(tǒng)計應(yīng)用方法，

另外，氣候分析中，類型分類已知，介于兩者之間的某站，則需根據(jù)兩種類型（總體）的特征和該站要素（樣本）來判斷該站的屬類；在天氣預(yù)報中，有時需要根據(jù)前期的樣本觀測值來判斷哪種現(xiàn)象（晴，陰，雨）或現(xiàn)象等級（火險等級1、2..5）將出現(xiàn)，則稱為判別分析，也稱為統(tǒng)計分辨法。

判別分析與聚類分析均屬數(shù)字分類。另外，氣候分析中，類型分類已知，介于兩者§3.1費歇（Fisher）判別準則與分析一、Fisher判別準則§3.1費歇（Fisher）判別準則與分析一、Fish

判別分析是已知有兩個或更多的總體（類型），并且獲得每個總體中的若干樣本，根據(jù)這些總體中的樣本特征去建立一種判別規(guī)則，使我們能將某個新的個體歸屬正確的總體，而事先并不知道該個體來自哪個總體。

若需要判別的對象有兩種可能的結(jié)局，則稱為二級判別；有兩種以上可能結(jié)局，則稱為多級判別。二級判別又稱簡單判別。判別分析是已知有兩個或更多的總體（類型），并

設(shè)x為與天氣狀況有關(guān)的變量，而天氣狀況分為A與B兩種狀況（晴，陰雨）,x的樣本空間由有利A的樣本集合與有利B的樣本集合組成。

越大時，判別效果越好，錯判率越低。作為判別指標，設(shè)x為與天氣狀況有關(guān)的變量，而天氣狀況分為A與B兩種而取決于下列因素而取決于下列因素1、指標x在兩總體的期望值差異越大，則越大，判別時，錯判概率越小1、指標x在兩總體的期望值差異越大，則越大，判別時，錯判概2、x的離散程度越小，x來自兩不同總體的概率差越大。2、x的離散程度越小，x來自兩不同總體的概率差

綜上所述，離散程度小，期望值差異大，表明兩總體樣本重疊部分少，x出現(xiàn)時事件（類型）的出現(xiàn)概率差就大，以指標判別類型時，錯判率自然小，即兩總體最大分離的原則，這就是費歇判別準則：

希望用一個綜合指標y,它在兩總體中方差最小，而條件期望值差異最大。綜上所述，離散程度小，期望值差異大，表明兩

影響因子是復(fù)雜的，單個氣象要素指標效果不佳，可采用多個的要素線性組合成一個綜合指標：

稱為Fisher判別函數(shù)，稱為判別系數(shù)。利用歷史資料，根據(jù)Fisher準則，推斷判別系數(shù)。以為例，說明其幾何意義影響因子是復(fù)雜的，單個氣象要素指標效果不佳稱為Fisher優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析1、2兩總體均存在較大重疊部分，若將樣本投影到直線l上，則兩總體重疊部分顯著減少，能相對最大分離。1、2兩總體均存在較大重疊部分，若將樣本投影到直線l上，則兩優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析

在兩總體的樣本空間尋找一個最佳投影方向，將樣本在該方向投影后，兩總體能夠最大分離。在兩總體的樣本空間尋找一個最佳投影方向，將樣本在該二、線性Fisher判別方程的建立設(shè)有A出現(xiàn)條件下，X1…xm的N1次觀測值，

B出現(xiàn)條件下，X1…xm的N2次觀測值二、線性Fisher判別方程的建立構(gòu)造判別方程按照Fisher準則，應(yīng)有：構(gòu)造判別方程優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析將代入將代入優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析

B與標號k無關(guān)，在方程組中是一個常數(shù)比例因子，僅起到使方程組同倍比放大或縮小的作用，不影響Ck之間的相對比例，因而不影響判別效果，故可令B=1。此時方程組為：B與標號k無關(guān)，在方程組中是一個常數(shù)比例因子，僅

求解方程組，解得判別系數(shù)，即可得FIsher判別函數(shù)：求解方程組，解得判別系數(shù)，即可得FIsher判別函數(shù)：建立判別函數(shù)后，可分別計算A、B出現(xiàn)時，判別函數(shù)的平均值：以它們的加權(quán)平均值作為判別事件A或B出現(xiàn)的臨界值；反之亦然。三、判別臨界值的確定建立判別函數(shù)后，可分別計算A、B出現(xiàn)時，判別函數(shù)以它們的加權(quán)3.13.1優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析解得解得優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析四、判別效果的顯著性檢驗

在多因子判別中，要選擇若干分辨能力強的變量組成判別函數(shù)，判別分析的基礎(chǔ)是假設(shè)兩組樣品取自不同的總體，如果兩組多元變量在統(tǒng)計上差異不顯著，判別就沒有價值，因此判別效果顯著性檢驗就是檢驗判別因子在各兩總體的差異是否顯著。四、判別效果的顯著性檢驗在多因子判別中，要選擇對于判別方程中的單個因子xk的顯著性,可用t檢驗的方法檢驗它在兩個總體中的平均值是否顯著。遵從自由度為的t分布。對于判別方程中的單個因子xk的顯著性,可用t檢驗的方法檢驗它2.對于m個因子的共同的分辨效果，則采用馬哈拉諾比斯距離作為兩總體差異的指標。馬氏距離2.對于m個因子的共同的分辨效果，則采用馬哈拉諾馬氏距離優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析由由代入代入優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析遵從遵從例由表所列資料，根據(jù)Fisher準則建立判別函數(shù)并檢驗效果。

解：例由表所列資料，根據(jù)Fisher準則建立判別函數(shù)并檢驗效優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析§3.2Bayes判別準則與分析由m個變量組成m維空間，用表示，來自K個總體已知每個總體發(fā)生的先驗概率（氣候概率）分別為各總體的概率密度分別為設(shè)有K個不同的事件，有m個變量與事件發(fā)生有關(guān)?！?.2Bayes判別準則與分析由m個變量組成m維空間，用Bayes判別的幾何意義是在m維空間中對應(yīng)各總體尋找一個劃分：若樣本落在Bayes判別準則，即在選擇劃分時，應(yīng)使發(fā)生錯判的概率為最小。錯判率與什么有關(guān)？下圖簡單地以2維空間的兩個總體為例Bayes判別的幾何意義是在m維空間中對應(yīng)各總體尋找一個劃分x1ABx2DADBAOx1ABx2DAAO設(shè)A、B兩總體，有一個劃分DA、DB，對任意樣本來自A而錯判為B的條件概率2）來自B而錯判為A的條件概率

總的錯判率設(shè)A、B兩總體，有一個劃分DA、DB，對任意樣本來自A而錯判優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析定理：當先驗概率給定后，為：，總體分布Bayes判別的解定理：當先驗概率給定后，為：，總體分布Bayes判別的解即對任一X，分別計算

，找出最小值，并作出判斷。即對任一X，分別計算，找出最小值，并作出判斷Bayes判別方法，即對一給定樣本X，分別計算，，將使的l作為X的劃歸類屬。Bayes判別對多組判別具有較高分辨率，但條件是要已知P和fi(x),而多維f(x)不易獲得。Bayes判別方法，即對一給定樣本X，分別計算二、正態(tài)假設(shè)下的Bayes判別函數(shù)Bayes判別函數(shù)設(shè)有K個總體，遵從正態(tài)分布，且具有相同的協(xié)方差二、正態(tài)假設(shè)下的Bayes判別函數(shù)Bayes判別函數(shù)設(shè)有K個優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析為計算方便，令：由協(xié)方差矩陣及逆矩陣的對稱性，可知略去與K無關(guān)的項，合并同類項為計算方便，令：由協(xié)方差矩陣及逆矩陣的對稱性，可知略去與K無其中：其中：優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析判別函數(shù)判別函數(shù)三、利用馬氏距離作多級判別設(shè)m維變量的k個總體遵從正態(tài)分布Bayes判別函數(shù)若認為K個總體的先驗概率均等，Pk=1/K，略去的差別，要使判別函數(shù)達最大，必然要馬氏距離最小三、利用馬氏距離作多級判別設(shè)m維變量的k個總體遵從正態(tài)分布B即如果達到極小，即樣本距離GK總體的均值中心的馬氏距離最短，根據(jù)Bayes準則，將該樣本劃入該總體。由樣本估計參數(shù)

若則將樣本劃歸第h組（類）即如果達到極小，即樣本距離GK總體的均值中心的馬氏距離最短，例，設(shè)有三組兩因子數(shù)據(jù)，樣本數(shù)分別為24、31、20,參數(shù)估計值分別為：現(xiàn)有新樣本，試判別它應(yīng)歸入哪一組。例，設(shè)有三組兩因子數(shù)據(jù)，樣本數(shù)分別為24、31、20,現(xiàn)有新解：先求出的逆矩陣：樣本向量與均值向量的矢量差：解：先求出的逆矩陣：樣本向量與均值向量的矢量差：馬氏距離：將樣本歸入第三組馬氏距離：將樣本歸入第三組第三章判別分析與聚類分析第三章判別分析與聚類分析

在多元統(tǒng)計分析中，廣泛使用一種統(tǒng)計應(yīng)用方法，即根據(jù)表征某一事物或現(xiàn)象類型的隨機變量的取值樣本分布，將事物或現(xiàn)象劃分為若干類型。例如，在氣候分析中，需將氣候劃分成若干類型，干旱氣候，濕潤氣候，半干旱氣候等，究竟劃分幾類？選擇濕度、相對濕度、降水量、蒸發(fā)量等氣候要素為指標，根據(jù)樣品的相近程度，劃分為若干種類型，這稱為聚類分析；數(shù)量統(tǒng)計上，即分析眾多的樣本劃分確認來自幾個不同的總體。在多元統(tǒng)計分析中，廣泛使用一種統(tǒng)計應(yīng)用方法，

另外，氣候分析中，類型分類已知，介于兩者之間的某站，則需根據(jù)兩種類型（總體）的特征和該站要素（樣本）來判斷該站的屬類；在天氣預(yù)報中，有時需要根據(jù)前期的樣本觀測值來判斷哪種現(xiàn)象（晴，陰，雨）或現(xiàn)象等級（火險等級1、2..5）將出現(xiàn)，則稱為判別分析，也稱為統(tǒng)計分辨法。

判別分析與聚類分析均屬數(shù)字分類。另外，氣候分析中，類型分類已知，介于兩者§3.1費歇（Fisher）判別準則與分析一、Fisher判別準則§3.1費歇（Fisher）判別準則與分析一、Fish

判別分析是已知有兩個或更多的總體（類型），并且獲得每個總體中的若干樣本，根據(jù)這些總體中的樣本特征去建立一種判別規(guī)則，使我們能將某個新的個體歸屬正確的總體，而事先并不知道該個體來自哪個總體。

若需要判別的對象有兩種可能的結(jié)局，則稱為二級判別；有兩種以上可能結(jié)局，則稱為多級判別。二級判別又稱簡單判別。判別分析是已知有兩個或更多的總體（類型），并

設(shè)x為與天氣狀況有關(guān)的變量，而天氣狀況分為A與B兩種狀況（晴，陰雨）,x的樣本空間由有利A的樣本集合與有利B的樣本集合組成。

越大時，判別效果越好，錯判率越低。作為判別指標，設(shè)x為與天氣狀況有關(guān)的變量，而天氣狀況分為A與B兩種而取決于下列因素而取決于下列因素1、指標x在兩總體的期望值差異越大，則越大，判別時，錯判概率越小1、指標x在兩總體的期望值差異越大，則越大，判別時，錯判概2、x的離散程度越小，x來自兩不同總體的概率差越大。2、x的離散程度越小，x來自兩不同總體的概率差

綜上所述，離散程度小，期望值差異大，表明兩總體樣本重疊部分少，x出現(xiàn)時事件（類型）的出現(xiàn)概率差就大，以指標判別類型時，錯判率自然小，即兩總體最大分離的原則，這就是費歇判別準則：

希望用一個綜合指標y,它在兩總體中方差最小，而條件期望值差異最大。綜上所述，離散程度小，期望值差異大，表明兩

影響因子是復(fù)雜的，單個氣象要素指標效果不佳，可采用多個的要素線性組合成一個綜合指標：

稱為Fisher判別函數(shù)，稱為判別系數(shù)。利用歷史資料，根據(jù)Fisher準則，推斷判別系數(shù)。以為例，說明其幾何意義影響因子是復(fù)雜的，單個氣象要素指標效果不佳稱為Fisher優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析1、2兩總體均存在較大重疊部分，若將樣本投影到直線l上，則兩總體重疊部分顯著減少，能相對最大分離。1、2兩總體均存在較大重疊部分，若將樣本投影到直線l上，則兩優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析

在兩總體的樣本空間尋找一個最佳投影方向，將樣本在該方向投影后，兩總體能夠最大分離。在兩總體的樣本空間尋找一個最佳投影方向，將樣本在該二、線性Fisher判別方程的建立設(shè)有A出現(xiàn)條件下，X1…xm的N1次觀測值，

B出現(xiàn)條件下，X1…xm的N2次觀測值二、線性Fisher判別方程的建立構(gòu)造判別方程按照Fisher準則，應(yīng)有：構(gòu)造判別方程優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析將代入將代入優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析

B與標號k無關(guān)，在方程組中是一個常數(shù)比例因子，僅起到使方程組同倍比放大或縮小的作用，不影響Ck之間的相對比例，因而不影響判別效果，故可令B=1。此時方程組為：B與標號k無關(guān)，在方程組中是一個常數(shù)比例因子，僅

求解方程組，解得判別系數(shù)，即可得FIsher判別函數(shù)：求解方程組，解得判別系數(shù)，即可得FIsher判別函數(shù)：建立判別函數(shù)后，可分別計算A、B出現(xiàn)時，判別函數(shù)的平均值：以它們的加權(quán)平均值作為判別事件A或B出現(xiàn)的臨界值；反之亦然。三、判別臨界值的確定建立判別函數(shù)后，可分別計算A、B出現(xiàn)時，判別函數(shù)以它們的加權(quán)3.13.1優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析解得解得優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析四、判別效果的顯著性檢驗

在多因子判別中，要選擇若干分辨能力強的變量組成判別函數(shù)，判別分析的基礎(chǔ)是假設(shè)兩組樣品取自不同的總體，如果兩組多元變量在統(tǒng)計上差異不顯著，判別就沒有價值，因此判別效果顯著性檢驗就是檢驗判別因子在各兩總體的差異是否顯著。四、判別效果的顯著性檢驗在多因子判別中，要選擇對于判別方程中的單個因子xk的顯著性,可用t檢驗的方法檢驗它在兩個總體中的平均值是否顯著。遵從自由度為的t分布。對于判別方程中的單個因子xk的顯著性,可用t檢驗的方法檢驗它2.對于m個因子的共同的分辨效果，則采用馬哈拉諾比斯距離作為兩總體差異的指標。馬氏距離2.對于m個因子的共同的分辨效果，則采用馬哈拉諾馬氏距離優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析由由代入代入優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析遵從遵從例由表所列資料，根據(jù)Fisher準則建立判別函數(shù)并檢驗效果。

解：例由表所列資料，根據(jù)Fisher準則建立判別函數(shù)并檢驗效優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析§3.2Bayes判別準則與分析由m個變量組成m維空間，用表示，來自K個總體已知每個總體發(fā)生的先驗概率（氣候概率）分別為各總體的概率密度分別為設(shè)有K個不同的事件，有m個變量與事件發(fā)生有關(guān)?！?.2Bayes判別準則與分析由m個變量組成m維空間，用Bayes判別的幾何意義是在m維空間中對應(yīng)各總體尋找一個劃分：若樣本落在Bayes判別準則，即在選擇劃分時，應(yīng)使發(fā)生錯判的概率為最小。錯判率與什么有關(guān)？下圖簡單地以2維空間的兩個總體為例Bayes判別的幾何意義是在m維空間中對應(yīng)各總體尋找一個劃分x1ABx2DADBAOx1ABx2DAAO設(shè)A、B兩總體，有一個劃分DA、DB，對任意樣本來自A而錯判為B的條件概率2）來自B而錯判為A的條件概率

總的錯判率設(shè)A、B兩總體，有一個劃分DA、DB，對任意樣本來自A而錯判優(yōu)質(zhì)實用課件精選——氣候統(tǒng)計第三章----判別分析與聚類分析定理：當先驗概率給定后，為：，總體分布Bayes判別的解定理：當先驗概率給定后，為：，總體分布Bayes判別的解即對任一X，分別計算