誤差分析 數(shù)據(jù)判別分析

誤差分析課件數(shù)據(jù)判別分析第1頁，共52頁，2023年，2月20日，星期日判別分析概念及應(yīng)用概念應(yīng)用第2頁，共52頁，2023年，2月20日，星期日判別分析概念在自然科學(xué)與社會科學(xué)等眾多領(lǐng)域中,研究對象往往用某種方式已劃分為若干類型,當(dāng)?shù)玫揭粋€新的樣品,要確定該樣品屬于已知類型的哪一類,這類問題就屬于判別分析.第3頁，共52頁，2023年，2月20日，星期日判別分析的應(yīng)用在工業(yè)生產(chǎn)中判斷產(chǎn)品的等級;在經(jīng)濟(jì)發(fā)展中判斷一個國家經(jīng)濟(jì)發(fā)展程度;醫(yī)學(xué)中根據(jù)化驗結(jié)果判斷病人的疾病類型等.第4頁，共52頁，2023年，2月20日，星期日相似性測度判斷樣品之間的相似性常采用近鄰準(zhǔn)則，就是把待分類樣品與標(biāo)準(zhǔn)模版進(jìn)行比較，看和哪個模版匹配程度更好，從而確定待測樣品的分類。計算模式相似性測度有歐式距離、馬氏距離、夾角余弦距離、Tanimoto測度等多種距離算法。第5頁，共52頁，2023年，2月20日，星期日近鄰準(zhǔn)測分類的兩種計算方法1通過與樣品庫所有樣品特征分別作相似性測度，找出最接近的樣品，取該樣品所屬類別作為待測樣品的類別。2待測樣品與樣品庫中不同類別的中心或重心作相似性測度，找出最接近類的中心，以該類作為待測樣品的類別。第6頁，共52頁，2023年，2月20日，星期日距離算法樣品與樣品之間的距離樣品與類之間的距離類內(nèi)距離類與類之間的距離第7頁，共52頁，2023年，2月20日，星期日樣品間距離示意圖同類內(nèi)樣品間的距離不同類內(nèi)樣品間的距離第8頁，共52頁，2023年，2月20日，星期日樣品與樣品之間的距離A:B:第9頁，共52頁，2023年，2月20日，星期日樣品間的距離計算公式第10頁，共52頁，2023年，2月20日，星期日樣品與類之間的距離W為代表某類樣品的集合，其中有n個樣品，x為待測樣品。第11頁，共52頁，2023年，2月20日，星期日樣品與類的距離的計算方法1計算待測樣品和類中每個樣品之間的距離后求平均值。2計算類的中心點，以類中所有的樣品特征的平均值作為類的中心，然后計算待測樣品到中心點的距離。第12頁，共52頁，2023年，2月20日，星期日類內(nèi)距離同一個類內(nèi)任意樣品之間距離之和的平均值第13頁，共52頁，2023年，2月20日，星期日類與類之間的距離最短距離法、最長距離法、重心法、平均距離法第14頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別的方法——模版匹配把未知樣品和一個標(biāo)準(zhǔn)模版相比，看它們是否相同或者相似。兩類別多類別第15頁，共52頁，2023年，2月20日，星期日兩類別有兩個標(biāo)準(zhǔn)樣品模版為A和B，其特征向量分別為X和Y，任何一個待識別的樣品為M,可以用距離判別來判斷它屬于A或者B,如果M和A的距離近則屬于A，否則屬于B。這就是最小距離判別法。第16頁，共52頁，2023年，2月20日，星期日多類別多種類別，每類有N個樣品，計算待測樣品到各類中心的馬氏距離，比較各距離，取最小的距離值，則待測樣品就屬于該類。第17頁，共52頁，2023年，2月20日，星期日馬氏距離在判別分析中最常用到馬氏距離，此方法考慮到了歐式分布中沒有考慮到的總體分布的分散性信息。設(shè)x，y是來自均值向量為、協(xié)方差矩陣的總體G的兩個樣品，則x，y之間的馬氏距離是而兩個總體G1和G2,其均值向量分別為和，G1和G2的協(xié)方差距陣相等，皆為，則總體G1和G2間的馬氏距離是第18頁，共52頁，2023年，2月20日，星期日馬氏距離的性質(zhì)123第19頁，共52頁，2023年，2月20日，星期日馬氏距離判別的合理性設(shè)G1為正態(tài)總體它們的概率密度為：G2為正態(tài)總體第20頁，共52頁，2023年，2月20日，星期日馬氏距離判別的合理性兩個總體的協(xié)方差矩陣相等，對于新產(chǎn)品X，要判別X屬于哪個總體，根據(jù)統(tǒng)計學(xué)似然比準(zhǔn)則，很自然應(yīng)將X判歸在該樣品觀測處其概率密度較大的那個總體。即有下列判別準(zhǔn)則：第21頁，共52頁，2023年，2月20日，星期日馬氏距離判別的合理性而的充分必要條件是：即，（馬氏距離）因此，當(dāng)兩個總體G1和G2為正態(tài)總體且其協(xié)方差矩陣相等時，采用馬氏距離判別準(zhǔn)則和似然比準(zhǔn)則時一致的。第22頁，共52頁，2023年，2月20日，星期日具體討論兩個總體協(xié)方差矩陣相等或不等的情況1當(dāng)兩個總體協(xié)方差矩陣相等時，考慮樣品X到兩總體的馬氏平方距離的差：第23頁，共52頁，2023年，2月20日，星期日具體討論兩個總體協(xié)方差矩陣相等或不等的情況記則第24頁，共52頁，2023年，2月20日，星期日具體討論兩個總體協(xié)方差矩陣相等或不等的情況這樣，距離判別準(zhǔn)則化為其中W1和W2都是線性判別函數(shù)，在實際問題中，通常以來自總體的訓(xùn)練樣本的均值和協(xié)方差來估計線性判別函數(shù)。第25頁，共52頁，2023年，2月20日，星期日具體討論兩個總體協(xié)方差矩陣相等或不等的情況2當(dāng)兩個總體協(xié)方差矩陣不等的時候第26頁，共52頁，2023年，2月20日，星期日多個總體的距離判別N個總體均值向量和協(xié)方差矩陣已知，計算待測樣品X到各總體的馬氏距離，比較這N個距離，判斷X屬于其馬氏距離最小的總體，如果最小距離在不止一個總體達(dá)到，則可將X判給具有最小距離總體的任何一個。第27頁，共52頁，2023年，2月20日，星期日判別準(zhǔn)則的評價1誤判率回代估計法2誤判率的交叉確認(rèn)估計法第28頁，共52頁，2023年，2月20日，星期日誤判率回代估計法設(shè)G1和G2為兩個總體，容量分別為n1、n2，以全體訓(xùn)練樣本作為n1＋n2個新樣品，逐個代入已建立的判別準(zhǔn)則中判別其歸屬。第29頁，共52頁，2023年，2月20日，星期日誤判率回代估計法其中n12是將屬于G1的樣品誤判為屬于G2的個數(shù)，n21是將屬于G2的樣品誤判為屬于G1的個數(shù)，總的誤判個數(shù)是n12＋n21，而總體n1＋n2，誤判率回代估計為第30頁，共52頁，2023年，2月20日，星期日誤判率的交叉確認(rèn)估計法誤判率的交叉估計確認(rèn)估計是每次剔除訓(xùn)練樣本中的一個樣品，利用其余容量為n1+n2-1的訓(xùn)練樣本建立相應(yīng)的判別準(zhǔn)則，再用所建立的判別準(zhǔn)則對剔除的那個樣品作判別。對訓(xùn)練樣本中的每個樣品作上述分析，以其誤判的比例作為誤判概率的估計。第31頁，共52頁，2023年，2月20日，星期日誤判率的交叉確認(rèn)估計法－步驟從總體G1的容量為n1的訓(xùn)練樣本開始，依次剔除其中一個樣品，用剩余的容量為n1－1的訓(xùn)練樣本和總體G2的容量為n2的訓(xùn)練樣本建立相應(yīng)的判別函數(shù)。用建立的判別函數(shù)對剔除的那個樣品作判別重復(fù)以上步驟，直到G1的訓(xùn)練樣本中的n1的樣品依次被剔除，記錄其誤判的樣品個數(shù)對G2重復(fù)以上步驟，確定誤判率。第32頁，共52頁，2023年，2月20日，星期日兩種誤判率確認(rèn)方法的比較誤判率的交叉確認(rèn)估計法，所得到的估計稱為誤判率的交叉確認(rèn)估計，此方法較回代法更合理，但計算量較大。誤判率的回代估計法作出的誤判率是建立判別函數(shù)的數(shù)據(jù)反過來用作評價準(zhǔn)則的數(shù)據(jù)得到，因此由此得出的估計往往比真實誤判率小，當(dāng)訓(xùn)練樣本較大的時候，此法可以作為真實誤判率的一種近似估計。第33頁，共52頁，2023年，2月20日，星期日其他分類判別準(zhǔn)則基于概率統(tǒng)計的貝葉斯分類準(zhǔn)則判別函數(shù)分類設(shè)計（線性、非線性、支持向量機(jī)……）神經(jīng)網(wǎng)絡(luò)分類決策樹分類粗糙集分類第34頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別分析

第二部分實例分析——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用主講人：吳佳歡第35頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用研究意義

工程巖體質(zhì)量反映了巖體結(jié)構(gòu)固有的物理力學(xué)特性，為工程穩(wěn)定分析、巖體的合理利用以及正確選擇各類巖體力學(xué)參數(shù)等提供了可靠的依據(jù)。第36頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用對象特征在巖石力學(xué)與工程系統(tǒng)中，許多情況下由于系統(tǒng)具有1.復(fù)雜性2.模糊性3.高度非線性數(shù)據(jù)分布形式和變量之間的關(guān)系是難以準(zhǔn)確獲知的第37頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用發(fā)展趨勢1.單因素定性分級2.由于應(yīng)用和分析側(cè)重點不同，相應(yīng)地采用不同的評價指標(biāo)和分級標(biāo)準(zhǔn)3.采用靜態(tài)和動態(tài)等多種評價方法從不同側(cè)面進(jìn)行巖體質(zhì)量的綜合評價4.巖體質(zhì)量評價與巖體穩(wěn)定性分析的有機(jī)結(jié)合多因素定性分級多因素定量綜合模式第38頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用發(fā)展概況1.早期方法（統(tǒng)計方法、回歸方法等）2.RMR分類3.馬氏距離判別分析法第39頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用馬氏距離判別分析法第40頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用馬氏距離判別分析法==注釋：S第41頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用巖體質(zhì)量等級判定的距離判別分析模型1.判別參數(shù)的確定巖體質(zhì)量等級的影響因素

（1）巖石性質(zhì)（2）巖體結(jié)構(gòu)（3）儲存環(huán)境以單軸抗壓強(qiáng)度（X1）巖體聲波縱波速度(X2)體積節(jié)理數(shù)(X3)節(jié)理面粗糙度系數(shù)(X4)節(jié)理面風(fēng)化變異系數(shù)(X5)透水性系數(shù)(X6)第42頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用巖體質(zhì)量等級判定的距離判別分析模型2.距離判別分析模型的建立距離判別分析模型示意圖第43頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用巖體質(zhì)量等級判定的距離判別分析模型2.距離判別分析模型的建立

第44頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用巖體質(zhì)量等級判定的距離判別分析模型3.判別結(jié)果的檢驗

第45頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用巖體質(zhì)量等級判定的距離判別分析模型4.結(jié)論

采用距離判別分析法能夠解決傳統(tǒng)分類方法中考慮的因素不夠、實用性窄以及使用起來有局限性等缺陷。該模型在判別分類中具有較強(qiáng)的判別能力，為解決巖體質(zhì)量等級判定和分類提供了一條新的途徑。

第46頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用

謝謝大家！第47頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用發(fā)展概況早期方法的不足：

這些方法需要已知數(shù)據(jù)分布形式和對變量之間關(guān)系的假定，分級效果的好壞很大程度上取決于對模型的認(rèn)識，人為因素很大。

返回第48頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用發(fā)展概況RMR分類：R1：巖石抗壓強(qiáng)度R2：巖石質(zhì)量指標(biāo)R3：節(jié)理間距R4：節(jié)理狀態(tài)R5：地下水狀態(tài)第49頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用發(fā)展概況RMR分類：

第50頁，共52頁，2023年，2月20日，星期日數(shù)據(jù)判別實例分析

——距離判別分析法在巖體質(zhì)量等級分類中的應(yīng)用發(fā)展概況RMR分類的不足：

實用性窄，使用起來有局限性，對采集數(shù)據(jù)依賴較大。