第五節(jié)-誤差與精度評價

1、第五節(jié) 誤差與精度評價一、誤差及其來源任何分類都會產(chǎn)生不同程度的誤差。分析誤差的來源和特征既是對分類過程的檢驗，也是改進(jìn)分類方法的主要前提。分類誤差主要有兩類，一類是位置誤差，即各類別邊界的不準(zhǔn)確；另一類是屬性誤差，即類別識別錯誤。分類誤差的來源很多，遙感成像過程、圖像處理過程、分類過程以及地表特征等都會產(chǎn)生不同程度和不同類型的誤差。遙感成像過程中，遙感平臺翻滾、俯仰和偏航等姿態(tài)的不穩(wěn)定會造成圖像的幾何畸變；傳感器本身性能和工作狀態(tài)也有可能造成幾何畸變或輻射畸變；大氣中的霧、霾、灰塵等雜質(zhì)必然造成圖像中的輻射誤差；地形的起伏會使圖像中產(chǎn)生像點位移造成幾何畸變；坡度也會影響地表的接受的輻射和反射

2、水平，造成輻射誤差。遙感圖像分類前，一般都要進(jìn)行輻射校正、幾何校正、研究區(qū)的拼接與裁切等預(yù)處理。在這些圖像處理過程中，由于模型的不完善或控制點選取不準(zhǔn)確等人為因素的影響，處理后的圖像中仍然可能存在殘留的幾何畸變和輻射畸變。此外，幾何校正中像元亮度的重采樣所造成的信息丟失是無法避免的，對分類結(jié)果也將產(chǎn)生一定影響。地表各種地物的特征直接影響分類的精度。一般來說，地表景觀結(jié)構(gòu)越簡單，越容易獲得較高的分類精度，而類別復(fù)雜、破碎的地表景觀則容易產(chǎn)生較大的分類誤差。因此，各類別之間的差異性和對比度對分類精度有顯著影響。圖像分類過程中，分類方法、各種參數(shù)的選擇、訓(xùn)練樣本的提取，分類時所采用的分類系統(tǒng)與數(shù)據(jù)資

3、料的匹配程度也會影響分類結(jié)果。不論是采用何種算法模型，目前還沒有任何一種方法堪稱完美，其分類結(jié)果中都會出現(xiàn)錯分的現(xiàn)象。遙感圖像的空間分辨率、光譜分辨率和輻射分辨率的高低也是影響分類精度的重要因素。有些分類結(jié)果精度不高，不是分類方法的問題，而是直接受制于圖像本身的特征。上述各個環(huán)節(jié)所產(chǎn)生的誤差，最終都有可能累積并傳遞到分類結(jié)果中，形成分類誤差。因此，分類誤差是一種綜合誤差，很難把它們區(qū)分開來。分析發(fā)現(xiàn)，分類誤差在圖像中并不是隨機(jī)分布的，而是與某些地物類別的分布相關(guān)聯(lián)，從而呈現(xiàn)出一定的系統(tǒng)性和規(guī)律性。了解和分析分類誤差產(chǎn)生的原因和分布特征，對分類結(jié)果的修訂或分類方法的改進(jìn)都具有重要意義。二、精度評

4、價的方法遙感圖像分類精度的評價是把分類結(jié)果與檢驗數(shù)據(jù)進(jìn)行比較以得到分類效果的過程。精度評價中所使用的檢驗數(shù)據(jù)可以來自于實地調(diào)查數(shù)據(jù)或參考圖像。參考圖像包括分類的訓(xùn)練樣本、更高空間分辨率的遙感圖像或其目視解譯結(jié)果和具有較高比例尺的地形圖、專題地圖等。實際工作中，檢驗數(shù)據(jù)往往以參考圖像為主，實地調(diào)查數(shù)據(jù)為輔。精度評價最好是比較分類圖和參考圖像上所有像元之間的一致性，但這種做法往往是不現(xiàn)實的，也是無意義的。因此，精度評價一般都是通過采樣的方法來完成的，即從檢驗數(shù)據(jù)中選擇一定數(shù)量的樣本，通過樣本與分類結(jié)果的符合程度來確定分類的準(zhǔn)確度。（一）采樣方法這里所說的采樣方法是指從檢驗數(shù)據(jù)中選擇樣本的方法。精度

5、評價有多種采樣方法，具體采用哪種方法，應(yīng)根據(jù)研究目標(biāo)來確定。常用的概率采樣方法包括簡單隨機(jī)采樣、分層采樣和系統(tǒng)采樣等（圖8.21）。1、簡單隨機(jī)采樣簡單隨機(jī)采樣是指在分類圖上隨機(jī)選擇一定數(shù)量的像元，然后比較這些像元的類別與其對應(yīng)的檢驗數(shù)據(jù)之間的一致性。該方法對樣本空間中的所有單元來說，被選中的概率都是相同的。如果區(qū)域內(nèi)各種地物類別的分布均勻，且面積差異不大，簡單隨機(jī)采樣應(yīng)該是一種理想的采樣方法。2、分層采樣分層采樣是指分別對每個類別進(jìn)行隨機(jī)采樣。該方法克服了簡單隨機(jī)采樣的不足，保證了在采樣空間或類型選取上的均勻性及代表性，使每個類別都能在采樣中出現(xiàn)。分層的依據(jù)可因精度評價的目標(biāo)而不同。常用的分

6、層有地理區(qū)、自然生態(tài)區(qū)、行政區(qū)域和分類后的類別等。在每層內(nèi)采樣的方式可以是隨機(jī)的，也可以是系統(tǒng)的。3、系統(tǒng)采樣系統(tǒng)采樣是指按照某種確定的間隔或規(guī)則進(jìn)行采樣的一種方法。該方法簡單易行，但其固有的周期性及其存在的規(guī)則間隔性，可能造成以某些樣本數(shù)采樣時，即便方差很小，但均值仍然會偏離真值較大，從而使評價存在較大偏差。圖8.21 幾種采樣方法示意圖（二）樣本容量樣本容量（Sample Size）又稱樣本數(shù)，指樣本必須達(dá)到的最少數(shù)目，是保證樣本具有充分代表性的基本前提。樣本容量可通過統(tǒng)計方法來計算，如百分率樣本容量、基于多項式分布的樣本容量等。百分率樣本容量的計算方法為（8-18）式中：N為樣本容量；Z

7、為標(biāo)準(zhǔn)誤差的置信水平，一般取2，表示1.96的標(biāo)準(zhǔn)正態(tài)誤差和95%的雙側(cè)置信度；p是期望百分比精度（這里的精度指的是評價結(jié)果的精度，而非圖像的分類精度）；q=100p；E表示容許誤差。根據(jù)公式可知，期望精度（p）越低，允許誤差（E）越大，則用來估算分類精度所需的檢驗樣本就越少。如期望精度為85%，允許誤差為5%，根據(jù)公式（8-18）可算出樣本容量為203，即至少選取203個樣本；當(dāng)允許誤差放寬到10%時，51個樣本就可以滿足要求?；诙囗検椒植嫉臉颖救萘坑嬎惴椒椋?-19）式中：N為樣本容量；Wi為所有k個類別中面積比例最接近50%的第i類的面積比例；bi為該類的容許誤差；B為自由度為1且服

8、從x2分布的（b/k）百分位數(shù)，可以從自由度為1的x2分布表查得； k是總分類數(shù)。假如一幅圖像共分為8個類，類Wi約占總面積的30%且其面積百分比最接近50%，要求置信度為95%，容許誤差為5%?？伤愠鰳颖救萘繛?36，每個類別大約需要80個樣本。如果無法知道任意一個類別所占的面積比例，在公式（8-19）中可假設(shè)其中一種類型的面積比例為50%，這樣可以計算出一個比已知面積比例的情況下更大的樣本容量。在有些情況下，95%的置信度是不現(xiàn)實的，或者由于各種原因，很難獲得樣本容量所規(guī)定的樣本數(shù)。因此，實際工作中要合理權(quán)衡理論上的樣本容量與實際能夠獲取的樣本數(shù)之間的關(guān)系，依據(jù)各類在研究中的重要性或各類的

9、復(fù)雜程度適當(dāng)調(diào)整樣本容量。（三）混淆矩陣與精度指標(biāo)樣本是分類精度評價的基本單元。在獲取了可靠的樣本數(shù)據(jù)之后，便需要確定精度評價的方法與精度指標(biāo)。目前最常用的精度評價方法是混淆矩陣法，即通過混淆矩陣計算各種統(tǒng)計量并構(gòu)建精度評價指標(biāo)，最終給出分類的精度值。1、混淆矩陣混淆矩陣也稱誤差矩陣，是表示精度評價的一種標(biāo)準(zhǔn)格式。誤差矩陣是n行n列的矩陣，一般可用表8.2的形式來表示。表中n代表類別的數(shù)量，P代表樣本總數(shù)，Pij是分類數(shù)據(jù)類型中第類和參考圖像第j類所占所占的組成成分。 ，為分類所得到的第i類的總和； ，為檢驗數(shù)據(jù)中第j類的總和。表8.2混淆矩陣的基本形式 分類數(shù)據(jù)類型12n總和檢驗數(shù)據(jù)類型1p

10、11p21p n 1p+12p12p22p n 2p+2nP1nP2npnnp+n總和P1+p2+p n +P 表8.3是在沙漠化地區(qū)土地利用/覆蓋分類研究中構(gòu)建的混淆矩陣。矩陣的左邊（y軸）代表的是參考圖像上的類別，上部（x軸）代表的是要評價圖像上的類別。精度評價時采用簡單隨機(jī)采樣的方法采集了765個訓(xùn)練樣本。以綠洲為例，在參考圖像中有123個綠洲像元，其中102個被識別出來，其余21個像元均被錯誤地分類成其他類型，但參考圖像上同時又有9個其他類型的像元被誤分成了綠洲。顯然，誤差矩陣中對角線上列出的是被正確分類的像元數(shù)量。表8.3混淆矩陣實例被評價的分類圖像戈壁流沙地平沙地綠洲干湖盆水體總和

11、參考圖像戈壁26130000264流沙地501921600249平沙地667530090綠洲123010206123干湖盆40209015水體300002124總和336204781119277652、基本的精度指標(biāo)根據(jù)混淆矩陣可以設(shè)計出三種基本的精度評價指標(biāo)，即總體精度、用戶精度和制圖精度。這些精度指標(biāo)從不同的側(cè)面描述了分類精度，是簡便易行并具有統(tǒng)計意義的評價指標(biāo)。（1）總體分類精度（Overall Accuracy）：表述的是對每一個隨機(jī)樣本，所分類的結(jié)果與檢驗數(shù)據(jù)類型相一致的概率。表示為（8-20）（2）用戶精度（Users Accuracy）：指從分類結(jié)果中任取一個隨機(jī)樣本，其所具有的

12、類型與地面實際類型相同的條件概率。表示為（8-21）（3）制圖精度（Producers Accuracy）：表示相對于檢驗數(shù)據(jù)中的任意一個隨機(jī)樣本，分類圖上同一地點的分類結(jié)果與其相一致的條件概率。表示為（8-22）與上述精度指標(biāo)相關(guān)的還有漏分誤差和錯分誤差。漏分誤差是指對于參考圖像上的某種類型，被錯分為其他不同類型的概率，即實際的某一類地物有多少被錯誤地分到其他類別。而錯分誤差是指對于分類圖像上的某一類型，它與參考圖像類型不同的概率，即圖像中被劃為某一類地物實際上有多少應(yīng)該是別的類別。漏分誤差與制圖精度相對應(yīng)，可用于判斷分類方法的優(yōu)劣；錯分誤差與用戶精度相對應(yīng)，從檢驗數(shù)據(jù)的角度判斷了各類別分類

13、的可靠性.。表8.4為根據(jù)上面的實例計算出來的三種精度值。表8.4 分類精度計算實例制圖精度漏分誤差用戶精度錯分誤差戈壁261/264=98.86%1.14%261/336=77.68%22.32%流沙地192/249=77.11%22.89%192/204=94.11%5.89%平沙地75/90=83.33%16.67%75/78=96.15%3.85%綠洲102/123=82.92%17.08%102/111=91.89%8.11%干湖盆9/15=60.00%40.00%9/9=100%0.00%水體21/24=87.50%12.50%21/27=77.78%22.22%總體精度=（261+192+75+102+9+21）/765=86.27%（四）Kappa分析Kappa系數(shù)是一種對遙感圖像的分類精度和誤差矩陣進(jìn)行評價的多元離散方法，該方法摒棄了基于正態(tài)分布的統(tǒng)計方法，認(rèn)為遙感數(shù)據(jù)是離散的、呈多項式分布的，在統(tǒng)計過程中綜合考慮了矩陣中的所有因素，因而更具實用性。其計算方法為（8-23）式中：N為所有樣本的總數(shù)；n為矩陣行數(shù)，一般等于分類的類數(shù)； xii指位于第i行、第i列的樣本數(shù)，即被正確分類的像元數(shù)；xi+和x+i分別是第i行、第i列的總像元數(shù)。將表8.3中的相關(guān)數(shù)據(jù)代入公式（8-23），計算出的Kappa系數(shù)為0.81，即 總體