遙感產(chǎn)品算法測評-第1部分-測評方法與流程導則 征求意見稿

1遙感產(chǎn)品算法測評第1部分：測評方法與流程導則本文件適用于遙感產(chǎn)品算法的測評，包括但不限于幾何產(chǎn)品、輻射基礎產(chǎn)品、土地覆蓋/土地利用遙感產(chǎn)品remotesensingpr遙感共性產(chǎn)品remotesensingcommonprodu通過遙感方式獲取可作為至少兩個行業(yè)專題產(chǎn)品生產(chǎn)所需要的輸入，且可利用同2指標體系indicatorssys采用獨立的方法評價衛(wèi)星對地觀測數(shù)據(jù)產(chǎn)品的真實性和準確標準輸入數(shù)據(jù)standardinputdata參考數(shù)據(jù)referencedataa）遙感產(chǎn)品算法測評指標應涵蓋算法精度、算法適用性、算法效率、算法魯棒性等一級3算法測評指標集測評指標體系1.指標體系構(gòu)建指標選擇權重確定體系構(gòu)建2.算法測評數(shù)據(jù)制備算法測評數(shù)據(jù)集范圍確定（時間/空間）數(shù)據(jù)查詢數(shù)據(jù)制備標準輸入數(shù)據(jù)集參考數(shù)據(jù)集算法測評指標集測評指標體系1.指標體系構(gòu)建指標選擇權重確定體系構(gòu)建2.算法測評數(shù)據(jù)制備算法測評數(shù)據(jù)集范圍確定（時間/空間）數(shù)據(jù)查詢數(shù)據(jù)制備標準輸入數(shù)據(jù)集參考數(shù)據(jù)集開始開始待測評算法待測評算法3.算法接口規(guī)范化4.算法執(zhí)行與監(jiān)控遙感產(chǎn)品生產(chǎn)算法執(zhí)行參數(shù)監(jiān)控算法執(zhí)行參數(shù)監(jiān)控算法監(jiān)控參數(shù)算法監(jiān)控參數(shù)輸出共性產(chǎn)品輸出共性產(chǎn)品算法測評指標算法測評指標5.指標歸一化6.測評指標綜合7.測評報告生成結(jié)束結(jié)束圖5.1.算法測評流程2)查數(shù)據(jù)：查找包含相應時間和空間范圍的遙感數(shù)據(jù)和地面觀測數(shù)據(jù)；4）；e）算法執(zhí)行與監(jiān)控：在統(tǒng)一的硬件配置和操作系統(tǒng)配置下，基于標準輸入數(shù)據(jù)集和輔助數(shù)據(jù)集執(zhí)2)在算法執(zhí)行完成后，根據(jù)選擇的測評指標對算法輸出結(jié)果與參考數(shù)據(jù)集進行對比和結(jié)果評6.1指標體系構(gòu)建要求算法魯棒性四個一級指標下的各項二級指標對算7.1數(shù)據(jù)集制備要求b）標準輸入數(shù)據(jù)集與參考數(shù)據(jù)集的時空尺度應匹配；5c）標準輸入數(shù)據(jù)集應盡量保證包含的地表覆蓋類型、地形類型、數(shù)據(jù)源類型、時間范圍、數(shù)據(jù)時d）同類算法的標準輸入數(shù)據(jù)集應采用相同的預處理方法和精度檢查詢滿足算法測評數(shù)據(jù)集制備要求的遙感數(shù)據(jù)和地面對標準輸入數(shù)據(jù)集進行精度檢驗，對于不滿足精度b）數(shù)據(jù)質(zhì)量控制觀測數(shù)據(jù)的準確性。物理可能值檢查指判定觀測數(shù)據(jù)是否位于觀測參數(shù)的物理定義所限定中出現(xiàn)的各類異常值，判定其異常原因以決定數(shù)據(jù)刪除或6中算法所需的輸入數(shù)據(jù)和輔助數(shù)據(jù)可正確調(diào)用，并且確保算法輸出的遙感產(chǎn)品滿足算法精度79.1遙感產(chǎn)品生產(chǎn)9.2算法執(zhí)行的參數(shù)監(jiān)控依據(jù)6.2確定的算法測評指標，將算法執(zhí)行與監(jiān)控過程獲取的遙感產(chǎn)品和監(jiān)控參數(shù)轉(zhuǎn)化為算法測評依據(jù)6.4建立的算法測評一、二級測評指標和指標權重，采用加權方法進行測評指標綜合，計算算b）測評人員與時間；82)構(gòu)建比較判斷矩陣勻性對于地理特征）的相對重要性。如果把B作為準則層元素，然后再把它支配的下層元素稱為那么判斷矩陣B必需滿足三個條件uij>0;uij=;uij=1。表B.1“1-9標度法”含義1i和Aj同等重要3ij重要一點5ij更重要7ij重要得多9ij極端重要3)針對某一個標準，計算各備選元素的n..........................................................................n......................................................................................)T進行歸一化處理，計算出權重系數(shù)。...............................................................................4)進行一致性檢查9為了檢驗判斷矩陣是否具有合格的一致性，需要在求得判斷矩陣B=(uij)n×n中各指標的權重后，對它進行一致性檢驗，即指對B確定不一致的允許范圍，使用CI來衡量B的不一致程度。..................................................................表B.2隨機一致性指標RI的標準值n12345678900使用絕對定標系數(shù)將遙感影像DN值轉(zhuǎn)換為輻亮度數(shù)據(jù)，(λe.DN+Offseta）利用影像數(shù)據(jù)內(nèi)部鑲嵌的RPC數(shù)據(jù)，對衛(wèi)星影像數(shù)據(jù)進行幾將算法測評指標體系中所有二級指標的集合稱為X={X1,X2,X3,?,Xn?1,Xn}，即總共有n項二級指標。將第i項二級指標測算結(jié)果分別與相應的權重值相乘，然后將所有乘積加和，則該類算法在算法測評中的綜合測