航空和衛(wèi)星的建模和問題探究

1、.航空和衛(wèi)星的建模和問題探究 本文作者：SowmyaAr Arcot 工作單位： 1引言 利用攝影測量和遙感為制圖和GIS獲取數(shù)據(jù),傳統(tǒng)方法的特點是人工有效地從影像_匕提取高精度的三維數(shù)據(jù),在距離_匕這些影像從空間平臺獲取的圖像到近景固定目標圖像。一般來說,這些生產(chǎn)程序是費時并且很昂貴。在目前的制圖和GIS預算基礎(chǔ)上,傳統(tǒng)的方法限制了能提取的地形信息的數(shù)量和分辨率。另外,山于數(shù)據(jù)獲取當局采用了不合理的數(shù)據(jù)更新周期,在很多情況下,數(shù)據(jù)趨向于過時。數(shù)據(jù)獲取系統(tǒng)總是技術(shù)驅(qū)動的,并且適應最新的方法和設備。將來,當數(shù)字系統(tǒng)成為現(xiàn)實時,這將毫無疑問會繼續(xù).在提高自動化水平的基礎(chǔ)上,數(shù)字系統(tǒng)為提取制圖和GI

2、S所需信息提供新方法。新方法中也包括計算機視覺中的邊緣裁剪技術(shù),該技術(shù)利用了人工智能和機器學習等領(lǐng)域知識。兇此,攝影測量與遙感和計算機視覺與人工智能等領(lǐng)域的研究人員觸合他們各自的技能來解決這個應用領(lǐng)域的一些具體的問題。在攝影測量與遙感領(lǐng)域自動提取地面地形信息需要過程的簡潔表達和壓縮影像范圍的知識。這是一個很重要的工作,因為影像中儲存著極其復雜的信息。攝影測量中獲得的地表地形的影像的比例尺可從l:3000到l:90000,而遙感獲得的影像的像素分辨率可從!米到30米不等。地形的影像特征的結(jié)構(gòu)很復雜.它是由很多不同的亮度組合而成的,這些亮度可以表達例如,核物、地表、水文等這樣的自然特征:也可以表達

3、例如,房屋、道路等人工建筑,還能表達像陰影或亮度所造成影明的人造物體。另外,遙感影像中,一些特征之間的關(guān)系比一般照片上的特征之間的關(guān)系復雜。這些特征意味著航天和衛(wèi)星影像的信息提取是很大的挑戰(zhàn)。信息提取的研究首先得考慮數(shù)據(jù)的語義方面的問題。可是,提取的信息的幾何性質(zhì)也必須被考慮,以至于可以確?？臻g數(shù)據(jù)的相關(guān)規(guī)范性。計算機視覺是一門自動和集成廣泛可用于可視處理和表達方法的科學,通過建立清晰、有意義的影像上的對象描述,應用方法和技術(shù)很廣泛,其中包括數(shù)字影像處理,模式識別,幾何建模,理解和認知處理.計算機視覺本身主要涉及影像解譯和圖像識別問題,并且試圖通過目標和場景識別來解決這些問題。在這個過程中,使

4、用從影像中提取屬性和關(guān)系的技術(shù)、形狀表達和描述技術(shù),最后,利用提取和描述的特征進行基于模型的識別。由于影像獲取的方法,在從數(shù)字遙感影像提取信息的過程中計算機視覺方法的應用是很復雜的,因而,當使用針對普通照片影像的提取方法時,要仔細考慮遙感影像的數(shù)據(jù)特征。在計算機視覺應用中很難處理的特征,在航空和衛(wèi)星影像同樣也是很難處理。普通的影響因素包括獲取影像過程中的噪音,陰影的影響,由于照相機的角度和定位引起的幾何變形的影響和光照的影響,由于封閉和部分目標等問題所引起的影響.解譯航空(衛(wèi)星)影像和其他的圖像時采用的方法是不同的.三維物體幾何形狀是航空影像判讀過程中的最基本的元素,這并不是因為要提取高程的原

5、因,而且是因為在判讀中三維對象可提供更多的信息。是三維還是二維信息更有利于特征的描述,這樣的問題便被提出來了。在計算機科學領(lǐng)域里,對大多數(shù)研究而言,二維圖像數(shù)據(jù)一般認為是足夠的,盡管有研究小組正從事立體視覺和深度信息提取方面的研究。盡管有些例外,但大多數(shù)形狀和位置描述決定了計算機視覺中的對象模型,對于中、低分辨率的航空影像,使用纂于形狀的識別是令人質(zhì)疑的。然而,上下文信息對遙感影像的解譯有很大的作用。比如,橋作為穿過河流的道路的一部分可能很容易被識別。航空影像中的目標很密集,并有很多的組成部分,這一現(xiàn)象己被認識到了。這與計算機視覺最近的發(fā)展趨勢是一致,計算機視覺識別圖像上的目標,首先是分離不同

6、目標的組成部分和它們之間的關(guān)系。這篇文章將回顧一些在計算機視覺中己使用的知識描述和建模的方法,并給出他們在研究遙感影像理解方面的例子。方法很多,要討論這個領(lǐng)域中所有正在被研究者所使用的方法是不可能的。其他方法的討論可能會涉及其他的領(lǐng)域,如Crevicr和LePage基于知識的影像理解的方法.Hancock和Kittler方法是兩種松弛技術(shù),sriniva犯n是人工智能技術(shù)在遙感方面的探索等。第二部分將介紹機器視覺領(lǐng)域中的知識的定義、知識表達的方法、控制問題、特征建模方法。第三部分介紹特征表達和特征識別的過程。第四部分介紹知識表達方法在航空測量和遙感中的應用實例. 2知識、表達和模型 2.1知識

7、的定義•MerriamWebsterDictionary把知識定義為己知的事實和條件,知識是通過經(jīng)驗和聯(lián)想獲得,它的范圍包括人所獲得的信息和理解,是己知的總和。表達是描述的行為,狀態(tài)和行為的描述.表達成與本質(zhì)相應的具有特殊特征或品質(zhì)的符號、副本或圖像。模型是事物的仿真表達,是仿真的實例。在計算機視覺和人工智能中,這些術(shù)語的應用不是很嚴格.與它們的字典中的意思和技術(shù)定義相適應,很難確切定義。計算機視覺必須獲取影像中場景的有用的描述,最初的描述就是圖像強度值的陣列。在低層視覺階段,進行圖像的初步處理。中級階段應用獨立的鄰域處理方法提取圖像的特征和標識不同的部分。高級階段歸納更多

8、圖像特征表達,在這個階段進行初步識別.為了處理光線和視角的變化、形狀和陰影的影響、圖像處理如,相機角度和位置的變化和低層處理中的嗓聲問題,我們需要現(xiàn)實世界有關(guān)圖像獲取和應用等方面的知識,這些知識是較高層的豐富的表達,這在計算機視覺中稱為模型。這些模型解釋、描述或抽象了圖像信息。圖像和模型之間的橋梁就是一定范圍的表達,它聯(lián)結(jié)著輸入圖像和輸出解釋。(l)生成圖像,圖像是輸入數(shù)據(jù)的圖像和模擬表達例如:二值圖像和側(cè)面影像。(2)分割圖像,分割后的圖像由與實際目標相應的一些像素組成,例如:分割算法的輸出。(3)關(guān)系模型,它是經(jīng)過編碼后的知識,用于高層推理和解譯.每種表達方法有它的應用范圍的局限性。所以,

9、在圖像解譯中,所有四種類型的表達方法都是重要的。我們應該重點放在第四種上,即關(guān)系模型,它包含了用于圖像理解目的的知識表達和模型。2.2知識表達知識表達的目的是用計算機易于處理的形式表達知識。一個好的計算機表達語言應該易于表達、簡潔、意義明了的、獨立的。FOL(FirstOrderLoglc)語言是人工智能中表達方案的基礎(chǔ).FOL有規(guī)范的語法和語義,在這種語言里,一個句子的解譯也就是上面談及的。FOL的推斷過程允許從舊語句中推斷出新語句。這種規(guī)范的推斷過程可以用于自動的從已知的事實中獲取正確的結(jié)論.邏輯編程語言和產(chǎn)品系統(tǒng)二者都以FOL為基礎(chǔ).像Prolog這樣的邏輯編程語言允許用FOL的嚴格模式

10、描述知識,也能完成推斷過程,可以從通用的知識里提取新的信息。邏輯編程語言通常使用“后向鏈”控制,用后向的邏輯推理法:為證明一些事物,他們發(fā)現(xiàn)數(shù)據(jù)庫中的邏輯關(guān)系有助于結(jié)論的形成。因此,當一個目標確定后,“后向鏈”是推理中的最佳方式。產(chǎn)品系統(tǒng)由現(xiàn)存的事物的知識庫、一組規(guī)則或“產(chǎn)品”組成,這些都是用邏輯關(guān)系表達的。下面是一個產(chǎn)品系統(tǒng)的例子。如果一個區(qū)域是一個長型的、性質(zhì)相同的目標,那么他屬于道路。產(chǎn)品系統(tǒng)以匹配,選擇,產(chǎn)生結(jié)果這種方式永不停息地循環(huán),應用數(shù)據(jù)庫的知識,產(chǎn)生新的信息。在匹配階段,系統(tǒng)尋找所有已有的、滿足當前數(shù)據(jù)的法則。在選擇階段,系統(tǒng)運用第一階段的匹配原則,選擇一個規(guī)則來執(zhí)行。選擇的規(guī)

11、則在結(jié)果產(chǎn)生階段被執(zhí)行,在這個階段可能會牽涉知識庫里知識的增加或側(cè)除,和數(shù)據(jù)的輸入、輸出。在人工智能和航空側(cè)里與遙感領(lǐng)域,框架和語義網(wǎng)絡是最近最流行的值時表達結(jié)構(gòu)。它應用隱喻,把對象表達為曲線圖中的節(jié)點,這些節(jié)點用分類的結(jié)構(gòu)組織,節(jié)點之間的關(guān)系表述為二進制的關(guān)系.在框架系統(tǒng)中,二進制的關(guān)系被認為是其他框架填充過來的空槽;在語義網(wǎng)絡中,它們之間的關(guān)系被認作是節(jié)點中的有向線。這兩個系統(tǒng)的意義和所要完成的任務是相同的.描述邏輯系統(tǒng)是從語義網(wǎng)絡發(fā)展而來的,最基本的思想是利用目標和類別的復雜定義和它們之間來進行表達和推理。描述邏輯語言提供三種推理支持:(l)概念描述的分類,在特殊的層次中概念的自動整理。

12、(2)對獨立目標根據(jù)它們的屬性分類。(3)知識庫所有知識一致性維護。對于這些邏輯所支持的語言幾乎無法表達,并且很難詳細闡述復雜的制約條件.這些語言的優(yōu)點是他們有依據(jù)推理服務的正式的語義和簡單的邏輯操作.簡言之,像Prolog這樣的邏輯編程語言有一個執(zhí)行模型,這種執(zhí)行模型很簡單,以至于一個程序設計員就可處理。近來,Pr。109編譯器被推薦作為小型人工智能項目一c產(chǎn)品系統(tǒng)的首選開發(fā)工具,該產(chǎn)品系統(tǒng)是一個流行的人工建模推理系統(tǒng);與Prolog不同的是,產(chǎn)品系統(tǒng)不是基于查詢的,而是開放的、不間斷的系統(tǒng),它處于連續(xù)的操作中。語義系統(tǒng)提供一個比基于文本式的形式主義更容易理解的圖形界面。它可以像FOL一樣富

13、有表現(xiàn)力,盡管大多數(shù)并不是這樣,因為這種系統(tǒng)強加嚴厲的拘束于可以表達的對象之上.他的優(yōu)點其中包括能表模塊方法中的層次關(guān)系,并且相對比較簡單。描述邏輯把清楚的語義與簡單的邏輯操結(jié)合起來.所以,當所有的方案都依據(jù)FOL語言,就有這種或那種方法的折衷.2.3控制問題不管選擇什么樣的影像表達,影像數(shù)據(jù)的處理和影像數(shù)據(jù)的表達處理可以稱為影像數(shù)據(jù)驅(qū)動,稱為從下而上的控制,或可稱為內(nèi)部模型控制,叫做從上而下的控制。自下而上的數(shù)據(jù)驅(qū)動包括從影像處理、分割到描述,每一階段為下階段準備數(shù)據(jù)。如果鄰域影像處理方法成本底,而且輸入的數(shù)據(jù)是準確、可信的話,從下而上的控制是有用的.馬爾(Marr)和Ullman致力于自下

14、而上的方法研究.這種自下而上的方法是基于人類視覺數(shù)據(jù)不變的自下而上的處理基礎(chǔ)上的。Marr認為這個系統(tǒng)導致一個中間描述叫做21/2維的結(jié)構(gòu),包括地表定位、參考視場中的距離和方位。另外,Ullman假設高水平的處理叫做可視化程序,它檢測中間表達中的感興趣特征。自上而下的模型驅(qū)動控制是被知識庫里產(chǎn)生的可能性和先決條件驅(qū)動的。因而,模型驅(qū)動控制嘗試用一種目標指向的行為去執(zhí)行內(nèi)部的模型證明.一個普通的自上而下的控制方法是假設和證明。這個一般可以控制低層次的操作.好像支持的人類可視化某些方面的關(guān)系并不是自上而下,這個發(fā)現(xiàn)促進了模型驅(qū)動方法的發(fā)展。降低低水平處理過程的設想亦如此。在實際操作中,計算機視覺系

15、統(tǒng)趨向于混合使用自上而下和自下而上兩中控制方法,系統(tǒng)的重點在方法效率和實用上.并行和串行計算可能在所有的設計中都用上了。自上而下和自下而上這兩種控制隱含了一種層次處理關(guān)系.在層次控制中,控制程序看作是合作收集和競爭專家,在任何時候,“專家”幫助大多數(shù)選擇。黑板結(jié)構(gòu)是這種方法的一個例子,在黑板結(jié)構(gòu)中模塊化的知識源之間通過一個公共的黑板(存儲器)進行通訊,它們可以通過這個公共的黑板進行輸入和輸出。2.4建模問題在計算機視覺中的基于模型的方法中,在一類圖象中可按優(yōu)先次序定義了一些模型,并利用這些模型來進行目標識別。這些模型對現(xiàn)實世界和應用中的一些外部知識進行編碼二目標模型可能是外觀模型,形狀模型,物

16、理模型等。在目標表達上,每一個模型應該適應一定的變化范圍,這些變化可能是由于視角的變化、光照的變化、柔韌目標的形狀變化等因素引起的.另外,影像獲取本身的多變性、每組對象中單個對象的多變性,也要考慮進去.感興趣的目標可能是二維的或三維的:這些目標可能是剛性的、有鏈接的或有韌性的。圖像可能是距離圖像或是強度圖像.識別就是確定圖像上不同的特征和在匹配階段對比模型特征。模型(圖像)的關(guān)聯(lián)特征可以用前面己經(jīng)討論過的方法中的一種來表達。在一幅沒有限制場景的強度圖像識別一個三維目標是很困難的,航片和衛(wèi)星影像就屬于這類情況。深度信息的丟失、遮擋和混亂的細節(jié)信息產(chǎn)生了很多問題:另外,圖像的強度間接與目標的形狀相

17、關(guān). 3特征的自動提取 絕大多數(shù)影像解譯系統(tǒng)的目的是在影像中提取/識別目標.在基于模型的方法中,它通過首先提取目標屬性,然后再將他們與模型匹配。3.1特征屬性的描述在計算機可視中,目標的屬性、性質(zhì)和可以從影像中提取的場景都叫做特征.這些屬性有時被分類為全局屬性和局部屬性。然而,在攝影測量與遙感領(lǐng)域,“特征”這個術(shù)語是指圖像上可識別的目標或者結(jié)構(gòu),如道路、建筑物,特征的分類依賴于具體應用:舉個例子,對航空影像來說,全局性的描述可以包括航影像覆蓋的地區(qū)例如:城區(qū)或郊區(qū)。避免過多的名字和定義,文章中的混淆就會減少。在這篇文章里,攝影測量中的術(shù)語“特征”即是影像中可識別的對象。若涉及對象的性質(zhì),我們就

18、要用術(shù)語:“屬性”了。目標的全局屬性可以概括為目標完全可視化部分的信息,如面積、周長、長度等。理論上講,為了處理多分辨率和多變的圖像,這些全局性屬性應是縮放和平移不變的。特征不應該重疊,這樣可以避免混亂和遮擋:另外,目標每個不同視角需要獨立的模型,這樣可以處理多視角圖像。例如,在攝影測量中,局部屬性可能是聯(lián)結(jié)和分割的邊緣,這些可以看作特征的獨立屬性。然而,在計算機可視化中,局部屬性大多數(shù)時候被看作屬性之間的聯(lián)系,或者是上下文。相關(guān)的屬性在圖表中構(gòu)成。評價特征屬性表達方案的標準是敏感度、范圍、穩(wěn)定性、有效性和獨特性.根據(jù)這些標準,研究者總結(jié)出一個基于模型方法的好的表達,.其中包括局部屬性和圖像特

19、定區(qū)域和目標的組合。這是因為局部屬性可以根據(jù)輸入數(shù)據(jù)的有限部分有效計算出來;這些屬性很穩(wěn)定,因為表象的一點變化僅僅影響某些屬性,目標的局部遮擋僅僅影響局部特征。邊緣連接就是邊緣分析基礎(chǔ)上的局部特征的一個例子.多尺度表達是可取的,因為在大尺度上,兩個大體上相似的目標具有相似的描述,即使在小尺度上有一些不同。不管是從影像數(shù)據(jù)庫還是從經(jīng)過高分辨率重采樣的影像上,對于航空影像和衛(wèi)星影像而言,這種多尺度描述是比較容易獲得的。這個選擇項并不是對大多數(shù)計算機視覺應用都有用。唯一的模型判斷標準在特征識別過程中并不重要,因為識別的方法能夠允許由于噪音和遮擋等原因造成的錯誤匹配。比較航空影像、衛(wèi)星影像和計算機視覺

20、中的圖像而言,前者局部特征的定位比較容易,因為前者的外方位元素和相機參數(shù)是己知的或者可以推倒出來。對于大多數(shù)航空影像計算機視覺研究而言二描述己經(jīng)是足夠的,但是三維模型和匹配經(jīng)常應用于攝影測量中,例如建筑物形狀提取。最后,什么屬性對于特征提取或識別有用呢?屬性要能表達不同的特征和圖像不同的部分之間的區(qū)別。第二,屬性要能反映外部世界的規(guī)律和結(jié)構(gòu)。這樣,屬性的選擇就是與應用無關(guān)的了.在遙感中,通過輻射校正、地物的光譜特征和地面的真實情況,所得到的多光譜影像的特征是眾所周知的。一些屬性的規(guī)律將可以從這些特征知識中提取:例如,不同類型的地面覆蓋的光譜特性,如不同類型的植被、土壤、礦物質(zhì)、水和一些人工建筑

21、物經(jīng)過多年廣泛的實驗和地面事實已經(jīng)被確定了。在計算機視覺中,另外一些屬性是基于形狀和外形的;例如.道路是窄的條帶,建筑物是封閉的多邊型等。另外一些屬性是基于上下文的,例如,建筑物通常位于道路旁,橋一般是跨越在河上的。特征可以一定的結(jié)構(gòu)進行組織。一種方法是用層次的方法組織它們的部分或全部關(guān)系,例如基于系統(tǒng)的語義網(wǎng)絡。第二種方法根據(jù)鄰接關(guān)系來組織它們。后者對應于空間臨近或上下文關(guān)系。二者都可以用圖形表達。32特征識別計算機視覺中的目標識別與攝影測量中的特征提取相對應。為了從一幅圖像上識別單個目標,自下至上的數(shù)據(jù)驅(qū)動控制通常是足夠的,其中屬性第一次被檢測和表達成符號.通過聚集比較原始的屬性來確定新的

22、特征.利用這些屬性從模型庫中選擇合適的模型,也稱為索引。然后找到與影像屬性最匹配的模型屬性。最后,利用一些決策程序來校正模型屬性.查找過程本質(zhì)上包括歸類、建立索引和匹配等步驟。然而,在包含多個目標,并且有遮擋和重疊的比較復雜的遙感影像中自下至上控制是不適用的,另外,在質(zhì)量比較差的圖像中噪聲會產(chǎn)生假屬性。對于遙感圖像,這是一個非常合適的方案.在這種情況下,自上而下或者混和控制策略是比較有用的.在自上而下的方法中,假設階段需要利用屬性檢索模型的組織,使得基于觀測的屬性和一小部分合適的目標可以被選擇.在校正階段應用選用的模型來識別目標.在混合方法上,兩個階段的聯(lián)合提高了處理效率。當結(jié)果屬性比單個屬性

23、更豐富時,就可以對屬性進行組合.這個過程稱為知覺組織.Lowe提出了目標識別中組合問題和屬性組合標準。他尋找邊緣分割的結(jié)構(gòu),它應該是在一定的投影方式下具有普遍性。例如同線性和平行邊緣。Zerroug和Nevatia應用均勻投影方法把圓柱投影到二維空間。許多研究者己經(jīng)研制了專業(yè)組合方法,例如:steger等的用于路道提取的方案,Hewr影幾何,以用于建筑物提取,而Lang和Forstner(1996)在建筑物提取中應用了多態(tài)特性.上下文信息在圖像理解起著重要的作用。特別在松弛標記方法中,該方法用局部和全局上下文信息來進行圖像區(qū)域或目標標記。經(jīng)過分割階段,場景標記應該與場景知識相對應,并且標記應該

24、是一致的.這個問題用約束傳播的方法來解決.局部約束導致局部一致,并且通過迭代的方法,局部一致性與整幅圖像的一致性相協(xié)調(diào)。關(guān)于松弛標記方法的詳細論述可以參考Hancock和Kittle:的文章。離散的松弛方法很簡單,只能處理完整和精確的分割.概率松弛方法是建立在局部不一致性很可能全局解譯比一致很有價值但不易于解釋的基礎(chǔ)上的,可參見早期Rosenfeld等人(1976)關(guān)于這種方法的一個例子.為了處理匹配階段的不確定性,人們應用了多種基于證據(jù)的技術(shù),例如:Dompstershafer理論,可靠性估計,模糊邏輯,最小錯誤原理,可信度估計,隨機封閉集,貝葉斯網(wǎng)絡等. 4建模和表達方法應用的一些例子 在

25、計算機視覺和攝影測量與遙感領(lǐng)域中的知識表達和建模方法的應用就是前述一些方法的具體化。這些應用的領(lǐng)導者在理論上是機器械視覺的研究者。在攝影測量與遙感領(lǐng)域,所采用的方法緊隨計算機視覺領(lǐng)域之后,這些方法己經(jīng)改進成信息提取的方法了.這些應用表明攝影測量與遙感領(lǐng)域的研究者在人工智能技術(shù)上達到了專業(yè)水平。這些方法己經(jīng)從基于規(guī)則的系統(tǒng)發(fā)展到語義網(wǎng)絡,從框架發(fā)展到邏輯描述。在這一部分,計算機視覺和攝影測量與遙感領(lǐng)域中的一些應用的回顧就表明了這個趨勢.4.1邏輯Reiter和Mackworth是第一批在計算機視覺系統(tǒng)中,應用邏輯作為一種表達方式的研究者.在他們的著作中,他們提議用一個邏輯框架結(jié)構(gòu)來描述和解譯圖像

26、和場景知識,并且提出二者之間的形式映射關(guān)系。他們陳述了影像原理,場景原理和描述原則,這些原理的邏輯模型形成了影像的解譯。他們應用一個稱為Mapse的簡單地圖理解系統(tǒng)來說明他們的方法。雖然這種應用具有相對的局限性,但是還沒有新的系統(tǒng)被報道。一個原因是計算方法的復雜性。當邏輯提供一個一致的形式來說明約束,特定的研究使用邏輯的效率并不高。另外,FOL本身善長描述數(shù)據(jù)的不確定性和不完整性,這些存在于圖像屬性之中。影像元素與影像對象之間的對應并不是一對一的關(guān)系,另外的邏輯關(guān)系對這些模型是必要的。Matsuyama和Hwang采用了一個邏輯框架結(jié)構(gòu),在這種結(jié)構(gòu)中,動態(tài)產(chǎn)生新的邏輯一致性和規(guī)則。4.2基于規(guī)

27、則的產(chǎn)品系統(tǒng)Brooks研制了基于模型的影像理解系統(tǒng)一一ACRONYM系統(tǒng)用來檢測三維目標,并用它進行了從航空影像上提取人工地物的實驗。三維模型使用一個基于框架的表述來儲存。對提供的影像進行了分析,ACRONYM系統(tǒng)提取了線段并獲得二維圓柱。幾何知識和圖像條件經(jīng)過編碼,形成規(guī)則被用來產(chǎn)生場景的三維模型,然后這些與框架相匹配以便識別人工地物。sIGMA是一種用框架來描述知識,并且使用從上而下和從下而上兩種控制方案來提取特征的航空影像理解系統(tǒng)。它包括三個子系統(tǒng):幾何推理專家系統(tǒng)(GRE)、模型選擇專家系統(tǒng)(MSE)、低水平視覺專家系統(tǒng)(LIVE)。信息從GRE傳至MSE,然后同LIVE進行通訊。S

28、IGMA中的框架使用槽儲存一個對象的屬性和它與其他對象之間的關(guān)系。以框架中空間知識為基礎(chǔ),產(chǎn)生目標的假設并用于影像特征相匹配。與目標外形有關(guān)的推理,由MSE子系統(tǒng)來處理,并轉(zhuǎn)換成圖像術(shù)語傳遞給LIVE子系統(tǒng)。這種自上而下的影像屬性的選擇有利于檢測到一些小屬性,通過從航空影像中提取房屋和路段信息的實驗對這個系統(tǒng)進行了測試。Mckeown等提出一個基于規(guī)則的系統(tǒng),用來從航空圖像上解譯飛機場.這個系統(tǒng)以大約450條規(guī)則為基礎(chǔ),分為6組:初始化、用于原始圖像片段解譯的區(qū)域解譯、一致性檢查、組合圖像片段對功能區(qū)域的規(guī)則和用于建立機場模型的目標生成規(guī)則.Mckeown和Harvey研制了稱為&#8

29、226;schemata一個航空影像解譯系統(tǒng),該系統(tǒng)中包括一個從標準知識集編匯的一些規(guī)則。它們從較高的層次模式中自動生成規(guī)則,這有利于更好地進行錯誤處理和更有效的操作。他們的系統(tǒng)包括大約100schemeta,其中每一個都會產(chǎn)生大約5個規(guī)則。start和Fischler提出了一個基于知識的系統(tǒng),用上下文信息進行地形識別。在不同的層次上用規(guī)則對上下文進行定義。上下文信息并不一定可靠,結(jié)果導致很多冗余.這個解譯系統(tǒng)是以三種規(guī)則為基礎(chǔ)的:候選結(jié)果,候選結(jié)果評價,一致性確定。在評價過程中,候選結(jié)果的比較是基于可靠的候選結(jié)果評價的基礎(chǔ)上的,在這個過程中評價相關(guān)相似性,候選結(jié)果是這類結(jié)果中的一個.作者認為

30、這樣劃分知識是為了使其成為便于操作的大小單元。Stilla等描述了一個基于模型的系統(tǒng),用來從航空影像中自動提取建筑物信息,目標既具有特殊性又具有一般性。該系統(tǒng)中用產(chǎn)品規(guī)則和產(chǎn)品描述集來對要識別的目標進行建模.特殊的模型用不變的拓撲邏輯結(jié)構(gòu)來描述目標,而一般的模型更具有普通性.這些系統(tǒng)說明基于規(guī)則的系統(tǒng)不能保證知識的添加性和推理的一致性。如果打破單一規(guī)則基礎(chǔ)而采用多尺度的多規(guī)則那么就會使程序模塊化程度降低,而且不易于更改。Draper等人建議用黑板系統(tǒng)和基于schema的結(jié)構(gòu)來處理之。4.3黑板系統(tǒng)Nagao和Matsuyama首先陳述了用黑板模型的影像理解的問題,并把它應用到郊區(qū)的航空影像中,

31、用于識別汽車、房屋、道路等。他們的系統(tǒng)包括全局的數(shù)據(jù)庫和一組知識源.黑板用層次方法記錄由:基本區(qū)域、典型區(qū)域和目標等組成的數(shù)據(jù).黑板還存儲一個標記圖,它連接原始影像的象素和數(shù)據(jù)庫中的相應區(qū)域?；緟^(qū)域是影像段分割的結(jié)果,并用灰度、尺寸、影像中的位置來標記。然后區(qū)域中的獨特的特征被提取,識別的結(jié)果是具有下面的基本屬性的區(qū)域。1.依據(jù)區(qū)域尺寸,大的、同類的區(qū)域;2.依據(jù)區(qū)域形狀,長的區(qū)域:3.依據(jù)區(qū)域光照,有陰影的區(qū)域;4.依據(jù)臨近區(qū)域的定位和太陽的定位,有陰影的區(qū)域;5.有植物和水的區(qū)域;6.根據(jù)紋理信息,高反差紋理區(qū)域。這些屬性以單獨的模式儲存在黑板上,然后根據(jù)不同區(qū)域的特殊特征存在或不存在,

32、知識源會識別出一個特殊的目標.每種知識源都是一個規(guī)則,這些規(guī)則是在目標識別的圖像處理操作過程中的一個條件或是復雜操作的一部分。例如,利用知識源檢洲莊稼地就是這樣:“如果”是大的同類的區(qū)域、植被區(qū)域、沒有水的區(qū)域、沒有光照源的區(qū)域,“那么”可以證明這片區(qū)域是莊稼地。每種知識源單獨識別一個目標,且這個可以導致同一個區(qū)域識別相互沖突(如莊稼地和草地)。為了解決這個問題,系統(tǒng)自動地計算一個可靠值.然后,取可靠值最高的識別結(jié)果奮舍棄其他的識別結(jié)果。Fuger等描述了一個基于黑板的數(shù)據(jù)驅(qū)動系統(tǒng)來分析航空影像中人工的目標.一般的目標模型在黑板中用符號表達,單個對象用幾個屬性描述.模型被許多參數(shù)所限制,這種參

33、數(shù)被一個用“發(fā)展階段”的封閉的循環(huán)系統(tǒng)所決定。stilla提出一個基于黑板影像理解的系統(tǒng),這種系統(tǒng)適合于航空影像中復雜場景的結(jié)構(gòu)分析。從一個原始對象開始,反復使用中間結(jié)果,目標對象就可以一步一步地組成。對象的組成用一個派生的圖表來表達和記錄.通過二維圖像的分割和直線的近似計算來進行圖像的分析識別。黑板系統(tǒng)一般趨向于具有一個集中控制的結(jié)構(gòu),所以效率就成了問題。另外,黑板系統(tǒng)假設所需要的知識源是有效的,所以在計算機視覺應用中應用該方法前提是圖像已經(jīng)被分析過了。4.4框架Hanson和Rieman把框架作為假設的產(chǎn)生的機器。關(guān)于目標分類的知識表達為框架。槽描述了目標類別之間二進制幾何關(guān)系。槽還包括例

34、示其他的對象描述的產(chǎn)品規(guī)則LTM)組成.5丁M的概念地等同于黑板,儲存影像解譯的部分結(jié)果.LTM存儲場景的先驗知識和特殊領(lǐng)域知識。系統(tǒng)匹配STM的內(nèi)容和LTM的內(nèi)容來產(chǎn)生解譯結(jié)果.這個過程由MB中的推理機模塊來完成.STM最墓本的內(nèi)容是用一種自上而下的方式建立起來的,并且在一種模型驅(qū)動階段狀態(tài)產(chǎn)生,校驗LTM中存儲的目標屬性的已有部分和缺少的部分。為了基于知識從數(shù)字地圖中提取目標,Maer已經(jīng)發(fā)展了一個基于語義網(wǎng)絡的系統(tǒng)。該系統(tǒng)是建立在語義網(wǎng)絡和框架描述相結(jié)合的基礎(chǔ)上的,在控制上采用模型驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合。模型是由三個層次組成的,一般與自上而下的影像處理過程的各自的層相一致:(l)影像層,如

35、數(shù)字地圖;(2)影像圖表和文本層:(3)語義對象語義網(wǎng)絡以圖形層的部分元素為基礎(chǔ)構(gòu)建語義對象,這些對象構(gòu)成了圖形對象和地形對象之間的一般或特殊的關(guān)系.例如,一個圖表對象層中延長的區(qū)域特征化為“路的兩邊”、“人行道”、“道路網(wǎng)”等.雖然其他對象的描述沒有給出,但是測試己證明了道路網(wǎng)的提取.用框架被設計來分析不同的概念和他們的屬性.對象的提取以模型驅(qū)動和數(shù)據(jù)驅(qū)動實例為基礎(chǔ),初始的研究以用戶確定的特定目標為基礎(chǔ)的。雖然方法是以地圖上明確定義的信息提取為基礎(chǔ),但是M叮er認為這個過程對影像信息的提取也是很有用的。Tonjes己使用語義網(wǎng)絡從重疊的航空影像來建立影像模型。輸出是具有適當植被表示的三維景觀

36、。Tonjes認為語義網(wǎng)絡適用于表達結(jié)構(gòu)化目標的知識.它的語義網(wǎng)絡是用框架描述的,其中包括關(guān)系、屬性和方法。語義網(wǎng)絡有三個層:(l)傳感器圖層,該層從紋理,條帶和圖像細節(jié)為基礎(chǔ)描述分割層。(2)幾何和材料層,該層利用傳感和地形解譯結(jié)果來描述三維表面層。(3)影像層,它是要提取的對象。語義網(wǎng)絡建立在三層之間。目標描述通過每層來重建,重建是基于數(shù)據(jù)驅(qū)動和模型驅(qū)動的。Lang和Forstner把他們的建筑物的提取方法建立在多態(tài)的中間層特征的基礎(chǔ)上。該方法中應用了部分分層描述的語義模型。各部分之間的關(guān)系沒有包括在其中。結(jié)合應用于頂點原始層的數(shù)據(jù)驅(qū)動模型和用于目標解譯、驗證假設層的模型驅(qū)動方法的基礎(chǔ)上,建立了建筑物假設層,應用了四種建筑物類型:平屋頂、非直角平屋頂、人字形屋頂、曲線屋頂.sch川ing和vogtle開發(fā)了一個利用已知地圖庫輔助解譯的數(shù)字地圖史新系統(tǒng)。影像與地圖相比較,檢測出地圖自編輯以來的變化。接著,語義網(wǎng)絡分析新的特征。產(chǎn)生了兩個網(wǎng)絡,一個用場景,另一個用于圖像,在其中網(wǎng)絡中的典型關(guān)系建立在不同的層次上.DoGunst提出了一個數(shù)據(jù)驅(qū)動和模型驅(qū)動相結(jié)合的方法,用來識別數(shù)字地圖更新所需的目標,這個方法是建立在用于道路描述的