【畢業(yè)學(xué)位論文】（Word原稿）基于全方位視覺(jué)的多目標(biāo)檢測(cè)跟蹤-測(cè)試計(jì)量技術(shù)及儀器計(jì)算機(jī)測(cè)控

碩士學(xué)位論文 論文題目 ： 基于全方位視覺(jué)的多目標(biāo)檢測(cè)跟蹤 作者姓名 指導(dǎo)教師 學(xué)科專業(yè) 在學(xué)院 提交日期 2007 年 11 月 浙江工業(yè)大學(xué)碩士學(xué)位論文 基于全方位視覺(jué)的多目標(biāo)檢測(cè)跟蹤 作者姓名 : 指導(dǎo)教師 : 浙江工業(yè)大學(xué)軟件學(xué)院 2007 年 11 月 007 浙江工業(yè)大學(xué) 學(xué)位論文原創(chuàng)性聲明 本人鄭重聲明：所提交的學(xué)位論文是本人在導(dǎo)師的指導(dǎo)下，獨(dú)立進(jìn)行研究工作所取得的研究成果。除文中已經(jīng)加以標(biāo)注引用的內(nèi)容外，本論文不包含其他個(gè)人或集體已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果，也不含為獲得浙江工業(yè)大學(xué)或其它教育機(jī)構(gòu)的學(xué)位證書(shū)而使用過(guò)的材料。對(duì)本文的研究 做 出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本人承擔(dān)本聲明的法律責(zé)任。 作者簽名： 日期： 年 月 日 學(xué)位論文版權(quán)使用授權(quán)書(shū) 本學(xué)位論 文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)浙江工業(yè)大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。 本學(xué)位論文屬于 1、保密 ，在 _年解密后適用本授權(quán)書(shū)。 2、不保密 。 （請(qǐng)?jiān)谝陨舷鄳?yīng)方框內(nèi)打 “”） 作者簽名： 日期： 年 月 日 導(dǎo)師簽名： 日期： 年 月 日浙江工業(yè)大學(xué)碩士學(xué)位論文 i 基于全方位視覺(jué)的多目 標(biāo)檢測(cè)跟蹤 摘要 多 目標(biāo)檢測(cè)與跟蹤 涉及 圖像處理、模式識(shí)別 等多個(gè)技術(shù)領(lǐng)域， 是計(jì)算機(jī) 視覺(jué) 系統(tǒng)中 的重要課題。 本文采用能 實(shí)時(shí)獲取水平方向 360場(chǎng)景圖 像的 全方位視覺(jué) 裝置，設(shè)計(jì)并驗(yàn)證了 一種 新 的 多運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤 方法。本文 在綜述目前國(guó)內(nèi)外多目標(biāo)跟蹤的研究現(xiàn)狀的基礎(chǔ)上，主要完成了以下研究工作 ： 在 運(yùn)動(dòng)目標(biāo)檢測(cè) 方面， 提出 了 幀差法和背景減除法相結(jié)合的目標(biāo)檢測(cè)方法。 利用 該 方法 檢測(cè)出運(yùn)動(dòng) 區(qū)域 并 二值化圖像 ， 應(yīng)用 數(shù)學(xué)形態(tài)學(xué) 去除圖像中的噪聲 ， 通過(guò)連通域標(biāo)識(shí)和碎片合并得到各個(gè)運(yùn)動(dòng)目標(biāo)，并提取各 運(yùn)動(dòng)目標(biāo)的物理屬性參數(shù) ，通過(guò)實(shí)時(shí)更新背 景，提高目標(biāo)檢測(cè)的準(zhǔn)確性。 基于 波器和匹配矩陣 方法， 設(shè)計(jì)了 多目標(biāo) 跟蹤算法 。所設(shè)計(jì)的算法用 波器 預(yù)測(cè)運(yùn)動(dòng) 目標(biāo) 的 狀態(tài) ；用 匹配矩陣解決多目標(biāo)跟蹤中多 個(gè) 目標(biāo) 的 遮擋 、 遮擋目標(biāo)分離 、 目標(biāo)消失 、 目標(biāo)新出現(xiàn) 等 情況。 實(shí)驗(yàn) 結(jié)果 證明 了所提出方法的有效性 。 最后， 基于 形處理庫(kù) ，以 C+為開(kāi)發(fā)語(yǔ)言 ，設(shè)計(jì) 開(kāi)發(fā) 了一個(gè)多目標(biāo)檢測(cè)與跟蹤的原型 系統(tǒng)， 并進(jìn)行了實(shí)驗(yàn)驗(yàn)證 。 浙江工業(yè)大學(xué)碩士學(xué)位論文 鍵詞 ： 全方位視覺(jué)，目標(biāo)檢測(cè)，目標(biāo)跟蹤，匹配矩陣， 浙江工業(yè)大學(xué)碩士學(xué)位論文 N to It is an in A 60 is in A is up On of of at of is as In of a of on is of by 江工業(yè)大學(xué)碩士學(xué)位論文 iv of is of of is An is to In as by an is + is by 浙江工業(yè)大學(xué)碩士學(xué)位論文 v 目 錄 摘要 . i . 一章 緒論 . 1 言 . 1 內(nèi)外多目標(biāo)跟蹤研究現(xiàn)狀 . 2 頻檢測(cè)技術(shù)的發(fā)展與現(xiàn)狀 . 2 目標(biāo)跟蹤技術(shù)的研究現(xiàn)狀 . 3 方位視覺(jué)的概述 . 4 方位視覺(jué)的介紹 . 4 方位視覺(jué)的應(yīng)用現(xiàn)狀 . 5 文研究的內(nèi)容和文章結(jié)構(gòu) . 7 章小結(jié) . 8 第二章 運(yùn)動(dòng)目標(biāo)檢測(cè) . 9 動(dòng)目標(biāo)檢測(cè)算法介紹 . 9 流法 . 9 差法 . 11 背景法 . 11 景減除和幀差結(jié)合檢測(cè)目標(biāo) . 13 像去噪處理 . 16 標(biāo)分割 . 19 通域標(biāo)識(shí) . 19 法描述 . 20 標(biāo)碎片合并 . 25 標(biāo)表示 . 25 片合并 . 26 驗(yàn)結(jié)果 . 26 章小結(jié) . 28 第三章 運(yùn)動(dòng)目標(biāo)跟蹤 . 29 動(dòng)目標(biāo)預(yù)測(cè) . 29 波器簡(jiǎn)介 . 29 波器對(duì)運(yùn)動(dòng)目標(biāo)預(yù)測(cè)的實(shí)現(xiàn) . 30 標(biāo)匹配 . 33 定目標(biāo)匹配度 . 33 立匹配矩陣 . 34 描匹配矩陣 . 35 標(biāo)跟蹤 . 36 標(biāo)跟蹤流程 . 36 標(biāo) 跟蹤相關(guān)參數(shù)設(shè)置 . 36 目標(biāo)跟蹤算法 . 37 目標(biāo)跟蹤算法 . 38 浙江工業(yè)大學(xué)碩士學(xué)位論文 驗(yàn)結(jié)果 . 40 目標(biāo)實(shí)驗(yàn) . 40 目標(biāo)實(shí)驗(yàn) . 44 章小結(jié) . 48 第四章 全方位目標(biāo)檢測(cè)跟蹤設(shè)計(jì)與開(kāi)發(fā) . 49 發(fā)目的與開(kāi)發(fā)平臺(tái) . 49 統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn) . 50 計(jì)目標(biāo) . 50 統(tǒng)的功能 . 51 頻采集實(shí)現(xiàn) . 52 術(shù)介紹 . 52 紹 . 53 頻采集設(shè)計(jì)與實(shí)現(xiàn) . 55 標(biāo)檢測(cè)實(shí)現(xiàn) . 56 標(biāo)跟蹤實(shí)現(xiàn) . 59 章小結(jié) . 63 第五章 總結(jié) . 64 結(jié) . 64 一步工作 . 64 參考文獻(xiàn) . 66 致謝 . 72 攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文目錄 . 73 浙江工業(yè)大學(xué)碩士學(xué)位論文 1 第一章 緒論 言 隨著計(jì)算機(jī)技術(shù)、通信技術(shù)、圖象處理技術(shù)的不斷發(fā)展，視覺(jué)監(jiān)控系統(tǒng)已經(jīng)逐漸成為一種重要的安全防范手段。運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤是視覺(jué)監(jiān)控的主要組成部分。 視覺(jué)監(jiān)控通過(guò)運(yùn)動(dòng)檢測(cè)得到圖像中的運(yùn)動(dòng)信息，提取圖像中的運(yùn)動(dòng)目標(biāo)，然后對(duì)目標(biāo)運(yùn)動(dòng)軌跡進(jìn)行跟蹤。 多目標(biāo)的快速實(shí)時(shí)跟蹤與識(shí)別是計(jì)算機(jī)視覺(jué)、圖像處理、模式識(shí)別領(lǐng)域中的熱點(diǎn)問(wèn)題，也是難點(diǎn)問(wèn)題。快速、準(zhǔn)確的捕獲 目標(biāo)在軍事、科研、工業(yè)等方面都有著極其重要的研究意義和價(jià)值 。 目前使用的大多數(shù)圖像系統(tǒng)是由視頻攝像機(jī)（或照相機(jī)）和鏡頭組成。多數(shù)鏡頭的投影成像模型是單個(gè)投影中心的透視。因?yàn)槌上裱b置（如 列）的大小有限，接收入射光時(shí)鏡頭周圍的阻擋，鏡頭只具有一個(gè)圓錐區(qū)域的小視野，而不是一個(gè)半球。為了獲得全方位圖像，旋轉(zhuǎn)成像系統(tǒng)（云臺(tái)）和采用魚(yú)眼鏡頭是兩種傳統(tǒng)的方法。旋轉(zhuǎn)成像系統(tǒng)獲得全景圖像的方法是繞投影中心旋轉(zhuǎn)成像系統(tǒng)，旋轉(zhuǎn)過(guò)程中獲得的一系列圖像拼接成場(chǎng)景（景物）的全景圖像。這種方法的缺點(diǎn)是需要旋轉(zhuǎn)運(yùn)動(dòng)的部件、系統(tǒng)難 以準(zhǔn)確定位，并且要使成像系統(tǒng)旋轉(zhuǎn)一周才能獲得全景圖像，獲取全景圖像花費(fèi)的時(shí)間長(zhǎng)、存在著死區(qū)或者盲點(diǎn)，圖像處理算法復(fù)雜。所以這種方法一般只應(yīng)用于靜態(tài)場(chǎng)景和非實(shí)時(shí)應(yīng)用的領(lǐng)域。采用魚(yú)眼鏡頭取代傳統(tǒng)的鏡頭，因?yàn)轸~(yú)眼鏡頭焦距非常短，可將成像系統(tǒng)的視野擴(kuò)大到半個(gè)球或更大的場(chǎng)景。但是要設(shè)計(jì)制作使所有入射光交會(huì)于一點(diǎn)產(chǎn)生固定的視點(diǎn)的魚(yú)眼鏡頭十分困難。目前已經(jīng)商業(yè)化的魚(yú)眼鏡頭不能構(gòu)建場(chǎng)景的無(wú)失真的透視圖像；此外如果視野要半球，鏡頭更大更復(fù)雜，價(jià)格昂貴。 全方位視覺(jué)傳感器為實(shí)時(shí)獲取場(chǎng)景的全景圖像提供了一種新的解決方案。 全方位視 覺(jué)系統(tǒng) 特點(diǎn)是視野廣 （ 360 度 ） ，能把一個(gè)半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個(gè)場(chǎng)景圖像時(shí)， 場(chǎng)景中的安放位置更加自由；監(jiān)視環(huán)境時(shí) 用瞄準(zhǔn)目標(biāo)；檢測(cè)和跟蹤監(jiān)視范圍內(nèi)的運(yùn)動(dòng)物體時(shí)算法更加簡(jiǎn)單；可以獲得場(chǎng)景的實(shí)時(shí)圖像。 傳統(tǒng)視頻成浙江工業(yè)大學(xué)碩士學(xué)位論文 2 像系統(tǒng)的主要區(qū)別是增加了一個(gè)安裝在成像鏡頭前方的鏡子和一套相應(yīng)的計(jì)算機(jī)圖像處理軟件。把傳統(tǒng)的攝像頭改進(jìn)成 ，產(chǎn)品的技術(shù)和價(jià)格優(yōu)勢(shì)十分明顯。例如，原先對(duì)道路交通（十字路口紅綠燈）的監(jiān)控需要四臺(tái)攝像設(shè)備，且監(jiān)控的算法非常復(fù)雜， 采用這種技術(shù)后僅需要一臺(tái)嵌入式全方位視覺(jué)系統(tǒng)就能實(shí)現(xiàn)同樣功能，同時(shí)也不會(huì)出現(xiàn)監(jiān)控盲區(qū)并能實(shí)現(xiàn)實(shí)時(shí)跟蹤監(jiān)控和有變化進(jìn)行記錄。 內(nèi)外多目標(biāo)跟蹤研究現(xiàn)狀 頻檢測(cè)技術(shù)的發(fā)展與現(xiàn)狀 視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究課題，它在目標(biāo)跟蹤、視頻監(jiān)控和精確制導(dǎo)領(lǐng)域有重要的應(yīng)用。運(yùn)動(dòng)目標(biāo)檢測(cè)的目的是從序列圖像中將變化區(qū)域從背景圖像中提取出來(lái)，運(yùn)動(dòng)區(qū)域的有效分割對(duì)于目標(biāo)分類、跟蹤、行為理解等后期處理至關(guān)重要 1。 近年來(lái)，國(guó)內(nèi)外學(xué)者對(duì)視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)進(jìn)行了許多研究，比較常用的 方法有光流法 ，幀差法和減背景法 。 光流法的優(yōu)點(diǎn)是能夠檢測(cè)獨(dú)立運(yùn)動(dòng)的對(duì)象 ，不需要預(yù)先知道場(chǎng)景的任何信息 ， 并且可用于攝像機(jī)運(yùn)動(dòng)的情況 ， 但多數(shù)光流法計(jì)算復(fù)雜耗時(shí) ， 很難實(shí)現(xiàn)實(shí)時(shí)檢測(cè) ； 使用相鄰幀差的算法非常適合于動(dòng)態(tài)變化的環(huán)境 ， 但不能完整地分割運(yùn)動(dòng)對(duì)象 ， 當(dāng)場(chǎng)景中運(yùn)動(dòng)目標(biāo)沒(méi)有顯著運(yùn)動(dòng)時(shí) ， 往往會(huì)在目標(biāo)檢測(cè)時(shí)留下大面積的本應(yīng)屬于目標(biāo)而卻未被檢測(cè)到的區(qū)域 。 背景差分法是目前運(yùn)動(dòng)分割中最常用的一種方法 ， 它是利用當(dāng)前圖像與背景圖像的差分來(lái)檢測(cè)運(yùn)動(dòng)區(qū)域的一種技術(shù)。目前大部分研究人員都致力于開(kāi)發(fā)不同的背景模型 ， 以期減少動(dòng)態(tài)場(chǎng)景變化對(duì)運(yùn)動(dòng) 分割的影響。已有許多文章提出了各種背景建模方法 ，如 2利用最小、最大強(qiáng)度值和最大時(shí)間差分值為場(chǎng)景中每個(gè)像素進(jìn)行統(tǒng)計(jì)建 ； 3建立了自適應(yīng)多高斯模型 ； 4利用像素色彩和梯度信息相結(jié)合的自適應(yīng)背景模型。 由于這三種方法各有優(yōu)缺點(diǎn) 有人提出許多方法的融合改進(jìn) ， 如基于邊緣的背景去除法 5， 但該類方法存在著由于運(yùn)動(dòng)目標(biāo)邊緣與背景邊緣可能有一定交迭 ， 使部分運(yùn)動(dòng)目標(biāo)信息被去除的缺點(diǎn) 。 又如 6提出一種獲取運(yùn)動(dòng)物體精確位置的方法 ， 但計(jì)算量大并且有一幀 時(shí)間的滯后浙江工業(yè)大學(xué)碩士學(xué)位論文 3 性 。 目標(biāo)跟蹤技術(shù)的研究現(xiàn)狀 跟蹤過(guò)程中目標(biāo)的暫時(shí)消失、相互遮擋導(dǎo)致目標(biāo)信息丟失 ， 如何在復(fù)雜情況中跟蹤目標(biāo)、獲得目標(biāo)的運(yùn)動(dòng)軌跡是難點(diǎn)之一。目前國(guó)內(nèi)外一些知名專家學(xué)者對(duì)多運(yùn)動(dòng)目標(biāo)匹配問(wèn)題，國(guó)內(nèi)外的研究主要有： 楊勇等使用單模態(tài)背景模型，用連通檢測(cè)的方法分割出目標(biāo)，取得目標(biāo)信息，采用特征參數(shù)匹配的方法跟蹤目標(biāo)，對(duì)實(shí)際中出現(xiàn)的目標(biāo)停止移動(dòng)、被背景遮掩和相交運(yùn)動(dòng)等情況做了分析，但是其研究是在靜止背景條件下的 7。萬(wàn)琴等針對(duì)固定監(jiān)控場(chǎng)景提出的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤方案 8，利用像素梯度及色度 均值、方差分布建立并實(shí)時(shí)更新背景模型。在目標(biāo)跟蹤模塊 ， 引入卡爾曼濾波器預(yù)測(cè)目標(biāo)參數(shù) ， 建立幀間目標(biāo)匹配矩陣完成目標(biāo)匹配。但她的方法主要存在的不足是不能完整、準(zhǔn)確地分割前景目標(biāo)；視場(chǎng)中有四個(gè)以上的目標(biāo)、目標(biāo)運(yùn)動(dòng)情況復(fù)雜多變時(shí) ， 算法準(zhǔn)確度降低。 蔡征等 應(yīng)用 波完成運(yùn)動(dòng)預(yù)測(cè) ， 在關(guān)聯(lián)匹配中提出了一種代價(jià)函數(shù)方法 ， 通過(guò)分析運(yùn)動(dòng)特性提出了幾種補(bǔ)償算法 ， 有效解決了跟蹤中的重合、目標(biāo)暫時(shí)消失等問(wèn)題 ， 實(shí)現(xiàn)了對(duì)目標(biāo)的正確跟蹤 9，其主要缺點(diǎn)是背景不能及時(shí)更新。 文獻(xiàn) 10中介紹了運(yùn)動(dòng)檢測(cè)時(shí)運(yùn)用基于條件的形態(tài)學(xué)重建有效地來(lái)消除陰影和光白，運(yùn)動(dòng)跟蹤時(shí)運(yùn)用時(shí)間模板地方法和 的方法不適合在過(guò)多目標(biāo)重合和長(zhǎng)時(shí)間重合的情況下。, , 決了靜止攝像機(jī)下跟蹤識(shí)別剛性非剛性物體互相作用的情況 11。該方法用形狀來(lái)跟蹤目標(biāo)，顯然對(duì)于目標(biāo)變形的情況下會(huì)匹配錯(cuò)誤。 波結(jié)合顏色信息來(lái)檢測(cè)跟蹤多個(gè)運(yùn)動(dòng)目標(biāo) 12。 uo . 樣條曲面的方法彈性匹配目標(biāo)，從而實(shí)時(shí)跟蹤多目標(biāo) 13。 浙江工業(yè)大學(xué)碩士學(xué)位論文 4 方位視覺(jué)的概述 方位視覺(jué)的介紹 全方位圖像 (稱基于反射鏡面的圖像 (是由全方位視覺(jué)設(shè)備生成的一種圖像。全方位視覺(jué)設(shè)備由一個(gè) 光鏡負(fù)責(zé)將水平一周的 圖像反射給攝像機(jī)成像 （如圖 1示） 。這樣在一幅圖像中就能獲得水平方向 360 度的環(huán)境信息。由于全方位圖像有較大的視野，使全方位視覺(jué)系統(tǒng)適用于某些大視野的應(yīng)用。隨著計(jì)算機(jī)處理能力的提高以及視覺(jué)傳感器件的普遍應(yīng)用，進(jìn)入 21 世紀(jì)后，基于 全方位視覺(jué)系統(tǒng)近幾年迅速發(fā)展， 迅速應(yīng)用于監(jiān)控領(lǐng)域和機(jī)器人視覺(jué)引導(dǎo)，正成為計(jì)算機(jī)視覺(jué)研究中的重要領(lǐng)域， 2000 年開(kāi)始舉辦每年一次的全方位視覺(jué)的專門(mén)研討會(huì)（ 最近的一屆于 2005 年 10 月在北京舉行，會(huì)上交流全方位視覺(jué)攝像機(jī)的成像理論和具體的應(yīng)用研究成果，會(huì)上交流的研究成果越來(lái)越多?？梢灶A(yù)見(jiàn)，全方位視覺(jué)將成為計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)重要的研究?jī)?nèi)容。 圖 1方位 視覺(jué) 設(shè)備 使用全方位視覺(jué)的主要優(yōu)點(diǎn)為： 浙江工業(yè)大學(xué)碩士學(xué)位論文 5 1、 信息量大。全方位視覺(jué)傳感器視野廣，能把一個(gè)半球視野中的信息壓縮成一幅圖像。而這原來(lái)需要 4攝像機(jī)同時(shí)拍攝才能達(dá)到同樣的效果。 2、 安裝方便。在獲取全景圖像 時(shí) ，利用全方位視覺(jué)傳感器安裝位置自由，可以替代原來(lái)多個(gè)攝像頭， 從而大大減少了投資所需要的成本。 3、 觀察方便。在 監(jiān)控的過(guò)程中，全方位視覺(jué)傳感器不用瞄準(zhǔn)目標(biāo)就能監(jiān)視其行為。此外，通過(guò)全方位的展開(kāi)軟件，還可以生成全景 圖像 ，即在一幅場(chǎng)景上即可以觀察 360 度的環(huán)幕場(chǎng)景，改變了以往需多個(gè)場(chǎng)景同時(shí)觀看才能獲得的總體信息 的情況 ，減少了監(jiān)控人員的總體工作量。 全方位視覺(jué)帶來(lái)的缺點(diǎn)是為彌補(bǔ)以上的優(yōu)點(diǎn)所付出的代價(jià)。 1、全方位視覺(jué)圖像由于拍攝時(shí)存在 圖像被扭曲的現(xiàn)象，不符合人的觀察習(xí)慣，需要進(jìn)行轉(zhuǎn)換，才能生成人能所理解的圖像內(nèi)容。 2、圖像精確度的降低。這包括兩大方面：一是一張圖片中容納了更多的信息，必然導(dǎo)致圖像部分細(xì)節(jié)方面的丟失。二是 在轉(zhuǎn)換成人能所理解的圖像內(nèi)容時(shí)，也會(huì)丟失掉部分的圖像信息。 3、成像時(shí)點(diǎn)的不均勻性，空間中的信息在全方位圖像上成像時(shí)，其成像密度存在著很大的差別。反射鏡面曲率越大，圖像的不均勻性越嚴(yán)重。 方位視覺(jué)的應(yīng)用現(xiàn)狀 全方位視覺(jué)的研究，具有十分巨大的實(shí)際意義。無(wú)論是靜態(tài)圖像還是運(yùn)動(dòng)檢測(cè)，無(wú)論是在消費(fèi)市場(chǎng)還是在產(chǎn)業(yè)，全方位視覺(jué)的應(yīng)用領(lǐng)域都十分廣闊，單是監(jiān)控市場(chǎng)就十分巨大。全方位視覺(jué)傳感器由于其獨(dú)特的 360 度全景成像能力、成像的旋轉(zhuǎn)不變性、更全面的環(huán)境信息和較低的分辨率等特點(diǎn)，是建立低成本高性能全景圖像系 統(tǒng)的最佳方案。 全方位視覺(jué)由于其特性，非常適合于需要大視野的應(yīng)用，故國(guó)外研究者在全方位視覺(jué)的具體應(yīng)用上也做了大量的研究，主要的研究方向如下： 1、視頻監(jiān)控 由于全方位視覺(jué)的特性，可用于代替多個(gè)普通的攝像頭來(lái)進(jìn)行視頻的監(jiān)控，在十字路口一次性可以查看幾條道路的通行情況，在房間的結(jié)合處安裝一個(gè)全方浙江工業(yè)大學(xué)碩士學(xué)位論文 6 位視覺(jué)設(shè)備可一次性查看兩個(gè)或多個(gè)房間的情況。同時(shí)在該應(yīng)用上發(fā)展出來(lái)針對(duì)全方位視覺(jué)的人體檢測(cè)與跟蹤。 4設(shè)計(jì)了一個(gè)將拋物面全方位圖像恢復(fù)成全景圖和透視圖后用于監(jiān)控和檢測(cè)的實(shí)例。 5提出了一種全方位視覺(jué)條件下基于時(shí)空分析的步態(tài)檢測(cè)方法。 2、視頻會(huì)議 視頻會(huì)議是當(dāng)今研究的熱點(diǎn)之一，視頻會(huì)議相對(duì)于傳統(tǒng)的會(huì)議，大大節(jié)省了人力和成本。而在會(huì)議中使用全方位視覺(jué)設(shè)備，在一個(gè)圓桌中不需要硬件的切換可以獲得全部參與會(huì)議者的視頻信息。微軟公司 究院曾做過(guò)該方面的一系列研究，并給出了軟硬件的實(shí)現(xiàn)環(huán)境與實(shí)現(xiàn)方法 16。慕尼黑工業(yè)大學(xué)的研究者提出了使用全方位視覺(jué)視頻會(huì)議時(shí)的一些臉部跟蹤方法 17。 8等提出全方位視頻會(huì)議時(shí)的會(huì)議者的追 蹤，跟據(jù)臉部的人物識(shí)別等方法。 3、機(jī)器人導(dǎo)航 將全方位視覺(jué)應(yīng)用于機(jī)器人導(dǎo)航是全方位視覺(jué)應(yīng)用的重點(diǎn)，也是全方位視覺(jué)應(yīng)用研究人員最多，研究成果最多的應(yīng)用。傳統(tǒng)的機(jī)器人視覺(jué)系統(tǒng)主要是采用常規(guī)鏡頭的攝像機(jī)直接獲取場(chǎng)景的信息，這種方法的主要問(wèn)題是視場(chǎng)角較小，只能獲取視野有限的局部信息，為獲取大視野場(chǎng)景圖像，可將單個(gè)鏡頭旋轉(zhuǎn)或多個(gè)普通鏡頭水平組合得到。但這種方法的問(wèn)題是不同位置攝像機(jī)光心的物理位置不能真正重合，因此定位精度底。所以近二十年來(lái)人們開(kāi)始研究基于單個(gè)曲面反射鏡面的全方位攝像機(jī)系統(tǒng)實(shí)現(xiàn)機(jī)器人定位。最早日本大坂 大學(xué)的 9 91 年設(shè)計(jì)了錐面反射鏡的全方位視覺(jué)傳感器用于室內(nèi)環(huán)境中的機(jī)器人導(dǎo)航，在他的后續(xù)研究中，分別對(duì)該機(jī)器人導(dǎo)航方法進(jìn)行了碰撞檢測(cè)研究、建立簡(jiǎn)單室內(nèi)環(huán)境地圖研究與檢測(cè)未知障礙物研究。 1997 年，卡內(nèi)基梅隆大學(xué)研制的利用全方位視覺(jué)系統(tǒng)導(dǎo)航的機(jī)器人在 40 天內(nèi)走過(guò) 200功穿越智利的阿塔卡馬沙漠。3等人將全方位視覺(jué)設(shè)備用于無(wú)人駕駛直升機(jī)的導(dǎo)航。 4、虛擬現(xiàn)實(shí) 虛擬現(xiàn)實(shí)就是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)系統(tǒng)。這種系統(tǒng)生成的各種虛擬環(huán)境 ， 作用于用戶的視 覺(jué)、聽(tīng)覺(jué)、觸覺(jué) ， 使用戶產(chǎn)生身臨其境的感覺(jué) ，沉浸其中。由于全方位視覺(jué)大視野的特性，減少了生成虛擬環(huán)境時(shí)信息采集的工浙江工業(yè)大學(xué)碩士學(xué)位論文 7 作量。根據(jù)生成方式不同的分類，虛擬現(xiàn)實(shí)系統(tǒng)可分為基于實(shí)景圖像的虛擬現(xiàn)實(shí)系統(tǒng)與基于幾何模型圖形構(gòu)造的虛擬現(xiàn)實(shí)系統(tǒng) 24。在基于實(shí)景圖像應(yīng)用的虛擬現(xiàn)實(shí)系統(tǒng)方面， . 5人提出了如何對(duì)大量的全方位圖像進(jìn)行采樣、有層次的壓縮與存儲(chǔ)，構(gòu)建出一個(gè)交互式的虛擬空間，使用者可以在里面自由走動(dòng)。 7等分析并比較了基于全光建模 (三種方法。在基于幾何模型圖形構(gòu)造研究方面。 2001 年用一張全方位圖像通過(guò)人工選定的方法構(gòu)建出空間三維造型。大量的三維景物重建的工作都基于兩張圖像以上的匹配，以 重建工作最為典型 28。 9 2003 年提出了一種通過(guò)少量全方位圖片來(lái)進(jìn)行空間三維信息的恢復(fù)方法 ， 并給出了可靠點(diǎn)的選擇方法。而 1等人則提出了在全景圖基礎(chǔ)上的景物重建方法。 文研究的內(nèi)容和文章結(jié)構(gòu) 本文主要的研究 內(nèi)容是利全方位設(shè)備，實(shí)現(xiàn)在全方位視頻的動(dòng)態(tài)背景下多個(gè)運(yùn)動(dòng)目標(biāo)的檢測(cè)識(shí)別與跟蹤。對(duì)于 有 多個(gè)運(yùn)動(dòng)目標(biāo) 的視場(chǎng) 只需要一個(gè)全方位攝像機(jī)就可以對(duì)每一目標(biāo)進(jìn)行檢測(cè)并跟蹤，同時(shí)解決多個(gè)目標(biāo)相互遮擋，遮擋目標(biāo)分離，新目標(biāo)出現(xiàn)，目標(biāo)消失等情況。 本文主要目標(biāo)是 設(shè)計(jì)一種新的全方位視覺(jué)監(jiān)視系統(tǒng) ， 用來(lái)對(duì)多個(gè)運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)運(yùn)動(dòng)檢測(cè)跟蹤。 其中 主要研究?jī)?nèi)容包括：運(yùn)動(dòng)區(qū)域檢測(cè)，運(yùn)動(dòng)目標(biāo)分割，運(yùn)動(dòng)目標(biāo)跟蹤。 本文共分為五章，具體安排如下： 第一章：作為文章的緒論，介紹了本文涉及的基本概念，研究背景， 研究現(xiàn)狀 ，研究?jī)?nèi)容等。 第二章：介紹了 運(yùn)動(dòng)目 標(biāo)檢測(cè)的基本算法，提出了幀差和減背景相結(jié)合的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，并介紹了用形態(tài)學(xué)方法對(duì)圖像進(jìn)行去噪，用連通域標(biāo)識(shí)的方法對(duì)目標(biāo)進(jìn)行分割，最后還考慮了如何處理目標(biāo)碎片的問(wèn)題。 第三章： 該章重點(diǎn)對(duì)目標(biāo)跟蹤實(shí)現(xiàn)進(jìn)行了詳細(xì)的介紹。主要包括：運(yùn)動(dòng)目標(biāo)預(yù)測(cè)，目標(biāo)匹配算法，目標(biāo)跟蹤算法。在對(duì)多目標(biāo)進(jìn)行跟蹤的過(guò)程中分析了目標(biāo)可能會(huì)出現(xiàn)的復(fù)雜情況， 多目標(biāo)合并，目標(biāo)分離，目標(biāo)消失，目標(biāo)新出現(xiàn)等情況。 浙江工業(yè)大學(xué)碩士學(xué)位論文 8 第四章：該章對(duì) 基于全方位視覺(jué)的多目標(biāo)檢測(cè)跟蹤系統(tǒng)，在開(kāi)發(fā)平臺(tái)，詳細(xì)設(shè)計(jì)，具體實(shí)現(xiàn)上分別作了詳細(xì)介紹。 第五章：全文的總結(jié)以及進(jìn)一步的 工作。該章對(duì)前面各章節(jié)所做的工作進(jìn)行了歸納與總結(jié)，并探討了作者對(duì)下一步研究的一些設(shè)想。 章 小 結(jié) 本章 綜述了視頻檢測(cè)技術(shù)的發(fā)展與現(xiàn)狀，國(guó)內(nèi)外目標(biāo)跟蹤技術(shù)的研 究 現(xiàn)狀，并對(duì) 用全方位視覺(jué)設(shè)備實(shí)現(xiàn)多目標(biāo)檢測(cè)跟蹤做了一個(gè)基本的介紹 ，包括 全方位視覺(jué)優(yōu) 點(diǎn) 和應(yīng)用現(xiàn)狀 。 最后對(duì) 本文所研究的主要內(nèi)容 及各章節(jié)的安排 進(jìn)行簡(jiǎn)短的概述。 浙江工業(yè)大學(xué)碩士學(xué)位論文 9 第二章 運(yùn)動(dòng)目標(biāo)檢測(cè) 動(dòng)目標(biāo)檢測(cè)算法介紹 流法 光流是空間運(yùn)動(dòng)物體被觀測(cè)面上的像素點(diǎn)運(yùn)動(dòng)產(chǎn)生的瞬時(shí)速度場(chǎng)，包含了物體 3D 表面結(jié)構(gòu)和動(dòng)態(tài)行為的重要信息 32。 一般情況下，光流由相機(jī)運(yùn)動(dòng)、場(chǎng)景中目標(biāo)運(yùn)動(dòng)，或兩者的運(yùn)動(dòng)產(chǎn)生。當(dāng)場(chǎng)景中有獨(dú)立的運(yùn)動(dòng)目標(biāo)時(shí)，通過(guò)光流分析可以確定運(yùn)動(dòng)目標(biāo)的數(shù)目、運(yùn)動(dòng)速度、目標(biāo)距離和目標(biāo)的表面結(jié)構(gòu)。 對(duì)于 光流 的研究已經(jīng)在環(huán)境建模、目標(biāo)檢測(cè)與跟蹤、自動(dòng)導(dǎo)航及視頻事件分析中得到了廣泛的應(yīng)用 33 在空間中，運(yùn)動(dòng)可以用運(yùn)動(dòng)場(chǎng)描述。而在一個(gè)圖像平面上，物體的運(yùn)動(dòng)往往是通過(guò)圖像序列中不同圖 像 灰度分布的不同體現(xiàn)的。從而，空間中的運(yùn)動(dòng)場(chǎng)轉(zhuǎn)移到圖像上就表示為光流場(chǎng)，光流場(chǎng)反映了圖像上每一點(diǎn)灰度的變化趨勢(shì)。光流可以看作帶有灰度的像素點(diǎn)在圖像平面運(yùn)動(dòng)產(chǎn)生 的瞬時(shí)速度場(chǎng)。 光流方程推導(dǎo)：假設(shè) E( , , )x y t 為 (x,y)點(diǎn)在時(shí)刻 t 的 灰度 。設(shè) t+刻該點(diǎn)運(yùn)動(dòng)到 (x+dx,y+，他的灰度為 E ( , , )x d x y d y t d t 。我們認(rèn)為，由于對(duì)應(yīng)同一個(gè)點(diǎn)，所以 E ( , , ) E ( , , )x y t x d x y d y t d t (2將上 面 光流約束方程 式右邊做泰勒展開(kāi)，并令 ，則得到： E E E 0x u y v t ，其中： E E/x d E E/y d E E/t d /u dx /v dy 上面的 y,計(jì)算都很簡(jiǎn)單，用離散的差分代替導(dǎo)數(shù)就可以了。光流法的主要任務(wù)就是通過(guò)求解光流約束方程求出 u,v。但是由于只有一個(gè)方程，所以這是個(gè)病態(tài)問(wèn)題。 故而 人們提出了各 種其他的約束方程以聯(lián)立求解。但是 當(dāng) 用于浙江工業(yè)大學(xué)碩士學(xué)位論文 10 攝像機(jī)固定的這一特定情況，問(wèn)題可以大大簡(jiǎn)化。 在攝像機(jī)固定的情形下，運(yùn)動(dòng)物體的檢測(cè)其實(shí)就是分離前景和背景的問(wèn)題。對(duì)于背景理想情況下，其光流應(yīng)當(dāng)為 0，只有前景才有光流。并不 需要 通過(guò)求解光流約束方程求出 u,v。 只要求出亮度梯度方向的速率就可以了，即求出22。 而由 光流 約束方程可以很容易求得 梯度 方向的光流速度為： 22E / E EV t x y (2因此 設(shè)定一個(gè)閾值 T。 ( , ) T ( , )( , ) T ( , )V x y x yV x y x y， 是 前 景， 是 背 景(2光流計(jì)算方法大致可分為三類：基于匹配的、頻域的或梯度的方法。 基于匹配的光流計(jì)算方法包括基于特征和區(qū)域的兩種?；谔卣鞯姆椒ú粩嗟貙?duì)目標(biāo)主要特征進(jìn)行定位和跟蹤，對(duì)目標(biāo)大的運(yùn)動(dòng)和亮度變化具有魯棒性。存在的問(wèn)題是光流通常很稀疏，而且特征提取和精確匹配也十分困難?；趨^(qū)域的方法先對(duì)類似的區(qū)域進(jìn)行定位，然后通過(guò)相似區(qū)域的位移計(jì)算光流。這種方法在視頻編碼中得到了廣泛的應(yīng)用。然而，它計(jì)算的光流仍不稠密。另外，這兩種方法估計(jì)像素精度的光流也 較 困難，計(jì)算量很大。在考慮光流精度和稠密性時(shí)，