機(jī)器人雙目識(shí)別系統(tǒng)

1、機(jī)器人雙目視覺(jué)系統(tǒng)的標(biāo)定(bio dn)與定位匯報(bào)(hubo)人 :指導(dǎo)導(dǎo)師:共二十一頁(yè)閱讀(yud)文獻(xiàn)的前期思想：方法內(nèi)容思想可行精確懷疑學(xué)習(xí)(xux)目標(biāo)機(jī)器人雙目： 利用仿生學(xué)模擬人眼視覺(jué)標(biāo)定與定位：利用已有技術(shù)，對(duì)機(jī)器人視野范圍內(nèi)的事物進(jìn)行空間立體分析，找到所要三維坐標(biāo)，從而實(shí)現(xiàn)機(jī)器人對(duì)物體的具體操作。共二十一頁(yè)匯報(bào)提綱一、所讀論文二、國(guó)內(nèi)外關(guān)于該課題的研究現(xiàn)狀(xinzhung)三、研究?jī)?nèi)容和解決的關(guān)鍵問(wèn)題四、采取的研究方法步驟、技術(shù)路線和可行性分析五、疑問(wèn)與想法共二十一頁(yè)所讀文獻(xiàn)(wnxin)1、機(jī)器人雙目視覺(jué)系統(tǒng)的標(biāo)定與定位(dngwi)算法2、基于雙目立體視覺(jué)的三維定位技術(shù)研

2、究3、基于雙目立體視覺(jué)的三維信息獲取技術(shù)研究4、基于雙目立體視覺(jué)的移動(dòng)機(jī)器人目標(biāo)定位5、基于雙目立體視覺(jué)技術(shù)的成熟番茄識(shí)別與定位共二十一頁(yè)國(guó)內(nèi)外關(guān)于(guny)該課題的研究現(xiàn)狀 立體視覺(jué)的開(kāi)創(chuàng)性工作是從 60 年代(nindi)中期開(kāi)始的，美國(guó) MIT 的 Roberts 首先成功地用程序完成了對(duì)三維積木世界的解釋?zhuān)堰^(guò)去的二維圖像分析推廣到了三維，并且在隨后的 20 年中迅速發(fā)展并形成了一門(mén)新的學(xué)科。1、華盛頓大學(xué)與微軟公司寬基線立體視覺(jué)系統(tǒng)：對(duì)跨越的幾千米內(nèi)的地形進(jìn)行精確的定位導(dǎo)航2、麻省理工學(xué)院計(jì)算機(jī)系提出了一種新的用于智能交通工具的傳感器融合方法，能夠在高速環(huán)境下對(duì)視頻圖像中的目標(biāo)位置

3、進(jìn)行分割3、CMU 大學(xué)基于圖像的三維重構(gòu)系統(tǒng)4、Katholieke 大學(xué)可變內(nèi)參數(shù)下的攝像機(jī)自標(biāo)定技術(shù)：可自動(dòng)實(shí)現(xiàn)自標(biāo)定和分層重構(gòu)5、日本大阪大學(xué)自適應(yīng)的雙目視覺(jué)伺服系統(tǒng)：對(duì)運(yùn)動(dòng)方式未知的目標(biāo)的自適應(yīng)跟蹤6、浙江大學(xué)透視成像原理：采用雙目體視方法實(shí)現(xiàn)了對(duì)多自由度機(jī)械裝置的動(dòng)態(tài)、精確位姿檢測(cè)共二十一頁(yè)該課題(kt)的研究現(xiàn)狀涉及面廣（航空測(cè)繪、軍事應(yīng)用、醫(yī)學(xué)診斷及工業(yè)(gngy)檢測(cè)等）可用性研究趨勢(shì)評(píng)估指標(biāo)的轉(zhuǎn)變（重視內(nèi)容、智能分析、多領(lǐng)域的應(yīng)用）方法多樣（邊緣檢測(cè)、區(qū)域圖像分割及最小二乘算法等）共二十一頁(yè)研究(ynji)內(nèi)容：實(shí)現(xiàn)該過(guò)程一般包括如下幾個(gè)功能模塊：圖像獲取、攝像機(jī)標(biāo)定、識(shí)別

4、、定位、立體匹配。主要研究雙目立體視覺(jué)系統(tǒng)的各項(xiàng)關(guān)鍵技術(shù)及其具體實(shí)現(xiàn)，使之能夠精確定位手術(shù)器械，從而為機(jī)器人具體操作提供一定(ydng)的輔助作用。共二十一頁(yè)解決(jiju)的關(guān)鍵問(wèn)題：機(jī)器人雙目視覺(jué)(shju)的可用性指標(biāo)標(biāo)定的要求定位的要求識(shí)別的要求共二十一頁(yè)采取的研究方法步驟和技術(shù)(jsh)路線需求(xqi)評(píng)估構(gòu)建研究個(gè)案優(yōu)化驗(yàn)證驗(yàn)證方法的有效性標(biāo)定內(nèi)部參數(shù)兩攝像機(jī)之間的位置關(guān)系+外部參數(shù) 定位（目標(biāo)點(diǎn)的 深度測(cè)量）平臺(tái)構(gòu)建（兩臺(tái)攝像機(jī)、兩個(gè)圖像采集卡以及兩臺(tái)驅(qū)動(dòng)電機(jī)）識(shí)別彩色圖像轉(zhuǎn)換灰質(zhì)圖像閾值圖像分割共二十一頁(yè)機(jī)器人雙目視覺(jué)(shju)的機(jī)構(gòu)平臺(tái)如圖所示，兩臺(tái)(lin ti)攝像機(jī)

5、位置相對(duì)固定，同時(shí)拍攝同一場(chǎng)景的圖像，水平軸和豎直軸分別裝有驅(qū)動(dòng)電機(jī)以實(shí)現(xiàn)系統(tǒng)的仰俯和旋轉(zhuǎn)動(dòng)作。共二十一頁(yè)標(biāo) 定攝像機(jī)針孔(zhn kn)成像數(shù)學(xué)模型：式中：s 為比例常數(shù), A 為攝像機(jī)內(nèi)部參數(shù)(固定不變), Rt為攝像機(jī)外部參數(shù)(表示攝像機(jī)坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系,隨世界坐標(biāo)系的選定(xun dn)而變化), Mw和m分別表示目標(biāo)點(diǎn)世界坐標(biāo)及其對(duì)應(yīng)的像點(diǎn)像素坐標(biāo)的極坐標(biāo)。共二十一頁(yè)識(shí) 別實(shí)時(shí)(sh sh)準(zhǔn)確地識(shí)別采集到的圖像中的目標(biāo)對(duì)象，是機(jī)器人視覺(jué)系統(tǒng)的關(guān)鍵，而目標(biāo)識(shí)別的實(shí)質(zhì)是圖像分割。在圖像分割之前(zhqin)，要將彩色圖像進(jìn)行灰度變換，例如可以將彩色圖像變換為灰度圖像。式中

6、I灰度值；R，G 和 B RGB 顏色空間中像素的 3 個(gè)分量共二十一頁(yè)識(shí) 別目標(biāo)(mbio)圖像和背景圖像必須存在較大的色差，根據(jù)這個(gè)特征，對(duì)圖像中的每個(gè)像素進(jìn)行了色差處理，以增強(qiáng)背景和目標(biāo)對(duì)象的反差，圖像中每一個(gè)像素的色差表示為 C=R -I，即：共二十一頁(yè)識(shí) 別 根據(jù)灰度圖像的直方圖，采用合適(hsh)的閾值進(jìn)行圖像分割，設(shè) T 是所取閾值，閾值分割理論如下公式所示。當(dāng)圖像中像素的色差值小于所設(shè)定的閾值時(shí)，將像素的灰度值設(shè)置為 0；當(dāng)圖像中像素的色差值大于或等于所設(shè)定的閾值時(shí)，將像素的灰度值設(shè)置為 255。目標(biāo)對(duì)象與背景之間的色差值存在較大的差異。只要閾值選擇恰當(dāng)(qidng)，就可以得

7、到較好的分割效果。共二十一頁(yè)定 位 雙目立體視覺(jué)計(jì)算目標(biāo)點(diǎn)深度值的模型如圖所示，f 為 CCD 攝像機(jī)的焦距，b 為兩攝像機(jī)的中心距離，R為目標(biāo)點(diǎn)的深度值，XL和 XR分別(fnbi)是目標(biāo)點(diǎn)在左右圖中的位置。共二十一頁(yè)定 位 目標(biāo)點(diǎn)在立體圖像對(duì)中的視差為其在兩圖中水平方向上的距離，即視差 D=|XLXR|。根據(jù)三角測(cè)量原理(yunl)，可獲得深度值 R 與視差 D 的關(guān)系：共二十一頁(yè)立體匹配 立體匹配是在兩幅存在視點(diǎn)差異，幾何、灰度畸變和噪聲干擾的圖像間進(jìn)行，尋求同一空間景物在不同視點(diǎn)下投影圖像的像素間的一一對(duì)應(yīng)關(guān)系，亦即給定一幅圖像中的一點(diǎn)，尋找另一幅圖像中的對(duì)應(yīng)點(diǎn)，使得這兩點(diǎn)為空間同一物

8、體點(diǎn)的投影，進(jìn)而可以求出二者視差(shch)，用以恢復(fù)圖像的深度信息，并可以進(jìn)一步求得某些特征的空間坐標(biāo)以及由稀疏的三維數(shù)據(jù)恢復(fù)整個(gè)曲面。共二十一頁(yè)立體匹配 立體匹配方法很多，但無(wú)論對(duì)于哪一種立體匹配方法的設(shè)計(jì)，都必須解決(jiju)以下三個(gè)方面問(wèn)題：匹配(ppi)基元選擇：選擇適當(dāng)?shù)膱D像特征作為匹配基元，如點(diǎn)、直線、區(qū)域、相位等；匹配準(zhǔn)則：將關(guān)于物理世界的某些固有特性表示為匹配所必須遵循的若干規(guī)則，使匹配結(jié)果能真實(shí)反映景物的本來(lái)面目；算法結(jié)構(gòu)：利用適當(dāng)?shù)臄?shù)學(xué)方法設(shè)計(jì)能正確匹配所選基元的穩(wěn)定算法。共二十一頁(yè)疑問(wèn)(ywn)和想法疑問(wèn)和想法：雙目視覺(jué)系統(tǒng)，在實(shí)際操作中肯定存在誤差，但是其對(duì)機(jī)器人采棉很有借鑒意義，我進(jìn)一步想到(xin do)機(jī)器人采棉機(jī)器手如何躲過(guò)棉花的枝葉來(lái)采摘棉花，以及怎樣避免采摘到成熟的棉花殼。再進(jìn)一步的研究中，會(huì)多加關(guān)注和學(xué)習(xí)。共二十一頁(yè)敬請(qǐng)老師(losh)批評(píng)指正！共二十一頁(yè)內(nèi)容摘要機(jī)器人雙目視覺(jué)系統(tǒng)的標(biāo)定與定位。1、華盛頓大學(xué)與微軟公司寬基線立體視覺(jué)系統(tǒng)：對(duì)跨越的幾千米內(nèi)的地形進(jìn)行精確的定位導(dǎo)航。2、麻省理工學(xué)院計(jì)算機(jī)系提出了一種新的用于智能交通工具的傳感器融合方法，能夠在高速環(huán)境下對(duì)視頻圖像中的目標(biāo)(mbio)位置進(jìn)行分割。4、Katholieke 大學(xué)可變內(nèi)參數(shù)下的攝像機(jī)自標(biāo)定技術(shù)：可自動(dòng)實(shí)現(xiàn)自標(biāo)定和分層重構(gòu)。5