智能機(jī)器人原理與應(yīng)用 課件 第13章 家庭智能空間服務(wù)機(jī)器人日常工具功用性認(rèn)知

智能機(jī)器人原理與應(yīng)用“智能檢測(cè)技術(shù)與模式識(shí)別”研究所13家庭智能空間服務(wù)機(jī)器人日常工具功用性認(rèn)知指在日常生活中，人們用刀削蘋(píng)果、用錘子敲擊釘子，選擇不同工具完成不同任務(wù)的依據(jù)是工具本身的特性決定的。如果選擇時(shí)去除這種依據(jù)，那么相應(yīng)的任務(wù)就不能很好的完成，因?yàn)槿祟愒诎l(fā)明工具的同時(shí)賦予其不同特性以更好地完成某一類任務(wù)。這種工具所賦有的特性我們稱之為功用性(Affordance)。功用性是工具價(jià)值的體現(xiàn)，了解工具功用性是發(fā)掘其價(jià)值的有效途徑。13.1家庭日常工具的功用性部件檢測(cè)系統(tǒng)框架本章提出的工具部件功用性快速檢測(cè)方法分為離線學(xué)習(xí)和在線檢測(cè)兩個(gè)階段，如圖13.1所示。離線學(xué)習(xí)階段：首先，分別構(gòu)建工具部件功用性邊緣檢測(cè)器和工具部件功用性檢測(cè)器，然后，利用功用性邊緣檢測(cè)器對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行檢測(cè)得到對(duì)應(yīng)概率圖，在概率圖中用一系列閾值篩選出可能區(qū)域，利用工具部件功用性檢測(cè)器對(duì)可能區(qū)域進(jìn)行檢測(cè)，評(píng)估檢測(cè)結(jié)果以確定coarse-to-fine閾值。在線檢測(cè)階段：根據(jù)待檢測(cè)功用性及圖像深度信息計(jì)算相應(yīng)特征矩陣，利用工具部件功用性邊緣檢測(cè)器檢測(cè)功用性區(qū)域邊緣；利用工具部件功用性對(duì)應(yīng)的coarse-to-fine閾值篩選出較精確功用性區(qū)域；計(jì)算選出區(qū)域?qū)?yīng)的特征矩陣，利用工具部件功用性檢測(cè)器進(jìn)行功用性檢測(cè)。圖13.1基于SRF的工具部件功用性快速檢測(cè)整體流程1)特征描述表13.1中列出了不同功用性模型所選取的特征及其維度。這里，不同功用性邊緣檢測(cè)選用的特征不盡相同，選取依據(jù)是該特征對(duì)表征該功用性區(qū)域邊緣有效且顯著。13.2功用性部件檢測(cè)模型離線訓(xùn)練13.2.1功用性部件邊緣檢測(cè)器構(gòu)建GeometricFeatures/DimensionTheObjectiveAffordancegraspcontaincutpoundscoopsupportwrap-graspOrientedGradientHistograms/4DGradientMagnitude/1DMeanCurvatures/1DShapeIndex/1DCurvedness/1D√

√√√√√√√√√√√√√√√√√√√√√√√√√√√

√√表13.1工具部件各功用性邊緣檢測(cè)模型特征選取步驟1由訓(xùn)練數(shù)據(jù)集中的深度圖像計(jì)算各通道特征值，在各個(gè)特征通道中采用滑動(dòng)窗口機(jī)制隨機(jī)提取一定數(shù)量的特征塊及標(biāo)記圖中相應(yīng)的標(biāo)記塊，分別加入特征集和標(biāo)記集。步驟2對(duì)所有標(biāo)記塊進(jìn)行主成分分析，判定其對(duì)應(yīng)樣本為正樣本或負(fù)樣本。步驟3隨機(jī)選擇特征參與構(gòu)建決策樹(shù)。步驟4利用樣本集構(gòu)建決策樹(shù)。在每個(gè)分裂節(jié)點(diǎn)處，從特征中隨機(jī)選擇維特征作為樣本集分裂閾值，選取對(duì)應(yīng)信息增益最大的特征值為該節(jié)點(diǎn)閾值，相應(yīng)的輸入樣本集被分裂成兩個(gè)子樣本集作為子節(jié)點(diǎn)的輸入。步驟5在樣本集分裂過(guò)程中，當(dāng)輸入樣本集取得的最大信息增益小于預(yù)設(shè)值或樣本個(gè)數(shù)不超過(guò)8個(gè)時(shí)停止分裂，這個(gè)節(jié)點(diǎn)就成為葉子節(jié)點(diǎn)，所有樣本停止分裂。步驟6分析步驟5中葉子節(jié)點(diǎn)的輸入樣本集所對(duì)應(yīng)標(biāo)記集，得到標(biāo)記塊作為此葉子節(jié)點(diǎn)的內(nèi)容，所有樣本都到達(dá)葉子節(jié)點(diǎn)則此決策樹(shù)構(gòu)建完成，不需要剪枝。步驟7從步驟1到步驟6重復(fù)8次，生成8棵決策樹(shù)組合形成一個(gè)SRF，即為該種功用性邊緣檢測(cè)模型。步驟8重復(fù)以上步驟，訓(xùn)練其它功用性邊緣檢測(cè)模型，將7種功用性邊緣檢測(cè)模型聯(lián)合構(gòu)成工具部件功用性邊緣檢測(cè)器。13.2功用性部件檢測(cè)模型離線訓(xùn)練13.2.1功用性部件邊緣檢測(cè)器構(gòu)建算法13.2功用性部件檢測(cè)模型離線訓(xùn)練13.2.2功用性部件內(nèi)部檢測(cè)器構(gòu)建1)特征描述與功用性邊緣檢測(cè)器構(gòu)建方法類似，功用性檢測(cè)器的構(gòu)建同樣基于SRF并針對(duì)每種功用性訓(xùn)練相應(yīng)的檢測(cè)模型。不同之處在于，這里所選特征除上節(jié)中梯度幅值、平均曲率、方向梯度直方圖、形狀指數(shù)和曲度外，為精確描述工具部件功用性，還選擇3維表面法向量(SurfaceNormals)和1維高斯曲率(GaussianCurvatures)。本文訓(xùn)練工具部件功用性檢測(cè)模型主要基于7類特征的21個(gè)特征通道：表面法向量3個(gè)、梯度幅值2個(gè)、高斯曲率2個(gè)、平均曲率2個(gè)、方向梯度直方圖8個(gè)、形狀指數(shù)2個(gè)和曲度2個(gè)，除表面法向量外其余特征均在圖像原始尺度和1/2原始尺度下各取一次得到。與訓(xùn)練工具部件功用性邊緣檢測(cè)模型方式類似，功用性檢測(cè)模型同樣基于結(jié)構(gòu)隨機(jī)森林離線學(xué)習(xí)得到，且訓(xùn)練數(shù)據(jù)集由RGB-D圖像和標(biāo)記圖像組成，訓(xùn)練樣本包含特征集和標(biāo)記集兩部分。與訓(xùn)練功用性邊緣檢測(cè)模型的標(biāo)記圖像不同，訓(xùn)練功用性檢測(cè)模型的標(biāo)記圖像是對(duì)整個(gè)功用性區(qū)域做標(biāo)記，目的在于對(duì)整個(gè)功用性區(qū)域進(jìn)行檢測(cè)。算法輸入為由特征集和標(biāo)記集共同組成的樣本集，輸出為工具部件功用性檢測(cè)器。由于功用性檢測(cè)模型與功用性邊緣檢測(cè)模型都是基于結(jié)構(gòu)隨機(jī)森林構(gòu)建，其SRF學(xué)習(xí)過(guò)程相同，這里不再贅述。在完成7種功用性檢測(cè)模型的訓(xùn)練后，將其聯(lián)合起來(lái)構(gòu)成工具部件功用性檢測(cè)器。13.2功用性部件檢測(cè)模型離線訓(xùn)練13.2.2功用性部件內(nèi)部檢測(cè)器構(gòu)建算法如前所述，每種功用性分別對(duì)應(yīng)一個(gè)功用性邊緣檢測(cè)模型，同樣地，針對(duì)不同的邊緣檢測(cè)模型選取不同的coarse-to-fine閾值，其算法描述如下：輸入：訓(xùn)練數(shù)據(jù)集中的幅RGB-D圖像。輸出：閾值。步驟1利用功用性邊緣檢測(cè)器依次對(duì)幅圖像進(jìn)行某種功用性的邊緣檢測(cè)得到其概率圖，在一系列閾值(取值從0到1，每次增量為0.01)下獲取目標(biāo)區(qū)域。步驟2用工具部件功用性檢測(cè)器對(duì)步驟1得到的區(qū)域進(jìn)行功用性檢測(cè)。步驟3對(duì)步驟2的檢測(cè)結(jié)果進(jìn)行評(píng)估，取m幅圖像評(píng)估平均值記為，這樣得到不同閾值的對(duì)應(yīng)關(guān)系，取最大值所對(duì)應(yīng)的閾值即為此種功用性區(qū)域檢測(cè)的閾值。步驟4重復(fù)步驟1到步驟3，完成其它功用性區(qū)域檢測(cè)的閾值選取。13.2功用性部件檢測(cè)模型離線訓(xùn)練13.2.3Coarse-to-fine閾值選取12.3工具功用性部件在線檢測(cè)在線檢測(cè)過(guò)程算法描述如下：輸入：待檢測(cè)RGB-D圖像，待檢測(cè)功用性類別。輸出：概率圖，其中每個(gè)像素的值代表該像素點(diǎn)屬于目標(biāo)功用性區(qū)域的概率。步驟1根據(jù)待檢測(cè)功用性種類選用相應(yīng)邊緣檢測(cè)模型，繼而確定對(duì)應(yīng)幾何特征種類，根據(jù)深度圖像計(jì)算得到特征矩陣。步驟2從特征矩陣讀入檢測(cè)樣本，檢測(cè)樣本只包含特征集，并且記錄樣本在圖像中的位置信息。步驟3功用性邊緣檢測(cè)模型中對(duì)待檢測(cè)樣本分類，利用葉子節(jié)點(diǎn)中內(nèi)容信息對(duì)樣本在圖像中相應(yīng)像素位置點(diǎn)進(jìn)行投票，綜合所有決策樹(shù)結(jié)果得到功用性邊緣檢測(cè)的概率圖。步驟4選擇目標(biāo)功用性對(duì)應(yīng)coarse-to-fine閾值，對(duì)步驟3得到的概率圖進(jìn)行處理，濾除噪聲，篩選出精確功用性區(qū)域邊界，確定目標(biāo)功用性矩形區(qū)域。步驟5計(jì)算步驟4選定區(qū)域?qū)?yīng)的特征矩陣，采用滑動(dòng)窗口機(jī)制讀入檢測(cè)樣本，并記錄樣本在圖像中的位置信息。步驟6功用性檢測(cè)模型對(duì)所有檢測(cè)樣本進(jìn)行分類，利用葉子節(jié)點(diǎn)中內(nèi)容信息對(duì)樣本在圖像中相應(yīng)像素位置點(diǎn)進(jìn)行投票，綜合所有決策樹(shù)結(jié)果得到最終功用性檢測(cè)的概率圖。13.4工具功用性部件實(shí)驗(yàn)13.4.1實(shí)驗(yàn)數(shù)據(jù)集本文實(shí)驗(yàn)選用AustinMyers等人的方法中數(shù)據(jù)集，該數(shù)據(jù)集是目前比較完備的工具部件功用性數(shù)據(jù)集，采集了包含廚房、園藝等共計(jì)17大類105種家庭日常工具的RGB-D信息，涵蓋了grasp、cut、scoop、contain、pound、support和wrap-grasp共7類功用性。每種工具在近300個(gè)不同視角下進(jìn)行采集，如此產(chǎn)生了超過(guò)30000組的RGB-D數(shù)據(jù)，其中有1/3的數(shù)據(jù)進(jìn)行了功用性標(biāo)記。在實(shí)驗(yàn)過(guò)程中，利用標(biāo)記的數(shù)據(jù)完成離線訓(xùn)練和在線測(cè)試，相應(yīng)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)比例約為4:1。圖13.3(a)中列舉了部分工具及其最主要功用性語(yǔ)義描述，圖13.3(b)列舉了不同工具的不同部件所對(duì)應(yīng)的功用性標(biāo)記。圖13.3RGB-D數(shù)據(jù)集中部分對(duì)象(a)為對(duì)應(yīng)功用性，(b)為目標(biāo)部件功用性檢測(cè)結(jié)果13.4工具功用性部件實(shí)驗(yàn)13.4.2評(píng)價(jià)方法及結(jié)果分析本文采用兩種方法對(duì)本文方法和AustinMyers等人的方法對(duì)功用性檢測(cè)結(jié)果進(jìn)行評(píng)價(jià)。離線訓(xùn)練階段，學(xué)習(xí)得到某功用性的邊緣檢測(cè)模型及其功用性檢測(cè)模型(均為由8棵決策樹(shù)構(gòu)成的隨機(jī)森林)，繼而由這兩個(gè)模型學(xué)習(xí)該功用性的coarse-to-fine閾值。依次訓(xùn)練得到各功用性的coarse-to-fine閾值分別為grasp0.57、cut0.38、scoop0.43、contain0.51、pound0.72、support0.59、wrap-grasp0.53。在線檢測(cè)階段，工具部件邊緣檢測(cè)器對(duì)各種工具功用性區(qū)域邊緣進(jìn)行檢測(cè)，效果如圖13.4(b)所示；利用離線學(xué)習(xí)得到的各類工具相應(yīng)的coarse-to-fine閾值加以濾波，篩選出精確功用性區(qū)域，效果如圖13.4(c)所示；工具部件功用性檢測(cè)器對(duì)篩選出區(qū)域進(jìn)行功用性檢測(cè)，效果如圖13.4(d)所示。圖13.4(e)是AustinMyers等人的方法基于SRF方法的功用性檢測(cè)模型對(duì)相同圖像的功用性檢測(cè)結(jié)果。對(duì)比可見(jiàn)，本文方法在背景濾除方面效果顯著。13.4工具功用性部件實(shí)驗(yàn)13.4.2評(píng)價(jià)方法及結(jié)果分析圖13.4本文方法和AustinMyers等人的方法在單一場(chǎng)景下對(duì)不同工具7種功用性檢測(cè)效果。(a)為待檢測(cè)單一場(chǎng)景圖像，(b)為功用性邊緣檢測(cè)器檢測(cè)結(jié)果，(c)為coarse-to-fine閾值濾波結(jié)果,(d)本文最終檢測(cè)結(jié)果，(e)AustinMyers等人的方法檢測(cè)結(jié)果13.4工具功用性部件實(shí)驗(yàn)13.4.2評(píng)價(jià)方法及結(jié)果分析圖13.5給出了復(fù)雜場(chǎng)景下本文方法和AustinMyers等人的方法方法對(duì)不同功用性的檢測(cè)效果。對(duì)比(d)和(e)可以很容易看出，本文方法結(jié)果(d)過(guò)濾掉了AustinMyers等人的方法結(jié)果(e)中的噪聲干擾，直接找到了目標(biāo)功用性部件。在抓取檢測(cè)中，本文方法和AustinMyers等人的方法方法均未有效地檢測(cè)出杯子把手，究其原因主要在于近距離觀察物體可以清晰的分辨物體的輪廓結(jié)構(gòu)，而距離較遠(yuǎn)時(shí)物體輪廓結(jié)構(gòu)甚至整個(gè)物體都變得模糊，導(dǎo)致邊緣檢測(cè)及功用性檢測(cè)效果不佳。總體而言，針對(duì)復(fù)雜場(chǎng)景本文所提方法具有更好的功用性檢測(cè)效果。圖13.5本文方法和AustinMyers等人的方法在復(fù)雜場(chǎng)景下對(duì)不同功用性的檢測(cè)效果。(a)為待檢測(cè)復(fù)雜場(chǎng)景圖像，(b)為功用性邊緣檢測(cè)器檢測(cè)結(jié)果，(c)為coarse-to-fine閾值濾波結(jié)果，(d)本文最終檢測(cè)結(jié)果，(e)AustinMyers等人的方法檢測(cè)結(jié)果13.4工具功用性部件實(shí)驗(yàn)13.4.2評(píng)價(jià)方法及結(jié)果分析圖13.6是使用傳統(tǒng)方法對(duì)本文提出方法和AustinMy