人工環(huán)境中的中遠(yuǎn)敘事

人工環(huán)境中的中遠(yuǎn)敘事

大多數(shù)真實(shí)場景圖像都存在透視變形。在透視變形的作用下，真實(shí)空間中的一組線性直線聚集在圖像平面上，該點(diǎn)被稱為消失點(diǎn)或消失點(diǎn)。消失點(diǎn)檢測是三維場景解釋中的重要一步,可以提供大量三維空間的信息(如場景深度、物體尺寸等)。因此消失點(diǎn)檢測被應(yīng)用于機(jī)器人的自動導(dǎo)航、三維結(jié)構(gòu)恢復(fù)以及相機(jī)標(biāo)定等方面。因?yàn)閳鼍暗牟灰?guī)則,消失點(diǎn)檢測通常是很困難的,而人工環(huán)境下的消失點(diǎn)檢測則相對容易很多。因?yàn)槿斯きh(huán)境中存在大量的直線之間的平行和正交關(guān)系,如戶內(nèi)的門窗、書桌、走廊,戶外的建筑、街道、路面等,這些平行和正交關(guān)系為消失點(diǎn)檢測提供了強(qiáng)有力的約束條件。1累積調(diào)整后的消失點(diǎn)映射消失點(diǎn)檢測并不是一個新的課題,已經(jīng)有很多文章涉及到這一方面。Barnard在1983年提出以相機(jī)光學(xué)中心為中心的高斯球(Gaussiansphere)作為累積空間。圖像中的邊緣直線在高斯球中被表示成為一個大圓(greatcircle),而消失點(diǎn)對應(yīng)于高斯球中的一個點(diǎn)。由于無限的圖像平面被映射到了一個有限空間,因此無限遠(yuǎn)處的消失點(diǎn)同樣被映射成一個點(diǎn)。在累積投票階段,高斯球被分割成數(shù)個累積單元,每個大圓都對它經(jīng)過的累積單元投票,投票數(shù)多的累積單元對應(yīng)于消失點(diǎn)。之后有一些工作對上述方法進(jìn)行了改進(jìn)。T.Tuytelaars提出了旨在減少累積步驟中的計(jì)算復(fù)雜度的方法,使用Hough變換將直線的參數(shù)映射到一個有界的Hough空間。C.Rother將所有圖像平面中檢測到的直線的兩兩交點(diǎn)作為消失點(diǎn)的候選點(diǎn),并給出了一些判斷標(biāo)準(zhǔn)。這種方法可以得到更準(zhǔn)確的結(jié)果,但比較耗時(shí)(時(shí)間復(fù)雜度是檢測到的線段數(shù)的4次方),在實(shí)時(shí)情況下不適用。舒遠(yuǎn)提出了根據(jù)空間中平行的直線在圖像中的傾角比較接近這一特性求取消失點(diǎn),但聚類時(shí)將候選直線限制于一定角度范圍內(nèi),有可能會丟棄了一些應(yīng)該考慮在內(nèi)的直線。本文方法根據(jù)舒遠(yuǎn)指出的空間中平行直線在圖像中傾角接近的事實(shí),并借鑒了C.Rother關(guān)于消失點(diǎn)候選點(diǎn)的思想以及對候選點(diǎn)的評判標(biāo)準(zhǔn),嘗試了一種基于聚類的消失點(diǎn)檢測方法。2本文件的方法2.1角域和接觸條件的變化透視投影中不同方向的平行線在投影平面上形成了不同的消失點(diǎn),其中坐標(biāo)軸方向的平行線在圖像平面上的消失點(diǎn)又稱為主消失點(diǎn)。如圖1所示,其中主點(diǎn)u0理論上應(yīng)位于△v1v2v3的垂心,但現(xiàn)實(shí)中由于相機(jī)制造的工藝原因會有一定誤差。由圖1知,c-v1v2v3坐標(biāo)系與圖像平面相交,因此△v1v2v3必為銳角三角形?？臻g中兩條平行線在投影圖像平面中的夾角與平行線之間的距離以及它們到相機(jī)的距離有關(guān)。平行線之間的間距越大則它們的夾角越大,而它們到相機(jī)的距離越遠(yuǎn)則夾角越小。由于在人工環(huán)境中建筑物大小有限,同時(shí)在中遠(yuǎn)距離的場景中相機(jī)與被攝建筑物存在一定距離,因此這些平行線在圖像平面中之間夾角實(shí)際上集中在一個較小的范圍內(nèi)。在實(shí)驗(yàn)中對30幅包括校園、城市街道等各種中遠(yuǎn)距離場景圖像進(jìn)行統(tǒng)計(jì),發(fā)現(xiàn)圖像中單個消失點(diǎn)對應(yīng)平行線傾角接近,絕大多數(shù)集中在30°范圍之內(nèi)。實(shí)驗(yàn)中30幅圖像里各個主消失點(diǎn)方向30°范圍內(nèi)包含的平行線占所有對應(yīng)于主消失點(diǎn)的平行線的90.56%(1689/1856)。論文中給出的數(shù)據(jù)也說明實(shí)際圖像中平行直線簇的傾角接近,大量地集中在較小的角度范圍內(nèi)。因此只需在圖像中直線傾角密集的區(qū)域中對消失點(diǎn)方向進(jìn)行搜索。這種性質(zhì)簡化了消失點(diǎn)檢測,加速了檢測。本方法據(jù)此對聚類進(jìn)行了初始分組。同大多數(shù)消失點(diǎn)檢測方法一樣,圖像邊緣直線檢測是算法的第一步。本方法使用了Canny算子來獲取圖像的邊緣信息,然后使用Hough變換獲取邊緣信息中的直線信息。之后對按傾角的大小對這些直線排序,按循環(huán)的方式排列(考慮到傾角0°和180°在空間中的連續(xù)性),并以給定角度(tα)的角域掃描這些直線(定義“角域”為包含一組傾角相近直線的容器),如圖2所示。圖中Li指直線i,θi為對應(yīng)傾角。角域內(nèi)直線包含Li～Li+4。并有:θi+4-θi<=tα;θi+5-θi>tα。可以預(yù)計(jì)如果某個角域包含較多直線數(shù)目,那么它很可能包含較多相交于該方向消失點(diǎn)的直線。因此首先假設(shè)包含最多直線數(shù)的三個相互不重疊角域所包含的直線分別是交于三個主消失點(diǎn)的直線,并稱這三個角域?yàn)橹鹘怯颉５捎趯?shí)際場景的不規(guī)則,可能存在某個主角域?qū)?yīng)的直線只是一些不相干但傾角接近的直線,因此本方法采用更多的角域,即候選角域來消除這種情況的影響。當(dāng)某個主角域不滿足條件時(shí),使用候選角域?qū)ζ涮鎿Q。角域的尺寸(tα)則應(yīng)該滿足實(shí)際情況的需要。較大的角域可能包含兩個消失點(diǎn)對應(yīng)的平行線以及更多的干擾直線,因此角域不宜過大。較小的角域可能使一個消失點(diǎn)對應(yīng)的平行線包含在兩個角域中并成為兩個角域中直線的主要部分,這時(shí)候選角域?qū)⒂兄诮鉀Q這個問題(見實(shí)驗(yàn)結(jié)果中第二個例子)。較小的角域可以使用更多的候選角域,但過小的角域?qū)⑹菇怯蛑懈蓴_直線的比例變大,效果并不好。通常tα取20°～30°是合適的,它能夠包含大部分平行線,又不會包含太多“噪聲”。2.2增加了單一獲取直線的定義當(dāng)?shù)玫搅酥鹘怯蚝秃蜻x角域之后,它們所包含的直線并不能直接使用,因?yàn)槊恳粋€角域都可能含有少量干擾的直線,這些“噪聲”將使聚類速度減慢,帶來偏差,甚至導(dǎo)致檢測出虛假消失點(diǎn)。為此引入C.Rother提出的一種投票方法來消除“噪聲”:將角域中每兩條直線的交點(diǎn)作為該方向的候選消失點(diǎn)。對于該角域中的每條直線l,如果它與候選消失點(diǎn)Vp的距離d(Vp,l)小于閾值Dt,那么它將對該候選點(diǎn)投票。Dt的取值應(yīng)適當(dāng)大一些,以保證不丟失任何有用直線。按照消失點(diǎn)的定義,可以認(rèn)為直線與候選消失點(diǎn)越近,它越可能成為該消失點(diǎn)對應(yīng)平行直線,相應(yīng)投票值也應(yīng)該越高。因此候選消失點(diǎn)的總投票值定義為:vote(Vp)=∑所有投票直線l(1?d(Vp,l)/Dt),(1)vote(Vp)=∑所有投票直線l(1-d(Vp,l)/Dt),(1)取那些對總投票值最大的候選消失點(diǎn)進(jìn)行投票的直線作為該方向消失點(diǎn)的聚類初始直線簇。不僅主角域,候選角域同樣經(jīng)過這樣處理得到候選簇。之所以不取該候選消失點(diǎn)直接作為目標(biāo)消失點(diǎn)是因?yàn)?(1)該消失點(diǎn)只考慮了該角域中的直線,而實(shí)際上該角域之外的直線也可能是交于該消失點(diǎn)的平行線;(2)該消失點(diǎn)位置一定在某兩條直線的交點(diǎn),而多條直線方程的最小二乘算法可以使消失點(diǎn)到各直線的距離方差最小,結(jié)果更加準(zhǔn)確。2.3聚類消除干擾的能力理論上,真實(shí)空間中的一組平行線在成像平面中應(yīng)該只交于一點(diǎn)。但是由于相機(jī)的鏡頭存在一定畸變,直線檢測也存在誤差,在圖像中檢測到的對應(yīng)直線并不一定精確交于一點(diǎn)。為此在聚類中設(shè)置閾值Dthreshold來控制這種偏差的允許范圍。聚類后的每簇直線到該消失點(diǎn)的距離不得大于Dthreshold。存在由于角域大小限制或各種誤差導(dǎo)致少量平行線進(jìn)入其他箱或遺漏在外體的情況,聚類中這些直線將會返回到正確的簇中。因此,雖然聚類的初始化實(shí)際上限制聚類中每簇直線在圖像中之間夾角的范圍不會超過tα,但聚類可以消除這一限制的影響,從而提高了消失點(diǎn)的精度。另需要指出的是,聚類不能保證去除所有干擾直線。聚類具體步驟如下:(1)對當(dāng)前每簇中的直線用最小二乘算法求取它們的交點(diǎn),也即三個消失點(diǎn)v1,v2,v3;(2)對圖像中的每一條直線,求出v1,v2,v3到它的距離d1,d2,d3,并設(shè)其中的最小值為di。如果di≤Dthreshold,那么直線將移動到簇i。如果di>Dthreshold,則將它移出三個簇。(3)如果某直線所屬簇發(fā)生變化則跳轉(zhuǎn)至(1),若均無變化則結(jié)束。聚類所得到的三個方向的消失點(diǎn)還需要進(jìn)一步檢查以確認(rèn)是否是虛假消失點(diǎn)。如果檢測滿足下面兩個條件,則認(rèn)為得到的三個消失點(diǎn)是正確的。否則,將候選簇分別替換原先三個簇中的一個,并重新進(jìn)行聚類,直到三個消失點(diǎn)滿足條件。若任意三個簇的組合均不滿足條件,那么檢測失敗。檢測虛假消失點(diǎn)的標(biāo)準(zhǔn)如下:(1)三個消失點(diǎn)的三角形標(biāo)準(zhǔn)三個消失點(diǎn)組成的三角形一定是銳角三角形(如3.1中所述)。(2)相機(jī)焦距標(biāo)準(zhǔn)設(shè)三個消失點(diǎn)在圖像坐標(biāo)系中坐標(biāo)分別為v1(x1,y1),v2(x2,y2),v3(x3,y3),u0點(diǎn)坐標(biāo)(x0,y0),則相機(jī)焦距f為:f=?((x1?x0)?(x2?x0)+(y1?y0)?(y2?y0))???????????????????????????????????√,(2)f=-((x1-x0)*(x2-x0)+(y1-y0)*(y2-y0)),(2)將聚類后得到的消失點(diǎn)坐標(biāo)代入該式所得到的相機(jī)的焦距應(yīng)該符合實(shí)際情況,至少公式中根號內(nèi)不能為負(fù)。如果相機(jī)焦距準(zhǔn)確范圍已知,那么該標(biāo)準(zhǔn)將具有更強(qiáng)的判別能力。3聚類去除噪聲后的部分圖像實(shí)驗(yàn)采用佳能powershotA70數(shù)碼相機(jī)對人工環(huán)境進(jìn)行拍攝。圖3-a是暨南大學(xué)計(jì)算機(jī)系實(shí)驗(yàn)室窗外的真實(shí)場景。實(shí)驗(yàn)中圖片大小為320×240,256灰度級,程序中各參數(shù)設(shè)定如下:tα=30°,Dt=30,Dthreshold=10,景深設(shè)為無窮遠(yuǎn)。對圖3(a)使用Canny算子提取邊緣并二值化后得到圖3(b)。圖3(c)顯示了對圖3(b)進(jìn)行Hough變換后提取到的直線。圖3(d)顯示了聚類初始化中接近水平方向30°角域中的所有直線。圖3(e)顯示了該方向采用2.2中的投票方法去掉噪聲后的結(jié)果。圖3(f)顯示了該方向聚類之后得到的消失點(diǎn)所對應(yīng)線段,對其使用最小二乘算法將得到最終消失點(diǎn)坐標(biāo)?？梢钥闯鐾镀狈椒ㄓ行У娜コ嗽肼?而聚類則進(jìn)一步去除了偏差相對比較大的直線。圖3(g)和圖3(h)分別顯示了另一簇中去噪聲和聚類后的圖像。對比兩幅圖可以明顯發(fā)現(xiàn)圖3(h)中下方的線段在聚類之前并不在該簇。再對比實(shí)際圖像圖3(a),可以看出圖3(h)下方線段除最左下為干擾線段外,其他與圖中其他線段均為圖3(a)中房屋右側(cè)水平方向輪廓,實(shí)際空間中這些直線平行。因此聚類結(jié)果與實(shí)際相符合,而簇中增加的直線提高了消失點(diǎn)坐標(biāo)的準(zhǔn)確度。圖3(i)和圖3(j)分別顯示了第三個消失點(diǎn)方向的初始直線和最終直線。根據(jù)這些直線求得三個方向消失點(diǎn)坐標(biāo)為(988,230)、(179,-1096)、(-25,212),相機(jī)焦距為347。該坐標(biāo)以圖像左上角為原點(diǎn),x軸水平方向向右為正,y軸垂直方向向下為正。為了驗(yàn)證結(jié)果的正確性,將這些數(shù)據(jù)代入圖1,并以圖像幾何中心近似代表圖像主點(diǎn)u0,可知三個消失點(diǎn)方向近似地相互正交。同時(shí)對圖3-a作水平翻轉(zhuǎn)后,再進(jìn)行三個消失點(diǎn)檢測,結(jié)果為(-706,231)、(165,-1286)、(349,210),它們之間的相對位置與原圖接近,垂直方向上的偏差則稍大一點(diǎn)。圖3-i是另一幅建筑物圖像,圖3-j顯示了對圖3-i進(jìn)行Hough變換后提取的直線。由于建筑物正面的直線信息非常豐富,而且之間夾角較大,導(dǎo)致這些直線進(jìn)入了兩個主角域。但程序檢測到它們不滿足三角形標(biāo)準(zhǔn),