《AI硬件與Pyhthon編程實(shí)踐》04基于計(jì)算機(jī)視覺的物體形狀檢測寫字字帖

基于計(jì)算機(jī)視覺的

物體形狀檢測人工智能開源硬件與python編程實(shí)踐情境導(dǎo)入視覺分揀機(jī)器人，利用視覺系統(tǒng)采集圖像，計(jì)算機(jī)系統(tǒng)進(jìn)行圖像處理，先完成特征點(diǎn)檢測、輪廓檢測等過程，再進(jìn)行圖像匹配或形狀識別。生活中經(jīng)常遇到需要對物體形狀進(jìn)行判斷的情形，自動揀球機(jī)可以發(fā)現(xiàn)視野內(nèi)的乒乓球、高爾夫球、足球等圓形物體，餐盤識別系統(tǒng)可以發(fā)現(xiàn)矩形、圓形等指定形狀的餐盤。學(xué)習(xí)物體形狀檢測方法，了解相關(guān)應(yīng)用技術(shù)，具有實(shí)際意義。任務(wù)與目標(biāo)了解圖像處理及圖形識別技術(shù)的基本原理、相關(guān)算法和應(yīng)用框架；掌握運(yùn)用人工智能開源硬件設(shè)計(jì)智能應(yīng)用系統(tǒng)的方法，掌握Python語言的編程方法；應(yīng)用人工智能開源硬件和Python相關(guān)算法模塊設(shè)計(jì)物體形狀檢測功能；針對生活應(yīng)用場景，進(jìn)一步開展創(chuàng)意設(shè)計(jì)，設(shè)計(jì)具有實(shí)用價(jià)值的物體形狀檢測應(yīng)用系統(tǒng)。知識拓展：圖像預(yù)處理方法灰度化二值化圖像增強(qiáng)圖像去噪邊緣檢測知識拓展：灰度化灰度化是一種常用的圖像預(yù)處理方法，它將彩色圖像轉(zhuǎn)化為灰度圖像，應(yīng)用在圖像分析與識別等應(yīng)用中；在RGB空間中，空間的原點(diǎn)對應(yīng)的是黑色，距離原點(diǎn)最遠(yuǎn)的那個(gè)頂點(diǎn)對應(yīng)的是白色。原點(diǎn)和白色頂點(diǎn)的連線段上對應(yīng)了從黑色到白色的灰度值，也稱亮度值；灰度圖像只含有亮度信息，不含色彩信息，其亮度是連續(xù)變化的，要表示灰度圖像就需要把亮度值進(jìn)行量化，通常把灰度劃分為256個(gè)灰度級，從0到255。知識拓展：二值化值化也是圖像預(yù)處理的一種技術(shù)，又稱圖像黑白化。通過二值化的處理，可以凸顯出圖像的輪廓。它將像素點(diǎn)的灰度值設(shè)置為0或者255，不采用其它灰度值，目的是使整個(gè)圖像都呈現(xiàn)出黑白效果。通過選取合適的閾值，將256個(gè)不同等級的灰度圖像進(jìn)行劃分，劃分結(jié)果仍然可以描繪圖像的整體或局部特征，這樣就實(shí)現(xiàn)了圖像的二值化。知識拓展：霍夫變換

圖像中的形狀檢測主要是偵測諸如直線、圓形、橢圓形、矩形等幾何形狀，常用的算法是霍夫變換?；舴蜃儞Q是通過直角坐標(biāo)系和極坐標(biāo)系之間的變換將圖像空間中具有相同特征的直線或者曲線映射到參數(shù)空間中的一個(gè)點(diǎn)上，然后在參數(shù)空間中對點(diǎn)進(jìn)行描述，使結(jié)果更易識別和檢測，最后用累加器進(jìn)行累加，從而把檢測圖形的問題轉(zhuǎn)化為尋找最大累加值的問題。

知識拓展：霍夫變換的步驟用canny算子進(jìn)行邊緣輪廓提取。在做霍夫變換時(shí)，如果將所有的像素點(diǎn)都做映射處理，會導(dǎo)致計(jì)算量太大，一般都是先用canny算子對邊緣輪廓做提取，盡可能的去掉平滑區(qū)域的點(diǎn)，減少計(jì)算量；利用二值化的方法以及開閉等形態(tài)學(xué)操作提取輪廓，去掉噪聲等擾動，求得在擬合線性方程時(shí)盡可能準(zhǔn)確；利用霍夫變換完成空間映射；用計(jì)數(shù)器統(tǒng)計(jì)出現(xiàn)次數(shù)最高的未知系數(shù)組合，如(ρ,θ)等。知識拓展：直線檢測

根據(jù)提取出的很多特征點(diǎn)(X0,Y0)，(X1,Y1)，...，(Xn,Yn)求待擬合直線Y=kX+b中的斜率k和偏移b。通過任意兩點(diǎn)得到若干組（k,b），選取出現(xiàn)次數(shù)最多的一組(k,b)就是要求的參數(shù)。把圖像平面上的特征像素點(diǎn)映射到參數(shù)平面上，通過累計(jì)可能會出現(xiàn)幾組參數(shù)峰值點(diǎn)，可以檢測出圖像中的多條直線。

知識拓展：圓檢測

對圓的檢測本質(zhì)上就是求三個(gè)參數(shù)(x0,y0,r)，所以就可以通過任意三點(diǎn)求解三個(gè)未知數(shù)，然后對(x0,y0,r)這個(gè)集合投票，最終出現(xiàn)次數(shù)最多的一組參數(shù)就是決定圓方程的參數(shù)。利用霍夫變換進(jìn)行圓檢測，就是將圖像空間中的邊緣特征像素點(diǎn)映射到參數(shù)空間，然后把參數(shù)空間中的坐標(biāo)點(diǎn)元素對應(yīng)的累加值進(jìn)行累加，最后根據(jù)累加值確定圓心和半徑。知識拓展：矩形檢測

基于窗口霍夫變換與閾值分割自動識別圖像中的矩形策略：通過圖像窗口霍夫變換，提取霍夫圖像的峰值（對應(yīng)原始圖像的線段），當(dāng)四個(gè)峰值滿足某些幾何條件時(shí)，則檢測出矩形。設(shè)計(jì)與實(shí)踐形狀檢測Python編程接口圓形檢測編程矩形檢測編程調(diào)試、驗(yàn)證及完善形狀檢測編程接口人工智能開源控制板上集成的Python視覺庫中提供利用霍夫變換檢測直線、圓形、矩形的算法；提供find_lines方法進(jìn)行直線檢測；提供find_circles方法進(jìn)行圓形檢測；提供find_rects方法進(jìn)行矩形檢測。圓形檢測find_circles方法image.find_circles()方法，使用霍夫變換在圖像中查找圓，返回一個(gè)image.circle對象列表；x_stride是霍夫變換時(shí)需要跳過的x像素的數(shù)量。若已知圓較大，可增加x_stride。y_stride是霍夫變換時(shí)需要跳過的y像素的數(shù)量。若已知圓較大，可增加y_stride。threshold控制從霍夫變換中監(jiān)測到的圓。只返回大于或等于threshold的圓。應(yīng)用程序的正確的threshold值取決于圖像。注意：一個(gè)圓的大小(magnitude)是組成圓所有索貝爾濾波像素大小的總和。圓形檢測例程while(True):img=sensor.snapshot().lens_corr(1.3)#進(jìn)行鏡頭畸變校正，去除圖像中的魚眼效應(yīng)；forcinimg.find_circles(threshold=2500,x_margin=10,y_margin=10,r_margin=10,r_min=2,r_max=100,r_step=2): #以圓心（c.x(),c.y()）和半徑c.r()，用黃色畫圓；

img.draw_circle(c.x(),c.y(),c.r(),color=(255,255,0))經(jīng)驗(yàn)及調(diào)試方法image.circle對象有四個(gè)值：x，y，r(半徑)和magnitude。magnitude是檢測圓的強(qiáng)度，值越高越好roi是一個(gè)用以搜索的矩形區(qū)域(x,y,w,h)，圖像操作范圍僅限于roi區(qū)域內(nèi)的像素。如果未指定，默認(rèn)的roi即整幅圖像。x_stride是霍夫變換時(shí)需要跳過的x像素的數(shù)量。若已知圓較大，可增加x_stride。y_stride是霍夫變換時(shí)需要跳過的y像素的數(shù)量。若已知直線段較長，可增加y_stride。threshold控制從霍夫變換中監(jiān)測到的圓。只返回大于或等于閾值的圓。一個(gè)圓的大小是組成圓的所有索貝爾濾波像素大小的總和。margin的分量x_margin、y_margin和r_margin用來控制所檢測的圓的合并。r_min，r_max和r_step用來控制測試圓的半徑?？s小測試圓半徑的數(shù)值可以提升搜索性能。閾值threshold=3500比較合適。如果視野中檢測到的圓過多，需要增大閾值；相反，如果視野中檢測到的圓過少，需要減少閾值。矩形檢測find_rects方法image.find_rects()方法用于查找圖像中的矩形，返回一個(gè)image.rect對象的列表。該方法適用于檢測與背景形成鮮明對比的矩形。Threshold參數(shù)的取值要根據(jù)應(yīng)用場景的情況進(jìn)行調(diào)節(jié)。在矩形邊緣處所有像素上滑動索貝爾算子并進(jìn)行累加，邊界值小于threshold的矩形會進(jìn)入返回列表。矩形檢測例程while(True):clock.tick()img=sensor.snapshot()#find_rects中threshold應(yīng)設(shè)置為足夠高的值，以濾除在圖像中檢測到的具有低邊緣幅度的噪聲矩形。最適用與背景形成鮮明對比的矩形。

forrinimg.find_rects(threshold=25000):#查找矩形，閾值=10000img.draw_rectangle(r.rect(),color=(255,0,0)) #畫出矩形，顏色為紅色

forpinr.corners():#找出矩形的四個(gè)角

img.draw_circle(p[0],p[1],5,color=(0,255,0))#四個(gè)角順時(shí)針畫出綠色的半徑為5像素的圓形分析與思考find_rects方法可以快速實(shí)現(xiàn)矩形的檢測與追蹤。生活中經(jīng)常會遇到三角形、菱形等其它幾何形狀的物體（如圖），利用霍夫變換檢測直線的方法有助于這些形狀的檢測嗎？利用網(wǎng)絡(luò)查閱相關(guān)技術(shù)方法，給出解決方案。利用find_circles函數(shù)可以實(shí)