《AI硬件與Pyhthon編程實(shí)踐》05計(jì)算機(jī)視覺(jué)目標(biāo)跟蹤系統(tǒng)寫字字帖

計(jì)算機(jī)視覺(jué)目標(biāo)跟蹤系統(tǒng)人工智能開(kāi)源硬件與python編程實(shí)踐情境導(dǎo)入乒乓球、足球等機(jī)器人中涉及的關(guān)鍵技術(shù)是利用計(jì)算機(jī)機(jī)器視覺(jué)技術(shù)實(shí)現(xiàn)對(duì)球形的識(shí)別和實(shí)時(shí)跟蹤，引導(dǎo)機(jī)械臂完成擊球動(dòng)作。對(duì)足球、乒乓球的快速識(shí)別并持續(xù)跟蹤，利用的是計(jì)算機(jī)機(jī)器視覺(jué)中的顏色區(qū)塊和形狀的自動(dòng)檢測(cè)技術(shù)，在居家生活、工業(yè)生產(chǎn)等領(lǐng)域有著廣泛應(yīng)用。任務(wù)與目標(biāo)了解圖像處理與目標(biāo)跟蹤技術(shù)的基本原理、相關(guān)算法和應(yīng)用框架；掌握運(yùn)用人工智能開(kāi)源硬件設(shè)計(jì)智能應(yīng)用系統(tǒng)的方法，掌握Python語(yǔ)言的編程方法；應(yīng)用計(jì)算機(jī)視覺(jué)開(kāi)源硬件和Python編程，編寫色塊及形狀綜合識(shí)別算法，實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤功能；針對(duì)生活應(yīng)用場(chǎng)景，進(jìn)一步開(kāi)展創(chuàng)意設(shè)計(jì)，設(shè)計(jì)具有實(shí)用價(jià)值的目標(biāo)跟蹤應(yīng)用系統(tǒng)。知識(shí)拓展：Lab顏色空間模型參數(shù)

L是亮度，取值范圍是L∈（0,100）；a為顏色在紅綠軸的分量，取值范圍是a∈（-128，127）；b為顏色在藍(lán)黃軸的分量，取值范圍是b∈（-128，127）。一些算法庫(kù)對(duì)Lab模型參數(shù)做了量化對(duì)齊處理，使其處于0-255范圍，具體做法是：L=L*2.55，a=a+128，b=b+128。LAB各分量的閾值設(shè)定一般是根據(jù)先驗(yàn)知識(shí)。實(shí)際應(yīng)用中，現(xiàn)場(chǎng)光照情況不盡相同，攝像頭也會(huì)帶來(lái)偏色情況，順光、逆光、色溫、噪聲等情況，各分量的閾值需要調(diào)整。LAB各分量的閾值設(shè)定LAB各分量的閾值設(shè)定一般是根據(jù)先驗(yàn)知識(shí)。實(shí)際應(yīng)用中，現(xiàn)場(chǎng)光照情況不盡相同，常常出現(xiàn)所給定的閾值并不是最合適。設(shè)計(jì)閾值計(jì)算算法，為每種顏色選定一個(gè)小樣本采集區(qū)域，然后計(jì)算樣本區(qū)域中這種顏色的平均值，作為顏色追蹤過(guò)程的閾值參數(shù)。顏色閾值設(shè)置工具OpenAIEIDE開(kāi)發(fā)工具中提供有顏色閾值選擇器，利用Lab閾值編輯器，可以根據(jù)視頻采集現(xiàn)場(chǎng)的光照、背景光、環(huán)境噪聲、攝像頭工作狀態(tài)等實(shí)際情況，進(jìn)行針對(duì)性的Lab模型參數(shù)設(shè)置。以下圖中的紅色色塊Lab建模為例：?jiǎn)?dòng)閾值編輯器在OpenAIEIDE開(kāi)發(fā)環(huán)境中，從頂部菜單的“工具”欄里，依次進(jìn)行操作：選擇工具->機(jī)器視覺(jué)->閾值編輯器選擇建模源圖像閾值編輯器操作界面左上是源圖像顯示區(qū)，顯示導(dǎo)入的圖像幀。右上是色塊跟蹤區(qū)，顯示按照當(dāng)前Lab閾值參數(shù)進(jìn)行顏色跟蹤的情況。該區(qū)域顯示的是二值化圖像，白色像素是被跟蹤的像素。下部是各組參數(shù)調(diào)節(jié)區(qū)，包括L參數(shù)、A參數(shù)、B參數(shù)的最小值和最大值。閾值參數(shù)調(diào)節(jié)拖動(dòng)L參數(shù)的最大值和最小值的指針，尋找到盡可能的目標(biāo)區(qū)域閾值是白色的情況將最小值的指針拖到最左邊，最大值的指針拖到最右邊。閾值參數(shù)調(diào)節(jié)繼續(xù)拖動(dòng)各B參數(shù)的最大值和最小值通道上的指針，盡量消除非紅色像素點(diǎn)，得到最好的效果拖動(dòng)A參數(shù)的最大值和最小值通道上的指針，盡量消除非紅色像素點(diǎn)，排除其余顏色的干擾。設(shè)計(jì)與實(shí)踐鏡頭畸變的校正通過(guò)像素統(tǒng)計(jì)進(jìn)行顏色檢測(cè)調(diào)試、驗(yàn)證及完善程序鏡頭畸變的校正

攝像頭會(huì)遇到鏡頭畸變的問(wèn)題。根據(jù)近大遠(yuǎn)小的光學(xué)原理，在感光芯片的邊緣位置會(huì)出現(xiàn)桶型畸變，成像中會(huì)產(chǎn)生魚眼效果；在OpenAIE開(kāi)源算法庫(kù)中，image對(duì)象提供了lens_corr()的方法，可以用來(lái)矯正2.8mm焦距鏡頭產(chǎn)生的邊緣畸變。校正后的形狀追蹤

importsensor,image,timeclock.tick()img=sensor.snapshot().lens_corr(1.8)forcinimg.find_circles(threshold=2500,x_margin=10,y_margin=10,r_margin=10,

r_min=2,r_max=100,r_step=2):area=(c.x()-c.r(),c.y()-c.r(),2*c.r(),2*c.r())通過(guò)像素統(tǒng)計(jì)進(jìn)行顏色檢測(cè)

image.get_statistics()方法，用于計(jì)算roi中每個(gè)顏色通道的平均值、中值、標(biāo)準(zhǔn)偏差、最小值、最大值、下四分值和上四分值，并返回一個(gè)數(shù)據(jù)對(duì)象。也可以使用image.get_stats來(lái)調(diào)用這一方法。如果傳遞thresholds列表，則直方圖信息將僅從閾值列表中的像素計(jì)算得出。利用get_statistics統(tǒng)計(jì)的方法，可以計(jì)算出指定區(qū)域內(nèi)占面積最大的顏色。例程

#area為識(shí)別到的圓的區(qū)域，即圓的外接矩形框

statistics=img.get_statistics(roi=area)#像素顏色統(tǒng)計(jì)

print(statistics)#(35,72,9,80,20,72)為紅色的閾值，(53,77,-56,-3,-7,63)為綠色閾值，#(30,82,-29,39,-85,-3)為藍(lán)色閾值。檢測(cè)時(shí)，當(dāng)區(qū)域內(nèi)的眾數(shù)（也就是最多的顏色），范圍在這個(gè)閾值內(nèi)，就說(shuō)明是紅色的圓。#l_mode()、a_mode()、b_mode()分別是L通道、A通道、B通道的眾數(shù)。

if35<statistics.l_mode()<72and9<statistics.a_mode()<80and20<statistics.b_mode()<72: #識(shí)別到的紅色圓形用紅色的圓框出來(lái)

img.draw_circle(c.x(),c.y(),c.r(),color=(255,0,0))elif53<statistics.l_mode()<77and-56<statistics.a_mode()<-3and-7<statistics.b_mode()<63: #識(shí)別到的綠色圓形用綠色的圓框出來(lái)

img.draw_circle(c.x(),c.y(),c.r(),color=(0,255,0))elif30<statistics.l_mode()<82and-29<statistics.a_mode()<39and-96<statistics.b_mode()<-3:#識(shí)別到的藍(lán)色圓形用藍(lán)色的圓框出來(lái)

img.draw_circle(c.x(),c.y(),c.r(),color=(0,0,255))else:#將非紅綠藍(lán)色的圓用白色的矩形框出來(lái)

img.draw_rectangle(area,color=(255,255,255))分析與思考如果利用get_statistics函數(shù)進(jìn)行顏色檢測(cè)的效果不理想，會(huì)有哪些原因？實(shí)際視頻采集環(huán)境對(duì)此會(huì)有什么影響嗎？請(qǐng)加以分析，提升顏色追蹤的效果。比較利用find_blobs和get_statistics方法進(jìn)行顏色檢測(cè)的異同之處，思考各自適合哪些應(yīng)用場(chǎng)合？編寫Python程序進(jìn)行嘗試。所提供案例利用get_statistics、find_circles方法，先搜尋圓形目標(biāo)，再分辨圓形區(qū)域的顏色。如果需要搜尋矩形和某種色塊，應(yīng)該如何設(shè)計(jì)程序？更進(jìn)一步的需求，如果需要同時(shí)對(duì)圓形與矩形，以及紅綠藍(lán)顏色進(jìn)