《AI硬件與Pyhthon編程實踐》05計算機視覺目標(biāo)跟蹤系統(tǒng)寫字字帖

計算機視覺目標(biāo)跟蹤系統(tǒng)人工智能開源硬件與python編程實踐情境導(dǎo)入乒乓球、足球等機器人中涉及的關(guān)鍵技術(shù)是利用計算機機器視覺技術(shù)實現(xiàn)對球形的識別和實時跟蹤，引導(dǎo)機械臂完成擊球動作。對足球、乒乓球的快速識別并持續(xù)跟蹤，利用的是計算機機器視覺中的顏色區(qū)塊和形狀的自動檢測技術(shù)，在居家生活、工業(yè)生產(chǎn)等領(lǐng)域有著廣泛應(yīng)用。任務(wù)與目標(biāo)了解圖像處理與目標(biāo)跟蹤技術(shù)的基本原理、相關(guān)算法和應(yīng)用框架；掌握運用人工智能開源硬件設(shè)計智能應(yīng)用系統(tǒng)的方法，掌握Python語言的編程方法；應(yīng)用計算機視覺開源硬件和Python編程，編寫色塊及形狀綜合識別算法，實現(xiàn)對目標(biāo)的跟蹤功能；針對生活應(yīng)用場景，進一步開展創(chuàng)意設(shè)計，設(shè)計具有實用價值的目標(biāo)跟蹤應(yīng)用系統(tǒng)。知識拓展：Lab顏色空間模型參數(shù)

L是亮度，取值范圍是L∈（0,100）；a為顏色在紅綠軸的分量，取值范圍是a∈（-128，127）；b為顏色在藍黃軸的分量，取值范圍是b∈（-128，127）。一些算法庫對Lab模型參數(shù)做了量化對齊處理，使其處于0-255范圍，具體做法是：L=L*2.55，a=a+128，b=b+128。LAB各分量的閾值設(shè)定一般是根據(jù)先驗知識。實際應(yīng)用中，現(xiàn)場光照情況不盡相同，攝像頭也會帶來偏色情況，順光、逆光、色溫、噪聲等情況，各分量的閾值需要調(diào)整。LAB各分量的閾值設(shè)定LAB各分量的閾值設(shè)定一般是根據(jù)先驗知識。實際應(yīng)用中，現(xiàn)場光照情況不盡相同，常常出現(xiàn)所給定的閾值并不是最合適。設(shè)計閾值計算算法，為每種顏色選定一個小樣本采集區(qū)域，然后計算樣本區(qū)域中這種顏色的平均值，作為顏色追蹤過程的閾值參數(shù)。顏色閾值設(shè)置工具OpenAIEIDE開發(fā)工具中提供有顏色閾值選擇器，利用Lab閾值編輯器，可以根據(jù)視頻采集現(xiàn)場的光照、背景光、環(huán)境噪聲、攝像頭工作狀態(tài)等實際情況，進行針對性的Lab模型參數(shù)設(shè)置。以下圖中的紅色色塊Lab建模為例：啟動閾值編輯器在OpenAIEIDE開發(fā)環(huán)境中，從頂部菜單的“工具”欄里，依次進行操作：選擇工具->機器視覺->閾值編輯器選擇建模源圖像閾值編輯器操作界面左上是源圖像顯示區(qū)，顯示導(dǎo)入的圖像幀。右上是色塊跟蹤區(qū)，顯示按照當(dāng)前Lab閾值參數(shù)進行顏色跟蹤的情況。該區(qū)域顯示的是二值化圖像，白色像素是被跟蹤的像素。下部是各組參數(shù)調(diào)節(jié)區(qū)，包括L參數(shù)、A參數(shù)、B參數(shù)的最小值和最大值。閾值參數(shù)調(diào)節(jié)拖動L參數(shù)的最大值和最小值的指針，尋找到盡可能的目標(biāo)區(qū)域閾值是白色的情況將最小值的指針拖到最左邊，最大值的指針拖到最右邊。閾值參數(shù)調(diào)節(jié)繼續(xù)拖動各B參數(shù)的最大值和最小值通道上的指針，盡量消除非紅色像素點，得到最好的效果拖動A參數(shù)的最大值和最小值通道上的指針，盡量消除非紅色像素點，排除其余顏色的干擾。設(shè)計與實踐鏡頭畸變的校正通過像素統(tǒng)計進行顏色檢測調(diào)試、驗證及完善程序鏡頭畸變的校正

攝像頭會遇到鏡頭畸變的問題。根據(jù)近大遠小的光學(xué)原理，在感光芯片的邊緣位置會出現(xiàn)桶型畸變，成像中會產(chǎn)生魚眼效果；在OpenAIE開源算法庫中，image對象提供了lens_corr()的方法，可以用來矯正2.8mm焦距鏡頭產(chǎn)生的邊緣畸變。校正后的形狀追蹤

importsensor,image,timeclock.tick()img=sensor.snapshot().lens_corr(1.8)forcinimg.find_circles(threshold=2500,x_margin=10,y_margin=10,r_margin=10,

r_min=2,r_max=100,r_step=2):area=(c.x()-c.r(),c.y()-c.r(),2*c.r(),2*c.r())通過像素統(tǒng)計進行顏色檢測

image.get_statistics()方法，用于計算roi中每個顏色通道的平均值、中值、標(biāo)準(zhǔn)偏差、最小值、最大值、下四分值和上四分值，并返回一個數(shù)據(jù)對象。也可以使用image.get_stats來調(diào)用這一方法。如果傳遞thresholds列表，則直方圖信息將僅從閾值列表中的像素計算得出。利用get_statistics統(tǒng)計的方法，可以計算出指定區(qū)域內(nèi)占面積最大的顏色。例程

#area為識別到的圓的區(qū)域，即圓的外接矩形框

statistics=img.get_statistics(roi=area)#像素顏色統(tǒng)計

print(statistics)#(35,72,9,80,20,72)為紅色的閾值，(53,77,-56,-3,-7,63)為綠色閾值，#(30,82,-29,39,-85,-3)為藍色閾值。檢測時，當(dāng)區(qū)域內(nèi)的眾數(shù)（也就是最多的顏色），范圍在這個閾值內(nèi)，就說明是紅色的圓。#l_mode()、a_mode()、b_mode()分別是L通道、A通道、B通道的眾數(shù)。

if35<statistics.l_mode()<72and9<statistics.a_mode()<80and20<statistics.b_mode()<72: #識別到的紅色圓形用紅色的圓框出來

img.draw_circle(c.x(),c.y(),c.r(),color=(255,0,0))elif53<statistics.l_mode()<77and-56<statistics.a_mode()<-3and-7<statistics.b_mode()<63: #識別到的綠色圓形用綠色的圓框出來

img.draw_circle(c.x(),c.y(),c.r(),color=(0,255,0))elif30<statistics.l_mode()<82and-29<statistics.a_mode()<39and-96<statistics.b_mode()<-3:#識別到的藍色圓形用藍色的圓框出來

img.draw_circle(c.x(),c.y(),c.r(),color=(0,0,255))else:#將非紅綠藍色的圓用白色的矩形框出來

img.draw_rectangle(area,color=(255,255,255))分析與思考如果利用get_statistics函數(shù)進行顏色檢測的效果不理想，會有哪些原因？實際視頻采集環(huán)境對此會有什么影響嗎？請加以分析，提升顏色追蹤的效果。比較利用find_blobs和get_statistics方法進行顏色檢測的異同之處，思考各自適合哪些應(yīng)用場合？編寫Python程序進行嘗試。所提供案例利用get_statistics、find_circles方法，先搜尋圓形目標(biāo)，再分辨圓形區(qū)域的顏色。如果需要搜尋矩形和某種色塊，應(yīng)該如何設(shè)計程序？更進一步的需求，如果需要同時對圓形與矩形，以及紅綠藍顏色進