采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)

采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)

0水果自動識別分級顏色和水果表面的損傷程度是評估水果程度的重要指標(biāo)。一直以來,水果種植農(nóng)戶都是采取人工識別的方式對水果進(jìn)行分級,分級結(jié)果一致性差。隨著自動化、圖像處理和機(jī)器視覺的發(fā)展,使得采摘機(jī)器人實現(xiàn)水果自動識別和分級成為可能。為此,在視頻監(jiān)控的基礎(chǔ)上,結(jié)合DSP和幀內(nèi)編碼技術(shù),提出了一種采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng),旨在實現(xiàn)對水果的自動分級功能。1內(nèi)編碼算法的總結(jié)1.1幀內(nèi)編碼算法視頻編碼的過程是提取視頻中有效數(shù)據(jù),處理掉冗余的信息。在視頻樣本采樣中,各個空間位置的像素點都是采用相同的信息量表示,而各空間位置的有效信息不一樣,采用該方法會導(dǎo)致視頻信息的多次采樣,引起信息冗余問題。幀內(nèi)編碼是視頻處理的一種算法,可根據(jù)前一解碼視頻區(qū)塊和空間樣本進(jìn)行視頻圖像的處理,對處理效率要求較高的編碼技術(shù)一般采用該技術(shù)。幀內(nèi)編碼和一般視頻編碼標(biāo)準(zhǔn)差異不大,一般采用預(yù)測、變換及高效熵編碼技術(shù)的混合處理框架。編碼混合處理框架主要有預(yù)測編碼、變換量化編碼技術(shù)、離散余旋變換和熵編碼等流程步驟。幀內(nèi)編碼流程框架如圖1所示。幀內(nèi)編碼的流程為:采樣到的視頻樣本的每一幀圖像,經(jīng)過預(yù)測環(huán)節(jié)的運動估計和補(bǔ)償后,得到預(yù)測殘差數(shù)據(jù);預(yù)測殘差數(shù)據(jù)經(jīng)過變換量化過程,再進(jìn)行熵編碼,最后生成碼流;解碼端經(jīng)過反量化和反變換的解析過程,經(jīng)過環(huán)路濾波、預(yù)測殘差數(shù)據(jù)和參考圖像求和,得到重構(gòu)的完成圖像,并保存在解碼緩存中。1.2ctu編碼單元幀內(nèi)編碼的最大優(yōu)勢是采用較大的塊結(jié)構(gòu)對圖像進(jìn)行編碼,且采用相對靈活的塊劃分,提高了編碼的效率。在幀內(nèi)編碼圖像塊處理處理過程中,最初的編碼單元(LCU)可以遞歸等分,構(gòu)成編碼單元樹(CTU)結(jié)構(gòu),而CTU又可以遞歸等分為預(yù)測單元(PU)和變換單元(TU)。幀內(nèi)編碼圖像塊處理主要包括編碼、預(yù)測和變換3個單元。1cucu在幀內(nèi)編碼中,編碼單元是幀處理的最小單元宏塊Macroblock(MB),編碼單元(CU)可以被分為若干個64×64、32×32、16×16等宏塊,而每個宏塊還可以繼續(xù)被劃分。在幀內(nèi)編碼圖像塊處理中,編碼單元采用四叉樹劃分策略,最大的64×64單元劃分為8×8單元,因此幀內(nèi)編碼提供了靈活的塊劃分方法。編碼單元四叉樹劃分策略如圖2所示。2預(yù)測單元預(yù)測單元是幀預(yù)測處理中必須的最小單元。預(yù)測單元是在編碼單元的基礎(chǔ)上進(jìn)行劃分的,最大可與編碼單元一樣大,形狀不一定是正方形,可以是幾個小正方形組成的矩形。預(yù)測單元主要包括跳過(Skip)、幀內(nèi)(Intra)和幀間(Inter)3種模式。預(yù)測單元劃分策略如圖3所示。在預(yù)測單元劃分中,Skip包含2N×2N唯一一種模式;Intra包含2N×2N和N×N兩種模式;Inter則包含2N×2N、N×N、2N×N、N×2N、2N×nU、2N×nD、nL×2N和nR×2N等8種模式。3變換單元的選取幀內(nèi)編碼圖像塊處理的變換單元為正方形,其單元大小和編碼單元類似,采用64×64、32×32、16×16和4×4。變換單元是在編碼單元的基礎(chǔ)上劃分的,對于幀內(nèi)預(yù)測,變換單元不得大于預(yù)測單元的大小,但對于幀間預(yù)測沒有特殊要求。變換單元劃分策略如圖4所示。2tms320d-323本文研究基于DSP和幀內(nèi)編碼的采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng),主要任務(wù)是讓采摘機(jī)器人在作業(yè)過程中采用幀內(nèi)編碼和圖像處理技術(shù)對視頻圖像進(jìn)行分析與處理,對待采摘果實進(jìn)行分類判別和采摘。視頻圖像的處理具有數(shù)據(jù)量大、精度高和耗時長的特點,需要具有強(qiáng)大運算能力的處理器進(jìn)行圖像處理。為此,采用了TI公司生產(chǎn)的TMS320DM643處理器作為處理核心。該芯片專用于數(shù)字媒體和圖像處理應(yīng)用,工作主頻可達(dá)600MHz,處理性能高達(dá)4800MIPS,2個20位的視頻口,具有8路同步串行輸入/輸出的McASP端口,可實時實現(xiàn)多路音頻/視頻信號的輸入/輸出及編解碼運算,如MPEG4、H.264、G.729等各種視/音頻算法。其芯片支持MMU和內(nèi)存映射管理,具有更高的主頻和更豐富的外設(shè),且穩(wěn)定性強(qiáng)、可靠性高,能適用于對性能和處理能力有更高要求的嵌入式系統(tǒng)應(yīng)用場合,被廣泛應(yīng)用于高清電視、視頻服務(wù)器、網(wǎng)絡(luò)攝像機(jī)、智能交通、工業(yè)視頻檢測、視頻監(jiān)控、安防監(jiān)控等行業(yè)中。DSP高速視頻圖像處理系統(tǒng)框架如圖5所示。3成像高速成像系統(tǒng)的硬件設(shè)計3.1dsp處理器和視頻解碼DSP高速視頻圖像處理系統(tǒng)的核心是DSP處理器單元和圖像采集單元。其中,圖像采集單元包括Camera和視頻解碼器兩部分,作用是將從Camera采集來的視頻圖像數(shù)據(jù)進(jìn)行采樣、量化處理,為視頻解碼器提供原始樣本。DSP處理器和視頻解碼器連接的示意如圖6所示。視頻解碼模塊使用TI公司生產(chǎn)的TVP5150A芯片作為系統(tǒng)的視頻解碼器。該芯片是TI推出的一款超低功耗的高性能混合信號視頻解碼芯片,具有功耗低、使用簡單、支持兩路復(fù)合視頻或一個S端子的輸入,以及可自動識別NTSC/PAL/SECAM制式的模擬信號等優(yōu)點。TVP5150A將Camera的模擬信號按照YCbCr4∶2∶2的格式轉(zhuǎn)化成數(shù)字信號,輸出格式為內(nèi)嵌8位同步信號的ITU-RBT.656碼流。視頻碼流隨后進(jìn)入嵌入式計算機(jī)上SOC提供的視頻接口。TVP5150A功能框架如圖7所示。3.2dsp處理器軟件設(shè)計主要考慮圖像處理和幀內(nèi)編碼算法的精確性和可靠性。軟件的開發(fā)設(shè)計采用TI公司推出的用于開發(fā)DSP芯片的集成開發(fā)環(huán)境CCS。軟件完成對DSP處理器外設(shè)、工作方式和相關(guān)寄存器的配置等設(shè)置后,會開啟視頻圖像采集線程;視頻圖像采集完成后,會根據(jù)需求將圖像進(jìn)行幀內(nèi)編碼處理,然后DSP處理器對目標(biāo)果實進(jìn)行等級分類。軟件算法流程如圖8所示。4果實三色直方圖的繪制在進(jìn)行圖像處理后,便可以對目標(biāo)果實進(jìn)行成熟度判斷。在果實的成熟度方面,利用果實在不同時期所呈現(xiàn)的顏色變化,人們可以通過肉眼來判斷水果的成熟度。在圖像處理領(lǐng)域,直方圖是一個非常強(qiáng)大的工具,其基本原理就是對顏色像素的統(tǒng)計,將統(tǒng)計值放入不同的bin中。在直方圖中,bin的含義是指將顏色空間分為若干個較小的區(qū)間,統(tǒng)計區(qū)間內(nèi)不同像素值的個數(shù),若bin越多,則直方圖分辨率越強(qiáng)。本文研究中bin值設(shè)置為256。顏色直方圖分為兩種,即灰度直方圖和RGB三色直方圖。灰度直方圖表示是不同亮度區(qū)間的像素值得個數(shù),通常用來檢測圖像的曝光水平和漸變;而RGB三色直方圖則表示在R、G、B等3個通道上,不同亮度區(qū)間上分布的相應(yīng)顏色像素值,可用來檢查色調(diào)。三色直方圖繪制過程為導(dǎo)入原圖,配置相關(guān)直方圖變量(如通道、維度柱條、bin數(shù)目等),計算直方圖及顯示直方圖等。其中,計算直方圖主要函數(shù)為calcHist,顯示直方圖主要函數(shù)為rectangle()。得到的RGB三色直方圖如圖9所示。不同程度的水果三色圖的顏色占比不同,可以通過其顏色分布的占比大致的判斷出水果的成熟度。果實在不同時期所呈現(xiàn)的顏色不同,通過采集不同時期的果實圖片,對其進(jìn)行RGB三色直方圖分析,不僅可以實時跟蹤到水果的成長歷程,還能對果實的采摘及腐爛進(jìn)行一定的數(shù)據(jù)化分析,便于后續(xù)的處理。但此方法易受光線的影響,得出的圖像結(jié)果與判斷的水果等級有時會存在一定的差異,所以此評價指標(biāo)具有一定的參考價值,但權(quán)重較低。5蘋果色度試驗為了驗證采摘機(jī)器人數(shù)字視頻監(jiān)控系統(tǒng)對水果分級的可行性及其有效性,以蘋果等級識別為例,在某蘋果種植示范基地進(jìn)行了實際的識別試驗。為了讓試驗正常進(jìn)行,試驗前對遮擋比較嚴(yán)重的果實進(jìn)行了一定的整理;試驗中分別以水果的瑕疵占比、RGB三色為參照,主要依據(jù)為RGB三色維度值。標(biāo)準(zhǔn)的蘋果色度RGB維數(shù)表如表1所示,試驗結(jié)果如表2所示。由試驗結(jié)果可以看出:采摘機(jī)器人識別和判定結(jié)果與市場分級結(jié)果一致,系統(tǒng)檢測精度高,性能可靠,可以滿足水果識別分級的設(shè)計需求。6dsp高速視頻圖像處理系統(tǒng)總體結(jié)構(gòu)介紹針對采摘機(jī)器人對目標(biāo)水果分級難度高、誤差大等問題,設(shè)計了一套基于DSP和幀