基于dsp的視頻數(shù)字圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

基于dsp的視頻數(shù)字圖像處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

1算法的發(fā)展和應(yīng)用自動目標(biāo)識別系統(tǒng)（atr）的主要算法包括圖像數(shù)據(jù)的預(yù)處理、圖像分割、目標(biāo)檢測、函數(shù)計(jì)算、相關(guān)匹配、識別和分類、運(yùn)動分析、目標(biāo)跟蹤、目標(biāo)點(diǎn)選擇等。目的是要實(shí)現(xiàn)這些功能的實(shí)時性,并應(yīng)用于動態(tài)戰(zhàn)術(shù)環(huán)境。文獻(xiàn)分別研究了基于差值圖像的跟蹤系統(tǒng);文獻(xiàn)研究了基于圖像特征匹配的系統(tǒng);文獻(xiàn)介紹了美陸軍白沙靶場的實(shí)時電視跟蹤系統(tǒng),這些系統(tǒng)代表了近年來國內(nèi)外電視跟蹤測量系統(tǒng)的基本類型和主要研究成果。目前這些算法的研究,既有基于對以往算法的改進(jìn),同時也致力于新算法的產(chǎn)生,尤其是將相關(guān)領(lǐng)域的研究成果應(yīng)用進(jìn)來,例如人工智能、并行處理等技術(shù),這就大大推動了自動目標(biāo)識別技術(shù)的發(fā)展,從而在軟件上借助算法的改進(jìn)和新算法的提出,同時在硬件上借助高速數(shù)字信號處理器的開發(fā)和換代,使實(shí)時條件下實(shí)現(xiàn)目標(biāo)的檢測、提取、識別、跟蹤技術(shù)不僅成為可能,而且使準(zhǔn)確性更高,實(shí)時性更強(qiáng)。由于數(shù)字處理器件,如高速模數(shù)轉(zhuǎn)換器件(A/D)、數(shù)字信號處理器(DSP)芯片等的發(fā)展,處理方法己從簡單的模擬處理進(jìn)入數(shù)字處理階段,各種新的數(shù)字信號處理方法得到廣泛應(yīng)用。數(shù)字處理方法的優(yōu)點(diǎn)是精度高,但如進(jìn)行全視場的搜索處理,實(shí)時性則很難滿足。近年來國內(nèi)外視頻實(shí)時數(shù)字圖像處理系統(tǒng)在目標(biāo)實(shí)時檢測方面,出現(xiàn)了高度并行的圖像處理方法,如英國INMOS公司1985年首次推出32位具有獨(dú)特網(wǎng)絡(luò)性能的Transputer芯片,揭開了研究高速并行數(shù)字圖像處理系統(tǒng)的序幕,此后陸續(xù)出現(xiàn)了更高性能的微處理器。所用的數(shù)字信號處理器從TMS32010,TMS320C25,TMS320F206,TMS320C80到目前的TMS320C6000系列,不斷地進(jìn)行升級換代。著重從硬件設(shè)計(jì)的角度,介紹了采用數(shù)字信號處理器TMS320C6202的實(shí)時數(shù)字圖像處理系統(tǒng)的構(gòu)成和算法的應(yīng)用。2圖像數(shù)據(jù)分析本系統(tǒng)主要由數(shù)字信號處理器TMS320C6202為核心,結(jié)合可編程邏輯器件CPLD和現(xiàn)場可編程門陣列FPGA,構(gòu)成的實(shí)時數(shù)字圖像處理系統(tǒng)。其原理框圖如圖1所示。其主要功能模塊有視頻信號處理單元、高速模數(shù)變換單元、數(shù)字處理單元、數(shù)字圖像存儲器單元、數(shù)據(jù)分析處理單元、數(shù)據(jù)通訊接口單元、同步和疊加顯示單元。該實(shí)時數(shù)字圖像處理系統(tǒng)的工作原理是由攝像機(jī)輸出的視頻信號經(jīng)嵌位、放大、濾波等預(yù)處理電路,再通過高速模數(shù)轉(zhuǎn)換器轉(zhuǎn)換為8位數(shù)字信號輸出。同時同步機(jī)對輸入的視頻信號進(jìn)行行場同步分離,驅(qū)動地址發(fā)生器產(chǎn)生數(shù)字圖像數(shù)據(jù)的存儲地址,數(shù)字圖像數(shù)據(jù)在跟蹤窗口的范圍內(nèi)依照地址產(chǎn)生器的地址按照順序存入圖像采集存儲器。閃存FLASH用作存放開機(jī)自舉的程序機(jī)器碼以及有關(guān)參數(shù)數(shù)據(jù)。SDRAM是容量為512K×32bit×4bank的同步動態(tài)存儲器,該存儲器可用作存儲以DMA方式從雙端口存儲器RAM傳輸過來的數(shù)字圖像數(shù)據(jù)。數(shù)字信號處理器TMS320C6202執(zhí)行芯片內(nèi)的程序存儲區(qū)的程序,對數(shù)字圖像數(shù)據(jù)進(jìn)行處理,與主機(jī)進(jìn)行數(shù)據(jù)通訊等工作。由高速數(shù)字信號處理器TMS320C6202和數(shù)字圖像存儲器組成的圖像數(shù)據(jù)分析處理單元對目標(biāo)信號做各種圖像數(shù)據(jù)分析處理,串口部分的作用是實(shí)現(xiàn)與主機(jī)的數(shù)據(jù)中轉(zhuǎn)傳輸。處理窗口電路的作用是根據(jù)處理窗口數(shù)據(jù)形成顯示窗口和采集窗口。顯示窗口送至視頻復(fù)合電路供顯示和指示跟蹤效果用;采集窗口為場采集窗口和行采集窗口,可用作選通或形成圖像數(shù)據(jù)的存儲地址。視頻復(fù)合電路的作用是將顯示窗口、電十字線、字符和圖像信號疊加起來,供監(jiān)視器顯示。2.1高清質(zhì)單元設(shè)計(jì)TMS320C6000系列數(shù)字信號處理器是美國TI公司于1997年推出的高端系列的數(shù)字信號處理器。其中TMS320C6202這種芯片是定點(diǎn)芯片,選用的型號為TMS320C6202GJL-250,指令周期為4ns,具有超長指令字處理能力。其內(nèi)部有8個并行處理單元,8條指令組成一個指令包,一個指令包的總字長為256位。它可在一個時鐘周期內(nèi)并行執(zhí)行8條指令。這種高速高性能的數(shù)字信號處理器通過片內(nèi)的鎖相環(huán)路(PLL)將輸入時鐘頻率倍頻,可達(dá)250MHz。最大處理能力的理論值可達(dá)到8×250MHz=2000MIPs(每秒執(zhí)行指令)。C6202的8個獨(dú)立功能單元中有兩個16bit乘法器和6個算術(shù)邏輯單元。C6202的存儲器數(shù)據(jù)寬度為32bit,芯片內(nèi)部集成了128K-Byte的片內(nèi)數(shù)據(jù)RAM和256K-Byte的片內(nèi)程序RAM。C6202內(nèi)部的4通道DMA協(xié)處理器可用于數(shù)據(jù)的DMA傳輸。C6202還具有3個McBSP(多通道緩沖串口),它不僅可完成標(biāo)準(zhǔn)串口的全雙工串行通信,還支持多種通信協(xié)議下的直接接口。C6202還具有一個32位寬的擴(kuò)展總線,支持與異步外設(shè)、異步/同步FIFO、PCI橋以及外部主控處理器等的接口。2.2sem-大力推進(jìn)改革開放,使罪犯對數(shù)字信號存儲表達(dá),在一般外部存儲器接口EMIF(ExternalMemoryInterface)是外部存儲器和C6000片內(nèi)其他單元間的接口,CPU訪問片外存儲器時必須通過外部存儲器接口EMIF。C6000系列數(shù)字信號處理器的EMIF具有很強(qiáng)的接口能力,其數(shù)據(jù)總線寬度為32bit,可尋址范圍為64Mb,分為4個尋址空間CE0-CE3,每個CE尋址空間彼此獨(dú)立,可以進(jìn)行不同的訪問控制;同時也提供對8/16位存儲器的讀寫支持;既提供了同步存儲器的高吞吐率接口,也支持低速RAM的存儲接口,可以與目前幾乎所有類型的存儲器直接接口,EMIF支持的器件類型包括:·同步突發(fā)靜態(tài)RAM(SBSRAM),讀寫速度可達(dá)1×或1/2×CPU時鐘?！ね絼討B(tài)RAM(SDRAM),接口速度為1/2×CPU時鐘?！ぎ惒狡骷?包括異步SRAM、ROM、和FLASH等。異步接口速度、時序可編程,以配合不同的器件。存儲器的設(shè)計(jì)首先要考慮存儲器的速度、類型、容量是否能滿足運(yùn)算要求以及性價比。本系統(tǒng)采集的是灰度圖像,要求能夠存儲兩場圖像,每場圖像按照512×256×8bit點(diǎn)計(jì)算,需要256K×8bit,本系統(tǒng)采用了1片SDRAM用來在算法運(yùn)算過程中對圖像數(shù)據(jù)的緩存,占用CE2存儲空間。C6000系列數(shù)字信號處理器的EMIF提供了對SDRAM的直接支持,所以接口十分方便。異步存儲器接口選用了1片雙端口RAM(型號為IDT7132)作為圖像數(shù)據(jù)從FPGA到DSP之間的傳輸,IDT7132容量為2K×8bit,通過對DMA控制寄存器的設(shè)定,圖像數(shù)據(jù)以DMA方式向DSP傳輸。選用了1片閃存FLASH(型號為AM29LV800))作為程序存儲器。C6000系列數(shù)字信號處理器提供了一系列的外部管腳,完成芯片的狀態(tài)設(shè)置,這些設(shè)置項(xiàng)稱為自舉設(shè)置項(xiàng)(BootConfiguration),決定芯片在復(fù)位后執(zhí)行初始化操作的內(nèi)容,所有設(shè)置項(xiàng)通過上電復(fù)位后檢查設(shè)置管腳BOOTMODE[4∶0]的狀態(tài),自舉邏輯開始生效。C6202利用擴(kuò)展總線的XD[4∶0]作為BOOTMODE[4∶0]信號。本系統(tǒng)設(shè)置存儲器映射方式為MAP1,SDRAM占用CE2空間,雙端口RAM占用CE3空間,閃存FLASH占用CE1空間,上電后程序從閃存FLASH以DMA方式自舉到內(nèi)部程序RAM當(dāng)中,應(yīng)用程序在內(nèi)部程序RAM全速運(yùn)行。2.3a/d采集單元它接收可見光CCD攝像機(jī)或紅外攝像機(jī)輸出的全視頻信號,并對視頻信號首先經(jīng)過預(yù)處理,程控放大,保證視頻信號有滿意的幅度后進(jìn)入A/D采集單元,確保A/D全量程工作。同時,視頻信號也送到圖像混合電路與參考信號混合供圖像監(jiān)視和記錄。視頻信號處理單元擬采用AD9631高解析度寬帶視頻放大器。2.4數(shù)字圖像信號高速A/D變換對視頻信號數(shù)字化后,將模擬圖像信號轉(zhuǎn)換為數(shù)字圖像信號,存入圖像存儲器中。A/D變換器擬采用AD9042,A/D最高采樣頻率可達(dá)40MHz,精度為12bit,輸入信號范圍為±2V。2.5采樣結(jié)果的鎖存數(shù)字處理單元完成數(shù)字濾波、圖像增強(qiáng)和圖像分割等數(shù)字圖像預(yù)處理功能。采用在線可編程大容量FPGA,ALERA公司EP1K100。由DSP控制A/D啟動,控制A/D采樣頻率,A/D采樣結(jié)果進(jìn)行鎖存。每采樣1個點(diǎn),即存入雙口RAM中。將雙口RAM的存儲空間分成2個數(shù)據(jù)塊,每采完512個數(shù)據(jù)即產(chǎn)生1個EXT_INT7中斷,請求DSP將第1個數(shù)據(jù)塊的數(shù)據(jù)取走。DSP取數(shù)時不影響A/D采樣,A/D采樣的下512個數(shù)據(jù)寫入下一個數(shù)據(jù)塊,兩個數(shù)據(jù)塊輪流工作。2.6圖像數(shù)據(jù)分析處理單元由高速數(shù)字信號處理器TMS320C6202和數(shù)字圖像存儲器組成的圖像數(shù)據(jù)分析處理單元對目標(biāo)信號做各種圖像數(shù)據(jù)分析處理,接收中心控制器通過串口發(fā)送指控命令,計(jì)算并輸出被處理目標(biāo)的數(shù)據(jù),根據(jù)被處理目標(biāo)在視場中的位置與大小向窗口產(chǎn)生電路送出處理窗口的位置及大小數(shù)據(jù)。2.7數(shù)字視頻監(jiān)控系統(tǒng)的構(gòu)成由一個RS422串口和一個RS232串口組成中心控制器通過串口發(fā)送指控命令,實(shí)時數(shù)字圖像處理系統(tǒng)并對目標(biāo)處理數(shù)據(jù)進(jìn)行修正和規(guī)范化處理,送出符合規(guī)定格式的圖像處理數(shù)據(jù)。2.8視頻信號提取它為實(shí)時圖像處理系統(tǒng)各個處理單元送出所需要的同步信號,使它們能同步協(xié)調(diào)地工作。參考信號包括電視處理視場、十字絲、處理窗口、目標(biāo)信號提取指示等。將這些參考信號與圖像信號混合在一起顯示在監(jiān)視器屏幕上,便于操作人員監(jiān)視系統(tǒng)工作情況,判斷處理的質(zhì)量、選擇處理方式和處理區(qū)域。3數(shù)據(jù)處理算法的應(yīng)用3.1基于灰度級的閾值選取圖像閾值分割是一種廣泛使用的圖像分割技術(shù),它利用了圖像中要提取的目標(biāo)與其背景在灰度特性上的差異,把圖像視為具有不同灰度級的兩類區(qū)域(目標(biāo)和背景)的組合,選取一個合適的閾值,以確定圖像中的每一個像素點(diǎn)應(yīng)該屬于目標(biāo)還是背景區(qū)域,從而產(chǎn)生相應(yīng)的二值圖像。閾值分割不僅可以大量壓縮數(shù)據(jù),減少存儲容量,而且能大大簡化在其后的分析和處理步驟。閾值分割的方法很多,但目前很難找到適用于各種場合的分割方法。針對實(shí)際情況,采用了類間方差法分割方法。最大類間方差法由Ostu提出,是在判決分析最小二乘法原理的基礎(chǔ)上推導(dǎo)得出的,算法比較簡單,適用范圍較廣,是一種受到關(guān)注的閾值選取方法。設(shè)原始灰度圖像的灰度級為L,灰度級為i的像素點(diǎn)數(shù)為ni,圖像的全部像素為N,歸一化直方圖,則:pi=niΝ,L-1∑i=0pi=1,(1)pi=niN,∑i=0L?1pi=1,(1)按灰度級用閾值t劃分為兩類:C0=(0,1,...,t)和C1=(t+1,t+2,...,L-1)。C0和C1類的出現(xiàn)概率及均值分別為:ω0=t∑i=0pi=ω(t),(2)ω0=∑i=0tpi=ω(t),(2)ω1=L-1∑i=t+1pi=1-ω(t),(3)ω1=∑i=t+1L?1pi=1?ω(t),(3)μ0=t∑i=0ipi/ω0=μ(t)/ω(t),(4)μ0=∑i=0tipi/ω0=μ(t)/ω(t),(4)μ1=L-1∑i=t+1ipi/ω1=μΤ(t)-μ(t)1-ω(t),(5)μ1=∑i=t+1L?1ipi/ω1=μT(t)?μ(t)1?ω(t),(5)其中:μ(t)=t∑i=0ipi,(6)μ(t)=∑i=0tipi,(6)μΤ(t)=L-1∑i=0ipi,(7)μT(t)=∑i=0L?1ipi,(7)C0和C1類的方差:σ20=t∑i=0(i-μ0)2pi/ω0,(8)σ20=∑i=0t(i?μ0)2pi/ω0,(8)σ21=L-1∑i=t+1(i-μ1)2pi/ω1,(9)類間方差為:σ2ω=ω0σ20+ω1σ21,(10)類內(nèi)方差為:σ2B=ω0(μ0-μΤ)2+ω1(μ1-μΤ)2=ω0ω1(μ1-μ0)2,(11)總體方差為σ2Τ=σ2B+σ2ω,(12)引入關(guān)于t的等價的判決準(zhǔn)則:η(t)=σ2B/σ2ω,(13)可選最佳閾值:t*=max0≤t≤L-1η(t),(14)3.2hamming距離采用序貫相似性檢測的算法(SSDA),SSDA算法對于二值圖可以簡化,這時模板與對應(yīng)子圖中的成對像點(diǎn)的差值為:|F(m+i,n+j)-Τ(m,n)|=ˉF(i,j)Τ+F(i,j)ˉΤ=F(m+i,n+j)⊕Τ(m,n),(15)式中:⊕表示異或處理(模2加),由此得到D(i,j)=Μ∑m=1Ν∑n=1F(m+i,n+j)⊕Τ(m,n),(16)這被稱為二進(jìn)制的Hamming距離,D越小,則表明子圖像與模板越相似。由于在實(shí)時數(shù)字圖像處理系統(tǒng)中,圖像采樣時間很短,每場圖像20ms(25幀/s),因此目標(biāo)在下一幀的位置距離上一幀的位置應(yīng)該在一定范圍之內(nèi)。為了減