基于fpga的圖像采集與處理電路設(shè)計(jì)

1、摘要圖像采集和處理技術(shù)在機(jī)器視覺和圖像分析等諸多領(lǐng)域應(yīng)用十分廣泛，大部分情 況下，采集卡只需將前端相機(jī)捕獲的圖像信息正確地傳回計(jì)算機(jī)， 在要求較高的 應(yīng)用場合需要采集卡能準(zhǔn)確控制外部光源和相機(jī)，完成圖像采集，預(yù)處理，數(shù)據(jù) 傳輸。采集卡以fpga為核心器件，不僅實(shí)現(xiàn)傳統(tǒng)意義上的圖像采集，而且實(shí)現(xiàn)了高速ccd相機(jī)控制和激光器同步曝光功能，采用應(yīng)用廣泛的cameralink作為采集卡 的圖像輸入接口，提高了系統(tǒng)的通用性、傳輸速率和抗千擾能力，打破了以往單 純靠增加硬件設(shè)備實(shí)現(xiàn)同步控制的方法，簡化了系統(tǒng)硬件結(jié)構(gòu)關(guān)鍵詞：圖像釆集系統(tǒng)fpga圖像處理摘要1第一章緒論11.1引言21.2研宂概況31.3研宂

2、意義4第二章系統(tǒng)原理介紹5 2. 1系統(tǒng)原理5_- 5 tshape %506fpga簡介5 2.3數(shù)字相機(jī)62. 4 camera link介紹7 2.5視頻轉(zhuǎn)換芯片9第三章硬件設(shè)計(jì)103. 1硬件設(shè)計(jì)方案103.2fpga芯片選擇12 3.3存儲器選擇12第四章軟件設(shè)計(jì)15 4.1相機(jī)觸發(fā)模塊15 4.2數(shù)據(jù)處理164. 2.1數(shù)據(jù)緩存模塊16 4. 2.2圖像顯不模塊17參考文獻(xiàn)18總結(jié)19致謝錯(cuò)誤!未定義書簽。第一章緒論1.1引言“數(shù)字圖像采集”是指將目標(biāo)物體拍攝的模擬圖片轉(zhuǎn)換成數(shù)字信息后，再由計(jì)算 機(jī)進(jìn)行存儲、處理、顯示或打印的過程。相應(yīng)的系統(tǒng)稱為數(shù)字圖像采集系統(tǒng)。較之模擬系統(tǒng)，數(shù)字

3、系統(tǒng)的最大優(yōu)點(diǎn)就在于有良好的穩(wěn)定性。數(shù)字圖像采集系統(tǒng) 的任務(wù)，具體地說，就是采集傳感器輸出的模擬信號轉(zhuǎn)換成計(jì)算機(jī)能識別的數(shù)字信號，然后送入計(jì)算機(jī)或相應(yīng)的信號處理系統(tǒng)，根據(jù)不同需要進(jìn)行相應(yīng)的計(jì)算和 處理，得出所需的數(shù)據(jù)。與此同時(shí)，將計(jì)算機(jī)得到的數(shù)據(jù)進(jìn)行顯示或打印，以便 實(shí)現(xiàn)對某些物理量的監(jiān)視，其中一部分?jǐn)?shù)據(jù)還將被控制生產(chǎn)過程中的計(jì)算機(jī)控制 系統(tǒng)用來控制某些物理量。 它為我們更好的獲取信息提供了良好的基礎(chǔ)。因此，隨著自動(dòng)化控制、通訊及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，以及相機(jī)和計(jì)算機(jī) 性價(jià)比的日益提高，數(shù)字圖像信號的采集與處理在科學(xué)研宂、工農(nóng)業(yè)生產(chǎn)、醫(yī)療 衛(wèi)生等部門得到越來越廣泛的應(yīng)用。然而，在計(jì)算機(jī)視覺

4、測量技術(shù)中，為了對快 速運(yùn)動(dòng)a標(biāo)進(jìn)行實(shí)時(shí)跟蹤和提高測量精度，采用高分辨率、多視點(diǎn)、高幀頻圖像 采集技術(shù)是當(dāng)前一種有效的技術(shù)手段。相機(jī)采用高幀頻、高分辨率和多視點(diǎn)的技 術(shù)對提高測量精度起著重要的作用， 但是同時(shí)也對圖像的采集和存儲技術(shù)提出了 較高的要求，高速度、高分辨率都會使用于傳輸圖像數(shù)據(jù)的帶寬提升，用于存儲 圖像的磁盤空間加大，這對圖像采集系統(tǒng)的硬件和軟件系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)，特別是 在圖像數(shù)據(jù)的實(shí)時(shí)性采集、傳輸和提高圖像處理速度等方而都提出了較高的要 求，快速、靈活、方便及可控性成為圖像采集系統(tǒng)發(fā)展的方向。設(shè)計(jì)能實(shí)時(shí)處理 圖像數(shù)據(jù)，簡化存儲要求的高速圖像采集系統(tǒng)對今后高速圖像采集系統(tǒng)的更廣泛 的

5、應(yīng)用有著非常重要的意義。但是，針對本課題所要求的檢測要求，視覺檢測在數(shù)據(jù)采集、處理速度上仍有待 于大幅提高。近十年來，微電子技術(shù)以及超大規(guī)模集成電路有了長足的進(jìn)步， 特別是現(xiàn)場可編程門陣列fpga(field programmable gate array)更是得到了迅 猛的發(fā)展，為視覺檢測系統(tǒng)的數(shù)據(jù)采集、處理速度提高提供了新的方法和思路1.2研宄概況圖像采集處理系統(tǒng)是指用設(shè)備來捕獲客觀世界的圖像和特征， 也就是用設(shè)備來實(shí) 現(xiàn)對客觀世界的識別。視頻圖像采集處理是視頻信號處理系統(tǒng)的前端部分，正在 向高速、高分辨率、高集成化、高可靠性方向發(fā)展。 圖像采集處理系統(tǒng)在當(dāng)今工 業(yè)， 軍事， 醫(yī)學(xué)各個(gè)領(lǐng)域

6、都有著極其廣泛的應(yīng)用，如使用在遠(yuǎn)程監(jiān)控、安防、 遠(yuǎn)程抄表、可視電話、工業(yè)控制、圖像模式識別、醫(yī)療器械等各個(gè)領(lǐng)域，而且隨 著圖像采集處理技術(shù)的發(fā)展，在上述各個(gè)領(lǐng)域內(nèi)的各種應(yīng)用中，圖像采集處理系 統(tǒng)中所起到的作用顯得越來越重要，而且越來越多的行業(yè)和設(shè)備開始使用到圖像 采集處理系統(tǒng)。當(dāng)今世界進(jìn)入數(shù)字化信息的時(shí)代，各種形式的信息以數(shù)字化方式存儲于各種媒質(zhì) 中，而且越來越多的信息開始由傳統(tǒng)的模擬存儲和處理方式向數(shù)字化存儲和處理 方式轉(zhuǎn)變。 圖像信息作為人類最重要的信息源之一，圖像采集技術(shù)和改善圖像質(zhì) 量的圖像處理技術(shù)也開始向數(shù)字化方向轉(zhuǎn)變。在數(shù)字計(jì)算機(jī)問世之前，圖像處理 的共同特點(diǎn)是把圖像信息用傳統(tǒng)的模

7、擬方式來處理。從第一臺數(shù)字計(jì)算機(jī)問世以 來， 隨著計(jì)算機(jī)技術(shù)的發(fā)展與成熟， 數(shù)字圖像采集處理成為一個(gè)迅速發(fā)展的學(xué)科。在進(jìn)入二十一世紀(jì)前，國內(nèi)的圖像采集和處理系統(tǒng)大多隨著國外跨國企業(yè)的生產(chǎn) 線進(jìn)入中國。隨著中國科技的迅速發(fā)展以及工業(yè)自動(dòng)化要求的不斷提高，經(jīng)過數(shù) 年的發(fā)展，現(xiàn)在國內(nèi)許多自動(dòng)化設(shè)備制造商正將圖像采集和處理技術(shù)用于視覺檢 測、視覺控制機(jī)器人、確定和定位零件等領(lǐng)域的產(chǎn)品設(shè)計(jì)以提高功能及性能檔次， 改善產(chǎn)品及加工質(zhì)量。雖然市場上涌現(xiàn)出了各種圖像采集處理卡或采集處理系統(tǒng)， 但若需要將圖像采集 和處理系統(tǒng)廣泛應(yīng)用到各個(gè)行業(yè)的實(shí)際應(yīng)用中，還存在較大的困難，主要有以下 幾個(gè)方而的原因：首先是圖像采

8、集處理系統(tǒng)很難有重復(fù)精度，分割過程是非一致 的，提取的特征如物體表而屬性和照明環(huán)境是變化的；其次是處理時(shí)間太長，處理階段邊緣的軟件檢測要求幾個(gè)模板與所在的二維圖像數(shù)據(jù)進(jìn)行卷積，解釋階 段非完美的分割場景數(shù)據(jù)到模型的匹配的復(fù)雜度可能是特征數(shù)量幾何級函數(shù)； 再次絕大多數(shù)圖像采集和處理系統(tǒng)的功能有限，不能很好的應(yīng)用到各個(gè)領(lǐng)域當(dāng) 中；男外是采集處理系統(tǒng)仍然是相當(dāng)昂貴的，盡管回收期通常比較短，這仍然阻 礙新技術(shù)被廣泛接收；最后購買一個(gè)現(xiàn)成系統(tǒng)是困難的，大多數(shù)應(yīng)用要求高應(yīng)用 程度的專門軟件開發(fā)和環(huán)境工程6。1.3研宄意義隨著計(jì)算機(jī)、 多媒體和數(shù)據(jù)通信技術(shù)的高速發(fā)展， 數(shù)字圖像采集與處理在科學(xué)研 究、 工農(nóng)

9、業(yè)生產(chǎn)、醫(yī)療衛(wèi)生等部門得到越來越廣泛的應(yīng)用。同時(shí)，具有圖像功能 的嵌入式應(yīng)用也隨之增多，從數(shù)碼相機(jī)、可視電話、多功能移動(dòng)電話等消費(fèi)產(chǎn)品 到門禁、數(shù)字視頻監(jiān)視等工業(yè)控制及安防產(chǎn)品。圖像采集需要進(jìn)行同步信號的處 理，比通常意義上的數(shù)據(jù)采集過程復(fù)雜，電路的設(shè)計(jì)也較為困難。傳統(tǒng)pc上的 圖像采集卡都是在philips、brno扮ee等半導(dǎo)體公司提供的接口芯片基礎(chǔ)上， 由專業(yè)公司開發(fā)生產(chǎn)。近幾年來，隨著圖像視頻傳輸協(xié)議的不斷開放，開發(fā)研究 人員針對特殊應(yīng)用領(lǐng)域的定制開發(fā)圖像采集卡已變得可行m?；趂pga可編程器件的可編程特性，利用硬件邏輯電路實(shí)現(xiàn)圖像識別的軟件算 法，極大地提高了圖像識別速度，可以使圖

10、像識別速度達(dá)到ms級（受限于攝像頭 的視頻數(shù)據(jù)采集速度及圖像大小），從而滿足高速裝配線或是其它場合高速圖像 識別的需求。木文要討論的內(nèi)容就是將數(shù)字圖像采集與處理等功能集成在一塊電路板上。 此電 路板的設(shè)計(jì)目的是對數(shù)字圖像做釆集、顯示、存儲以及簡單的圖像處理，應(yīng)用在 不需要很高圖像質(zhì)量但需要實(shí)時(shí)性很高的環(huán)境下。設(shè)計(jì)中在板上提供了vga接 口，應(yīng)用的時(shí)候只需要將帶有vga接口的顯示器或視頻監(jiān)視器直接接到單板上 即可，并且單板的功耗很小，系統(tǒng)有很廣闊的應(yīng)用環(huán)境，對于圖像系統(tǒng)的普及應(yīng)用也有極大的幫助。第二章系統(tǒng)原理介紹2.1系統(tǒng)原理圖2. 1系統(tǒng)結(jié)構(gòu)框圖圖像采集系統(tǒng)的基本框圖如圖2.1所示。fpga發(fā)

11、出ttl控制信號,經(jīng)lvds/ttl轉(zhuǎn)換發(fā)給相機(jī)。相機(jī)接收到外部觸發(fā)信號后數(shù)據(jù)通過camera link接口輸出，ds90cr288解碼數(shù)字相機(jī)輸出信號，輸出24位數(shù)字圖像信號、行場信號、像素 時(shí)鐘;數(shù)據(jù)由fpga讀入，緩存在sram中，兩片sram采用乒乓操作方式傳送 到數(shù)字采集卡。在fpga中實(shí)現(xiàn)高速圖像處理，根據(jù)圖像處理的結(jié)果可以由fpga完成所需的控制。圖像采集卡通過pci接口和計(jì)算機(jī)相連接，通過計(jì)算機(jī)可以配 置圖像采集卡和相機(jī)，計(jì)算機(jī)也可以從采集卡中獲得圖像處理數(shù)據(jù)，完成數(shù)字圖像的采集與處理功能。2.2 fpga簡介fpga作為系統(tǒng)的核心器件，外圍器件的電路和功能己經(jīng)得到盡可能的簡化

12、， 許多外圍的功能器件的接u都不需要竽獨(dú)的接ui芯片來完成， 均由fpga來實(shí) 現(xiàn)。 整個(gè)系統(tǒng)中僅僅需要fpga以及視頻采集輸出芯片，整體上看提高了電路的 穩(wěn)定性，而且其先進(jìn)的開發(fā)工具使整個(gè)系統(tǒng)的設(shè)計(jì)調(diào)試周期大大縮短。因此fpga內(nèi)部邏輯設(shè)計(jì)就成為圖像采集與顯示系統(tǒng)設(shè)計(jì)的核心和關(guān)鍵?，F(xiàn)場可編程邏輯門陣列(fpga)和高性能數(shù)字信號處理器(dsp)是高速信 號處理領(lǐng)域兩大關(guān)鍵器件。在現(xiàn)代數(shù)字通信系統(tǒng)中，fpga的應(yīng)用相當(dāng)廣泛，fpga不但能大大縮減電路的體積，提高電路的穩(wěn)定性，而且先進(jìn)的開發(fā)工具使 整個(gè)系統(tǒng)的設(shè)計(jì)調(diào)試周期大大縮短。本系統(tǒng)采用altera公司推出的cyclone系列芯片epic3t

13、144是一款性價(jià)比很高的fpga芯片。2.3數(shù)字相機(jī)數(shù)5馬相機(jī)(乂名：數(shù)字式相機(jī)英文全稱:digital camera簡稱dc)，是一 種利用電子傳感器把光學(xué)影像轉(zhuǎn)換成電子數(shù)據(jù)的照相機(jī)。它是一種真正意義上的 非膠片新型相機(jī)。數(shù)字相機(jī)與普通模擬相機(jī)在膠卷上靠溴化銀的化學(xué)變化來記錄 圖像的原理所不同， 數(shù)字相機(jī)的傳感器是一種光感應(yīng)式的電荷耦合(ccd)或互補(bǔ) 金屬氧化物半導(dǎo)體(cmos)。對于數(shù)字相機(jī)來說，視頻信號在到達(dá)輸出設(shè)備時(shí)與離開相機(jī)時(shí)幾乎一樣。相對于 模擬相機(jī)來說，數(shù)字相機(jī)可以提供更高的分辨率， 更快的幀速， 更小的噪聲和更 多的功能， 當(dāng)然這些是有代價(jià)的：數(shù)字相機(jī)通常比模擬相機(jī)要貴很多。

14、數(shù)字相機(jī) 乜括更多復(fù)雜的設(shè)置，哪怕是對于只需要基木功能的視頻體系。在很多種情況下，數(shù)字相機(jī)要受到電纜長度的限制。所以要通過圖像采集卡再連接到電腦上。以ccd圖像傳感器作為光電轉(zhuǎn)換器件的相機(jī)，稱為ccd相機(jī)，以cmos圖像 傳感器作為光電轉(zhuǎn)換器件的相機(jī)，稱為cmos相機(jī)。鑒于多方面考慮，木系統(tǒng) 使用ccd圖像傳感器。ccd圖像傳感器可直接將光學(xué)信號轉(zhuǎn)換為數(shù)字電信號， 實(shí)現(xiàn)圖像的獲取、存儲、傳輸、處理和復(fù)現(xiàn)。ccd圖像傳感器的顯著特點(diǎn)：1.體積小，重量輕；2.功耗小，工作電壓低，抗沖擊與震動(dòng)，性能穩(wěn)定，壽命長；3.靈敏度尚，噪聲低，動(dòng)態(tài)范圍大；4.響應(yīng)速度快，有自掃描功能，圖像畸變小，無殘像；5.

15、應(yīng)用超大規(guī)模集成電路工藝技術(shù)生產(chǎn)，像素集成度高，尺寸精確，商品化生產(chǎn) 成木低。因此，許多采用光學(xué)方法測量外徑的儀器，把ccd器件作為光電接收器。ccd從功能上可分為線陣ccd和面陣ccd兩大類。線陣ccd通常將ccd內(nèi) 部電極分成數(shù)組，每組稱為一相，并施加同樣的時(shí)鐘脈沖。所需相數(shù)由ccds片內(nèi)部結(jié)構(gòu)決定，結(jié)構(gòu)相異的ccd可滿足不同場合的使用要求。線陣ccd有單 溝道和雙溝道之分，其光敏區(qū)是mos電容或光敏二極管結(jié)構(gòu)，生產(chǎn)工藝相對較 簡單。它由光敏ix陣列與移位寄存器掃描電路組成，特點(diǎn)是處理信息速度快， 外圍電路簡單，易實(shí)現(xiàn)實(shí)時(shí)控制，但獲取信息量小，不能處理復(fù)雜的圖像。面陣ccd的結(jié)構(gòu)要復(fù)雜得多

16、，它由很多光敏區(qū)排列成一個(gè)方陣，并以一定的形式連 接成一個(gè)器件，獲取信息量大，能處理復(fù)雜的圖像。木系統(tǒng)采用的是camera link接口工業(yè)數(shù)字相機(jī)stc-cl202a/clc202a,以下為此相機(jī)的主要參數(shù)：順序掃描相機(jī)lobit camera link輸出（mini接口）；實(shí)現(xiàn)業(yè)界最小尺寸；高分辨率（uxga）;可選掃描模式（全掃描，部分掃描）；可選各種觸發(fā)模式（脈沖寬，邊緣預(yù)置）。特性：rs-232外部控制各種功能設(shè)置；bayer方式圖像數(shù)據(jù)輸出；百萬像素cl202系列可達(dá)15fpso電源：輸入電壓：12v dc + / - 10%消耗：小于1.8w的環(huán)境條件：性能溫度：0c+40c，相

17、對濕度：0至85%（無凝結(jié)）工作溫度：_5c50c，相對濕度：0至85%（無凝結(jié)）存儲溫度：-3（rc6ctc，相對濕度：0至85%（無凝結(jié)）2.4 camera link介紹camera link是一種基于視頻應(yīng)用發(fā)展而來的通信接口，是狂channellink技術(shù)基 礎(chǔ)上發(fā)展出來的.過去， 在科學(xué)和工業(yè)視頻市場缺少一種標(biāo)準(zhǔn)的通信方式,相機(jī)制 造商和圖像采集卡制造商使用不同的連接器發(fā)展各自的產(chǎn)品，這使得線纜很難整 合生產(chǎn)，也給用戶帶來了很多麻煩.同時(shí)，隨著數(shù)據(jù)傳輸速率和復(fù)雜性的不斷提高，原有的通信方式己無法滿足需求，對一種通用的傳輸標(biāo)準(zhǔn)的需求就變得非常重要了.因此，ni（national in

18、struments）、攝像頭供應(yīng)商和其他圖像采集公司在2000年10月聯(lián)合推岀了camera link協(xié)議，旨在簡化攝像頭和采集卡之間的連接.camera link可為高速、高精度的數(shù)字?jǐn)z像頭提供簡單、靈活的連接.camera link協(xié)議是各公司間達(dá)成的一種協(xié)議,它不是一種行業(yè)標(biāo)準(zhǔn)1.圖2. 2 camera link接 口電路cameralink的信號包括視頻、 相機(jī)控制、 串行通信三個(gè)部分。 視頻部分是cameralink的核心，主要包括5對差分信號，即x0-x0+、xi-x1+、x2-x2+、x3-x3+、xclk-xclk+;串行通信部分包括2對差分信號，即sertc-sertc+和

19、sertfg-sertfg+。fval幀有效時(shí)為高電平或1。在行掃描相機(jī)中接高電平或留作它用。lval行有效時(shí)為高電平或1。dval當(dāng)相機(jī)數(shù)據(jù)率低時(shí)使用，數(shù)據(jù)率高時(shí)直接接高電平。sp無定義。sertfg從相機(jī)串行輸出端至采集卡串行輸入端的差分線對。sertc從采集卡串行輸出端至相機(jī)串行輸入端的差分線對13。cameralink接口的優(yōu)點(diǎn):傳輸速率高、帶寬高、結(jié)構(gòu)簡卑易于實(shí)現(xiàn)不需耍復(fù)來 的通信協(xié)議2。由于cameralink是基于channellink技術(shù)發(fā)展而來的， 所以camera link包含了channel link的所有優(yōu)點(diǎn)3。channellink技術(shù)有很多優(yōu)點(diǎn)。它是建立g g x3

20、r26mx3r26mmdsi6fmdsi6fjnerimmdr26fmdr26fz尾bmikxxiivauvaiixvai apfbrxovri5rxini-rxovrurxinl*rxorri 3lvdsvccgndlvdsgndrxolti2rxin2-rxouti 1rxin2*rxocrnorxcixin-vcrrxcixix*rxoctrxl3-rxocikrxin3-rxoct?iads gni)gni)pli.gndrxoct6pll va-rxolt5pli.gndrxoct4pwr dwrxoct?rxclkoctvccrxouiorxovi2c.ndrxoctiu52022

21、23242526272855port4廠portbs4廠portb?41prtb6403.3v39portb2portblpkxtbo36gnl35porta534phv33prta32portal3133v30porta229portal3jvx3+3.2 fpga芯片選擇altera cyclone系列fpga是altera公司2003年9月份推出的，基于1.5v, 0.13(im工藝，cyclone是一個(gè)性價(jià)比14圖2 1電路結(jié)構(gòu)帷圖很高的fpga系列。其中epic3t144是cyclone系列中的一員，共有2910邏輯單元，59904rambits,i+plls,最多有104個(gè)用戶1/

22、0，可以說這款fpga的資源非常豐富，足夠滿足 大型設(shè)計(jì)的需要。木設(shè)計(jì)選用altera公司的cyclone系列芯片， 芯片型號為ep1c3t144c8,因?yàn)樵?芯片是altera公司推出的低價(jià)格、高容量的fpga,其以較低的價(jià)格、優(yōu)良的特 性及豐富的片上資源在實(shí)際應(yīng)用中被廣泛的采用，這些都是其他同類產(chǎn)品無法相 比的。ep1c3t144c8芯片采用1. 5v內(nèi)核電壓，0. 33hh1sram工藝，與其他同類產(chǎn)品 相比具有以下特點(diǎn)：邏輯資源豐富，邏輯單元(le)數(shù)量為2910個(gè)。有104個(gè)可用i/o引腳，i/o輸出可以根據(jù)需要調(diào)整驅(qū)動(dòng)能力，并具有壓擺率 控制、三態(tài)緩沖、總線保持等功能：整個(gè)器件的i

23、/oy引腳分為四個(gè)區(qū)，每個(gè)區(qū) 可以獨(dú)立采用不同的輸入電壓，并可提供不同電壓等級的i/o輸出。多電壓接口，支持lvttl，lvcmos, lvds等i/o標(biāo)準(zhǔn)。靈活的時(shí)鐘管理，片內(nèi)配有一個(gè)鎖相環(huán)(pll)電路，可以提供輸入時(shí)鐘的132倍頻或分頻、156417ps相移和可變占空比的時(shí)鐘輸出，輸出時(shí)鐘的特性可 直接在開發(fā)軟件quartos ii里設(shè)定。經(jīng)鎖相環(huán)輸出的時(shí)鐘信號既可以作為內(nèi)部的 全局時(shí)鐘，也可以輸出到片外供其它電路使用。內(nèi)有signaltap嵌入式邏輯分析器，極大地方便了設(shè)計(jì)者對芯片內(nèi)部邏輯進(jìn)行 檢查，而不需要將內(nèi)部信號輸出到i/o管腳上。3.3存儲器選擇隨著數(shù)據(jù)處理技術(shù)的進(jìn)一步發(fā)展，對

24、于存儲器的容量和性能提出了越來越多的要 求。同步動(dòng)態(tài)隨機(jī)存儲器sdram(synchrono dynamic random access memory)因其容量大、讀寫速度快、支持突發(fā)模式讀寫以及相對于sram低廉的價(jià)格等 一系列優(yōu)勢而得到了廣泛的應(yīng)用。sdram的控制比較復(fù)雜，其接口電路設(shè)計(jì)是 關(guān)鍵。在本電路屮sdram是作為圖像數(shù)據(jù)緩存的，需要其存儲量人的特點(diǎn)來解 決圖像處理過程對存儲空間的需求問題。sdram(synchrono dynamic random access memory)是高速cmos同步動(dòng)態(tài) 隨機(jī)存儲器。同步是指時(shí)鐘頻率與cpu前端總線的系統(tǒng)時(shí)鐘頻率相同，并且內(nèi) 部的命

25、令的發(fā)送與數(shù)據(jù)的傳輸都以它為基準(zhǔn);動(dòng)態(tài)是指存儲陣列需要不斷的刷新 來保存數(shù)據(jù)不丟失;隨機(jī)是指數(shù)據(jù)不是按線性依次存儲，而是自由指定地址進(jìn)行數(shù)據(jù)的讀寫。sdram的內(nèi)部結(jié)構(gòu)，主要概念是邏輯bank，簡單說，sdram的內(nèi)部是一個(gè)存 儲陣列，因?yàn)槿绻枪艿朗酱鎯Γň腿缗抨?duì)買票），很難做到隨機(jī)訪問，陣列如同 表格，將數(shù)據(jù)“填”進(jìn)去，你可以把它想象成一張表格，同表格檢索原理一樣， 先指定一個(gè)行（row）,再指定一個(gè)列（column），就可以準(zhǔn)確地找到所需要的單元 格，這就是內(nèi)存芯片尋址的基本原理。對于內(nèi)存，這個(gè)單元格可稱為存儲單元， 這個(gè)表格（存儲陣歹g）就是邏輯bank（logical bank，簡稱

26、l-bank）由于技術(shù)、成本 原因，不可能只做一個(gè)全容量的l-bank,而且最重要的是，由于sdram的工 作原理限制，單一的l-bank將會造成非常嚴(yán)重的尋址沖突，大幅降低內(nèi)存效率, 所以人們在sdram內(nèi)部分割成多個(gè)l-bank,較早以前是兩個(gè)，目前基本都是 四個(gè)，這也是sdram規(guī)范中的最高l-bank數(shù)量。這樣，在尋址時(shí)要先確定是 哪個(gè)l-bank，然后再在這個(gè)選定的l-bank中選擇相應(yīng)的行與列進(jìn)行尋址。 這樣 對內(nèi)存的訪問， 一次只能是一個(gè)l-bank工作，而每次與北橋交換的數(shù)據(jù)就是l-bank存儲陣列中的一個(gè)“存儲單元”的容量。sdram內(nèi)存芯片一次傳輸率的 數(shù)據(jù)量就是芯片位寬，

27、存儲單元的容量就是芯片的位寬（也是l-bank的位寬）。行腿找行饑列地列地lit位線（數(shù)掘）圖3. 4 sdram的存儲原理示意圖圖3. 4為sdram的存儲原理示意圖:行選與列選信號將存儲電容與外界間的傳 輸電路導(dǎo)通，從而可進(jìn)行放電（讀?。┡c充電（寫入）。另外，途中刷新放大器的設(shè) 計(jì)井不固定目前這一功能被井入獨(dú)處放大器（sencc amplifier,簡稱s-amp）。 乒乓操作是一種用于數(shù)據(jù)流控制的處理技巧。典型的乒乓操作方法如圖3.5所 示。數(shù)據(jù)緩模塊可以為任何存儲模塊。乒乓操作的最大特點(diǎn)是，通過輸入數(shù)據(jù)選 擇單元和輸出數(shù)據(jù)選擇單元按節(jié)拍、相互配合的切換，將經(jīng)過處理的數(shù)據(jù)流沒有 時(shí)間停頓

28、的輸出。把乒乓操作模塊當(dāng)做一個(gè)整體，站在這個(gè)模塊的兩端看數(shù)據(jù)，| |列選通列選通i: : 極極管管流入數(shù)據(jù)流和輸出數(shù)據(jù)流都是連續(xù)不斷的，這樣非常適合對數(shù)據(jù)流進(jìn)行流水線式 處理。所以乒乓操作常常應(yīng)用于流水線式算法，完成數(shù)據(jù)的無縫緩沖和處理。圖3. 5乒乓操作示意圖乒乓操作的處理流程描述如下：輸入數(shù)據(jù)流通過輸入數(shù)據(jù)選擇單元等時(shí)地將數(shù)據(jù) 流分配到兩個(gè)數(shù)據(jù)緩沖區(qū)。在第1個(gè)緩沖周期，將輸入的數(shù)據(jù)流緩存到數(shù)據(jù)緩沖 模塊1，在第2個(gè)緩沖周期，通過輸入數(shù)據(jù)選擇單元的切換，將輸入的數(shù)據(jù)流緩 存到數(shù)據(jù)緩沖模塊2,同時(shí)，將數(shù)據(jù)緩沖模塊1緩存的第1個(gè)周期的數(shù)據(jù)通過輸 出數(shù)據(jù)選擇單元的選擇，送到運(yùn)算處理單元進(jìn)行處理。在

29、第3個(gè)緩沖周期，再次 切換數(shù)據(jù)的進(jìn)入與輸出緩沖模塊。如此循環(huán)，周而復(fù)始。乒乓操作的最大特點(diǎn)是， 通過輸入數(shù)據(jù)選擇單元和輸出數(shù)據(jù)選擇單元按節(jié)拍相互配合切換，將經(jīng)過緩沖的 數(shù)據(jù)流沒有時(shí)間停頓地送到運(yùn)算處理單元，進(jìn)行運(yùn)算和處理。把乒乓操作模塊當(dāng) 作一個(gè)整體，站在這個(gè)模塊的兩端看數(shù)據(jù)，輸入數(shù)據(jù)流和輸出數(shù)據(jù)流都是連續(xù)不 斷的，沒有任何停頓，非常適合對數(shù)據(jù)流進(jìn)行流水線式處理，所以，乒乓操作常 常被應(yīng)用于流水線式算法，完成數(shù)據(jù)的無縫緩沖和處理。在圖像采集部分輸出地信號輸入到fpga中，在sdram中進(jìn)行數(shù)據(jù)緩存。在fpga中可以設(shè)計(jì)圖像處理算法對圖像進(jìn)行實(shí)時(shí)處理12。數(shù)據(jù)首先進(jìn)入數(shù)據(jù)采集模塊，數(shù)據(jù)采集模塊根

30、據(jù)攝像頭傳輸數(shù)據(jù)的格式及協(xié)議原 封不動(dòng)的將數(shù)據(jù)采集進(jìn)fpga中，采集進(jìn)入fpga中之后，數(shù)據(jù)被送入數(shù)據(jù)處理 模塊，數(shù)據(jù)處理模塊對數(shù)據(jù)進(jìn)行初步的格式轉(zhuǎn)化處理。 然后fpga通過sdram控制模塊對fpga外部的sdram芯片進(jìn)行寫操作，將之前轉(zhuǎn)化后的圖像數(shù)據(jù)發(fā) 送到作為顯存的sdram中；與此同時(shí)，fpga的顯示模塊也在不斷的通過狀態(tài)1控制器sram1sram2s狀態(tài)2sdram控制模塊對sdram芯片進(jìn)行讀操作，將其轉(zhuǎn)化為模擬數(shù)據(jù)，最后將轉(zhuǎn) 化后的模擬數(shù)據(jù)連同控制信號線一并發(fā)送至顯示器。顯示器將其顯示出來。rx r9 rlujtl： rij r14 20k. 21k 2k2(zw20xwn n

31、rn第四章軟件設(shè)計(jì)4.1相機(jī)觸發(fā)模塊相機(jī)觸發(fā)模塊主要產(chǎn)生相機(jī)外觸發(fā)模式工作下的觸發(fā)信號，由fpga經(jīng)時(shí)鐘分 頻產(chǎn)生15hz外部觸發(fā)信號，再微分后產(chǎn)生脈沖信號輸出到相機(jī)。當(dāng)相機(jī)工作在 外觸發(fā)模式的時(shí)候，接收到觸發(fā)信號，相機(jī)開始工作，輸出有效圖像及同步信號 到fpga，fpga接收圖像做后期處理。信號key 2. 0預(yù)留做相機(jī)調(diào)光信號輸入 使用，對數(shù)字相機(jī)曝光時(shí)間進(jìn)行調(diào)節(jié)，改變輸出圖像灰度值。程序方框圖如下：圖4. 1相機(jī)觸發(fā)模塊鬌uwlol*uwlol*svlva.lsvlva.ltl tlmv,lgmv,l o_4 -j u rj .c o c o muuaipuiathlrzlva.hlrz

32、lva.hlvphlv|ix?1khm i3p1ik4kxlvqsif( (ix?irikxlvljsikiidqiiokll?ik3*kxk)z10ka ift lk5 llx/sirt kakalvtk?(iix?ikxlvtk2tuldqlr7-2c-2ca3sa3s uspsusps .2.230a山amaalolqi=?c.9sa.vl,sqi=?c.9sa.vl,sqq，2 2.2.2crlka01crlka01 cacsacacsaoioi 2 2 jroa1.sjroa1.sssoa1ssoa1s s5-svrcl5-svrcl雲(yún)aal.ol占a1clclsusasusa ,2

33、,2 nlslvrolnlslvrol aulsai.olaulsai.ol*lsaal.ol*lsaal.ol02srol02srol:空svolvhvhn nmm7v7viiank4kvbkvbncncncncaonca曹ala2ai7a?al*a4aisqekw7huvcccnpgsdvrc102(05houmahasai3ai2mallal。mncncncncnc2vkmlasi4fl141x*m gko2*27umkiai?i ai6i-m5mxxt.v狐i)w1atasmjat.u1ai4iai21 al icczzin-ruoeikxit2rlo御klimkipwllskxids

34、ir.dqlllkxlmjrwll* lvhslir.12 ntsr,fbvmlvuhiaflsfbb4jvwgj卜wg;pbxbtl卜ka?himfbaajfofa2a三a a2 fi 2coscoaksoalaksoal5$sc.vl5$sc.vl書5 5 ib21iib21i -55ai-55ai5woa15woa13ijsa3ijsa l5n*u%5l5n*u%5 i iissaaissaa i i者515155-55-3*5013*5015 5爻aiais5ealcsavlj5qj -s6a-s6a- t t e e程序設(shè)計(jì)中信號說明：in: 15hz分頻信號；clkjn:時(shí)統(tǒng)時(shí)鐘，

35、微分電路采樣時(shí)鐘;flag :微分后輸出到相機(jī)的信號；key 2. 0:相機(jī)調(diào)光控制信號；cc 1:相機(jī)控制信號。微分電路仿真波形圖如下：vatu aps40.0 ns80.0 ns120.0 ns 160.0 ns 2(0.,0 ns240name0 i0 psjelkinu_n_njmrlrln_njmrlrln_n_mwln_n_rln_njflagui i i i i ini i i i i i i un_inui 圖4. 2微分電路仿真波形vga工業(yè)標(biāo)準(zhǔn)要求像素時(shí)鐘輸出的頻率是25. 175mhz,行頻是31469hz,場 頻(即每秒圖像刷新頻率)是59. 94hz。所設(shè)計(jì)的fpga

36、系統(tǒng)為som晶振作為時(shí)鐘 輸入，vga的像素時(shí)鐘頻率選取為25mhz，由系統(tǒng)時(shí)鐘2分頻得到。4.2數(shù)據(jù)處理模塊4.2.1數(shù)據(jù)緩存模塊相機(jī)工作后輸出接camera link接口，外部硬件電路ds90lv048數(shù)據(jù)轉(zhuǎn)換后輸 出像素信號、場同步信號fval、行同步信號lval、像素時(shí)鐘信號clkout。 由于sram讀寫操作的時(shí)候數(shù)據(jù)共用一條縱線，如果只用單sram做數(shù)據(jù)緩存 會造成數(shù)據(jù)沖突，例如當(dāng)讀取前一幀數(shù)據(jù)時(shí)，k一幀數(shù)據(jù)正好要寫入，由于數(shù)據(jù) 沖突會造成數(shù)據(jù)混亂，緩存就沒有實(shí)際意義。經(jīng)過查閱相關(guān)資料，采用兩片sram,乒乓操作實(shí)現(xiàn)數(shù)據(jù)緩存，解決了單片sram數(shù)據(jù)沖突的問題。依據(jù)乒乓 操作原理，程

37、序步驟如卜*:(1) fpga讀取一行像素有效數(shù)據(jù)，寫入sram1;鶖shape 14fpga讀取下一行像素有效數(shù)據(jù)， 寫入sram2的同時(shí)， 讀取sram1中暫存的數(shù)據(jù)；鶖shape 14 重復(fù)進(jìn)行步驟(1)、(2)。:inst圖4.3數(shù)據(jù)緩沖模塊4.2.2圖像顯不模塊inst12圖4. 4數(shù)字顯示模塊圖像顯示主要由嵌入的niosii處理器和vga顯示控制器來完成，niosii處理和 顯示控制器完成處理后的圖像的實(shí)時(shí)顯示，為提高速度，利用dma控制器在顯 示控制器和sram之間建立一條dma傳送通道，讓硬件來完成像素信息的自動(dòng) 讀取，而nios 11處理器可以僅僅通過操作sram中對應(yīng)區(qū)塊完

38、成對監(jiān)視器圖像 的更新。 顯示控制器驅(qū)動(dòng)的源圖像來自于ram緩存的經(jīng)過處理的圖像數(shù)據(jù)， 顯示 控制器提供了兩個(gè)avalon總線接u,個(gè)是dma控制器主端口，它從存儲器按 行取圖像數(shù)據(jù)，另一個(gè)是從端u,它訪問寄存器組來配置dma控制器和vga吋序發(fā)生電路。該模塊的功能如下：(1)當(dāng)輸入引腳rst的電平為低電平時(shí)，執(zhí)行復(fù)位操作，輸出均被置零；(2)產(chǎn)生讀使能信號，該信號為sdram中的輸出fifo提供讀使能，只有當(dāng)讀 使能信號有效時(shí)才能從sdram中讀取有效像素的亮度值，通過前面對vga吋序的分析， 讀使能信號在15495行中的145784像素點(diǎn)是有效的， 共640x480個(gè)有效像素x-x-add

39、r control!clock -blankl .vhrd_clkwr_clkwecontrolwewe1iva iiva idatajnp.o)mem1_data(7.omem1_addr18.omemlwemem2_data7.omem2_addr(18.0jmem2_wedata_out7.0 參會 ssiufoutputijoutpirr：outputmem_addr(18.owemem2_data7.omem2_addr|18 .0we2v. rst vgaoutxx-clockhsynebelkvsynebresetblankuclkhblankq7.ovblanksel1.oda

40、ta_out7.0datajn7.oblanklvjbxx點(diǎn)；(3)產(chǎn)生行、場同步信號輸出。設(shè)計(jì)中通過對像素點(diǎn)和行計(jì)數(shù)來實(shí)現(xiàn)對這兩個(gè)信 號狀態(tài)的控制，在一場數(shù)據(jù)的前兩行像素點(diǎn)對應(yīng)的時(shí)鐘周期內(nèi)，場同步信號為低 電平，后為高電平，在場同步信號有效的過程中，一行數(shù)據(jù)的前96個(gè)像素點(diǎn)對 應(yīng)的時(shí)鐘周期內(nèi)行同步信號為低電平，后為高電平，其中低電平表示武消隱， 高電平表示有效，這兩個(gè)輸出端直接與vga接口的hs和vs端連接，提供vga顯示所需的行、場同步信號。參考文獻(xiàn)朱齊丹，劉進(jìn)業(yè)，康嶺cameralink硬件接口電路設(shè)計(jì)哈爾濱工程大學(xué)2008年10月第8期劉進(jìn)業(yè)高速cameralink接口技術(shù)研究，哈爾濱工程大學(xué)