基于ARM11的視頻采集及編碼系統(tǒng)的設(shè)計(jì)

1、基于ARM11的視頻采集與編碼系統(tǒng)的設(shè)計(jì)摘 要：基于嵌入式技術(shù)的無(wú)線視頻監(jiān)控以其靈活性、高集成性、便捷性等諸多優(yōu)點(diǎn)必將取代傳統(tǒng)的有線視頻監(jiān)控。針對(duì)目前視頻監(jiān)控的實(shí)際需求，結(jié)合嵌入式技術(shù)、圖像處理技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一種可靠性高、成本低的嵌入式視頻采集及編碼系統(tǒng)。它是視頻監(jiān)控的前端，是無(wú)線視頻監(jiān)控系統(tǒng)的一個(gè)子系統(tǒng)。系統(tǒng)選用S3C6410微處理器作為核心板的控制器，采用USB接口的攝像頭進(jìn)行采集，利用S3C6410的硬件編解碼模塊進(jìn)行H.264編碼。根據(jù)系統(tǒng)的功能要求，開(kāi)發(fā)了zc301攝像頭和MFC的設(shè)備驅(qū)動(dòng)程序，并采用內(nèi)存映射方式和雙緩沖思想編寫(xiě)了基于V4L的視頻采集程序。探討了H.264的編碼特

2、性和碼流結(jié)構(gòu)，利用MFC驅(qū)動(dòng)中的API函數(shù)，開(kāi)發(fā)了基于H.264算法的視頻編碼程序。測(cè)試表明，設(shè)計(jì)的系統(tǒng)視頻采集效率高、圖像連續(xù)性好、運(yùn)行穩(wěn)定。關(guān)鍵詞：嵌入式系統(tǒng)；ARM11；S3C6410；視頻采集;視頻編碼；H.264ABSTRACT: In the future, Wireless video monitoring system based on embedded technology, with many advantages such as flexibility, integration, convenience and so on, will replace existing w

3、ired video monitoring system inevitably. Aiming at actual demand of present video monitoring, this paper designs and realizes a reliable and cheap embedded video capturing and compression system, with the combination of embedded technology and image processing technology. This system is the front en

4、d of video monitoring and a subsystem of wireless video monitoring system. This system chooses S3C6410 as the kernel board's controller uses the camera with USB interface to capture pictures and encodes the video data using the codec of S3C6410. According to functional requirements of the system

5、, device drivers of MFC and zc301 camera are developed, and video capturing application based on V4L using Memory Mapping and the idea of the double buffer are also developed. After a brief study on the feature and stream structure of H.264, video encoding application based on H.264 with the MFC dri

6、vers API is completed. The test shows that this system has a high efficiency to capture video data, has good continuity for pictures and can run stably.KEY WORD：Embedded system; ARM11; S3C6410; Video capturing; Video encoding; H.264引 言視頻具有表達(dá)客觀事物直觀、生動(dòng)、形象，信息豐富等優(yōu)點(diǎn)，它在各行各業(yè)的應(yīng)用日益受到人們的關(guān)注。傳統(tǒng)的視頻監(jiān)控系統(tǒng)主要是模擬圖像監(jiān)控系

7、統(tǒng)和基于有線傳輸?shù)臄?shù)字監(jiān)控系統(tǒng)。雖然模擬圖像監(jiān)控系統(tǒng)1能夠保證圖像清晰、不失幀，但是傳輸距離小，布線工程量大，需要大量存儲(chǔ)介質(zhì)，極大地浪費(fèi)了資金。數(shù)字監(jiān)控系統(tǒng)多采用各種視頻采集卡實(shí)現(xiàn)，靈活性不夠，成本高，且同樣存在布線上的缺陷。在視頻監(jiān)控領(lǐng)域，由于受傳輸帶寬的限制，如何對(duì)視頻數(shù)據(jù)進(jìn)行高效壓縮，從而便于信息穩(wěn)定高質(zhì)量傳輸，以及如何設(shè)計(jì)系統(tǒng)，保證系統(tǒng)的體積更小，成本、功耗更低等各種棘手問(wèn)題擺在了當(dāng)前技術(shù)人員的面前。如今隨著電子信息技術(shù)，多媒體技術(shù)及網(wǎng)絡(luò)技術(shù)的快速發(fā)展，嵌入式無(wú)線視頻監(jiān)控技術(shù)應(yīng)運(yùn)而生且飛速發(fā)展。視頻監(jiān)控系統(tǒng)正在向集成化、數(shù)字化和網(wǎng)絡(luò)化方向發(fā)展2,3。本文提出了一種基于ARM11的視頻

8、采集與編碼系統(tǒng)，充分利用大規(guī)模集成電路和先進(jìn)高效編碼標(biāo)準(zhǔn)，解決了傳統(tǒng)視頻監(jiān)控系統(tǒng)成本高，體積大，布線麻煩等問(wèn)題。這將改變目前的視頻監(jiān)控，在家庭安防、交通監(jiān)控、遠(yuǎn)程教育、森林防火監(jiān)控、遠(yuǎn)程醫(yī)療等眾多領(lǐng)域產(chǎn)生巨大影響。1.系統(tǒng)的整體硬件框圖介紹基于ARM11的視頻采集與編碼系統(tǒng)的硬件部分主要由主控制板模塊和攝像頭模塊組成。其中主控制板選擇以ARM1176JZF-S為內(nèi)核的S3C6410微處理器作為控制器，S3C6410接口豐富，通過(guò)USB接口連接攝像頭，串口與PC機(jī)相連。系統(tǒng)整體框圖如圖1所示。USB后續(xù)研究（傳輸）SDRAMNAND FLASHJTAG電源及復(fù)位電路攝像頭（zc301）CPU單元

9、S3C6410圖1 系統(tǒng)整體框圖 圖2 嵌入式核心控制板嵌入式系統(tǒng)硬件部分主要包括：微處理器及存儲(chǔ)電路模塊，電源、時(shí)鐘和復(fù)位電路模塊，外圍接口電路模塊等4。本系統(tǒng)由S3C6410處理器控制接收攝像頭的視頻信號(hào)，利用S3C6410內(nèi)部集成的多媒體編解碼器（MFC）進(jìn)行基于H.264的壓縮編碼，實(shí)現(xiàn)視頻數(shù)據(jù)的快速采集和高效壓縮。以后將進(jìn)行傳輸方面的研究。本系統(tǒng)中NAND FLASH用于存儲(chǔ)各種固化程序，SDRAM用于系統(tǒng)運(yùn)行時(shí)程序的存取，JTAG用于程序的下載，串口用于系統(tǒng)打印信息的輸出及程序的調(diào)試。其中基于S3C6410微處理器的核心控制板如圖2所示。2.系統(tǒng)的硬件模塊介紹2.1 核心控制器 本

10、系統(tǒng)實(shí)現(xiàn)的主要功能是視頻的采集與編碼。其中系統(tǒng)的主控制器是具有ARM11內(nèi)核的S3C6410微處理器，它控制攝像頭進(jìn)行視頻采集，并對(duì)其進(jìn)行H.264的壓縮編碼。S3C6410是韓國(guó)三星電子基于ARM1176JZF-S內(nèi)核構(gòu)建的高性能多媒體應(yīng)用處理器5，它不僅具有強(qiáng)大的硬件編解碼單元，完善的外設(shè)，而且擁有高達(dá)667MHZ的運(yùn)行頻率。圖像處理CMOS時(shí)鐘驅(qū)動(dòng)器時(shí)間發(fā)生器相關(guān)雙采樣自動(dòng)增益控制A/D轉(zhuǎn)換DSPUSB輸出圖像壓縮S3C6410內(nèi)部結(jié)構(gòu)復(fù)雜，芯片內(nèi)部集成了以下資源：1個(gè)LCD控制器（支持TFT-24bit真彩色帶有觸摸屏的液晶顯示屏)，SDRAM控制器，NAND Flash控制器，支持4

11、通道UART口，32通道DMA，4通道具有PWM功能的計(jì)數(shù)器和1個(gè)內(nèi)部時(shí)鐘，全功能的SPI，IIC總線接口，IIS數(shù)字音頻總線接口，看門(mén)狗計(jì)數(shù)器，USB OTG（最高480Mbps），USB HOST，3通道MMC/SD控制器等。其內(nèi)部結(jié)構(gòu)如圖3所示。 圖3 ARM11內(nèi)部結(jié)構(gòu)圖 圖4 USB數(shù)字?jǐn)z像頭的結(jié)構(gòu)框圖2.2 數(shù)字?jǐn)z像頭本文選用中星微的zc301數(shù)字?jǐn)z像頭，其工作原理為：景物通過(guò)鏡頭生成光學(xué)圖像投射到CMOS圖像傳感器表面上，轉(zhuǎn)為電信號(hào)，經(jīng)過(guò)A/D（模數(shù)）轉(zhuǎn)換后變?yōu)閿?shù)字信號(hào)，再送到DSP芯片中加工處理，將其轉(zhuǎn)化為特定的圖像格式如JPEG，再通過(guò)USB接口傳輸?shù)教幚砥髦?。其結(jié)構(gòu)框圖如

12、圖4所示。該攝像頭輸出的是JPEG流，最大分辨率能達(dá)到640×480，支持的最小分辨率為160×120。實(shí)驗(yàn)表明當(dāng)圖片大小設(shè)置成640×480，調(diào)色板設(shè)置成YUV420P時(shí)，經(jīng)攝像頭內(nèi)部DSP處理后，輸出JPEG流，圖像數(shù)據(jù)量大為減少，加快了USB輸出到處理器的速度。在主控制器中，攝像頭驅(qū)動(dòng)程序會(huì)對(duì)輸出的JPEG流進(jìn)行解碼。3.系統(tǒng)的軟件平臺(tái)嵌入式操作系統(tǒng)是嵌入式系統(tǒng)重要的組成部分，它為應(yīng)用程序的開(kāi)發(fā)提供了一個(gè)軟件平臺(tái)。實(shí)現(xiàn)嵌入式系統(tǒng)功能的第一步就是進(jìn)行系統(tǒng)移植，其中包括操作系統(tǒng)內(nèi)核、文件系統(tǒng)和各設(shè)備驅(qū)動(dòng)程序的移植。3.1 Linux內(nèi)核的移植本文選用三星公司的s

13、3c-linux-2.6.21這個(gè)Linux操作系統(tǒng)。由于嵌入式系統(tǒng)的硬件資源有限，因此需要針對(duì)具體的硬件平臺(tái)和要實(shí)現(xiàn)的特定功能，對(duì)內(nèi)核各種功能模塊進(jìn)行裁剪。首先，配置內(nèi)核。執(zhí)行make menuconfig命令,其中在Loadable module support中選擇Enable loadable module support使內(nèi)核支持模塊動(dòng)態(tài)加載；在System Type中添加對(duì)系統(tǒng)平臺(tái)的支持。對(duì)于不同的體系結(jié)構(gòu)，顯示不同的提示信息。ARM體系結(jié)構(gòu)顯示“ARM system type”；在Device Drivers中選擇所需要的設(shè)備驅(qū)動(dòng)程序；在Memory technology dev

14、ice子菜單中添加對(duì)MTD設(shè)備的支持；在Multimedia Devices子菜單中添加對(duì)攝像頭的支持。其他選項(xiàng)可以直接使用其缺省值，配置完成后保存退出。然后建立依賴(lài)關(guān)系，執(zhí)行make dep命令。最后創(chuàng)建鏡像文件，執(zhí)行make zImage命令。3.2 Linux 文件系統(tǒng)移植嵌入式系統(tǒng)一般采用Flash作為存儲(chǔ)介質(zhì)，F(xiàn)lash具有獨(dú)特的物理特性，必須使用專(zhuān)門(mén)的嵌入式文件系統(tǒng)。本文選用cramfs作為根文件系統(tǒng)，它是一種壓縮的、極為簡(jiǎn)單的只讀文件系統(tǒng)。要支持寫(xiě)操作，需要添加yaffs文件系統(tǒng)。將已經(jīng)做好的cramfs文件系統(tǒng)，通過(guò)USB下載到開(kāi)發(fā)板上后，掛載yaffs文件系統(tǒng)。其命令如下：m

15、ount -t yaffs /dev/mtdblock/3 /tmp/flashdisk/；cd flashdisk。3.3 Linux設(shè)備驅(qū)動(dòng)的編寫(xiě)及移植驅(qū)動(dòng)程序屏蔽了硬件實(shí)現(xiàn)上的細(xì)節(jié)，向應(yīng)用程序提供訪問(wèn)硬件設(shè)備的接口，應(yīng)用程序可以像操作普通文件一樣對(duì)硬件設(shè)備進(jìn)行操作。本文中主要用到攝像頭和MFC這兩個(gè)設(shè)備，其驅(qū)動(dòng)程序的開(kāi)發(fā)是本設(shè)計(jì)中的一個(gè)關(guān)鍵部分。設(shè)備驅(qū)動(dòng)程序一般完成以下功能：對(duì)設(shè)備初始化和釋放，把數(shù)據(jù)從內(nèi)核傳送到硬件和從硬件讀取數(shù)據(jù)，檢測(cè)和處理設(shè)備出現(xiàn)的錯(cuò)誤等。由于Linux的開(kāi)源性，可從網(wǎng)上獲得萬(wàn)能驅(qū)動(dòng)源碼，進(jìn)行修改編譯進(jìn)內(nèi)核后即可使用。USB攝像頭驅(qū)動(dòng)程序的開(kāi)發(fā)流程如下：（1）模塊初

16、始化 建立設(shè)備文件，注冊(cè)設(shè)備。由子函數(shù)：proc_spca50x_create (); usb_register (&spca5xx_driver) 實(shí)現(xiàn)。（2）模塊卸載 包括注銷(xiāo)USB設(shè)備驅(qū)動(dòng)，消除設(shè)備文件。主要由子函數(shù)：usb_deregister (&spca5xx_driver); proc_spca50x_destroy ()實(shí)現(xiàn)； （3）上層軟件接口模塊 通過(guò)數(shù)據(jù)結(jié)構(gòu)，依據(jù)V4L標(biāo)準(zhǔn)，實(shí)現(xiàn)設(shè)備的關(guān)鍵系統(tǒng)調(diào)用，像open，close，read，mmap和最主要的ioctl功能 。由這幾個(gè)子函數(shù)實(shí)現(xiàn)：spca5xx_open(st

17、ruct video_device *vdev, int flags)；完成設(shè)備的打開(kāi)和初始化，并初始化解碼器模塊。spca5xx_close( struct video_device *vdev)；完成設(shè)備的關(guān)閉。spca5xx_read(struct video_device *dev, char * buf, unsigned long count,int noblock)；完成數(shù)據(jù)的讀取，其主要的工作就是將數(shù)據(jù)由內(nèi)核空間傳送到用戶(hù)空間。spca5xx_mmap(struct video_device *dev,const char *adr, unsigned long size)；實(shí)

18、現(xiàn)將設(shè)備文件映射到用戶(hù)進(jìn)程的地址空間，其關(guān)鍵函數(shù)是remap_page_range()。spca5xx_ioctl (struct inode *inode, struct file *file, unsigned int cmd, unsigned long arg)；實(shí)現(xiàn)文件信息的獲取。（4）數(shù)據(jù)傳輸模塊 實(shí)現(xiàn)同步快速傳遞數(shù)據(jù)，并通過(guò)spcadecode.c上的軟件解碼模塊實(shí)現(xiàn)JPEG圖像信息的解碼。驅(qū)動(dòng)編寫(xiě)移植完成后，進(jìn)行測(cè)圖5 攝像頭抓圖測(cè)試 試。效果如圖5所示。圖 6 選擇Boot options 圖7 修改Default kernel command string對(duì)于硬件編解碼模塊

19、7（MFC），根據(jù)需要修改MFC的驅(qū)動(dòng)源碼，然后編譯進(jìn)內(nèi)核。以下是MFC模塊驅(qū)動(dòng)移植的步驟：1、配置Boot option8。有些設(shè)備是需要預(yù)留存儲(chǔ)空間的，這就需要修改內(nèi)核源代碼中include/asm-arm/arch-s3c2410目錄下的reserved_mem.h文件，即保留#define CONFIG_RESERVED_MEM_MFC。然后編譯內(nèi)核，執(zhí)行命令make smdk6410mtd_defconfig；make menuconfig；進(jìn)行內(nèi)核配置，具體如圖6，圖7所示。然后選擇Default kernel command string，如果顯示“mem=128M”，則把它去掉

20、。2、編譯MFC驅(qū)動(dòng)。首先修改Makefile，修改內(nèi)核源代碼的位置，即將KERNEL_DIR和TOPDIR改為/home /s3c-linux-2.6.24。編譯之后生成文件s3c_mfc.ko，下載到開(kāi)發(fā)板上后，修改執(zhí)行權(quán)限，再通過(guò)命令insmod s3c_mfc.ko動(dòng)態(tài)插入內(nèi)存中，即實(shí)現(xiàn)了驅(qū)動(dòng)的加載。 4.系統(tǒng)應(yīng)用程序的開(kāi)發(fā)整個(gè)嵌入式視頻采集與編碼系統(tǒng)由軟件和硬件兩部分組成。硬件方面，以S3C6410處理器為核心通過(guò)USB接口接收攝像頭數(shù)據(jù)，經(jīng)過(guò)MFC模塊進(jìn)行編碼；軟件方面，由U-boot引導(dǎo)程序，Linux內(nèi)核和設(shè)備驅(qū)動(dòng)程序形成基本的嵌入式運(yùn)行環(huán)境，應(yīng)用層負(fù)責(zé)視頻采集和編碼?？傮w框圖

21、如圖8所示。軟件應(yīng)用軟件：視頻采集、壓縮嵌入式操作系統(tǒng)linux-2.6.21設(shè)備驅(qū)動(dòng)程序Bootloader硬件S3C6410USBMFC處理上一幀循環(huán)采集同步等待采集一幀采集下一幀圖8 系統(tǒng)總體框圖 圖9 雙緩沖示意圖4.1 視頻采集程序的開(kāi)發(fā)視頻采集程序采用內(nèi)存映射方式代替直接讀取。read()通過(guò)內(nèi)核緩沖區(qū)來(lái)讀取數(shù)據(jù)。而mmap()通過(guò)把設(shè)備文件映射到內(nèi)存中，繞過(guò)了內(nèi)核緩沖區(qū)，進(jìn)程可以像訪問(wèn)普通內(nèi)存一樣對(duì)文件進(jìn)行訪問(wèn)。同時(shí)還采用了雙緩沖的思想設(shè)計(jì)，加快了視頻讀取的速度，如圖9所示。等待采集完成YNNYYNNYYNYNH.264編碼，處理前一幀圖像獲取信息成功？輸出顯示并修改基本信息關(guān)閉

22、視頻設(shè)備關(guān)閉文件程序開(kāi)始打開(kāi)設(shè)備成功？是否成功？采集圖像成功？幀計(jì)數(shù)>0？采集下一幀成功？YNYNNY程序結(jié)束是否成功MFC編碼信息初始化是否成功接收編碼數(shù)據(jù)編碼（H.264）后續(xù)處理（傳輸）重設(shè)配置參數(shù)（選擇輸出流格式）錯(cuò)誤處理程序開(kāi)始打開(kāi)MFC設(shè)備是否成功設(shè)定編碼參數(shù)（幀率、比特率等） 程序結(jié)束 圖10 視頻采集流程圖 圖11 MFC應(yīng)用程序流程圖視頻采集之前先要獲得設(shè)備的屬性信息，并對(duì)采集窗口、調(diào)色板等進(jìn)行設(shè)置，然后才能進(jìn)行視頻采集。具體流程如下：打開(kāi)視頻設(shè)備；讀取設(shè)備信息；更改設(shè)備當(dāng)前設(shè)置；進(jìn)行視頻采集；對(duì)視頻進(jìn)行處理；關(guān)閉視頻設(shè)備。其流程圖如圖10所示。4.2 視頻編碼程序的開(kāi)

23、發(fā)圖12 YUV流播放效果圖 圖13 H.264流播放效果圖本文采用S3C6410內(nèi)部集成的多媒體編解碼模塊MFC進(jìn)行H.264的視頻壓縮編碼。MFC模塊9具有高性能的視頻編解碼功能，支持MPEG4、H.263、H.264的編解碼，并支持VC1解碼，性能可以達(dá)到全雙工30fps640×480同時(shí)編解碼和半雙工30fps720×480或25fps720×576編解碼10。MFC應(yīng)用程序的流程圖如圖11所示。采集出的YUV流播放效果如圖12所示。編碼的H.264流播放的效果如圖13所示。5.系統(tǒng)調(diào)試調(diào)試是系統(tǒng)開(kāi)發(fā)中必不可少的一個(gè)過(guò)程，并且嵌入式系統(tǒng)的硬件和軟件兩部分應(yīng)

24、該分開(kāi)調(diào)試。其中嵌入式軟件的調(diào)試11,12與通用軟件的調(diào)試方式有很大的差別,因?yàn)槌绦虻拈_(kāi)發(fā)平臺(tái)和目標(biāo)平臺(tái)是分開(kāi)的。本文采用的是先在宿主機(jī)上進(jìn)行應(yīng)用程序的調(diào)試，成功后再下載到目標(biāo)機(jī)上進(jìn)行驗(yàn)證。實(shí)驗(yàn)證明，該方案簡(jiǎn)單可行。程序調(diào)試過(guò)程中出現(xiàn)了設(shè)備打開(kāi)出錯(cuò)，采集到的數(shù)據(jù)沒(méi)播放效果，采集的速度慢13等問(wèn)題，通過(guò)認(rèn)真思考和多次試驗(yàn)，這些都很好地得到了解決，最終保證了系統(tǒng)的正常運(yùn)行。6.結(jié)論通過(guò)本次畢業(yè)設(shè)計(jì)，學(xué)習(xí)并掌握了基于Linux的嵌入式系統(tǒng)開(kāi)發(fā)的流程，了解視頻監(jiān)控的工作原理和需求，搭建好了嵌入式軟硬件開(kāi)發(fā)平臺(tái)，開(kāi)發(fā)出了基于V4L的視頻采集和基于H.264的視頻編碼程序，最終設(shè)計(jì)出了視頻監(jiān)控的前端，實(shí)現(xiàn)

25、了視頻數(shù)據(jù)的快速采集和高效編碼，這為后續(xù)完成整個(gè)無(wú)線視頻監(jiān)控系統(tǒng)奠定基礎(chǔ)。測(cè)試表明，設(shè)計(jì)的系統(tǒng)視頻采集效率高、圖像連續(xù)性好、運(yùn)行穩(wěn)定。在后續(xù)研究中，將進(jìn)一步從攝像頭接口電路和核心控制板電路方面對(duì)該系統(tǒng)提出改進(jìn)和完善。參考文獻(xiàn)1 郭衛(wèi)華. 模擬視頻監(jiān)控系統(tǒng)之過(guò)去、現(xiàn)在和將來(lái)J. 中國(guó)安防，2008, Z1: 54-57.2 楊帆，彭宏偉，趙黨軍，李國(guó)平. 基于微波技術(shù)的森林防火監(jiān)控系統(tǒng)J. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版)，2007, 35(12): 14-163 王亞杰. 嵌入式網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)設(shè)計(jì)D. 武漢: 武漢理工大學(xué)，2006, 44 孫江波. 基于嵌入式Linux的視頻監(jiān)控系統(tǒng)設(shè)計(jì)J.

26、 武漢工業(yè)學(xué)院學(xué)報(bào)，2006, 25(3): 31-33.5 徐赫. 基于ARM嵌入式視頻采集的研究D. 武漢: 武漢理工大學(xué)，2007, 5.6 方芳. 基于ARM的嵌入式視頻監(jiān)控系統(tǒng)的研究D. 北京: 北京郵電大學(xué)，2008, 5.7 Richardon IEG.H.264 and MPEG-4 video compression video coding for next generation multimediaM. Wiley Press Publishing, 2003: 233-246.8 黃恒強(qiáng). 基于ARM和Linux的嵌入式遠(yuǎn)程視頻監(jiān)控系統(tǒng)設(shè)計(jì)D. 南京: 南京理工大學(xué)，2008, 6.9 Ko