camera常用知識(shí)及流程分析

1、福州瑞芯微電子有限公司福州瑞芯微電子有限公司 時(shí)間時(shí)間 講師講師Camera常用知識(shí)及流程分析常用知識(shí)及流程分析-讓凌鵬www.rock-內(nèi)容提要內(nèi)容提要四、四、camerahal代碼分析代碼分析三、三、kernel相關(guān)代碼分析相關(guān)代碼分析二、上電識(shí)別二、上電識(shí)別camera流程流程一、基本概念一、基本概念五、五、3288和和3188及以前的代碼差異及以前的代碼差異六、出錯(cuò)時(shí)六、出錯(cuò)時(shí)log打印打印www.rock-一、一、基本概念基本概念1.1 1.1 常用常用cameracamera分類分類SOC SensorSOC Sensor：自帶：自帶ISPISP，輸出，輸出yuvyuv數(shù)據(jù)，使用數(shù)

2、據(jù)，使用cifcif接口，接口，因?yàn)橐驗(yàn)閏ifcif接口不帶接口不帶ispisp，不對(duì)，不對(duì)cameracamera效果做處理。效果做處理。RAW SensorRAW Sensor：不帶：不帶ispisp，輸出，輸出sensorsensor采集原始灰度數(shù)據(jù)。采集原始灰度數(shù)據(jù)。目前發(fā)布的目前發(fā)布的mid_sdkmid_sdk中僅中僅32883288支持這種支持這種sensorsensor，這種就需要，這種就需要我們調(diào)試效果我們調(diào)試效果, ,使用使用mipimipi接口。接口。1.3 1.3 MIPIMIPI接口接口DOVDDDOVDD，DVDDDVDD，AVDDAVDDPWDNPWDN，MIPI

3、_RSTMIPI_RSTMCLKMCLK：24MHz24MHzMIPI Data,CLKMIPI Data,CLK一、一、基本概念基本概念1.3 CIF1.3 CIF接口接口（soc sensor，yuv）XCLK（MCLK）,PCLKVSYNC一、基本概念二、上電識(shí)別二、上電識(shí)別camera流程流程www.rock-2.1 2.1 mediaservicemediaservice啟動(dòng)啟動(dòng) 在在init.rcinit.rc文件中文件中 service media /system/bin/mediaserver class main user media group system audio c

4、amera inet net_bt net_bt_admin net_bw_acct drmrpc mediadrm ioprio rt 4 啟動(dòng)啟動(dòng)mediaservicemediaservice的時(shí)候，的時(shí)候，main_mediaserver.cppmain_mediaserver.cpp中中int main(int argc, char* argv) AudioFlinger:instantiate(); MediaPlayerService:instantiate(); CameraService:instantiate(); /cameraservice的啟動(dòng) AudioPolicy

5、Service:instantiate();二、上電識(shí)別二、上電識(shí)別camera流程流程www.rock- registerExtensions(); ProcessState:self()-startThreadPool(); IPCThreadState:self()-joinThreadPool();啟動(dòng)cameraservice的時(shí)候非常重要的一步：camera_get_number_of_cameras這是獲取camera個(gè)數(shù)及camera相關(guān)參數(shù)的。#define CAMERAS_SUPPORT_MAX 2rk_cam_info_t gCamInfosCAMERAS_SUPPORT

6、_MAX;static signed int gCamerasNumber其實(shí)這個(gè)時(shí)候是獲取camera參數(shù)到gCamInfos中，從這里也最多看到最多支持2個(gè)camera。注意注意: :這里容易識(shí)別不到設(shè)備，后續(xù)攝像頭打不開。這里容易識(shí)別不到設(shè)備，后續(xù)攝像頭打不開。三、三、kernel相關(guān)代碼分析相關(guān)代碼分析www.rock-3 3. .1 1 v4l2_subdev v4l2_device下面一個(gè)層次是v4l2_subdev,它需要和它的子設(shè)備進(jìn)行通信,如果說camera host是一個(gè)v4l2_device設(shè)備,那么就可以將camera模組稱為一個(gè)v4l2_subdev設(shè)備,它們之間的通

7、信可以采取多種方式常見的是I2C。 camera的驅(qū)動(dòng)文件比較簡(jiǎn)單，它和v4l2_device都是在kerneldriversmediavideo 下面，以各型號(hào)命名，如ov5640.c gc0308.c 里面代碼較簡(jiǎn)單，是一些寄存器數(shù)組和簡(jiǎn)單寄存器邏輯判斷組成(如af)，數(shù)組包括初始化，預(yù)覽分辨率，最大分辨率，還有如各種效果如曝光，白平衡等需要設(shè)置的寄存器組，以及設(shè)置他們的函數(shù)三、三、kernel相關(guān)代碼分析相關(guān)代碼分析www.rock-3 3. .2 2 v4l2_device 如上所說，camera host是一個(gè)v4l2_device設(shè)備，即我們的cif相關(guān)驅(qū)動(dòng)，cif驅(qū)動(dòng)較sub_d

8、ev復(fù)雜一點(diǎn)。 在上面說的目錄下面有rk30_camera_oneframe.c rk30_camera_pingpong.c兩個(gè)文件，目前默認(rèn)的為前一種模式，即單幀模式，后一種為乒乓模式。那host驅(qū)動(dòng)就涉及到裁剪，格式，制式，videobuf的初始化與設(shè)置。當(dāng)全部設(shè)置好，會(huì)設(shè)置寄存器設(shè)置開始接收stream流，當(dāng)buf接受滿后會(huì)產(chǎn)生中斷，進(jìn)入rk_camera_irq函數(shù)，會(huì)將camera數(shù)據(jù)存入隊(duì)列，并將vb-state = VIDEOBUF_DONE; 四、四、camerahal代碼分析代碼分析www.rock-4 4. .1 1 camerahal的初始化 當(dāng)一打開攝像頭的時(shí)候，從f

9、ramework下來第一次執(zhí)行的反函數(shù)是CameraHal:CameraHal(int cameraId)，里面會(huì)創(chuàng)建很多進(jìn)程， displayThreadCommandQ(displayCmdQ), displayThreadAckQ(displayAckQ), previewThreadCommandQ(previewCmdQ), previewThreadAckQ(previewAckQ), commandThreadCommandQ(commandCmdQ), commandThreadAckQ(commandAckQ), snapshotThreadCommandQ(snapshot

10、CmdQ), snapshotThreadAckQ(snapshotAckQ),之后執(zhí)行的兩個(gè)比較重要的函數(shù)，int CameraHal:cameraCreate(int cameraId)四、四、camerahal代碼分析代碼分析www.rock-和initDefaultParameters前一個(gè)函數(shù)，通過獲取底層支持的數(shù)據(jù)格式和上層匹配，設(shè)置格式，以及申請(qǐng)必要的內(nèi)存(ion).后一個(gè)初始化camera各種參數(shù)，獲取支持的預(yù)覽和拍照分辨率，獲取底層支持的各種效果的控件，以及當(dāng)前效果的默認(rèn)值。初始化完這些，調(diào)用函數(shù) mDisplayThread-run(CameraDispThread,AND

11、ROID_PRIORITY_URGENT_DISPLAY); mPreviewThread-run(CameraPreviewThread,ANDROID_PRIORITY_DISPLAY); mCommandThread-run(CameraCmdThread, ANDROID_PRIORITY_URGENT_DISPLAY); mAutoFocusThread-run(CameraAutoFocusThread, ANDROID_PRIORITY_DISPLAY); mSnapshotThread-run(CameraSnapshotThread, ANDROID_PRIORITY_NOR

12、MAL);那么整個(gè)hal層的進(jìn)程循環(huán)全部開始。四、四、camerahal代碼分析代碼分析www.rock-4.2 camerahal的顯示流程那么說下顯示進(jìn)程void CameraHal:displayThread()先是在preview進(jìn)程中通過ioctl命令抓取buf數(shù)據(jù) if (ioctl(iCamFd, VIDIOC_DQBUF, &cfilledbuffer1) runmPictureThread-runcapturePictureerr = hw_jpeg_encode(&JpegInInfo, &JpegOutInfo);copyAndSendRawIma

13、gecopyAndSendCompressedImage先是command進(jìn)程接收拍照命令，在case下啟動(dòng)拍照進(jìn)程，先申請(qǐng)拍照的buf，然后打開數(shù)據(jù)流，抓一幀數(shù)據(jù)存放，經(jīng)過硬件編碼成jpeg格式，通過copyAndSendCompressedImage返回給上層，當(dāng)然在編碼之前可以發(fā)送copyAndSendRawImage函數(shù)，直接發(fā)送原始數(shù)據(jù)。五、五、3288和和3188及以前的代碼差異及以前的代碼差異www.rock-5.1 兩者差別 兩者差別最大的就在camera大部分驅(qū)動(dòng)放在camerahal做的。 3288的驅(qū)動(dòng)文件放在hardwarerk29cameraSiliconImagei

14、sidrv，這里面只是簡(jiǎn)單camera芯片數(shù)組集合，以及一些函數(shù)結(jié)構(gòu)體的賦值，部分操作代碼放在庫(kù)里面。3288比其他芯片多了isp(Image Signal Processing)，當(dāng)然對(duì)圖像的處理代碼也放在相應(yīng)的isp庫(kù)里面。 camera定義的地方也有所不一樣hardwarerk29cameraConfigcam_board.xml 具體的定義的說明可以看相關(guān)文檔六、出錯(cuò)時(shí)六、出錯(cuò)時(shí)log打印打印www.rock-4.1 4.1 32883288問題分析方法問題分析方法1.getprop1.getprop確認(rèn)下確認(rèn)下cameracamera相關(guān)庫(kù)版本號(hào)相關(guān)庫(kù)版本號(hào)2.log2.log：可以輸入：可以輸入setprop sys_graphic.cam_trace 1 setprop sys_graphic