第九章2圖像傳感器改

1、現(xiàn)代檢測(cè)技術(shù)現(xiàn)代檢測(cè)技術(shù) 圖像傳感器圖像傳感器精勤求學(xué) 敦篤勵(lì)志 果毅力行 忠恕任事Xian Jiaotong University主要內(nèi)容主要內(nèi)容圖像傳感器圖像傳感器 圖像測(cè)量系統(tǒng)圖像測(cè)量系統(tǒng) 圖像處理技術(shù)圖像處理技術(shù) CCD, CMOS 照明、鏡頭、圖像傳感器、圖像采集、圖像處理照明、鏡頭、圖像傳感器、圖像采集、圖像處理 基本概念、圖像增強(qiáng)、圖像分析基本概念、圖像增強(qiáng)、圖像分析 Xian Jiaotong University圖像測(cè)量系統(tǒng)圖像測(cè)量系統(tǒng) 控制中樞、圖像處理控制中樞、圖像處理 照明照明 鏡頭、圖像傳感器鏡頭、圖像傳感器 圖像采集圖像采集 視頻信號(hào)視頻信號(hào) Xian Jiaoto

2、ng University圖像傳感器圖像傳感器v 圖像傳感器是在光電技術(shù)基礎(chǔ)上發(fā)展起來(lái)的圖像傳感器是在光電技術(shù)基礎(chǔ)上發(fā)展起來(lái)的將光學(xué)圖像轉(zhuǎn)將光學(xué)圖像轉(zhuǎn)換成電信號(hào)換成電信號(hào)的器件，分為真空管圖像傳感器和半導(dǎo)體圖像的器件，分為真空管圖像傳感器和半導(dǎo)體圖像傳感器。傳感器。v 固態(tài)圖像傳感器是高度集成的半導(dǎo)體光電器件，在一個(gè)器固態(tài)圖像傳感器是高度集成的半導(dǎo)體光電器件，在一個(gè)器件上可以完成光電信號(hào)的轉(zhuǎn)換、傳輸和處理。件上可以完成光電信號(hào)的轉(zhuǎn)換、傳輸和處理。v 固態(tài)圖像傳感器的核心是電荷轉(zhuǎn)移器件，有五種類型：固態(tài)圖像傳感器的核心是電荷轉(zhuǎn)移器件，有五種類型： 電荷耦合器件（電荷耦合器件（CCD） 互補(bǔ)式金屬

3、互補(bǔ)式金屬-氧化物氧化物-半導(dǎo)體（半導(dǎo)體（CMOS）型）型 電荷注入器件（電荷注入器件（CID） 電荷引發(fā)器件（電荷引發(fā)器件（CPD） 疊層型成像器件疊層型成像器件Xian Jiaotong University電荷耦合器件電荷耦合器件（Charge Coupled Device，簡(jiǎn)稱，簡(jiǎn)稱CCD）是以陣列形式排列在襯底材料上的金屬氧化物半導(dǎo)體是以陣列形式排列在襯底材料上的金屬氧化物半導(dǎo)體（Metal Oxide Semiconductor，簡(jiǎn)稱，簡(jiǎn)稱MOS）電容器組成的，）電容器組成的，具有光生電荷、積蓄和轉(zhuǎn)移的功能。具有光生電荷、積蓄和轉(zhuǎn)移的功能。MOS 光敏單元電荷生成光敏單元電荷生成

4、電荷耦合器件電荷耦合器件(CCD) CCD以以電荷電荷作為作為信號(hào)的載體，而不信號(hào)的載體，而不是電壓或電流。是電壓或電流。Xian Jiaotong UniversityCCD光敏像元陣列光敏像元陣列Xian Jiaotong University以以P型襯底型襯底MOS結(jié)構(gòu)為例，如果在結(jié)構(gòu)為例，如果在金屬電極金屬電極柵極柵極上上施加一足夠大的正點(diǎn)壓，半導(dǎo)體表面將處于深耗盡狀態(tài)，在施加一足夠大的正點(diǎn)壓，半導(dǎo)體表面將處于深耗盡狀態(tài)，在半導(dǎo)體表面形成電子半導(dǎo)體表面形成電子勢(shì)阱勢(shì)阱。半導(dǎo)體表面相對(duì)于體內(nèi)的電勢(shì)差。半導(dǎo)體表面相對(duì)于體內(nèi)的電勢(shì)差稱為勢(shì)阱深度。勢(shì)阱可以存儲(chǔ)少數(shù)載流子（在稱為勢(shì)阱深度。勢(shì)阱可

5、以存儲(chǔ)少數(shù)載流子（在P型襯底情況型襯底情況下少數(shù)載流子是電子），勢(shì)阱越深存儲(chǔ)電荷越多。下少數(shù)載流子是電子），勢(shì)阱越深存儲(chǔ)電荷越多。當(dāng)光照射到硅片上時(shí)，在光子作用下產(chǎn)生電子當(dāng)光照射到硅片上時(shí)，在光子作用下產(chǎn)生電子-空穴對(duì)，空穴對(duì)，自由電子會(huì)被勢(shì)阱收集，電子數(shù)主要取決于光照強(qiáng)度和收集自由電子會(huì)被勢(shì)阱收集，電子數(shù)主要取決于光照強(qiáng)度和收集（積分）時(shí)間的長(zhǎng)短。（積分）時(shí)間的長(zhǎng)短。 CCD電荷的產(chǎn)生電荷的產(chǎn)生 Xian Jiaotong University 為了將勢(shì)阱中的電荷轉(zhuǎn)為了將勢(shì)阱中的電荷轉(zhuǎn)移并輸出，每個(gè)光敏單元一移并輸出，每個(gè)光敏單元一般包括般包括3個(gè)相鄰的電極個(gè)相鄰的電極，電，電極上的脈沖電壓

6、相位依次相極上的脈沖電壓相位依次相差差120，波形都是前緣陡，波形都是前緣陡峭后緣傾斜。峭后緣傾斜。 電荷積蓄、轉(zhuǎn)移電荷積蓄、轉(zhuǎn)移 CCD電荷的收集和移位電荷的收集和移位 Xian Jiaotong University132t1t5t4t3t2198765432 在在t1時(shí)刻，電極時(shí)刻，電極1、4、7下方出現(xiàn)勢(shì)阱，并收集下方出現(xiàn)勢(shì)阱，并收集到光生電荷，電荷的多少到光生電荷，電荷的多少與光強(qiáng)有關(guān)。在與光強(qiáng)有關(guān)。在t2時(shí)刻，時(shí)刻，電壓電壓1下降，電壓下降，電壓2最高，最高，電極電極2、5、8下方勢(shì)阱最下方勢(shì)阱最深，原來(lái)存儲(chǔ)在電極深，原來(lái)存儲(chǔ)在電極1、4、7下方的電荷將在電場(chǎng)作下方的電荷將在電場(chǎng)作

7、用下轉(zhuǎn)移到用下轉(zhuǎn)移到2、5、8下方。下方。到到t3時(shí)刻，電荷全部向右時(shí)刻，電荷全部向右轉(zhuǎn)移的一步。依次類推，轉(zhuǎn)移的一步。依次類推，在在t5時(shí)刻，電荷將轉(zhuǎn)移到時(shí)刻，電荷將轉(zhuǎn)移到電極電極3、6、9下方。下方。 CCD電荷的收集和移位電荷的收集和移位 Xian Jiaotong UniversityCCD電荷的收集和移位電荷的收集和移位 Xian Jiaotong UniversityCCD可以把光信號(hào)轉(zhuǎn)換為電脈沖信號(hào)。每一個(gè)脈沖反可以把光信號(hào)轉(zhuǎn)換為電脈沖信號(hào)。每一個(gè)脈沖反應(yīng)一個(gè)光敏元的受光情況，應(yīng)一個(gè)光敏元的受光情況，脈沖幅度的高低反映該光敏元受脈沖幅度的高低反映該光敏元受光的強(qiáng)弱光的強(qiáng)弱，輸出脈

8、沖的順序可以反映光敏元的位置輸出脈沖的順序可以反映光敏元的位置，這就構(gòu)，這就構(gòu)成了圖像傳感器。成了圖像傳感器。CCD結(jié)構(gòu)結(jié)構(gòu) CCD結(jié)構(gòu)主要功能模塊：結(jié)構(gòu)主要功能模塊： p 光敏區(qū)（成像區(qū)、光電轉(zhuǎn)換）光敏區(qū)（成像區(qū)、光電轉(zhuǎn)換）p 轉(zhuǎn)移柵（隔離，轉(zhuǎn)移電荷）轉(zhuǎn)移柵（隔離，轉(zhuǎn)移電荷）p 電荷移位寄存器陣列（電荷移位輸出）電荷移位寄存器陣列（電荷移位輸出）p 電荷電荷/電壓轉(zhuǎn)換器和電壓放大器（輸出視頻信號(hào)）電壓轉(zhuǎn)換器和電壓放大器（輸出視頻信號(hào)）Xian Jiaotong University CCD圖像傳感器一般分為圖像傳感器一般分為線型線型和和面型面型。二者的原理類。二者的原理類似，都是通過(guò)似，都是

9、通過(guò)光學(xué)成像系統(tǒng)光學(xué)成像系統(tǒng)將景物圖像成在將景物圖像成在CCD的的像敏面像敏面上。上。CCD圖像傳感器分類圖像傳感器分類 線型線型CCD可以直接接收一維光信號(hào)，主要用于測(cè)試、可以直接接收一維光信號(hào)，主要用于測(cè)試、傳真和光學(xué)文字識(shí)別技術(shù)等方面。傳真和光學(xué)文字識(shí)別技術(shù)等方面。按一定的方式將一維線型按一定的方式將一維線型CCD的光敏單元及移位寄存的光敏單元及移位寄存器排列成二維陣列，即可以構(gòu)成二維面型器排列成二維陣列，即可以構(gòu)成二維面型CCD。Xian Jiaotong University光敏單元轉(zhuǎn)移柵輸出不透光最簡(jiǎn)單的線型最簡(jiǎn)單的線型CCD是是單通道單通道式的，它包括式的，它包括感光區(qū)感光區(qū)（光

10、積分單（光積分單元）和元）和傳輸區(qū)傳輸區(qū)兩部分：感光區(qū)由一列光敏單元組成；傳輸區(qū)由轉(zhuǎn)兩部分：感光區(qū)由一列光敏單元組成；傳輸區(qū)由轉(zhuǎn)移柵及一列移位寄存器組成。光照產(chǎn)生的信號(hào)電荷存儲(chǔ)于感光區(qū)移柵及一列移位寄存器組成。光照產(chǎn)生的信號(hào)電荷存儲(chǔ)于感光區(qū)的勢(shì)阱中。在轉(zhuǎn)移脈沖到來(lái)時(shí)，光敏陣列勢(shì)阱中的電荷被并行轉(zhuǎn)的勢(shì)阱中。在轉(zhuǎn)移脈沖到來(lái)時(shí)，光敏陣列勢(shì)阱中的電荷被并行轉(zhuǎn)移到移位寄存器中，最后在時(shí)鐘脈沖的作用下一位位的移出，形移到移位寄存器中，最后在時(shí)鐘脈沖的作用下一位位的移出，形成視頻信號(hào)。傳輸區(qū)是遮光的，以防止因光生噪聲電荷的干擾造成視頻信號(hào)。傳輸區(qū)是遮光的，以防止因光生噪聲電荷的干擾造成圖像模糊。成圖像模糊。

11、線型線型CCD工作原理工作原理 Xian Jiaotong University 為了減少信號(hào)電荷在轉(zhuǎn)移過(guò)程中的損失，通常采用為了減少信號(hào)電荷在轉(zhuǎn)移過(guò)程中的損失，通常采用雙雙通道式結(jié)構(gòu)通道式結(jié)構(gòu)。雙通道式。雙通道式CCD有兩列移位寄存器，平行的有兩列移位寄存器，平行的分置在感光區(qū)兩側(cè)。同樣感光區(qū)的雙通道線型分置在感光區(qū)兩側(cè)。同樣感光區(qū)的雙通道線型CCD比單比單通道線型通道線型CCD的轉(zhuǎn)移次數(shù)減少一半，降低了傳輸損耗，的轉(zhuǎn)移次數(shù)減少一半，降低了傳輸損耗，同時(shí)也縮短了器件尺寸。同時(shí)也縮短了器件尺寸。 光敏單元轉(zhuǎn)移柵輸出線型線型CCD工作原理工作原理 Xian Jiaotong University

12、線型線型CCD工作原理工作原理 線掃相機(jī)線掃相機(jī)視覺(jué)檢測(cè)平臺(tái)視覺(jué)檢測(cè)平臺(tái)Xian Jiaotong University 隔列轉(zhuǎn)移結(jié)構(gòu)隔列轉(zhuǎn)移結(jié)構(gòu)的像敏單元的像敏單元呈二維排列，每列像敏單元被呈二維排列，每列像敏單元被遮光的垂直移位寄存器隔開(kāi)，遮光的垂直移位寄存器隔開(kāi)，像敏單元與垂直移位寄存器之像敏單元與垂直移位寄存器之間又有轉(zhuǎn)移控制柵。像敏單元間又有轉(zhuǎn)移控制柵。像敏單元中的信號(hào)電荷在轉(zhuǎn)移柵電壓控中的信號(hào)電荷在轉(zhuǎn)移柵電壓控制下轉(zhuǎn)移到垂直移位寄存器，制下轉(zhuǎn)移到垂直移位寄存器，然后在讀出脈沖作用下逐行轉(zhuǎn)然后在讀出脈沖作用下逐行轉(zhuǎn)移到水平移位寄存器中，再由移到水平移位寄存器中，再由水平移位寄存器快速

13、輸出，得水平移位寄存器快速輸出，得到視頻信號(hào)。到視頻信號(hào)。垂直移位寄存器水平移位寄存器輸出光敏單元轉(zhuǎn)移柵常見(jiàn)的結(jié)構(gòu)有常見(jiàn)的結(jié)構(gòu)有隔列轉(zhuǎn)移結(jié)構(gòu)（行間傳輸）隔列轉(zhuǎn)移結(jié)構(gòu)（行間傳輸）和和幀轉(zhuǎn)移結(jié)構(gòu)幀轉(zhuǎn)移結(jié)構(gòu)（場(chǎng)傳輸）（場(chǎng)傳輸）。面型面型CCD工作原理工作原理 Xian Jiaotong University幀轉(zhuǎn)移結(jié)構(gòu)幀轉(zhuǎn)移結(jié)構(gòu)包括包括成像區(qū)成像區(qū)（光（光敏區(qū)）、敏區(qū)）、電荷移位寄存器電荷移位寄存器和和水水平移位寄存器平移位寄存器三部分。三部分。當(dāng)光積分周期結(jié)束時(shí)，加在當(dāng)光積分周期結(jié)束時(shí)，加在成像區(qū)和存儲(chǔ)區(qū)電極上的時(shí)鐘成像區(qū)和存儲(chǔ)區(qū)電極上的時(shí)鐘脈沖使所收集到的信號(hào)電荷迅脈沖使所收集到的信號(hào)電荷迅速轉(zhuǎn)移

14、到存儲(chǔ)區(qū)中。然后逐行速轉(zhuǎn)移到存儲(chǔ)區(qū)中。然后逐行轉(zhuǎn)移到讀出寄存器并輸出。轉(zhuǎn)移到讀出寄存器并輸出。在第一幀讀出的同時(shí)，成像在第一幀讀出的同時(shí)，成像區(qū)開(kāi)始收集第二幀信號(hào)電荷。區(qū)開(kāi)始收集第二幀信號(hào)電荷。一旦第一幀信號(hào)被全部讀出，一旦第一幀信號(hào)被全部讀出，馬上傳送第二幀信號(hào)，實(shí)現(xiàn)連馬上傳送第二幀信號(hào)，實(shí)現(xiàn)連續(xù)輸出。續(xù)輸出。面型面型CCD工作原理工作原理 Xian Jiaotong University彩色彩色CCD結(jié)構(gòu)結(jié)構(gòu) CCD硅芯片不能區(qū)分不同光譜的顏色，為了區(qū)分硅芯片不能區(qū)分不同光譜的顏色，為了區(qū)分光譜的光譜的RGB三基色，常采用兩種方式：三基色，常采用兩種方式：1. 三晶片結(jié)構(gòu)三晶片結(jié)構(gòu)： 利用

15、三棱鏡組將利用三棱鏡組將圖像分為圖像分為RGB三基色三基色圖像，分別投影到三圖像，分別投影到三片片CCD芯片上。芯片上。圖片質(zhì)量高；結(jié)圖片質(zhì)量高；結(jié)構(gòu)復(fù)雜，價(jià)格昂貴構(gòu)復(fù)雜，價(jià)格昂貴Xian Jiaotong University彩色彩色CCD結(jié)構(gòu)結(jié)構(gòu)2. 彩色濾波陣列彩色濾波陣列Bayer濾波器模式濾波器模式 彩色濾波馬賽彩色濾波馬賽克；克；犧牲分辨率，犧牲分辨率，簡(jiǎn)化結(jié)構(gòu)，降簡(jiǎn)化結(jié)構(gòu)，降低價(jià)格；低價(jià)格；通過(guò)反馬賽克通過(guò)反馬賽克算法從算法從Bayer模式圖像恢復(fù)模式圖像恢復(fù)出出RGB模式模式圖像。圖像。Xian Jiaotong University彩色彩色CCD結(jié)構(gòu)結(jié)構(gòu) 基于基于USB2.0

16、總線的高分辨數(shù)字圖像傳感器（總線的高分辨數(shù)字圖像傳感器（12801280* *10241024） Xian Jiaotong UniversityCCD的長(zhǎng)寬比和尺寸的長(zhǎng)寬比和尺寸 v CCD長(zhǎng)寬比為長(zhǎng)寬比為4：3，尺寸如圖所示：，尺寸如圖所示：CCD像元密度像元密度Z有效區(qū)內(nèi)采樣的點(diǎn)數(shù)：有效區(qū)內(nèi)采樣的點(diǎn)數(shù)：768*576, 1024*768, 2048*2048等等Xian Jiaotong University1. 響應(yīng)度（靈敏度）響應(yīng)度（靈敏度）：光電轉(zhuǎn)換效率，輸出電信號(hào)與：光電轉(zhuǎn)換效率，輸出電信號(hào)與輸入光信號(hào)能量之比；與入射光波長(zhǎng)有關(guān)，因此分輸入光信號(hào)能量之比；與入射光波長(zhǎng)有關(guān)，因此分

17、為為光譜響應(yīng)度光譜響應(yīng)度（對(duì)特定波長(zhǎng)入射光）和（對(duì)特定波長(zhǎng)入射光）和積分響應(yīng)度積分響應(yīng)度（對(duì)連續(xù)波長(zhǎng)輻射光）；（對(duì)連續(xù)波長(zhǎng)輻射光）；2. 光譜特性光譜特性：響應(yīng)度與入射光頻率或波長(zhǎng)的關(guān)系（光：響應(yīng)度與入射光頻率或波長(zhǎng)的關(guān)系（光譜峰值）；譜峰值）； CCD硅晶片對(duì)硅晶片對(duì)400nm至至1060nm的光波都很敏感，的光波都很敏感，為使為使CCD和人眼對(duì)外界圖像的感應(yīng)盡可能一致，常和人眼對(duì)外界圖像的感應(yīng)盡可能一致，常在在CCD前方加入紅外濾波器（前方加入紅外濾波器（Infra-Red Filter）。）。 在機(jī)器視覺(jué)中，可將在機(jī)器視覺(jué)中，可將IR濾波器去掉，或加入特定光濾波器去掉，或加入特定光譜濾波

18、器，制成紅外光感應(yīng)器。譜濾波器，制成紅外光感應(yīng)器。CCD的基本特性參數(shù)的基本特性參數(shù) Xian Jiaotong UniversityCCD的光譜特性的光譜特性 Xian Jiaotong UniversityCCD的光譜特性的光譜特性 可見(jiàn)光與近紅外混合成像，波長(zhǎng)約為可見(jiàn)光與近紅外混合成像，波長(zhǎng)約為400-1200nm Xian Jiaotong UniversityCCD的基本特性參數(shù)的基本特性參數(shù)3. 暗電流暗電流：無(wú)光信號(hào)時(shí)的輸出電流：無(wú)光信號(hào)時(shí)的輸出電流圖像噪聲；圖像噪聲；4. 分辨率分辨率：取決于光敏單元間距，常用光敏單元數(shù)表示，：取決于光敏單元間距，常用光敏單元數(shù)表示，一般像元越

19、多分辨率越高；實(shí)際分辨率還與一般像元越多分辨率越高；實(shí)際分辨率還與CCD光敏單光敏單元的中心間距、光學(xué)系統(tǒng)的放大率有關(guān)。元的中心間距、光學(xué)系統(tǒng)的放大率有關(guān)。CCD實(shí)際分辨率實(shí)際分辨率=光敏單元中心距光敏單元中心距/光學(xué)系統(tǒng)放大倍率光學(xué)系統(tǒng)放大倍率最大被測(cè)物尺寸最大被測(cè)物尺寸=最大成像尺寸最大成像尺寸/光學(xué)系統(tǒng)放大倍數(shù)光學(xué)系統(tǒng)放大倍數(shù)5. 均勻性均勻性：光敏單元對(duì)光強(qiáng)度響應(yīng)的一致性。：光敏單元對(duì)光強(qiáng)度響應(yīng)的一致性。Xian Jiaotong University非接觸檢測(cè)非接觸檢測(cè);響應(yīng)快響應(yīng)快;可靠性高可靠性高,維修簡(jiǎn)便維修簡(jiǎn)便;測(cè)量精度高測(cè)量精度高;體積小體積小,重量輕重量輕; 容易與計(jì)算機(jī)連接；容易與計(jì)算機(jī)連接；對(duì)被測(cè)物體需要強(qiáng)光照射對(duì)被測(cè)物體需要強(qiáng)光照射;受被測(cè)物體以外的光的影響受被測(cè)物體以外的光的影響.CCD傳感器的應(yīng)用特點(diǎn)傳感器的應(yīng)用特點(diǎn) Xian Jiaotong UniversityCMOS圖像傳感器圖像傳感器 v CMOS（Complementary Metal Oxide Semiconductor） 互補(bǔ)式金屬互補(bǔ)式金屬-氧化物氧化物-半導(dǎo)體半導(dǎo)體，NMOS和和PMOS串聯(lián)；串聯(lián)； 是集成電路中廣泛使用的一個(gè)基本單元，在動(dòng)態(tài)存儲(chǔ)器中廣泛是集成電路中廣泛使用的一個(gè)基本單元，在動(dòng)態(tài)存儲(chǔ)器