基于分段色域顏色模型的高動(dòng)態(tài)范圍圖像獲取與合成能

1、光學(xué)技術(shù)OPTICAL TECHNIQUE第37 卷第4 期2 0 1 1 年 7 月Vol 37 No 4July 2011文章編號:1002 1582( 2011) 04 0496 06基于分段色域顏色模型的高動(dòng)態(tài)*范圍圖像獲取與能，放，( 北京理工大學(xué) 光電成像技術(shù)與系統(tǒng)教育部，北京 100081)摘 要:普通彩色相機(jī)采用多次獲取高動(dòng)態(tài)范圍圖像的技術(shù)，提出了一種基于相機(jī)分段色域顏色模型的高動(dòng)態(tài)范圍圖像獲取及顏色的理論模型和實(shí)現(xiàn)方法。介紹了相機(jī)分段色域顏色模型的基本結(jié)構(gòu)和建立方法。用NikonD70s 彩色相機(jī)和修正的 sRGB 標(biāo)準(zhǔn)顏色轉(zhuǎn)換模型對所提出的理論和方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證。結(jié)果表明

2、，所提出的方法可以在普通彩色相機(jī)上實(shí)現(xiàn)高動(dòng)態(tài)范圍彩色圖像獲取與圖像，并可同時(shí)實(shí)現(xiàn)高動(dòng)態(tài)范圍圖像的顏色標(biāo)準(zhǔn)化。: 高動(dòng)態(tài)范圍成像; 顏色特性化; 顏色轉(zhuǎn)換; 相機(jī)顏色特性化號:TH744 1; TP393 09文獻(xiàn)標(biāo)識碼:ANew color characterization mfor high dynamicrange color imaging based on multiple exposuresTAN Boneng，LIAO Ningfang，LIAN Yusheng，TIAN Lixun，WU Wenming( Key Laboratory of Photoelectonic Imag

3、ing Technology and System of Ministry of Education，Institute of Technology，100081，China)Abstract: A new piecewise color characterization mis proposed with a camera for the high dynamic range imaging basedon multiple exposures The principle and the construction of the piecewise color characterization

4、 m，and the images captu ring，the color tone mapping and the images combination are introduced By using an RGB color camera NikonD70s，the new method can obtain high dynamic range images with standard and desired color informationKey words: high dynamic range imaging; color characterization; color con

5、version; camera color不了 100000: 1 動(dòng)態(tài)范圍光照環(huán)境下的測光要求。為了有效地提高焦平面成像系統(tǒng)的動(dòng)態(tài)范圍，近年 來世界各國科技工作者嘗試了多種技術(shù)途徑，并取 得了一系列進(jìn)展。途徑之一是對焦平面探測器硬件0引言在日光或人工照明環(huán)境下，物體細(xì)節(jié)從陰影到 白場的照度變化范圍通?？梢詮?10 105lx，其對應(yīng)的動(dòng)態(tài)范圍大約為 100000 1。普通成像器件CCD 的有效動(dòng)態(tài)范圍受到器件噪聲以及電荷勢阱進(jìn)行改造，例如FUJIFILM 公司的 S3Pro 彩色相機(jī)在一個(gè)焦平面探測器上采用兩種不同靈敏度的 探測單元實(shí)現(xiàn)了高動(dòng)態(tài)范圍成像，該方法保留了相機(jī)快速成像的優(yōu)點(diǎn); 另一

6、種有效途徑是利用普通容量的限制，通常小于 60dB，大約相當(dāng)于 1000 1，因此普通 CCD 相機(jī)的量化精度一般都小于 12bit，而普用相機(jī)的量化精度大多是 8bit，遠(yuǎn)遠(yuǎn)滿足CCD 相機(jī)的多次獲取高動(dòng)態(tài)范圍圖像，該方法收稿日期: 2011 03 08; 收到修改稿日期: 2011 04 20: tck999 bit edu cn部重點(diǎn)研究基金資助項(xiàng)目( 2010ZDYJBJLG006)*基金項(xiàng)目:作者簡介:自然科學(xué)基金資助項(xiàng)目( 61078048) ;能( 1982 ) ，男，博士，主要從事高動(dòng)態(tài)范圍彩色圖像獲取及顏色復(fù)現(xiàn)方面的研究。496能，等:基于分段色域顏色模型的高動(dòng)態(tài)范圍圖像獲取

7、與第 4 期雖然存在拍攝速度慢的缺點(diǎn)，但是可以根據(jù)用戶要求獲取目標(biāo)場景中特定光度區(qū)間的高動(dòng)態(tài)范圍圖像，因此受到了人們的廣泛重視。雖然基于多次曝光獲取高動(dòng)態(tài)范圍圖像的技術(shù)目前國際上已有很多現(xiàn)高動(dòng)態(tài)范圍彩色圖像的獲取、色度標(biāo)定等。多次高動(dòng)態(tài)范圍成像原理1圖 1 為采用普通相機(jī)多次實(shí)現(xiàn)高動(dòng)態(tài)范圍報(bào)導(dǎo)17，但是現(xiàn)有研究成果大都集中在解決多次成像的過程。以 8bit 相機(jī)為例，在不同速度下圖像的像素融合問題，而較少關(guān)注圖像的獲取相同目標(biāo)場景的8bit 圖像序列。由于量的顏色特性化問題。事實(shí)上，在多次圖像的差異，這些圖像序列中代表目標(biāo)相同位置的灰度值也存在差異; 當(dāng)目標(biāo)場景存在空間的位置變化時(shí)，需要對 8

8、bit 圖像序列進(jìn)行像素級的配準(zhǔn); 經(jīng)過像素配準(zhǔn)的8bit 圖像序列的灰度值需要進(jìn)行一定倍率的縮放才能相互匹配; 最后將經(jīng)過灰度值縮放的圖像序過程中，不同圖像之間的顏色轉(zhuǎn)換問題還有待人們進(jìn)一步解決。為此本文提出一種基于彩色相機(jī)分段色域顏色模型的高動(dòng)態(tài)范圍成像方法。該方法 基于現(xiàn)行的CIE 國際顏色標(biāo)準(zhǔn)對普通彩色相機(jī)進(jìn)行不同色域范圍的顏色特性化; 在此基礎(chǔ)上對獲取的多次 圖像的色度進(jìn)行轉(zhuǎn)換和像素匹配，進(jìn)而實(shí)列為一幅高動(dòng)態(tài)范圍圖像。圖 1 多次高動(dòng)態(tài)范圍成像過程示意圖上述高動(dòng)態(tài)范圍圖像的量化位數(shù)由相機(jī)的時(shí)，分別選擇第三次圖像的全部非飽和像素、第量化位數(shù)次數(shù)、圖像方式等決定。以三次二次圖像的 1 /

9、3 2 /3 光度范圍的像素、第一次為例，如圖 2 所示: 第一次的時(shí)間最短，此圖像的 2 /3 以上光度范圍的像素進(jìn)行匹配，得到一幅完整的高動(dòng)態(tài)范圍圖像。該圖像的灰度量化時(shí) 8bit 相機(jī)的 256 個(gè)量化級與目標(biāo)場景的整個(gè)光度范圍匹配，輸出的目標(biāo)圖像無飽和現(xiàn)象; 第二次的時(shí)間稍長，此時(shí) 8bit 相機(jī)的 256 個(gè)量化級與目標(biāo)場景的 2 /3 光度范圍匹配，輸出的目標(biāo)圖像存在部級數(shù)N 大約為: N= 256 + ( 256 /2) + ( 256 /3) = 256= 469。注意到該 469 個(gè)量化級在整個(gè)目+ 128 + 85標(biāo)光度區(qū)間是非均勻分布的，其中在光度較低的 1 / 3 區(qū)域

10、內(nèi)的量化精度最高，這將更有利于區(qū)分目標(biāo)的較暗區(qū)域的圖像細(xì)節(jié)。分飽和現(xiàn)象; 第三次的時(shí)間最長，此時(shí)8bit 相機(jī)的 256 個(gè)量化級與目標(biāo)場景的 1 /3 光度范圍匹配，輸出的目標(biāo)圖像存在的飽和現(xiàn)象。在圖像圖 2 多次成像的相機(jī)動(dòng)態(tài)范圍與目標(biāo)光度范圍的匹配關(guān)系對于采用 RGB 三基色相機(jī)的場合，每一個(gè)數(shù)據(jù)擇與彩色相機(jī)的白場色度相近的目標(biāo)，并參照單色通道仍為 8bit，因此在進(jìn)行多次成像時(shí)，需要選相機(jī)的多次模式調(diào)整彩色相機(jī)的 RGB 動(dòng)態(tài)范497光學(xué)技術(shù)第 37 卷圍與目標(biāo)光度范圍之間的匹配關(guān)系。色特性化模型的概念。在數(shù)字顏色管理系統(tǒng)中，圖像設(shè)備的顏色特性 化( Color Characteriz

11、ation) 是一個(gè)關(guān)鍵環(huán)節(jié)。所謂圖像設(shè)備的顏色特性化就是建立圖像設(shè)備的顏色空間，例如彩色相機(jī)的 RGB 空間與標(biāo)準(zhǔn)化的顏色空分段色域顏色特性化模型2在多次的高動(dòng)態(tài)范圍圖像過程中，不同圖像之間的量值縮放( Tone Mapping) 是一個(gè)關(guān)鍵環(huán)節(jié)，它將關(guān)系到最終間，CIEXYZ 空間的的高動(dòng)態(tài)范圍圖像關(guān)系。該關(guān)系的表達(dá)的清晰度和顏色保真度，為此人們開展了大量研究方式根據(jù)圖像設(shè)備的不同而具有多樣性。例如對于彩色相機(jī)而言，可以根據(jù)需要采用線性轉(zhuǎn)換模型、非 線性轉(zhuǎn)換模型、三維查找表模型、人工神經(jīng)網(wǎng)絡(luò)模型 等?；陬伾D(zhuǎn)換模型，可以由 RGB 計(jì)算 XYZ，即正向模型; 也可以由 XYZ 計(jì)算 RG

12、B，即逆向模型。并取得了很多進(jìn)展。在已經(jīng)公布的Tone Mapping方法中，對于不同圖像之間的 RGB 量值的調(diào)整一般采用簡單的線性或非線性的縮放模型，目的是保證一幅圖像的顏色均勻性和標(biāo)準(zhǔn)化。但是如果每圖像的顏色特性沒有按照標(biāo)準(zhǔn)化顏色空間現(xiàn)有的圖像設(shè)備顏色特性化模型大都是某進(jìn)行描述，則通過 RGB 量值之間的縮放一個(gè)設(shè)備的全色域空間建立的。例如，8bit 的 RGB彩色相機(jī)的全色域空間可以用一個(gè)三維 RGB 直角坐標(biāo)空間來表示，其中每一個(gè)坐標(biāo)軸的刻度數(shù)量為256( 8bit) ，因此總共有 16 77 × 106 個(gè)顏色。的圖像也沒有顏色標(biāo)準(zhǔn)可循。為此本文將目前國際上流行的數(shù)字顏色

13、管理系統(tǒng)( CMS) 的圖像設(shè)備顏色特性化的概念和方法到多次的高動(dòng)態(tài)范圍圖像過程中，并首次提出分段色域顏的與顏色圖 3 分段色域顏色空間示意圖A 為全色域空間變換; B 為分段色域空間變換。圖 4 基于分段色域顏色模型的多次高動(dòng)態(tài)范圍成像流程在本文采用的多次成像模式中，由于各幅分光度動(dòng)態(tài)范圍，因此在各幅圖像中，具有相同顏色 的目標(biāo)像素所對應(yīng)的 RGB 值是不同的。因此有必圖像的 RGB 動(dòng)態(tài)范圍分別匹配目標(biāo)場景的某一部498能，等:基于分段色域顏色模型的高動(dòng)態(tài)范圍圖像獲取與第 4 期要分別建立不同狀態(tài)下的顏色特性模型，即分關(guān)系。當(dāng)相機(jī)輸出的 RGB 與 XYX 不滿足線性關(guān)系時(shí)，則式( 1)

14、的顏色轉(zhuǎn)換精度難以保證，因此在本文實(shí)驗(yàn)中有必要對式( 1) 的顏色模型進(jìn)行校正。為此選擇標(biāo)準(zhǔn)色卡 Macbeth ColorChecker 的灰度色塊對相機(jī)的色度響應(yīng)特性進(jìn)行驗(yàn)證。被測色樣 由 6 個(gè)等明度間隔的色塊組成，用分光光度儀 color- eye 7000A 測量其光譜反射率，并計(jì)算它們在 D65 照明下的CIE 標(biāo)準(zhǔn)色度值，其結(jié)果如圖 5 所示; 然后在 D65 照明燈箱下由相機(jī)拍照色卡，得到相機(jī)的段色域空間顏色模型。分段色域空間是全色域空間的一部分，以 8bit 的 RGB 彩色相機(jī)的兩次成像模式為例，并參照圖 3，需要分別建立全色域空間和分段色域空間的 RGB 與 CIEXYZ

15、 的 關(guān)系，其中分段色域空間的 RGB 取值范圍為 0 127，參考白保持為 D65。以三次成像模式為例，基于分段色域空間顏色模型的高動(dòng)態(tài)范圍成像流程如圖 4 所示。其中成;1 的 RGB 像素直接參與高動(dòng)態(tài)范圍圖像合2 和3 的 RGB 像素都分別需要經(jīng)過一RGB 響應(yīng)曲線分別如圖 6 和圖 7 所示別為( 1 /125) s 和( 1 /30) s。時(shí)間分到 CIEXYZ 空間，次全色域顏色模型的變換后然后根據(jù)融合需要，再將數(shù)據(jù)通過分段色域顏色模型變換才能參與圖像。最終的高動(dòng)態(tài)范圍圖像的顏色特性可以用其中的全色域空間的顏色模 型來描述。試驗(yàn)采用的是簡化模型，使用的是兩次的成像方式。實(shí)驗(yàn)3圖

16、 5 標(biāo)準(zhǔn)色卡 6 個(gè)灰階色塊在 D65照明下的 CIEXYZ 三刺激值3 1實(shí)驗(yàn)裝置彩色相機(jī): NikonD70s 三基色相機(jī)，內(nèi)置 Bayer濾色片 CCD; 輸出圖像數(shù)據(jù)為標(biāo)準(zhǔn) BMP 文件格式; 圖像數(shù)據(jù)符合 8bit 的 sRGB 顏色標(biāo)準(zhǔn); 相機(jī)白場色度為 D65。標(biāo)準(zhǔn)色卡: Macbeth ColorChecker 的 24 色標(biāo)準(zhǔn)色卡，用于標(biāo)定和驗(yàn)證實(shí)驗(yàn)相機(jī)的色度特性。照明燈箱: 型號為 colorcheckDC 的為標(biāo)準(zhǔn)色卡提供 D65 標(biāo)準(zhǔn)照明條件。測色 儀 器: 分 光 光 度 儀，型 號 為箱，可圖 6 相機(jī) Nikon D70s 對 6 個(gè)灰階色塊的測量color-e

17、ye結(jié)果時(shí)間為( 1 /125) s，D65 照明7000A，用于測量標(biāo)準(zhǔn)色卡的光譜反射率，并換算為CIE 色度值。3 2顏色特性模型的建立采用兩次的成像方式，其中第 2 次的相機(jī)動(dòng)態(tài)范圍大約與被測目標(biāo)的 1 /2 亮度范圍匹配。為此需要分別建立相機(jī)的一個(gè)全色域空間顏色模型和另一個(gè)分段色域空間的顏色模型。數(shù)碼相機(jī)的特性化即建立數(shù)碼相機(jī) RGB 色空間到 CIEXYZ 色空間的對應(yīng)關(guān)系。假設(shè)相機(jī)符合國際電工委員會 IEC 推薦的 sRGB 顏色標(biāo)準(zhǔn)圖 7 相機(jī) Nikon D70s 對 6 個(gè)灰階色塊的測量結(jié)果 時(shí)間為( 1 /30) s，D65 照明根據(jù)對色卡的測量和拍攝結(jié)果，對式( 1) 所

18、示的相機(jī)的顏色特性化模型進(jìn)行分析。由圖 5 可以看出，6 個(gè)標(biāo)準(zhǔn)灰度色塊的三刺激值變化規(guī)律相同，且基本符合 3 次方的函數(shù)分布，這與人眼視覺特性吻合。但是在另一方面，綜合圖 6 和圖 7 可以看出，相到由 RGB 到 XYZ 的變換表逆變換矩陣也很容易查到。，如式( 1 ) 所示，其0 1805 ù é RsRGB ùé Xùé 0 41240 35760 71520 1192êúG( 1)ê Yú =ê 0 21260 07220 9505úû ê

19、50;sRGBë ûëë BûZ0 0193sRGB由式( 1) 可知，RGB 與 XYX 之間是一種簡單的線性499光學(xué)技術(shù)第 37 卷5 的比值確定。當(dāng)對顏色轉(zhuǎn)換精度要求不太高時(shí)， 可以參照 sRGB 顏色標(biāo)準(zhǔn)中對顯示器驅(qū)動(dòng)值的校正方法，即選擇 Gamma 值大約為2 的函數(shù)形式對RGB 進(jìn)行非線性校正。機(jī)對相同色卡的響應(yīng)曲線與圖 5 曲線有較大差異。其中，當(dāng)相機(jī)的 RGB 值小于 80 時(shí)，響應(yīng)曲線與圖 5 曲線基本吻合，即 RGB 與 XYZ 基本保持線性關(guān)系; 當(dāng)相機(jī)的 RGB 值大于 80 時(shí)，響應(yīng)值曲線的形狀逐漸偏離圖 5 曲線的

20、規(guī)律，即 RGB 與 XYZ 為非線性關(guān)系。因此對于分段色域空間顏色模型的建立，由于RGB 值取值范圍較小，可以采用式( 1 ) 的形式。但是對于全色域空間顏色特性模型，需要對式( 1 ) 的RGB 值進(jìn)行校正，具體的校正系數(shù)可以由圖 7 與圖圖像攝取與圖像攝取: 采用本實(shí)驗(yàn)設(shè)計(jì)的二次3 3成像方式，選取固定的外景圖像進(jìn)行拍攝，分別獲取時(shí)間為( 1 /125) s 和( 1 /30) s 的兩幅圖像，如圖 8( a) 和圖 8( b) 所示。( a)( b)圖 8圖像時(shí)間分別為( 1 /125) s 和( 1 /30) s; ( c)( c)( a) ( b) 由實(shí)驗(yàn)相機(jī) Nikon D70s

21、 獲取的二次的高動(dòng)態(tài)范圍圖像。圖像: 根據(jù)圖 4 的流程對獲得的兩幅圖像所以圖 8 顯示的效果是將高動(dòng)態(tài)范圍圖像進(jìn)行簡單的色調(diào)壓縮后的效果圖。必要時(shí)可以在普通媒介上 對高動(dòng)態(tài)動(dòng)范圍圖像的局部區(qū)域進(jìn)行顯示。進(jìn)行。其中對于正向的全色域顏色轉(zhuǎn)換模型采用了根據(jù) RGB 值變區(qū)間的 Gamma 校正的 sRGB 顏色模型。逆向的分段色域空間顏色模型則由于RGB 值取值范圍較小，直接采用式( 1 ) 的形式。圖像 結(jié)果如圖 8( c) 所示。結(jié)論4理論分析和實(shí)驗(yàn)結(jié)果表明，本文提出的基于分在高動(dòng)態(tài)范圍圖像的顏色轉(zhuǎn)換、顯示過程段色域顏色模型的多次高動(dòng)態(tài)范圍成像方法可中，采用了自定義的圖像數(shù)據(jù)格式和自編的圖像存

22、以在普通彩色相機(jī)上實(shí)現(xiàn)高動(dòng)態(tài)范圍彩色圖像獲取與圖像 ，并同時(shí)實(shí)現(xiàn)圖像顏色的標(biāo)準(zhǔn)化，從而為進(jìn)一步研究高動(dòng)態(tài)范圍成像技術(shù)奠定了基礎(chǔ)。進(jìn)一 步的研究工作將在顏色轉(zhuǎn)換環(huán)節(jié)中采用精度更高的儲3 4顯示程序。結(jié)果分析( 1) 第一次時(shí)間為( 1 /125) s，此時(shí)相機(jī)的動(dòng)態(tài)范圍與目標(biāo)的全部亮度范圍相匹配，因此圖 8 ( a) 中沒有飽和像素，但是降低了圖像較暗區(qū)域的某些細(xì)節(jié)。模型，如非線性模型、三維查找表模型等，這將有利于進(jìn)一步提高果。參考文獻(xiàn):圖像的空間和色度融合效( 2)第二次時(shí)間為( 1 /30 ) s，此時(shí)相機(jī)的動(dòng)態(tài)范圍與目標(biāo)的較低亮度范圍相匹配，因此圖 8 ( b) 存在部分飽和像素，但是在非

23、飽和區(qū)域可以獲得 的圖像細(xì)節(jié)。( 3) 經(jīng)過色度變換，用圖 8 ( b) 的較暗區(qū)域替換圖 8( a) 的對應(yīng)區(qū)域，得到了一幅高動(dòng)態(tài)范圍圖像( 圖 8( c) ) ，其中較暗區(qū)域的圖像細(xì)節(jié)得到了明顯，色度也保持了一致性，證明了本文方法的有效性。1 Greg Ward Larson The LogLuv Encoding for Full Gamut，High Dy namic Range ImagesJ Journal of Graphics Tools，1998，3 ( 1 ) : 15 312 Greg Ward Larson，Holly Rushmeier，Christine Piatk

24、o A Visibility Matching Tone Reproduction Operator for High Dynamic Range ScenesJ IEEE Transactions on Visualization and Computer Graphics，1997，3( 4) 3 Ahmet Oguz Akyüz Color appearance in high dynamic range imagingJ Journal of Electronic Imaging，2006，15( 3) 4 Annamária R Várkonyi Kóczy High D