高動態(tài)范圍視頻

1、高動態(tài)范圍視頻SingBingKangMatthewUyttendaeleSimonWinderRichardSzeliskiInteractiveVisualMediaGroup,MicrosoftResearch,Redmond,WA圖1：駕駛場景的高動態(tài)范圍視頻。第一行：輸入短視和長視交替視頻。底行高動態(tài)范圍視頻（色調(diào)貼圖）。.摘要使用現(xiàn)成的攝像機拍攝的典型視頻素材動態(tài)范圍有限。本文介紹了我們根據(jù)捕獲的動態(tài)場景的圖像序列生成高動態(tài)范圍（HDR）視頻同時快速改變每幀的曝光度的方法。我們的方法由三部分組成：捕捉時的自動曝光控制，相鄰幀之間的HDR拼接以及查看色調(diào)映射。HDR拼接需要準(zhǔn)確地記錄

2、相鄰幀并選擇合適的像素來計算輻射圖。我們展示了各種動態(tài)場景的例子。我們還展示了如何從一系列括起來的靜態(tài)照片中創(chuàng)建HDR時補償場景和相機移動。CR分類：1.3.3電腦圖像：圖片/圖像生成-顯示算法；1.4.1圖像處理和計算機視覺：增強-數(shù)字化和圖像捕獲。關(guān)鍵詞：圖像處理，視頻處理，高動態(tài)范圍，色調(diào)映射。介紹真實世界的亮度變化比現(xiàn)在大多數(shù)攝像機可用的傳感器大得多。單個場景的光芒可能包含從陰影到全亮區(qū)域四個數(shù)量級。典型的CCD或CMOS傳感器僅捕獲大約256-1024個水平。（伽馬曲線中的非線性水平分配可以稍微改善這一點。）近年來，相機的動態(tài)范圍有限，激發(fā)了許多解決方案。獲得完整輻射圖的一種方法是在

3、不同的曝光下拍攝多張圖像，并將這些圖像結(jié)合起來以創(chuàng)建場景的高動態(tài)范圍（HDR）地圖MannandPicard1995;Debevec和Malik1997;Mitsunaga和Nayar1999;Tsin等人2001;曼恩等人。2002。由于這些技術(shù)需要多個輸入圖像，所以由于場景中的動態(tài)元素或移動（即手持）相機，輸入之間存在運動的可能性。Mitsunaga和Nayar1999通過擬合輸入的全局運動模型來解決這個問題。曼恩等人。2002使用單應(yīng)性注冊不同曝光的幀，這可以補償較大的相機旋轉(zhuǎn)。Bogoni2000使用仿射運動，然后根據(jù)每像素流來記錄不同的曝光，但沒有給出幀配準(zhǔn)的細(xì)節(jié)。在相關(guān)的方法中，U

4、yttendaele等人2001使用基于塊的曝光調(diào)整技術(shù)去除圖像馬賽克中的曝光偽影。但是，他們不計算HDR圖像?？梢允褂枚鄠€圖像檢測器，新型傳感器（例如，NationalLM9628傳感器，IMS芯片HDRC傳感器，SiliconVision產(chǎn)品，SMaL相機，Pixim）或空間不同的像素曝光來重新移動在不同時間拍攝的圖像。Mit-sunaga和Nayar2000。然而，我們在本文中的重點是使用廣泛可用的常規(guī)（低動態(tài)范圍）圖像傳感器和攝像機可以實現(xiàn)什么。圖2：制作HDR視頻的處理階段。一旦計算出高動態(tài)范圍的圖像，就可以將其渲染為顯示。由于典型的顯示器只能產(chǎn)生約兩個數(shù)量級，因此必須在HDR圖像上

5、執(zhí)行對比度降低。最近，一些研究人員探索了這種色調(diào)映射問題DurandandDorsey2002;Fattal等人2002;Reinhard等人2002。我們的工作解決了在展覽之間存在運動的情況下使用多次曝光生成HDR地圖的問題。這使我們能夠生成HDR視頻序列以及運動場景的HDR靜態(tài)圖像。將我們的方法應(yīng)用于駕駛視頻的結(jié)果可以在圖1中看到。生成HDR視頻包括自動確定捕捉期間的時間曝光包圍，相鄰圖像之間的運動補償信息以及觀看的色調(diào)映射（Fig-ure2）。這產(chǎn)生具有與可變曝光輸入序列相同的幀速率的HDR視頻。要生成HDR靜止圖像，我們使用類似的HDR拼接技術(shù)。我們的視頻采集解決方案不同于以前的工作，

6、因為它采用了攝像頭中自動增益機制的簡單重新編程。這使我們能夠使用目前可用的廉價和高分辨率傳感器，這與新型傳感器設(shè)計尚未廣泛普及，并且可能因缺乏分辨率而不同。在第二部分中，我們提出了一種自動增益算法，智能地改變幀與幀之間的曝光量，以捕捉場景輻射圖的不同部分。與空間變化的像素曝光方法MitsunagaandNayar2000相比，我們的方法可以被看作是沿著時間而不是空間維度的子采樣。采集過程之后是一個離線過程，運動補償捕獲的視頻，并在每個幀時間估算完整的輻射圖（第3節(jié)）。這種我們稱之為HDR拼接的操作可以在圖像之間建立密集的對應(yīng)關(guān)系，以便在不同的曝光條件下合并像素。在組合像素中，我們引入運動補償中

7、間結(jié)果之間的一致性檢查。這使得系統(tǒng)對流量估算中的誤差更加粗暴。在我們可以查看HDR視頻之前，必須先進(jìn)行色調(diào)映射。在逐幀的基礎(chǔ)上應(yīng)用現(xiàn)有算法之一是不夠的，因為這會導(dǎo)致映射中可見的時間不一致。為了彌補這一點，我們擴展了現(xiàn)有的色調(diào)映射技術(shù)之一，使用來自時間相鄰幀的統(tǒng)計信息來處理HDR視頻，以產(chǎn)生時間上平滑變化的色調(diào)映射圖像（第4節(jié)）。實時曝光控制典型攝像機的自動增益控制（AGC）測量場景的亮度并計算適當(dāng)?shù)钠毓?。大多?shù)場景的動態(tài)范圍比相機的每像素8位傳感器可以捕獲的動態(tài)范圍更大。因此一些像素會飽和，有些像素會曝光不足。為了捕捉更大的動態(tài)范圍，我們開發(fā)了一個系統(tǒng)，以每幀為基礎(chǔ)改變曝光設(shè)置。基本思想是在不

8、同的值之間順序排列設(shè)置，依次適當(dāng)?shù)乇┞秷鼍暗暮诎岛兔髁羺^(qū)域。后處理步驟（第3部分）然后組合這些不同曝光的幀。圖3：來自駕駛視頻的兩次輸入曝光。頂部顯示輻射直方圖。紅色圖形與長曝光幀（左下）一起使用，而綠色圖形與短曝光幀（右下）一起使用。請注意，這些圖形的組合跨越的輻射范圍大于單次曝光可捕獲的范圍。我們的系統(tǒng)與今天許多照相機中的自動包圍系統(tǒng)類似。當(dāng)對場景進(jìn)行自動包圍時，相機使用當(dāng)前測光模式確定正確的曝光，然后以原始曝光的固定倍數(shù)拍攝兩次以上的曝光，例如向上和向下兩次f-stop。我們米取類似的方法。但是，我們不是使用固定倍數(shù)，而是為當(dāng)前場景計算一組更理想的曝光。這允許動態(tài)范圍擴展，同時盡可能多地

9、在所有圖像中合理地曝光像素，從而促進(jìn)良好的運動分析。對于我們的實驗，我們使用Pt每秒15幀的LadyBug火線相機?；疑芯坑幸粋€可編程控制單元。該固件升級有四個快門（CCD積分時間）和增益（ADC增益）寄存器。相機在每個幀時間通過庫存使用不同的寄存器組進(jìn)行循環(huán)。此外，攝像機使用當(dāng)前設(shè)置對每一幀進(jìn)行標(biāo)記，以便在輻射圖計算過程中使用這些設(shè)置。實時AGC算法（運行在連接相機的PC上）確定下一組四種設(shè)置。在我們當(dāng)前的實施中，曝光設(shè)置在兩個不同的值之間交替，并且不斷更新以重新映射場景變化。根據(jù)在子米樣幀上計算的場景統(tǒng)計數(shù)據(jù)自動確定適當(dāng)?shù)钠毓?。如果單個設(shè)置足以捕捉場景的強度，則曝光之間的比率可以從1變化

10、到用戶指定的最大值。在實踐中，我們發(fā)現(xiàn)最多16個可以產(chǎn)生良好的結(jié)果，因為這給出了4位的動態(tài)范圍擴展，同時仍允許在曝光之間進(jìn)行運動分析。圖3顯示了相機捕獲的連續(xù)幀以及它們在輻射空間中的相應(yīng)直方圖。在這種情況下，曝光比率接近最大值16。HDR拼接由于米用時間變化的曝光拍攝幀，在任何給定時間生成HDR幀都需要從相鄰幀傳輸像素顏色信息。這反過來又要求跨不同幀的像素對應(yīng)性非常準(zhǔn)確。我們參考從相鄰幀傳輸色彩信息并將HDR圖像提取為HDR拼接的過程。源視頻包含交替的長和短曝光幀。HDR拼接的第一步是在每一瞬間生成一個長曝光幀和一個短曝光幀，以便可以從該對中計算輻射圖。這就要求我們使用變形過程（3.1節(jié)）合成

11、缺失的曝光，這需要高度精確的運動估計（3.2節(jié)和3.3節(jié)）。一旦內(nèi)插幀被合成，我們就從這些圖像中選擇性地混合像素來計算高動態(tài)范圍輻射圖像（3.4節(jié)）。3.2幀插值的圖像變形我們的HDR拼接過程產(chǎn)生四個中間變形幀：從前一幀和下一幀（圖4中的SU-和SU+）單向變形的兩幀和通過直接比較前一幀和下一幀而計算出的兩個雙向變形幀SB-和SB+。在當(dāng)前幀和前一幀/下一幀之間存在良好對應(yīng)關(guān)系時使用單向扭曲的幀，而在當(dāng)前幀太暗或太飽和以致不能可靠地建立對應(yīng)關(guān)系的區(qū)域中使用雙向扭曲的圖像。在我們找到具有不同曝光的幀之間的像素對應(yīng)之前，我們首先用較短的曝光提高幀的強度。為了找到所需的強度增強量，我們使用相機響應(yīng)功

12、能將較短的曝光圖像轉(zhuǎn)換為輻射圖，然后使用逆向響應(yīng)轉(zhuǎn)換為具有較長曝光的虛擬圖像。該虛擬圖像應(yīng)該與其所登記的較長曝光圖像的像素值（模離散化和噪聲）相匹配。讓我們假設(shè)當(dāng)前幀L在長曝光時被捕獲,并且在短曝光時捕獲鄰近幀S-和S+（圖4）。我們首先使用3.2節(jié)中描述的運動估計算法的單向版本來建立前一個/下一個圖像的增強版本與當(dāng)前幀（圖4的綠色部分）之間的密集像素對應(yīng)關(guān)系。（在相反的LSL情況下,首先增強中央幀。）然后將計算的流場直接應(yīng)用于前一幀和下一幀，以分別合成單向扭曲的前一圖像和下一個圖像SU-和SU+。計算雙向內(nèi)插幀的過程更復(fù)雜（圖4的黑色部分）。首先,如果有必要,我們會增加上一張或下一張圖片,以

13、防它們曝光不同。接下來,我們使用下面描述的雙向運動估計算法（第3.2節(jié)）來匹配這兩個圖像。結(jié)果得到的（幀內(nèi)插的）圖像SB可用于計算當(dāng)前幀的飽和或黑暗區(qū)域中的輻射值。不幸的是，由于攝像機抖動和物體移動加速，SB與當(dāng)前幀L之間可能仍然存在一些記錄錯誤。因此，我們在當(dāng)前幀中注冊了SB（即LB）的增強版本使用3.3節(jié)中描述的分層單應(yīng)算法，該算法在運動估計中更加保守。然后將產(chǎn)生的流場添加到原始流場以產(chǎn)生將應(yīng)用到相鄰幀的改進(jìn)流。我們將所得到的最終輸出稱為雙向扭曲（或內(nèi)插）圖像SB-和SB+。S+SBBS+SBBF圖4：HDR計算的圖像變形。該圖顯示序列為SLS的情況，但LSL的算法是相似的（S=短曝光圖像

14、，L=長曝光圖像）。黑色雙線表示流量（運動）估計值，而較亮的單線表示計算圖像。B，F(xiàn)，H和W圓分別對應(yīng)于增強（強度補償），流動估計，分層單應(yīng)矩陣和圖像變形。原始（捕獲）圖像以藍(lán)色顯示，單向插值圖像以綠色顯示，雙向插值圖像以黑色顯示。圖像標(biāo)簽的含義在文中給出。3.3運動估算我們的運動估計算法由兩個階段組成。首先，我們通過估計將一個映射到另一個上的仿射變換來全局記錄S-和S+。然后，我們使用基于梯度的光流計算密集運動場，形成對全局變換的局部校正。分別計算前一幀和下一幀之間的前向或后向流場，而不是在當(dāng)前幀時間計算一個雙向場。這使我們能夠在生成每個插值幀時避免前向扭曲的填孔問題。在輸出幀（SB）中的每

15、個像素處，我們獲得一個指向前一幀和下一幀的合成向量。這些矢量都是仿射和局部分量的總和。仿射分量從全局變形參數(shù)中導(dǎo)出，重新縮放為從S-到輸出幀或從S+到輸出變形。（請注意，由此產(chǎn)生的兩個運動場不一定是對稱的。）本地分量由我們的對稱光流算法生成。對于局部運動估計，我們在拉普拉斯金字塔框架中使用Lucas和Kanade1981技術(shù)的變體Bergenetal。1992年。（請注意，Bergen等人1992對光流的主題做了很好的介紹。）我們增加了一些增強功能來處理退化流情況。我們不是簡單地在每次迭代中將一個源圖像逐漸變形到另一個源圖像，而是將兩個源圖像扭曲到中間幀并估計這兩個變形圖像之間的殘余流向量。隨

16、著殘差沿金字塔向下堆積，它們產(chǎn)生以中間幀為中心的對稱流場。我們通過在翹曲過程中包含全局仿射流來擴充這種技術(shù)，因此累積殘差總是用對非對稱全局（仿射）流的局部校正來表示。對于單向情況，我們使用上述運動估計程序（包括仿射階段）的修改來生成第3.1節(jié)中所述的單變形幀SU-和SU+。在這種情況下，該過程直接將當(dāng)前幀L與其相鄰增強進(jìn)行匹配。由此產(chǎn)生的流場是單向的，因為在每個迭代步驟只有相鄰幀被重新扭曲。Image1(reference)Image2圖5：分層單應(yīng)計算。請注意，只顯示第1級的前兩個級別和一個象限。3.3層次單應(yīng)性由于相機抖動和物體運動中可能的加速度，雙向內(nèi)插圖像可能無法與中央（當(dāng)前）圖像完美

17、配準(zhǔn)。因此，我們使用一種替代圖像配準(zhǔn)方法來改進(jìn)增強內(nèi)插幀（LB）和當(dāng)前幀（L）之間的配準(zhǔn)。此時需要限制流量，因為它減少了在飽和和低對比度像素的不可靠區(qū)域中錯誤映射的可能性。（雖然使用圖像蒙版計算流量可以選擇飽和或黑色像素，但我們必須設(shè)置我們認(rèn)為飽和或黑暗的閾值。）圖5顯示了層次單應(yīng)矩陣的思想，該圖簡化為僅說明兩個級別和一個象限。在最高分辨率下，執(zhí)行全幀配準(zhǔn)以找到兩個輸入圖像之間的最佳2D透視變換（即單應(yīng)性），從而產(chǎn)生單應(yīng)性H0。然后將當(dāng)前圖像（圖像1）分解成部分以虛線顯示的重疊象限。每個象限的全局運動都是從其父項繼承而來的。如果象限內(nèi)的強度變化不足（我們將此閾值設(shè)置為10個灰度級），則不予考慮

18、。否則，通過在來自當(dāng)前圖像的該象限與來自第二圖像的適當(dāng)采樣的對象之間執(zhí)行全圖像配準(zhǔn)來改進(jìn)其全局運動。在該圖中基于H0計算來自第二圖像的子圖像的邊界。在圖5所示的例子中，子圖像對之間的這種改進(jìn)的變換是H1,1。對于所有級別（本例中為兩個）和所有象限重復(fù)此操作。然后使用局部單應(yīng)性計算得到的全圖像流量。在每個象限的邊界附近，它們的流量被重量平均以減少流動不連續(xù)性。這個流程然后被用來糾正雙向流量，如第3.1節(jié)所述。3.4輻射圖恢復(fù)在本節(jié)中，我們將描述將輸入圖像與扭曲的鄰居相結(jié)合以生成輻射圖的過程這里已經(jīng)提出了幾種技術(shù)來做到這一點MannandPicard1995;Debevec和Malik1997;M

19、itsunaga和Nayar1999;Tsin等人2001。在這些技術(shù)中的任意一種，都使用已知的曝光值和計算出的響應(yīng)函數(shù)將輸入圖像轉(zhuǎn)換為輻射圖像。然后將像素處的最終輻射值計算為這些輻射圖像中相應(yīng)像素的加權(quán)平均值。在我們的系統(tǒng)中，我們使用Mitsunaga和Nayar1999的技術(shù)計算相機的響應(yīng)函數(shù)fR（以及相應(yīng)的加權(quán)函數(shù)fW）。Bidireetinjuillywurped耳廬VurrentBidireetinjuillywurped耳廬VurrentPrevmuswaqwd匸Nestwjiqied圖6：輻射圖計算。彩色顯示來自當(dāng)前幀和變形幀的參與區(qū)域。未通過一致性檢查的像素（因此調(diào)制權(quán)重為fM

20、=0）以白色顯示?，F(xiàn)有的輻射圖計算方法假設(shè)每一個都是注冊的輸入圖像。由于在HDR拼接的第一步中可能存在注冊錯誤，我們放寬了這一要求，這使我們的系統(tǒng)更容忍像素配準(zhǔn)中的錯誤。對于輸入圖像是長時間曝光且相鄰幀是短曝光的情況采取以下步驟。1.使用響應(yīng)函數(shù)及其相應(yīng)的曝光值將L,SU-,SU+,SB-和SB+轉(zhuǎn)換為輻射圖像。這些輻射圖像分別由L,SU-，SU+，SB-和SB+表示。2識別當(dāng)前圖像L中高于最大值的像素飽和。假定這些像素產(chǎn)生與相鄰幀不良的配準(zhǔn)。結(jié)果，最終的輻射圖用來自SB-和SB+的雙向內(nèi)插像素填充。為了避免可能的模糊，我們使用僅來自前一幀SB-的像素，除非這些像素與當(dāng)前幀不一致(即,它們不映

21、射到飽和范圍),在這種情況下,我們使用來自SB+的像素。3.在其他地方，使用加權(quán)混合來計算輻射圖r_,-曲4)卩+/卅耐妙滬1川一丁許如Fp-)+fwM)+Jw()1其中像素p,p-和p+分別來自當(dāng)前，前一個和下一個輻射圖像L，SU和SU。加權(quán)函數(shù)fWM(p,q)=fM(lpq)fW(pw是由仿真圖fM調(diào)制的基于強度的權(quán)函數(shù)fMitsunagaandNayar1999，它是一個簡單的Hermite立方調(diào)制，低于相應(yīng)的當(dāng)前輻射值的翹曲輻射值。5max是用戶指定的參數(shù)，我們將其設(shè)置為等同于最長曝光輸入圖像中16個強度等級的輻射值。雖然目前f選擇啟發(fā)式，但更原始的方法是使用相機的噪聲統(tǒng)計。計算當(dāng)前圖

22、像為短曝光的情況下的輻射值遵循與步驟2相同的推理。在此步驟中，將丟棄暗像素而不是飽和像素。圖6說明了我們的輻射圖恢復(fù)算法。當(dāng)前幀是在短時間內(nèi)拍攝的。我們只顯示有助于輻射圖的像素。4時間色調(diào)映射色調(diào)映射用于將浮點輻射圖轉(zhuǎn)換為適合渲染的8位表示法。這個過程必須減少每個幀的動態(tài)范圍，同時還要保持明亮和黑暗照明區(qū)域的良好對比度。另外，相鄰幀之間的變換必須一致以防止諸如閃爍之類的時間偽像。(請注意，Pattanaik等2000通過對人類視覺系統(tǒng)在其(全局)時間色調(diào)映射算法中的時間響應(yīng)進(jìn)行建模來進(jìn)一步進(jìn)行研究。)由于我們不期望場景強度發(fā)生急劇變化，因此我們采用更簡單的技術(shù)。我們利用Reinhard等人提出

23、的色調(diào)映射器。2002，這是基于攝影技術(shù)的閃避和燃燒。在我們的第一階段，輻射圖像被轉(zhuǎn)換為CIE空間，色度坐標(biāo)被重新覆蓋。然后處理亮度圖像以壓縮動態(tài)范圍。最后，重新插入色度以給出最終的字節(jié)范圍RGB圖像。我們的時間色調(diào)映射器由全局和局部階段組成：對于全局映射，我們計算平均和最大亮度，它們控制傳遞函數(shù)，提供良好的初始亮度映射。對數(shù)平均亮度由下式給出：其中，是小值（106），N是像素的總數(shù)，卜U=呷（Y刀d汕4兒：）1曬和/并且Fi是由時間k-1和k處的幀組成的因果時間鄰域。使用一組幀來控制全局映射有助于防止色調(diào)映射序列中的閃爍。色調(diào)映射器還包含局部歸一化，該歸一化是使用基于比例空間的邊緣保留濾波器

24、計算的。這在Reinhardetal。2002中描述過。我們沒有在當(dāng)?shù)氐恼；^程中應(yīng)用時間連貫性。5結(jié)果在本節(jié)中，我們將展示三種不同的動態(tài)場景的結(jié)果：魚市場，港口和繁忙街道上的駕駛。我們還描述了一個涉及用手持移動攝像機拍攝的日出場景靜態(tài)圖像的例子。每個HDR視頻幀（768x1024像素）的處理時間為10秒，配準(zhǔn)和輻射映射需要8秒鐘，在2GHz奔騰4機器上需要2秒鐘的色調(diào)映射。圖7：來自兩個HDR視頻示例的代表劇照：左圖：魚市場景，右圖：港灣景觀。對于每個場景，左上象限是短曝光幀，右上象限是長曝光幀。左下象限顯示了曝光量等于短曝光和長曝光的幾何平均值的框架。圖7顯示了來自魚市場和港口場景的代表

25、性照片。對于每個場景，左上象限是短曝光幀，右上象限是長曝光幀。左下象限顯示了相當(dāng)于短期和長期展覽的幾何平均值的框架的外觀。右下象限中的圖像是使用我們的方法生成的。魚市場景。圖7左側(cè)可以看到魚市現(xiàn)場的快照。雖然單次曝光版本看起來合理，但仍有一些飽和（特別是在中間和右上角）以及低對比度區(qū)域。在使用我們的HDR方法生成的框架中，幾乎可以在任何地方看到好的細(xì)節(jié)（除了柜臺底部，即使長時間曝光框架顯示的細(xì)節(jié)也很少）。港灣場景。這部影片是在一間辦公室內(nèi)拍攝的，俯瞰海港。在視頻中，可以看到渡輪在窗外移動，而辦公室內(nèi)部可以觀察到一些人的活動。如圖7所示，單次曝光具有顯著的大飽和和低對比度區(qū)域。另一方面，在使用我

26、們的方法生成的框架中，可以清楚地看到渡輪和水。辦公室內(nèi)部還可以看到更多細(xì)節(jié)。駕駛現(xiàn)場。駕駛場景的結(jié)果可以在圖1中看到。在這個例子中，駕駛員以大約25英里/小時的速度穿過繁忙的街道。這是一個特別困難的場景，因為偶爾由于駕駛員的手的快速運動而存在大框架和框架位移。我們的光流算法有時會出現(xiàn)這樣大的運動失敗，但這個問題可以通過使用更高幀率的相機來緩解。如前所述，我們相機的捕捉速率目前為每秒15幀，因此類似的曝光量以每秒7.5幀的速度進(jìn)行采樣。6來自圖像劇照的HDR圖像用于創(chuàng)建高動態(tài)范圍視頻的想法也可應(yīng)用于圖像靜止圖像，特別是在存在相機或場景運動的情況下。圖8示出了變換這樣的一組圖像的步驟。輸入圖像序列

27、首先根據(jù)曝光進(jìn)行分類，并且選擇具有最多“有效”像素的圖像作為參考（“當(dāng)前”）幀。如果像素不飽和或?qū)Ρ榷鹊停瑒t認(rèn)為該像素為“有效”在我們的實現(xiàn)中，每個“有效”RGB值必須介于（和不包括）16和255之間。圖8：從圖像靜像創(chuàng)建HDR圖像的步驟。從上到下：選擇參考圖像，配對寄存器（全局后跟本地注冊），傳播流場和輻射圖恢復(fù)一致性檢查。然后每個相鄰對在參考方向上進(jìn)行注冊。因為它們顯示較少的視覺變化，所以選擇相鄰對，這導(dǎo)致更強健的配準(zhǔn)。如前所述，較短的曝光圖像被提升以匹配配準(zhǔn)之前較長的曝光鄰居，并且配準(zhǔn)涉及全局運動估計，接著是本地每像素流。一旦流場已經(jīng)被計算出來，它們被適當(dāng)?shù)剡B接以允許每個幀被參考圖像配準(zhǔn)

28、（即穩(wěn)定）。然后用穩(wěn)定的圖像以類似于3.4節(jié)中所述的方式恢復(fù)輻射圖。不同之處在于每個穩(wěn)定圖像現(xiàn)在被視為單向扭曲圖像（即，SU-或SU+）。我們使用日出場景（圖9a）作為例子。這里有相機運動和云相對于地面的運動。如果我們只是執(zhí)行全局注冊（2D透視或單應(yīng)性），我們將獲得圖9b中所示的結(jié)果c,其中（c）是（b）中右部分的放大版本。如果我們應(yīng)用全球注冊，然后進(jìn)行本地注冊，我們會獲得顯著更好的結(jié)果，如圖9d所示。注意樹枝的清晰外觀。我們使用存儲在每個靜止圖像中的標(biāo)準(zhǔn)元數(shù)據(jù)信息（稱為EXIF標(biāo)簽）來自動化我們的輻射圖計算。對于日出示例（五個仍然是1024x768的靜止圖像）,注冊（全局和本地）和輻射圖30

29、秒，而色調(diào)映射需要2秒鐘。圖9：來自劇照的HDR圖像：日出示例。（a）五個輸入圖像（每個1024x768），（b,c）僅使用全局（2D，透視）注冊的結(jié)果，（d,e）使用全局和本地注冊的結(jié)果。7討論觀察結(jié)果，您可以看到，我們的技術(shù)可以生成動態(tài)范圍增大的視頻，同時處理相當(dāng)大量的視覺運動。然而，對于非常快速的運動，鑒于我們目前每秒15幀的低采樣率，我們的技術(shù)有時會產(chǎn)生偽影。使用具有更快捕捉速率的相機肯定會有所幫助，圖像配準(zhǔn)算法也會有所改進(jìn)。特別是，處理遮擋的能力（可能通過提取物體邊界和構(gòu)建分層運動模型）將會很有用。除了快速運動和明顯遮擋的場景外，具有大量非剛性效應(yīng)的場景對于我們的技術(shù)來說也非常困難。

30、這些非剛性效應(yīng)包括非朗伯表面上的相互反射和鏡面反射以及復(fù)雜的半透明物體。這種影響可以用多種運動模型來解釋（例如，Tsinetal.2003），我們目前并沒有在我們的技術(shù)中使用這些模型。對于我們的技術(shù)來說，最簡單的場景是那些主要是朗伯表面，高度紋理的表面，幾乎沒有遮擋和小的運動。對于亮度范圍非常大的場景，例如在晴朗的日子里看到黑暗的室內(nèi)場景，僅使用兩次曝光可能就不夠。增加連續(xù)幀之間的曝光間隔會更好地捕捉動態(tài)范圍，但會使圖像配準(zhǔn)步驟更加脆弱，并會導(dǎo)致中間色調(diào)中的圖像噪點增加。使用兩次以上的曝光是我們考慮的另一種選擇，但類似的曝光（注冊成功的最佳機會）則在時間上分開，再次導(dǎo)致潛在的配準(zhǔn)和插值問題。擁

31、有更快的捕獲速率將允許采集和合并更大的一組連續(xù)不同的曝光。目前，我們的加權(quán)和調(diào)制功能是基于Mitsunaga和Nayar1999;Tsin等人2001。我們計劃使用積分球（其內(nèi)表面完全是Lam-bertian）來更準(zhǔn)確地表征相機的響應(yīng)曲線和噪聲特性。8結(jié)論在本文中，我們介紹了一種技術(shù)，用于從一系列交替的光照和黑暗曝光創(chuàng)建高動態(tài)范圍視頻。我們系統(tǒng)的第一部分是一種新穎的增益控制算法，它根據(jù)像素亮度分布選擇最佳曝光對。我們方法的核心部分是HDR拼接過程，該過程包括全局和局部注冊步驟以補償像素運動，以及為輻射圖計算選擇最可信像素的算法第三部分是適用于產(chǎn)生臨時一致結(jié)果的色調(diào)映射算法。由此產(chǎn)生的系統(tǒng)可用于生成高動態(tài)范圍的視頻和用手持相機拍攝的靜止圖像和場景運動。參考文獻(xiàn)Bergen，J.R.，Anandan，P.，Hanna，K.J。和Hingorani，R.1992。基于分層模型的運動估計。第二屆歐洲計算機視覺會議（ECCV92），237-252。Bogoni,L.2000。通過融合擴展單色和彩色圖像的動態(tài)范圍。國際模式識別會議,3，7-12。Debevec