圖象變形綜述

1、圖象變形綜述王章野、金小剛浙江大學(xué)CAD&CG國(guó)家重點(diǎn)實(shí)驗(yàn)室 310027 杭州1 導(dǎo)論 圖象形狀過渡技術(shù)對(duì)視覺效果來(lái)講已證明是一種強(qiáng)有力的工具。目前在電影和電視中，有許多由一個(gè)數(shù)字圖象流暢地變?yōu)榱硪粋€(gè)數(shù)字圖象的驚人的例子。這個(gè)通常被稱作變形的過程，是由結(jié)合圖象的扭曲和顏色插值來(lái)實(shí)現(xiàn)的。圖象扭曲將二維幾何變換應(yīng)用到圖象以保留他們特征之間的幾何隊(duì)列，同時(shí)混合他們的顏色插值。兩個(gè)圖象之間的圖象形狀過渡技術(shù)首先由一漫畫家建立特征基元（如網(wǎng)格結(jié)點(diǎn)、線段、曲線或點(diǎn)）對(duì)之間的對(duì)應(yīng)關(guān)系。每一基元指定一個(gè)圖象特征或界標(biāo)。特征對(duì)應(yīng)關(guān)系隨后被用于計(jì)算映射函數(shù)，這映射函數(shù)定義了兩圖象所有點(diǎn)之間的空間關(guān)系。由

2、于映射函數(shù)是扭曲過程的中心，本文中我們將它們稱為扭曲函數(shù)。利用它們?cè)谧冃芜^程中用以插值特征位置。一旦兩個(gè)圖象被形變到中間特征位置隊(duì)列時(shí)，在圖象之間就產(chǎn)生了通常的顏色插值（如：交叉分解）。特征指定在變形中是一件最乏味的一件事。雖然允許的基元的選擇可改變，但所有的變形方法都需要小心關(guān)注到基元的精確放置。給定的特征對(duì)應(yīng)關(guān)系限于兩圖象之間，覆蓋整個(gè)圖象空間的扭曲函數(shù)必須推導(dǎo)出。這個(gè)過程我們稱之為扭曲產(chǎn)生，實(shí)際上是一個(gè)插值問題。在圖象變形中的另一個(gè)有趣的問題是過渡控制。如果過渡速度在穿越中間圖象時(shí)允許局部變化的話，產(chǎn)生更多有趣的動(dòng)畫也是可能的。圖象變形爆炸性的增長(zhǎng)是由于扭曲和顏色插值使得強(qiáng)制的和美學(xué)愉悅

3、的效果成為可能。美術(shù)家和漫畫家能有效地利用變形工具的程度直接與下面三個(gè)問題的解決相聯(lián)系：特征指定、扭曲產(chǎn)生和過渡控制。他們一起影響著產(chǎn)生高質(zhì)量變形結(jié)果的易難性和有效性。本文綜述了圖象變形方面的最新進(jìn)展，這些進(jìn)展是根據(jù)它們?cè)诮鉀Q上面三個(gè)問題中所起的作用而定的。我們比較了不同的變形技術(shù)，包括那些基于網(wǎng)格扭曲（Wolberg 1990）、場(chǎng)變形（Beier and Neely 1992）、細(xì)盤樣條（Lee et al. 1994; Litwinowicz and Williama 1994）、能量最?。↙ee et al. 1996）和多層次自由變形技術(shù)（Lee et al. 1995）。交替使用存

4、在于特征指定的復(fù)雜性和扭曲產(chǎn)生之間。由于特征指定若變得越來(lái)越便利，扭曲產(chǎn)生則變得越來(lái)越難以克服。最近，樣條曲線引入到特征指定對(duì)扭曲產(chǎn)生過程形成了挑戰(zhàn)，使它成為變形中最棘手的部分。它影響著轉(zhuǎn)換的平滑性，支配著變形過程的計(jì)算花費(fèi)。我們?cè)u(píng)論這些交替使用，描述它們?cè)谶@領(lǐng)域中影響最新進(jìn)展所起的作用。本文的范圍僅限于傳統(tǒng)的二維圖象變形。我們避免討論三維體變形（Lerios et al. 1995）、視域插值(Chen and Williams 1993)、或視域變形(Seitz and Dyer 1996)。除三維體變形外（由于它是二維變形的直接拉伸），后兩種范圍在給定一系列事先存儲(chǔ)的圖象中應(yīng)用變形來(lái)計(jì)算

5、場(chǎng)景的新視覺。2 變形算法在變形發(fā)展之前，圖象轉(zhuǎn)變通常是通過利用交叉分解來(lái)達(dá)到的。例如：用線性插值使一幅圖象淡出而使另一副圖象淡入。圖1應(yīng)用了5幅幀圖描述了這個(gè)過程。其結(jié)果是乏味、不令人滿意的，這是由于在錯(cuò)匹配區(qū)域的明顯的雙重暴光造成的。這問題在中間幅幀中尤其明顯，由于這時(shí)兩幅輸入的圖象對(duì)輸出結(jié)果貢獻(xiàn)相同。通過貫穿交叉分解過程中合并扭曲到維持幾何隊(duì)列，變形可達(dá)到平滑的轉(zhuǎn)變。本節(jié)中，我們回顧幾種變形算法，包括那些基于網(wǎng)格扭曲、場(chǎng)變形、輻射基函數(shù)、細(xì)盤樣條、能量最小和多層次自由變形技術(shù)。這種回顧意在激發(fā)在特征指定、扭曲產(chǎn)生和過渡控制過程的討論。2.1網(wǎng)格扭曲網(wǎng)格扭曲最早由D. Smythe在198

6、8年的電影Willow中利用Industrial Light & Magic(簡(jiǎn)稱ILM)提出的（Smythe 1990）。它已成功地被用于隨后的許多運(yùn)動(dòng)圖象中。要說(shuō)明這兩步網(wǎng)格扭曲算法，先參考圖2所示的圖象序列。中間行的5幅圖表示這行兩端兩張臉之間的形狀過渡（或稱變形）。我們將這兩幅圖象分別稱之為IS和IT，即源圖象和目標(biāo)圖象。源圖象和網(wǎng)格MS相聯(lián)系。它指定了控制點(diǎn)或界標(biāo)的坐標(biāo)。第二個(gè)網(wǎng)格MT指定了它們?cè)谀繕?biāo)圖象中的對(duì)應(yīng)位置。在圖中網(wǎng)格MS 和MT分別顯示出對(duì)左上圖和右下圖的遮蓋。注意兩個(gè)網(wǎng)格中對(duì)應(yīng)格子線下面的界標(biāo)，如眼睛、鼻子和嘴唇。MS 和MT一起用于定義空間轉(zhuǎn)變，這空間轉(zhuǎn)變將I

7、S中所有點(diǎn)映射到IT上去。這些網(wǎng)格限于拓?fù)渫瑯?gòu)。即允許無(wú)折疊和不連續(xù)。因此，在MT上的結(jié)點(diǎn)可以根據(jù)需要遠(yuǎn)離MS，只要它們不引起自相交。此外，為了簡(jiǎn)化起見，這些網(wǎng)格限于有固定的邊界。在變形序列中所有的中間幀是以下四步過程的產(chǎn)物： for每一幀do 在MS 和MT之間線性插值網(wǎng)格M 利用網(wǎng)格MS和M將IS形變到I1 利用網(wǎng)格MT和M將IT形變到I2 在I1和I2之間線性插值圖象IF end圖2描述了這個(gè)過程。在圖中的頂行，網(wǎng)格MS顯示出變形到MT過程中對(duì)每一幀f產(chǎn)生一幅中間圖象M。利用這些網(wǎng)格將IS形變到變形漸增的圖象，因此將IS從原始狀態(tài)變形到由中間網(wǎng)格所定義的那些狀態(tài)。圖中底行顯示了逆向同樣的

8、過程，這過程IT從其原始狀態(tài)變形而來(lái)。這個(gè)過程的目的是為了維持IS和IT之間界標(biāo)隊(duì)列，因?yàn)樗鼈兌甲冃蔚揭恍┲虚g狀態(tài)，產(chǎn)生了圖象對(duì)I1和I2，分別如頂行和底行所示。只有當(dāng)這隊(duì)列維持后，I1和I2連續(xù)對(duì)之間的交叉分解才有意義，如中間行的變形序列所示。分別應(yīng)用權(quán)重1,0.75,0.5,0.25,0和0,0.25,0.5,0.75,1到頂行和底行的5幅圖象，并將這兩套圖象加到一起就產(chǎn)生了這變形序列。這過程證明了變形只是將交叉分解簡(jiǎn)單地用于形變圖象。扭曲在這里所起的重要作用是顯而易見的，從比較圖2的變形序列和圖1的交叉分解結(jié)果就可看出。特征指定中使用網(wǎng)格為扭曲產(chǎn)生提供了直接的解決方法：雙立方樣條插值。這

9、里的例子引用Catmull-Rom的樣條插值來(lái)確定所有點(diǎn)的對(duì)應(yīng)關(guān)系。利用Fant的算法在可分的執(zhí)行中重采樣圖象（Fant 1986; wolberg 1990）。2.2 場(chǎng)變形當(dāng)網(wǎng)格作為指定特征點(diǎn)對(duì)的方便的方法出現(xiàn)時(shí)，它們有時(shí)使用起來(lái)卻很麻煩。由Beier和Neely(1992)在Pacific Data Images會(huì)議上提出的場(chǎng)變形算法是從簡(jiǎn)化用戶界面、利用點(diǎn)對(duì)來(lái)處理對(duì)應(yīng)關(guān)系的想法演變而來(lái)。源圖和目標(biāo)圖的對(duì)應(yīng)線對(duì)定義了兩圖象之間的坐標(biāo)映射。除了對(duì)沿直線所有點(diǎn)提供直接的對(duì)應(yīng)關(guān)系外，在線附近的點(diǎn)映射可由它們離直線的距離來(lái)確定。由于多線對(duì)通常已給定，源圖象的一個(gè)點(diǎn)位移實(shí)際上是由每一線對(duì)的加權(quán)之和

10、，而這權(quán)重由距離和線長(zhǎng)度決定。這方法比起網(wǎng)格扭曲的好處在于它富于表達(dá)性。例如：不需要圖2的所有對(duì)應(yīng)點(diǎn)都處在同一網(wǎng)格，線對(duì)可以沿源圖和目標(biāo)圖的嘴巴、鼻子、眼睛、臉頰畫出。因此，只需要給定關(guān)鍵的特征點(diǎn)。雖然這方法簡(jiǎn)化了特征對(duì)應(yīng)關(guān)系的指定，但它卻使扭曲產(chǎn)生復(fù)雜化。這是由于在每一源圖象點(diǎn)的映射知道之前，所有線對(duì)都必須考慮。這整體算法比網(wǎng)格扭曲要慢，而網(wǎng)格扭曲利用了雙立方插值來(lái)確定所有不在網(wǎng)格上的點(diǎn)的映射。Lee等人（Lee et al. 1998b）提供了一種基于分片線性近似的最優(yōu)化方法來(lái)加速這過程。一個(gè)更嚴(yán)重的困難是：未預(yù)料到的位移在考慮了所有線對(duì)在單個(gè)頂點(diǎn)上的影響后可能產(chǎn)生。有時(shí)必須提供額外的線對(duì)

11、來(lái)滿足以前對(duì)的壞效應(yīng)。然而，在有才華的動(dòng)畫制作者的處理下，網(wǎng)格扭曲和場(chǎng)變形都能產(chǎn)生驚人的視覺效果。2.3輻射基函數(shù)和細(xì)盤樣條特征指定最通常的形式允許特征基元來(lái)組成點(diǎn)、線和曲線。由于曲線和線可以被點(diǎn)采樣，通過一系列的點(diǎn)來(lái)考慮指定一幅圖象的特征是足夠的。在那種情況下，一種扭曲的x和y分量可通過構(gòu)造插值離散點(diǎn)的表面來(lái)導(dǎo)出。舉例，特征點(diǎn)M在源圖象標(biāo)為（uk,vk）; 圖1。交叉分解圖2。網(wǎng)格扭曲圖3?；诙鄬哟巫杂勺冃渭夹g(shù)的變形在目標(biāo)圖象標(biāo)為（xk,yk），這里。推導(dǎo)將點(diǎn)從目標(biāo)圖象映射到源圖象的扭曲函數(shù)等價(jià)于確定二個(gè)表面：對(duì)于，一表面穿過點(diǎn)（xk,yk,uk）；另一表面穿過點(diǎn)（xk,yk, vk）。這

12、個(gè)公式允許我們由離散數(shù)據(jù)插值畫出工作的大體來(lái)提出扭曲產(chǎn)生問題。所有隨后的算法都通過要求離散數(shù)據(jù)插值使得通常的特征指定變得容易。由這種方法產(chǎn)生的扭曲由Ruprecht和Muller(1995)及Wolberg(1990) 廣博地綜述過。Lee等人(1994)及Litwinowicz和Willam(1994)曾分別獨(dú)自地提出兩種相似的利用細(xì)盤表面模型的方法。Hassanien和Nakajima(1998)提出了一種相關(guān)的Navier樣條技術(shù)，它利用了Navier局部差分方程來(lái)構(gòu)造扭曲函數(shù)。Arad等人（1994）提出了另一種利用輻射基函數(shù)的方法。這些技術(shù)產(chǎn)生了平滑的扭曲，精確地反映了特征對(duì)應(yīng)關(guān)系。

13、而且它們提供了最普遍的特征指定形式，因?yàn)槿魏位ㄈ鐦訔l曲線）可采樣為一系列的點(diǎn)。Elastic Reality, 一個(gè)由Avid Technology公司出品的商業(yè)變形軟件包（網(wǎng)址：）,利用曲線來(lái)提高特征指定。然而，其扭曲產(chǎn)生的方法卻沒有公開過。2.4 能量最小上述所有方法并不能保證產(chǎn)生的扭曲函數(shù)的一對(duì)一性質(zhì)。當(dāng)一個(gè)扭曲應(yīng)用到一幅圖象時(shí)，一對(duì)一的性質(zhì)防止了扭曲圖象從自身折疊回來(lái)。Lee等人（1996）提出了一種能量最小的方法來(lái)推導(dǎo)一對(duì)一扭曲函數(shù)。他們的方法允許廣泛的特征指定基元，比如：點(diǎn)、多線和曲線。從內(nèi)部講，所有基元被采樣和減少到點(diǎn)集。這些點(diǎn)然后被用以產(chǎn)生一個(gè)扭曲，它可看作是一個(gè)直角平板的

14、二維變形。提供了一種導(dǎo)出C1連續(xù)和從其位置限制的一對(duì)一扭曲的變形技術(shù)。扭曲的要求表示為能量形式，由其和的最小得到滿足。這種技術(shù)產(chǎn)生自然扭曲，因?yàn)樗腔谖锢硪饬x的能量項(xiàng)。但這方法的應(yīng)用，卻被其高昂的計(jì)算開銷所阻礙。2.5 多層次自由變形 Lee等人（1995）提出了一種新的扭曲產(chǎn)生方法，它比相應(yīng)的能量最小方法簡(jiǎn)單得多且快得多（Lee et al. 1996）。通過應(yīng)用多層次自由變形（簡(jiǎn)稱MFFD）穿過一個(gè)層次控制網(wǎng)格來(lái)產(chǎn)生一對(duì)一而且C2連續(xù)的扭曲函數(shù)，大量的操作收益就可達(dá)到。在特殊情況下，可引入MFFD方法作為自由變形（FFD）方法（Sederberg and Parry 1986）的延伸，從

15、位置限制中導(dǎo)出扭曲。在他們的文章中，雙變量立方B樣條張量積用于定義FFD函數(shù)。一種新生的基于二維B樣條近似的FFD直接處理技術(shù)就用于控制網(wǎng)格的層次來(lái)精確地滿足位置限制。為了保證一對(duì)一性質(zhì)的扭曲，提出 了一種對(duì)二維立方B樣條表面一對(duì)一的充分條件。MFFD產(chǎn)生算法C2連續(xù)和一對(duì)一的扭曲，這扭曲產(chǎn)生平滑的形變。MFFD算法在一種混合方法中結(jié)合了能量最小方法。圖3給出了一個(gè)基于MFFD算法變形的例子。注意圖中中間行所顯示的變形序列與圖2的基于網(wǎng)格的變形實(shí)際是完全一樣的。然而，這種方法的好處在于特征指定更加富于表現(xiàn)和少些不方便。不是修改網(wǎng)格，而是指定了少量一些特征基元。為了進(jìn)一步幫助用戶，引進(jìn)了“蛇條”

16、（Snake）來(lái)減少特征指定的擔(dān)負(fù)。這“蛇條”是在圖象和限制力影響下運(yùn)動(dòng)的能量最小樣條。計(jì)算機(jī)視覺中最先采用了它作為活動(dòng)輪廓模型。（Kass et al. 1988）。“蛇條”精簡(jiǎn)了特征指定因?yàn)榛恍柙谔卣鞲浇ㄎ?。圖象力將蛇們向凸邊推去，因此限制了它們的最終位置，而且使容易地、準(zhǔn)確地獲取一個(gè)特征的精確位置成為可能。2.6 工作最小化假定兩個(gè)圖象相似，圖象登記技術(shù)（Brown 1992）為自動(dòng)確定源圖和目標(biāo)圖上所有點(diǎn)的對(duì)應(yīng)關(guān)系提供了一種可能的解決方法。例如：光流技術(shù)經(jīng)常用于壓縮和數(shù)字視頻處理中來(lái)跟蹤視頻幀的幀對(duì)幀運(yùn)動(dòng)（Tekalp 1995）。這種方法利用了如下事實(shí)：兩幀代表了相同的場(chǎng)景，只

17、是在成象上有微小的移動(dòng)。因此只需要恢復(fù)少量的位移。但這在變形應(yīng)用時(shí)通常是不正確的，因?yàn)樵磮D和目標(biāo)圖可能有極大的區(qū)別。而且，對(duì)于相似的輸入圖象來(lái)說(shuō)，在一定程度上考慮特征指定的自動(dòng)化是合理的。這恰好是Gao和Sederberg(1998)所考慮的問題。Gao和Sederberg(1998)提出了一種在兩幅相似圖象之間確定扭曲函數(shù)的新算法，它很少或不需人工干涉。這方法在指定特征對(duì)應(yīng)關(guān)系上與朝最少量用戶干涉的趨向一致。這算法是基于工作最小的趨向，這趨向直接從圖象密度、而不是從用戶指定的限度來(lái)推導(dǎo)其開銷。被Wolberg為解決多邊形狀混合問題而作的相關(guān)工作所激勵(lì)，Serberg和Greenwood (1

18、992) 嘗試將與扭曲和重新著色圖象的開銷最小化。利用雙線性B樣條區(qū)域的格子，他們應(yīng)用了層次扭曲，且將成本函數(shù)與它相聯(lián)系。即使實(shí)施了扭曲后，在強(qiáng)度值上還存在差別，而且成本函數(shù)是與重新著色相聯(lián)系的。然后變形產(chǎn)生過程就簡(jiǎn)化為在所有可能的扭曲中找到全局最小成本函數(shù)的過程。Wolberg提供了一種簡(jiǎn)單而快速的方法，雖然它并不能保證其全局最小。工作最少算法的前提是：大多數(shù)視覺愉悅的變形是與滿足最少工作限制的那些圖象相聯(lián)系的。這個(gè)假設(shè)有時(shí)不成立。因此，為指定特征和初始化扭曲，一些用戶交互還是必要的。不管任何可能需要指定的初始化扭曲，藏在這種方法后面的基本原理是：利用工作最少化的限制，用戶交互可極大地減少。

19、雖然這工作尚處于早期階段，它對(duì)相似圖象之間的變形已顯示出令人鼓舞的結(jié)果了。2.7 討論變形算法的進(jìn)展，已由對(duì)特征指定的更富于表現(xiàn)力和更少不方便的工具所表明。通過在場(chǎng)變形中指定線對(duì)，一個(gè)超越網(wǎng)格的重大步驟已是可能。這導(dǎo)致扭曲產(chǎn)生的復(fù)雜性有時(shí)會(huì)削弱這種方法的有用性。例如：由于計(jì)算扭曲函數(shù)，這方法有時(shí)產(chǎn)生不理想的稱之為鬼線（Ghost）的走樣（Beier and Neely 1992）。為解決這間題，要求用戶在最小套列以外指定額外的線對(duì)，這最小套列否則將被保證。所有隨后的算法，包括那些基于輻射基函數(shù)、細(xì)盤樣條、最小能量化的，都把扭曲產(chǎn)生用公式表示為離散數(shù)據(jù)插值，尋求改進(jìn)被計(jì)算的扭曲產(chǎn)生的質(zhì)量（平滑度

20、）。他們這樣做是以相當(dāng)高的計(jì)算開銷為代價(jià)的。最新的基于MFFD算法的方法，通過加速扭曲產(chǎn)生，極大地改進(jìn)了質(zhì)量。蛇條的使用進(jìn)一步幫助用戶減少了特征指定的負(fù)擔(dān)。雖然使用戶最終消除特征指定的人工交互這一目標(biāo)尚是難以捉摸，但Gao和Sederberg(1998)的工作證明了當(dāng)源圖象和目標(biāo)圖象相似時(shí)，一種逼近于這一目標(biāo)的算法的可行性。3. 過渡控制過渡控制在經(jīng)歷變形結(jié)果中決定了扭曲的顏色混合的速度。如果兩圖象之間的部分到部分的過渡速度不同，更多有趣的動(dòng)畫就可能產(chǎn)生。這種非均勻性的過渡功能戲劇性改善了視覺內(nèi)容。注意到目前為止所示的例子都使用了均勻過渡函數(shù)，依靠這個(gè)，源特征的位置穩(wěn)步地以一種均勻的速度移到它

21、們相應(yīng)的目標(biāo)位置。圖4和圖5分別顯示了用均勻和非均勻過渡函數(shù)的例子。圖4 的上排左和下排右分別為源和目標(biāo)圖象。用于定義扭曲函數(shù)的特征線顯示在這兩個(gè)圖象的上面。頂排和底排分別描述了應(yīng)用于源圖象和目標(biāo)圖象的均勻過渡速度的例子。注意，舉個(gè)例：所有在源和目標(biāo)圖象中的點(diǎn)都以均勻的速度移向它們的最終位置。這兩排被扭曲的圖象被相同的過渡函數(shù)衰減，并疊加到一起產(chǎn)生了中間圖象的那當(dāng)中一排象。注意：在顏色混合化將它們合并到最終的變形結(jié)果之前，兩套被扭曲的中間圖象保持著幾何隊(duì)列的不變。圖5的例子演示了將一個(gè)非均勻過渡函數(shù)應(yīng)用到同樣的源圖象和目標(biāo)圖象上的效果。在這個(gè)例子中，一個(gè)過渡函數(shù)被定義為加速源圖象中的鼻子的變形

22、，而保留前半序列的頭的形狀不變。頭的變形從序例的中間開始，繼續(xù)線性地變到結(jié)束為止。同樣的過渡函數(shù)用在底行。注意在變形結(jié)果中，戲劇性的改進(jìn)是與非均勻過渡函數(shù)的使用相關(guān)的。通過對(duì)每一節(jié)點(diǎn)指定一過渡曲線，就完成了基于網(wǎng)格控制的過渡控制。當(dāng)復(fù)雜的網(wǎng)格用于指定特征時(shí)，這是很乏味的。Nishita等人(1993)曾提到過渡行為可由定義于網(wǎng)格上的Bezier函數(shù)來(lái)控制。在能量最小方法中，通過在一給定的圖象選擇一系列的點(diǎn)并對(duì)每一點(diǎn)指定一過渡曲線的方法，就獲得了過渡函數(shù)。雖然早期的變形算法通常結(jié)合了特征指定和過渡控制基元，這種方法允許它們分開。即：過渡控制基元的位置不一定需要與特征點(diǎn)的位置相符。過渡曲線決定了被

23、選擇點(diǎn)隨時(shí)間變化的過渡行為。對(duì)一給定的時(shí)刻，過渡函數(shù)必須有在各指定點(diǎn)由過渡曲線所賦給的值。將過渡速度看作是離開一平面的垂直距離，則過渡函數(shù)縮減為插值一系列離散點(diǎn)的平滑表面。利用細(xì)盤表面模型（Terzopoulos 1983）為過渡函數(shù)獲取C1連續(xù)的表面。在基于MFFD的方法中，為扭曲產(chǎn)生的MFFD技術(shù)被簡(jiǎn)化和用于導(dǎo)出過渡函數(shù)時(shí)產(chǎn)生有效的C2連續(xù)的表面。圖4 和圖5中的例子就是由基于MFFD變形算法而產(chǎn)生的。過渡曲線可被程序性的過渡函數(shù)所取代。（Lee et al. 1995,1996）。圖6描述了一個(gè)例子，這里在垂直方向變化的線性函數(shù)應(yīng)用到兩輸入的圖象中。這結(jié)果是令人信服的轉(zhuǎn)變，在這轉(zhuǎn)變中一個(gè)

24、圖象從頂部到底部變?yōu)榱硪粋€(gè)圖象。圖4。均勻形狀過渡技術(shù)圖5。非均勻形狀過渡技術(shù)圖6。程序性轉(zhuǎn)變4 產(chǎn)生的變形框架圖象變形的傳統(tǒng)公式在同一時(shí)間只考慮了兩個(gè)輸入圖象，即：源圖象和目標(biāo)圖象。在這情況下，變形中的多重圖象被理解為意味著一系列的從一個(gè)圖象到另圖象的轉(zhuǎn)變。這限制了任何變形的圖象具有來(lái)自兩輸入圖象的特征和混合顏色。假設(shè)利用這范例的變形成功，有理由認(rèn)為在同一時(shí)間從多于兩輻圖的混合中可能得益。舉個(gè)例，從四幅不同的輸入圖象中產(chǎn)生一幅臉部圖象，它有眼睛、耳朵、鼻子和輪廓。在這情況下，多圖象間的變形可理解為意味著一種幾幅圖象的瞬間無(wú)縫混合。我們稱這一過程為多重變形。圖7。輸入圖象（頂排）及從其中采取的

25、頭發(fā)、眼睛及鼻子、嘴巴及下巴（中間及底排的組合）圖8。在輸入圖象的選擇部分和它們?cè)谥行膱D象上的投影Rowland和Perrett(1995)考慮過多重變形的一個(gè)特例來(lái)獲取一原型臉，它是根據(jù)性別和年齡，從幾十幅樣品臉中選得。他們?cè)谳斎雸D象中附加特征點(diǎn)來(lái)在指定在樣品臉中特征的不同位置。原型臉的形狀指定的特征位置的平均來(lái)確定。對(duì)每一輸入圖象運(yùn)用圖象扭曲，然后在被扭曲的圖象中實(shí)施交叉分解操作就產(chǎn)生了原型臉。從不同的性別和年齡得來(lái)的兩原型之間的形狀和顏色之間的差別用于處理臉部圖象，來(lái)實(shí)施可預(yù)見的性別和年齡的轉(zhuǎn)變。盡管近年來(lái)變形的爆炸性的增長(zhǎng)，多圖象間變形的主題已被忽視。在最近Wolberg和Lee等人的

26、工作中，提出了一個(gè)總框架，將傳統(tǒng)的圖象變形范例擴(kuò)申到兩圖象中去。（Lee et al. 1998a）。我們用公式將每一輸入圖象表示為在（n-1）維空間常規(guī)凸多邊形的一個(gè)頂點(diǎn),這里n為輸入圖象的個(gè)數(shù)。一個(gè)中間（變形）的圖象被視為凸多邊形上的一個(gè)點(diǎn)。點(diǎn)的坐標(biāo)決定了用于將輸入圖象混合到中間圖象的權(quán)重。在兩個(gè)圖象之間的變形中，引入非均勻混合來(lái)產(chǎn)生中間圖象，在這中間圖象中混合率在穿越圖象各點(diǎn)上都是不同的（Lee et al. 1995,1996）。這允許我們產(chǎn)生更有趣的動(dòng)畫，象將源圖象從上到下地變?yōu)槟繕?biāo)圖象等。在體變形中非均勻混合也被考慮用于控制混合程序表(Hughes 1992; Lerios et

27、al. 1995)。在文獻(xiàn)(Lee et al. 1998a)中，多變形的框架包括幾個(gè)輸入圖象的非均勻特征混合。例如：臉部圖象的產(chǎn)生，可從四個(gè)不同的輸入臉象中分別產(chǎn)生眼睛、鼻子、嘴巴和耳朵。圖7顯示了一個(gè)例子。圖7的上面排為輸入圖象I0、I1和I2。我們?cè)谶@些圖象中選擇三組特征并賦予它們單位混合值來(lái)產(chǎn)生中間圖象。特征組包括頭發(fā)、眼睛、鼻子、嘴巴和下巴。每一特征組在不同的輸入圖象中選擇。例如：圖8顯示了選來(lái)用于產(chǎn)生圖7中間排最左中間圖象的特征組。圖中較低一排最右的圖象顯示了它們到單一圖象上的投影。圖7中間和最低排顯示了來(lái)自于選擇那些特征組各種可能組合的中間圖象。多重變形非常適合于圖象組成的應(yīng)用，

28、這應(yīng)用中基元無(wú)縫地從兩個(gè)或多個(gè)圖象中混合起來(lái)。一個(gè)復(fù)雜的圖象可看作幾個(gè)輸入圖象中被選擇區(qū)域的形狀過渡。這些區(qū)域根據(jù)幾何和顏色無(wú)縫地混合在一起。在將來(lái)的工作中，我們將斷定這技術(shù)能產(chǎn)生高質(zhì)量的合成、且比起傳統(tǒng)的圖象合成技術(shù)費(fèi)力少得多的程度。從這點(diǎn)來(lái)說(shuō)，這技術(shù)在衍生變形方面能達(dá)到圖象扭曲已達(dá)到的交叉分解的一切圖象合成：更豐富和更復(fù)雜等級(jí)的視覺效果，憑直覺達(dá)到，有著最少的用戶交互。5. 應(yīng)用圖象變形傳統(tǒng)上與娛樂業(yè)的視覺效果相聯(lián)系。視覺的強(qiáng)迫平滑轉(zhuǎn)變是由所提供的圖象對(duì)之間的綜合中間圖象創(chuàng)造出。這些結(jié)果的基礎(chǔ)應(yīng)歸功于貫穿圖象序列整個(gè)過程所維持的幾何隊(duì)列。這同樣的結(jié)果應(yīng)用到另外那些圖象插值可從所提供幾何對(duì)應(yīng)

29、關(guān)系得到好處的領(lǐng)域中。其中這樣的一個(gè)應(yīng)用是醫(yī)學(xué)可視化。在醫(yī)學(xué)成像中，CT和MRI的掃描片在一固定薄片間分辯率水平可獲得。雖然中間薄片可由傳統(tǒng)的線性的、立方的或更高度數(shù)的插值函數(shù)計(jì)算得到，但這傳統(tǒng)的方法成像組織的在下結(jié)構(gòu)。通過在掃描片的連續(xù)對(duì)之間建立特征的對(duì)應(yīng)關(guān)系，超細(xì)結(jié)果是有可能獲得的。特征可包括組織過界和生理界標(biāo)。計(jì)算得的變形圖象構(gòu)成了中間圖象，它們符合由用戶提供的幾何對(duì)應(yīng)關(guān)系。Ruprecht和Muller(1994)描述的這一領(lǐng)域的工作。自動(dòng)特征選擇仍然是活躍的研究領(lǐng)域，因?yàn)樘卣鬟x擇過程仍舊是大量用人工的。臉部識(shí)別的最新研究工作也招來(lái)了變形技術(shù)。Bichsel（1996）提出了一種從一幅

30、圖變到另一幅圖時(shí)產(chǎn)生最優(yōu)映射的新方法。通過在一個(gè)Bayesian框架中最大化變形場(chǎng)的幾率，就可計(jì)算出這映射。這方法利用了一種遞歸逼近：在當(dāng)前變形場(chǎng)的附近，幾率分布由高斯幾率分布近似算得。對(duì)這高斯幾率分布，最可能的解法由線性代數(shù)技術(shù)估算而得。這方法已被用于在同一張臉的不同視覺之間和不同人的圖象之間進(jìn)行插值。這技術(shù)在不同的視覺和光照條件下的臉部識(shí)別的應(yīng)用上得到證實(shí)。為自動(dòng)圖象變形恢復(fù)臉部特征的自動(dòng)化技術(shù)已由Cover提出（1996）。這工作已被證明可用于嘴唇的同步活動(dòng)（Bregler et al. 1997）。在一項(xiàng)應(yīng)用中，作者提及視頻再寫，這系統(tǒng)能自動(dòng)合成臉，并有恰當(dāng)?shù)淖齑酵交顒?dòng)。它是一個(gè)由聲控輸入驅(qū)動(dòng)的臉部動(dòng)畫系統(tǒng)，它可用于配音電影、遠(yuǎn)程會(huì)議和特技效果。在臉部分析和合成的相關(guān)工作中，Ezzat和Poggio(1996)利用了一種基于圖象的臉部造型方法。在這方法中他們利用實(shí)例圖象來(lái)造型臉部運(yùn)動(dòng)。他們利用了對(duì)圖象合成的視域插值方法的可行性。在實(shí)例圖象上對(duì)準(zhǔn)了一學(xué)習(xí)網(wǎng)絡(luò)，每一圖象與一個(gè)在表示姿勢(shì)和表情的高水平、多維參數(shù)空間的位置相聯(lián)系。通過估算姿勢(shì)、眼睛、和嘴巴運(yùn)動(dòng)及頭平移、旋轉(zhuǎn)和縮放，作者證實(shí)了他們的通過合成分析的技術(shù)。6 結(jié)論本文已回顧了圖象