視頻增強(qiáng)技術(shù)綜述20講解

視頻增強(qiáng)技術(shù)綜述概述圖像超分辨率(superresoulution,SR)指利用一幅或者多幅低分辨率(lowresoulution,LR)圖像通過(guò)相應(yīng)的算法來(lái)獲得一幅淸晰的高分辨率(highresoulution,HR)圖像?HR意味著圖像具有髙象素密度，可以提供更多的細(xì)肖,這些細(xì)肖往往在應(yīng)用中起到關(guān)鍵作用.要獲得高分辨率圖像，最直接的辦法是采用髙分辨率圖像傳感器，但由于傳感器和光學(xué)器件制造工藝和成本的限制，在很多場(chǎng)合和大規(guī)模部署中很難實(shí)現(xiàn)。低分辨率的圖像包含的細(xì)節(jié)信息較少，但我們可以得到一系列低分辨率的圖像，這些圖像包含的部分細(xì)肖信息各有不同，能夠相互補(bǔ)充。通過(guò)這一系列低分辨的圖像，經(jīng)過(guò)一左的處理，可以得到一幅分辨率較高、包含信息較多的圖像。這個(gè)處理過(guò)程就是超分辨率重建。超分辨率重建的核心思想就是用時(shí)間帶寬(獲取同一場(chǎng)景的多幀圖像序列)換取空間分辨率，實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換。因此，利用現(xiàn)有的設(shè)備，通過(guò)超分辨率技術(shù)獲取髙分辨率圖像具有重要的現(xiàn)實(shí)意義。視頻的超分辨率增強(qiáng)是指融合來(lái)自相同動(dòng)態(tài)場(chǎng)景的多個(gè)低分辨率視頻序列的信息，去重構(gòu)一個(gè)髙時(shí)空分辨率的視頻序列?？上攵?，視頻超分辨率包括時(shí)間超分辨率和空間超分辨率。視頻中某些事件發(fā)生變化比較快，這樣就需要用所謂高速(高幀率)的攝像機(jī)來(lái)采樣，如果使用普通幀率的攝像機(jī)，那么在時(shí)間上就會(huì)有一些細(xì)節(jié)信息的丟失。視頻的時(shí)間超分辨率就是要恢復(fù)這些丟失的時(shí)間上的細(xì)肖信息，而視頻空間超分辨率就是通常人們提到的圖像超分辨率復(fù)原。攝像機(jī)在時(shí)間和空間上的分辨率能力是有限的。空間分辨率取決于攝像機(jī)光學(xué)傳感器的空間密度及其本身引入的模糊誤差，這些因素限制了圖像中被觀(guān)察到的物體或特征的最小空間尺寸；時(shí)間分辨率取決于攝像機(jī)的幀率和曝光時(shí)間，這就限制了視頻序列中能被觀(guān)察到的動(dòng)態(tài)事件的最大變化速度。比攝像機(jī)幀率發(fā)生更快的動(dòng)態(tài)事件在記錄下來(lái)的視頻序列中是不可見(jiàn)或者不正確的，如在網(wǎng)球比賽的視頻中是不可能觀(guān)察到高速運(yùn)動(dòng)的網(wǎng)球的全部運(yùn)動(dòng)和狀態(tài)的。有兩類(lèi)菲常典型的由髙速運(yùn)動(dòng)引起的可視化效果：①運(yùn)動(dòng)模糊，它是攝像機(jī)的曝光時(shí)間引起的，如髙速運(yùn)動(dòng)的網(wǎng)球所帶有的尾跡；②運(yùn)動(dòng)混淆，它是由于幀率限制的時(shí)間采樣引起的，如一個(gè)小球以正弦波形向前運(yùn)動(dòng)，攝像機(jī)的幀率如果與小球正弦運(yùn)動(dòng)周期可比或相等，記錄下的視頻上就將觀(guān)察到小球以很長(zhǎng)的周期正弦運(yùn)動(dòng)或直線(xiàn)運(yùn)動(dòng)，這類(lèi)似于一維信號(hào)的欠采樣。這兩種視頻效果都不能依靠視頻的慢速播放而消除，甚至使用復(fù)雜的時(shí)間插值算法來(lái)增加幀率也收效甚微，這是因?yàn)榘趩蝹€(gè)視頻序列中的信息是不足以恢復(fù)高速動(dòng)態(tài)事件中丟失的信息。多個(gè)視頻序列提供了附加的動(dòng)態(tài)時(shí)空?qǐng)鼍安蓸?，這樣就可融合這些信息去彌補(bǔ)丟失的信息，產(chǎn)生一個(gè)髙時(shí)空分辨率的視頻序列。超分辨率的縱向綜述歷史演變圖像超分辨率的概念和方法最早由Harris和Goodman^于20世紀(jì)60年代提出；隨后有許多人對(duì)其進(jìn)行了研究，并相繼提出了各種方法,如長(zhǎng)橢球波函數(shù)法、線(xiàn)性外推法、疊加正弦模板法。以上這些方法雖然能給出令人印象深刻的仿真結(jié)果，但在實(shí)際應(yīng)用中并沒(méi)有獲得理想的結(jié)果。80年代末之后，人們?cè)诔直媛蕡D像復(fù)原方法研究上取得了突破性的進(jìn)展。Hunt等人不僅在理論上說(shuō)明了超分辨率存在的可能性⑶，而且提出和發(fā)展了許多有實(shí)用價(jià)值的方法，如能量連續(xù)降減法⑷、Bayesian分析法卜上）和凸集投影法〔兒超分辨率圖像增強(qiáng)逐漸成為人們硏究的熱點(diǎn)，人們從多個(gè)角度對(duì)英進(jìn)行了深入的硏究。20世紀(jì)90年代初Irani和Pelcgi"將經(jīng)過(guò)相似性變換和仿射變換的圖像進(jìn)行超分辨率強(qiáng),Mann和Picard問(wèn)又硏究了經(jīng)過(guò)投影變換的圖像，其他的硏究者還硏究了非參數(shù)運(yùn)動(dòng)模型和區(qū)域追蹤1川。在成像建模方而，不同的圖像污染模型被人們使用°Irani和Pclcg的圖像污染模型包括光學(xué)模糊和空間量化誤差，Bascle等⑴I將運(yùn)動(dòng)模糊也包含進(jìn)來(lái)，Cheesenian等I（7）從Vidicon相機(jī)的基準(zhǔn)調(diào)平中建立成像模型。人們?cè)诮y(tǒng)il?先驗(yàn)知識(shí)或調(diào)整規(guī)則的使用上也采取了不同的方法。Cheesenian等使用了基于高斯平滑先驗(yàn)知識(shí)的MAP估計(jì)器來(lái)增強(qiáng)衛(wèi)星遙感圖像:Schultz和Stevenson改進(jìn)了Bayesian方法”通過(guò)在邊緣響應(yīng)上使用帶Huber懲罰函數(shù)的MRF先驗(yàn)知識(shí)來(lái)比較單幅和多幅圖像的增強(qiáng)方法；Capel和Zisserman也比較了ML和MPA估計(jì)器對(duì)視頻馬賽克效果的超分辨率增強(qiáng)〔⑶：Zomet和Pclcg應(yīng)用Irani和Pclcg的誤差反向投影方法來(lái)增強(qiáng)他們使用管逍投影方法獲得的視頻馬賽克效果1同：Rudin等應(yīng)用了重采樣和去模糊方法，在去模糊算法中使用了總變差規(guī)則I⑸。利用序列和多幅圖像進(jìn)行超分辨率圖像的增強(qiáng)也成為人們研究的熱點(diǎn)，因?yàn)樗浞掷昧瞬煌鶊D像之間類(lèi)似而又不同的信息，所以其超分辨率增強(qiáng)能力好于利用單幅圖像進(jìn)行增強(qiáng)所獲得的超分辨率能力。除以上所提到的，還有很多增加圖像空間分辨率的方法被提出，這些方法多是融合子像素替換得到的多個(gè)低分辨率圖像的信息。然而，這些方法通常是假設(shè)靜態(tài)場(chǎng)景，而沒(méi)有關(guān)注在動(dòng)態(tài)場(chǎng)景中有限的時(shí)間分辨率。隨著視頻應(yīng)用需求的發(fā)展，視頻分辨率增強(qiáng)逐漸被人們關(guān)注。視頻區(qū)別于靜態(tài)圖像的最重要的特征，就在于其時(shí)間特性以及時(shí)空聯(lián)合特性。通常視頻攝像機(jī)采集幀率是50Hz?60Hz,電影被錄制和播放在24H乙25Hz或30Hz，而PC的顯示器的圖像刷新頻率在60Hz?120Hz之間。這樣，如果普通廣播電視視頻要在PC顯示器上顯示的話(huà)，必須在時(shí)間上進(jìn)行插值處理。一個(gè)好的運(yùn)動(dòng)補(bǔ)償插值算法能夠沿著運(yùn)動(dòng)軌跡將運(yùn)動(dòng)物體插值到當(dāng)時(shí)正確的位置上，從而獲得髙質(zhì)量的視頻效果?？臻g維和時(shí)間維是非常不同的，但又是相關(guān)的，這導(dǎo)致了視頻在空間和時(shí)間上的折中。時(shí)間分辨率的大幅度提高，通常是以空間分辨率的降低為代價(jià)的，反之亦然。而這在傳統(tǒng)的基于圖像的空間超分辨率應(yīng)用中是不存在的，這也帶來(lái)了一些新的視頻應(yīng)用。比如，靠增加時(shí)間分辨率來(lái)處理一些對(duì)空間分辨率的人為影響（如運(yùn)動(dòng)模糊），融合不同時(shí)空分辨率的輸入序列（如ntsv.PAL以及高質(zhì)量的靜態(tài)圖像）去產(chǎn)生一段高質(zhì)量的視頻序列，等等。所以應(yīng)該考慮一個(gè)統(tǒng)一的框架，融合來(lái)自時(shí)空未對(duì)準(zhǔn)而獲得的動(dòng)態(tài)場(chǎng)景的多個(gè)視頻序列信息，來(lái)增加視頻的時(shí)空分辨率，這將提高動(dòng)態(tài)事件的可視化能力，尤其是髙速動(dòng)態(tài)事件的表示能力。這些已經(jīng)開(kāi)始成為視頻超分辨率的研究熱點(diǎn)。目前狀況近年來(lái)，伴隨著數(shù)字視頻采集設(shè)備的普及，人們對(duì)超分辨率重建技術(shù)的研究不再局限于靜態(tài)圖像，而是向視頻領(lǐng)域發(fā)展，提岀了視頻超分辨率。單個(gè)視頻的超分辨率重建是靜態(tài)圖像序列超分辨率重建的延伸和發(fā)展，其結(jié)合了滑動(dòng)窗口模型和連續(xù)幀間的業(yè)像素級(jí)互補(bǔ)信息I⑹對(duì)每個(gè)視頻幀進(jìn)行超分辨率重建，從而重建出一個(gè)高空間分辨率的視頻。不少研究者已對(duì)單視頻超分辨率展開(kāi)了研究，并取得了不少的成果，包括得到了較好的視頻幀間配準(zhǔn)算法以及各種有效的空間超分辨率重建方法。Borman等提出了一種多幀同步超分辨率視頻重構(gòu)方法，該方法利用了時(shí)空平滑約束，獲得了較好的重建效果。Tom等〔闔提出了一種迭代算法來(lái)增強(qiáng)視頻的分辨率，這種算法的效果依賴(lài)于視頻運(yùn)動(dòng)估計(jì)算法的效果。JIANG/'采用了一種光流場(chǎng)方法來(lái)準(zhǔn)確估計(jì)視頻幀之間圖像信息的運(yùn)動(dòng)變化，同時(shí)提供了一個(gè)穩(wěn)左有效的機(jī)制去檢測(cè)和剔除會(huì)影響超分辨率重建效果的錯(cuò)誤圖像匹配。就單視頻超分辨率重建而言，相鄰幀間亞像素級(jí)的冗余信息是有限的，因此限制了空間分辨率的重建倍數(shù)，同時(shí)單視頻超分辨率重建不能解決因視頻采集幀率低而引起的混疊現(xiàn)象。因此一些研究者開(kāi)始引入多視頻超分辨率重建的思路，并對(duì)由此帶來(lái)的各種復(fù)雜科學(xué)問(wèn)題進(jìn)行研究120.2譏stein等（221人利用2臺(tái)計(jì)算機(jī)時(shí)鐘分別標(biāo)左目標(biāo)質(zhì)心，實(shí)現(xiàn)了多視頻時(shí)間上的配準(zhǔn)，但配準(zhǔn)精度需要進(jìn)一步提高。Sharma等人在已實(shí)現(xiàn)多視頻時(shí)間配準(zhǔn)的前提下，實(shí)現(xiàn)了首幀圖像的配準(zhǔn)和序列內(nèi)幀間圖像的配準(zhǔn)°DanielHazen等同人提出了一種多視頻超分辨率重建方法，該方法可應(yīng)用于多視頻監(jiān)控和多視頻壓縮方面oShechtman.Caspi和Irani125-2?共同提出了基于特征的多視頻時(shí)空配準(zhǔn)算法，將時(shí)空信息作為一個(gè)整體同時(shí)計(jì)算。他們還提出了基于區(qū)域的方法，將髙斯金字塔模型推廣到視頻序列圖像上。目前，國(guó)內(nèi)外對(duì)多視頻的超分辨率重建技術(shù)研究還處于初級(jí)階段，從能夠查閱到的參考文獻(xiàn)來(lái)看，研究者較少。因此，還需要各國(guó)研究者們對(duì)其進(jìn)行不斷的探索。未來(lái)趨向視頻超分辨率重建是近年來(lái)訃算機(jī)視覺(jué)和圖像處理等領(lǐng)域的一個(gè)研究熱點(diǎn)，不僅在理論上具有重要意義，而且在實(shí)際應(yīng)用中也有迫切需求。例如在視頻監(jiān)控方而，銀行、車(chē)站、機(jī)場(chǎng)、居民小區(qū)等都會(huì)設(shè)有多個(gè)監(jiān)控?cái)z像頭，通過(guò)視頻超分辨率技術(shù)，可以提髙視頻質(zhì)量，方便觀(guān)察可疑人物及可疑物品的細(xì)節(jié)信息：在交通管理方而，由于攝像頭觀(guān)測(cè)的場(chǎng)景較大，無(wú)法獲取高速行駛的車(chē)輛及過(guò)往行人的細(xì)節(jié)信息，利用多視頻超分辨率重建技術(shù)，可以對(duì)車(chē)輛違法或舉事過(guò)程進(jìn)行更詳細(xì)的重現(xiàn)，并有利于對(duì)大場(chǎng)景中的車(chē)牌或某個(gè)人物而部進(jìn)行辨識(shí)等：在刑偵工作方而，對(duì)于案發(fā)現(xiàn)場(chǎng)獲得的低分辨率視頻（例如銀行、街道等場(chǎng)合中攝像頭舶攝到的視頻），利用視頻超分辨率技術(shù)，則能提高視頻質(zhì)量，獲得犯罪人員的更多的體態(tài)信息和而部信息，幫助案件的偵破：在體育運(yùn)動(dòng)方而，常常會(huì)有許多高速運(yùn)動(dòng)的物體需要捕捉（例如髙速運(yùn)動(dòng)的網(wǎng)球、乒乓球等），視頻超分辨率重建可以幫助我們更淸晰地觀(guān)察這些動(dòng)態(tài)事件的細(xì)節(jié)。隨著視頻超分辨率相關(guān)理論和技術(shù)的發(fā)展，必將促進(jìn)其在各個(gè)領(lǐng)域的深入應(yīng)用，同時(shí)這又會(huì)進(jìn)一步給研究工作提出更髙的要求。視頻超分辨率增強(qiáng)在近年來(lái)已經(jīng)成為國(guó)際上最為活躍的研究領(lǐng)域之一。隨著多媒體應(yīng)用需求帶來(lái)的進(jìn)一步的視頻應(yīng)用，視頻超分辨率增強(qiáng)技術(shù)將具有十分重要的應(yīng)用價(jià)值和廣闊的應(yīng)用前景超分辨率的橫向發(fā)展總體分類(lèi)對(duì)超分辨率問(wèn)題的求解，通常是構(gòu)造一個(gè)前向關(guān)系模型，低分辨率圖像和高分辨率圖像之間的關(guān)系可以表述為=DBjMkjXj+卩,1vj,kvp, （1）英中，p為圖像序列幀數(shù)，Xj、和〃丿分別為待求的第j幀髙分辨率圖像、第k幀觀(guān)察到的低分辨率圖像和圖像獲取時(shí)的噪聲，矩陣D、和M陽(yáng)分別為下采樣矩陣、模糊矩陣和第丿幀和第k幀之間運(yùn)動(dòng)矢量所構(gòu)成的運(yùn)動(dòng)矩陣。關(guān)于模糊矩陣和運(yùn)動(dòng)矩陣的先后關(guān)系，WANGZZ等指出，如果更換兩者的位苣會(huì)引起系統(tǒng)誤差。設(shè)H=DBM，則式（1）即可簡(jiǎn)化為y—Hx—-n（2）求解式（2）需要確左也就是求解或者確認(rèn)式（1）中的D、B、m和噪聲〃，這包括以下幾個(gè)問(wèn)題：（1）運(yùn)動(dòng)估計(jì)，需要從觀(guān)察到的低分辨率圖像得到精確的運(yùn)動(dòng)矢疑，并使用插值等方法去近似髙分辨率圖像的運(yùn)動(dòng)矢量：（2）圖像模糊的估計(jì)，通常需要對(duì)點(diǎn)擴(kuò)散函數(shù)進(jìn)行計(jì)算或假設(shè)；（3）噪聲估計(jì)，噪聲會(huì)極大地影響系統(tǒng)的求解，對(duì)于噪聲的估計(jì)是非常重要的一步。SR技術(shù)在早期硏究中僅指基于多幅圖像的還原方法，將基于單幅圖像的增強(qiáng)稱(chēng)為插值，而目前多數(shù)文獻(xiàn)中將這2種情況均稱(chēng)為超分辨率。超分辨率技術(shù)自Tsai和Huang提出利用多幀圖像序列來(lái)恢復(fù)髙分辨率圖像以來(lái)，至今已有二十余年，英間大量算法被提出。目前，圖像超分辨率研究可分為3個(gè)主要范疇：基于插值、基于重建和基于學(xué)習(xí)的方法?；诓逯怠Ｔ摲椒ㄊ悄壳俺直媛恃芯恐凶钪庇^(guān)的方法。通過(guò)對(duì)該圖像的多幀進(jìn)行比較估計(jì)，得到它們之間的相對(duì)關(guān)系信息，以此獲得高分辨率圖像在非均勻間距采樣點(diǎn)上的像素值。然后通過(guò)非均勻插值的方法，經(jīng)過(guò)一左的插值，就可以得到一幅高分辨率的圖像。當(dāng)然，這樣得到的圖像會(huì)存在噪音、模糊等問(wèn)題，因此可以通過(guò)圖像恢復(fù)技術(shù)進(jìn)行一泄的修復(fù)?；谥亟?。該方法主要有配準(zhǔn)和重建兩個(gè)關(guān)鍵步驟。在配準(zhǔn)時(shí)，利用多幀低分辨的圖像作為數(shù)據(jù)一致性的約束,這樣可以獲得英他低分辨率的圖像和參考低分辨圖像之間的亞像素精度的相對(duì)運(yùn)動(dòng)。重建時(shí)，可以利用圖像的先驗(yàn)知識(shí)對(duì)目標(biāo)圖像進(jìn)行優(yōu)化。該方法常見(jiàn)的算法有迭代方向投影、最大后驗(yàn)概率、凸集投影等?；趯W(xué)習(xí)。該方法的前提是認(rèn)為低分辨率的圖像完全擁有用于推理預(yù)測(cè)其所對(duì)應(yīng)的高分辨率部分的信息。這樣就可以對(duì)一個(gè)低分辨率圖像集進(jìn)行訓(xùn)練，產(chǎn)生一個(gè)學(xué)習(xí)模型，這個(gè)模型可以計(jì)算出圖像髙頻細(xì)廿信息。目前，常用的學(xué)習(xí)算法有Freeman等人提岀的Example-based方法、Chang等人提出的基于鄰域嵌入的方法等等。各種方法及成果基于插值的超分辨率技術(shù)基于多幀圖像插值技術(shù)的方法是超分辨率研究中最宜觀(guān)的方法。這類(lèi)方法首先估計(jì)各幀圖像之間的相對(duì)運(yùn)動(dòng)信息，獲得HR圖像在非均勻間距采樣點(diǎn)上的象素值，接著通過(guò)非均勻插值得到HR柵格上的象素值，最后采用圖像恢復(fù)技術(shù)來(lái)去除模糊和降低噪聲.典型的方法包括Rajan和Chaudhuri旳通過(guò)分解、插值和融合3個(gè)步驟實(shí)現(xiàn)的通用插值方法：陶洪久等畫(huà)提出的小波域的雙線(xiàn)性插值：Lcrtrattanapanich和Bose刪提出的使用基于光滑性約朿的Delaunay三角化插值算法等.這類(lèi)方法的優(yōu)點(diǎn)是算法快速易行，適合并行計(jì)算，基本可以滿(mǎn)足實(shí)時(shí)要求：但因?yàn)椴荒芤腩~外有用的髙頻信息，因而很難在SR圖像中得到銳化的效果al;同時(shí)，也沒(méi)有考慮到LR圖像的象素值并不是HR圖像的理想采樣值，而是對(duì)HR圖像象素值的空間平均和卷積效應(yīng)這一事實(shí)。為了獲得高質(zhì)量的視頻效果，高級(jí)的運(yùn)動(dòng)補(bǔ)償插值技術(shù)是必要的。目前，很多不同的算法用來(lái)在TV環(huán)境下進(jìn)行視頻格式的轉(zhuǎn)換，而幀重復(fù)是一種常用的提高視頻幀率的方法，被用在PC環(huán)境下的視頻播放。幀重復(fù)沒(méi)有考慮場(chǎng)景的運(yùn)動(dòng)，所以在視頻運(yùn)動(dòng)區(qū)域不可避免地出現(xiàn)短暫停頓以及視覺(jué)模糊現(xiàn)象。一般說(shuō)來(lái)如果輸入輸出視頻幀率相差低于30Hz,幀重復(fù)技術(shù)將導(dǎo)致運(yùn)動(dòng)停頓，而高于30Hz的話(huà)就會(huì)產(chǎn)生運(yùn)動(dòng)模糊。一個(gè)好的運(yùn)動(dòng)補(bǔ)償算法能夠沿著運(yùn)動(dòng)軌跡將運(yùn)動(dòng)物體插值到當(dāng)時(shí)正確的位置上，從而克服了幀重復(fù)技術(shù)遇到的問(wèn)題，增加視頻的時(shí)間分辨率，提高對(duì)高速動(dòng)態(tài)事件的表示能力。超分辨率問(wèn)題可以在時(shí)域和空域上同時(shí)來(lái)做⑶）。Tom等I闔提出了一種迭代算法來(lái)增強(qiáng)視頻圖像的分辨率，這種算法的效果依賴(lài)于視頻的運(yùn)動(dòng)估計(jì)算法的效果。由于視頻圖像超分辨率的效果很大程度上依賴(lài)于連續(xù)幀之間的圖像調(diào)整的修正，ZhongdingJiang（⑼米用了一種光流場(chǎng)方法來(lái)準(zhǔn)確估計(jì)圖像對(duì)之間的運(yùn)動(dòng)變化，同時(shí)提供了一個(gè)穩(wěn)定有效的機(jī)制去檢測(cè)和剔除會(huì)影響超分辨率效果的錯(cuò)誤圖像匹配，通過(guò)對(duì)復(fù)雜動(dòng)態(tài)視頻序列的應(yīng)用，表明該方法的有效性。LertrattanapanichS.厲1通過(guò)汁算一個(gè)投影模型的參數(shù)來(lái)估計(jì)相機(jī)的運(yùn)動(dòng)，進(jìn)一步將相機(jī)運(yùn)動(dòng)考慮到超分辨率算法中來(lái)重構(gòu)髙分辨率圖像。BormanS等（⑺提出了一個(gè)多幀同步超分辨率視頻重構(gòu)方法，該方法利用了時(shí)空平滑約束，并給出了運(yùn)動(dòng)估計(jì)置信參數(shù)，抑制了運(yùn)動(dòng)估計(jì)誤差，獲得了較好的重構(gòu)效果。通過(guò)融合相同動(dòng)態(tài)場(chǎng)景的多個(gè)低分辨率視頻序列信息，ShechtmanE.等⑶】提出了一種重構(gòu)髙時(shí)空分辨率視頻序列的方法,該方法同時(shí)在空域和時(shí)域進(jìn)行，通過(guò)一立的折中獲得了較好的效果?；诓逯颠\(yùn)動(dòng)補(bǔ)償?shù)姆椒ㄡ槍?duì)視頻的時(shí)間超分辨率,通過(guò)運(yùn)動(dòng)補(bǔ)償算法將運(yùn)動(dòng)物體插值到當(dāng)時(shí)正確的位置上，從而彌補(bǔ)視頻米樣設(shè)備米樣幀率的限制，生成高質(zhì)量的視頻。空間維和時(shí)間維是非常不同的，但又是相關(guān)的，這導(dǎo)致了視頻在空間和時(shí)間上的折中。時(shí)間分辨率的大幅度提髙通常以空間分辨率的降低為代價(jià)，反之亦然。基于重建的超分辨率技術(shù)1頻域方法通過(guò)在頻率域消除頻譜而改善圖像的空間分辨率。頻域方法實(shí)際上是在頻域內(nèi)解決圖像內(nèi)插問(wèn)題，其觀(guān)察模型是基于傅里葉變換的移位特性。雖然頻域方法理論簡(jiǎn)單，運(yùn)算復(fù)雜度低,很容易實(shí)現(xiàn)并行處理，具有直觀(guān)的去變形超分辨率機(jī)制，主要方法列舉如下：⑴基于傅里葉變換的移位特性：仃saiandHuang）（2）考慮光學(xué)系統(tǒng)的點(diǎn)擴(kuò)展函數(shù)和噪聲的影響：（Tckalp）(3)估計(jì)幀間整體平移參數(shù)的解算方法：(KaltenbackerandHardie)⑷用遞歸最小二乘對(duì)對(duì)Tsai公式中的混疊矩陣進(jìn)行求解。由于頻率域方法只能應(yīng)用于全局平移和線(xiàn)性空間不變降質(zhì)模型，并且它對(duì)空間域先驗(yàn)的能力不足，缺少靈活性，所以目前這類(lèi)方法已經(jīng)不再是研究的熱點(diǎn)。2空域方法⑴迭代反投影方法(IterativeBackProjection,IBP);Irani和Pelegi〃i提出的迭代反向投影法是超分辨率圖像復(fù)原中具有代表性的一種方法。迭代反投影方法(IBP)首先用輸出圖像的一個(gè)初始估計(jì)作為當(dāng)前結(jié)果，再將英投影到低分辨率觀(guān)測(cè)圖像上以獲得低分辨率模擬圖像。通過(guò)低分辨率模擬圖像與實(shí)際觀(guān)測(cè)圖像的差值不斷更新當(dāng)前估計(jì)IBP通過(guò)觀(guān)測(cè)方程使超分辨率復(fù)原與觀(guān)測(cè)數(shù)拯匹配，但其超分辨率重建結(jié)果不唯一，而且難以引入先驗(yàn)約朿°Irani和Pclcg證明了算法是收斂的。算法簡(jiǎn)單、直觀(guān)。但是沒(méi)有能夠利用到先驗(yàn)知識(shí)，解不穩(wěn)定、不惟一。凸影投影法(ProjectionontoConvexSet.POCS);Stark和Oskoi川珂最早提出的凸集投影方法(POCS河以簡(jiǎn)單而有效地求解超分辨率問(wèn)題，通過(guò)把高分辨率圖像的解空間上與一系列的代表髙分辨率圖像性質(zhì)的約束集(如非負(fù)性、能量有界性、觀(guān)測(cè)數(shù)據(jù)一致性、局部光滑性等)相交，可以得到一個(gè)更小的解空間。從高分辨率圖像空間的一點(diǎn)出發(fā)，不斷利用迭代投影的方法尋找滿(mǎn)足所有約束凸集的下一點(diǎn)，最終獲得高分辨率圖像的估訃?，F(xiàn)在凸集投影方法是一類(lèi)解決超分辨率圖像復(fù)原問(wèn)題的流行算法。為了降低噪聲和減少奇異性解,POCS應(yīng)用約束條件將先驗(yàn)知識(shí)整合到計(jì)算中。超分辨率圖像解空間與一組凸形約束集合相交叉，而這組凸形約朿集合代表了期望的超分辨率圖像的一些特性，如正泄、能量有界、數(shù)據(jù)可靠、平滑等，通過(guò)這些約束集合就可以得到簡(jiǎn)化的解空間。POCS是指一種迭代過(guò)程，在給立超分辨率圖像空間中任意一個(gè)點(diǎn)的前提下，可以立位一個(gè)能滿(mǎn)足所有凸形約朿集合條件的收斂解。凸集投影法的特點(diǎn)是方法簡(jiǎn)單，能夠充分利用先驗(yàn)知識(shí)，可利用任何成像模型方便地加入先驗(yàn)信息，也可以很好地保持髙分辨率圖像上的邊緣和細(xì)節(jié)；但苴缺點(diǎn)是解不唯一，收斂速度慢且穩(wěn)泄性不好，解依賴(lài)于初始估計(jì)，訃算量大。最大后驗(yàn)概率估計(jì)(MaximumaPosteriori,MAP);Schultz和Stevenson?351提出的MAP方法是典型的概率論方法，他們把高分辨率圖像和觀(guān)察得到的低分辨率圖像當(dāng)作兩個(gè)不同的隨機(jī)過(guò)程。最大后驗(yàn)槪率估計(jì)方法將超分辨率圖像視為一個(gè)復(fù)雜最優(yōu)化問(wèn)題的MAP解，使用先驗(yàn)平滑假設(shè)來(lái)減少不連續(xù)測(cè)量的影響。最大后驗(yàn)概率(MAP)的含義就是在已知低分辨率視頻序列的前提下，使出現(xiàn)髙分辨率圖像的后驗(yàn)概率達(dá)到最大。最大后驗(yàn)概率估汁方法的收斂穩(wěn)左性取決于先驗(yàn)概率，先驗(yàn)概率模型應(yīng)該是一個(gè)具有邊緣保持能力的局部平滑的凸函數(shù)。最大似然增強(qiáng)方法可以認(rèn)為是最大后驗(yàn)概率增強(qiáng)方法在等概率先驗(yàn)?zāi)Ｐ拖碌奶乩?。最大后?yàn)概率估計(jì)方法的優(yōu)點(diǎn)是在解中可以直接加入先驗(yàn)約束，適用于非線(xiàn)性和線(xiàn)性成像模型，能確保解的存在和唯一，降噪能力強(qiáng)、收斂穩(wěn)泄性高，可同時(shí)實(shí)現(xiàn)運(yùn)動(dòng)估計(jì)和增強(qiáng)：缺點(diǎn)是收斂慢和運(yùn)算量大。另外，最大后驗(yàn)概率估計(jì)算法的邊緣保持能力不如凸集投影方法，由這類(lèi)方法獲得的髙分辨率圖像的細(xì)肖容易被平滑掉。英他還有基于髙斯先驗(yàn)假設(shè)1呦和動(dòng)態(tài)樹(shù)推理算法卩"等.MAP方法的優(yōu)點(diǎn)在于有惟一解，如果有合理的先驗(yàn)假設(shè)可以獲得非常好的圖像邊緣效果。但是其顯著的缺點(diǎn)就在于計(jì)算量相對(duì)比較大。(4)混合MAP/POCS方法：通過(guò)最小化有特泄集合約束的最大后驗(yàn)概率/最大似然估計(jì)(MAP/ML)的損失函數(shù)，得到高分辨率圖像的估計(jì)就是最大后驗(yàn)概率/最大似然估計(jì)/凸集投影(MAP/N1L/P0CS)混合方法.Schultz和Stevenson低均最早將MAP優(yōu)化與投影約束相結(jié)合。MAP/P0CS綜合法綜合利用了這兩種算法各自的優(yōu)點(diǎn)，在最大后驗(yàn)概率方法的迭代優(yōu)化過(guò)程中加入了一些先驗(yàn)約朿。已有的理論證實(shí)，只有采用梯度下降最優(yōu)化方法才能保證這種MAP/P0CS方法收斂到全局最優(yōu)解?；旌戏椒ńY(jié)合了MAP和P0CS各自的優(yōu)點(diǎn)，充分利用了先驗(yàn)知識(shí)并且收斂的穩(wěn)定性也比較好，是目前為I上基于重建的算法中最好的。這里只是介紹了常用的4種基于重建的超分辨率的方法?；谥亟ǖ姆椒ū容^成熟，主要針對(duì)圖像空間信息的增強(qiáng)和復(fù)原，但是仍存在很多問(wèn)題。為了增強(qiáng)超分辨率算法的魯棒性,人們又提岀了許多改進(jìn)方法。文獻(xiàn)使用運(yùn)動(dòng)分割方法來(lái)處理運(yùn)動(dòng)物體，英依賴(lài)于運(yùn)動(dòng)分割的精確性。一種魯棒的中值估計(jì)器被應(yīng)用到一個(gè)迭代的超分辨率算法中(別，由于它使用待放大的輸入圖像的中值作為初始值，只有背景圖像的分辨率被增強(qiáng)，而不是整個(gè)圖像都被增強(qiáng)。在很多算法中，強(qiáng)加的平滑約束條件削弱了髙頻成分，使結(jié)果變得模糊。當(dāng)場(chǎng)景嚴(yán)格不變時(shí)，如一副二值文本圖像，可使用規(guī)則化調(diào)整算法?？偟膩?lái)說(shuō)，基于重建的方法發(fā)展比較成熟，主要針對(duì)圖像空間信息的增強(qiáng)和復(fù)原，在一些情況下取得了不錯(cuò)的效果。但是還需要進(jìn)一步提髙超分辨率圖像增強(qiáng)的能力,減小計(jì)算量,加快運(yùn)算的收斂速度，適用于不同的圖像和應(yīng)用場(chǎng)合。基于學(xué)習(xí)的超分辨率技術(shù)基于學(xué)習(xí)的概念首次由Freeman提出，基本思想是先學(xué)習(xí)低分辨率圖像與髙分辨率圖像之間的關(guān)系，利用這種關(guān)系來(lái)指導(dǎo)對(duì)圖像進(jìn)行超分辨率。馬爾可夫網(wǎng)絡(luò)建模低分辨率和髙分辨率圖像塊間的關(guān)系，學(xué)習(xí)因降質(zhì)丟失的高頻分量，然后與插值得到的初始估計(jì)相加恢復(fù)岀高分辨率圖像。通過(guò)算法去學(xué)習(xí)識(shí)別指左類(lèi)別，如對(duì)象、場(chǎng)景、圖像，將得到的識(shí)別先驗(yàn)知識(shí)用于超分辨率，通過(guò)對(duì)人臉和文字圖像的實(shí)驗(yàn)，獲得了比傳統(tǒng)使用標(biāo)準(zhǔn)平滑先驗(yàn)知識(shí)的基于重構(gòu)的超分辨率方法更好的結(jié)果，這就是基于學(xué)習(xí)的超分辨率方法?；趯W(xué)習(xí)的超分辨率算法使用一個(gè)圖像訓(xùn)練集來(lái)產(chǎn)生一個(gè)學(xué)習(xí)模型，并運(yùn)用這個(gè)模型創(chuàng)建圖像的髙頻細(xì)節(jié)?；趯W(xué)習(xí)的方法是近年來(lái)超分辨率算法研究的熱點(diǎn)方向。英基本思路是通過(guò)給定的訓(xùn)練圖像集，計(jì)算測(cè)試樣本的patch與訓(xùn)練圖像集patchesZ間的鄰域關(guān)系，并構(gòu)造最優(yōu)權(quán)值約朿，來(lái)獲得先驗(yàn)知識(shí)并逼近測(cè)試樣本的高分辨率圖像。當(dāng)?shù)头直媛蕯?shù)據(jù)提供的信息不滿(mǎn)足高分辨率需求時(shí)，基于學(xué)習(xí)的方法可以獲得更多的圖像髙層信息，因而具有很大優(yōu)勢(shì)，在圖像超分辨率應(yīng)用中可能得到比較理想的結(jié)果，為在大抽取率情況下恢復(fù)必要的高頻信息給出了新的思路。基于學(xué)習(xí)的方法認(rèn)為，低分辨率的圖像已經(jīng)擁有充分的用于推理預(yù)測(cè)英所對(duì)應(yīng)的高分辨率部分(例如邊緣等)的信息，通過(guò)對(duì)一組同時(shí)包括高分辨率圖像和低分辨率圖像的訓(xùn)練集合的訓(xùn)練，學(xué)習(xí)到一個(gè)聯(lián)合的系統(tǒng)模型。這個(gè)模型的表現(xiàn)形式可以是:一組學(xué)習(xí)到的插值核、一個(gè)低分辨率patch的査找表、低分辨率patch與高分辨率patch之間的映射系數(shù)等?；趯W(xué)習(xí)的方法是在基于重建的方法遇到困難的情況下發(fā)展起來(lái)的，雖然起步較晚，但目前看來(lái)，能夠彌補(bǔ)基于重建方法的很多不足。結(jié)合智能技術(shù)的發(fā)展，這種方法應(yīng)該能極大地提髙視頻空間分辨率，是值得進(jìn)一步研究的方向。Example-based方法；Freeman等剛小首次使用Markov網(wǎng)絡(luò)對(duì)圖像的空間關(guān)系進(jìn)行建模，他把圖像分成一些5x5或7x7的小塊，成為patch,通過(guò)學(xué)習(xí)，獲得表示高分辨率patch之間的轉(zhuǎn)移概率矩陣屮和表示髙分辨率patch和低分辨率patch之間的轉(zhuǎn)移概率矩陣①。對(duì)于一個(gè)給泄的測(cè)試圖像y,同樣把它分割成patch之后？對(duì)于每一個(gè)patch在尋找它在Markov網(wǎng)絡(luò)中的位置？同時(shí)獲得它與一些高分辨率patch之間的關(guān)系，再根據(jù)訓(xùn)練得到的轉(zhuǎn)移概率把髙頻分量添進(jìn)去。Example-based方法是較早提出使用學(xué)習(xí)的方法實(shí)現(xiàn)超分辨率，相對(duì)于之前的基于插值和基于重建的方法，這種方法可以獲取豐富的髙頻信息，在放大4倍時(shí)，仍能獲得較髙的圖像質(zhì)量。但缺點(diǎn)也比較明顯，訓(xùn)練樣本的選擇要求比較高，并且對(duì)于圖像中的噪聲極為敏感。領(lǐng)域嵌入方法(neighborembedding):Chang等冋首次提出了基于鄰域嵌入的圖像超分辨率方法”其假泄了髙分辨率和對(duì)應(yīng)的低分辨率圖像塊在特征空間可以形成具有相同局部幾何結(jié)構(gòu)的流形。首先通過(guò)訓(xùn)練得到髙分辨率patch和低分辨率patch的流形，妾著對(duì)于測(cè)試樣本中的每一個(gè)patch,尋找英在低維流形中的k近鄰表示，最后使用這些系數(shù)加權(quán)得到其在髙維流形中patch的估計(jì)，即髙分辨率patch。但是，高低分辨率塊在鄰域嵌入時(shí)并不是總具有鄰域保持，要提髙鄰域保持，有2個(gè)可能的途徑：一個(gè)是選擇更合理的描述圖像塊的特征，以便能更好地保持鄰域關(guān)系，一個(gè)是給左髙分辨率鄰域塊，選擇更好的重建函數(shù)14兒因此，為了改進(jìn)鄰域嵌入方法的不足，張軍平田I提出了基于直方圖匹配的訓(xùn)練樣本選擇算法，基于殘差局部嵌入的方法和基于邊緣檢測(cè)和特征選擇的方法。相對(duì)于Example-based的方法，鄰域嵌入的方法需要較少的訓(xùn)練樣本，并且對(duì)于噪聲的敏感度不是非常強(qiáng)。⑶支持向量回歸方法(SVR);Karl和Nguyen等宙呦在近些年提出了使用支持向量回歸實(shí)現(xiàn)圖像的超分辨率，他們通過(guò)加入一些額外的約束條件把kernel學(xué)習(xí)由半正立規(guī)劃問(wèn)題轉(zhuǎn)化為二次規(guī)劃問(wèn)題求解。對(duì)于測(cè)試數(shù)拯，則先對(duì)圖像patch進(jìn)行內(nèi)容分類(lèi)，再在其所屬的類(lèi)中做支持向量回歸，得到高分辨率patchoSVR方法實(shí)現(xiàn)了對(duì)樣本的自動(dòng)選擇，訓(xùn)練集較小，并且該算法在頻域中同樣適用。但是從實(shí)驗(yàn)結(jié)果來(lái)看，圖像的對(duì)比度有所下降。⑷虛幻臉(HallucinationFace);Baker和Kanadc的最早提出僅對(duì)人臉做超分辨率，也們的復(fù)原算法采用從訓(xùn)練patch數(shù)據(jù)庫(kù)中查詢(xún)與測(cè)試低分辨率patch最相近的作為輸出，并且取得了8倍的放大效果。劉策等I祖刪通過(guò)主成分分析(pea)估計(jì)一個(gè)全局的臉而后采用非參數(shù)的局部模型進(jìn)行擬合。同樣采用特征臉表示的還有文獻(xiàn)|5。-52,。另外，還要一些工作是針對(duì)人臉視頻做超分辨率，其中Dedeoglu等(切的算法在特定的人臉庫(kù)中甚至取得了16倍的放大效果。相對(duì)于其他的超分辨率技術(shù)，虛幻臉由于增加了人臉這個(gè)非常重要的先驗(yàn)條件，使得超分辨率的質(zhì)量大幅提髙，但是如果針對(duì)通用人臉(更多的表情、更多的人種和更廣的年齡分布)，目前的算法就只能獲得4倍左右的放大效果。⑸稀疏表示法(SparsePresentation)；最近，Yang等軻提出了使用圖形patch的稀疏表示來(lái)實(shí)現(xiàn)超分辨率?他們從一些高分辨率圖像中隨機(jī)選取一些patch組成一個(gè)過(guò)完備的詞典(overcompletedictionary),接著對(duì)丁每一個(gè)測(cè)試patch,通過(guò)線(xiàn)性規(guī)劃的方法求得該測(cè)試patch在這個(gè)過(guò)完備的詞典下的稀疏表示，最后以這組系數(shù)加權(quán)重構(gòu)出高分辨率的圖像。這種方法克服了鄰域嵌入方法中對(duì)于鄰域大小的選擇問(wèn)題，即在求解稀疏表示的時(shí)候，無(wú)需指泄重構(gòu)所需要基的個(gè)數(shù)，英表示系數(shù)和基的個(gè)數(shù)將同時(shí)通過(guò)線(xiàn)性規(guī)劃求解得到。然而，目前該方法的缺陷就在于過(guò)完備詞典的選擇，隨機(jī)的選擇只能實(shí)現(xiàn)特定領(lǐng)域的圖像的超分辨率，對(duì)于通用圖像的超分辨率效果較差。比較分析基于插值、基于重建和基于學(xué)習(xí)的三大類(lèi)超分辨率方法各有優(yōu)缺點(diǎn)：基于插值的方法算法簡(jiǎn)單、快速，但容易產(chǎn)生模糊或者鋸齒邊緣，是現(xiàn)今得到最廣泛商業(yè)應(yīng)用的技術(shù)：基于重建的方法可以取得較好的平滑和邊緣效果，但算法較為復(fù)雜，通常情況下需要迭代求解：基于學(xué)習(xí)的方法與前兩者的一個(gè)最大的不同就是它更多的是基于某一個(gè)領(lǐng)域（如上文中提到的虛幻臉），因?yàn)榧由狭四骋活I(lǐng)域的先驗(yàn)信息，它的效果是最好的，一般都可以達(dá)到4倍以上的放大效果，但訓(xùn)練樣本的選擇非常重要，另外可能還需要相當(dāng)長(zhǎng)的一段訓(xùn)練時(shí)間。不足之處和當(dāng)前工作目標(biāo)目前的很多超分辨率增強(qiáng)算法在一立程度上解決了實(shí)際應(yīng)用中存在的問(wèn)題，但這些方法仍然存在著較大缺陷和不足。有些方法，如POCS,IBP,MAP等，雖然其適用范圍較廣,但其大運(yùn)算量嚴(yán)重限制了這些方法的使用，尤其在一些運(yùn)算速度要求較髙的場(chǎng)合;有些方法,如非均勻空間樣本內(nèi)插方法、IBP等，苴結(jié)合先驗(yàn)信息的能力很弱，在改善超分辨率增強(qiáng)效果方而受到了極大限制：還有些方法，如IBP和POCS等，其算法穩(wěn)定性不高，嚴(yán)重依賴(lài)于超分辨率增強(qiáng)的初始估計(jì)，收斂解不唯一。總之，在超分辨率增強(qiáng)算法方而，還需要進(jìn)一步提高超分辨率圖像增強(qiáng)的能力，減小計(jì)算量，加快運(yùn)算的收斂速度，適用于不同的圖像要求。完善現(xiàn)有算法，不斷發(fā)展新的算法。在超分辨率圖像恢復(fù)方法的研究中，還需要進(jìn)一步在應(yīng)用范羽、算法及算法有效性評(píng)價(jià)指標(biāo)3方面開(kāi)展研究。在應(yīng)用范用上將不局限于單色和單張?bào){分辨率圖像的恢復(fù)，還要擴(kuò)展到多通道和彩色圖像、三維立體成像、動(dòng)態(tài)多媒體序列、壓縮圖像、CCD陣列成像和核磁共振成像的超分辨率恢復(fù)與增強(qiáng)。在圖像運(yùn)動(dòng)估計(jì)、圖像模糊估il?和髙分辨率圖像恢復(fù)的算法方而需要進(jìn)一步硏究。在運(yùn)動(dòng)估il?方而，需進(jìn)一步硏究運(yùn)動(dòng)估計(jì)誤差對(duì)超分辨率圖像恢復(fù)效果的影響、圖像模糊對(duì)圖像運(yùn)動(dòng)估計(jì)的影響、利用圖像序列間時(shí)間域上的變化信息提高運(yùn)動(dòng)估計(jì)精度、準(zhǔn)確估il哆目標(biāo)運(yùn)動(dòng)和不連續(xù)運(yùn)動(dòng)以及更有效地同時(shí)估計(jì)圖像運(yùn)動(dòng)和高分辨率圖像等。在模糊估計(jì)方而，需進(jìn)一步研究能模擬位移變化的有參和無(wú)參圖像模糊算法。在高分辨率圖像恢復(fù)方而，需建立能有效處理分片光滑和包含紋理細(xì)節(jié)的圖像模型。此外，需進(jìn)一步將機(jī)器學(xué)習(xí)和模式識(shí)別等研究成果應(yīng)用到超分辨率圖像恢復(fù)中，使其跨出完全盲算,更趨向于智能化。在算法有效性評(píng)價(jià)方面，還需建立統(tǒng)一的算法有效性評(píng)價(jià)方法和標(biāo)準(zhǔn)，以便對(duì)各種超分辨率圖像恢復(fù)算法的性能和實(shí)用范偉|進(jìn)行合理評(píng)價(jià)。超分辨率增強(qiáng)技術(shù)的應(yīng)用十分廣泛，為了獲得髙質(zhì)呈:的高分辨率圖像，滿(mǎn)足不同情況的實(shí)際應(yīng)用要求，目前超分辨率圖像增強(qiáng)的研究和未來(lái)的發(fā)展主要集中在以下三個(gè)方而：(1)精確有效的運(yùn)動(dòng)估汁算法。圖像的運(yùn)動(dòng)變形、模糊和噪聲等降質(zhì)因素具有密切的關(guān)系，在圖像超分辨率增強(qiáng)中，需要對(duì)視頻序列進(jìn)行亞像素精度的運(yùn)動(dòng)估訃。由于運(yùn)動(dòng)估計(jì)只能利用低分辨率序列上的信息，所以很難達(dá)到比較精確的運(yùn)動(dòng)估訃。雖然目前已經(jīng)有許多比較成熟的運(yùn)動(dòng)估計(jì)方法，但在實(shí)際應(yīng)用場(chǎng)合仍然無(wú)法獲得令人滿(mǎn)意的運(yùn)動(dòng)補(bǔ)償效果，同時(shí)這些方法的適用場(chǎng)合非常有限，需要發(fā)展和尋求新的運(yùn)動(dòng)模型，對(duì)運(yùn)動(dòng)進(jìn)行精確估訃。(2)發(fā)展和尋求新的退化成像模型，使成像模型更加精確和全面，實(shí)現(xiàn)對(duì)點(diǎn)擴(kuò)散函數(shù)和噪聲的精確估訃。圖像超分辨率增強(qiáng)的成功依賴(lài)于準(zhǔn)確的、符合實(shí)際成像系統(tǒng)特性和成像條件的降質(zhì)模型，而要獲得符合實(shí)際成像過(guò)程的降質(zhì)模型是十分困難的，通常采用簡(jiǎn)單、確左的降質(zhì)模型進(jìn)行近似，這樣的近似模型與實(shí)際成像過(guò)程差距較大。針對(duì)視頻壓縮格式和編解碼技術(shù)，在超分辨率增強(qiáng)算法中綜合考慮成像模型和壓縮算法帶來(lái)的圖像污染效果，以及運(yùn)動(dòng)補(bǔ)償和編碼傳輸機(jī)制，提高壓縮視頻的超分辨率能力。目前此類(lèi)研究已開(kāi)展起來(lái)。視頻超分辨率增強(qiáng)在近年來(lái)已經(jīng)成為國(guó)際上最為活躍的研究領(lǐng)域之一。隨著多媒體應(yīng)用需求帶來(lái)的進(jìn)一步的視頻應(yīng)用，視頻超分辨率增強(qiáng)技術(shù)將具有十分重要的應(yīng)用價(jià)值和廣闊的應(yīng)用前景參考文獻(xiàn)HarrisJ.Diffractionandresolvingpower.JOSA.1964;54(7):931-3.GoodmanJW.GustafsonSC.ImroducliontoFourieroptics?OpticalEngineering?1996：35(5):I513-.HuntBR.Super-resolutionofimages:Algorithms,principles,performance.InternationalJournalofImagingSystemsandTechnology.1995;6(4):297-304.StarkH.Imagerecovery:theoryandapplication.Orlando,FL,AcademicPress,Inc,1987,562pNoindividualitemsareabstractedinthisvolume.1987;1?GunturkBK、AltunbasakY,McrsereauR?Bayesianresolution-enhancementframeworkfortransform-codedvideo.ImageProcessing,2001Proceedings2001InternationalConferenceon;2001:IEEE;2001.p.41-4?SchultzRR.StevensonRL.Extractionofhigh-resolutionframesfromvideosequences?ImageProcessing,IEEETransactionson.1996;5(6):996-1011?PattiAJ,SezanMI,MuratTekalpA.Superresolutionvideoreconstructionwitharbitrarysamplinglatticesandnonzeroaperturetime.ImageProcessing.IEEETransactionson.1997;6(8):1064-76.IraniM.PclegS.Improvingresolutionbyimageregistration.CVGIP:Graphicalmodelsandimageprocessing.1991;53(3):231-9.IraniM,PelegS.Motionanalysisforimageenhancement:Resolution,occlusion,andtransparency?JournalofVisualCommunicationandImageRepresentation.1993;4(4):1993-12.MannS,PicardRW.Virtualbellows:Constnictinghighqualitystillsfromvideo.ImageProcessing,1994ProceedingsICIP-94.IEEEInternationalConference;1994:IEEE;1994.p.363-7.11?BasclcB.BlakeA,ZisscrmanA.Motiondeblurringandsuper-resolutionfromanimagesequence.ComputerVision—ECCV'96?1996:571-82.CheesemanRKanefskyB.KraftR.StutzJ.HansonR.Super-resolvedsurfacereconstructionfrommultipleimages?NASAAmesResearchCenter,MoffettField,CA.TechRepHA-94-12.1994?CapelD,ZisscrmanA.Automatedmosaicingwithsuper-resolutionzoom?ComputerVisionandPatternRecognition.1998Proceedings1998IEEEComputerSocietyConferenceon;1998:IEEE;1998.p.885-91?ZomctA,PclegS.Applyingsuper-resolutiontopanoramicmosaics.ApplicationsofComputerVision,1998WACV'98Proceedings,FourthIEEEWorkshopon;1998:IEEE;1998.p.286-7.RudinL,GuichardEYuP.Videosuper-resolutionviacontrast-invariantmotionsegmentationandframefusion(withapplicationstoforensicvideoevidence)?ProcIEEEInternationalConferenceonImageProcessing,pagc27PSl;1999;1999.NarayananB,HardieRC.BarnerKE,ShaoM?Acomputationallyefficientsuper-resolutionalgorithmforvideoprocessingusingpartitionfilters?CircuitsandSystemsforVideoTechnology,IEEETransactionson.2007;17(5):621-34.BormanS、StevensonRL.Simultaneousnnilti-framcMAPsuper-resolutionvideoenhancementusingspatio-temporalpriors?ImageProcessing,1999ICIP99Proceedings1999InternationalConferenceon;1999:IEEE;1999.p.469-73.TomBC、KatsaggelosAK.Resolutionenhancementofmonochromeandcolorvideousingmotioncompensation.ImageProcessing,IEEETransactionson.2001;10(2):278-87.Jiang乙WongTT.BaoH?Practicalsuper-resolutionfromdynamicvideosequences?ComputerVisionandPatternRecognition,2003Proceedings2003IEEEComputerSocietyConferenceon;2003:IEEE;2003.p.11-549-11-54vol.2.OmerOA,TanakaT.Region-basedweighted-normapproachtovideosuper-resolutionwithadaptiveregularization.Acoustics,SpeechandSignalProcessing,2009ICASSP2009IEEEInternationalConferenceon;2009:IEEE;2009.p.8336AgrawalA,GuptaM.VeeraraghavanA.NarasimhanSGOptimalcodedsamplingfortemporalsuper-resolution.ComputerVisionandPatternRecognition(CVPR),2010IEEEConferenceon;2010:IEEE;2010.p.599-606?SteinGP.Trackingfrommultipleviewpoints:Self-calibrationofspaceandtime.ComputerVisionandPatternRecognition,1999IEEEComputerSocietyConferenceon;1999:IEEE;1999.ShannaR.PavelM?Registrationofvideosequencesfrommultiplesensors?NASACONFERENCEPUBLICATION;1998:Citeseer;1998.p.361-6.HazenD.PuriR.RamchandranK?Multi-cameravideoresolutionenhancementbyfusionofspatialdisparityandtemporalmotionfields.ComputerVisionSystems,2006ICVS06IEEEInternationalConferenceon;2006:IEEE;2006.p.38.25?CaspiY.IraniM.Spatio-temporalalignmentofsequences.PatternAnalysisandMachineIntelligence,IEEETransactionson.2002;24(11):1409-24?CaspiYIraniMAligningnon-overlappingsequences?InternationalJournalofComputerVision.2002;48(1):39-51.RajanD.ChaudhuriS.Generalizedinterpolationanditsapplicationinsuper-resolutionimaging.ImageandVisionComputing.2001;19(13):957-69?TaoH,TangX,LiuJ,TianJ.Superresolutionremotesensingimageprocessingalgorithmbasedonwavelettransformandinterpolation.ProceedingsofSPIE;2002;2002?p.259-63?LcrtrattanapanichS.BoseN?HighresolutionimageformationfromlowresolutionframesusingDelaunaytriangulation.ImageProcessing,IEEETransactionson.2002:11(12):142741.BishopCM,BlakeA,MarthiB.Super-resolutionenhancementofvideo.ProcArtificialIntelligenceandStatistics;2003:KeyWest,FL,USA;2003.ShechtmanE,CaspiYIraniM?Increasingspace-timeresolutioninvideo.ComputerVision—ECCV2002.2002:753-68.LcrtrattanapanichS,BoseN?Latestresultsonhigh-resolutionreconstructionfromvideosequences.IEICETech.1999:59-65.IraniM,PclegS?Superresolutionfromimagesequences?PatternRecognition,1990Proceedings,10thInternationalConferenceon;1990:IEEE;1990.p.115-20.StarkH,OskouiP.High-rcsolutionimagerecoveryfromimage-planearrays,usingconvexprojections.JOSAA.1989;6(11):1715-26.35?SchultzRR.StevensonRL.Improveddefinitionvideoframeenhancement.Acoustics,Speech,andSignalProcessing,1995ICASSP-95,1995InternationalConferenceon;1995:IEEE;1995.p.2169-72.TippingME,BishopCM.Bayesianimagesuper-resolution.AdvancesinNeuralInformationProcessingSystems.2002:15:1279-86.StorkeyAJ.Dynamicstructuresuper-resolution.AdvancesinNeuralInformationProcessingSystems.2003:1319-26.ErenPE,SezanMLTekalpAM.Robust,object-basedhigh-resolutionimagereconstructionfromlow-resolutionvideo.ImageProcessing,IEEETransactionson.1997;6(10):1446-51?ZomctA,Rav-AchaA,PelegS.Robustsuper-resolution?ComputerVisionandPatternRecognition,2001CVPR2001Proceedingsofthe2001IEEEComputerSocietyConferenceon;2001:IEEE;2001.p.I-645-I-50vol.1.FreemanWT,JonesTR.PasztorEC.Example-basedsuper-resolution.ComputerGraphicsandApplications,IEEE.2002;22(2):56-65.FreemanWT、PasztorEC,CarmichaelOT.Learninglow-levelvision?IMcmationnlJournalofComputerVision.2000;40(1):25-47?ChangH,YeungDYXiongY.Super-resolutionthroughneighborembedding?ComputerVisionandPatternRecognition,2004CVPR2004Proceedingsofthe2004IEEEComputerSocietyConferenceon;2004:IEEE;2004.p.I-275-I-82Vol.1.SuK.TianQ.XueQ,SebeN,MaJ.Neighborhoodissueinsingle-frameimagesupcr-resolution.MultimediaandE