一種基于殘差保持的人臉超分辨率方法

(19)(19)民局(21)(22)(71)申請(qǐng)人大(72)發(fā)明人韓鎮(zhèn)涂沈亞軍(74)專(zhuān)利機(jī)構(gòu)知識(shí)事務(wù)

(10)申請(qǐng)公布號(hào) (43)人G06T5/50G06K9/62權(quán)利要求書(shū)4頁(yè)說(shuō)明書(shū)9頁(yè)附圖1對(duì)應(yīng)位置訓(xùn)練塊集上分別估計(jì)其平滑高頻成分、高頻補(bǔ)償成分。通過(guò)這三種高頻信息的線性組合，AA 權(quán)利要求 1/4的低分辨率人臉樣本圖像庫(kù)Xs；步驟2述的高分辨率人臉樣本圖像庫(kù)Ys的圖像和對(duì)應(yīng)的低分辨率人臉樣本圖像庫(kù)Xs中的圖像進(jìn)行用對(duì)應(yīng)圖像具有交疊部分的圖像YsXs中的每一對(duì)應(yīng)圖像；得到x的塊域{xij}，其中，xijx于位置標(biāo)號(hào)i,j)待估計(jì)塊；步驟4：取Xs在(i,j)位置上的所有圖像塊，做主成分分析，得到低分辨率圖像基E和對(duì)應(yīng)低分辨率平均臉cmeanYsi,j位置上的所有主成得到高分Eh和對(duì)應(yīng)高chmeanE和Ehcmean和chmean對(duì)所述的低分辨率圖像x的在(i,j)位置上的圖像塊xij進(jìn)行高頻信息重xij的平滑高OFijxij{OFij5Xsi,j)位置Ys(i,j位置上的所有圖像塊，求的標(biāo)準(zhǔn)差投影高頻成分{OSij}；Oij=αOFij+βOSij+γORij+ean根據(jù)權(quán)利要求1所述的基于殘差保持的人臉超分辨率方法，其特征在于：步1中所述的獲得經(jīng)過(guò)眼睛和嘴巴位置對(duì)齊的高分辨率人臉樣本圖像庫(kù)Ys其具體實(shí)現(xiàn)包括以下子步驟：根據(jù)權(quán)利要求21.3中所述的利用仿射變換的方法把高分辨率人臉樣本圖像庫(kù)中的所有圖像中的對(duì)應(yīng)特征點(diǎn)數(shù)計(jì)算出平均臉；1.3.2xiyi′是所i個(gè)特征點(diǎn)的坐標(biāo)，xiyi為待對(duì)齊2

權(quán)利要求 2/4根據(jù)權(quán)利要求1所述的基于殘差保持的人臉超分辨率方法，其特征在于：步1中所述的獲得經(jīng)過(guò)眼睛和嘴巴位置對(duì)齊的高分辨率人臉樣本圖像庫(kù)Ys以及與其一一對(duì)應(yīng)的低分辨率人臉樣本圖像庫(kù)XsXs通過(guò)8倍下采樣之后加0.02xijOFijXs有圖像塊形成低分辨率圖像塊集C，C由N個(gè)p×p圖像方塊[c'1,ij,c'2,ij,...,c'N,ij]組成，將c'nij拉成p×p的列向量，即[c 減去cmean之后得到C的殘差矩陣記為則從Xs在(i,j)位置上的所有圖像塊形成低分辨率圖像塊集C可以求得低分辨率圖像基E，如下：特征值其余元素全部為零為矩陣的特征值矩陣；均值ean；xij=E×coeff+cmean3 yij=Eh×coeff+

權(quán)利要求 3/4圖像基中的表達(dá)系數(shù)； coeff=E-1×(x-c yij=Eh×coeff+根據(jù)權(quán)利要求1所述的基于殘差保持的人臉超分辨率方法，其特征在于：步5所述xijOSij5.1Xsi,j位置上的所有圖像塊形成低分辨率圖像塊集CYs(i,j)位置上的所有圖像塊形成低分辨率圖像塊集Cl，xij為p×p圖像圖像位置規(guī)格為p×p的局部先驗(yàn)矩陣φ(i,j)的計(jì)算方式如下：

m,n=1,2,...,pC(m,n)塊中，橫縱坐標(biāo)標(biāo)號(hào)為位置(m,n)的所有圖像的像素值，即是一個(gè)N維向std為標(biāo)準(zhǔn)差運(yùn)算符；OSij=(xij-xijORij初步重建結(jié)果OMij：OMij=αOFij+βOSij+步驟6.2Xs在(i,j)C，設(shè)TR和TM分別每一個(gè)圖像塊OMij即最小化下式：4 權(quán)利要求 4/4mkij為OMijkwk為mkij6.3xijORij：其中，rkij為mkij5一種基于殘差保持的人臉超分辨率方 [0004]人臉超分辨率問(wèn)題是一個(gè)解無(wú)窮的問(wèn)題，因?yàn)橐环唾|(zhì)量圖像可能對(duì)應(yīng)多幅不同2005 包括以下步驟： 一對(duì)應(yīng)的低分辨率人臉樣本圖像庫(kù)Xs；[0010]2Ys的圖像和對(duì)應(yīng)的低分辨率人臉樣本圖像Xs中的圖像進(jìn)行一一分圖像具有交疊部分的圖像塊集來(lái)YsXs中的每一對(duì)應(yīng)圖像；[0011]3x2x分塊，得到所述的低分辨率圖像x的塊域訓(xùn)練xij}，其中，xij表示x處于位置標(biāo)號(hào)為(i,j)的待估計(jì)塊； 到高分辨率圖像基Eh和對(duì)應(yīng)高分辨率平均臉chmean并基于圖像基E和Eh以及cmean和ean，OFijxij{OFij 得{xij}的高頻補(bǔ)償成分{ORij}； Oij=αOFij+βOSij+γORij+ean 像x的高分辨率圖像O。 像庫(kù)Ys其具體實(shí)現(xiàn)包括以下子步驟： 步驟1.1對(duì)高分辨率人臉樣本圖像庫(kù)中的所有圖像框取相同大小的人臉； 注所述的特征點(diǎn)是有語(yǔ)義的位置包括眼角兩個(gè)點(diǎn)鼻尖一個(gè)點(diǎn)嘴角兩個(gè)點(diǎn)； 本個(gè)數(shù)計(jì)算出平均臉；[0025]1.3.2xiyiixiyi為待 式解出仿射變換矩陣M； 步驟1.3.3對(duì)高分辨率人臉樣本圖像庫(kù)的圖像所有坐標(biāo)點(diǎn)與所述的仿射變換矩陣M相乘得到新的圖像坐標(biāo)點(diǎn)由此得到對(duì)齊之后的高分辨率人臉樣本圖像庫(kù)Ys。 作為優(yōu)選步驟1中所述的獲得經(jīng)過(guò)眼睛和嘴巴位置對(duì)齊的高分辨率人臉樣本圖像庫(kù)Ys以及與其一一對(duì)應(yīng)的低分辨率人臉樣本圖像庫(kù)Xs所述的低分辨率人臉樣本圖像庫(kù)Xs通 [0031]2Ys和Xs中的每一對(duì)所述的圖像塊集的某個(gè)塊的位置標(biāo)號(hào)用數(shù)值(l,m)表示l,m)的取值范圍為： [0034]4xijOFij驟：上的所有圖像塊形成低分辨率圖像塊集C，C由N個(gè)p×p圖像方塊[c'1,ij,c'2,ij,...,c'N,ij]組成，將c'nij拉成p×p的列向量，即[c cmeanC減去cmean之后得到C的殘差矩陣記為則從Xs在(i,j)位置上的所有圖像塊形成低分辨率圖像塊集C可以求得低分辨率圖像基E，如下： 應(yīng)的特征值其余元素全部為零為矩陣的特征值矩陣； 本的均值ean； xijyijcoeff，即xijyij xij=E×coeff+cmean yij=Eh×coeff+辨率圖像基中的表達(dá)系數(shù)；coeff=E-1×(x-c yij=Eh×coeff+[0049][0051]5xijOSij；其具體實(shí)現(xiàn)包括以下子步驟：位置上的所有圖像塊形成低分辨率圖像塊集Cl，xij為p×p圖像塊，則該圖像位置規(guī)格為p×p的局部先驗(yàn)矩陣φ(i,j)的計(jì)算方式如下： 其中 m,n=1,2,...,pC(m,n)準(zhǔn)差運(yùn)算符； OSij=(xij- 步驟： 塊的初步重建結(jié)果OMij： OMij=αOFij+βOSij+ [0062]6.2Xs(i,j)CTR和TM分別表示位于(i,j)位置的一一對(duì)應(yīng)的殘差圖像訓(xùn)練庫(kù)圖像塊集和初步結(jié)果訓(xùn)練庫(kù)圖像塊集，其中TR=C-TMTR={r1,r2,...,rN}，設(shè)TM={m1,m2,...,mN其中TM的獲取過(guò)程C一個(gè)圖像塊OMij[0063]通過(guò)查找中間結(jié)果OMij在TM中的K近鄰表達(dá)權(quán)重輸入塊OMij對(duì)應(yīng)的高頻細(xì)節(jié)的表 mkij為OMijkwk為mkij [0073]本發(fā)明提供的基于自適應(yīng)訓(xùn)練庫(kù)的塊域人臉超分辨率方法，在基于流形的框架內(nèi)[0074] 包括以下步驟： 一對(duì)應(yīng)的低分辨率人臉樣本圖像庫(kù)Xs； 下子步驟： 步驟1.1對(duì)高分辨率人臉樣本圖像庫(kù)中的所有圖像框取相同大小的人臉； 注所述的特征點(diǎn)是有語(yǔ)義的位置包括眼角兩個(gè)點(diǎn)鼻尖一個(gè)點(diǎn)嘴角兩個(gè)點(diǎn)；本個(gè)數(shù)計(jì)算出平均臉；[0081]1.3.2xiyiixiyi為待 式解出仿射變換矩陣M； 步驟1.3.3對(duì)高分辨率人臉樣本圖像庫(kù)的圖像所有坐標(biāo)點(diǎn)與所述的仿射變換矩陣M相乘得到新的圖像坐標(biāo)點(diǎn)由此得到對(duì)齊之后的高分辨率人臉樣本圖像庫(kù)Ys； 低分辨率人臉樣本圖像庫(kù)Xs通過(guò)8倍下采樣之后加0.02的噪聲到對(duì)應(yīng)的高分辨率人臉樣本圖像庫(kù)Ys相同的尺寸而獲得。[0086]2Ys的圖像和對(duì)應(yīng)的低分辨率人臉樣本圖像Xs中的圖像進(jìn)行一一分圖像具有交疊部分的圖像塊集來(lái)YsXs中的每一對(duì)應(yīng)圖像；[0087] 請(qǐng)見(jiàn)圖2對(duì)圖像進(jìn)行分塊的主要依據(jù)是局部流形的思想即人臉圖像是一類(lèi)特殊的圖像這些圖像具有特定的結(jié)構(gòu)意義比如在某個(gè)位置上所有的小塊都是眼睛或者某個(gè)位置上都是鼻子也就是說(shuō)圖像中每一個(gè)位置的局部小塊都處于一個(gè)特定的局部幾何流形當(dāng)中。為保證這個(gè)局部流形需要將圖像分為若干正方形的小塊。塊的大小需要有合適尺寸若分塊太大則會(huì)由于微小的對(duì)齊問(wèn)題引起重影現(xiàn)象若分塊太小會(huì)模糊淡化每個(gè)小塊的位置特征。此外還需要選擇交疊塊的尺寸。因?yàn)槿绻?jiǎn)單的將圖像分為不含交疊塊的若干正方形小塊那么這些正方形塊與塊之間會(huì)因?yàn)椴患嫒輪?wèn)題出現(xiàn)網(wǎng)格效應(yīng)。而且人臉圖像并不總是正方形那么交疊塊的尺寸選擇需要注意使得圖像盡可能充分的分塊；[0088] 這里尺寸可以根據(jù)經(jīng)驗(yàn)選取適中的大小本實(shí)施例用p×p的正方形表示圖像塊交疊塊記為d圖像塊集的某個(gè)塊的位置標(biāo)號(hào)用數(shù)值(l,m)表示則(l,m)的取值范圍為：[09] [0091]3x2x分塊，得到所述的低分辨率圖像x的塊域訓(xùn)練xij}，其中，xij表示x處于位置標(biāo)號(hào)為(i,j)的待估計(jì)塊； E對(duì)應(yīng)低分辨率平均臉cmeanYs在(i,j)位置上的所有圖像做主成到高分辨率圖像基Eh和對(duì)應(yīng)高分辨率平均臉chmeanEEh以及cmean和ean，高頻OFij進(jìn)而獲xijOFij所述的xij的平滑高頻成OFij，其具體實(shí)現(xiàn)包括以下子步驟：上的所有圖像塊形成低分辨率圖像塊集C，C由N個(gè)p×p圖像方塊[c'1,ij,c'2,ij,...,c'N,ij]組成，將c'nij拉成p×p的列向量，即[c ,ij]，則C求得p×p的列向量均值cmeanC減去cmean之后得到C的殘差矩陣記為則從Xs在(i,j)位置上的所有圖像塊形成低分辨率圖像塊集C可以求得低分辨率圖像基E，如下： 應(yīng)的特征值其余元素全部為零為矩陣的特征值矩陣； 本的均值ean xijyijcoeff，即xijyij xij=E×coeff+cmean yij=Eh×coeff+ 辨率圖像基中的表達(dá)系數(shù)； coeff=E-1×(x-c yij=Eh×coeff+ [0110]5Xs(i,j)Ys(i,j){xij的標(biāo)準(zhǔn)差投影高頻{OSij獲xij的標(biāo)準(zhǔn)差投影高頻OSij其具體實(shí)現(xiàn)包括以下子步5.1Xsi,j)位置上的所有圖像塊形成低分辨率圖像塊集C，Ys在(i,j)位置上的所有圖像塊形成低分辨率圖像塊集Cl，xij為p×p圖像塊圖像位置規(guī)p×pφ(i,j) 其中 準(zhǔn)差運(yùn)算符； OSij=(xij- 重建結(jié)果OMij：[0117]OMij=αOFij+βOSij+[0119]6.2Xs(i,j)CTR和TM分別表示位于(i,j)位置的一一對(duì)應(yīng)的殘差圖像訓(xùn)練庫(kù)圖像塊集和初步結(jié)果訓(xùn)練庫(kù)圖像塊集，其中TR=C-TMTR={r1,r2,...,rN}，設(shè)TM={m1,m2,...,mN其中TM的獲取過(guò)程C一個(gè)圖像塊OMij[0120]通過(guò)查找中間結(jié)果OMij在TM中的K近鄰表達(dá)權(quán)重輸入塊OMij對(duì)應(yīng)的高頻細(xì)節(jié)的表[0122]mkij為OMijkwk為mkij[0123]6.3xijORij[0124]其中，rkij為mkij對(duì)應(yīng)的殘差塊Oij=αOFij+βOSij+γORij+eanxO