[讀書筆記]Matting論文摘記

1、文1將matting問題轉(zhuǎn)化為一個(gè)最大后驗(yàn)概率問題，即給定當(dāng)前圖像上每個(gè)點(diǎn) 的顏色，前背景及alpha最大可能的取值是什么：maxP(F,B,a|C)作者首先通過貝葉斯公式將其轉(zhuǎn)化為先驗(yàn)概率：arg max P(F,(4)arg max P(C F.氏 a) P(F) P(B) P(a)/ P(C)F.B,aarg inax L(C | F? B, a) + L(F) + L(B + L(a),F.再對(duì)各概率項(xiàng)建模并通過最大似然法分別估計(jì)各個(gè)參數(shù)F, B,a的值L(CF.B,a)|C °F (1 )/代.(5)(6)wWtFi址N命力妙(尺_(dá)戸)(尺_(dá)可(7)ieNLF) = (Ff

2、)/2.(C-B)-(F-B)(10)通過最大似然法估計(jì)出前背景和alpha值Sp1 +/er2/fftIa( 1 a)/療右-FL心1-a)°c+ "I Q)2/JB (9)+C(l-a)/al J3注意，此時(shí)為求L(F)作者采用圓盤采樣的方法，采樣的點(diǎn)數(shù)固定，由近及遠(yuǎn)采 樣。文5基于關(guān)聯(lián)矩陣和隨機(jī)游走的方法進(jìn)行。以前的關(guān)聯(lián)矩陣對(duì)邊界無(wú)效，作者提出使用LPP重定義距離度量，具體來(lái)說ZLx = kZDZTx,Z是3*n的顏色矩陣LvfVj =%WU0if i= Jiif Vi and vj are adjacent nodes, otherwise.確定其解為Q (特征向量

3、的組合)，進(jìn)而確定關(guān)聯(lián)矩陣(習(xí)-弓)TQrQzizj) 切=現(xiàn)( y關(guān)聯(lián)矩陣見文3文2把圖像劃分為已分割區(qū)域Uc和未分割區(qū)域Un,每個(gè)像素包括4個(gè)分類 (F,B,a,u)分別表示前景，背景、alpha、uncertainty ，起始時(shí)對(duì)于未標(biāo)記點(diǎn)alpha =0.5且u = 1。算法每次迭代對(duì)Uc外圍一定寬度(15pxl)的區(qū)域加入U(xiǎn)c并進(jìn)行 處理，算法終止條件為Un為空并且所有點(diǎn)的u不再能更新V7 =:、:匕(tip 1 C%)眶妙Pg申上面這個(gè)方程看著很眼熟，就不具體解釋了，只說p所包括的點(diǎn)是擴(kuò)展區(qū)域及其 與已分割外邊界的并集。作者先將alpha的值離散到25個(gè)區(qū)間，剩下的問題首先是估計(jì)各

4、點(diǎn)屬于各個(gè)離 散值的概率。為此，首先需要確定各個(gè)點(diǎn)的前背景值，確定的方法仍是采樣：= (1 - </(円) &rp(再®fJ) f/2.以當(dāng)前點(diǎn)p為中心，以r=20為半徑采樣樣12個(gè)點(diǎn)，如果不夠，則將進(jìn)行全局采 樣，采樣方法是首先將所有標(biāo)記點(diǎn)用 GMM擬合，再?gòu)木鶆騁MM每一個(gè)component上隨 機(jī)采樣像素點(diǎn)。采樣完成后，計(jì)算各像素點(diǎn)屬于不同alpha值區(qū)間的似然： N Ngp)=麗££誡時(shí)*i=i j=t沖(-必(即W + (1-內(nèi)Z?護(hù)/2血I依此得到數(shù)據(jù)項(xiàng):再有，相鄰alpha的平滑項(xiàng)設(shè)置為:匕«2)= 1 - exp (-(ai

5、 «2)2/)Ne set as empirically to be 0,2 in our system,采用LBP得到alpha值后，如果alpha=1,則u=0;alpha=0,則u=1;此外:F+(p),B*(p)=叫護(hù);卩 © - (1 - or；)"；')2 £ F 9其中Fip是采樣的前景，即在采樣對(duì)中確定前背景點(diǎn)對(duì)的值，uncertainty 更新 為：u*(p) = 1 一 (wf* 譏嘗)寺文3提出了優(yōu)化的采樣方法。首先確定采樣的基本規(guī)則，給定一個(gè)待估計(jì)像素P，其像素值C已知，首先在采樣集中選擇一對(duì)前背景F，B,則可預(yù)估其alp

6、ha值為(C - BJ)II F戲 |F在此基礎(chǔ)上，可得到預(yù)估顏色與實(shí)際顏色的差值(規(guī)范化后)：前背景還有個(gè)權(quán)值為：a(F) = exp - Fl -C |2 /Dp D% 二mindll Fi C |)i, 一心)=呵 - |- C 1|2 /Dj3最后，引入置信度計(jì)算公式：LfS卻)=中一凡(戶剛；叭岬')樣本采用選擇附近及邊界上的點(diǎn)。Matte的最后確定還是借助于MRF實(shí)現(xiàn)并假定alpha是平滑的，因此需定義數(shù)據(jù) 項(xiàng)和平滑項(xiàng)：數(shù)據(jù)項(xiàng)：第一項(xiàng)計(jì)算可信的alpha值，第二項(xiàng)表示如果置信度較低，則對(duì)應(yīng)點(diǎn)在 sample點(diǎn)附近，基于聚類的特點(diǎn)可知該點(diǎn)同 sample點(diǎn)的標(biāo)記IF(幾 F)

7、 =-r Zdt + (1 計(jì)g > 0.5)H B) = 7 T Z(l m A) + (1 - /i)5(di < 0*5)gantna = Q. 1(ij)ewkij = £+ G - »*)(£* + 詁)"© -你)采用random walker求解* £ * H I =if i and j are neighbors, otherwise.RT L最后求解6血=rta注意RT矩陣的最后2項(xiàng)分別為W(i,F),W(i,B)文4的方法很討巧，在用戶標(biāo)記前背景區(qū)域后，計(jì)算概率圖，并計(jì)算概率圖的 梯度圖(相鄰2點(diǎn)之間的

8、概率差)，然后對(duì)于圖像上的其他點(diǎn)計(jì)算其到各標(biāo)記點(diǎn) 的最小梯度距離，計(jì)算公式為：D/(x) := mind(s9 x), I g 兀 B,：=rnin /W(x) Cssl(x)dx. C Js實(shí)際圖像中使用:(4)d(&打 $2)：= niinxy = I P乎2d xt y E當(dāng)用于matting 時(shí)cap (a + e甘(x )(8)其中Pl(x)的normalized的概率，由GM計(jì)算得到。但注意的是此時(shí) GMM是使 用trimap區(qū)域的邊界點(diǎn)重新建立的，得到 alpha后，F(xiàn),B是滿足下面條件的采 樣對(duì)，采樣方法同文，(& Bx) = arg min | FiCtx 十

9、 Bj(l - cxx) - /x|,文 基于局部窗口的線性模型進(jìn)行 matting，首先，由(=5耳+(1 g場(chǎng)、轉(zhuǎn)化為aj a 胡+ b, a= b= -775由局部窗口顏色模型是線性，可推出在局部窗口中 a,b是不變的丿(cxg b)=(CQ a fl/ 一 勺尸 + £ 丐jel fEWj第二部分是為了保證局部alpha值得平滑性，因?yàn)楫?dāng)最小化J時(shí)，理想的情況aj=0則此時(shí)任意小窗口類的alpha值接近常量b,這個(gè)J又可以寫成：丿如上)=弓卜2%此處:where for eveiy window w機(jī) G& is defined as a (|u +1) x 2 ma

10、tiix. Foi each / e 祥*. G* contains a rov of the form Ij. 1. and the last row of G和 is of the formFor agiven matte a we define a$ a in | + 1)x1 vector wliose entries are cq for eveiy i G wg. and whose last entiy is 0. Tlie(日二耳) = argmin Gk=©Gy'G國(guó)即把原始寫成向量模的形式 再由最小二乘法得到：何點(diǎn)）aigniin G帶入j,得到：Subs

11、tituting this solution into (6) and denoting G = I Gf G訂7 G we obtain丿（°0 =工菽1邵矗必“最后得到阿十6/推廣到g =工才巧+4由推理可知，只需局部前背景符合線性模型即可，即:障用+ （1-障）馬and Bi = 鯛 + （1-呼）血1 A Bayesian Approach to Digital Matti ng CVPR012 An Iterative Optimization Approach for Unified Image Segmentation and Matti ng ICCV053 Optimized Color Sampli ng for Ro