基于Harris-SIFT算法和全卷積深度預(yù)測(cè)的顯微鏡成像的三維重建研究

1、基于Harris-SIFT算法和全卷積深度預(yù)測(cè)的顯微鏡成像的三維重建研究近年來(lái)，隨著人工智能和機(jī)器視覺(jué)技術(shù)的快速發(fā)展，基于圖像的三維重建方法越來(lái)越受到關(guān)注，但在面向顯微鏡應(yīng)用領(lǐng)域，其主要應(yīng)用于平面標(biāo)本的觀測(cè)，鮮有針對(duì)立體標(biāo)本成像以及建模的顯微設(shè)備。研發(fā)新一代智能顯微設(shè)備的同時(shí)，開(kāi)發(fā)出面向立體標(biāo)本的三維模型重建和立體標(biāo)本幾何參數(shù)測(cè)量的技術(shù)具有重要意義。作為機(jī)器視覺(jué)的熱門(mén)方向，已有諸多方法和理論用于基于圖像的三維重建，其中，運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)法（Structure from Motion，SfM）1是應(yīng)用最廣泛的經(jīng)典方法之一?；赟fM設(shè)計(jì)出了多種三維建模系統(tǒng)，如Wu開(kāi)發(fā)的開(kāi)源軟件Visual SfM2

2、，Moulon等人開(kāi)發(fā)的開(kāi)源軟件OpenMVG3，Schnberger等人開(kāi)發(fā)的開(kāi)源三維建模系統(tǒng)COLMAP4，5。蔣華強(qiáng)等6針對(duì)現(xiàn)有SfM算法重建模型存在的點(diǎn)云稀疏等問(wèn)題，提出一種利用不同匹配數(shù)據(jù)進(jìn)行模型重建的算法。但由于SfM僅計(jì)算圖像之間成功匹配的特征點(diǎn)的三維信息并將其恢復(fù)為三維坐標(biāo)形成三維點(diǎn)云，而圖像中含有的特征點(diǎn)信息相對(duì)較少7，因此SfM計(jì)算得到的點(diǎn)云模型比較稀疏，重建后的模型精度較低。多視圖立體方法（Multi-View Stereo，MVS）8可以從物體多個(gè)視角圖像計(jì)算得到場(chǎng)景的密集三維點(diǎn)云。PMVS（Patch-based MVS）5以SfM重建的稀疏點(diǎn)云為輸入，利用圖像面鄰域

3、信息迭代，使用點(diǎn)云擴(kuò)張策略進(jìn)行點(diǎn)云擴(kuò)張和過(guò)濾，最后重建出稠密點(diǎn)云。Schnberger等人9以SfM得到的稀疏重建模型和相機(jī)姿態(tài)為輸入，采用深度圖融合的方法來(lái)恢復(fù)出稠密點(diǎn)云?；趯W(xué)習(xí)的MVS方法如Point-MVSNet10，R-MVSNet11，Cascade-MVSNet12等采用深度圖融合的方法恢復(fù)較高精度的場(chǎng)景稠密點(diǎn)云也取得不錯(cuò)的結(jié)果。以上三維重建算法對(duì)拍攝設(shè)備要求較高，適用于對(duì)大場(chǎng)景成像的紋理等細(xì)節(jié)豐富的場(chǎng)景，而在實(shí)體顯微鏡應(yīng)用場(chǎng)景中，由于顯微鏡工作環(huán)境、珠寶等立體標(biāo)本在顯微鏡局部放大觀測(cè)時(shí)存在弱紋理、細(xì)節(jié)不豐富和反光等問(wèn)題，運(yùn)用上述算法得到的三維重建效果并不理想。本文提出了一種適用

4、于顯微鏡應(yīng)用場(chǎng)景下基于特征提取的多視圖立體三維重建算法。以基恩士VHX-6000高級(jí)體視顯微鏡作為實(shí)驗(yàn)平臺(tái)，以集成電路板元器件或珠寶首飾作為實(shí)驗(yàn)對(duì)象，通過(guò)顯微鏡采集物體不同角度的圖像序列（大于10張），對(duì)立體標(biāo)本顯微鏡圖像進(jìn)行三維重建，取得較好效果。2 相關(guān)工作2.1圖像采集與預(yù)處理顯微鏡具有高放大率和窄場(chǎng)的特點(diǎn)，對(duì)立體標(biāo)本的圖像采集往往只能獲得物體較小的局部放大圖像，所采集的顯微圖像包含的紋理信息較少屬于弱紋理圖像。因此，為了增強(qiáng)圖像的細(xì)節(jié)信息和紋理信息以便后續(xù)過(guò)程可以提取到圖像更多的特征信息，使用直方圖均衡化方法增強(qiáng)圖像的細(xì)節(jié)信息以使圖像灰度分布更均勻13，使用一種融合光照和彩色信息的灰度

5、圖像補(bǔ)償算法增強(qiáng)圖像的紋理信息對(duì)圖像進(jìn)行灰度化14。本文的實(shí)驗(yàn)設(shè)備為基恩士VHX-6000高端數(shù)碼顯微系統(tǒng)，如圖1所示。圖1基恩士VHX-6000Fig.1KEYENCE VHX-60002.2改進(jìn)的Harris-SIFT匹配算法特征點(diǎn)提取與匹配是基于圖像三維重建算法的關(guān)鍵一步，特征提取與匹配的精度直接影響重建效果。Harris15角點(diǎn)檢測(cè)算法提取的特征角點(diǎn)比較全面，具有平移和旋轉(zhuǎn)不變性，對(duì)參數(shù)變化、噪聲、圖像對(duì)比度和光照變化等有很好的魯棒性，但對(duì)圖像尺度變化敏感，不具有尺度不變特性。尺度不變特征變換（Scale-invariant Feature Transform， SIFT）16算法對(duì)旋

6、轉(zhuǎn)、尺度、亮度等變化具有不變性，對(duì)視角轉(zhuǎn)換、噪聲、仿射變換有很高的容忍度，但由于算法實(shí)現(xiàn)過(guò)程中需要通過(guò)高斯模糊、降采樣等方式構(gòu)建高斯金字塔，得到的特征點(diǎn)精度不是很高，對(duì)邊緣光滑的目標(biāo)無(wú)法準(zhǔn)確提取特征點(diǎn)，且計(jì)算量大，效率低。本文采用一種將Harris與SIFT算法相結(jié)合的方法17，首先，用Harris進(jìn)行圖像中的特征角點(diǎn)提取，使用特征角點(diǎn)包含的信息熵值對(duì)特征角點(diǎn)進(jìn)一步篩選；其次，使用馬氏距離度量特征點(diǎn)之間的相似性；再次，用隨機(jī)抽樣一致性（RANSAC）方法對(duì)匹配模型進(jìn)行優(yōu)化，篩選匹配點(diǎn)對(duì)，提高匹配的正確率；最后使用顯微鏡采集的顯微圖像進(jìn)行對(duì)比實(shí)驗(yàn)，驗(yàn)證本算法的匹配準(zhǔn)確率。2.2.1Harris角

7、點(diǎn)檢測(cè)Harrs角點(diǎn)檢測(cè)算法是利用移動(dòng)的局部窗口在圖像中計(jì)算灰度變化值，若在任意方向上移動(dòng)都存在較大的灰度變化就認(rèn)為該窗口中存在角點(diǎn)。通過(guò)設(shè)置合理的閾值來(lái)決定檢測(cè)到的角點(diǎn)數(shù)。Harris角點(diǎn)檢測(cè)變化如圖2所示。圖2Harris角點(diǎn)檢測(cè)變化Fig.2Change of Harris corner detection窗口由像素點(diǎn)(x,y)移動(dòng)(u,v)產(chǎn)生的灰度變化E可以表示為：E(x,y)=x,yW(x,y)I(x+u,y+v)I(x,y)2（1）其中：I是圖像灰度函數(shù)，W是窗口函數(shù)，將式（1）用泰勒級(jí)數(shù)化簡(jiǎn)可得：E=u,vMu,vT（2）其中：M=W(x,y)I2xIxIyIxIyI2y，為自

8、相關(guān)矩陣；Ix，Iy分別為像素點(diǎn)在x方向和y方向上的梯度值。為了在顯微圖像中可能存在的弱紋理區(qū)域檢測(cè)到盡可能多的特征點(diǎn)，對(duì)圖像逐像素點(diǎn)計(jì)算灰度變化。使自相關(guān)矩陣M的權(quán)重x,yW(x,y)=1，則有M=I2xIxIyIxIyI2y=H(x,y)，表示圖像每個(gè)像素點(diǎn)在x，y方向的二階偏導(dǎo)數(shù)和x、y方向的導(dǎo)數(shù)的Hessian矩陣。從圖像中提取到的角點(diǎn)可表示為：R(x,y)=detH(x,y)trH(x,y)2（3）其中：R(x,y)為角點(diǎn)響應(yīng)函數(shù)；det(H)為矩陣H的行列式；tr(H)為矩陣H的跡；為常數(shù)（取值范圍0.040.06），在本文實(shí)驗(yàn)中函數(shù)R的局部極大值點(diǎn)即為特征角點(diǎn)，此時(shí)取=0.04。

9、通過(guò)式（3）初步檢測(cè)出圖像特征點(diǎn)。但由于采用逐一計(jì)算每一個(gè)像素點(diǎn)的局部窗口內(nèi)灰度變化，因此檢測(cè)結(jié)果僅反映圖像局部變化情況，并會(huì)將背景中噪聲點(diǎn)或紋理不清晰的像素點(diǎn)判斷為特征點(diǎn)。熵值18的大小與局部區(qū)域包含的信息量成正比，背景中噪聲點(diǎn)或紋理不清晰的像素點(diǎn)包含信息量較少導(dǎo)致計(jì)算出的熵值低，熵值大的特征點(diǎn)比熵值小的特征點(diǎn)匹配的準(zhǔn)確率高。用以下兩式進(jìn)行熵計(jì)算：p=ijf(i,j)/N2（4）Hf=i=1nj=1npij(1p)ij（5）其中：pij為圖像某像素處的灰度值與周?chē)袼氐幕叶确植嫉木C合特征，N為圖像尺度，Hf為圖像二維熵，n,i,j為像素灰度值。分別對(duì)圖像中初步檢測(cè)出的特征角點(diǎn)利用式（5）在以

10、特征角點(diǎn)為中心的nn鄰域內(nèi)計(jì)算圖像塊的局部熵，統(tǒng)計(jì)每幅圖像中特征點(diǎn)熵的均值，取熵均值的80%作為閾值，刪除低于閾值的特征點(diǎn)，對(duì)特征點(diǎn)進(jìn)行提純。對(duì)于圖像弱紋理區(qū)域統(tǒng)計(jì)的熵均值較低，可以刪除較少的點(diǎn)進(jìn)而在弱紋理區(qū)域保留較多的特征點(diǎn)，從而提高算法在弱紋理區(qū)域匹配的正確率，同時(shí)提高算法的效率。2.2.2生成SIFT特征描述子Harris算法提取到特征角點(diǎn)，還需要采用SIFT算法來(lái)描述并建立特征向量。SIFT通過(guò)利用特征角點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性。m(x,y)=(L(x+1,y)L(x1,y)2+(L(x,y+1)L(x,y1)2（6）(x,y)=arc

11、tanL(x,y+1)L(x,y1)L(x+1,y)L(x1,y)（7）其中：m(x,y)為(x,y)處梯度的幅度，(x,y)為(x,y)處的梯度方向，L(x,y)為所有關(guān)鍵點(diǎn)的尺度。在特征點(diǎn)周?chē)鷑n鄰域內(nèi)以尺度大小建立一個(gè)大采樣區(qū)域，用式（6）、（7）計(jì)算窗口內(nèi)像素點(diǎn)的梯度方向和大小，然后在該鄰域內(nèi)構(gòu)建一個(gè)小采樣區(qū)域，并用梯度直方圖統(tǒng)計(jì)該小采樣區(qū)域中每個(gè)“格子”內(nèi)像素的梯度方向和大小，形成種子點(diǎn)，從而構(gòu)建出特征描述子。在本文實(shí)驗(yàn)中，SIFT首先將采樣區(qū)域旋轉(zhuǎn)至特征點(diǎn)方向上，然后在其周?chē)?616的鄰域內(nèi)計(jì)算梯度方向和大小。然后在每個(gè)44的采樣窗口中計(jì)算8個(gè)方向的梯度直方圖，繪制每個(gè)方向的累加值

12、，即可形成一個(gè)種子點(diǎn)。如圖3所示，每個(gè)特征角點(diǎn)有44個(gè)種子點(diǎn)，每個(gè)種子點(diǎn)有8個(gè)方向，即每個(gè)特征角點(diǎn)由448=128維的描述子組成。圖3SIFT描述特征點(diǎn)Fig.3SIFT description of feature points2.2.3特征匹配為了提高對(duì)顯微弱紋理圖像的匹配精度，用馬氏距離19替代原始SIFT算法中的歐氏距離作為兩幅圖像中特征角點(diǎn)之間的的相似性判定度量。歐式距離將特征點(diǎn)的不同屬性之間的差別等同看待，有時(shí)不能滿足實(shí)際要求。馬氏距離與歐式距離的不同之處在于：它考慮到特征點(diǎn)各種特性之間的聯(lián)系；并且能對(duì)兩個(gè)樣本集的相似性進(jìn)行有效度量，不受尺度變化及變量之間相關(guān)性的影響；它還可以排除

13、變量之間的相關(guān)性的干擾。馬氏距離可以表示為：S=EXE(X)YE(Y)（8）DM(X,Y)=(XY)TS1(XY)（9）其中：X，Y為兩個(gè)特征向量，S為兩組特征向量的協(xié)方差矩陣，E為均值。從式（9）中可以發(fā)現(xiàn)，馬氏距離計(jì)算是建立在總體樣本的基礎(chǔ)上，即計(jì)算的是兩個(gè)向量間的整體距離。相比歐式距離，馬氏距離多了一個(gè)協(xié)方差矩陣的逆矩陣，能更準(zhǔn)確的度量特征點(diǎn)之間的相似性。雖然增加了計(jì)算量，但馬氏距離把方差歸一化，使得特征之間的相似關(guān)系更加合理，匹配精度更高。為進(jìn)一步提高算法在弱紋理顯微圖像上的匹配準(zhǔn)確率，需要剔除掉誤匹配點(diǎn)，因此采用隨機(jī)抽樣一致性（RANSAC）20算法替代原SIFT算法中的比例閾值法，

14、選擇一組局域熵值高的特征點(diǎn)作為初始模型，用初始模型去測(cè)試所有的其它數(shù)據(jù)，如果某個(gè)點(diǎn)適用于估計(jì)的模型則認(rèn)為它也是局內(nèi)點(diǎn)，否則是局外點(diǎn)；然后，用所有假設(shè)的局內(nèi)點(diǎn)去重新估計(jì)模型。算法通過(guò)K次迭代，可精確估計(jì)匹配模型參數(shù)。2.3實(shí)體顯微鏡場(chǎng)景下物體的三維重建2.3.1稀疏點(diǎn)云重建利用基恩士VHX-6000可變倍鏡頭可將智能顯微鏡鏡頭調(diào)整到一個(gè)固定的角度，然后上下、前后、左右等多方向移動(dòng)載物臺(tái)，從不同視角拍攝立體樣本獲得圖像序列。本文采用如文獻(xiàn)4中的增量SfM方法重建物體的三維結(jié)構(gòu)。增量SfM是具有迭代重建組件的順序處理方法。首先，用本文算法對(duì)圖像進(jìn)行特征點(diǎn)提取與匹配，采用包含正確匹配特征點(diǎn)對(duì)最多的兩視

15、圖作為重建種子，通過(guò)它們之間的匹配點(diǎn)對(duì)估計(jì)出本征矩陣，由本征矩陣采用SVD分解法計(jì)算出相機(jī)位姿。然后，依次將下一最佳匹配圖像Inext（匹配點(diǎn)對(duì)數(shù)量最多）添加進(jìn)模型迭代，重復(fù)估計(jì)相機(jī)位姿并對(duì)相機(jī)進(jìn)行標(biāo)定；同時(shí)將場(chǎng)景中匹配的點(diǎn)通過(guò)三角化來(lái)生成三維點(diǎn)，并計(jì)算出相機(jī)的運(yùn)動(dòng)軌跡和場(chǎng)景中物體的三維信息。最后，對(duì)所有已生成的三維點(diǎn)和已估計(jì)出的相機(jī)位姿使用光束平差法（Bundle Adjustment，BA）進(jìn)行優(yōu)化。BA結(jié)束，得到相機(jī)估計(jì)參數(shù)和場(chǎng)景幾何信息，即稀疏的3D點(diǎn)云。2.3.1.1有序圖像輸入由于增量SfM需要對(duì)所有圖像依次進(jìn)行匹配，用無(wú)序圖像進(jìn)行模型重建時(shí)由于圖像的無(wú)序?qū)е聢D像位姿的先驗(yàn)條件未知

16、，在匹配環(huán)節(jié)存在多張圖片之間的交叉匹配和多次交叉驗(yàn)證匹配點(diǎn)，所以計(jì)算量大，實(shí)時(shí)性差。為提高圖像的匹配效率，采用有序圖像序列作為輸入。通常相鄰拍攝的兩張圖像所包含的共同特征信息最多，也更加容易正確匹配。在采集圖像時(shí)根據(jù)顯微鏡載物臺(tái)移動(dòng)的軌跡以及圖像拍攝時(shí)間對(duì)所采集的物體不同視角圖像添加標(biāo)簽，將圖像根據(jù)載物臺(tái)運(yùn)行軌跡和時(shí)間的先后排列成一組順序固定的圖像序列（類似視頻中的幀）。顯微鏡載物臺(tái)工作距離較小，拍攝的相鄰圖片中兩兩之間物體信息的重合很多，包含的特征點(diǎn)信息最多；在特征匹配時(shí)使相鄰的圖片先進(jìn)行特征匹配。在SfM算法選好初始的兩張匹配圖象時(shí)默認(rèn)把與這兩張圖像相鄰的圖像作為下一最佳匹配圖像Inext

17、進(jìn)行重建，依次將與上一張圖像鄰近的圖像作為下一最佳輸入進(jìn)行迭代，這樣所有圖像只需添加匹配一次即可完成所有圖像的重建。2.3.1.2三角化SfM在圖像正確匹配和估計(jì)得到相機(jī)參數(shù)之后，就可以將圖像場(chǎng)景之間正確匹配的特征點(diǎn)通過(guò)三角化方法恢復(fù)為空間三維點(diǎn)，進(jìn)而得到三維點(diǎn)云。三角化的方法如圖4所示。圖4三角化Fig.4Triangulation在圖4中，I1，I2為兩幅圖像，P1，P2分別為兩幅圖像上匹配的特征點(diǎn)；O1，O2分別為兩幅圖像拍攝視角時(shí)的相機(jī)中心，將每幅圖像的相機(jī)中心與其特征點(diǎn)的連線延長(zhǎng)在空間中交于點(diǎn)P，則P點(diǎn)為圖像上的點(diǎn)所恢復(fù)的世界坐標(biāo)系下的三維點(diǎn)。得到三維點(diǎn)之后通過(guò)BA調(diào)整，過(guò)濾離群值，

18、估計(jì)得到物體的三維點(diǎn)云。2.3.2稠密點(diǎn)云重建SfM重建得到的點(diǎn)云模型為稀疏點(diǎn)云，只有大致的模型結(jié)構(gòu)，缺少了很多細(xì)節(jié)部分，所以還需要將稀疏點(diǎn)云進(jìn)行稠密化。多視圖立體（MVS）是一種將SfM輸出的稀疏點(diǎn)云稠密化的方法，MVS重建利用SfM算法輸出的稀疏點(diǎn)云、相機(jī)參數(shù)及相機(jī)位姿，然后融合圖像的深度圖獲得物體的稠密三維點(diǎn)云。但對(duì)于顯微鏡工作場(chǎng)景下拍攝的物體局部存在弱紋理的圖像，由于表面灰度信息有限，傳統(tǒng)MVS方法圖像深度信息估計(jì)誤差較大。因此，針對(duì)上述在顯微鏡應(yīng)用場(chǎng)景中的物體稠密重建問(wèn)題，利用CNN網(wǎng)絡(luò)與MVS結(jié)合的方法來(lái)估計(jì)和預(yù)測(cè)采集的顯微圖像的深度圖，進(jìn)而使用深度圖進(jìn)行稠密重建。為保證模型收斂，

19、本文采用文獻(xiàn)21提出的基于深度殘差網(wǎng)絡(luò)（ResNet-50）22-23的全卷積神經(jīng)網(wǎng)絡(luò)對(duì)采集的顯微圖像序列進(jìn)行深度估計(jì)和預(yù)測(cè)。在ResNet-50的基礎(chǔ)上設(shè)置了反卷積層和上采樣層逐步增加每層的輸出大小，并在反卷積層輸出后增加了激活函數(shù)（ReLu）24，對(duì)輸入圖像進(jìn)行同樣比例大小的深度預(yù)測(cè)。通過(guò)比較全卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的深度與MVS所得深度的絕對(duì)差值并設(shè)置閾值，將大于閾值的預(yù)測(cè)深度融合到MVS估計(jì)的深度圖中得到改善的深度圖，然后利用SfM得到的稀疏點(diǎn)云和相機(jī)的位姿信息與改善后的深度圖恢復(fù)出物體的稠密點(diǎn)云。用于預(yù)測(cè)圖像深度的全卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。為了增加系統(tǒng)的實(shí)時(shí)性并減少計(jì)算時(shí)內(nèi)存的占用量，去掉

20、了原ResNet-50中的平均池化層和全連接層部分，僅保留ResNet-50 的卷積層結(jié)構(gòu)來(lái)提取圖像中的特征信息，從而可以輸出尺寸為77，2 048通道的特征圖，減少了計(jì)算參數(shù)，加速模型的訓(xùn)練，提高預(yù)測(cè)效率。圖5深度預(yù)測(cè)網(wǎng)絡(luò)結(jié)構(gòu)Fig.5Depth prediction network structure本文的研究旨在恢復(fù)顯微鏡應(yīng)用場(chǎng)景中所拍攝物體的近似真實(shí)的三維結(jié)構(gòu)。重建物體近似真實(shí)的三維結(jié)構(gòu)是以正確估計(jì)圖像深度為前提的。所以，為了盡可能正確地預(yù)測(cè)圖像的深度信息，約束預(yù)測(cè)的圖像深度值和真實(shí)值之間的誤差。結(jié)合文獻(xiàn)21采用平均平方誤差作為損失函數(shù)，損失函數(shù)L定義為：L(y)=i=1mj=1n(1

21、yijtij+)2mn（10）其中：在圖像(i,j)處預(yù)測(cè)的深度值為yij，在圖像(i,j)處真實(shí)深度值為tij，圖像包含的像素點(diǎn)數(shù)為mn，為常數(shù)。L將預(yù)測(cè)深度圖像素點(diǎn)的預(yù)測(cè)值和真實(shí)值之間的平均誤差定義為損失，該損失函數(shù)對(duì)預(yù)測(cè)的深度值y懲罰較嚴(yán)格，可以很好地減少顯微鏡載物臺(tái)背景區(qū)域帶來(lái)的深度誤差影響，進(jìn)一步約束了前景物體的深度誤差。3 實(shí)驗(yàn)結(jié)果與分析本文的實(shí)驗(yàn)平臺(tái)為基恩士VHX-6000高性能實(shí)體顯微鏡系統(tǒng)，以電子電路板上元件為實(shí)體標(biāo)本采集的立體標(biāo)本圖像序列來(lái)驗(yàn)證本算法的可行性。實(shí)驗(yàn)PC平臺(tái)配置為：系統(tǒng)為Ubuntu20.04.3LTS，CPU為英特爾Xeon E5-1630 V3，主頻為3.

22、70 GHz，內(nèi)存為16 G，顯卡為英偉達(dá)Quadro K2200，顯存為4 G，硬盤(pán)為2 T固態(tài)硬盤(pán)。如圖1所示的基恩士VHX-6000智能顯微鏡可以通過(guò)人為轉(zhuǎn)動(dòng)手柄靈活調(diào)整顯微鏡物鏡的觀測(cè)角度，以物鏡垂直載物臺(tái)為原點(diǎn)可以任意左右傾斜090，并通過(guò)上下、旋轉(zhuǎn)以及水平任意角度移動(dòng)載物臺(tái)實(shí)現(xiàn)對(duì)立體標(biāo)本的多視角觀測(cè)。在本文實(shí)驗(yàn)中將顯微鏡物鏡向左調(diào)整傾斜60，放大倍數(shù)設(shè)置為20倍，然后移動(dòng)載物臺(tái)采集了36張電路板上的電容的多視角圖像序列。對(duì)圖像根據(jù)載物臺(tái)移動(dòng)軌跡和采集時(shí)間進(jìn)行排序，使其成為有序圖像序列。采集的圖像如圖6所示。圖6電容的多視角圖像Fig.6Multi-view image of cap

23、acitance隨機(jī)從拍攝的36張圖像中選取2張圖像進(jìn)行圖像匹配實(shí)驗(yàn)，選取的圖片如圖7所示。將選取的2張圖像經(jīng)過(guò)本文的圖像灰度化補(bǔ)償算法進(jìn)行預(yù)處理，然后與Harris和SIFT匹配算法經(jīng)行實(shí)驗(yàn)比較，實(shí)驗(yàn)數(shù)據(jù)如表1所示，三種匹配算法的實(shí)驗(yàn)結(jié)果圖如圖8所示。圖7選取的待匹配圖像Fig.7Selected image to be matched表1不同匹配算法實(shí)驗(yàn)數(shù)據(jù)Tab.1Experimental data of different matching algorithmsMatching algorithmImg_L feature_pointImg_R feature_pointMatchin

24、g_pointMatching_accuracyTime/sHarris1 4031 3721 05780.61%6.02SIFT1 7861 63172391.53%11.64Ours85092739294.82%4.61圖8三種匹配算法實(shí)驗(yàn)結(jié)果Fig.8Experimental results of three matching algorithms可以發(fā)現(xiàn)，盡管其他算法能提取出較多的特征點(diǎn)，但本文算法在針對(duì)顯微圖像中弱紋理區(qū)域的匹配上具有明顯優(yōu)勢(shì)。如圖8所示，本文算法在對(duì)電容壁和電容頂部弱紋理區(qū)域的特征點(diǎn)匹配中的誤匹配較少，而其他算法存在明顯的誤匹配現(xiàn)象。如表1，本算法也具有更好的性能指

25、標(biāo)，原因是本文算法在用Harris提取出特征角點(diǎn)之后又利用熵值法對(duì)特征點(diǎn)進(jìn)一步篩選，減少了后續(xù)特征點(diǎn)匹配過(guò)程的計(jì)算量，減少了運(yùn)算時(shí)間；篩選出的包含豐富圖像特征信息的點(diǎn)，以及在匹配環(huán)節(jié)采用馬氏距離代替歐氏距離，可更好地計(jì)算弱紋理區(qū)域特征點(diǎn)之間的相似性，提高了匹配的準(zhǔn)確率。匹配準(zhǔn)確率相比SIFT算法提高了3.29%，時(shí)間比Harris算法減少了23.42%。本文在稀疏重建環(huán)節(jié)改進(jìn)了特征提取與匹配，將使用無(wú)序圖像進(jìn)行增量SfM重建改為使用有序圖像重建。對(duì)圖6所示的36張圖像進(jìn)行稀疏重建并與SfM算法和OpenMVG算法進(jìn)行實(shí)驗(yàn)比較，實(shí)驗(yàn)結(jié)果如圖9所示，實(shí)驗(yàn)數(shù)據(jù)如表2所示。圖9稀疏點(diǎn)云重建Fig.9S

26、parse point cloud reconstruction表2SfM稀疏重建實(shí)驗(yàn)數(shù)據(jù)Tab.2Experimental data of SfM sparse reconstructionAlgorithmNum_image_matchesTime/minNum_point_cloudOpenMVG3 10710.83913 257SFM3 05711.14614 088Ours4 2819.72416 440可以看到改進(jìn)后的SfM重建結(jié)果具有更好的結(jié)構(gòu)完整性，本文算法在電容壁處的弱紋理區(qū)域重建后的點(diǎn)云比較密集，本文算法相比SfM算法整體點(diǎn)云數(shù)量增加16.69%，相比OpenMVG算法重建

27、時(shí)間節(jié)省了10.29%。在使用本文深度預(yù)測(cè)網(wǎng)絡(luò)模型進(jìn)行深度預(yù)測(cè)前先對(duì)模型進(jìn)行訓(xùn)練。本文使用基恩士-VHX6000超景深顯微鏡拍攝的寶石、電子元器件等不同顏色、形狀、材質(zhì)的立體標(biāo)本的多視角顯微圖像構(gòu)建的本地圖像數(shù)據(jù)集，隨機(jī)從中取出部分圖像構(gòu)成訓(xùn)練集和驗(yàn)證集，對(duì)深度預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練?；魇?VHX6000超景深顯微鏡具有3D測(cè)量功能可以同步掃描立體標(biāo)本的深度信息生成深度圖，即在拍攝立體標(biāo)本多視角圖像時(shí)可以同步掃描同一視角的深度圖作為模型訓(xùn)練的輸入圖像，圖像對(duì)應(yīng)的深度圖作為訓(xùn)練標(biāo)簽。模型的前半部分即卷積層部分使用ResNet50在公開(kāi)數(shù)據(jù)集ImageNet25上預(yù)訓(xùn)練好的權(quán)重參數(shù)作為初始化參數(shù)，

28、模型訓(xùn)練時(shí)用AdaDelta優(yōu)化訓(xùn)練效率26，通過(guò)批處理的隨機(jī)梯度下降法優(yōu)化網(wǎng)絡(luò)參數(shù)，本文訓(xùn)練中batch size設(shè)置為4，迭代過(guò)程中采用了“早?！睓C(jī)制，即在迭代過(guò)程中觀察每次迭代輸出預(yù)測(cè)值與真實(shí)值的誤差，當(dāng)在驗(yàn)證集上預(yù)測(cè)值與真實(shí)值的誤差不再明顯變化時(shí)停止訓(xùn)練，此時(shí)損失函數(shù)L在0.217附近小幅波動(dòng)、沒(méi)有明顯變化，說(shuō)明模型收斂，完成本文模型的訓(xùn)練。圖10展示了部分預(yù)測(cè)結(jié)果，從預(yù)測(cè)的深度圖可以看出立體標(biāo)本“電容器”的具體形狀，深度變化均勻，很好地預(yù)測(cè)了立體標(biāo)本的深度。但不足之處在于，在場(chǎng)景背景處與“電容器”壁身弱紋理處存在噪聲以及部分缺失，這在之后用MVS深度圖進(jìn)行修正并利用修正后的深度圖恢復(fù)

29、三維結(jié)構(gòu)時(shí)進(jìn)行了彌補(bǔ)。圖10深度預(yù)測(cè)結(jié)果Fig.10Depth prediction result通過(guò)以SfM稀疏重建階段獲得的物體稀疏點(diǎn)云和估計(jì)的場(chǎng)景幾何參數(shù)為基礎(chǔ)，用本文全卷積神經(jīng)網(wǎng)絡(luò)方法預(yù)測(cè)的圖像深度和MVS估計(jì)的深度圖相融合，以增強(qiáng)顯微鏡場(chǎng)景下對(duì)弱紋理區(qū)域的表征效果，重建出物體的稠密點(diǎn)云。將本文的稠密重建方法的重建效果與開(kāi)源的三維建模系統(tǒng)COLMAP中的MVS方法相比較，估計(jì)的深度圖如圖11所示，重建后的密集點(diǎn)云如圖12所示。圖11深度圖Fig.11Depth map圖12稠密重建后的點(diǎn)云Fig.12Densely reconstructed point cloud在深度圖估計(jì)方面，C

30、OLMAP中MVS方法估計(jì)出的深度圖會(huì)受顯微鏡聚焦位置的影響，與場(chǎng)景中物體真實(shí)結(jié)構(gòu)深度信息不一致。本文方法用全卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的圖像深度對(duì)MVS方法估計(jì)的深度圖進(jìn)行矯正，得到的深度圖更加精確。在稠密點(diǎn)云方面，可以明顯看到本文方法比COLMAP得到的稠密點(diǎn)云具有更好的結(jié)構(gòu)完整性，在圖12中電容周身弱紋理區(qū)域的重建結(jié)構(gòu)更加完整，重建得到的點(diǎn)云數(shù)量明顯多于COLMAP。稠密重建實(shí)驗(yàn)數(shù)據(jù)如表3所示。表3稠密重建實(shí)驗(yàn)數(shù)據(jù)Tab.3Dense reconstruction experimental dataAlgorithmRMSERELLOG10Time/minNum_point_cloudSSIMCOLMAP2.3960.1210.07312.335560 0120.64Ours1.1270.0860.0429.724735 0160.89用均方根誤差（VRMSE）、平均相對(duì)誤差（VREL）和平均log10誤差（VLOG10）這3種常見(jiàn)的預(yù)測(cè)評(píng)價(jià)指標(biāo)驗(yàn)證本文使用的全卷積神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)深度的精確性，表示為：VRMSE=i=1N(yidi)2N（11）VREL=i=1N|yidi|yiN（12）VLOG10=i=1N|log10yilog10di|N（13）其中：yi為第i個(gè)像素點(diǎn)的真實(shí)深度，di為i個(gè)像素點(diǎn)的深度預(yù)測(cè)值，N為圖像像素點(diǎn)總數(shù)?？梢园l(fā)