基于流模型的三維點云生成方法

1、基于流模型的三維點云生成方法作者：楊天宇譚臺哲王俊鍇來源：電腦知識與技術(shù)2021年第30期高斯分布從而實現(xiàn)圖像的生成，優(yōu)化了數(shù)據(jù)對數(shù)似然的下界,VAE在圖像牛.成上是可并行的，但是VAE存在著牛成圖像模糊的問題。VAE的優(yōu)勢在于小樣本學(xué)習(xí)，他專注于從給定集合中生成新的樣本3。2.3生成對抗網(wǎng)絡(luò)(GAN)GAN拋棄具體的密度分布模型，只要樣本的特征。通過博弈來訓(xùn)練一個分布函數(shù)得到符合的很好的樣本特征。GAN在圖像生成任務(wù)中比較有優(yōu)勢，在很多GAN的拓展T.作中也取得了很大的提高。但是GAN生成的樣本多樣性不足以及訓(xùn)練過程不穩(wěn)定是GAN普遍存在的問題，同時CAN沒有潛在空間編碼器，從而缺乏對數(shù)據(jù)的

2、全面支持。2.4流模型流生成模型是一種出簡單的分布Pz)(例如高斯分布倒復(fù)雜數(shù)據(jù)分布如(町的可逆映射。分布P,Z)的一個隨機變量z經(jīng)過一個可逆的映射f后，就將z的分布轉(zhuǎn)換成了關(guān)于樣本x的分布如CO,即他們滿足如下關(guān)系:X=f(z)(1)通過變量變換定理(change-of-variablestheorem)n以得到X準確的概率密度函數(shù)PxW,PxW=%Cie(2)現(xiàn)實中，要將一個簡單分布轉(zhuǎn)換成高度復(fù)雜的分布是非常閑難的，往往需要多個可逆映射f才可以很好的擬合。設(shè)是尸到2的可逆映射,并且令z=z,zn=x(i=0,-,n)o則他們的關(guān)系如公式和公式(4),其中運算符號表示一系列嵌套函數(shù)。實際上，

3、辦，L，九通常被實例化為具有易于計算雅可比行列式I血”黑7.)1的體系結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。af.(JWJPjfU)離J*曲帶圖2點云生成過程數(shù)拡母圖3網(wǎng)絡(luò)訓(xùn)練過程圖4點云生成過程圖5生成樣本表1模型評估結(jié)果類別l-NNACDEVD飛機r-GAN93.55%99.51%75.6H%75.06%我們73.94%71.57%汽車r-GAN97.S799.86%PoinlFkw60.65%62.36%找們6L98%63.57%椅子r-GAN71.75%9.47%PoirilFlnvt60,S8%59,89%血9邂6357%摘要：隨著三維點云數(shù)據(jù)在計算機視覺任務(wù)的逐漸流行，合成或重建高分辨率、高保真點云的能

4、力變得至關(guān)重要。雖然深度學(xué)習(xí)模型最近在點云識別和點云分類任務(wù)中取得了成功，但點云生成任務(wù)還困難重重。本文提出了一種基于流模型的點云生成模型，使用深度學(xué)習(xí)技術(shù)訓(xùn)練好該模型之后，只需要從簡單的高斯分布隨機采樣數(shù)據(jù)，然后通過我們的模型就可以產(chǎn)生全新的高質(zhì)量的點云形狀。基于我們模型生成的點云的質(zhì)量比大多數(shù)現(xiàn)存的模型都要好，可以為其他一些任務(wù)提供很好的先驗點云，比如三維重建、點云補全任務(wù)。關(guān)鍵詞：點云;生成模型;流模型;深度學(xué)習(xí);先驗點云中圖分類號：TP18文獻標識碼：A文章編號：1009-3044（2021）30-0033-04開放科學(xué)（資源服務(wù)）標識碼（OSID）：3DPointCloudGener

5、ationMethodBasedonFlowModelTANTai-zhe,YANGTian-yu,WangJun-kaiSchoolofcomputersscience，GuangdongUniversityofTechnology，Guangzhou510006，China)Abstract：Withthegradualpopularityof3Dpointcloudincomputervisiontasks，theabilityofhigh-fidelitypointcloudtobesynthesizedorreconstructedgradually.Althoughthedeepl

6、earningmodelhasrecentlyproposedastreammodel-basedpointcloudgenerationmodelinpointcloudrecognitionandpointcloudclassificationtasks，aftertrainingthemodelusingdeeplearningtechnology，itonlyneedstorandomlysampledatafromasimpleGaussiandistribution.Thenwecangenerateanewestimatedpointcloudshapethroughourmod

7、el.Thequalityofthepointcloudgeneratedbasedonourmodelisbetterthanmostexistingmodels.Itcanprovideagoodpriorpointcloudforsomeothertasks，suchas3Dreconstruction，andpointcloudcompletiontasks.Keywords：pointcloud;generativemodel;flowbasedmodel;deeplearning;priorpointcloud1引言隨著點云在自動駕駛、三維建模，考古與文物保護等任務(wù)的流行，研究點云

8、成為了一種趨勢。目前點云分類任務(wù)和點云目標檢測任務(wù)已經(jīng)取得了不錯的成績，然而，點云生成任務(wù)還比較少的研究。Diego等人在2019年提出了tree-GAN模型，運用GAN來做點云生成，但是訓(xùn)練起來非常困難，不能生成指定的點云。PMandikal在2019年的WACV通過編碼器-解碼器結(jié)構(gòu)的網(wǎng)絡(luò)生成稀疏的點云，但是其在密集點云的生成任務(wù)表現(xiàn)不佳。自從基于流模型的GLOW提出后，研究人員們視線再一次關(guān)注到流生成模型。來自康奈爾大學(xué)和英偉達的研究人員在2019ICCV提出了三維點云生成模型PointFlow，使得更多的研究人員關(guān)注到基于流模型三維點云的生成任務(wù)。2生成模型所謂生成模型，就是給定訓(xùn)練數(shù)

9、據(jù)，我們要生成與該數(shù)據(jù)分布相同的新樣本。假設(shè)訓(xùn)練數(shù)據(jù)服從分布，生成樣本服從分布，生成模型的作用就是使得這兩個分布和盡可能的相似。所以生成模型的本質(zhì)就是希望用一個我們知道的概率模型來擬合給定的訓(xùn)練樣本，即我們能夠?qū)懗鲆粋€帶參數(shù)0的分布。深度神經(jīng)網(wǎng)絡(luò)作為萬能的函數(shù)擬合器，卻不能夠隨意擬合一個概率分布，因為概率分布有“非負”和“歸一化”的要求。為了解決這個問題，研究學(xué)者們提出了四種生成模型：自回歸模型、變分編碼器、對抗生成網(wǎng)絡(luò)、流模型。自回歸模型自回歸模型在PixelCNN和PixelRNN上展示了很不錯的實驗效果，但是由于是按照像素點去生成圖像導(dǎo)致計算成本高，在可并行性上受限，在處理大型數(shù)據(jù)如大型

10、圖像或視頻是具有一定麻煩的。2.2變分自編碼器（VAE）VAE是在自編碼器的基礎(chǔ)上讓圖像編碼的潛在向量服從高斯分布從而實現(xiàn)圖像的生成，優(yōu)化了數(shù)據(jù)對數(shù)似然的下界，VAE在圖像生成上是可并行的，但是VAE存在著生成圖像模糊的問題。VAE的優(yōu)勢在于小樣本學(xué)習(xí)，他專注于從給定集合中生成新的樣本3。2.3生成對抗網(wǎng)絡(luò)（GAN）GAN拋棄具體的密度分布模型，只要樣本的特征。通過博弈來訓(xùn)練一個分布函數(shù)得到符合的很好的樣本特征。GAN在圖像生成任務(wù)中比較有優(yōu)勢，在很多GAN的拓展工作中也取得了很大的提高。但是GAN生成的樣本多樣性不足以及訓(xùn)練過程不穩(wěn)定是GAN普遍存在的問題，同時GAN沒有潛在空間編碼器，從而

11、缺乏對數(shù)據(jù)的全面支持。2.4流模型在使用深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)的時候，似然對數(shù)函數(shù)E：2021知網(wǎng)文件28-303001xs202130Imageimagel7_l.png就作為損失函數(shù)，而黑盒常微分方程（ODE）求解器可用于估計連續(xù)歸一化流的輸出和輸入梯度2?；诹鞯纳赡Ｐ涂偨Y(jié)一下具有以下優(yōu)點：a）精確的潛在變量推斷和對數(shù)似然評估，在VAE中編碼后只能推理出對應(yīng)于數(shù)據(jù)點的潛在變量的近似值。在像Glow這樣的可逆生成模型中，可以在沒有近似的情況下實現(xiàn)潛在變量的精確的推理，還可以優(yōu)化數(shù)據(jù)的精確對數(shù)似然，而不是其下限5。b）高效的推理和合成，自回歸模型如PixelCNN，也是可逆的，然而這樣的模型合成

12、難以實現(xiàn)并行化，并且通常在并行硬件上效率低下。而基于流的生成模型如Glow和RealNVP都能有效實現(xiàn)推理與合成的并行化。c）自回歸模型的隱藏層有未知的邊際分布，使其執(zhí)行有效的數(shù)據(jù)操作上很困難由于GAN沒有編碼器，所以很難表征完整的數(shù)據(jù)分布?；诹鞯哪Ｐ湍軌?qū)W習(xí)高維數(shù)據(jù)中的復(fù)雜依賴關(guān)系，并學(xué)習(xí)語義上有意義的潛在空間，實時生成大量合成樣本。3流模型在點云生成的應(yīng)用流模型現(xiàn)在已經(jīng)很成熟的應(yīng)用在圖像生成任務(wù)上，并且效果也還不錯比如OpenAI在2018的NeurIPS提出的GLOW模型5。而將流模型運用在點云生成任務(wù)上的研究相對比較少。來自康奈爾大學(xué)和英偉達的研究人員在2019ICCV提出了一種基于

13、流模型的三維點云生成模型PointFlow，這是流模型第一次應(yīng)用在點云生成任務(wù)3。PointFlow通過為分布的分布建模，分別建立物體形狀的分布和給定物體的點云的分布，以此來完成對于物體點云的生成任務(wù)。為了生成點云，作者對分布的分布進行建模，也就是說不僅需要為形狀分布進行建模，同時需要對特定形狀下的點云進行建模。研究人員通過先驗分布點的可逆參數(shù)化變換代替了直接對點云分布的建模。這意味著在給定模型的情況下，首先從通用的高斯先驗中進行采樣，而后基于參數(shù)變換將他們移動到與目標形狀對應(yīng)的新位置，使得參數(shù)化的變化和變量的分布都可以利用這一模型進行描述。更重要的是，這種模型還帶來了更強大的表達能力。在可以

14、估計概率密度、提升變分下限的同時，還可以避免由GANs帶來的復(fù)雜訓(xùn)練。但是PointFlow有著它的缺點，一是訓(xùn)練時間非常久;二是對于稀疏的點云，生成效果不是很好?；赑ointFlow的不足，我們提出了一種改進的模型。我們同樣使用連續(xù)歸一化流來為給定形狀下點的分布進行建模。連續(xù)歸一化流可以視為三維歐式空間中的向量場，它可以通過對某一通用的先驗分布進行轉(zhuǎn)換（例如高斯分布）推導(dǎo)出點云的分布。連續(xù)歸一化流是一系列可逆的映射，可以將已知的初始化分布映射到更為復(fù)雜的分布上去。點云生成過程我們的目標是生成點云，根據(jù)圖1將我們的模型網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計如圖2。首先，從高斯分布里面隨機采樣M個數(shù)據(jù)y1,y2，yM。

15、每個數(shù)據(jù)表示一個點云，并且他們各自包含有對應(yīng)點云的x軸、y軸和z軸坐標。然后將這M個點云通過可逆的網(wǎng)絡(luò)g,網(wǎng)絡(luò)g就會移動這些點云位置，從而獲得新的點云。因為同一個類別的點云會有不同的形狀，比如飛機這個類別就有客機,戰(zhàn)斗機等等,所以為了使我們的模型產(chǎn)生不同形狀的點云,我們使用一個高維度的隱變量S來控制生成點云的形狀。我們從高斯分布里面隨機采樣數(shù)據(jù)（采樣的數(shù)據(jù)維度和S相同），然后將采樣的數(shù)據(jù)送入可逆的網(wǎng)絡(luò)f,這樣就可以獲得一個S。接著將S送入網(wǎng)絡(luò)g就可以生成不同形狀的點云。網(wǎng)絡(luò)訓(xùn)練過程根據(jù)圖2可知訓(xùn)練的過程和點云生成的過程是逆向的。我們想要從熟知的高斯分布生成點云,而點云所處的分布非常復(fù)雜且我們還

16、不知道表達式。這時,我們借助于數(shù)據(jù)集的點云,從點云采樣數(shù)據(jù)，然后逆向通過可逆網(wǎng)絡(luò)g和可逆網(wǎng)絡(luò)f,只要這樣產(chǎn)生的分布和高斯分布一樣，則可逆網(wǎng)絡(luò)g和可逆網(wǎng)絡(luò)f訓(xùn)練完成。如圖3,訓(xùn)練過程我們分成2個分支，分支1（圖2的上部分）：首先把從數(shù)據(jù)集獲得的點云數(shù)據(jù)采樣M個點。將這M個點通過一個編碼器獲得隱變量S,然后將S喂入可逆網(wǎng)絡(luò)f-1產(chǎn)生S，f-1訓(xùn)練目標是使得S和從高斯分布采樣得到的高維向量盡量接近。分支2（圖3的下部分）：可逆網(wǎng)絡(luò)g-1的訓(xùn)練目標是將之前從數(shù)據(jù)集點云數(shù)據(jù)采樣的M個點移動到新的位置，使得他們和從高斯分布采樣的點的位置盡可能的接近。受到圖像分類任務(wù)的啟示，我們對從數(shù)據(jù)集點云數(shù)據(jù)采樣的M個

17、點進行數(shù)據(jù)增強，具體來說就是對每個采樣到的點隨機加一下噪聲擾動。得益于流模型的可逆性帶來的似然計算,我們的網(wǎng)絡(luò)可以端到端穩(wěn)定地訓(xùn)練。訓(xùn)練結(jié)束后，我們就可以獲得編碼器、可逆網(wǎng)絡(luò)f-1和可逆網(wǎng)絡(luò)g-1的參數(shù)。4實驗與大多數(shù)做點云生成的任務(wù)一樣，我們使用ShapeNet核心數(shù)據(jù)集中的三種不同類別（飛機、椅子和汽車）進行實驗，每個類別分別訓(xùn)練。在模型訓(xùn)練階段，我們隨機從點云形狀采樣2048個點作為訓(xùn)練樣本，使用2張2080tiGPU進行訓(xùn)練。一共訓(xùn)練了15000個輪次。實驗結(jié)果圖4展示了基于我們模型的點云生成的大致過程。最左邊是從高斯分布隨機采樣的點云，最右邊是我們模型最終生成的點云。從左往右展示了點

18、云的生成過程。上面的是汽車，中間是椅子，下面的是飛機。圖5展示的是從我們模型生成的一些新樣本。第一行飛機，第二行汽車，第三行椅子。從圖中我們知道，模型可以生成不同形狀的點云，比如飛機類別，可以生成客機或者戰(zhàn)斗機，機翼的大小和方向也不同，尾翼形狀也各異。再看椅子類別，或是生成靠背的椅子，或是生成沙發(fā)，或是不帶扶手，或是帶扶手的。椅子的凳腳也是各種樣式。模型評估我們使用由Lopez-Paz和Oquab7提出的1-NNA來評估我們的模型性能。1-NNA的理想分數(shù)為50%。為了計算1-NNA，可以使用兩種不同的距離度量，倒角距離（CD）和運土距離（EMD）來測量點云之間的相似度。1-NNA的生成結(jié)果如

19、表1所示。2.4流模型在使用深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)的時候，似然對數(shù)函數(shù)E：2021知網(wǎng)文件28-303001xs202130Imageimage17_1.png就作為損失函數(shù)，而黑盒常微分方程（ODE）求解器可用于估計連續(xù)歸一化流的輸出和輸入梯度2?；诹鞯纳赡Ｐ涂偨Y(jié)一下具有以下優(yōu)點：a）精確的潛在變量推斷和對數(shù)似然評估，在VAE中編碼后只能推理出對應(yīng)于數(shù)據(jù)點的潛在變量的近似值。在像Glow這樣的可逆生成模型中，可以在沒有近似的情況下實現(xiàn)潛在變量的精確的推理，還可以優(yōu)化數(shù)據(jù)的精確對數(shù)似然，而不是其下限5。b）高效的推理和合成，自回歸模型如PixelCNN,也是可逆的，然而這樣的模型合成難以實現(xiàn)并行

20、化，并且通常在并行硬件上效率低下。而基于流的生成模型如Glow和RealNVP都能有效實現(xiàn)推理與合成的并行化。c）自回歸模型的隱藏層有未知的邊際分布，使其執(zhí)行有效的數(shù)據(jù)操作上很困難由于GAN沒有編碼器，所以很難表征完整的數(shù)據(jù)分布?；诹鞯哪Ｐ湍軌?qū)W習(xí)高維數(shù)據(jù)中的復(fù)雜依賴關(guān)系，并學(xué)習(xí)語義上有意義的潛在空間，實時生成大量合成樣本。3流模型在點云生成的應(yīng)用流模型現(xiàn)在已經(jīng)很成熟的應(yīng)用在圖像生成任務(wù)上，并且效果也還不錯比如OpenAI在2018的NeurlPS提出的GLOW模型5。而將流模型運用在點云生成任務(wù)上的研究相對比較少。來自康奈爾大學(xué)和英偉達的研究人員在2019ICCV提出了一種基于流模型的三維

21、點云生成模型PointFlow,這是流模型第一次應(yīng)用在點云生成任務(wù)3。PointFlow通過為分布的分布建模，分別建立物體形狀的分布和給定物體的點云的分布，以此來完成對于物體點云的生成任務(wù)。為了生成點云，作者對分布的分布進行建模，也就是說不僅需要為形狀分布進行建模，同時需要對特定形狀下的點云進行建模。研究人員通過先驗分布點的可逆參數(shù)化變換代替了直接對點云分布的建模。這意味著在給定模型的情況下，首先從通用的高斯先驗中進行采樣，而后基于參數(shù)變換將他們移動到與目標形狀對應(yīng)的新位置，使得參數(shù)化的變化和變量的分布都可以利用這一模型進行描述。更重要的是，這種模型還帶來了更強大的表達能力。在可以估計概率密度

22、、提升變分下限的同時，還可以避免由GANs帶來的復(fù)雜訓(xùn)練。但是PointFlow有著它的缺點，一是訓(xùn)練時間非常久;二是對于稀疏的點云，生成效果不是很好?；赑ointFlow的不足，我們提出了一種改進的模型。我們同樣使用連續(xù)歸一化流來為給定形狀下點的分布進行建模。連續(xù)歸一化流可以視為三維歐式空間中的向量場，它可以通過對某一通用的先驗分布進行轉(zhuǎn)換（例如高斯分布）推導(dǎo)出點云的分布。連續(xù)歸一化流是一系列可逆的映射，可以將已知的初始化分布映射到更為復(fù)雜的分布上去。點云生成過程我們的目標是生成點云，根據(jù)圖1將我們的模型網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計如圖2。首先，從高斯分布里面隨機采樣M個數(shù)據(jù)y1，y2，yM。每個數(shù)據(jù)表示

23、一個點云，并且他們各自包含有對應(yīng)點云的x軸、y軸和z軸坐標。然后將這M個點云通過可逆的網(wǎng)絡(luò)g，網(wǎng)絡(luò)g就會移動這些點云位置，從而獲得新的點云。因為同一個類別的點云會有不同的形狀，比如飛機這個類別就有客機，戰(zhàn)斗機等等，所以為了使我們的模型產(chǎn)生不同形狀的點云，我們使用一個高維度的隱變量S來控制生成點云的形狀。我們從高斯分布里面隨機采樣數(shù)據(jù)（采樣的數(shù)據(jù)維度和S相同），然后將采樣的數(shù)據(jù)送入可逆的網(wǎng)絡(luò)f這樣就可以獲得一個S。接著將S送入網(wǎng)絡(luò)g就可以生成不同形狀的點云。網(wǎng)絡(luò)訓(xùn)練過程根據(jù)圖2可知訓(xùn)練的過程和點云生成的過程是逆向的。我們想要從熟知的高斯分布生成點云，而點云所處的分布非常復(fù)雜且我們還不知道表達式。這時，我們借助于數(shù)據(jù)集的點云，從點云采樣數(shù)據(jù)，然后逆向通過可逆網(wǎng)絡(luò)g和可逆網(wǎng)絡(luò)f,只要這樣產(chǎn)生的分布和高斯分布一樣，則可逆網(wǎng)絡(luò)g和可逆網(wǎng)絡(luò)f訓(xùn)練完成。如圖3,訓(xùn)練過程我們分成2個分支，分支1（圖2的上部分）：首先把從數(shù)據(jù)集獲得的點云數(shù)據(jù)采