《點(diǎn)云庫PCL學(xué)習(xí)教程》-第1章-概述

第1章概述簡介本書的取材、編寫表達(dá)了PCL強(qiáng)大的功能模塊、統(tǒng)一易學(xué)的C++調(diào)用接口兩個特點(diǎn)。全書共分為16章，第1~3章介紹了PCL的概述、入門與根底，第4~7章詳細(xì)介紹PCL根底功能模塊輸入/輸出I/O、kd-tree、八叉樹、可視化，第4章為后續(xù)章節(jié)模塊的根底，第8~15章詳細(xì)介紹PCL高級處理功能模塊點(diǎn)云濾波、深度圖像、關(guān)鍵點(diǎn)、采樣一致性、點(diǎn)云特征描述與提取、點(diǎn)云配準(zhǔn)、點(diǎn)云分割、點(diǎn)云曲面重建，第16章介紹了一些典型綜合應(yīng)用，讓讀者感受PCL的強(qiáng)大與易用。概述點(diǎn)云處理技術(shù)廣泛應(yīng)用在逆向工程、CAD/CAM、機(jī)器人學(xué)、激光遙感測量、機(jī)器視覺、虛擬現(xiàn)實(shí)、人機(jī)交互、立體3D影像等諸多領(lǐng)域。由于其涉及計算機(jī)學(xué)、圖形學(xué)、人工智能、模式識別、幾何計算、傳感器等諸多學(xué)科，但一直以來由于點(diǎn)云獲取手段的昂貴，嚴(yán)重阻礙其在各個行業(yè)上的廣泛應(yīng)用，也造成國內(nèi)點(diǎn)云處理的理論性和工具性書籍匱乏。在2010年，隨著消費(fèi)級RGBD設(shè)備〔低本錢點(diǎn)云獲取〕的大量上市，以微軟的Kinect為前導(dǎo)，目前已有華碩、三星等多家公司開始量產(chǎn)此類產(chǎn)品，正在形成基于RGBD的新一代機(jī)器視覺生態(tài)鏈，PCL〔PointCloudLibrary〕應(yīng)運(yùn)而生。PCL是在吸收了前人點(diǎn)云相關(guān)研究根底上建立起來的跨平臺開源庫，可在Windows、Linux、Android、MacOSX、局部嵌入式實(shí)時系統(tǒng)上運(yùn)行，它實(shí)現(xiàn)了大量通用算法和數(shù)據(jù)結(jié)構(gòu)，涉及點(diǎn)云獲取、濾波、分割、配準(zhǔn)、檢索、特征提取、識別、追蹤、曲面重建、可視化等根底模塊以及人體骨骼識別提取、動作跟蹤識別等應(yīng)用，并且新的其他應(yīng)用正在大量增加。如果說OpenCV是2D信息獲取與處理的結(jié)晶，那么PCL就在3D信息獲取與處理上具有同等地位。筆者深信隨著各大廠商對RGBD設(shè)備的大力推出，基于此設(shè)備的各種應(yīng)用將會大量涌現(xiàn)，而PCL不僅是這類應(yīng)用的核心關(guān)鍵技術(shù)，而且基于它進(jìn)行擴(kuò)展，將會極大地提高應(yīng)用系統(tǒng)開發(fā)效率和穩(wěn)定性。三維信息的獲取與處理是筆者所在研究團(tuán)隊的重要方向之一，在農(nóng)業(yè)對象的三維信息獲取與重建、虛擬農(nóng)業(yè)等領(lǐng)域不斷探索新的獲取技術(shù)和處理方法，在2011年7月發(fā)現(xiàn)了OpenCV的姐妹PCL及其網(wǎng)站的RSS更新，時刻關(guān)注PCL在3D信息獲取和處理方面的新動向，并與PCL結(jié)緣。在跟蹤過程中發(fā)現(xiàn)，PCL對RGBD數(shù)據(jù)的獲取和處理提供了強(qiáng)大支持，并有大量的機(jī)器人、虛擬現(xiàn)實(shí)、人機(jī)交互、機(jī)器視覺等領(lǐng)域的應(yīng)用案例，目前幾乎每半個月就有新的開發(fā)方案，或者有新的資助者或開發(fā)者參加。參加PCL開發(fā)的團(tuán)隊來自包括全球的AIST，UCBerkeley，UniversityofBonn，UniversityofBritishColumbia，ETHZurich等等。同時我們團(tuán)隊已經(jīng)把PCL作為開發(fā)出實(shí)際應(yīng)用的根底平臺，用于跨平臺支持嵌入式設(shè)備的3D農(nóng)業(yè)信息獲取與處理的根底庫。目前PCL正在快速成長階段，國內(nèi)外尚無相關(guān)的中英文系統(tǒng)學(xué)習(xí)書籍，鑒于此，經(jīng)過團(tuán)隊討論，把我們學(xué)習(xí)和開發(fā)應(yīng)用期間整理的資料與國內(nèi)讀者一起分享，加快PCL在其他各行業(yè)中的應(yīng)用，推動3D信息快速獲取與處理的開展。PCL的潛在讀者群：機(jī)器人研究或應(yīng)用開發(fā)者機(jī)器視覺的研究或應(yīng)用開發(fā)者。人機(jī)交互研究或應(yīng)用開發(fā)者。交互式體感游戲開發(fā)者。虛擬現(xiàn)實(shí)研究或應(yīng)用開發(fā)者。CAD/CAM和逆向工程工作者。工業(yè)自動化測量、檢測領(lǐng)域的研究或應(yīng)用開發(fā)者。激光雷達(dá)遙感的研究或應(yīng)用開發(fā)者。本書概況本書分為三大局部，其中第三局部以接近實(shí)戰(zhàn)的實(shí)例來講解工程應(yīng)用，相比于前兩局部更獨(dú)立。如果讀者是一名經(jīng)驗(yàn)豐富的資深用戶，已經(jīng)知道PCL的相關(guān)根底知識和使用方法，那么讀者可以直接閱讀測試這局部內(nèi)容。但如果讀者是一名初學(xué)者，請一定從第1章的根底理論知識開始學(xué)習(xí)。第一局部為根底篇從第1章到第3章，簡單介紹PCL的相關(guān)背景資料和根本使用方式，幫助讀者了解一些根底背景知識，感受自己的研究應(yīng)用領(lǐng)域在PCL根底上有哪些應(yīng)用前景，并熟悉PCL的使用方法以及編程標(biāo)準(zhǔn)，為讀者使用PCL做好前期準(zhǔn)備工作。第二局部為模塊篇從第4章到第15章，著重講解PCL各個模塊中涉及的3D點(diǎn)云處理的概念、模塊API、實(shí)例應(yīng)用。每章結(jié)構(gòu)都是先簡單介紹本章涉及的相關(guān)概念，再重點(diǎn)介紹一些模塊相關(guān)的類和函數(shù)，最后分析幾個典型的模塊應(yīng)用實(shí)例，讓讀者不需要太多點(diǎn)云處理根底，也能輕松掌握PCL各個功能模塊。第二局部涵蓋點(diǎn)云獲取、濾波、分割、配置、檢索、特征提取、識別、追蹤、曲面重建、可視化等全部已根本定型的模塊，骨骼識別與跟蹤模塊還正在開發(fā)，本書未包含。第三局部是綜合應(yīng)用篇第16章，通過基于PCL的典型應(yīng)用案例進(jìn)行介紹，讓讀者進(jìn)一步能夠體驗(yàn)PCL的強(qiáng)大，同時了解一些虛擬現(xiàn)實(shí)和人機(jī)交互領(lǐng)域的新事物。光盤收集PCL1.51的開發(fā)資源及本書中涉及的實(shí)例程序和數(shù)據(jù)。PCL版本PCL的發(fā)布更新以1.5X的小版本號來表示，本書針對的是1.51版本。PCL正在不斷開發(fā)和完善中，但根本架構(gòu)和設(shè)計思路根本確定，相信讀者對本書介紹了解之后，對其他版本就輕車熟路了。請參照網(wǎng)站地址：。雖然本書中參考所用的API文檔，仍然在不斷更新新的類、函數(shù)，但模塊根本確定，不會對PCL的理解產(chǎn)生困難。源代碼本書的所有源代碼和工程文件大多數(shù)整理來自于PCL官方網(wǎng)站，都以BSD〔BerkeleySoftwareDistribution〕許可協(xié)議或者〔CCA〕CreativeCommonsAttribution3.0的形式發(fā)布，讀者可以自由使用和分享，如果需要應(yīng)用于商業(yè)領(lǐng)域，請注明版權(quán)所有者。目錄第1章概述第2章PCL入門第3章PCL根底第4章輸入/輸出(I/O)第5章kd-tree第6章八叉樹第7章可視化第8章濾波第9章深度圖像第10章關(guān)鍵點(diǎn)第11章采樣一致性算法第12章點(diǎn)云特征描述與提取第13章點(diǎn)云配準(zhǔn)第14章點(diǎn)云分割第15章點(diǎn)云曲面重建第16章綜合應(yīng)用本章各小節(jié)目錄1.1什么是PCL1.2PCL的開展與創(chuàng)景1.3PCL的潛在應(yīng)用領(lǐng)域1.4PCL在中國1.5PCL的結(jié)構(gòu)和內(nèi)容1.1什么是PCLPCL是PointCloudLibrary的簡稱，是一個開源的用C++語言開發(fā)的點(diǎn)云庫，它實(shí)現(xiàn)了大量點(diǎn)云相關(guān)的通用算法和高效數(shù)據(jù)結(jié)構(gòu)，涉及到點(diǎn)云獲取、濾波、分割、配準(zhǔn)、檢索、特征提取、識別、追蹤、曲面重建、可視化等。而且支持多種操作平臺，可在Windows、Linux、Android、MacOSX、局部嵌入式實(shí)時系統(tǒng)上運(yùn)行。如果說OpenCV是2D信息獲取與處理的結(jié)晶，那么PCL就是在3D信息獲取與處理上的結(jié)晶，具有同等地位。PCL也是BSD授權(quán)方式，可以免費(fèi)進(jìn)行商業(yè)和學(xué)術(shù)應(yīng)用。1.2PCL的開展與創(chuàng)景隨著參加組織的增多，PCL官方目前的方案是繼續(xù)參加很多新的功能模塊和算法的實(shí)現(xiàn)，包括當(dāng)前最新的3D相關(guān)的處理算法和相關(guān)設(shè)備的支持，如基于PrimeSensor3D設(shè)備，微軟Kinect或者華碩的XTionPRO智能交互應(yīng)用等，詳細(xì)讀者可以參考官方網(wǎng)站每期的新聞，而且也方案進(jìn)一步支持使用CUDA和OpenCL等基于GPU的高性能計算的技術(shù)。筆者相信在近幾年內(nèi)會有更多的人和組織參加到這個工程中來，共享開源PCL帶來的各自領(lǐng)域的成果。1.3PCL的潛在應(yīng)用領(lǐng)域1.3.1機(jī)器人領(lǐng)域移動機(jī)器人對其工作環(huán)境的有效感知、辨識與認(rèn)知，是其進(jìn)行自主行為優(yōu)化并可靠完成所承擔(dān)任務(wù)的前提和根底。如何實(shí)現(xiàn)場景中物體的有效分類與識別是移動機(jī)器人場景認(rèn)知的核心問題，目前基于視覺圖像處理技術(shù)來進(jìn)行場景的認(rèn)知是該領(lǐng)域的重要方法。但移動機(jī)器人在線獲取的視覺圖像質(zhì)量受光線變化影響較大，特別是在光線較暗的場景更難以應(yīng)用，隨著RGBD獲取設(shè)備的大量推廣，在機(jī)器人領(lǐng)域勢必掀起一股深度信息結(jié)合2D信息的應(yīng)用研究熱潮，深度信息的引入能夠使機(jī)器人更好地對環(huán)境進(jìn)行認(rèn)知、辨識，與圖像信息在機(jī)器人領(lǐng)域的應(yīng)用一樣，需要強(qiáng)大智能軟件算法支撐，PCL就為此而生。最重要的是PCL本身就是為機(jī)器人而發(fā)起的開源工程，PCL中不僅提供了對現(xiàn)有的RGBD信息的獲取設(shè)備的支持，還提供了高效的分割、特征提取、識別、追蹤等最新的算法，最重要的是它可以移植到ROS、Android、Ubuntu等主流Linux平臺上，PCL無疑將會成為機(jī)器人應(yīng)用領(lǐng)域一把“瑞士軍刀”。1.3.2CAD/CAM、逆向工程大局部工業(yè)產(chǎn)品是根據(jù)二維或三維CAD模型制造而成，但有時因?yàn)閿?shù)據(jù)喪失、設(shè)計屢次更改、實(shí)物引進(jìn)等原因，產(chǎn)品的幾何模型無法獲得，因而常常需要根據(jù)現(xiàn)有產(chǎn)品實(shí)物生成物體幾何模型。逆向工程技術(shù)能夠?qū)Ξa(chǎn)品實(shí)物進(jìn)行測繪，重構(gòu)產(chǎn)品外表三維幾何模型，生成產(chǎn)品制造所需的數(shù)字化文檔。在一些工業(yè)領(lǐng)域，如汽車制造業(yè)，許多零件的幾何模型都通過逆向工程由油泥模型或?qū)嵨锪慵@得，目前在CAD/CAM領(lǐng)域利用激光點(diǎn)云進(jìn)行高精度測量與重建成為趨勢，同時引來了新的問題，通過獲取的海量點(diǎn)云數(shù)據(jù)，來提取重建模型的幾何參數(shù)或者形狀模型，對模型進(jìn)行智能檢索，從點(diǎn)云數(shù)據(jù)獲取模型的曲面模型等，諸如此類的問題解決方案在PCL中都有涉及。例如kd-tree和oc-tree對海量點(diǎn)運(yùn)進(jìn)行高效壓縮存儲與管理，其中濾波、配準(zhǔn)、特征描述與提前根底處理，可以應(yīng)用于模型的智能檢索以及后期的曲面重建和可視化都在PCL中有相應(yīng)的模塊。總之，三維點(diǎn)云數(shù)據(jù)的處理是逆向工程中比較重要的一環(huán)，PCL中間所有的模塊正是為此而生的。1.3.3激光遙感測量能夠直接獲取高精度三維地面點(diǎn)數(shù)據(jù)，是對傳統(tǒng)測量技術(shù)在高程數(shù)據(jù)獲取及自動化快速方面的重要技術(shù)補(bǔ)充。激光遙感測量系統(tǒng)在地形測繪、環(huán)境檢測、三維城市建模、地球科學(xué)、行星科學(xué)等諸多領(lǐng)域具有廣泛的開展前景，是目前最先進(jìn)的能實(shí)時獲取地形外表三維空間信息和影像的遙感系統(tǒng)。目前，在各種提取地面點(diǎn)的算法中，算法結(jié)果與實(shí)際結(jié)果之間差異較大，違背了實(shí)際情況，PCL中強(qiáng)大的模塊可以助力解決此問題。1.3.4虛擬現(xiàn)實(shí)、人機(jī)交互虛擬現(xiàn)實(shí)技術(shù)〔VR〕又稱靈境技術(shù)，是以沉浸性、交互性和設(shè)想性為根本特征的計算機(jī)高級人機(jī)界面。它綜合利用了計算機(jī)圖形學(xué)、仿真技術(shù)、多媒體技術(shù)、人工智能技術(shù)、計算機(jī)網(wǎng)絡(luò)技術(shù)、并行處理技術(shù)和多傳感器技術(shù)，模擬人的視覺、聽覺、觸覺等感覺器官功能，使人能夠沉浸在計算機(jī)生成的虛擬境界中，并能夠通過語言、手勢等自然的方式與之進(jìn)行實(shí)時交互，創(chuàng)立了一種適人化的多維信息空間，具有廣闊的應(yīng)用前景。目前各種交互式體感應(yīng)用的推出，讓虛擬現(xiàn)實(shí)與人機(jī)交互開展非常迅速，以微軟、華碩、三星等為例，目前諸多公司推出的RGBD解決方案，勢必會讓虛擬現(xiàn)實(shí)走出實(shí)驗(yàn)室，因?yàn)楝F(xiàn)在的RGBD設(shè)備已經(jīng)開始大量推向市場，只是缺少其他應(yīng)用的跟進(jìn)，這正是在為虛擬現(xiàn)實(shí)和人機(jī)交互應(yīng)用鑄造生態(tài)鏈的底部，筆者認(rèn)為這也正是PCL為何在此時才把自己與世人分享的重要原因所在，它將是基于RGBD設(shè)備的虛擬現(xiàn)實(shí)和人機(jī)交互應(yīng)用生態(tài)鏈中最重要的一個環(huán)節(jié)。讓我們抓住這一個節(jié)點(diǎn)，立足于交互式應(yīng)用的一片小天地，但愿本書來的不是太遲。1.4PCL在中國PCL雖然在國際上有如此多的組織和公司參與，由于開展如此迅速，目前〔2012年4月〕在Google中檢索出中文相關(guān)的PCL探討，有且只有一條，當(dāng)然這也是筆者出書原因之一了。事實(shí)上，如圖1-2所示，在全球范圍內(nèi)，唯獨(dú)沒有中國參與組織，這里希望廣闊讀者可以為中國板塊上添加一個小旗幟。當(dāng)然，肯定有科研工作者在應(yīng)用或者學(xué)習(xí)PCL了，筆者依托于中國農(nóng)業(yè)大學(xué)農(nóng)業(yè)部信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室，在與創(chuàng)始人Radu博士交流后，深感PCL在復(fù)雜的農(nóng)業(yè)對象中有不可估量的作用，例如對動植物的重建測度、果蔬等分級檢測等應(yīng)用領(lǐng)域，決定把PCL作為根底研究平臺來開展實(shí)際應(yīng)用。同時用學(xué)習(xí)筆記撰寫了本書把PCL與國人分享，相信在不久的將來，與2D信息處理庫OpenCV一樣，中國將是PCL最大的用戶和奉獻(xiàn)者基地。1.5PCL的結(jié)構(gòu)和內(nèi)容PCL架構(gòu)圖如圖1-3所示，對于3D點(diǎn)云處理來說，PCL完全是一個模塊化的現(xiàn)代C++模板庫。其基于以下第三方庫：Boost、Eigen、FLANN、VTK、CUDA、OpenNI、Qhull，實(shí)現(xiàn)點(diǎn)云相關(guān)的獲取、濾波、分割、配準(zhǔn)、檢索、特征提取、識別、追蹤、曲面重建、可視化等。PCL利用OpenMP、GPU、CUDA等先進(jìn)高性能計算技術(shù)，通過并行化提高程序?qū)崟r性。K近鄰搜索操作的構(gòu)架是基于FLANN(FastLibraryforApproximateNearestNeighbors)所實(shí)現(xiàn)的，速度也是目前技術(shù)中最快的。PCL中的所有模塊和算法都是通過Boost共享指針來傳送數(shù)據(jù)，因而防止了屢次復(fù)制系統(tǒng)中已存在圖1-3PCL架構(gòu)圖的數(shù)據(jù)的需要，從0.6版本開始，PCL就已經(jīng)被移入到Windows、MacOS和Linux系統(tǒng)，并且在Android系統(tǒng)也已經(jīng)開始投入使用，這使得PCL的應(yīng)用容易移植與多方發(fā)布。從算法的角度，PCL是指納入了多種操作點(diǎn)云數(shù)據(jù)的三維處理算法，其中包括過濾、特征估計、外表重建、模型擬合和分割、定位搜索等。每一套算法都是通過基類進(jìn)行劃分的，試圖把貫穿整個流水線處理技術(shù)的所有常見功能整合在一起，從而保持了整個算法實(shí)現(xiàn)過程中的緊湊和結(jié)構(gòu)清晰，提高代碼的重用性、簡潔可讀。在PCL中一個處理管道的根本接口程序如下：〔1〕創(chuàng)立處理對象：〔例如過濾、特征估計、分割等〕。〔2〕使用setInputCloud通過輸入點(diǎn)云數(shù)據(jù)，處理模塊?！?〕設(shè)置算法相關(guān)參數(shù)?！?〕調(diào)用計算得到輸出。為了進(jìn)一步簡化和開發(fā)，PCL被分成一系列較小的代碼庫，使其模塊化，以便能夠單獨(dú)編譯使用提高可配置性，特別適用于嵌入式處理中：〔1〕libpclfilters：如采樣、去除離群點(diǎn)、特征提取、擬合估計等數(shù)據(jù)實(shí)現(xiàn)過濾器?！?〕libpclfeatures：實(shí)現(xiàn)多種三維特征，如曲面法線、曲率、邊界點(diǎn)估計、矩不變量、主曲率，PFH和FPFH特征，旋轉(zhuǎn)圖像、