機(jī)器視覺 課件 屈楨深 第6-10章- 運(yùn)動估計(jì)與濾波-機(jī)器視覺應(yīng)用實(shí)例

機(jī)器視覺：6.運(yùn)動估計(jì)與濾波

目標(biāo)跟蹤

光流估計(jì)背景提取運(yùn)動模型與濾波背景提取背景建?；舅枷?/p>

基于單一高斯模型的背景建?；旌细咚鼓Ｐ突诨旌细咚鼓Ｐ偷谋尘敖?.1背景建?；舅枷隤art14當(dāng)相機(jī)靜止時，圖像采集場景保持不變，因此圖像中的每個像素可分為兩類：背景和前景，其中前景對應(yīng)運(yùn)動目標(biāo)。只要確定像素類別，進(jìn)一步就可利用之前的圖像標(biāo)記等方法對運(yùn)動目標(biāo)前景進(jìn)行進(jìn)一步的處理分析。背景建模的核心問題：如何在存在光照干擾、不同目標(biāo)運(yùn)動速度的情況下準(zhǔn)確對各像素進(jìn)行分類背景建?；舅枷?.1背景建模基本思想Part15基本背景建模方法：幀間差分法原理：將基于時間序列圖像中相鄰兩幀或幾幀圖像逐個像素進(jìn)行對比，得到一幅差值圖像；再通過事先確定的閾值對差值圖像進(jìn)行二值化處理，如果大于指定閾值，則認(rèn)為是前景。當(dāng)使用兩幀圖像時，幀間差分法可表示為：背景建模基本方法——幀間差分法1.1背景建?；舅枷隤art16幀間差分法

實(shí)例優(yōu)點(diǎn)：計(jì)算簡單、計(jì)算量小、對光線變化不敏感缺點(diǎn)：容易造成實(shí)體內(nèi)部空洞，差分間隔需要根據(jù)運(yùn)動目標(biāo)的速度選擇，選擇不當(dāng)會影響背景提取精確度。背景建?；痉椒ā獛g差分法1.2基于單一高斯模型的背景建模Part17

單一高斯模型——基本思想1.2基于單一高斯模型的背景建模Part18正態(tài)分布曲線呈對稱形態(tài)，由兩個參數(shù)決定：均值和標(biāo)準(zhǔn)差。均值決定正態(tài)曲線峰值的位置，表示數(shù)據(jù)的集中趨勢；標(biāo)準(zhǔn)差則決定正態(tài)曲線的形狀。當(dāng)較大時，曲線更為平緩，表示數(shù)據(jù)分散程度較高；而較小時，曲線更陡峭，表示數(shù)據(jù)分布較為緊密。對于標(biāo)準(zhǔn)正態(tài)分布曲線，其與x軸圍成的面積為1。單一高斯模型——基本思想1.2基于單一高斯模型的背景建模Part19

單一高斯模型——基本思想1.2基于單一高斯模型的背景建模Part110

單一高斯模型——基本思想1.2基于單一高斯模型的背景建模Part111

單一高斯模型——基本思想1.2基于單一高斯模型的背景建模Part112

單一高斯模型——改進(jìn)方法1.2基于單一高斯模型的背景建模Part113

單一高斯模型——多元高斯模型1.2基于單一高斯模型的背景建模Part114Σ是協(xié)方差矩陣。

當(dāng)處理彩色或其他類型多通道圖像時，可將每一像素視為多維向量，使用多元高斯模型建模。此時背景的判別需對每一分量依次進(jìn)行；所有分量滿足3σ準(zhǔn)則時則認(rèn)為其屬于背景。單一高斯模型——多元高斯模型1.3混合高斯模型Part115簡單場景使用單一高斯模型，處理速度快，分割對象比較完整。

復(fù)雜背景像素值可能在多個亮度區(qū)間跳變，不能用單一高斯分布建模。1.3混合高斯模型Part116混合高斯模型：將觀測數(shù)據(jù)的分布視為多個高斯分布的線性組合每個高斯分布代表數(shù)據(jù)中的一個子集或類別，這些子集可能對應(yīng)于不同的背景狀態(tài)或運(yùn)動模式。每個分布均可用多個高斯分布線性組合描述。1.3混合高斯模型Part117把高斯分布函數(shù)視為高斯基，幾乎任意形狀的概率密度函數(shù)均可以通過在高斯基上進(jìn)行線性展開來近似，即混合高斯模型具有普遍適用性。1.4基于混合高斯模型的背景建模Part118混合高斯模型背景建模方法由Stauffer等提出。該方法為每個像素建立Q個高斯模型，一般Q取3～5，使模型克服外界環(huán)境影響。在背景無運(yùn)動物體的時候，連續(xù)采N幀圖像，用來實(shí)現(xiàn)對背景模型的初始化?；旌细咚鼓Ｐ捅尘敖！舅枷?.4基于混合高斯模型的背景建模Part119

混合高斯模型背景建?！舅枷?.4基于混合高斯模型的背景建模Part120

混合高斯模型背景建?！惴ú襟E1.4基于混合高斯模型的背景建模Part121

混合高斯模型背景建模——算法步驟1.4基于混合高斯模型的背景建模Part122

混合高斯模型背景建?！惴ú襟E1.4基于混合高斯模型的背景建模Part123

混合高斯模型背景建?！惴ú襟E1.4基于混合高斯模型的背景建模Part124

混合高斯模型背景建?！惴ú襟E1.4基于混合高斯模型的背景建模Part125背景提取效果示意圖如圖，測試所用視頻采集來自于某路口拍攝圖像序列，攝像機(jī)固定安裝在道路右側(cè)車道上方。使用前述MoG背景提取算法對背景進(jìn)行學(xué)習(xí)，學(xué)習(xí)速率α=0.002?；旌细咚鼓Ｐ捅尘敖！Ч?.4基于混合高斯模型的背景建模Part126混合高斯模型背景建模——效果光流估計(jì)基本光流方程Lucas-Kanade算法金字塔光流法Horn-Schunck算法2.1基本光流方程Part228人們觀察三維世界中目標(biāo)的運(yùn)動時，運(yùn)動目標(biāo)的輪廓會在人的視網(wǎng)膜上形成一系列連續(xù)變化的圖像，這些連續(xù)變化

的信息不斷地“流過”人眼視網(wǎng)膜（即圖像平面），就像一種光“流”過一樣，稱之為光流（opticalflow）。在視頻跟蹤領(lǐng)域，光流是指圖像中灰度模式的表面運(yùn)動，是物體的三維速度矢量在像平面上的投影，它表示物體在圖像中位置的瞬時變化。光流來源于仿生學(xué)思想，用于估計(jì)圖像序列中的每個像素在時間上的移動方向和速度。基本光流方程——基本思想2.1基本光流方程Part229光流法的基本假設(shè)是，相鄰幀之間圖像中像素的灰度值在短時間內(nèi)是保持穩(wěn)定的，即它們的移動量相對于幀間的時間變化而言很小。通過對相鄰幀之間的像素灰度值進(jìn)行比較，可以計(jì)算出每個像素的移動向量，即該像素從當(dāng)前幀到下一幀的位移量。計(jì)算得到的位移量可用于運(yùn)動估計(jì)、視頻穩(wěn)定、目標(biāo)跟蹤等視覺應(yīng)用?；竟饬鞣匠獭舅枷?.1基本光流方程Part230

基本光流方程——基本思想2.1基本光流方程Part231由此可以得到上式按照泰勒公式展開可得當(dāng)位移量dx，dy較小時，忽略二次及高次項(xiàng)，整理可得

基本光流方程——基本思想2.1基本光流方程Part232

基本光流方程——基本思想2.1基本光流方程Part233

基本光流方程——基本思想2.2Lucas-Kanade算法Part234Lucas-Kanade算法，簡稱L-K算法，最初于1981年由Lucas和Kanade二人提出。該算法假設(shè)在一個小的空間鄰域內(nèi)運(yùn)動矢量保持恒定，進(jìn)一步使用加權(quán)最小二乘法估計(jì)光流。由于該算法應(yīng)用于輸入圖像的一組點(diǎn)上時比較方便，因此被廣泛應(yīng)用于稀疏光流場計(jì)算。Lucas-Kanade算法——基本思想2.Lucas-Kanade算法Part235Lucas-Kanade算法，簡稱L-K算法，最初于1981年由Lucas和Kanade二人提出。該算法假設(shè)在一個小的空間鄰域內(nèi)運(yùn)動矢量保持恒定，進(jìn)一步使用加權(quán)最小二乘法估計(jì)光流。由于該算法應(yīng)用于輸入圖像的一組點(diǎn)上時比較方便，因此被廣泛應(yīng)用于稀疏光流場計(jì)算。Lucas-Kanade算法——基本思想2.2Lucas-Kanade算法Part236L-K算法的提出基于以下三個假設(shè)。亮度恒定不變。目標(biāo)像素在不同幀間運(yùn)動時特征保持不變，對于灰度圖，假設(shè)在整個被跟蹤期間像素亮度不變。時間連續(xù)或者運(yùn)動是“小運(yùn)動”。相鄰幀間的像素運(yùn)動較小，圖像運(yùn)動相對時間來說比較緩慢?？臻g一致。同一場景中同一表面上的鄰近點(diǎn)運(yùn)動情況相似，且這些點(diǎn)在圖像上的投影也在鄰近區(qū)域。Lucas-Kanade算法——假設(shè)2.2Lucas-Kanade算法Part237

Lucas-Kanade算法——估計(jì)光流2.2Lucas-Kanade算法Part238

Lucas-Kanade算法——估計(jì)光流2.2Lucas-Kanade算法Part239其中，Lucas-Kanade算法——估計(jì)光流2.2Lucas-Kanade算法Part240當(dāng)

A滿秩時，令

，可得最小二乘解：其中，+代表矩陣的Moore-Penrose廣義逆。Lucas-Kanade算法——估計(jì)光流2.2Lucas-Kanade算法Part241對一個旋轉(zhuǎn)的魔方使用L-K算法進(jìn)行運(yùn)動估計(jì)。（a）、（b）為魔方旋轉(zhuǎn)序列中的兩幅圖像。（c）是運(yùn)動估計(jì)后的結(jié)果。Lucas-Kanade算法——結(jié)果演示2.3金字塔光流法Part242當(dāng)像素運(yùn)動較大時，

假設(shè)無法滿足，需對原算法進(jìn)行改進(jìn)。金字塔光流法可對這一問題進(jìn)行有效處理。金字塔光流法使用圖像金字塔分解技術(shù)，將原始圖像分解成多個尺度，每個尺度都是原始圖像的縮小版本，然后在每個尺度上運(yùn)行Lucas-Kanade算法，以獲得更準(zhǔn)確的光流結(jié)果。金字塔光流法——基本思想2.3金字塔光流法Part243對原始圖像進(jìn)行金字塔分解，生成多個尺度上的圖像，通常上一層的尺度為下一層的二分之一。在最粗糙的尺度上運(yùn)行L-K算法，得到初始光流估計(jì)。從粗糙的尺度開始，向上逐步升級到較細(xì)的尺度。在每個尺度上，使用前一尺度的光流估計(jì)作為初始估計(jì)，并在該尺度上運(yùn)行L-K算法，以得到更精確的光流估計(jì)。將每個尺度上的光流估計(jì)組合起來，得到最終的光流向量。金字塔光流法——算法步驟2.3金字塔光流法Part244

金字塔光流法——算法步驟2.3金字塔光流法Part245對一個旋轉(zhuǎn)的魔方使用金字塔光流法進(jìn)行運(yùn)動估計(jì)。金字塔光流法——結(jié)果演示2.4Horn-Schunck算法Part246Horn-Schunck算法（簡稱H-S算法）的基本思想是在基本光流方程基礎(chǔ)上引入全局光流平滑約束假設(shè)，假設(shè)在整幅圖像上光流的變化是光滑的，即物體運(yùn)動矢量是平滑的或緩慢變化的，利用這一條件，在光流方程

的基礎(chǔ)上加入約束并構(gòu)造指標(biāo)泛函，使光流求解問題正則化。Horn-Schunck算法——基本思想2.4Horn-Schunck算法Part247

Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part248

Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part249

Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part250合并前兩個式子得：Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part251

Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part252

Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part253

Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part254

Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part255

Horn-Schunck算法——具體步驟2.4Horn-Schunck算法Part256Horn-Schunck算法——算法結(jié)果2.4Horn-Schunck算法Part257Horn-Schunck算法——算法結(jié)果H-S算法可產(chǎn)生更為稠密的光流估計(jì)結(jié)果，但L-K算法的結(jié)果已基本反映實(shí)際運(yùn)動情況，同時對噪聲（兩幅圖像背景處）更為穩(wěn)健。目標(biāo)跟蹤基本問題Meanshift算法KCF算法3.1基本問題Part359目標(biāo)跟蹤是一種實(shí)時自動跟蹤連續(xù)圖像序列或視頻中特定目標(biāo)的方法，旨在確定目標(biāo)在每個時刻的位置信息。其主要任務(wù)為，給定第k幀圖像中目標(biāo)的位置，輸出目標(biāo)在第k+1幀中的位置。如圖（a）中被檢測到的車輛在圖（b）中對應(yīng)的位置由方框標(biāo)出，不同車輛對應(yīng)關(guān)系通過左上角編號標(biāo)識。（a）原圖像（b）追蹤結(jié)果3.1基本問題Part360目標(biāo)跟蹤的難點(diǎn)在于需要適應(yīng)各種不同的環(huán)境、背景及不斷變化的目標(biāo)形態(tài)，同時滿足實(shí)時性要求。光線變化和目標(biāo)外觀的改變可能導(dǎo)致目標(biāo)丟失，或者產(chǎn)生目標(biāo)分離或連接等不良后果。此外，長時間遮擋、復(fù)雜背景、相機(jī)運(yùn)動、光照變化及持續(xù)跟蹤等也是目標(biāo)跟蹤需要考慮的因素。同時，復(fù)雜度過高的算法可能無法滿足實(shí)時性要求。因此，研究一種高實(shí)時性、高精度和高魯棒性的目標(biāo)跟蹤算法顯得尤為重要。3.2Meanshift算法Part361Meanshift算法是一種基于均值漂移的目標(biāo)跟蹤方法，通過計(jì)算像素特征概率來比較上一幀的目標(biāo)模型與當(dāng)前幀的候選模型。該算法利用相似性度量函數(shù)選取最相似的候選模型，沿著得到的Meanshift向量移動目標(biāo)位置，并通過不斷迭代使算法收斂到目標(biāo)位置。

Meanshift作為一種多功能數(shù)據(jù)分析方法，被應(yīng)用于眾多領(lǐng)域。它旨在從數(shù)據(jù)密度分布中尋找局部最大值。對于連續(xù)數(shù)據(jù)分布，處理過程相對簡單，僅需將爬山算法應(yīng)用于數(shù)據(jù)密度直方圖。由于Meanshift算法在統(tǒng)計(jì)意義上排除了數(shù)據(jù)中的離群值，即與數(shù)據(jù)峰值距離較遠(yuǎn)的點(diǎn)，它被視為一種穩(wěn)定的方法。該算法僅處理局部窗口內(nèi)的數(shù)據(jù)點(diǎn)，并在處理結(jié)束后轉(zhuǎn)移窗口。Meanshift算法——基本思想3.2Meanshift算法Part362Meanshift算法包含以下步驟。選定搜索窗口，包括窗口的初始位置、種類（均勻、多項(xiàng)式、指數(shù)、高斯）、形態(tài)（對稱、非對稱、旋轉(zhuǎn)、圓形、矩形）及尺寸（窗口外的數(shù)據(jù)將被忽略）。計(jì)算帶權(quán)重窗口的質(zhì)心。將窗口中心置于計(jì)算出的質(zhì)心位置?；氐降冖诓剑貜?fù)執(zhí)行，直至窗口位置保持不變（通常會達(dá)到這一狀態(tài)）。Meanshift算法——算法步驟3.2Meanshift算法Part363

Meanshift算法——算法步驟3.2Meanshift算法Part364Meanshift算法與核密度估計(jì)息息相關(guān)。在這里，“核”是一種局部函數(shù)，如高斯分布。如果有足夠多的點(diǎn)上具有適當(dāng)?shù)臋?quán)重和尺度的核，數(shù)據(jù)分布就可以完全依據(jù)這些核進(jìn)行描述。與核密度估計(jì)不同，Meanshift算法只估計(jì)數(shù)據(jù)分布的梯度（即變化方向）。梯度為零的位置一般表示分布的頂峰（雖然可能是局部的）。當(dāng)然，在其他位置或尺度上也可能存在頂峰。Meanshift算法——核密度估計(jì)3.2Meanshift算法Part365Meanshift算法中的核心公式就是矩陣的核，它將Meanshift向量等式簡化為計(jì)算圖像像素分布的重心：其中，零階矩和一階矩的計(jì)算方法如下：Meanshift算法——核密度估計(jì)3.2Meanshift算法Part366計(jì)算得到的Meanshift向量告訴我們?nèi)绾螌eanshift窗口的中心重新移動到由計(jì)算得出的此窗口的重心的位置。顯然，窗口的移動造成了窗口內(nèi)容的改變，于是我們又重復(fù)剛才重新定位窗口中心的步驟。窗口中心重定位的過程通常會收斂到Meanshift向量為0（也就是窗口不再移動）。收斂的位置在窗口中像素分布的局部最大值（峰值）處。由于峰值本身是一個對尺度變化敏感的量，因此窗口的大小不同，峰值的位置也不一樣。Meanshift算法——核密度估計(jì)3.2Meanshift算法Part367Meanshift算法——算法流程圖3.2Meanshift算法Part368Meanshift算法——效果演示

（a）Meanshift追蹤圖片1

（b）Meanshift追蹤圖片23.2Meanshift算法Part369Meanshift算法——效果演示

（a）Meanshift追蹤圖片1

（b）Meanshift追蹤圖片23.3KCF

算法Part370KCF（核相關(guān)濾波）算法是圖像跟蹤的一類快速有效的方法，可在背景運(yùn)動甚至劇烈干擾時仍有效完成實(shí)時目標(biāo)跟蹤。其基本思想是，在當(dāng)前圖像中找到與待跟蹤目標(biāo)最“相關(guān)”的區(qū)域；“相關(guān)”可以通過良好設(shè)計(jì)的相關(guān)濾波器實(shí)現(xiàn)，即設(shè)計(jì)一個濾波模板，使得當(dāng)它作用在跟蹤目標(biāo)上時，得到的響應(yīng)最大。KCF算法——基本思想3.3KCF

算法Part371

KCF算法——基本思想3.3KCF

算法Part372KCF算法中的兩個關(guān)鍵問題是，如何設(shè)計(jì)濾波模板，確保在目標(biāo)變化及環(huán)境干擾時仍具有很好的跟蹤性能；如何確定輸出“最大”的相應(yīng)位置。KCF使用核相關(guān)濾波器實(shí)現(xiàn)跟蹤算法，核相關(guān)濾波器是目前最為成功的跟蹤器之一，在公開數(shù)據(jù)集上有著很好的跟蹤效果，同時速度快，便于實(shí)時跟蹤處理。KCF算法——基本思想3.3KCF

算法Part373

KCF算法——嶺回歸3.3KCF

算法Part374

KCF算法——嶺回歸3.3KCF

算法Part375

KCF算法——嶺回歸3.3KCF

算法Part376當(dāng)信號為二維圖像時，則移動包含x和y方向，如圖所示。其中，圖（c）為基準(zhǔn)樣本，其他為基準(zhǔn)樣本移動不同位移后產(chǎn)生的樣本。KCF算法——嶺回歸3.3KCF

算法Part377

KCF算法——嶺回歸3.3KCF

算法Part378因此，上述線性回歸的解的傅里葉變換可以表示為KCF算法——嶺回歸3.3KCF

算法Part379在實(shí)際應(yīng)用中，嶺回歸算法難以解決復(fù)雜輸入導(dǎo)致的線性不可分的問題。為了解決這一問題。需要使用非線性回歸的方法，將原始的特征空間映射到高維甚至無窮維的空間中，從而使得原本線性不可分的數(shù)據(jù)變?yōu)榫€性可分。KCF算法——非線性回歸3.3KCF

算法Part380然而在高維空間Z下計(jì)算內(nèi)積十分復(fù)雜，如果升維到無窮維，甚至?xí)o法計(jì)算。針對這一問題，可以使用核技巧通過核函數(shù)隱式地將

X

空間映射到Z空間，從而實(shí)現(xiàn)內(nèi)積的快速運(yùn)算，如下所示：其中，

為內(nèi)積運(yùn)算；

為核函數(shù)，其選取原則就是使樣本在升維后的空間中變得線性可分。KCF算法——非線性回歸3.3KCF

算法Part381

KCF算法——非線性回歸3.3KCF

算法Part382

KCF算法——非線性回歸3.3KCF

算法Part383

KCF算法——非線性回歸3.3KCF

算法Part384

KCF算法——非線性回歸3.3KCF

算法Part385當(dāng)輸入圖像為多通道（彩色圖、特征圖）時，核相關(guān)的計(jì)算公式為：

KCF算法——非線性回歸3.3KCF

算法Part386

KCF算法——算法步驟3.3KCF

算法Part387

KCF算法——非線性回歸3.3KCF

算法Part388

KCF算法——非線性回歸3.3KCF

算法Part389

KCF算法——應(yīng)用示例運(yùn)動模型與濾波運(yùn)動模型卡爾曼濾波粒子濾波4.1運(yùn)動模型Part491在目標(biāo)檢測跟蹤系統(tǒng)中，需要建立被跟蹤對象合適的運(yùn)動模型，進(jìn)一步對運(yùn)動模型參數(shù)進(jìn)行估計(jì)，并對未來狀態(tài)進(jìn)行預(yù)測。本節(jié)先介紹常用的運(yùn)動模型，再介紹卡爾曼濾波和粒子濾波的基礎(chǔ)理論與基本原理。4.1運(yùn)動模型Part492在實(shí)際中，目標(biāo)的運(yùn)動軌跡經(jīng)常用二次（勻速運(yùn)動）和三次（勻加速運(yùn)動）的多項(xiàng)式模型描述。恒速運(yùn)動模型是常用模型之一，即假設(shè)相鄰幀時間間隔足夠短，目標(biāo)運(yùn)動速度近似不變。設(shè)特征坐標(biāo)

，則勻速運(yùn)動可由下式描述：記速度為

。對方程積分可得4.1運(yùn)動模型Part493定義狀態(tài)向量可得離散狀態(tài)方程式中4.1運(yùn)動模型Part494事實(shí)上，速度不可能一直保持恒定。設(shè)

時刻速度增量為

，則位置增量為

。因此，目標(biāo)運(yùn)動模型模型可用下列狀態(tài)方程描述：式中4.1運(yùn)動模型Part495系統(tǒng)觀測狀態(tài)由目標(biāo)識別跟蹤算法確定，觀測矩陣為：增量

和量測噪聲

可描述為零均值白噪聲序列，則

，

應(yīng)該和

在同一數(shù)量級，實(shí)際中一般取

。

定義為各元素絕對值的最大值，根據(jù)目標(biāo)運(yùn)動速度決定。

由目標(biāo)檢測算法精度決定。4.2卡爾曼濾波Part496卡爾曼濾波（KalmanFiltering）是一種經(jīng)典的最優(yōu)狀態(tài)估計(jì)與濾波方法，它可以處理包含噪聲的量測數(shù)據(jù)，以提取出真實(shí)的狀態(tài)信息。卡爾曼濾波的核心思想是利用系統(tǒng)的動態(tài)模型和觀測數(shù)據(jù)，對系統(tǒng)狀態(tài)進(jìn)行預(yù)測和校正，即利用前一時刻的估計(jì)值和現(xiàn)時刻的量測值來更新對狀態(tài)變量的估計(jì)，求出現(xiàn)時刻的估計(jì)值。由于其原理清晰，易于實(shí)現(xiàn)，并且具有最小方差誤差估計(jì)特性，因此在運(yùn)動跟蹤領(lǐng)域得到了廣泛應(yīng)用。

卡爾曼濾波——線性卡爾曼濾波4.2卡爾曼濾波Part497卡爾曼濾波包含預(yù)測與更新兩個步驟。其中，預(yù)測步驟可以理解為根據(jù)系統(tǒng)過去狀態(tài)和估計(jì)系統(tǒng)模型，推導(dǎo)此刻系統(tǒng)的狀態(tài)；更新步驟可以理解為比較此刻預(yù)測的系統(tǒng)狀態(tài)和傳感器的量測值，對預(yù)測的系統(tǒng)狀態(tài)進(jìn)行修正。

卡爾曼濾波——線性卡爾曼濾波4.2卡爾曼濾波Part498

卡爾曼濾波——線性卡爾曼濾波4.2卡爾曼濾波Part499

卡爾曼濾波——線性卡爾曼濾波4.2卡爾曼濾波Part4100

卡爾曼濾波——線性卡爾曼濾波4.2卡爾曼濾波Part4101

卡爾曼濾波——線性卡爾曼濾波4.3粒子濾波Part4102

粒子濾波——基本原理4.2卡爾曼濾波Part4103

卡爾曼濾波——線性卡爾曼濾波4.2卡爾曼濾波Part4104

卡爾曼濾波——線性卡爾曼濾波4.2卡爾曼濾波Part4105卡爾曼濾波——線性卡爾曼濾波流程4.2卡爾曼濾波Part4106

卡爾曼濾波——線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4107根據(jù)卡爾曼濾波基本方程得到對狀態(tài)的估計(jì)值?？柭鼮V波——線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4108經(jīng)典的卡爾曼濾波僅適用于線性系統(tǒng)，且誤差應(yīng)符合理想高斯分布。然而在實(shí)際中，系統(tǒng)的狀態(tài)和測量模型不再是線性的，例如，狀態(tài)方程是非線性的或者觀測與狀態(tài)之間的關(guān)系是非線性的，這時標(biāo)準(zhǔn)卡爾曼濾波不再適用。在實(shí)際應(yīng)用里，解決非線性濾波問題往往采用各種線性近似的方法，將非線性關(guān)系進(jìn)行線性近似，將其轉(zhuǎn)化成線性問題。卡爾曼濾波——非線性卡爾曼濾波4.2卡爾曼濾波Part4109非線性卡爾曼濾波對標(biāo)準(zhǔn)卡爾曼濾波算法進(jìn)行了擴(kuò)展，使之能處理非線性模型。擴(kuò)展卡爾曼濾波（ExtendedKalmanFiltering，EKF）就是一種使用廣泛的非線性卡爾曼濾波方法，對非線性狀態(tài)轉(zhuǎn)移函數(shù)和非線性觀測函數(shù)進(jìn)行一階泰勒展開，并用得到的一階近似項(xiàng)作為原狀態(tài)方程和觀測方程近似表達(dá)形式，從而實(shí)現(xiàn)線性化，同時假定線性化后的狀態(tài)依然服從理想高斯分布，最后對線性化后的系統(tǒng)采用標(biāo)準(zhǔn)卡爾曼濾波獲得狀態(tài)估計(jì)。盡管比線性卡爾曼濾波更復(fù)雜，但它可以更準(zhǔn)確地估計(jì)非線性系統(tǒng)狀態(tài)，因此應(yīng)用場景更為廣泛。卡爾曼濾波——非線性卡爾曼濾波4.2卡爾曼濾波Part4110

卡爾曼濾波——非線性卡爾曼濾波4.2卡爾曼濾波Part4111和線性系統(tǒng)的情況一樣，我們可以得到擴(kuò)展卡爾曼濾波算法如下：卡爾曼濾波——非線性卡爾曼濾波4.2卡爾曼濾波Part4112

卡爾曼濾波——非線性卡爾曼濾波4.2卡爾曼濾波Part4113二維平面小車的運(yùn)動估計(jì)，采用一個簡單的非線性勻轉(zhuǎn)速勻速度（CTRV）模型來描述小車，假設(shè)觀察到的狀態(tài)變量為：分別代表平面上的二維空間坐標(biāo)、速度、角速度和轉(zhuǎn)速，如下圖所示卡爾曼濾波——非線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4114卡爾曼濾波——非線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4115可得到系統(tǒng)的狀態(tài)轉(zhuǎn)移方程：卡爾曼濾波——非線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4116假設(shè)可以觀測的狀態(tài)量為二維平面坐標(biāo)：則觀測矩陣為：卡爾曼濾波——非線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4117同時也可得到系統(tǒng)的雅可比矩陣和系統(tǒng)誤差分別為：卡爾曼濾波——非線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4118將上述模型代入擴(kuò)展卡爾曼濾波算法，為了對比效果，分別采用上述CTRV模型與EKF算法、線性勻速度（CV）模型與標(biāo)準(zhǔn)卡爾曼濾波算法進(jìn)行驗(yàn)證。得到的仿真結(jié)果如下圖所示，其中，紅色軌跡為小車真實(shí)軌跡，綠色實(shí)線為CTRV模型估計(jì)小車軌跡，藍(lán)色實(shí)線為CV模型估計(jì)小車的軌跡?？梢钥闯?，CTRV模型結(jié)合EKF算法的預(yù)測效果更優(yōu)，更貼近真值?？柭鼮V波——非線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4119卡爾曼濾波——非線性卡爾曼濾波實(shí)例4.2卡爾曼濾波Part4120卡爾曼濾波——非線性卡爾曼濾波實(shí)例4.3粒子濾波Part4121非線性卡爾曼濾波可進(jìn)行非線性運(yùn)動預(yù)測，但要求系統(tǒng)狀態(tài)和測量函數(shù)連續(xù)可微，實(shí)際系統(tǒng)可能無法滿足。由于對非線性函數(shù)進(jìn)行了一階近似，同時需要計(jì)算雅可比矩陣，容易產(chǎn)生精度下降甚至發(fā)散的問題。粒子濾波則為解決這些問題提供了一類有效的方法。粒子濾波——基本原理4.3粒子濾波Part4122粒子濾波（ParticleFilter，PF）建立在蒙特卡洛模擬方法的基礎(chǔ)上。蒙特卡洛模擬指利用所求狀態(tài)空間中大量的樣本點(diǎn)來近似逼近待估計(jì)變量的后驗(yàn)概率分布，從而將積分問題轉(zhuǎn)換為有限樣本點(diǎn)的求和問題。然而在實(shí)際計(jì)算中，通常無法直接從后驗(yàn)概率分布中采樣，如何得到服從后驗(yàn)概率分布的隨機(jī)樣本是蒙特卡洛模擬方法中的基本問題之一。為解決上述問題，重要性采樣法引入一個已知的、容易采樣的重要性概率密度函數(shù)并從中生成采樣粒子，利用這些隨機(jī)樣本的加權(quán)和來逼近后驗(yàn)濾波概率密度。簡言之，粒子濾波算法是利用一系列隨機(jī)樣本的加權(quán)和表示后驗(yàn)概率密度，通過求和來近似積分操作。粒子濾波——基本原理4.3粒子濾波Part4123

粒子濾波——基本原理4.3粒子濾波Part4124

粒子濾波——基本原理4.3粒子濾波Part4125

粒子濾波——基本原理4.3粒子濾波Part4126在基于重要性采樣的蒙特卡洛模擬方法中，估計(jì)后驗(yàn)概率需要利用所有的觀測數(shù)據(jù)，每次新的觀測數(shù)據(jù)到來都需要重新計(jì)算整個狀態(tài)序列的重要性權(quán)值。序貫重要性采樣將統(tǒng)計(jì)學(xué)中的序貫分析方法應(yīng)用到蒙特卡洛模擬方法中，從而實(shí)現(xiàn)后驗(yàn)概率的遞推估計(jì)。

粒子濾波——基本原理4.3粒子濾波Part4127假設(shè)重要性概率密度函數(shù)

可以分解為

設(shè)系統(tǒng)狀態(tài)是一個馬爾可夫過程且給定系統(tǒng)狀態(tài)下各次觀測獨(dú)立，則有

粒子濾波——基本原理4.3粒子濾波Part4128其遞歸形式可以表示為

粒子濾波——基本原理4.3粒子濾波Part4129

粒子濾波——基本原理4.3粒子濾波Part4130序貫重要性采樣算法從重要性概率密度函數(shù)中生成采樣粒子，并隨著量測值的依次到來遞推求得相應(yīng)的權(quán)值，最終以粒子加權(quán)和的形式描述后驗(yàn)濾波概率密度，進(jìn)而得到狀態(tài)估計(jì)。與常規(guī)濾波方法相比，粒子濾波具有非參數(shù)化的特點(diǎn)，能表達(dá)比高斯模型更廣泛的分布，同時也對參數(shù)的非線性特性具有更強(qiáng)的建模能力，因此廣泛用于解決狀態(tài)估計(jì)和運(yùn)動估計(jì)問題。權(quán)值歸一化處理

粒子濾波——基本原理4.3粒子濾波Part4131

粒子濾波——應(yīng)用實(shí)例4.3粒子濾波Part4132

粒子濾波——應(yīng)用實(shí)例4.3粒子濾波Part4133（2）目標(biāo)位置測量小車運(yùn)動達(dá)到下一位置后，傳感器對當(dāng)前位置進(jìn)行測量，并得到包含量測噪聲的位置數(shù)據(jù)。

（3）計(jì)算粒子權(quán)重把粒子群中的全部粒子逐個代入小車的運(yùn)動方程，得到粒子群的下一步位置。同時計(jì)算每個粒子的位置和測量得到的小車位置，按照兩個位置間距離的不同給每個粒子添加一個權(quán)重，用于重采樣。距離越近，權(quán)值越大；可使用高斯函數(shù)等根據(jù)距離遠(yuǎn)近計(jì)算權(quán)值。得到全部粒子的權(quán)值后進(jìn)行歸一化。

粒子濾波——應(yīng)用實(shí)例4.3粒子濾波Part4134（4）重采樣在具有新的權(quán)值的所有粒子中重采樣出N個新粒子。權(quán)值大的會被多次采樣到，權(quán)值小的可能被丟棄。

重復(fù)步驟（2）～（4），粒子群的幾何中心就是需要的最優(yōu)估計(jì)位置。粒子群隨時間迭代的演化結(jié)果，以及小車真實(shí)運(yùn)動軌跡、測量軌跡和粒子群幾何中心軌跡對比圖如下?？梢悦黠@看出，粒子濾波的估計(jì)位置逐步收斂于真值

粒子濾波——應(yīng)用實(shí)例4.3粒子濾波Part4135（4）重采樣在具有新的權(quán)值的所有粒子中重采樣出N個新粒子。權(quán)值大的會被多次采樣到，權(quán)值小的可能被丟棄。

重復(fù)步驟（2）～（4），粒子群的幾何中心就是需要的最優(yōu)估計(jì)位置。粒子群隨時間迭代的演化結(jié)果，以及小車真實(shí)運(yùn)動軌跡、測量軌跡和粒子群幾何中心軌跡對比圖如下?？梢悦黠@看出，粒子濾波的估計(jì)位置逐步收斂于真值

粒子濾波——應(yīng)用實(shí)例4.3粒子濾波Part4136

粒子群迭代演化結(jié)果4.3粒子濾波Part4137

真實(shí)運(yùn)動軌跡、測量軌跡和粒子群幾何中心軌跡對比感謝各位的聆聽！機(jī)器視覺與智能系統(tǒng)：7.單目位姿測量與標(biāo)定相機(jī)參數(shù)標(biāo)定單目視覺相對位姿測量

坐標(biāo)系與成像模型總結(jié)課程中位置141三維視覺運(yùn)動估計(jì)相機(jī)標(biāo)定位姿估計(jì)特征提取邊緣檢測圖像分割圖像預(yù)處理圖像采集坐標(biāo)系與成像模型坐標(biāo)系定義與坐標(biāo)變換線性成像模型非線性畸變模型1.1坐標(biāo)系定義與坐標(biāo)變換Part1143

1.1坐標(biāo)系定義與坐標(biāo)變換Part1144

世界坐標(biāo)系（慣性坐標(biāo)系）是位姿測量的參考系，相對于環(huán)境固定不變。測量時需先確定該坐標(biāo)系，有時可選對象獲取第一幀圖像時的本體坐標(biāo)系作為世界坐標(biāo)系。

1.1坐標(biāo)系定義與坐標(biāo)變換Part1145坐標(biāo)轉(zhuǎn)換：

1.1坐標(biāo)系定義與坐標(biāo)變換Part1146坐標(biāo)轉(zhuǎn)換：

1.2線性成像模型Part1147

1、相機(jī)模型描述相機(jī)將三維世界的點(diǎn)映射到二維平面上的原理，相機(jī)模型的種類很多，針對單目相機(jī)通常采用理想透視模型，又稱線性成像模型。

2、線性成像模型采用小孔成像原理。根據(jù)該現(xiàn)象對小孔模型進(jìn)行幾何建模。線性成像模型——相機(jī)坐標(biāo)系到圖像坐標(biāo)系

1.2線性成像模型Part11483、由三角形的相似關(guān)系可得：線性成像模型——相機(jī)坐標(biāo)系到圖像坐標(biāo)系

1.2線性成像模型Part1149

4、一般情況下，相機(jī)會自動進(jìn)行圖像的反轉(zhuǎn)從而得到正像。為了成像平面中的圖像與相機(jī)獲取的圖像正反保持一致，將成像平面變換到三維空間點(diǎn)與相機(jī)坐標(biāo)系之間，即圖中的虛線平面。

齊次坐標(biāo)的形式：線性成像模型——相機(jī)坐標(biāo)系到圖像坐標(biāo)系

1.2線性成像模型Part1150線性成像模型——相機(jī)坐標(biāo)系到像素坐標(biāo)系

1.2線性成像模型Part1151線性成像模型——相機(jī)坐標(biāo)系到像素坐標(biāo)系點(diǎn)的深度信息：

1.2線性成像模型Part1152線性成像模型——世界坐標(biāo)系到像素坐標(biāo)系坐標(biāo)轉(zhuǎn)換：利用世界坐標(biāo)系到相機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系及相機(jī)坐標(biāo)系到像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，易得：

或記為：

1.3非線性畸變模型Part1153相機(jī)的畸變——徑向畸變徑向畸變公式：

1.3非線性畸變模型Part1154相機(jī)的畸變——切向畸變切向畸變公式：切向畸變：

相機(jī)的切向畸變是相機(jī)組裝過程中無法保證透鏡平面與成像平面之間相互平行所導(dǎo)致的圖像失真。

1.3非線性畸變模型Part1155相機(jī)的畸變結(jié)合兩種畸變即可獲得相機(jī)的畸變模型如下式所示：

單目視覺相對位姿測量P3P問題求解PnP問題通用線性求解改進(jìn)的PnP問題求解結(jié)果優(yōu)化2.1P3P問題求解Part2157P3P是PnP問題中的一種求解方法，它只需利用3個特征點(diǎn)便可以求出相機(jī)的相對位姿。在相機(jī)坐標(biāo)系下，三維空間的特征點(diǎn)及其在成像平面中的投影可以表示為下圖所示。特征點(diǎn)在相機(jī)坐標(biāo)系與投影平面中的關(guān)系2.1P3P問題求解Part2158

特征點(diǎn)在相機(jī)坐標(biāo)系與投影平面中的關(guān)系P3P問題求解2.1P3P問題求解Part2159

特征點(diǎn)在相機(jī)坐標(biāo)系與投影平面中的關(guān)系P3P問題求解、，

2.1P3P問題求解Part2160P3P問題求解、，

ICP算法的核心思想：構(gòu)建最小二乘問題：3D-3D位姿求解通常采用ICP（IterativeClosestPoint）算法該求解方法存在只利用了3對點(diǎn)的信息，即使有更多的匹配點(diǎn)存在也很難利用其他的匹配信息。在2D或3D點(diǎn)受到噪聲干擾，或者特征點(diǎn)出現(xiàn)匹配錯誤都將會使算法失效。2.2PnP問題通用線性求解Part2161PnP問題的數(shù)學(xué)描述線性化求解PnP問題

2.2PnP問題通用線性求解Part2162線性化求解PnP問題

最后一式代入前兩式，可得到兩個約束方程：

2.2PnP問題通用線性求解Part2163線性化求解PnP問題上式中，

T中有12個未知參數(shù)，最少需要6對非共面的匹配點(diǎn)才可實(shí)現(xiàn)對相機(jī)位姿矩陣的求解。假設(shè)通過特征匹配得到N（N>=6）對特征點(diǎn)，則T的約束方程可表示為下式:2.2PnP問題通用線性求解Part2164線性化求解PnP問題

該方程為超定方程，可使用SVD法求解該方程組的最小二乘解。當(dāng)N=6的時候可以直接解出線性方程組；2.2PnP問題通用線性求解Part2165線性化求解PnP問題

當(dāng)N≥6時，這是一個超定方程，沒有精確解，令對A進(jìn)行SVD，有

V的最后一列就是所求解。2.2PnP問題通用線性求解Part2166線性化求解PnP問題

此時式

變?yōu)?/p>

2.2PnP問題通用線性求解Part2167線性化求解PnP問題式中待求解未知數(shù)減少為9個。注意到等式右側(cè)為0，可消去一未知數(shù)，因此最終求解8個未知數(shù)，當(dāng)N≥4時，同樣可利用SVD方法進(jìn)行求解。

2.2PnP問題通用線性求解Part2168線性化求解PnP問題

2.3改進(jìn)的PnP問題求解Part2169問題介紹EPnP算法是一種改進(jìn)的PnP算法，用于減少特征點(diǎn)采集噪聲帶來的誤差。其核心思想是：通過參考點(diǎn)計(jì)算4個控制點(diǎn)的坐標(biāo)，并利用它們在世界坐標(biāo)系、相機(jī)坐標(biāo)系和像素坐標(biāo)系下的關(guān)系，求解參考點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)。最后，通過SVD分解求解相機(jī)相對世界坐標(biāo)系的位姿變換矩陣。

EPnP算法的基礎(chǔ)是，參考點(diǎn)關(guān)于控制點(diǎn)在世界坐標(biāo)系和相機(jī)坐標(biāo)系下的組合系數(shù)相同。2.3改進(jìn)的PnP問題求解Part2170問題介紹

該點(diǎn)在相機(jī)坐標(biāo)系下表示為2.3改進(jìn)的PnP問題求解Part2171EPnP算法

進(jìn)而定義矩陣2.3改進(jìn)的PnP問題求解Part2172EPnP算法

2.3改進(jìn)的PnP問題求解Part2173EPnP算法計(jì)算參考點(diǎn)的權(quán)值

其中：2.3改進(jìn)的PnP問題求解Part2174EPnP算法計(jì)算參考點(diǎn)的權(quán)值使用齊次坐標(biāo)將其表示為：

2.3改進(jìn)的PnP問題求解Part2175EPnP算法建立參考點(diǎn)由相機(jī)坐標(biāo)系到像素坐標(biāo)系的投影方程

2.3改進(jìn)的PnP問題求解Part2176EPnP算法建立參考點(diǎn)由相機(jī)坐標(biāo)系到像素坐標(biāo)系的投影方程將上式中的最后一個等式代入前兩個等式可得：2.3改進(jìn)的PnP問題求解Part2177EPnP算法求解控制點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)

其中：2.3改進(jìn)的PnP問題求解Part2178EPnP算法求解控制點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)

2.3改進(jìn)的PnP問題求解Part2179EPnP算法求解控制點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)

2.3改進(jìn)的PnP問題求解Part2180EPnP算法計(jì)算相機(jī)的位姿變換計(jì)算參考點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)值：

2.3改進(jìn)的PnP問題求解Part2181EPnP算法計(jì)算相機(jī)的位姿變換

計(jì)算位姿旋轉(zhuǎn)矩陣和平移向量：2.4結(jié)果優(yōu)化Part2182相機(jī)位姿問題構(gòu)建2D-3D求解相機(jī)位姿問題還可以構(gòu)建為一個關(guān)于重投影誤差的非線性最小二乘問題特征點(diǎn)的重投影誤差

2.4結(jié)果優(yōu)化Part2183相機(jī)位姿問題構(gòu)建位姿估計(jì)結(jié)果優(yōu)化

相機(jī)參數(shù)標(biāo)定張正友平面標(biāo)定法標(biāo)定步驟3.1張正友平面標(biāo)定法Part3185張正友標(biāo)定法基本思想張正友平面標(biāo)定法在考慮相機(jī)畸變的基礎(chǔ)上，先估計(jì)無畸變情況下的內(nèi)參和外參，再用最小二乘法估計(jì)畸變系數(shù)，最后通過極大似然法優(yōu)化結(jié)果，提高標(biāo)定精度。3.1張正友平面標(biāo)定法Part3186張正友標(biāo)定法原理推導(dǎo)對某一位姿拍攝的圖像進(jìn)行特征提取，獲取多個特征角點(diǎn)[R,t]3.1張正友平面標(biāo)定法Part3187張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3188張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3189張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3190張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3191張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3192張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3193張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3194張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3195張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3196張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3197張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3198張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3199張正友標(biāo)定法原理推導(dǎo)

3.1張正友平面標(biāo)定法Part3200張正友標(biāo)定法原理推導(dǎo)

3.2標(biāo)定步驟Part3201（1）選擇標(biāo)定圖案并制作標(biāo)定板

常見標(biāo)定板包括棋盤格標(biāo)定板、同心圓標(biāo)定板。不同標(biāo)定板均使用其中的點(diǎn)特征，棋盤格中為黑白格交點(diǎn)，同心圓中則為圓心位置。特征點(diǎn)在棋盤上的坐標(biāo)精確已知。a)棋盤格標(biāo)定板b)同心圓定板3.2標(biāo)定步驟Part3202（2）移動相機(jī)或移動標(biāo)定板在不同的位姿拍攝多幅標(biāo)定板圖像

張正友平面標(biāo)定法要求至少拍攝3幅，實(shí)際上，為得到更為準(zhǔn)確的標(biāo)定結(jié)果，需要拍攝十幾到幾十幅圖像，且各圖像位姿要有一定差別，如圖所示。3.2標(biāo)定步驟Part3203（3）在所有圖像上檢測特征點(diǎn)，獲得特征點(diǎn)坐標(biāo)集合下圖展示了對某幅標(biāo)定板圖像檢測得到的特征點(diǎn)，以紅色小十字標(biāo)出。3.2標(biāo)定步驟Part3204（4）求解相機(jī)內(nèi)參和對應(yīng)所有圖像的外參利用3.1節(jié)的公式求解相機(jī)內(nèi)參和對應(yīng)所有圖像的外參。下圖可視化地展示了所有拍攝位置相機(jī)外參的計(jì)算結(jié)果，在圖中以帶標(biāo)號的不同顏色平面網(wǎng)格標(biāo)出，每一網(wǎng)格對應(yīng)一幅標(biāo)定圖像?？偨Y(jié)4.1總結(jié)Part4206可通過線性相機(jī)模型描述三維空間點(diǎn)到二維像平面投影點(diǎn)的關(guān)系。在已知相機(jī)內(nèi)參數(shù)和一組特征點(diǎn)在世界坐標(biāo)系下坐標(biāo)的條件下，可使用PnP算法估計(jì)世界坐標(biāo)系與相機(jī)坐標(biāo)系之間的相對位姿。使用EPnP算法可獲得對噪聲更為魯棒的結(jié)果。使用張正友法，可通過在不同位姿拍攝的多組標(biāo)定板圖像，確定相機(jī)的線性內(nèi)參及非線性畸變系數(shù)。感謝各位的聆聽！機(jī)器視覺：8.多視圖幾何與三維重構(gòu)圖像拼接雙目立體視覺系統(tǒng)運(yùn)動恢復(fù)結(jié)構(gòu)三維重構(gòu)極線幾何與基礎(chǔ)矩陣總結(jié)極線幾何與基礎(chǔ)矩陣極線幾何本質(zhì)矩陣基礎(chǔ)矩陣基礎(chǔ)矩陣的求解方法1.2本質(zhì)矩陣Part1211本質(zhì)矩陣對歸一化相機(jī)拍攝的兩個視點(diǎn)圖像之間的極線幾何關(guān)系進(jìn)行代數(shù)描述。歸一化相機(jī)的內(nèi)參矩陣為單位矩陣，即本質(zhì)矩陣——概念

1.2本質(zhì)矩陣Part1212向量叉乘可通過下式重新定義：本質(zhì)矩陣——數(shù)學(xué)知識

1.2本質(zhì)矩陣Part1213假設(shè)兩個相機(jī)均為歸一化相機(jī)，相機(jī)的內(nèi)參矩陣均為單位矩陣。因此，像素坐標(biāo)和空間點(diǎn)坐標(biāo)的關(guān)系如下：本質(zhì)矩陣——推導(dǎo)

因此，像素坐標(biāo)系的齊次坐標(biāo)與空間點(diǎn)在相機(jī)坐標(biāo)系下的非齊次坐標(biāo)相同。1.2本質(zhì)矩陣Part1214

本質(zhì)矩陣——推導(dǎo)本質(zhì)矩陣1.2本質(zhì)矩陣Part1215

本質(zhì)矩陣——推導(dǎo)

1.2本質(zhì)矩陣Part1216結(jié)論本質(zhì)矩陣——推導(dǎo)

1.2本質(zhì)矩陣Part1217結(jié)論本質(zhì)矩陣——推導(dǎo)

1.3基礎(chǔ)矩陣Part1218基礎(chǔ)矩陣對一般透視相機(jī)拍攝的兩個視點(diǎn)的圖像之間的極線幾何關(guān)系進(jìn)行代數(shù)描述。與本質(zhì)矩陣不同的是，基礎(chǔ)矩陣對相機(jī)的內(nèi)參矩陣沒有要求?；A(chǔ)矩陣——概念1.3基礎(chǔ)矩陣Part1219求解基礎(chǔ)矩陣的思路是將其變換到歸一化相機(jī)上。基礎(chǔ)矩陣——推導(dǎo)

1.3基礎(chǔ)矩陣Part1220結(jié)論基礎(chǔ)矩陣——推導(dǎo)

1.3基礎(chǔ)矩陣Part1221

基礎(chǔ)矩陣——小結(jié)1.4基礎(chǔ)矩陣的求解方法Part1222

基礎(chǔ)矩陣——八點(diǎn)法求解

1.4基礎(chǔ)矩陣的求解方法Part1223

基礎(chǔ)矩陣——八點(diǎn)法求解

1.4基礎(chǔ)矩陣的求解方法Part1224

基礎(chǔ)矩陣——八點(diǎn)法求解1.4基礎(chǔ)矩陣的求解方法Part1225

基礎(chǔ)矩陣——?dú)w一化八點(diǎn)法求解1.4基礎(chǔ)矩陣的求解方法Part1226基礎(chǔ)矩陣——?dú)w一化八點(diǎn)法求解

運(yùn)動恢復(fù)結(jié)構(gòu)運(yùn)動恢復(fù)結(jié)構(gòu)問題歐式結(jié)構(gòu)恢復(fù)透視結(jié)構(gòu)恢復(fù)N視圖的運(yùn)動恢復(fù)結(jié)構(gòu)問題2.1運(yùn)動恢復(fù)結(jié)構(gòu)問題Part2228

問題描述2.1運(yùn)動恢復(fù)結(jié)構(gòu)問題Part2229在三維重構(gòu)及SLAM領(lǐng)域，常用的運(yùn)動恢復(fù)結(jié)構(gòu)有兩種具體形式:歐式結(jié)構(gòu)恢復(fù)和透視結(jié)構(gòu)恢復(fù)。歐式結(jié)構(gòu)恢復(fù)適用于相機(jī)內(nèi)參數(shù)已知、外參數(shù)未知的情況，通常用于掃地機(jī)器人或者自動駕駛車輛，可以預(yù)先標(biāo)定好相機(jī)的內(nèi)參數(shù)，用于運(yùn)動恢復(fù)結(jié)構(gòu)問題的求解。透視結(jié)構(gòu)恢復(fù)適用于相機(jī)內(nèi)參數(shù)、外參數(shù)均未知的情況，通常用于從互聯(lián)網(wǎng)上下載一組數(shù)據(jù)集而不知道相機(jī)具體參數(shù)的情況。兩種典型的運(yùn)動恢復(fù)結(jié)構(gòu)問題2.2歐式結(jié)構(gòu)恢復(fù)Part2230

歐式結(jié)構(gòu)恢復(fù)問題（相機(jī)內(nèi)參數(shù)已知，外參數(shù)未知）2.2歐式結(jié)構(gòu)恢復(fù)Part2231

兩視圖的歐式結(jié)構(gòu)恢復(fù)

2.2歐式結(jié)構(gòu)恢復(fù)Part2232（1）利用SVD方法分解本質(zhì)矩陣兩視圖的歐式結(jié)構(gòu)恢復(fù)

2.2歐式結(jié)構(gòu)恢復(fù)Part2233

兩視圖的歐式結(jié)構(gòu)恢復(fù)（4）通過重構(gòu)單個或多個點(diǎn)找出正確解

2.2歐式結(jié)構(gòu)恢復(fù)Part2234歐式結(jié)構(gòu)恢復(fù)的歧義問題歐式結(jié)構(gòu)恢復(fù)無法估計(jì)場景的絕對尺度，恢復(fù)出來的歐式結(jié)構(gòu)與真實(shí)場景之間相差一個相似變換，恢復(fù)的場景與真實(shí)場景之間僅存在相似變換的重構(gòu)稱為度量重構(gòu)，如圖所示。度量重構(gòu)2.3透視機(jī)構(gòu)恢復(fù)Part2235透視結(jié)構(gòu)恢復(fù)的問題（相機(jī)內(nèi)參數(shù)、外參數(shù)均未知）

2.3透視機(jī)構(gòu)恢復(fù)Part2236透視結(jié)構(gòu)恢復(fù)的歧義問題

透視結(jié)構(gòu)恢復(fù)歧義2.3透視機(jī)構(gòu)恢復(fù)Part2237兩視圖的透視結(jié)構(gòu)恢復(fù)

2.3透視機(jī)構(gòu)恢復(fù)Part2238兩視圖的透視結(jié)構(gòu)恢復(fù)

2.4N視圖的運(yùn)動恢復(fù)結(jié)構(gòu)問題Part2239

n張圖像進(jìn)行運(yùn)動恢復(fù)結(jié)構(gòu)

N視圖的運(yùn)動恢復(fù)結(jié)構(gòu)問題2.4N視圖的運(yùn)動恢復(fù)結(jié)構(gòu)問題Part2240光束平差法（BundleAdjustments）對場景中任意三維點(diǎn)，由從每個視圖所對應(yīng)的的相機(jī)的光心發(fā)射出來并經(jīng)過圖像中對應(yīng)特征點(diǎn)后的光線，都將交于一個真實(shí)值的點(diǎn)，對于所有三維點(diǎn)，則形成相當(dāng)多的光束；實(shí)際過程中由于噪聲等存在，每條光線幾乎不可能匯聚于真實(shí)值的一點(diǎn)，因此在求解過程中，需要不斷對待求信息進(jìn)行調(diào)整，來使得最終光線能交于一個重構(gòu)點(diǎn)。光束平差法的直觀解釋2.4N視圖的運(yùn)動恢復(fù)結(jié)構(gòu)問題Part2241光束平差法（BundleAdjustments）

光束平差法的直觀解釋雙目立體視覺系統(tǒng)平行視圖非平行視圖3.1平行視圖Part3243基礎(chǔ)矩陣的另一種形式

3.1平行視圖Part3244基礎(chǔ)矩陣的另一種形式

3.1平行視圖Part3245極線幾何特例：平行視圖極線幾何的一種特例是當(dāng)兩個相機(jī)的成像區(qū)域平行，且兩個區(qū)域在同一平面上，稱為平行視圖。平行視圖如下圖所示。平行視圖3.1平行視圖Part3246極線幾何特例：平行視圖

平行視圖3.1平行視圖Part3247極線幾何特例：平行視圖

平行視圖

3.1平行視圖Part3248平行視圖的三角測量

平行視圖模型的俯視圖3.1平行視圖Part3249平行視圖的三角測量由兩幅平行視圖圖像經(jīng)過計(jì)算獲得下方的視差圖，圖中顏色越淺的部分對應(yīng)視差值越大，距離相機(jī)也越近。由于遮擋現(xiàn)象的存在，被遮擋部分點(diǎn)的深度信息是無法獲取的，在視差圖中以黑色像素標(biāo)出。所有點(diǎn)的視差計(jì)算后，進(jìn)一步可得到這些點(diǎn)的三維坐標(biāo)，即目標(biāo)的三維點(diǎn)云信息。視差圖與深度圖3.2非平行視圖Part3250非平行視圖

雙目視覺圖像校正原理3.2非平行視圖Part3251

雙目視覺圖像校正原理非平行視圖3.2非平行視圖Part3252

雙目視覺圖像校正原理

非平行視圖3.2非平行視圖Part3253

雙目視覺圖像校正原理

非平行視圖3.2非平行視圖Part3254

雙目視覺圖像校正結(jié)果

非平行視圖圖像拼接特征點(diǎn)提取與匹配單應(yīng)性矩陣求解圖像配準(zhǔn)圖像融合4.1特征點(diǎn)提取與匹配Part4256特征點(diǎn)提取與匹配圖像拼接的基礎(chǔ)是特征點(diǎn)的檢測與匹配。常用的特征點(diǎn)檢測算法有SIFT、ORB和SURF，在第5章中已經(jīng)詳細(xì)介紹了三種特征點(diǎn)檢測算法的步驟。在對需要匹配的兩張圖像進(jìn)行特征提取之后，會得到兩張圖像的關(guān)鍵點(diǎn)和對應(yīng)的描述子。根據(jù)兩張圖片對應(yīng)描述子向量的相近程度，進(jìn)行匹配。在5.2節(jié)中介紹了特征匹配的幾種方法，使用基本的暴力匹配法進(jìn)行匹配如下圖所示。在利用這些特征匹配方法進(jìn)行初步匹配后，可以使用RANSAC算法對初步匹配的結(jié)果進(jìn)行篩選。暴力匹配示意圖Part4257單應(yīng)性變換

4.2單應(yīng)性矩陣的求解Part4258世界坐標(biāo)系和像素坐標(biāo)系之間的關(guān)系

4.2單應(yīng)性矩陣的求解Part4259世界坐標(biāo)系和像素坐標(biāo)系之間的關(guān)系

4.2單應(yīng)性矩陣的求解不同相機(jī)視角下的投影結(jié)果Part4260單應(yīng)性矩陣?yán)肧IFT等特征點(diǎn)檢測算法可以得到對應(yīng)圖像之間的匹配點(diǎn)，利用這些匹配點(diǎn)的坐標(biāo)即可求解出單應(yīng)性矩陣。求解單應(yīng)性矩陣最少需要4對點(diǎn)，具體步驟如下：由：可以得到：4.2單應(yīng)性矩陣的求解

Part4261單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part4262單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part4263單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part4264單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part4265單應(yīng)性矩陣

4.2單應(yīng)性矩陣的求解

Part4266圖像配準(zhǔn)

4.3圖像配準(zhǔn)Part4267圖像配準(zhǔn)根據(jù)內(nèi)點(diǎn)集中的所有匹配點(diǎn)，計(jì)算所得的單應(yīng)性矩陣即為最優(yōu)解，可以在圖像拼接中達(dá)到比較好的效果，如下圖所示：4.3圖像配準(zhǔn)特征點(diǎn)匹配結(jié)果Part4268圖像配準(zhǔn)根據(jù)之前所求出的單應(yīng)性矩陣，對圖像做透視變換，即可得到與基準(zhǔn)圖像相同視角下的圖像，如下圖所示：4.3圖像配準(zhǔn)圖像配準(zhǔn)結(jié)果Part4269圖像融合

4.4圖像融合圖像融合結(jié)果三維重構(gòu)Part5271三維重構(gòu)的常見方法基于視覺幾何的方法：這類方法利用相機(jī)的幾何關(guān)系和對應(yīng)點(diǎn)之間的幾何約束來恢復(fù)三維結(jié)構(gòu)，例如基于三角測量的方法和基于立體視覺的方法?；诮Y(jié)構(gòu)光的方法：這類方法利用結(jié)構(gòu)光投射的模式和相機(jī)捕捉的圖像來恢復(fù)物體表面的三維結(jié)構(gòu)，例如利用激光投射的方法和利用編碼光條的方法?；谏疃葘W(xué)習(xí)的方法：近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，越來越多的研究將深度學(xué)習(xí)應(yīng)用于三維重建領(lǐng)域，例如利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行三維重建。5.1三維重構(gòu)Part5272三維重構(gòu)的常見方法本章將重點(diǎn)介紹基于視覺幾何的方法基于視覺幾何的三維重建方法是一種通過分析圖像之間的幾何關(guān)系來恢復(fù)物體或場景的三維結(jié)構(gòu)的技術(shù)。5.1三維重構(gòu)基于視覺幾何的三維重建方法主要流程Part5273基于視覺幾何的三維重建方法相關(guān)搜索5.1三維重構(gòu)

Part5274基于視覺幾何的三維重建方法相關(guān)搜索5.1三維重構(gòu)

Part5275基于視覺幾何的三維重建方法相關(guān)搜索5.1三維重構(gòu)

Part5276基于視覺幾何的三維重建方法5.1三維重構(gòu)

增量重建Part5277基于視覺幾何的三維重建方法5.1三維重構(gòu)

增量重建Part5278基于視覺幾何的三維重建方法5.1三維重構(gòu)圖像配準(zhǔn)（ImageRegistration）：在開始重建之后，通過PnP問題的求解，可以解算出新的相機(jī)的位姿，同時將新的圖像不斷加入到系統(tǒng)中；在PnP過程中外點(diǎn)會造成較大的影響，因此一般會采用RANSAC等較為魯棒的算法。三角化（Triangulation）：根據(jù)新配準(zhǔn)的圖像來計(jì)算場景點(diǎn)，并將新的場景點(diǎn)并將其與原有的場景點(diǎn)進(jìn)行融合。增量重建Part5279基于視覺幾何的三維重建方法5.1三維重構(gòu)

增量重建Part5280基于視覺幾何的三維重建方法稀疏模型5.1三維重構(gòu)稀疏模型是指在初始階段通過相關(guān)搜索和增量重建得到的模型。相關(guān)搜索通過分析輸入數(shù)據(jù)中的特征，比如圖像或點(diǎn)云數(shù)據(jù)，來識別場景中的關(guān)鍵特征點(diǎn)或結(jié)構(gòu)。增量重建則是指通過逐步添加新的數(shù)據(jù)來不斷完善模型。在稀疏模型階段，通常會得到一個粗略的場景結(jié)構(gòu)，其中包含一些關(guān)鍵點(diǎn)和基本形狀的信息。Part5281基于視覺幾何的三維重建方法稠密模型5.1三維重構(gòu)稠密模型是在稀疏模型的基礎(chǔ)上進(jìn)一步完善得到的模型。在這個階段，通常會利用稀疏模型中的關(guān)鍵點(diǎn)和結(jié)構(gòu)信息，通過填充和插值等方法，將場景中的空白區(qū)域填充得更加密集和細(xì)致。這個過程可以使用各種算法和技術(shù)，比如三維重建算法、體素填充等，以提高模型的密度和準(zhǔn)確度。Part5282基于視覺幾何的三維重建方法3D模型5.1三維重構(gòu)3D模型是指最終得到的完整的三維場景模型。在稠密模型的基礎(chǔ)上，通過進(jìn)一步的處理和優(yōu)化，比如表面平滑、紋理映射等，得到一個高質(zhì)量的三維模型。這個模型可以用于各種應(yīng)用，比如虛擬現(xiàn)實(shí)、游戲開發(fā)、工程設(shè)計(jì)等領(lǐng)域。Part5283基于視覺幾何的三維重建方法三維重建結(jié)果5.1三維重構(gòu)前面介紹了相關(guān)搜索和增量重建兩個關(guān)鍵步驟，在此基礎(chǔ)上可以根據(jù)任務(wù)需要對重建結(jié)果進(jìn)行上色等操作。下圖展示了利用7.5萬張圖像重建的羅馬場景。上部是部分原始圖像，下部分為重構(gòu)的三維點(diǎn)云。Part5284基于視覺幾何的三維重建方法三維重建結(jié)果5.1三維重構(gòu)基于視覺幾何的三維重建結(jié)果總結(jié)小結(jié)參考文獻(xiàn)Part6286通過極線幾何約束，當(dāng)已知一張圖像中的特征點(diǎn)檢測對應(yīng)圖像的匹配點(diǎn)時，可以將搜索范圍縮小到對應(yīng)的極線上，從而大大提高了搜索效率?；A(chǔ)矩陣描述了同一空間點(diǎn)在二相機(jī)投影的對應(yīng)關(guān)系，基礎(chǔ)矩陣可通過八點(diǎn)法求解。、運(yùn)動恢復(fù)結(jié)構(gòu)能夠從多張圖像中恢復(fù)出相機(jī)的參數(shù)以及目標(biāo)物體三維結(jié)構(gòu)，在圖像拼接、三維重構(gòu)等領(lǐng)域有廣泛應(yīng)用。通過雙目相機(jī)對應(yīng)點(diǎn)的視差，可以得到點(diǎn)的深度信息。利用單應(yīng)性變換關(guān)系可以實(shí)現(xiàn)圖像拼接。基于視覺幾何的三維重建通過分析圖像之間的幾何關(guān)系來恢復(fù)物體或場景的三維結(jié)構(gòu)。6.1小結(jié)Part62876.2參考文獻(xiàn)徐剛，由二維影像建立三維模型[M].武漢大學(xué)出版社,2006.SzeliskiR.著，艾海舟，興軍亮譯，計(jì)算機(jī)視覺[M].清華大學(xué)出版社,2012.HartleyR.,ZissermanA.著，韋穗，章權(quán)兵譯，計(jì)算機(jī)視覺中的多視圖幾何（第二版）[M].機(jī)械工業(yè)出版社，2019AgarwalS.,SnavelyN.,SimonI.,andet.al.BuildingRomeinaday[C].IEEEInternationalConferenceonComputerVision,Kyoto,Japan,2009,72-79Sch?nberger,J.L.,FrahmJ.M.Structure-from-MotionRevisited[C].IEEEConferenceonComputerVisionandPatternRecognition,LasVegas,USA,2016,4104-4113魯鵬，三維重建基礎(chǔ)[M]，北京郵電大學(xué)出版社，2023感謝各位的聆聽！機(jī)器視覺：9.視覺系統(tǒng)的實(shí)現(xiàn)與應(yīng)用圖像采集卡鏡頭機(jī)器視覺相機(jī)

計(jì)算硬件平臺

機(jī)器視覺光源機(jī)器視覺軟件視覺系統(tǒng)的實(shí)現(xiàn)Part1291基于PC的機(jī)器視覺系統(tǒng)構(gòu)成光源相機(jī)鏡頭圖像采集卡計(jì)算硬件平臺視覺軟件平臺機(jī)器視覺光源照明方式光源類型1.1照明方式Part1293光源的功能：照亮目標(biāo)，提高亮度和對比度形成有利于圖像處理的成像效果，降低系統(tǒng)的復(fù)雜性和對圖像處理算法的要求減小或消除環(huán)境光干擾，保證圖像穩(wěn)定性，提高視覺處理的精度及效率1.1照明方式Part1294光源的關(guān)鍵要素：入射角光束方向性光譜光強(qiáng)均勻性1.1照明方式Part1295根據(jù)入射角度的照明方式分類：光源照明方式指的是照明設(shè)備如何放置和照射光線的方向和角度，它對于照明效果可產(chǎn)生重要的作用1.1照明方式Part1296明場照明——部分明場部分明場照明具有較小立體角，僅從單一方向（如點(diǎn)光源）或較小角度范圍（如環(huán)形光源、條狀光源）直接照射到物體上1.1照明方式Part1297明場照明——全明場同軸漫射照明方式全明場照明具有大立體角，從多個不同方向照射物體，可消除表面不平整時產(chǎn)生的陰影、遮擋等問題。為保證全方向、無反光的照明效果，采用漫射照明方式，物體表面照射相對均勻。全明場根據(jù)不同照明方式又可分為同軸漫射照明、球形漫射照明等1.1照明方式Part1298明場照明——全明場球形漫射照明方式球形漫射照明通過內(nèi)部球形散射，可產(chǎn)生接近理想的漫射光，然后再投射到物體上。1.1照明方式Part1299明場照明——全明場面光源明方式

面光源采用大面積平面照射，光源前部加有擴(kuò)散片，保證其投射光強(qiáng)均勻

1.1照明方式Part1300暗場照明暗場照明是相對于物體表面提供小于45°的低角度照明。。暗場照明應(yīng)用于對表面部分有突起的部分的照明或表面紋理變化的照明。

1.1照明方式Part1301背光照明暗場照明是相對于物體表面提供小于45°的低角度照明。。暗場照明應(yīng)用于對表面部分有突起的部分的照明或表面紋理變化的照明。

1.1照明方式Part1302不同照明方式下硬幣成像對比1.2光源類型Part1303光源分類：按光源形狀，機(jī)器視覺光源又可分為背光源、條形光源、環(huán)形光源、同軸光源按照顏色分類，常用的光源光色主要有白色、藍(lán)色、紅色、綠色、紅外、紫外1.2光源類型Part1304常用形狀光源的照明原理及主要應(yīng)用場景1.2光源類型Part1305不同顏色光源的應(yīng)用場景機(jī)器視覺相機(jī)視覺傳感器相機(jī)接口鏡頭接口2.1視覺傳感器Part2307機(jī)器視覺相機(jī)工業(yè)相機(jī)作為機(jī)器視覺系統(tǒng)的核心組件之一，本質(zhì)作用是將光信號轉(zhuǎn)換成為有序的電信號。這一過程需要經(jīng)過高速A/D轉(zhuǎn)換，然后將數(shù)字信號傳送到處理器中進(jìn)行進(jìn)一步的處理、分析和識別。2.1視覺傳感器Part2308按照工作原理——CCDCMOSCCD芯片的工作原理是將轉(zhuǎn)換成的電信號按順序傳送到一個共同輸出結(jié)構(gòu)，然后把電荷轉(zhuǎn)換成電壓，接著再將這些信號送到緩沖器并存儲，其靈敏度較高、噪點(diǎn)低。CMOS芯片是將轉(zhuǎn)化成電信號直接集成在芯片上，因此電子元件能夠快速地讀取成像數(shù)據(jù)，所以其讀取速度較快且隨著CMOS工藝和技術(shù)不斷提升，其價格也相對低廉，在機(jī)器視覺行業(yè)中已占據(jù)主導(dǎo)地位。2.1視覺傳感器Part2309按照結(jié)構(gòu)特性——線陣相機(jī)

面陣相機(jī)線陣傳感器工作時類似于掃描儀，一行或多行像素進(jìn)行循環(huán)曝光，在電腦上逐行生成一幀完整圖像，掃描速度比較快。應(yīng)用在特殊的需要移動的機(jī)器視覺成像場景，如大面積檢測、高速檢測、強(qiáng)反光檢測以及印刷、紡織等行業(yè)。線陣傳感器單幀成像圖像傳感器的掃描方式2.1視覺傳感器Part2310按照結(jié)構(gòu)特性——線陣相機(jī)

面陣相機(jī)面陣相機(jī)傳感器則是像素點(diǎn)按照矩陣排列，傳感器曝光(行曝光或幀曝光)完成后直接輸出一幀圖像，可以應(yīng)用與大多數(shù)機(jī)器視覺場景中面陣傳感器單幀成像圖像傳感器的掃描方式2.1視覺傳感器Part2311按