客流統(tǒng)計(jì)項(xiàng)目技術(shù)報(bào)告課件

基于雙目視覺的

客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過嗣聰報(bào)告時(shí)間：2016年9月xx日基于雙目視覺的

客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過嗣聰1概述雙目立體視覺介紹立體匹配算法目標(biāo)檢測與跟蹤總結(jié)概述雙目立體視覺介紹2雙目立體視覺介紹雙目立體視覺介紹3什么是立體視覺立體視覺是利用兩個(gè)及以上的相機(jī)來測量物體深度的技術(shù)屬于計(jì)算機(jī)視覺的一種實(shí)時(shí)性和硬件平臺實(shí)現(xiàn)是其研究重點(diǎn)之一什么是立體視覺立體視覺是利用兩個(gè)及以上的相機(jī)來測量物體深度的4普通相機(jī)（單目）左圖是相機(jī)成像的簡化模型P、Q是視場中不同的兩點(diǎn)，但他們在圖像上的投影確相同

普通相機(jī)（單目）左圖是相機(jī)成像的簡化模型

5雙目相機(jī)如果能找到兩幅圖像上的對應(yīng)點(diǎn)（對應(yīng)空間中同一點(diǎn)），那么根據(jù)三角幾何關(guān)系，就能計(jì)算出該點(diǎn)的深度左目圖像右目圖像雙目相機(jī)如果能找到兩幅圖像上的對應(yīng)點(diǎn)（對應(yīng)空間6如何找出對應(yīng)點(diǎn)

二維搜索計(jì)算量十分巨大，而且很難找到全局最優(yōu)解事實(shí)上，對應(yīng)點(diǎn)必定出現(xiàn)在對應(yīng)的極線。如何找出對應(yīng)點(diǎn)二維搜索計(jì)算量十分巨大，而且很難7極線約束條件右目圖像左目圖像綠色實(shí)線表示右目圖像的一條極線，即紅色虛線上的點(diǎn)在右圖上的投影。極線約束指出，紅色虛線在左圖上的投影必定出現(xiàn)在右圖對應(yīng)的極線上。極線約束條件右目左目綠色實(shí)線表示右目圖像的一條8標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會把兩幅圖像矯正成標(biāo)準(zhǔn)形式——圖像的掃描行就是極線，并且焦距保持一致。也就是說，我們只需在圖像的掃描行上搜索對應(yīng)點(diǎn)即可。左目圖像右目圖像標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會把兩幅圖9矯正前矯正后矯正前矯正后10

視差和深度計(jì)算

視差和深度計(jì)算11左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越大，對應(yīng)視差圖中越亮的部分左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越12代表距離的平面分布并不均勻，隨著距離的增加，精度會急劇下降。但在公交客流統(tǒng)計(jì)中，檢測深度一般不會超過3米，可以達(dá)到精度要求?？臻g被分解成一個(gè)個(gè)離散的平面，代表不同距離，對應(yīng)不同的視差。代表距離的平面分布并不均勻，隨著距離的增加，精13雙目視覺系統(tǒng)一般流程雙目視覺系統(tǒng)一般流程14目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)內(nèi)部參數(shù)：焦距，圖像主點(diǎn)位置，鏡頭失真參數(shù)外部參數(shù)：平移矩陣T、旋轉(zhuǎn)矩陣R相機(jī)標(biāo)定（離線）目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)相機(jī)標(biāo)定（離線）15矯正前矯正后圖像矯正目的是有二：去除鏡頭的桶形失真使得圖像對變成標(biāo)準(zhǔn)形式，即行對準(zhǔn)矯正前矯正后圖像矯正目的是有二：16立體匹配的目的就是找到圖像對之間的匹配點(diǎn)，進(jìn)而得到視差立體匹配立體匹配的目的就是找到圖像對之間的匹配點(diǎn)，進(jìn)而得到視差立體匹17到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合三角幾何公式，就能計(jì)算所有圖像點(diǎn)在三維空間中的位置（X,Y,Z）深度圖計(jì)算到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合18立體匹配算法立體匹配算法19立體匹配算法局部匹配：速度較快，精度不高全局匹配：速度較慢，精度較高立體匹配算法局部匹配：速度較快，精度不高20立體匹配算法ScharsteinandSzeliski指出立體匹配算法通常包含以下4個(gè)步驟（或其中的幾個(gè)）：匹配代價(jià)計(jì)算代價(jià)積累視差計(jì)算/優(yōu)化視差提精局部匹配算法：1->2->3(直接用WTA求解)全局匹配算法：1->3（全局或半全局優(yōu)化后再用WTA求解）立體匹配算法ScharsteinandSzeliski21匹配代價(jià)計(jì)算

這里介紹2種像素級的相似性度量：基于灰度差分的匹配代價(jià)（BirchfieldandTomasi）基于Census變換的匹配代價(jià)匹配代價(jià)計(jì)算

這里介紹2種像素級的相似性度量：22BT匹配代價(jià)

改進(jìn)形式：BT匹配代價(jià)

改進(jìn)形式：23基于Census變換的匹配代價(jià)首先，對圖像進(jìn)行統(tǒng)計(jì)變換（CensusTransform），該變換定義為：以3x3窗口為例，比較此窗口中每個(gè)像素值與中心像素值的大小，如果比中心像素值小，則比較結(jié)果為1，否則為0。然后把這些結(jié)果組成一個(gè)二進(jìn)制的數(shù)，并代替當(dāng)前像素值11010100(212)基于Census變換的匹配代價(jià)首先，對圖像進(jìn)行統(tǒng)計(jì)變換（Ce24漢明距離對于兩個(gè)等長字符串s1與s2，他們之間的漢明距離就是相應(yīng)位置上存在不同字符的數(shù)量。例如字符串“1111”與“1001”之間的漢明距離為2。計(jì)算方法：Cost=POPCNT（s1XORs2）注：POPCNT計(jì)算一個(gè)二進(jìn)制數(shù)中“1”的位數(shù)漢明距離對于兩個(gè)等長字符串s1與s2，他們之間的漢明距離就是25視差空間(DisparitySpace)根據(jù)前面的代價(jià)計(jì)算，對于基準(zhǔn)圖像上一點(diǎn)p及視差d，總有：

視差空間(DisparitySpace)根據(jù)前面的代價(jià)計(jì)算26視差計(jì)算COST那么，計(jì)算圖像視差的過程就變成：遍歷每個(gè)像素點(diǎn)，計(jì)算使得當(dāng)前代價(jià)C(x,y,d)最小的d，即winner-take-all（WTA）。匹配代價(jià)是定義在像素等級上的，像素與像素之間缺少聯(lián)系，那么，相應(yīng)的視差圖會存在大量的視差不連續(xù)的點(diǎn)視差計(jì)算COST那么，計(jì)算圖像視差的過程就變成：遍歷每個(gè)像素27視差優(yōu)化Hirschmuller提出了Semi-GlobalMatching，用于平滑視差圖：

視差優(yōu)化Hirschmuller提出了Semi-Global28如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連續(xù)性上已經(jīng)有了明顯的提高，但存在明顯的拖尾效應(yīng)，這是因?yàn)閳D像在水平方向上約束太強(qiáng)，而豎直方向上約束太弱造成的因此，我們可以在多個(gè)方向上分別進(jìn)行代價(jià)積累，再把多個(gè)方向的視差空間進(jìn)行疊加，由此計(jì)算視差圖可大大減少拖尾效應(yīng)視差優(yōu)化如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連29一致性檢查類似地，我們可以計(jì)算出右圖對應(yīng)的視差圖，并按照下式一致性檢查，其中p、q表示一組對應(yīng)點(diǎn)左視差圖右視差圖一致性檢查類似地，我們可以計(jì)算出右圖對應(yīng)的視差圖30視差精化—異常值濾波一致性檢查并不能去除所有異常值，視差圖仍會殘留一些小面積的異常值。我們使用基于連通域標(biāo)記的異常值濾波器刪除了這些異常塊視差精化—異常值濾波一致性檢查并不能去除所有異31視差精化—無效區(qū)域插值視差圖經(jīng)過一致性檢測后留下的視差無效區(qū)域，應(yīng)該分為遮擋區(qū)域和誤匹配區(qū)域，這是因?yàn)閷τ谡趽鯀^(qū)域和誤匹配區(qū)域的插值策略是截然不同，必須區(qū)別對待。

視差精化—無效區(qū)域插值視差圖經(jīng)過一致性檢測后留下的視差無效區(qū)32與代價(jià)積累中從8個(gè)方向搜索類似，對于每一個(gè)無效點(diǎn)，周圍的8個(gè)視差值都會保存下來，然后按照下面的式子插值：第一項(xiàng)取第二小的視差值，保證了遮擋點(diǎn)的視差來自較低一級的背景，而第二項(xiàng)取中值，強(qiáng)調(diào)利用所有周圍的信息視差精化—無效區(qū)域插值與代價(jià)積累中從8個(gè)方向搜索類似，對于每一個(gè)無效點(diǎn)，周圍的8個(gè)33目標(biāo)檢測與跟蹤目標(biāo)檢測與跟蹤34三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維信息，使目標(biāo)檢測更加準(zhǔn)確。右側(cè)是經(jīng)過顏色編碼的視差圖，顏色越暖表示離攝像頭越近，反之則越遠(yuǎn)，容易看出圖中兩個(gè)偏暖的區(qū)域分別對應(yīng)左側(cè)圖像中的兩個(gè)人。三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維35目標(biāo)檢測乘客被建模成一個(gè)橢圓型的金字塔，其特征向量表示為：橢圓參數(shù)包括：長短軸、離心率、面積、中心坐標(biāo)、高度等等。目標(biāo)檢測乘客被建模成一個(gè)橢圓型的金字塔，其特征向量表示為：橢36目標(biāo)跟蹤假設(shè)前一幀圖像中有m個(gè)目標(biāo)，對應(yīng)m個(gè)特征向量，而當(dāng)前圖像幀中有n個(gè)目標(biāo)，對應(yīng)n個(gè)特征向量，相似函數(shù)S(i,j)表示前一幀第i個(gè)目標(biāo)和當(dāng)前幀第j目標(biāo)的相似度。

12jn1S(1,1)S(1,2)S(1,j)S(1,n)2S(2,1)S(2,2)S(2,j)S(2,n)iS(i,1)S(i,2)S(i,j)S(i,j)mS(m,1)S(m,2)S(m,j)S(m,n)第k-1幀第k幀目標(biāo)跟蹤假設(shè)前一幀圖像中有m個(gè)目標(biāo)，對應(yīng)m個(gè)特征向量，而當(dāng)前37總結(jié)總結(jié)38系統(tǒng)框架設(shè)計(jì)該項(xiàng)目開發(fā)了一種能夠?qū)崟r(shí)監(jiān)測公交車內(nèi)客流量的系統(tǒng)，其中雙目攝像頭安裝在靠近車門的車頂處，并垂直向下拍攝，同時(shí)采集兩路視頻。

雙目視覺技術(shù)可以感知物體的深度，能夠很好地克服單目視覺技術(shù)對光線陰影敏感，無法檢測擁擠客流及無法排除類人物體等問題。算法框架設(shè)計(jì)原始圖像對圖像矯正立體匹配背景差分注：較小的橢圓對應(yīng)較高的位置，多個(gè)橢圓疊加形成類金字塔目標(biāo)檢測目標(biāo)跟蹤系統(tǒng)框架設(shè)計(jì)該項(xiàng)目開發(fā)了一種能夠?qū)崟r(shí)監(jiān)測公交車39存在的問題視差圖中的目標(biāo)形狀、高度各異，特別是在擁擠時(shí)，多個(gè)目標(biāo)會連接在一起?；谔卣鞯膯l(fā)式目標(biāo)檢測方法并不能100%地檢測出目標(biāo)。在視差圖中，特征向量會隨目標(biāo)運(yùn)動而變化，因此目標(biāo)的坐標(biāo)在相似性測度當(dāng)中占了較高的權(quán)重?，F(xiàn)有的跟蹤邏輯比較單一，當(dāng)目標(biāo)的特征向量極為相似時(shí)，會出現(xiàn)誤跟蹤的情況。存在的問題視差圖中的目標(biāo)形狀、高度各異，特別是在擁擠時(shí)，多個(gè)40參考文獻(xiàn)參考文獻(xiàn)41基于雙目視覺的

客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過嗣聰報(bào)告時(shí)間：2016年9月xx日基于雙目視覺的

客流統(tǒng)計(jì)系統(tǒng)報(bào)告人：過嗣聰42概述雙目立體視覺介紹立體匹配算法目標(biāo)檢測與跟蹤總結(jié)概述雙目立體視覺介紹43雙目立體視覺介紹雙目立體視覺介紹44什么是立體視覺立體視覺是利用兩個(gè)及以上的相機(jī)來測量物體深度的技術(shù)屬于計(jì)算機(jī)視覺的一種實(shí)時(shí)性和硬件平臺實(shí)現(xiàn)是其研究重點(diǎn)之一什么是立體視覺立體視覺是利用兩個(gè)及以上的相機(jī)來測量物體深度的45普通相機(jī)（單目）左圖是相機(jī)成像的簡化模型P、Q是視場中不同的兩點(diǎn)，但他們在圖像上的投影確相同

普通相機(jī)（單目）左圖是相機(jī)成像的簡化模型

46雙目相機(jī)如果能找到兩幅圖像上的對應(yīng)點(diǎn)（對應(yīng)空間中同一點(diǎn)），那么根據(jù)三角幾何關(guān)系，就能計(jì)算出該點(diǎn)的深度左目圖像右目圖像雙目相機(jī)如果能找到兩幅圖像上的對應(yīng)點(diǎn)（對應(yīng)空間47如何找出對應(yīng)點(diǎn)

二維搜索計(jì)算量十分巨大，而且很難找到全局最優(yōu)解事實(shí)上，對應(yīng)點(diǎn)必定出現(xiàn)在對應(yīng)的極線。如何找出對應(yīng)點(diǎn)二維搜索計(jì)算量十分巨大，而且很難48極線約束條件右目圖像左目圖像綠色實(shí)線表示右目圖像的一條極線，即紅色虛線上的點(diǎn)在右圖上的投影。極線約束指出，紅色虛線在左圖上的投影必定出現(xiàn)在右圖對應(yīng)的極線上。極線約束條件右目左目綠色實(shí)線表示右目圖像的一條49標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會把兩幅圖像矯正成標(biāo)準(zhǔn)形式——圖像的掃描行就是極線，并且焦距保持一致。也就是說，我們只需在圖像的掃描行上搜索對應(yīng)點(diǎn)即可。左目圖像右目圖像標(biāo)準(zhǔn)形式的雙目相機(jī)為了方便計(jì)算，我們會把兩幅圖50矯正前矯正后矯正前矯正后51

視差和深度計(jì)算

視差和深度計(jì)算52左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越大，對應(yīng)視差圖中越亮的部分左圖（參考圖）右圖（目標(biāo)圖）視差圖容易看出，物體越近，視差越53代表距離的平面分布并不均勻，隨著距離的增加，精度會急劇下降。但在公交客流統(tǒng)計(jì)中，檢測深度一般不會超過3米，可以達(dá)到精度要求?？臻g被分解成一個(gè)個(gè)離散的平面，代表不同距離，對應(yīng)不同的視差。代表距離的平面分布并不均勻，隨著距離的增加，精54雙目視覺系統(tǒng)一般流程雙目視覺系統(tǒng)一般流程55目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)內(nèi)部參數(shù)：焦距，圖像主點(diǎn)位置，鏡頭失真參數(shù)外部參數(shù)：平移矩陣T、旋轉(zhuǎn)矩陣R相機(jī)標(biāo)定（離線）目的是計(jì)算出攝像頭的內(nèi)部參數(shù)和外部參數(shù)相機(jī)標(biāo)定（離線）56矯正前矯正后圖像矯正目的是有二：去除鏡頭的桶形失真使得圖像對變成標(biāo)準(zhǔn)形式，即行對準(zhǔn)矯正前矯正后圖像矯正目的是有二：57立體匹配的目的就是找到圖像對之間的匹配點(diǎn)，進(jìn)而得到視差立體匹配立體匹配的目的就是找到圖像對之間的匹配點(diǎn)，進(jìn)而得到視差立體匹58到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合三角幾何公式，就能計(jì)算所有圖像點(diǎn)在三維空間中的位置（X,Y,Z）深度圖計(jì)算到此，我們獲得了視差圖，基線b，焦距f，深度計(jì)算公式。在結(jié)合59立體匹配算法立體匹配算法60立體匹配算法局部匹配：速度較快，精度不高全局匹配：速度較慢，精度較高立體匹配算法局部匹配：速度較快，精度不高61立體匹配算法ScharsteinandSzeliski指出立體匹配算法通常包含以下4個(gè)步驟（或其中的幾個(gè)）：匹配代價(jià)計(jì)算代價(jià)積累視差計(jì)算/優(yōu)化視差提精局部匹配算法：1->2->3(直接用WTA求解)全局匹配算法：1->3（全局或半全局優(yōu)化后再用WTA求解）立體匹配算法ScharsteinandSzeliski62匹配代價(jià)計(jì)算

這里介紹2種像素級的相似性度量：基于灰度差分的匹配代價(jià)（BirchfieldandTomasi）基于Census變換的匹配代價(jià)匹配代價(jià)計(jì)算

這里介紹2種像素級的相似性度量：63BT匹配代價(jià)

改進(jìn)形式：BT匹配代價(jià)

改進(jìn)形式：64基于Census變換的匹配代價(jià)首先，對圖像進(jìn)行統(tǒng)計(jì)變換（CensusTransform），該變換定義為：以3x3窗口為例，比較此窗口中每個(gè)像素值與中心像素值的大小，如果比中心像素值小，則比較結(jié)果為1，否則為0。然后把這些結(jié)果組成一個(gè)二進(jìn)制的數(shù)，并代替當(dāng)前像素值11010100(212)基于Census變換的匹配代價(jià)首先，對圖像進(jìn)行統(tǒng)計(jì)變換（Ce65漢明距離對于兩個(gè)等長字符串s1與s2，他們之間的漢明距離就是相應(yīng)位置上存在不同字符的數(shù)量。例如字符串“1111”與“1001”之間的漢明距離為2。計(jì)算方法：Cost=POPCNT（s1XORs2）注：POPCNT計(jì)算一個(gè)二進(jìn)制數(shù)中“1”的位數(shù)漢明距離對于兩個(gè)等長字符串s1與s2，他們之間的漢明距離就是66視差空間(DisparitySpace)根據(jù)前面的代價(jià)計(jì)算，對于基準(zhǔn)圖像上一點(diǎn)p及視差d，總有：

視差空間(DisparitySpace)根據(jù)前面的代價(jià)計(jì)算67視差計(jì)算COST那么，計(jì)算圖像視差的過程就變成：遍歷每個(gè)像素點(diǎn)，計(jì)算使得當(dāng)前代價(jià)C(x,y,d)最小的d，即winner-take-all（WTA）。匹配代價(jià)是定義在像素等級上的，像素與像素之間缺少聯(lián)系，那么，相應(yīng)的視差圖會存在大量的視差不連續(xù)的點(diǎn)視差計(jì)算COST那么，計(jì)算圖像視差的過程就變成：遍歷每個(gè)像素68視差優(yōu)化Hirschmuller提出了Semi-GlobalMatching，用于平滑視差圖：

視差優(yōu)化Hirschmuller提出了Semi-Global69如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連續(xù)性上已經(jīng)有了明顯的提高，但存在明顯的拖尾效應(yīng)，這是因?yàn)閳D像在水平方向上約束太強(qiáng)，而豎直方向上約束太弱造成的因此，我們可以在多個(gè)方向上分別進(jìn)行代價(jià)積累，再把多個(gè)方向的視差空間進(jìn)行疊加，由此計(jì)算視差圖可大大減少拖尾效應(yīng)視差優(yōu)化如圖是沿著從右到左方向代價(jià)積累后得到視差圖，可以看出視差圖連70一致性檢查類似地，我們可以計(jì)算出右圖對應(yīng)的視差圖，并按照下式一致性檢查，其中p、q表示一組對應(yīng)點(diǎn)左視差圖右視差圖一致性檢查類似地，我們可以計(jì)算出右圖對應(yīng)的視差圖71視差精化—異常值濾波一致性檢查并不能去除所有異常值，視差圖仍會殘留一些小面積的異常值。我們使用基于連通域標(biāo)記的異常值濾波器刪除了這些異常塊視差精化—異常值濾波一致性檢查并不能去除所有異72視差精化—無效區(qū)域插值視差圖經(jīng)過一致性檢測后留下的視差無效區(qū)域，應(yīng)該分為遮擋區(qū)域和誤匹配區(qū)域，這是因?yàn)閷τ谡趽鯀^(qū)域和誤匹配區(qū)域的插值策略是截然不同，必須區(qū)別對待。

視差精化—無效區(qū)域插值視差圖經(jīng)過一致性檢測后留下的視差無效區(qū)73與代價(jià)積累中從8個(gè)方向搜索類似，對于每一個(gè)無效點(diǎn)，周圍的8個(gè)視差值都會保存下來，然后按照下面的式子插值：第一項(xiàng)取第二小的視差值，保證了遮擋點(diǎn)的視差來自較低一級的背景，而第二項(xiàng)取中值，強(qiáng)調(diào)利用所有周圍的信息視差精化—無效區(qū)域插值與代價(jià)積累中從8個(gè)方向搜索類似，對于每一個(gè)無效點(diǎn)，周圍的8個(gè)74目標(biāo)檢測與跟蹤目標(biāo)檢測與跟蹤75三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維信息，使目標(biāo)檢測更加準(zhǔn)確。右側(cè)是經(jīng)過顏色編碼的視差圖，顏色越暖表示離攝像頭越近，反之則越遠(yuǎn)，容易看出圖中兩個(gè)偏暖的區(qū)域分別對應(yīng)左側(cè)圖像中的兩個(gè)人。三維重建三維重建是指依靠一些技術(shù)手段從視差圖恢復(fù)出目標(biāo)的三維76目