基于視覺群智感知室內(nèi)導(dǎo)航研究

匯報(bào)人：郭得科教授國防科學(xué)技術(shù)大學(xué)信息系統(tǒng)與管理學(xué)院基礎(chǔ)交叉研究中心2016.06.18于湖北經(jīng)濟(jì)學(xué)院基于視覺群智感知的室內(nèi)導(dǎo)航研究1室內(nèi)外位置服務(wù)的概述2室內(nèi)環(huán)境感知與建模3基于點(diǎn)云的室內(nèi)導(dǎo)航4室內(nèi)外聯(lián)合導(dǎo)航5未來研究匯報(bào)提綱基于位置的服務(wù)已成為日常生活不可或缺的技術(shù)通過無線終端利用空間定位技術(shù)和網(wǎng)絡(luò)通信技術(shù)，獲取終端的位置信息，利用與用戶地址位置相關(guān)的信息為用戶提供相應(yīng)增值服務(wù)的移動商務(wù)應(yīng)用位置服務(wù)的重要性基于位置的服務(wù)自動導(dǎo)航搜索周邊服務(wù)信息基于位置的社交網(wǎng)絡(luò)位置信息和我們的生活息息相關(guān)位置服務(wù)的重要性全球衛(wèi)星導(dǎo)航定位系統(tǒng)GNSS優(yōu)點(diǎn)精度高全球覆蓋，可用于險(xiǎn)惡環(huán)境不足啟動時(shí)間長室內(nèi)信號差需要GPS接收機(jī)室外導(dǎo)航服務(wù)的重要性人們平均80-90%的時(shí)間在室內(nèi)70%的移動電話使用和80%的數(shù)據(jù)連接使用來自室內(nèi)廣泛應(yīng)用于公共生活服務(wù)、軍事應(yīng)用等方面室內(nèi)導(dǎo)航服務(wù)的重要性室內(nèi)導(dǎo)航是無人系統(tǒng)的基礎(chǔ)組件推動無人系統(tǒng)實(shí)現(xiàn)室內(nèi)場景下的基于位置的服務(wù)室內(nèi)導(dǎo)航服務(wù)的重要性亞馬遜倉庫搬運(yùn)機(jī)器人餐廳服務(wù)機(jī)器人室內(nèi)擦地機(jī)器人教育機(jī)器人四旋翼室內(nèi)導(dǎo)航服務(wù)的基本流程傳統(tǒng)室內(nèi)導(dǎo)航室內(nèi)地圖室內(nèi)導(dǎo)航及其應(yīng)用定位服務(wù)路徑規(guī)劃導(dǎo)航用戶跟隨特征軌跡用戶分享特征軌跡室內(nèi)導(dǎo)航及其應(yīng)用便捷部署的室內(nèi)導(dǎo)航圖像、地磁、點(diǎn)云…室內(nèi)信號云端室內(nèi)信號相似性檢測室內(nèi)導(dǎo)航服務(wù)的整體研究框架室內(nèi)環(huán)境感知與建?？臻g屬性自動構(gòu)建室內(nèi)場景識別理解地圖語義自動標(biāo)記室內(nèi)定位與導(dǎo)航方法傳統(tǒng)的室內(nèi)定位與導(dǎo)航方法室內(nèi)外一體化導(dǎo)航基于視覺的便捷部署導(dǎo)航方法室內(nèi)空間三維語義地圖室內(nèi)位置應(yīng)用面向人員面向室內(nèi)服務(wù)機(jī)器人多階段路徑規(guī)劃方法基于偏好的路徑推薦面向?qū)嶓w語義地圖更新維護(hù)多姿態(tài)自適應(yīng)圖像、3D點(diǎn)云

…視覺技術(shù)千萬級像素?cái)z像頭、MEMS攝像頭、“一個(gè)攝像頭，多個(gè)鏡頭”、3D攝像頭、3D掃描、PrimeSense體感攝像頭基本思路移動終端的硬件比拼進(jìn)入白熱化，視覺能力日益強(qiáng)大群智感知大量普通用戶使用移動終端作為基本感知單元，通過網(wǎng)絡(luò)進(jìn)行協(xié)作，實(shí)現(xiàn)感知任務(wù)分發(fā)與收集利用，以低成本高效率的方式完成大規(guī)模、復(fù)雜的感知任務(wù)維基百科、《紐約時(shí)報(bào)》數(shù)字化基本思路分工合理、負(fù)擔(dān)合適、激勵(lì)合情，讓用戶愿意參與，有所付出有所獲得1室內(nèi)外位置服務(wù)的概述2室內(nèi)環(huán)境感知與建模3基于點(diǎn)云的室內(nèi)導(dǎo)航4室內(nèi)外聯(lián)合導(dǎo)航5未來研究匯報(bào)提綱室內(nèi)地圖語義信息的自動化更新系統(tǒng)問題背景室內(nèi)語義地圖是實(shí)現(xiàn)導(dǎo)航的基礎(chǔ)室內(nèi)環(huán)境面臨動態(tài)性難題題人工更新方法的代價(jià)巨大室內(nèi)語義地圖的粒度室內(nèi)普通對象的細(xì)粒度語義信息理解室內(nèi)的各個(gè)子空間的標(biāo)識以及場景理解tx為室內(nèi)地圖的文本文本序列的定義：TX=tx1,tx2,…,txn，文本序列室內(nèi)地圖語義信息的自動化更新系統(tǒng)問題表述更新k-1時(shí)刻的室內(nèi)地圖的語義信息為k時(shí)刻的室內(nèi)地圖的語義信息來適應(yīng)語義的動態(tài)變化。文本序列的檢測與識別及匹配問題。視頻流計(jì)算機(jī)視覺方法現(xiàn)有的語義地圖更新后的語義地圖文本序列的檢測與識別問題結(jié)合多種計(jì)算機(jī)視覺方法文本錯(cuò)誤識別文本丟失室內(nèi)地圖語義信息的自動化更新系統(tǒng)文本序列的檢測與識別問題結(jié)合多種計(jì)算機(jī)視覺方法建模為馬爾科夫隨機(jī)場模型正確的文本序列室內(nèi)地圖語義信息的自動化更新系統(tǒng)文本序列的匹配問題基于熵模型的公共子序列檢測（LCS）X={A,B,C,B,D,A,B} X={A,B,C,B,D,A,B}Y={B,D,C,A,B,A} Y={B,D,C,A,B,A}(B,C,B,A)和(B,D,A,B)都是X和Y的最長公共子序列室內(nèi)地圖語義信息的自動化更新系統(tǒng)文本序列的匹配問題基于熵模型的公共子序列檢測室內(nèi)地圖語義信息的自動化更新系統(tǒng)房間輪廓檢測Unchanged文本檢測公共子序列檢測算法文本序列前一時(shí)刻的語義地圖1室內(nèi)外位置服務(wù)的概述2室內(nèi)環(huán)境感知與建模3基于點(diǎn)云的室內(nèi)導(dǎo)航4室內(nèi)外聯(lián)合導(dǎo)航5未來研究匯報(bào)提綱基于點(diǎn)云的室內(nèi)導(dǎo)航方法問題背景傳統(tǒng)方法：依賴于定位基礎(chǔ)設(shè)施、不易部署、成本高自我可部署的室內(nèi)導(dǎo)航方法：使用不穩(wěn)定、動態(tài)性強(qiáng)的信號（WiFi,地磁,圖像），不具有全局可導(dǎo)航性基于點(diǎn)云的室內(nèi)導(dǎo)航方法問題背景導(dǎo)航精度高、易于部署無需定位基礎(chǔ)設(shè)施魯棒、全局可導(dǎo)航尋找更加穩(wěn)定、魯棒的、易獲取的室內(nèi)空間特征數(shù)據(jù)基于點(diǎn)云的室內(nèi)導(dǎo)航方法室內(nèi)空間特征數(shù)據(jù)點(diǎn)云數(shù)據(jù)：通過3D掃描儀（如谷歌tango）掃描物體表面，以點(diǎn)的形式記錄掃描數(shù)據(jù)，每一個(gè)點(diǎn)包含有三維坐標(biāo)，有些可能含有顏色信息（RGB）或反射強(qiáng)度信息（Intensity）RGB+D（depth）提供了室內(nèi)空間結(jié)構(gòu)信息能否滿足室內(nèi)導(dǎo)航普適性的目標(biāo)？魯棒性及穩(wěn)定性點(diǎn)云：對環(huán)境的動態(tài)性具有魯棒性信號：不穩(wěn)定，對環(huán)境的動態(tài)性敏感數(shù)據(jù)來源點(diǎn)云：3D掃描儀或者攝像頭信號：AP，LED燈，Compass，攝像頭3D攝像頭已經(jīng)面世谷歌的tango移動設(shè)備英特爾的RealSense3D攝像頭點(diǎn)云滿足室內(nèi)導(dǎo)航的普適性目標(biāo)點(diǎn)云與其他信號的對比（WiFi，LED，地磁，圖像）基于點(diǎn)云的室內(nèi)導(dǎo)航方法時(shí)間域（同path下的兩次測量）一個(gè)月周期

短時(shí)間內(nèi)點(diǎn)云穩(wěn)定點(diǎn)云的屬性測量（SIFT算法計(jì)算特征點(diǎn)）基于點(diǎn)云的室內(nèi)導(dǎo)航方法光照變化（同path下的多次測量）200lux,100lux,50lux

對光照變化具有魯棒性點(diǎn)云的屬性測量（SIFT算法計(jì)算特征點(diǎn)）基于點(diǎn)云的室內(nèi)導(dǎo)航方法3D攝像頭朝向變化（同path下的多次測量）向前，左偏30度，右偏30度

對輕微的朝向變化具有魯棒性點(diǎn)云的屬性測量（SIFT算法計(jì)算特征點(diǎn)）基于點(diǎn)云的室內(nèi)導(dǎo)航方法3D攝像頭姿態(tài)變化（同path下的多次測量）豎直向前，放在手中搖擺姿態(tài)

對姿態(tài)敏感點(diǎn)云的屬性測量（SIFT算法計(jì)算特征點(diǎn)）基于點(diǎn)云的室內(nèi)導(dǎo)航方法基于點(diǎn)云的室內(nèi)導(dǎo)航方法點(diǎn)云地圖的構(gòu)建問題點(diǎn)云數(shù)據(jù)的預(yù)處理：相鄰幀點(diǎn)云極相似極相似相似性低攝像頭一次旋轉(zhuǎn)捕獲的6幅點(diǎn)云基于點(diǎn)云的室內(nèi)導(dǎo)航方法點(diǎn)云地圖的構(gòu)建問題點(diǎn)云數(shù)據(jù)的預(yù)處理：地面、白色墻壁、天花板特征點(diǎn)少攝像頭一次旋轉(zhuǎn)捕獲的6幅點(diǎn)云特征少特征少特征豐富基于點(diǎn)云的室內(nèi)導(dǎo)航方法點(diǎn)云地圖的構(gòu)建問題點(diǎn)云數(shù)據(jù)的預(yù)處理攝像頭一次旋轉(zhuǎn)捕獲的6幅點(diǎn)云基于點(diǎn)云的室內(nèi)導(dǎo)航方法點(diǎn)云地圖的構(gòu)建問題點(diǎn)云對3D攝像頭姿態(tài)敏感通過監(jiān)控?cái)z像頭的姿態(tài)來捕獲特征點(diǎn)較多的點(diǎn)云基于點(diǎn)云的室內(nèi)導(dǎo)航方法點(diǎn)云地圖的構(gòu)建問題利用視覺里程計(jì)算法估計(jì)用戶的行走軌跡采集的點(diǎn)云與軌跡相結(jié)合形成點(diǎn)云軌跡點(diǎn)云行走方向基于點(diǎn)云的室內(nèi)導(dǎo)航方法點(diǎn)云地圖的構(gòu)建問題點(diǎn)云軌跡聚合錯(cuò)誤聚合基于點(diǎn)云的室內(nèi)導(dǎo)航方法定位、路徑規(guī)劃和偏移檢測問題三邊測量方法重心方法A*路徑規(guī)劃方法基于位置的偏移檢測單幅點(diǎn)云多幅點(diǎn)云三邊測量方法重心法試驗(yàn)場景辦公室大樓購物中心

基于點(diǎn)云的室內(nèi)導(dǎo)航方法導(dǎo)航精度一條軌跡，總長360m，每個(gè)測試點(diǎn)重復(fù)4次取平均結(jié)果

導(dǎo)航誤差不具有明顯的累加性基于點(diǎn)云的室內(nèi)導(dǎo)航方法辦公室環(huán)境購物中心環(huán)境偏移檢測精度

偏移檢測誤差小于3米基于點(diǎn)云的室內(nèi)導(dǎo)航方法點(diǎn)云誤匹配用戶真實(shí)偏移室內(nèi)環(huán)境動態(tài)性影響

對環(huán)境動態(tài)變化具有魯棒性

基于點(diǎn)云的室內(nèi)導(dǎo)航方法人運(yùn)動的影響實(shí)體移動的影響1室內(nèi)外位置服務(wù)的概述2室內(nèi)環(huán)境感知與建模3基于點(diǎn)云的室內(nèi)導(dǎo)航4室內(nèi)外聯(lián)合導(dǎo)航5未來研究匯報(bào)提綱室內(nèi)外聯(lián)合導(dǎo)航方法問題背景從復(fù)雜的室內(nèi)空間導(dǎo)航到室外目的地或者另一個(gè)室內(nèi)空間用戶的需求：快速規(guī)劃出所在位置到目的地的最短路徑大型購物中心到室外肯德基地鐵站從S點(diǎn)到達(dá)室外P點(diǎn)出口1出口2出口3出口4出口5我在這怎么走？室內(nèi)外聯(lián)合導(dǎo)航方法問題表述從多個(gè)室內(nèi)位置、多個(gè)出入口、多個(gè)目的地的地鐵室內(nèi)外場景中快速、準(zhǔn)確的來規(guī)劃最短行走路徑室內(nèi)外聯(lián)合導(dǎo)航方法問題背景地鐵交通的重要性乘客的需求：快速的規(guī)劃出下車位置到目的地的最短路徑目前的地鐵交通系統(tǒng)很難滿足以上需求地鐵站內(nèi)部具有復(fù)雜的室內(nèi)結(jié)構(gòu)，尤其是換乘車站出口連通其他的室內(nèi)空間，例如地下商場，路徑錯(cuò)綜復(fù)雜問題：對于乘客易迷路、浪費(fèi)時(shí)間，對于地鐵交通系統(tǒng)其服務(wù)體驗(yàn)差、交通流效率低迫切需要設(shè)計(jì)新的系統(tǒng)來解決室內(nèi)外聯(lián)合導(dǎo)航問題室內(nèi)外聯(lián)合導(dǎo)航方法技術(shù)理念傳感器路徑追蹤粗略軌跡精確軌跡群智感知路徑共享信號指紋慣性導(dǎo)航人人參與軌跡聚類室內(nèi)外聯(lián)合導(dǎo)航方法實(shí)驗(yàn)評估

長沙地鐵2號線，19個(gè)地鐵站，每個(gè)地鐵站出口為4-8個(gè)不等地鐵導(dǎo)航GUI迎賓路口地鐵站室內(nèi)外聯(lián)合導(dǎo)航方法實(shí)驗(yàn)評估導(dǎo)航誤差（步）

最大12步導(dǎo)航誤差1室內(nèi)外位置服務(wù)的概述2室內(nèi)環(huán)境感知與建模3基于點(diǎn)云的室內(nèi)導(dǎo)航4室內(nèi)外聯(lián)合導(dǎo)航5未來研究匯報(bào)提綱室內(nèi)導(dǎo)航服務(wù)的整體研究框架室內(nèi)環(huán)境感知與建模空間屬性自動構(gòu)建室內(nèi)場景識別理解地圖語義自動標(biāo)記室內(nèi)定位與導(dǎo)航方法傳統(tǒng)的室內(nèi)定位與導(dǎo)航方法室內(nèi)外一體化導(dǎo)航基于視覺的便捷部署導(dǎo)航方法室內(nèi)空間三維語義地圖室內(nèi)位置應(yīng)用面向人員面向室內(nèi)服務(wù)機(jī)器人多階段路徑規(guī)劃方法基于偏好的路徑推薦面向?qū)嶓w語義地圖更新維護(hù)多姿態(tài)自適應(yīng)圖像、3D點(diǎn)云

…未來工作：室內(nèi)位置應(yīng)用四旋翼飛行器地面移動機(jī)器人依托“國防科學(xué)技術(shù)大學(xué)重大應(yīng)用基礎(chǔ)研究項(xiàng)目——機(jī)器人操作系統(tǒng)“Velodyne激光雷達(dá)Kinect華碩3D攝像頭3D室內(nèi)語義地圖構(gòu)建

3D點(diǎn)云地圖低成本