視頻智能檢索系統(tǒng)課件

1、贊華公司視頻智能檢索系統(tǒng)議題一 贊華公司簡介及主要業(yè)務(wù)二 視頻監(jiān)控智能識別系統(tǒng)介紹政府行業(yè)客戶外交部、國家發(fā)改委、民政部、財(cái)政部、國土資源部、水利部、農(nóng)業(yè)部、商務(wù)部、國家計(jì)生委海關(guān)總署、稅務(wù)總局、質(zhì)檢總局、廣電總局、安全監(jiān)管總局、統(tǒng)計(jì)局、知識產(chǎn)權(quán)局、新聞辦新華社、中科院、地震局、氣象局信訪局、海洋局、測繪信息局、民航局、文物局、食品藥品監(jiān)管局、外匯局、無線電管理委員會、農(nóng)科院公司主要客戶金融行業(yè)客戶中國人民銀行、國家開發(fā)銀行、中國農(nóng)業(yè)發(fā)展銀行、中國銀行、中國農(nóng)業(yè)銀行、中國工商銀行、中國建設(shè)銀行、交通銀行、招商銀行、民生銀行、光大銀行、中信銀行、華夏銀行、廣發(fā)銀行、深發(fā)銀行、浦發(fā)銀行、興業(yè)銀行、

2、北京銀行、北京農(nóng)村商業(yè)銀行、山東農(nóng)信、中國人壽、中國人保、養(yǎng)老保險(xiǎn)、平安保險(xiǎn)、新華人壽、中意人壽、華泰人壽、中航三星人壽、中美大都會人壽、英大人壽、摩根士丹利、瑞銀集團(tuán)、德意志銀行、法國興業(yè)銀行、高盛高華、民族證券、中信信托、野村證券、工銀瑞信政府行業(yè)客戶系統(tǒng)集成項(xiàng)目公司主要業(yè)務(wù)犯罪逃逸我們有大量攝像頭布下的天羅地網(wǎng)，面對犯罪逃逸、肇事車輛逃逸等社會問題卻收效甚微？我們希望能夠從海量視頻數(shù)據(jù)中自動找到目標(biāo)！ 在追查逃犯時，公安部門往往會調(diào)用案發(fā)地附近大量的監(jiān)攝像頭的監(jiān)控視頻來搜索犯罪嫌疑人的線索。需要大量的人員來人工排查監(jiān)控視頻。不僅效率低還很容易錯過嫌疑人段再出現(xiàn)的瞬間。即使發(fā)現(xiàn)了犯罪嫌疑人

3、的面貌特征仍舊需要大量的警力來拿著照片走訪，排查。使破案的效率大大降低，甚至延誤、錯失最佳的辦案時機(jī)。智能視頻分析面臨的挑戰(zhàn)智能分析面臨的挑戰(zhàn)6智能分析 入侵檢測 遺留檢測 人流密度檢測 事件檢測 僅限于單個攝像頭范圍內(nèi) 過多的誤報(bào) 事后查找依靠人為播放技術(shù)限制：用于事前預(yù)警 無法跨攝像頭區(qū)域聯(lián)動報(bào)警 相關(guān)人疲于應(yīng)付，消耗大量成本 時候查證缺乏快捷直觀手段應(yīng)用中的問題：事后調(diào)查困難，無主動檢索誤報(bào)太多無有效查詢無法對黑名單之外的嫌疑人進(jìn)行行動路徑分析智能識別面臨的挑戰(zhàn)7智能識別 靜態(tài)人臉識別 動態(tài)人臉識別（布控） 任意物體識別 車牌識別（布控） 僅限于單個攝像頭范圍內(nèi) 大數(shù)據(jù)量（10萬庫)下的

4、 識別精度低，速度慢 對于環(huán)境要求高：人臉80*80以上技術(shù)限制：用于身份確認(rèn) 無法跨攝像頭區(qū)域聯(lián)動追蹤 無法滿足海量圖像的查找要求 無法在室外監(jiān)控環(huán)境中使用應(yīng)用中的問題：無法在室外攝像頭 環(huán)境使用無法跨海量攝像頭 實(shí)時比對在海量數(shù)據(jù)集上無法 保證精度和速度贊華視頻智能檢索系統(tǒng)功能人臉檢索多線索檢索車輛檢索人臉檢索特點(diǎn)跨海量攝像頭環(huán)境使用高速檢索實(shí)時或準(zhǔn)實(shí)時以及事后檢索黑白名單設(shè)置進(jìn)行身份認(rèn)證一對一，一對多身份比對嫌疑人移動軌跡追蹤隨時查詢，任意人物高速的實(shí)時人臉捕獲目標(biāo)導(dǎo)入海量攝像頭中的特定人物檢索結(jié)果顯示經(jīng)過過濾后的結(jié)果精確地找出特定人員出現(xiàn)過的各個時間地點(diǎn)的場景或圖片根據(jù)檢索結(jié)果確定被檢

5、索人身份把攝像頭捕獲的圖像中的人臉放入后臺身份庫中的檔案進(jìn)行查找，最終確定被檢索人身份。身份一對一比對一對一身份比對驗(yàn)證結(jié)果失敗驗(yàn)證結(jié)果成功黑白名單設(shè)置，及時預(yù)警提前設(shè)置黑名單或白名單，并對黑名單人員出現(xiàn)以及除白名單以外人員出現(xiàn)時做出報(bào)警提示發(fā)現(xiàn)黑名單人員系統(tǒng)警報(bào)，警燈警笛警報(bào)，郵件警報(bào)根據(jù)被查找人出現(xiàn)的攝像頭位置，繪制出嫌疑人行蹤軌跡地圖嫌疑人移動軌跡追蹤車輛追蹤精確地找出特定車輛出現(xiàn)過的各個時間地點(diǎn)的場景或圖片，類似的也可以繪制出車輛的活動軌跡及范圍根據(jù)車輛顏色，拍照，車標(biāo)品牌車牌檢索輸入需要查找車輛的車牌在某區(qū)域范圍搜索該車輛多線索檢索人員時間地點(diǎn)行動軌跡衣著（上衣、褲子、帽子、圍巾、包

6、）臉部特征車輛時間 地點(diǎn)行動軌跡 車牌品牌 顏色特征區(qū)域視頻數(shù)據(jù)的結(jié)構(gòu)化和預(yù)處理對于非人臉特征進(jìn)行多線索檢索形成各個圖像塊的特征描述特征塊描述例（顏色）特征數(shù)據(jù)庫特征抽取過程利用多種線索進(jìn)行聯(lián)合檢索多線索檢索過程視頻摘要：由計(jì)算機(jī)自動提取視頻中的所有活動物體(人、車、動物等)，并以濃縮視頻和快照的方式輸出的過程。濃縮視頻：提取視頻中活動物體，與背景融合拼接，生成一個包含所有活動物體的新視頻，在同一視頻畫面展現(xiàn)不同時間點(diǎn)的活動物體的過程。濃縮視頻比原視頻短得多，從而縮短查看視頻的時間?？煺眨夯顒游矬w在某些時間點(diǎn)的映像。可以是從原始視頻中截取的某幀，或?qū)⒒顒游矬w與原始視頻背景疊加合成的圖片。每個活

7、動物體一張快照，用戶不用看原視頻，只需快速瀏覽快照，即可快速發(fā)現(xiàn)視頻中出現(xiàn)的可疑目標(biāo)?？煺?原視頻 濃縮視頻 視頻摘要多線索檢索視頻檢索：在視頻摘要的基礎(chǔ)上，由計(jì)算機(jī)進(jìn)一步對活動物體進(jìn)行分類和特征識別，按照顏色、形狀、紋理、行為、出現(xiàn)時間等特征進(jìn)行分類標(biāo)注，建立特征索引，以供用戶輸入條件進(jìn)行檢索的過程。視頻檢索不用瀏覽全部活動物體，只需輸入條件，即可搜索到需要的目標(biāo)?？鐢z像頭檢索針對視頻及圖片大數(shù)據(jù)的超高速檢索 事件檢測過程攝像機(jī)及攝像機(jī)代理服務(wù)節(jié)點(diǎn)用于解析攝像機(jī)的輸入數(shù)據(jù)（來自攝像機(jī)或已有的視頻數(shù)據(jù)）。分析結(jié)果傳送到檢索服務(wù)節(jié)點(diǎn)并存儲到檢索數(shù)據(jù)庫中。圖像/視頻傳送到用于視頻數(shù)據(jù)庫的存檔服務(wù)節(jié)

8、點(diǎn)。 檢索過程客戶端如需視頻檢索，將直接訪問檢索服務(wù)節(jié)點(diǎn)中的檢索數(shù)據(jù)庫，而無需解析圖像/視頻數(shù)據(jù)。檢索服務(wù)節(jié)點(diǎn)可即時將檢索結(jié)果發(fā)送到給客戶端。 回放過程 客戶端如需回放視頻檢索結(jié)果，將直接從存檔服務(wù)節(jié)點(diǎn)提取相關(guān)內(nèi)容（圖像/視頻數(shù)據(jù)）。客戶端存檔服務(wù)節(jié)點(diǎn)檢索服務(wù)節(jié)點(diǎn)高速檢索網(wǎng)絡(luò)判斷重要度攝像機(jī)及攝像機(jī)代理服務(wù)節(jié)點(diǎn)攝像機(jī) 在在1秒鐘之內(nèi)，從1億件的圖像中篩選相似特征圖像的高速檢索技術(shù) 僅用50ms即可更新1張圖像索引的數(shù)據(jù)庫管理技術(shù)高速檢索的保障通過采用分布式架構(gòu)，支持城市大規(guī)模網(wǎng)絡(luò)監(jiān)控系統(tǒng)分布式存儲和實(shí)時處理的網(wǎng)絡(luò)架構(gòu)，在效率上大大領(lǐng)先于每次都需要導(dǎo)入的離線處理系統(tǒng)。采用實(shí)時分布式處理架構(gòu)，基本可以做到無需等待，即時檢索。在平安城市等領(lǐng)域應(yīng)用建議調(diào)取視頻線索發(fā)現(xiàn)身份確認(rèn)追蹤布控案發(fā)通過智能檢索系統(tǒng)：通過人臉查找嫌疑人通過頭發(fā)、帽子、口罩、圍巾、衣服顏色查找嫌疑人通過行進(jìn)軌跡查找嫌疑人通過車輛外形，品牌，車號查找嫌疑車輛通過時間、地點(diǎn)限定查找范圍通過智能檢索系統(tǒng)：實(shí)時通過聯(lián)網(wǎng)攝像頭在全城范圍內(nèi)發(fā)現(xiàn)嫌疑人、嫌疑車輛行蹤破案通過智能檢索系統(tǒng)：檢索后臺的檔案庫，鎖定嫌疑人員車輛典型應(yīng)用重點(diǎn)關(guān)卡，通道的排查。與后臺逃犯庫和黑名單對比，發(fā)現(xiàn)嫌疑人馬上報(bào)警在安全防范等級高的園區(qū)、單位設(shè)置