物聯(lián)網(wǎng)智能視頻技術(shù)（知識研究或個(gè)人學(xué)習(xí)）

物聯(lián)網(wǎng)智能視頻技術(shù)知識研究

計(jì)算機(jī)視覺的研究目的是利用計(jì)算機(jī)代替人眼及大腦對于景物環(huán)境進(jìn)行感知、描述、解釋和理解，是一門交叉性很強(qiáng)的學(xué)科，涉及計(jì)算機(jī)、心理學(xué)、生理學(xué)、物理學(xué)、信號處理和應(yīng)用數(shù)學(xué)等諸多學(xué)科。計(jì)算機(jī)視覺的研究開始于20世紀(jì)60年代，并在20世紀(jì)80年代取得了重大的突破。智能視頻監(jiān)

智能視頻技術(shù)綜述控是計(jì)算機(jī)視覺領(lǐng)域中近幾年來新興起的一個(gè)應(yīng)用方向。如何實(shí)現(xiàn)計(jì)算機(jī)替代人工完成視頻監(jiān)控的繁重作業(yè)成為智能視頻監(jiān)控發(fā)展的關(guān)鍵問題。智能視頻（IntelligentVideo，IV或ContentAnalysis，CA）技術(shù)主要解決兩大問題：首先，將安防工作人員從繁雜而枯燥的任務(wù)解脫出來，由機(jī)器來替代完成；另外，在海量的視頻數(shù)據(jù)中快速搜索出到目標(biāo)圖像。智能視頻技術(shù)研究內(nèi)容功能第一代：模擬視頻監(jiān)控第二代：數(shù)字視頻監(jiān)控第三代：網(wǎng)絡(luò)視頻監(jiān)控監(jiān)控范圍小范圍大范圍基于Internet跨地區(qū)組網(wǎng)難度單獨(dú)組網(wǎng)、復(fù)雜復(fù)雜簡單應(yīng)用擴(kuò)展性受限制受限制多級擴(kuò)展系統(tǒng)管理手工管理、復(fù)雜手工管理、復(fù)雜遠(yuǎn)程管理、簡單查看方式傳統(tǒng)監(jiān)控中心特定電腦網(wǎng)絡(luò)訪問、隨時(shí)隨地資料保存磁帶數(shù)字硬盤分級存儲安全性差一般好智能視頻監(jiān)控（IntelligentVideoSurveillance，IVS）利用計(jì)算機(jī)視覺技術(shù)對視頻信號進(jìn)行處理、分析和理解，幫助視頻監(jiān)控系統(tǒng)實(shí)施控制，從而提高視頻監(jiān)控系統(tǒng)的智能化水平。智能視頻技術(shù)主要包括對視頻圖像序列自動地進(jìn)行運(yùn)動對象的提取、描述、跟蹤、識別和行為分析等方面的內(nèi)容。如果把攝像機(jī)看作人的眼睛，而智能視頻系統(tǒng)則可以看作人的大腦。智能視頻監(jiān)控系統(tǒng)能夠識別不同的目標(biāo)，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，并能夠以最快和最佳的方式發(fā)出警報(bào)和提供有用信息，從而能夠更加有效的協(xié)助工作人員處理危機(jī)，并最大限度的降低誤報(bào)和漏報(bào)現(xiàn)象，實(shí)現(xiàn)計(jì)算機(jī)智能分析、描述和理解視頻畫面中的內(nèi)容。智能視頻技術(shù)是智能視頻中最為核心的關(guān)鍵技術(shù)。物聯(lián)網(wǎng)與智能視頻技術(shù)1.智能視頻技術(shù)亦是物聯(lián)網(wǎng)感知層的重要技術(shù)之一物聯(lián)網(wǎng)技術(shù)最基礎(chǔ)的是感知層技術(shù)，從現(xiàn)階段來看，物聯(lián)網(wǎng)發(fā)展的瓶頸主要位于感知層。感知層的主要作用是采集信息并識別目標(biāo)，采集設(shè)備包括二維碼標(biāo)簽和識讀器、RFID標(biāo)簽和讀寫器、攝像頭、GPS、傳感器、傳感器網(wǎng)絡(luò)等。一般意義上，傳感器包括諸如RFID、各類感應(yīng)探頭、數(shù)據(jù)采集裝置等；而具備智能視頻技術(shù)的視頻采集設(shè)備，實(shí)質(zhì)上也是一種更直觀智能的傳感器，它可以通過智能視頻識別分析技術(shù)來感知并識別視頻場景內(nèi)的目標(biāo)及其行為。隨著智能視頻分析與自動識別技術(shù)的發(fā)展，視頻感知將成為物聯(lián)網(wǎng)信息感知層最重要的技術(shù)之一。2.智能視頻技術(shù)是物聯(lián)網(wǎng)應(yīng)用層的重要技術(shù)之一物聯(lián)網(wǎng)的三層架構(gòu)即感知層、傳輸層和應(yīng)用層，如果將物聯(lián)網(wǎng)技術(shù)應(yīng)用于視頻監(jiān)控行業(yè)，可以形成智能視頻解決方案。同時(shí)，智能視頻系統(tǒng)融入物聯(lián)網(wǎng)應(yīng)用層，并與智能樓宇、智能家居、智能醫(yī)院等應(yīng)用緊密結(jié)合構(gòu)建“智慧城市”。隨著國內(nèi)建設(shè)“平安城市、和諧社會”的迫切需要，監(jiān)控系統(tǒng)規(guī)模日益龐大，數(shù)以萬計(jì)的攝像監(jiān)控設(shè)備同時(shí)工作，成千上萬的工作人員緊盯著屏幕。僅依靠視頻監(jiān)控中工作人員的人眼，即使是專業(yè)操作人員也難以有效可靠地完成任務(wù)。智能視頻技術(shù)能夠在視頻圖像及圖像描述之間建立映射關(guān)系，從而使計(jì)算機(jī)能夠理解視頻畫面中的內(nèi)容。物聯(lián)網(wǎng)的迅猛發(fā)展，以及人們對智能化的強(qiáng)烈需求，智能視頻監(jiān)控迎來巨大的發(fā)展機(jī)遇，物聯(lián)網(wǎng)必將對視頻監(jiān)控產(chǎn)生深刻影響，包括其理念、技術(shù)、形態(tài)和效果，也為視頻監(jiān)控的智能化提供了廣闊的前景。智能視頻技術(shù)的應(yīng)用前景隨著視頻監(jiān)控的普及以及監(jiān)控要求的提高，智能視頻監(jiān)控應(yīng)用范圍會不斷擴(kuò)大，例如對停車場和街道的監(jiān)視、在商店內(nèi)對顧客的跟蹤、財(cái)產(chǎn)轉(zhuǎn)移的控制、探測醫(yī)院中異常的事件、監(jiān)視照顧家中的老人等。這些應(yīng)用要求給出它們行為和動作的描述，探測一些危險(xiǎn)行為的發(fā)生，并對不正常現(xiàn)象發(fā)出警報(bào)等，比如，由人或車輛等所在的位置和運(yùn)動軌跡來判斷是否有異常情況出現(xiàn)，分析人的運(yùn)動狀態(tài)（跑動或跳躍等），以及多個(gè)人之間的交互關(guān)系等。特別是在有些危險(xiǎn)的場所（比如核電站），視頻監(jiān)控是人所無法取代的。具體的有以下幾個(gè)方面：智能視頻技術(shù)的應(yīng)用前景1.安全相關(guān)類應(yīng)用高級視頻移動偵測（AdvancedVideoMotionDetection）：在復(fù)雜的天氣環(huán)境中(例如雨雪、大霧、大風(fēng)等)精確的偵測和識別單個(gè)物體或多個(gè)物體的運(yùn)動情況，包括運(yùn)動方向、運(yùn)動特征等。物體追蹤（MotionTracking）：偵測到移動物體之后，根據(jù)物體的運(yùn)動情況，自動發(fā)送PTZ（Pan/Tilt/Zoom）等控制指令，使攝像機(jī)能夠自動跟蹤物體，在物體超出該攝像機(jī)監(jiān)控范圍之后，自動通知物體所在區(qū)域的攝像機(jī)繼續(xù)進(jìn)行追蹤。人臉識別（FaceRecognition）：自動識別人物的臉部特征，并通過與數(shù)據(jù)庫檔案進(jìn)行比較來識別或驗(yàn)證人物的身份。此類應(yīng)用又可以細(xì)分為“合作型”和“非合作型”兩大類?！昂献餍汀睉?yīng)用需要被監(jiān)控者在攝像機(jī)前停留一段時(shí)間，通常與門禁系統(tǒng)配合使用?！胺呛献餍汀眲t可以在人群中識別出特定的個(gè)體，此類應(yīng)用可以在機(jī)場、火車站、體育場館等應(yīng)用場景中發(fā)揮很大的作用。車輛識別（VehicleIdentification）：識別車輛的形狀、顏色、車牌號碼等特征，并反饋給監(jiān)控者。此類應(yīng)用可以用在被盜車輛追蹤等場景中。非法滯留（ObjectPersistence）：當(dāng)一個(gè)物體(如箱子、包裹、車輛、人物等)在敏感區(qū)域停留的時(shí)間過長，或超過了預(yù)定義的時(shí)間長度就產(chǎn)生報(bào)警。典型應(yīng)用場景包括機(jī)場、火車站、地鐵站等。2.非安全相關(guān)類應(yīng)用除了安全相關(guān)類應(yīng)用之外，智能視頻還可以應(yīng)用到一些非安全相關(guān)類的應(yīng)用當(dāng)中。這些應(yīng)用主要面向零售、服務(wù)等行業(yè)，可以被看作管理和服務(wù)的輔助工具，用以提高服務(wù)水平和營業(yè)額。此類應(yīng)用主要包括：人數(shù)統(tǒng)計(jì)（PeopleCounting）：統(tǒng)計(jì)穿越入口或指定區(qū)域的人或物體的數(shù)量。例如為業(yè)主計(jì)算某天光顧其店鋪的顧客數(shù)量。人群控制（FlowControl）：識別人群的整體運(yùn)動特征，包括速度、方向等等，用以避免形成擁塞，或者及時(shí)發(fā)現(xiàn)異常情況。典型的應(yīng)用場景包括超級市場、火車站等人員聚集的地方。

注意力控制（AttentionControl）：統(tǒng)計(jì)人們在某物體前面停留的時(shí)間。可以用來評估新產(chǎn)品或新促銷策略的吸引力，也可以用來計(jì)算為顧客提供服務(wù)所用的時(shí)間。交通流量控制（TrafficFlow）：用于在高速公路或城市環(huán)路，根據(jù)車流量的變化自適應(yīng)調(diào)整交通信號的閃亮?xí)r間，達(dá)到智能控制交通的目的。該應(yīng)用需要提高視頻分析功能模塊的適應(yīng)性，使之適應(yīng)更為復(fù)雜和多變的現(xiàn)場環(huán)境。目前，雖然有不少廠家提供IVS系統(tǒng)與解決方案，但不論是前端嵌入式視頻分析產(chǎn)品還是后端純軟件視頻分析產(chǎn)品，不論是國內(nèi)的產(chǎn)品還是國外的產(chǎn)品，與用戶的真正需求都還有相當(dāng)?shù)木嚯x，智能視頻分析技術(shù)的未來之路仍然不乏挑戰(zhàn)。例如，視頻式客流統(tǒng)計(jì)系統(tǒng)將不再局限于垂直角度或者某個(gè)特定角度進(jìn)行分析，甚至可以在任何角度上進(jìn)行檢測。因此在提高視頻角度適應(yīng)性的基礎(chǔ)上，將可以實(shí)現(xiàn)更多不同角度的選擇。邊界檢測同樣如此，將不再局限于圍墻、柵欄等特定的場景，而是在各種場景下同樣穩(wěn)定運(yùn)行。此外，環(huán)境光照條件復(fù)雜多變，解決對光照條件的適應(yīng)性問題也是產(chǎn)品成熟的一個(gè)標(biāo)志。

智能視頻行業(yè)發(fā)展，應(yīng)該立足行業(yè)用戶需求，對行為和異常事件分析識別。對于視頻監(jiān)控的需求，特別是對于智能視頻分析技術(shù)的應(yīng)用需求，不同的行業(yè)間一般有著非常明顯的差異，由此也決定了不同行業(yè)檢測行為類型與異常事件的差異性。隨著各行業(yè)應(yīng)用的不斷深入以及安全級別要求的進(jìn)一步提高，各安防領(lǐng)域?qū)σ曨l監(jiān)控的需求也將日益復(fù)雜化。此外，完善產(chǎn)品性能指標(biāo)，提高產(chǎn)品檢測率，減少誤報(bào)也是智能視頻技術(shù)的發(fā)展方向。對于以報(bào)警事件的準(zhǔn)確性作為評價(jià)標(biāo)準(zhǔn)的智能監(jiān)控產(chǎn)品，一般通過考察其在不同環(huán)境下的檢測率和誤報(bào)率來評價(jià)其性能。理想系統(tǒng)的檢測率和有效率都應(yīng)是100%，但實(shí)際系統(tǒng)只能接近這些指標(biāo)而不能完全達(dá)到。只有通過調(diào)整系統(tǒng)的靈敏度參數(shù)，改變檢測率與有效率之間的關(guān)系，在有效率合乎使用要求的情況下，性能優(yōu)良的系統(tǒng)才能獲得最高檢測率。當(dāng)靈敏度調(diào)得很高時(shí)，檢測率會提高，但誤報(bào)增多，有效率會下降；反之，誤報(bào)率下降，有效率提高，但檢測率會降低。

智能視頻核心技術(shù)智能視頻技術(shù)作為智能視頻系統(tǒng)中最為核心的關(guān)鍵技術(shù)，其研究目標(biāo)是對監(jiān)控視頻的內(nèi)容對象進(jìn)行描述、分析和理解，并根據(jù)理解的結(jié)果對視頻監(jiān)控系統(tǒng)進(jìn)行控制，從而使視頻監(jiān)控系統(tǒng)達(dá)到智能化水平。智能視頻技術(shù)涉及到計(jì)算機(jī)視覺、圖像視頻處理和人工智能領(lǐng)域中的眾多核心技術(shù)，是一個(gè)非常具有挑戰(zhàn)性的困難問題。智能視頻技術(shù)一方面可以對視頻畫面進(jìn)行分類，起到對照或識別的作用。另一方面，它可以對畫面進(jìn)行分析，對畫質(zhì)進(jìn)行某些優(yōu)化，提供更好的畫質(zhì)供工作人員觀看。其中具體包括：智能視頻分析技術(shù)、智能視頻識別技術(shù)、智能視頻改良技術(shù)。

智能視頻分析技術(shù)智能視頻分析就是使用計(jì)算機(jī)圖像視覺分析技術(shù)，通過將場景中背景和目標(biāo)分離進(jìn)而分析并追蹤在攝像機(jī)場景內(nèi)出現(xiàn)的目標(biāo)。用戶可以根據(jù)視頻內(nèi)容分析功能，通過在不同攝像機(jī)的場景中預(yù)設(shè)不同的報(bào)警規(guī)則，一旦目標(biāo)在場景中出現(xiàn)了違反預(yù)定規(guī)則的行為，系統(tǒng)會自動發(fā)出報(bào)警，監(jiān)控工作站自動彈出報(bào)警信息并發(fā)出警示音，用戶可以通過點(diǎn)擊報(bào)警信息，實(shí)現(xiàn)報(bào)警場景重組并采取相關(guān)措施。視頻移動探測（VideoMotionDetection，VMD）是硬盤錄像機(jī)早期的一個(gè)功能，初衷是監(jiān)控畫面的某個(gè)區(qū)域內(nèi)是否有像素變化，系統(tǒng)便自動觸發(fā)報(bào)警提醒工作人員注意該圖像。VMD技術(shù)采用比較相鄰幀圖像像素的變化情況，關(guān)注的核心的畫面內(nèi)所有像素的變化情況，此技術(shù)的應(yīng)用比較有局限性。例如VMD技術(shù)對于一些靜態(tài)場景過于敏感，如海浪、樹葉的晃動等，可能觸發(fā)誤報(bào)警，因此不適合用于室外；而對于一些緩慢移動的入侵物體，或者入侵的物體突然停止運(yùn)動，可能導(dǎo)致漏報(bào)警。由于VMD技術(shù)的局限性，實(shí)際應(yīng)用的并不多，也算不上是真正的智能視頻分析技術(shù)。VMD技術(shù)的優(yōu)勢是算法簡單，不會給處理器帶來很大負(fù)擔(dān)，并且在一些室外場景并不復(fù)雜的場所可以有不錯(cuò)的表現(xiàn)，但是對于真正有視頻分析需求的應(yīng)用環(huán)境，尤其是室外環(huán)境，VMD技術(shù)不是一個(gè)好的選擇。下面介紹智能視頻分析技術(shù)的技術(shù)原理。4.2.2智能視頻識別技術(shù)隨著大規(guī)模監(jiān)控系統(tǒng)的廣泛應(yīng)用，工作人員根本無法管理和監(jiān)看成百上千的攝像頭，因而在很大程度失去監(jiān)控系統(tǒng)的預(yù)防與積極干預(yù)功能。例如倫敦Heathrow國際機(jī)場裝配有超過5000個(gè)攝像頭，如何管理這些視頻信息，將數(shù)據(jù)在適當(dāng)?shù)臅r(shí)間及時(shí)精準(zhǔn)地傳遞給需要的工作人員變得非常重要。如果系統(tǒng)具有自動識別和分析圖像所含信息的功能，也就是具備智能，這將大大提高系統(tǒng)的性能。另外，一些特殊的需求也促進(jìn)了智能視頻識別技術(shù)的發(fā)展，例如智能交通系統(tǒng)需要移動目標(biāo)流量的統(tǒng)計(jì)、車牌號碼的識別等。智能跟蹤技術(shù)和危險(xiǎn)探測系統(tǒng)是智能化視頻監(jiān)控技術(shù)的又一應(yīng)用，采用這一技術(shù)，入侵者會自動顯示在多個(gè)顯示屏上，并由一臺攝像機(jī)跟蹤到另一臺攝像機(jī)。跟蹤的目標(biāo)可以是汽車、移動物體、非正常遺留物或入侵者，系統(tǒng)還可以提供報(bào)警管理。智能視頻識別主要包括人臉識別及車牌識別，其主要的技術(shù)在于在視頻畫面中找出局部畫面的共性。例如：人臉必然有兩個(gè)眼睛，如果我們可以找到雙目的位置，那么就可以定性人臉的位置及尺寸。不過，以現(xiàn)有的技術(shù)來說，人臉識別系統(tǒng)必須在雙目可視的情況下，才可進(jìn)行人臉比對。其主要包括：人臉識別系統(tǒng)、車牌識別系統(tǒng);目前智能視頻識別技術(shù)在實(shí)現(xiàn)上一般采用兩種方式，一種是基于靜態(tài)圖像的智能識別技術(shù)，一種是基于視頻的智能識別技術(shù)。基于靜態(tài)圖像的智能識別技術(shù)，一般是利用物聯(lián)網(wǎng)技術(shù)如紅外、激光、壓力等傳感器觸發(fā)識別系統(tǒng)通過提取視頻序列中的單幅圖像進(jìn)行視頻識別或者智能視頻在智能分析中識別出相應(yīng)目標(biāo)后對單幅圖像進(jìn)行識別，這種方式處理速度和效果都較好，目前視頻識別也多采用此種方式?；谝曨l的智能識別技術(shù)，此種技術(shù)是直接利用視頻進(jìn)行人臉或者車輛等的進(jìn)行動態(tài)建模，實(shí)現(xiàn)動態(tài)模型進(jìn)行識別，此種技術(shù)比單純的圖像識別能夠?qū)⒏嗟哪繕?biāo)的三維特征進(jìn)行多次匹配，從而提高識別的準(zhǔn)確度和精度，現(xiàn)階段基于視頻的識別算法主要是基于室內(nèi)的環(huán)境條件，室外復(fù)雜環(huán)境下還不是很成熟，例如室外條件下的人臉圖像光照、姿態(tài)等的劇烈變化使人臉識別仍然面臨著許多困難，多種特征提高識別的性能也將是未來研究個(gè)重點(diǎn)。智能視頻識別指系統(tǒng)從視頻畫面中找出局部中一些畫面的共性，包括目標(biāo)識別和目標(biāo)跟蹤，如人臉識別、人體識別、車牌識別等。智能視頻改良技術(shù)近年來，智能監(jiān)控技術(shù)應(yīng)用在視頻監(jiān)控系統(tǒng)得到了很好的應(yīng)用，如智能交通行業(yè)的車牌識別、安防的智能監(jiān)控，但是還存在很多有挑戰(zhàn)性的難題沒有解決如包括特殊天氣情況下(霧天)的適用算法研究，夜間車輛的運(yùn)動檢測，運(yùn)動陰影的檢測，以及車輛遮擋問題的處理，在這些情況下的效果并不理想，嚴(yán)重影響了智能監(jiān)控系統(tǒng)的完善和推廣，也阻礙了視頻監(jiān)控其他相關(guān)研究的進(jìn)展。在智能視頻監(jiān)控系統(tǒng)中，需要清晰準(zhǔn)確地提取圖像特征，但是當(dāng)在霧天情況下，場景的能見度降低，圖像中目標(biāo)對比度和顏色等特征被衰減，系統(tǒng)無法正常工作。在光線不足環(huán)境如夜晚環(huán)境下，對比度比較差，即使燈光照充足，目標(biāo)輪廓也無法達(dá)到白天的亮度，再就是運(yùn)動物體的投射陰影對目標(biāo)在場景中的幾何特征影響比較大，而當(dāng)前的目標(biāo)識別算法大都是基于目標(biāo)的幾何特征的，因此無論是在晴天還是在雨天，都可能因?yàn)殛幱盎虻褂皢栴}導(dǎo)致漏檢和誤分類，同時(shí)陰影對目標(biāo)區(qū)域的擴(kuò)展容易導(dǎo)致幾個(gè)目標(biāo)物體粘結(jié)在一起，給后續(xù)的目標(biāo)跟蹤造成困難。傳統(tǒng)的解決方案，一般采用搭建多攝像機(jī)系統(tǒng)的方法，攝像機(jī)群中包括普通CCD攝像機(jī)和紅外攝像機(jī)，通過對多攝像機(jī)的信息進(jìn)行融合來解決霧天情況下場景可見度低的問題。但是多攝像機(jī)監(jiān)控系統(tǒng)價(jià)格昂貴，使智能視頻監(jiān)控技術(shù)難于普及和推廣。如何通過圖像改良技術(shù)實(shí)現(xiàn)圖像視頻的質(zhì)量，來提高智能視頻的有效率是智能視頻技術(shù)的關(guān)鍵技術(shù)。影響圖像質(zhì)量清晰程度有很多因素，室外光照度不均勻會造成圖像灰度過于集中；攝像頭獲得的圖像經(jīng)過數(shù)/模轉(zhuǎn)換，線路傳輸時(shí)都會產(chǎn)生噪聲污染，圖像質(zhì)量不可避免降低，輕者變現(xiàn)為圖像伴有噪點(diǎn)，難于看清圖像細(xì)節(jié)；重者圖像模糊不清，連大概物體面貌輪廓都難以看清。因此，對圖像進(jìn)行分析處理之前，必須對圖像進(jìn)行改善，即增強(qiáng)圖像。圖像增強(qiáng)并不考慮圖像質(zhì)量下降的原因，只是將圖像中感興趣的重要特征有選擇性的突出出來，同時(shí)衰減不需要的特征，目的就是提高圖像的可理解性。圖像增強(qiáng)是數(shù)字圖像處理的一個(gè)重要分支。很多由于場景條件的影響圖像拍攝的視覺效果不佳，這就需要圖像增強(qiáng)來改善人的視覺效果，比如突出圖像中目標(biāo)物體的某些特點(diǎn)、從數(shù)字圖像中提取目標(biāo)物體的特征參數(shù)等等，這些都有利于對圖像中目標(biāo)的識別、跟蹤和理解。圖像改良處理主要內(nèi)容是突出圖像中感興趣的部分