平安城市低碼流高清監(jiān)控解決方案探討

1、平安城市進(jìn)入了一輪新的建設(shè)高峰，尤其是在一些一線城市，平安城市覆蓋面越來越廣，不僅僅是傳統(tǒng)的視頻監(jiān)控和報(bào)警管理等治安管理系統(tǒng)，還將交通電子警察、應(yīng)急系統(tǒng)、停車管理等城市管理納入，提升了數(shù)字城市、智慧城市的高度。    由于視頻監(jiān)控屬于帶寬密集型應(yīng)用，在如火如荼的建設(shè)大潮背后，是大批的IT系統(tǒng)進(jìn)入，這包括城域網(wǎng)建設(shè)、視頻存儲(chǔ)系統(tǒng)建設(shè)、視頻流轉(zhuǎn)發(fā)服務(wù)器建設(shè)等等，同時(shí)，這些系統(tǒng)的建設(shè)又帶來了龐大、繁雜的系統(tǒng)維護(hù)問題。從2010年的世博會(huì)首次大范圍建設(shè)高清監(jiān)控系統(tǒng)，到2011年的重慶大規(guī)模高清監(jiān)控系統(tǒng)投入使用，給視頻監(jiān)控系統(tǒng)帶來越來越大的壓力。這些壓力主要體現(xiàn)在

2、：    ·實(shí)時(shí)高清圖像清晰度和網(wǎng)絡(luò)帶寬之間的矛盾；    ·高清錄像回放清晰度和錄像存儲(chǔ)容量之間的矛盾；    ·高清錄像回放用戶數(shù)量和錄像存儲(chǔ)系統(tǒng)吞吐能力之間的矛盾。    這一系列的矛盾直接對系統(tǒng)建設(shè)成本和復(fù)雜性提出了更高的要求，無論是政府直接建設(shè)還是電信運(yùn)營商或視頻監(jiān)控廠商BT模式，在當(dāng)前國際金融危機(jī)和國內(nèi)通脹壓力形勢下，要從財(cái)政中撥出巨款投入城市治安管理建設(shè)，對于尚處于發(fā)展中階段的各級政府，不亞于

3、一個(gè)沉重的經(jīng)濟(jì)負(fù)擔(dān)。    筆者有過多年的通信、圖像處理的工作經(jīng)驗(yàn)，本文中提出了個(gè)人技術(shù)見解，希望能夠借此推動(dòng)高清監(jiān)控系統(tǒng)推進(jìn)和完善。    方案一：借助于最新視頻編碼技術(shù)    當(dāng)前平安城市中的高清監(jiān)控采用編碼、傳輸、解碼、存儲(chǔ)等一系列數(shù)據(jù)流程，為了節(jié)省投資，很多采用了分布式存儲(chǔ)，也就是說將前端的高清視頻數(shù)據(jù)通過NVR、H-DVR、NAS和IP-SAN等存儲(chǔ)設(shè)備在分控中心進(jìn)行集中存儲(chǔ)，分布式存儲(chǔ)的優(yōu)勢在于將數(shù)據(jù)集中于各分中心，在較大規(guī)模的系統(tǒng)中，管理便利，可靠性好。集中存儲(chǔ)

4、是將前端的高清視頻數(shù)據(jù)通過NAS、IP-SAN等集中在存儲(chǔ)中心，安全性好，但是投入成本與規(guī)模相關(guān)。    當(dāng)前的高清編碼主要采用H.264編碼，一路1080p的碼流一般為8Mb/s，存儲(chǔ)一天需要的硬盤容量為8*3600*24/8/1024=84.4GB，一個(gè)月就是84.4*30/1024=2.5TB。如果部署40個(gè)1080p的監(jiān)控點(diǎn)，一個(gè)月的錄像文件達(dá)到100TB！目前48盤位的磁盤陣列，全部接2T的硬盤，做完RAID5后，可用空間也不夠。所以，高清監(jiān)控勢必會(huì)增加存儲(chǔ)設(shè)備上的成本投入。    所以，無論是分布式存儲(chǔ)

5、還是集中式存儲(chǔ)，都不可避免需要建設(shè)龐大的錄像存儲(chǔ)系統(tǒng)。    IPTV視頻點(diǎn)播實(shí)現(xiàn)低碼流高質(zhì)量    但是，當(dāng)前電信IPTV視頻點(diǎn)播應(yīng)用已經(jīng)做到了2Mbps720P，4Mbps1080P，甚至有些私有編碼算法已經(jīng)能夠做到512Kbps720P，1Mbps1080P的超低碼流級別，這甚至要比2013年才能真正發(fā)布的h.265編碼算法(2Mbps1080P)還要低。而且這些視頻點(diǎn)播是全動(dòng)感(fullmotion)的電影視頻，畫面復(fù)雜度要遠(yuǎn)遠(yuǎn)高于監(jiān)控畫面(監(jiān)控一般為30%動(dòng)感畫面)，那么，是否兩者之間有可借鑒之處呢？&#

6、160;   誠然，超低碼流的電信IPTV應(yīng)用的視頻點(diǎn)播數(shù)據(jù)一般是經(jīng)過多次壓縮(multipass)后，從而獲得的低碼流、高畫質(zhì)的小體積視頻文件，這些工作都是離線、非實(shí)時(shí)完成的。    而實(shí)時(shí)轉(zhuǎn)碼一般是指將電視臺(tái)的高清節(jié)目實(shí)時(shí)轉(zhuǎn)碼為私有格式，以便獲得高質(zhì)量、低碼流，通過現(xiàn)有ADSL等網(wǎng)絡(luò)傳遞到用戶家中。在以上表格中，全高清1080P實(shí)時(shí)轉(zhuǎn)碼后的碼流僅為2.2Mbps，這個(gè)碼流對于我們監(jiān)控行業(yè)動(dòng)輒4Mbps的碼流來講，也是非常低的?？紤]到監(jiān)控行業(yè)的30%動(dòng)態(tài)畫面，筆者相信1Mbps的實(shí)時(shí)轉(zhuǎn)碼碼流應(yīng)該是能夠做得到的。當(dāng)然，對于交

7、通卡口等全動(dòng)感畫面，2.2Mbps的碼流也是相當(dāng)不錯(cuò)的成績了。    當(dāng)然，以上電信級的視頻壓縮算法可能根本無法跑在當(dāng)前的TI壓縮處理芯片上，要么是跑在專門設(shè)計(jì)的ASIC壓縮芯片上，要么是直接運(yùn)行在PC服務(wù)器上，來實(shí)現(xiàn)低碼流編碼。    基于電信設(shè)計(jì)思路，增設(shè)視頻轉(zhuǎn)碼層    基于以上技術(shù)發(fā)展，筆者建議采用電信系統(tǒng)的設(shè)計(jì)思路，對于當(dāng)前的平安城市系統(tǒng)進(jìn)行分層設(shè)計(jì)。    傳統(tǒng)的平安城市視頻監(jiān)控一般是編碼、傳輸?shù)椒挚刂行倪M(jìn)行實(shí)時(shí)碼流瀏覽和錄

8、像存儲(chǔ)。從系統(tǒng)層次上劃分，可分為視頻接入層、視頻錄像層、視頻實(shí)時(shí)顯示層、視頻轉(zhuǎn)發(fā)層。    筆者提出的新設(shè)計(jì)是，相對于傳統(tǒng)的4層規(guī)劃，建議增加一個(gè)獨(dú)立的視頻轉(zhuǎn)碼層。視頻轉(zhuǎn)碼層的工作是將視頻接入層的視頻進(jìn)行解碼，然后進(jìn)行二次編碼，在保持畫面質(zhì)量的同時(shí)，獲得更小的碼流，以便于節(jié)省存儲(chǔ)空間。    按照傳統(tǒng)的設(shè)計(jì)，視頻編碼層一般輸出2個(gè)h.264碼流，第一個(gè)h.264碼流為高碼流(68Mbps)，一般用于實(shí)時(shí)顯示；第2個(gè)h.264碼流一般為中等碼流(35Mbps)，用于錄像，主要是為了降低存儲(chǔ)空間。  

9、;  在新設(shè)計(jì)中，視頻編碼層直接輸出MJPEG碼流，MJPEG碼流相對較大，1080P能夠達(dá)到50Mbps，但是MJPEG基本上沒有圖像損失，在分控中心可以做到無延遲實(shí)時(shí)顯示，清晰度最好。而且解碼占用CPU極低。視頻轉(zhuǎn)碼層收到MJPEG碼流后，進(jìn)行二次圖像壓縮，利用最先進(jìn)的視頻編碼技術(shù)，進(jìn)行二次編碼，從而在保持畫面質(zhì)量的情況下，獲得極低的壓縮碼流，然后將此碼流送往視頻錄像層進(jìn)行保存。    在新設(shè)計(jì)中，視頻轉(zhuǎn)發(fā)層將視頻錄像層的低碼流錄像轉(zhuǎn)發(fā)至錄像回放工作站或其他遠(yuǎn)程工作站，并利用標(biāo)準(zhǔn)的h.264解碼器進(jìn)行解碼。  

10、  在以上設(shè)計(jì)中，新的視頻編碼層也可以支持HD-CCTV攝像機(jī)，直接接入SDI視頻信號。按照電信行業(yè)的設(shè)計(jì)標(biāo)準(zhǔn)，實(shí)時(shí)編碼需要的PC處理能力將是延遲編碼的PC處理能力的2倍。所以，如果采用實(shí)時(shí)編碼，那么大概一臺(tái)I52.8GHZ的PC服務(wù)器可以處理2路1080P視頻轉(zhuǎn)碼。按照摩爾定律，CPU每隔18個(gè)月性能翻一番(價(jià)格不變)，那么考慮到Intel很快就要釋放最新采用3D晶體管技術(shù)的CPU系列，那么如果采用i7系列的PC服務(wù)器，將可以轉(zhuǎn)碼8路左右的高清視頻。和降低的存儲(chǔ)成本相比，總體成本應(yīng)該還是要降下許多。    但是，由于直接采用了MJP

11、EG碼流，這會(huì)大大提高對網(wǎng)絡(luò)帶寬的要求，對于政府自建公安專網(wǎng)，最便宜的光纖收發(fā)器也是百兆以太網(wǎng)，所以主要網(wǎng)絡(luò)壓力還是在于核心交換機(jī)，在這里，為了適應(yīng)新的轉(zhuǎn)碼層需要，建議采用多個(gè)千兆匯聚層交換機(jī)，分為多個(gè)網(wǎng)段，實(shí)現(xiàn)轉(zhuǎn)碼后再連接到錄像存儲(chǔ)層。    如果采用了電信BT建設(shè)模式，建議直接采用嵌入式低碼流高清編碼器模塊，加裝在高清網(wǎng)絡(luò)攝像機(jī)和接入網(wǎng)絡(luò)中間。如果采用HD-CCTV攝像機(jī)，則可以直接用嵌入式低碼流高清編碼器直接通過SDI接口接入進(jìn)行編碼。    高清網(wǎng)絡(luò)攝像機(jī)需要新一代的編碼壓縮算法，但是h.265是以電影、電

12、視行業(yè)為核心利益的，其技術(shù)核心是各種算法兼容性、播放安全性，保證不同專利廠家之間的利益，其技術(shù)發(fā)展、技術(shù)應(yīng)用對于安防行業(yè)來講，都有一定的局限性。與其等待新標(biāo)準(zhǔn)的完善，還不如勇于創(chuàng)新，采用先進(jìn)的私有算法，為廣大安防用戶提供低成本解決方案。    方案二：借助于智能視頻分析技術(shù)    在上文中，筆者已經(jīng)提出，監(jiān)控行業(yè)的視頻畫面特點(diǎn)是，30%的畫面為動(dòng)感畫面(人/車運(yùn)動(dòng))，其他70%基本上都是次要畫面(背景樹、花草、小動(dòng)物)。對于錄像存儲(chǔ)來講，如果只錄制人/車的畫面，那將大大節(jié)省存儲(chǔ)空間。  

13、0; 識別重要畫面    而在30%的動(dòng)感畫面中，可能只有20%的運(yùn)動(dòng)畫面是我們所關(guān)注的(興趣區(qū)內(nèi))，其他80%的人/車運(yùn)動(dòng)并不影響我們的安全(興趣區(qū)外)。所以，如果利用智能視頻分析將重要畫面識別出來，那么我們就可以節(jié)省94%的高碼流空間，考慮到智能視頻分析算法識別的準(zhǔn)確性，對于這94%的次要畫面，我們可以采用低幀速率+高碼流來進(jìn)行錄像(視場景不同而定，對于實(shí)時(shí)性畫面要求高的應(yīng)用，可考慮低碼流+高幀速率)。    當(dāng)然，當(dāng)前大部分的攝像機(jī)都具有移動(dòng)偵測功能，那是不是應(yīng)用免費(fèi)的移動(dòng)偵測功能就可以完成以上功能

14、了呢？在筆者看來，不僅攝像機(jī)自帶的移動(dòng)偵測功能無法實(shí)現(xiàn)筆者提出的以上設(shè)想，就連市面上大部分的智能視頻分析產(chǎn)品也無法達(dá)到以上的設(shè)計(jì)目的，這是為什么呢？    談智能視頻分析就不得不回顧一下智能視頻分析的技術(shù)核心，智能視頻分析一般是由畫面分割(目標(biāo)探測)、前背景分離(目標(biāo)跟蹤)、目標(biāo)分類、目標(biāo)辨識4大部分組成的。當(dāng)前的VMD移動(dòng)偵測只能做到畫面分割這一層，而且無法抑制大量的誤報(bào)。高級VMD移動(dòng)偵測，能夠?qū)崿F(xiàn)目標(biāo)跟蹤，從而大大降低室外環(huán)境引起的誤報(bào)。通過手工標(biāo)定景深，利用目標(biāo)像素大小，從而過濾掉一些不符合現(xiàn)實(shí)的目標(biāo)，如小昆蟲在鏡頭上快速爬行等；更高級一些的VM

15、D移動(dòng)偵測，利用多種規(guī)則如目標(biāo)的最小移動(dòng)速度、目標(biāo)的最小移動(dòng)像素、目標(biāo)出現(xiàn)的時(shí)間、目標(biāo)的對比度、目標(biāo)的最小像素等等多種參數(shù)，將目標(biāo)進(jìn)行簡單分類，如過大的像素、過快的速度的目標(biāo)，則是車輛。    有些先進(jìn)的VMD移動(dòng)偵測算法通過繁雜的設(shè)置，確實(shí)可以得到很好的效果，但是無法自動(dòng)適應(yīng)天氣、環(huán)境的變化，所以每到季節(jié)變化，則需要重新設(shè)置，這對系統(tǒng)維護(hù)帶來了挑戰(zhàn)。    其實(shí)畫面分割、前背景分離、目標(biāo)分類并不是單向的數(shù)據(jù)流，目標(biāo)分類反過來會(huì)影響畫面分割的好壞。畢竟只要有像素運(yùn)動(dòng)，畫面分割就會(huì)把這些像素隔離出來，前背景分離就需要

16、運(yùn)算量來跟蹤這些像素團(tuán)的運(yùn)動(dòng)，以辨確實(shí)是噪點(diǎn)，還是晃動(dòng)的樹枝，還是人目標(biāo)在運(yùn)動(dòng)。    另外對于傳統(tǒng)的智能視頻圖像分割算法，在DSP上是一種簡單的高運(yùn)算量工作，如所示，如此大的數(shù)量需要強(qiáng)大的DSP來完成，這就是為何當(dāng)前市場上大部分的智能視頻分析算法都只是運(yùn)算352x288的CIF格式畫面了，因?yàn)橐坏┻\(yùn)算4CIF畫面，那么DSP就沒有運(yùn)算能力來進(jìn)行視頻編碼工作了。    而對于高清來講，1080P全高清畫面的視頻數(shù)據(jù)將高達(dá)500Mbps，這對于采用傳統(tǒng)智能視頻分析算法的廠商來講，是無法逾越的。  

17、  當(dāng)前最新智能視頻分析算法是模擬人腦的識別模式，人眼并不是靠目標(biāo)的大小來判斷目標(biāo)類別，而是靠目標(biāo)的特征來判斷。例如，假設(shè)人眼看到了一個(gè)人的下半身被車遮擋，僅憑上半身，人眼完全可以判斷這是一個(gè)人目標(biāo)隱藏在車后，而普通的高級VMD移動(dòng)偵測靠如此少的像素則斷定這不是人目標(biāo)。    通過圖像分割實(shí)現(xiàn)目標(biāo)分類    筆者了解到，美國VideoIQ公司最新基于神經(jīng)元人工智能算法的智能視頻分析技術(shù)，通過內(nèi)置20多萬種目標(biāo)模式，利用強(qiáng)大人工智能神經(jīng)學(xué)習(xí)算法，可以大大抑制自然界引起的誤報(bào)，如雨、雪、大風(fēng)、小動(dòng)物

18、、飛鳥、光影變化、樹枝晃動(dòng)等。高級移動(dòng)偵測簡單根據(jù)像素大小來判定目標(biāo)，而不考慮目標(biāo)的外表紋理、顏色、形體幾何組合、步伐等人體/車輛模式，必將導(dǎo)致很高的誤報(bào)。如夏天飛蟲、昆蟲在攝像機(jī)前面飛動(dòng)，露水、雨滴滑過鏡頭表面，這些都會(huì)導(dǎo)致依據(jù)像素大小來做目標(biāo)分類錯(cuò)誤，從而出現(xiàn)大量誤報(bào)，浪費(fèi)錄像空間。    在圖像分割階段就利用初始的目標(biāo)分類技術(shù)，互相補(bǔ)充，這樣大大降低了圖像分割的DSP運(yùn)算量，從而采用一塊達(dá)芬奇DSP就足可以實(shí)現(xiàn)1080P分辨率的智能視頻分析和1080P圖像編碼壓縮。    一旦擁有了這種先進(jìn)的目標(biāo)分類算法，那么高清攝像機(jī)就有能力只回傳重要的高清碼流來錄像；而沒有重要畫面時(shí)，則回傳低幀速率碼流，保證