基于模糊神經(jīng)網(wǎng)絡(luò)的大場景人群密度估計(jì)方法

1、基于模糊神經(jīng)網(wǎng)絡(luò)的大場景人群密度估計(jì)方法摘 要:提出了一種估計(jì)大場景下密集人群密度的方法。該方法根據(jù)人類視覺的模糊性原理,認(rèn)為用模糊集來劃分人群密度范圍比用確定的方法更符合人眼視知覺的認(rèn)知方式,利用統(tǒng)計(jì)的方法確定灰度共生矩陣各指標(biāo)對于各個(gè)密度類別的隸屬函數(shù);設(shè)計(jì)基于誤差反向傳播訓(xùn)練算法(BP)的模糊神經(jīng)網(wǎng)絡(luò),計(jì)算樣本模式對于各個(gè)密度類別的隸屬度,并根據(jù)人群密度變化的時(shí)域連續(xù)性原理對人群密度范圍進(jìn)行合理估計(jì)。實(shí)驗(yàn)表明該方法提高了估計(jì)精度。 關(guān)鍵詞:人群密度估計(jì); 模糊神經(jīng)網(wǎng)絡(luò); 灰度共生矩陣; 智能視頻監(jiān)控 中圖分類號:TP391.4文獻(xiàn)標(biāo)志碼:A 文章編號:1001-3695(2010)03-

2、0989-03 Crowd density estimation of wide scene based on fuzzy neural network TANG Qing?1, WANG Zhi-yan?1, YAN He-ping?2, XU Xiao-wei?3a,3b? (1.School of Computer Science & Engineering, South China University of Technology, Guangzhou 510006, China; 2. No.75771 Unit of PLA, Guangzhou 510540, China; 3

3、a.Shool of Information Science & Technology,b.Key Laboratory of Digital Life, Sun Yat?sen University, Guangzhou 510275,China) Abstract:This paper proposed a crowd density estimation method based on a fuzzy neural network. According to the fuzzy phenomena used by human vision, it was more accordant w

4、ith cognitive style of human vision by using fuzzy sets to describe crowd density range than other definite measures. Defined functions of membership degree of indicators of the grey level dependence matrix (GLDM) by statistical method and designed a fuzzy neural network based on the error back prop

5、agation (BP) training algorithm to calculate the membership degree of the input pattern, which could be explained reasonably according to the temporal continuity of variety of the crowd density. Experimental results show this method performs well and improves the accuracy of estimation. Key words:cr

6、owd density estimation; fuzzy neural network; grey level dependence matrix; intelligent video surveillance 0 引言 隨著人類文明的發(fā)展和社會(huì)的進(jìn)步,對眾多的公共場所, 如廣場、車站等地方進(jìn)行人數(shù)統(tǒng)計(jì)是公共安全領(lǐng)域的重要課題1,2。傳統(tǒng)方法是人工依據(jù)經(jīng)驗(yàn)來確定監(jiān)控視頻畫面中聚集人群的數(shù)量、擁擠程度等,費(fèi)時(shí)費(fèi)力且缺乏客觀性。因此,應(yīng)用計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)場景中的人群智能監(jiān)控統(tǒng)計(jì)成為當(dāng)前的研究熱點(diǎn)。 現(xiàn)有工作主要分為兩類:第一類方法是人體目標(biāo)特征分析法3,4。首先檢測、跟蹤視頻序列圖像中的人體特

7、征,識別是否人體目標(biāo),然后進(jìn)行統(tǒng)計(jì)。這類方法在室內(nèi)的小場景下效果較好,適用于人數(shù)比較稀疏情況。然而,對于大場景情況下的公共場所而言,普遍存在著高密度人群,難以通過特征分析法分割出人體目標(biāo),因此出現(xiàn)了第二類人群密度估計(jì)法5,6。這類方法最早起源于歐盟的智能公共交通監(jiān)控PRISMATICA項(xiàng)目,Velastin等人7,8 分析了利物浦街火車站的人群監(jiān)控圖像,通過提取人群前景和邊緣的總像素?cái)?shù),建立與密度變化相關(guān)的統(tǒng)計(jì)關(guān)系,但是無法解決人體目標(biāo)的重疊問題,當(dāng)人群密度較高的場景時(shí)會(huì)出現(xiàn)很高的誤判率;后來Marana等人9提出了利用灰度共生矩陣的紋理信息估計(jì)人群密度范圍的方法;Marana等人10,11進(jìn)

8、一步研究發(fā)現(xiàn),高密度的人群圖像在紋理上表現(xiàn)為細(xì)模式,低密度則表現(xiàn)為粗模式;胡波等人12提出了利用小波變換與灰度共生矩陣提取人群密度特征,進(jìn)而利用支撐向量機(jī)估計(jì)人群密度級別。本文在前期工作中提出了灰度共生矩陣和主成分分析方法,抽取與人群密度相關(guān)的對比度、均勻度、能量和熵等描述圖像粗糙程度的特征矢量,采用回歸分析進(jìn)行統(tǒng)計(jì)13。 上述估計(jì)方法均是基于對訓(xùn)練樣本的分析,找出特征與密度的變化關(guān)系,建立統(tǒng)計(jì)模型,并將問題求解轉(zhuǎn)換為基于統(tǒng)計(jì)模型的機(jī)器學(xué)習(xí)及決策過程。研究表明,這一轉(zhuǎn)換過程與人眼感知過程不相符,問題表述是用硬性的密度范圍來劃分的,因此對估計(jì)精度影響很大。實(shí)際上人類視覺在估計(jì)人群密度范圍時(shí),是根

9、據(jù)先驗(yàn)知識將其分類判別為某種范圍。人類視覺估計(jì)的密度范圍是模糊的,其判斷結(jié)果是基于以往學(xué)習(xí)的經(jīng)驗(yàn),是通過人類大腦的模糊思維過程而得出的一個(gè)大致的、概念性的密度范圍的表述。人眼視知覺感知功能的復(fù)雜性在于它不是建立在精確數(shù)學(xué)模型基礎(chǔ)之上的,而是通過樣例學(xué)習(xí)將具體經(jīng)驗(yàn)積累、存儲(chǔ)在神經(jīng)元上進(jìn)而用于綜合判斷。因此,本文提出了一種模糊的描述方式與神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)分類功能相結(jié)合的方法,用于模擬人類的視知覺解決人群密度估計(jì)問題。 1 模糊神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ) 模糊神經(jīng)網(wǎng)絡(luò)通常由模糊化層、模糊關(guān)系映射層和去模糊層構(gòu)成。模糊化層是進(jìn)行信息預(yù)處理的網(wǎng)絡(luò)層,其主要功能是對觀測矢量和輸入模式進(jìn)行規(guī)范化變換;映射層進(jìn)行模糊關(guān)系

10、映射,以實(shí)現(xiàn)模糊模式識別、模糊推理和模糊聯(lián)想等任務(wù);去模糊層對映射層輸出結(jié)果進(jìn)行非模糊化處理,以給出確定性結(jié)果。輸入模式的模糊化由模糊化層的神經(jīng)元來完成。模糊化神經(jīng)元的輸入與輸出的關(guān)系為?y?ij?=f?i(x?j);j=1,2,n;i=1,2,m。其中:x?j為輸入模式x的分量;y?ij?為x?j關(guān)于模糊集i的隸屬度。模糊化神經(jīng)元的權(quán)和閾值由學(xué)習(xí)的方法確定。給定x?j及其關(guān)于模糊集i的隸屬度?i(x?j),j=1,2,N,N?為訓(xùn)練樣本數(shù),y?ij?為輸出神經(jīng)元i關(guān)于x?j的輸出,采用學(xué)習(xí)算法,求解模糊化層的權(quán)值?i及閾值?i,使得: 訓(xùn)練過程分為兩步,第一步用訓(xùn)練模式及對其計(jì)算出來的模糊化

11、模式組成模式對,對由模糊化層組成的網(wǎng)絡(luò)(模糊化網(wǎng)絡(luò))進(jìn)行訓(xùn)練。訓(xùn)練好的網(wǎng)絡(luò)作為整個(gè)網(wǎng)絡(luò)的第一層(模糊化層),實(shí)現(xiàn)輸入模式的模糊化。第二步用訓(xùn)練模式及其對各個(gè)類別的隸屬度組成的模式對,對整個(gè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 模糊化網(wǎng)絡(luò)的訓(xùn)練結(jié)果如圖4所示,其設(shè)定期望的最小誤差為1e-5,經(jīng)過23 800步的訓(xùn)練過程達(dá)到訓(xùn)練要求。 對四個(gè)特征的網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)如圖5所示,設(shè)定期望的最小誤差為1e-5,經(jīng)過490 000步,約3h14min(機(jī)器配置為P4 2.6 GHz)的訓(xùn)練達(dá)到訓(xùn)練要求。 用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)對測試樣本集進(jìn)行分類隸屬度計(jì)算,其典型結(jié)果如表1所示。對計(jì)算結(jié)果按最大隸屬度原則劃分樣本類別后,通過與測試樣本的

12、正確類別(人工確定)進(jìn)行比較,四個(gè)特征網(wǎng)絡(luò)的總分類誤差率為13.44%,誤差計(jì)算公式: err=nerr?N?100%(10) 其中:nerr為誤分樣本數(shù)量;?N?為總測試樣本數(shù)量。使用四個(gè)特征的網(wǎng)絡(luò)進(jìn)行分類估計(jì)結(jié)果比文獻(xiàn)11的估計(jì)精度提高約一個(gè)百分點(diǎn),如表2所示。 分類估計(jì)的主要錯(cuò)分情況為將一個(gè)類別的樣本錯(cuò)分為其相鄰類別。有少量錯(cuò)分類型將一個(gè)類別錯(cuò)分為相距兩個(gè)距離的類別;這種情況可能與輸入模式模糊化函數(shù)的類間區(qū)分性不夠好有關(guān)。第五類(極高密度)基本無錯(cuò)分情況;這對于注重人群密度超擁擠的安全預(yù)警應(yīng)用是一個(gè)較好的結(jié)果。絕大部分錯(cuò)分情況下,其對于正確類別與誤分類別的隸屬度值相差較小;在實(shí)際應(yīng)用中可

13、根據(jù)需要將這些信息轉(zhuǎn)換成有用的解釋,如輸入模式對于屬于高密度類別與極高密度類別的隸屬度都較大,且較接近,可將其解釋為密度范圍界于高密度人群與極高密度人群之間。 本文分類方法誤差產(chǎn)生的主要原因有以下幾個(gè)方面:人眼視覺的主觀性;由于樣本集的挑選、分類都是根據(jù)人眼視覺評判的主觀結(jié)果,由于這種評判所具有的模糊性,樣本量問題;由于人工主觀判斷任務(wù)繁重、工作量較大,本文的樣本容量還不夠大,不能較準(zhǔn)確地反映出事物的本質(zhì)特征。 從實(shí)驗(yàn)結(jié)果可以看出本文分類精度較高,能較好地滿足關(guān)注人群安全的密度過高問題的預(yù)警應(yīng)用要求。用訓(xùn)練好的網(wǎng)絡(luò)工作時(shí),時(shí)間復(fù)雜度低,適合于實(shí)時(shí)視頻監(jiān)視應(yīng)用。 4 結(jié)束語 本文研究了用模糊神經(jīng)

14、網(wǎng)絡(luò)的方法來計(jì)算場景圖像的紋理模式對于各個(gè)人群密度范圍類別的隸屬度,進(jìn)而可以應(yīng)用該計(jì)算結(jié)果對人群密度范圍進(jìn)行解釋。研究中詳細(xì)考察了用于分類的輸入特征模式的模糊化問題及訓(xùn)練樣本的隸屬度確定問題。但是,該方法也存在一些缺點(diǎn):一是訓(xùn)練好的網(wǎng)絡(luò)是針對特定監(jiān)視場景的,不同的場景需要重新訓(xùn)練網(wǎng)絡(luò);二是訓(xùn)練樣本的分類依賴于人的主觀判斷。這些問題是下一步工作的研究重點(diǎn)。 參考文獻(xiàn): 1 VELASTIN S A , BOGHOSSIAN B A , LO B P L , ?et al?. PRISMATICA: toward ambient intelligence in public transport e

15、nvironmentsJ. IEEE Trans on Systems, Man and Cybernetics, Part A, 2005,35(1):164-182. 2梁英宏,王知衍,曹曉葉,等. 視頻圖像理解的一般性框架研究J. 計(jì)算機(jī)應(yīng)用研究, 2008,25 (7):2203-2207. 3VIOLA P, JONES M J, SNOW D.Detecting pedestrians using patterns of motion and appearanceC/Proc of the 9th IEEE International Conference on Computer

16、Vision.Washington DC:IEEE Com-?puter? Society, 2003: 734-741. 4CHEN Li, TAO Ji, TAN Ya-peng, ?et al?. People counting using iterative mean?shift fitting with symmetry measureC/ Proc of the 6th International Conference on Information and Communication Security. 2007: 890-895. 5MARANA A N, CAVENAGHI M

17、 A , ULSON R S ,?et al?. Real?time crowd density estimation using images C/ Proc of International Symposium on Visual Computing.Berlin:Springer, 2005: 355-362. 6BOZZOLI M, CINQUE L. A statistical method for people counting in crowded environmentsC/ Proc of the 14th International Conference on Image

18、Analysis and Processing.Washington DC:IEEE Computer Society, 2007: 506-511. 7VELASTIN S A , YIN J H , DAVIES A C ,?et al?. Automated measurement of crowd density and motion using image processingC/ Proc of the 7th International Conference on Road Traffic Monitoring and Control.London,UK:s.n., 1994:127-132. 8BOGHOSSAN B A , VELASTIN S A. Motion?based machine vision techniques for the management of large crowdsC/ Proc of the 6th IEEE International Conference on Electronics, Circuits and Systems. 1999:961-964. 9MARANA A N , VELASTIN S A , COSTA L F , ?et al?. Est