基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法.pdf

第 31 卷 第 5 期 農(nóng) 業(yè) 工 程 學(xué) 報 Vol.31 No.5 2015 年 3 月 Transactions of the Chinese Society of Agricultural Engineering Mar. 2015 181 基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法 趙凱旋，何東健 （西北農(nóng)林科技大學(xué)機械與電子工程學(xué)院，楊凌 712100） 摘 要：視頻分析技術(shù)已越來越多地應(yīng)用于檢測奶牛行為以給出養(yǎng)殖管理決策，基于圖像處理的奶牛個體身份識別方法 能夠進(jìn)一步提高奶牛行為視頻分析的自動化程度。為實現(xiàn)基于圖像處理的無接觸、高精確度、適用性強的奶牛養(yǎng)殖場環(huán) 境下的奶牛個體有效識別，提出用視頻分析方法提取奶牛軀干圖像，用卷積神經(jīng)網(wǎng)絡(luò)準(zhǔn)確識別奶牛個體的方法。該方法 采集奶牛直線行走時的側(cè)視視頻，用幀間差值法計算奶牛粗略輪廓，并對其二值圖像進(jìn)行分段跨度分析，定位奶牛軀干 區(qū)域，通過二值圖像比對跟蹤奶牛軀干目標(biāo)，得到每幀圖像中奶牛軀干區(qū)域圖像。通過理論分析和試驗驗證，確定了卷 積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，并將軀干圖像灰度化后經(jīng)插值運算和歸一化變換為 4848 大小的矩陣，作為網(wǎng)絡(luò)的輸入進(jìn)行 個體識別。對 30 頭奶牛共采集 360 段視頻，隨機選取訓(xùn)練數(shù)據(jù) 60 000 幀和測試數(shù)據(jù) 21 730 幀。結(jié)果表明，在訓(xùn)練次數(shù) 為 10 次時，代價函數(shù)收斂至 0.0060，視頻段樣本的識別率為 93.33%，單幀圖像樣本的識別率為 90.55%。該方法可實現(xiàn) 養(yǎng)殖場中奶牛個體無接觸精確識別，具有適用性強、成本低的特點。 關(guān)鍵詞：圖像技術(shù)；算法；識別；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)；視頻分析；奶牛；目標(biāo)檢測 doi：10.3969/j.issn.1002-6819.2015.05.026 中圖分類號：TP391.41; S823.9+1 文獻(xiàn)標(biāo)志碼：A 文章編號：1002-6819(2015)-05-0181-07 趙凱旋，何東健. 基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法J. 農(nóng)業(yè)工程學(xué)報，2015，31(5)：181187. Zhao Kaixuan, He Dongjian. Recognition of individual dairy cattle based on convolutional neural networksJ. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(5): 181187. (in Chinese with English abstract) 0 引 言 發(fā)源于智能監(jiān)控的視頻分析技術(shù)已逐步深入到畜 禽養(yǎng)殖的許多領(lǐng)域1-4， 其中智能感知和識別奶牛的行為 并給出養(yǎng)殖管理決策支持成為當(dāng)今研究的熱點5-8。 個體 身份識別方法是自動分析奶牛行為的技術(shù)前提和應(yīng)用 基礎(chǔ) 9。動物個體識別常采用無線射頻識別（radio frequency identification，RFID）技術(shù)10-12。但 RFID 技術(shù) 識別視頻視野中的奶牛個體時需要額外的設(shè)備與同步識 別方法，增加了奶牛行為視頻分析系統(tǒng)的復(fù)雜度和成本 13-15。然而奶牛視頻中包含奶牛的個體信息，可直接對 視頻進(jìn)行圖像處理實現(xiàn)奶牛個體識別16-17。因此，迫切 需要一種基于圖像處理的高精度自動奶牛個體識別方 法，以提高行為檢測的自動化程度并降低成本，進(jìn)一步 提高視頻分析技術(shù)在奶牛行為感知領(lǐng)域的實用性。 用圖像處理與分析的方法實現(xiàn)奶牛個體身份識別已 引起學(xué)者的關(guān)注。 Xia 等16提出了一種基于局部二值模式 （local binary patterns，LBP）紋理特征的臉部描述模型， 并使用主成分分析（principal component analysis，PCA） 結(jié)合稀疏編碼分類（sparse representation-based classifier， 收稿日期：2014-12-17 修訂日期：2015-02-10 基金項目：國家自然科學(xué)基金面上項目（61473235） 作者簡介：趙凱旋，男，博士生，研究方向為動物行為視頻分析與感知。楊 凌 西北農(nóng)林科技大學(xué)機電學(xué)院，712100。Email：zkx 通信作者：何東健，男，教授，研究方向為生物圖像分析及識別、智能化 檢測與控制。楊凌 西北農(nóng)林科技大學(xué)機電學(xué)院，712100。 Email：hdj168 SRC） 對奶牛臉部圖像進(jìn)行識別。 但識別系統(tǒng)對奶牛臉部 圖像的拍攝位置和角度敏感，難以實現(xiàn)自動化識別。Kim 等17設(shè)計了一個基于奶牛身體圖像特征的計算機圖像系 統(tǒng)以識別奶牛個體，該系統(tǒng)使用純色背景，提取奶牛的 身體區(qū)域圖像，二值化后對圖像進(jìn)行分塊處理得到 100 個特征值，構(gòu)建 100168 結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)，用 49 幅圖像訓(xùn)練網(wǎng)絡(luò)，10 幅圖像測試網(wǎng)絡(luò)性能。該系統(tǒng)證明 了使用身體圖像識別奶牛是可行的。但是該系統(tǒng)試驗環(huán) 境與奶牛實際養(yǎng)殖環(huán)境差別大，構(gòu)建的神經(jīng)網(wǎng)絡(luò)結(jié)點數(shù) 較多，且訓(xùn)練與測試樣本較少，易產(chǎn)生過學(xué)習(xí)，系統(tǒng)對 于環(huán)境光變化、圖像平移與畸變的魯棒性低。圖像距離 量度法和尺度不變特征變換匹配算法（scale invariant feature transform，SIFT）可用于奶牛個體身份識別。但 圖像距離量度法依賴于圖像特征的提取，對光線變化較 為敏感18，不適用于露天養(yǎng)殖的奶牛；在有前景遮擋的 情況下，SIFT 方法匹配準(zhǔn)確率會受到影響19。基于深度 學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用到模式匹配的相關(guān)研究 中20-21，并表現(xiàn)出良好的抗干擾能力，具有應(yīng)用到復(fù)雜 場景下奶牛個體識別的潛力。 因此，為提供一種在奶牛實際養(yǎng)殖環(huán)境下，基于圖 像處理的非接觸、低成本的奶牛個體識別方法，本文利 用視頻中圖像序列樣本量充足這一特點，研究并提出基 于視頻分析和卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體識別方法，在設(shè) 計奶牛行走視頻采集方案的基礎(chǔ)上，對奶牛視頻進(jìn)行分 析，提取并跟蹤奶牛運動過程中的軀干圖像。根據(jù)軀干 圖像的特點，設(shè)計卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，用軀干 農(nóng)業(yè)工程學(xué)報 2015 年 182 圖像訓(xùn)練并測試網(wǎng)絡(luò)性能，最終實現(xiàn)奶牛實際養(yǎng)殖環(huán)境 下的個體精確高效識別。 1 材料與方法 1.1 圖像采集 試驗視頻采集自陜西楊凌科元克隆股份有限公司的 規(guī)模奶牛養(yǎng)殖場，采集于 2013 年 7 月至 8 月，拍攝對象 為健康的美國荷斯坦奶牛。奶牛會頻繁地經(jīng)過固定的窄 道行走至飲水池飲水，在與窄道平行的采食棚支撐梁上 安裝 1 臺 DS-2DM1-714 球型攝像機 （?？低?， 杭州） ， 使攝像機傳感器與牛只行走方向基本平行，并調(diào)整視野 寬度大于 2 個牛身長度。奶牛目標(biāo)與攝像機之間有柵欄 前景遮擋，柵格大小為 0.5 m1.2 m。 在無霧、無霾的晴天 7：0018：00 時段獲取 30 頭 奶牛的視頻片段。奶牛個體全部出現(xiàn)在視野左側(cè)時開始 采集，持續(xù)采集到奶牛行走至視野右側(cè)邊緣作為一個視 頻段，并剔除包含奶牛停頓和異常行為的視頻。每頭奶 牛得到 12 段視頻，共計 360 段視頻，每段視頻持續(xù)時長 約為 10 s。采集視頻為 PAL 制式并保存在攝像機本地存 儲卡內(nèi)，幀率/碼率為 25 fps/2 000kbps，分辨率為 704 像 素（水平）576 像素（垂直）。 后續(xù)視頻處理平臺處理器為 Inter Quad Q8400，主頻 為 2.66 GHz，4 GB 內(nèi)存，500 GB 硬盤，算法開發(fā)平臺為 MATLAB 2012a。 由于奶牛沿直線行走通過視野， 視頻中 奶牛的活動區(qū)域固定在圖像的中間區(qū)段，因此通過預(yù)設(shè) 的感興趣區(qū)域（ROI）參數(shù)剔除無效的圖像區(qū)域。根據(jù) 30 頭奶牛最大體高確定 ROI 區(qū)域的大小和位置，最終得 到的奶牛行走圖像大小為 704 像素 （水平） 242 像素 （垂 直）。 1.2 供試數(shù)據(jù) 將 30 頭奶牛從 1 到 30 進(jìn)行編號，對每頭奶牛的 12 段視頻隨機挑選出 3 段作為測試樣本，剩余視頻作為該 奶牛個體的訓(xùn)練樣本， 共得到 90 段測試用視頻段， 及 270 段訓(xùn)練用視頻段。每段視頻持續(xù)時長為 10 s 左右，視頻 幀率為 25 fps/s，經(jīng)過視頻分析與處理共得到奶牛軀干圖 像約 90 000 幅。由于奶牛通過視野時運動速度有差異， 導(dǎo)致奶牛個體間的訓(xùn)練樣本數(shù)不同。為避免樣本量差異 對識別結(jié)果的影響，需要保證不同模式中參與訓(xùn)練的樣 本數(shù)量基本一致，故從每個奶牛個體訓(xùn)練視頻段的軀干 圖像集中隨機挑選出 2 000 幅作為該奶牛個體的訓(xùn)練集， 對于測試視頻段中的圖像則無需進(jìn)行篩選。最終得到包 括 30 頭奶牛軀干圖像的訓(xùn)練圖像為 60 000 幅， 測試圖像 為 21 730 幅。 測試集中每個奶牛個體的圖像數(shù)量在 650 850 之間，訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)之間無重疊。 1.3 提取軀干圖像 1.3.1 軀干定位 幀間差值法對目標(biāo)的運動邊緣具有優(yōu)良的檢測性 能，對奶牛進(jìn)行幀間差值處理可得到奶牛的粗略輪廓， 對得到的二值圖像進(jìn)行跨度分析，以剔除外部干擾，并 分割出尾巴、頭和頸部，最終得到軀干區(qū)域。 如圖 1 所示，將得到的幀間差值圖像劃分成等間距 的片段，分別計算每個片段內(nèi)二值圖像真值的上邊界和 下邊界，并計算兩者的差值作為圖像跨度。 圖 1 幀間差值圖像分布跨度 Fig. 1 Distribution of frames difference image 當(dāng)各片段內(nèi)邊界和跨度值滿足如式 （1） 所示條件時， 說明第 i 片段包含軀干區(qū)域，予以保留；否則視為無效片 段，清除該片段內(nèi)的圖像值。 1 1 max, max, iii rn un iuur irr RUD MRR MUU UMT M RT M = = = L L （1） 式中：Ui為第 i 片段內(nèi)的上邊界；Di為第 i 片段內(nèi)的下邊 界；Tu為軀干上邊界偏移閾值；Tr為軀干片斷跨度閾值； n 為圖像中片段的總數(shù)。 從樣本庫中隨機選取 30 段視頻進(jìn)行統(tǒng)計分析知，當(dāng) Tu及 Tr分別取 0.06 和 0.4 時，能夠去除大部分無用區(qū)域 并保留軀干片段。 計算修剪后的二值圖像的外接矩形，其上半部分為 軀干區(qū)域，下半部分為奶牛四肢。對于荷斯坦品種的奶 牛，其軀干縱向高度與體高之比 rb/t變化幅度較小22。因 此，本研究對 30 頭奶牛通過試驗確定 rb/t平均值為 0.6。 將定位的軀干區(qū)域以中心為基點縮小到 80%，以去除邊 界處的背景區(qū)塊。軀干定位結(jié)果如圖 2 所示。 圖 2 奶牛軀干定位結(jié)果 Fig.2 Result of locating cows body 1.3.2 軀干跟蹤 第 5 期 趙凱旋等：基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法 183 考慮到奶牛行走過程中軀干無明顯的幾何變化，只 產(chǎn)生平移運動，故采用在后續(xù)幀中跟蹤軀干的策略，以 提高軀干圖像提取精度。常用的跟蹤方法有粒子濾波跟 蹤法23和 Meanshift 算法24， 粒子濾波對大目標(biāo)跟蹤耗時 長，不適于奶牛目標(biāo)的跟蹤；試驗發(fā)現(xiàn)，Meanshift 算法 不能準(zhǔn)確跟蹤行走中的奶牛目標(biāo)。主要原因是基于顏色 直方圖的 Meanshift 算法對于顏色變化敏感，奶牛軀干主 要由白色和黑色組成，而背景中包含了過多的顏色信息， 導(dǎo)致 Meanshift 極易跟蹤到背景區(qū)域。因此，本文用模板 比對法對奶牛軀干區(qū)域進(jìn)行跟蹤。其基本原理是以當(dāng)前 幀軀干區(qū)域所在的位置為中心，在下一幀中尋找與軀干 區(qū)域最接近的圖像。 設(shè)已定位的奶牛軀干區(qū)域為 A， 并從 原圖像中提取軀干的 RGB 圖像 f0作為跟蹤的基準(zhǔn)圖像。 在下一幀圖像中，以 A 為中心向 4 周擴展 10%得 Ap，對 Ap內(nèi)所有子圖像 fm與 f0按式（2）進(jìn)行差異度比對評價， 以最接近 f0的子圖作為跟蹤結(jié)果。 00 0 bitxor(,) NT()/ NF() mm m bfgfT bfgfT bxbf bf rabxbx = = = = （2） 式中：gf0為 f0的灰度圖像；gfm為 fm的灰度圖像；T 為奶 牛白色體斑灰度閾值；bitxor 為對 2 個二值圖像進(jìn)行按位 異或操作；NT 為計算矩陣中值為 1 的元素個數(shù)；NF 為 計算矩陣中值為 0 的元素個數(shù)；ra 為圖像比對評價值， ra 越小表明 f0和 fm越接近。 式 （2） 中 ra 值實質(zhì)上是目標(biāo)二值圖像與待比較二值 圖像中非重疊區(qū)域與重疊區(qū)域的面積比。每次跟蹤開始 時對 gf0采用 OTSU 方法得到二值化閾值 T，為保證二值 圖像的可比性， 對所有子圖 gfm使用相同的閾值 T 進(jìn)行二 值化。用式（2）計算的圖像評價值能夠有效地找出新的 軀干圖像，且方法耗時短。奶牛沿直線行走時側(cè)視圖像 中，奶牛軀干區(qū)域變形可忽略不計，故模板比較法跟蹤 準(zhǔn)確度高，可實現(xiàn)實時穩(wěn)定跟蹤。 1.4 卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建 卷積神經(jīng)網(wǎng)絡(luò) （convolutional neural networks， CNNs） 是基于深度學(xué)習(xí)理論的一種人工神經(jīng)網(wǎng)絡(luò)，由于該網(wǎng)絡(luò) 可直接將圖像數(shù)據(jù)作為輸入，避免了圖像預(yù)處理和特征 抽取等復(fù)雜操作25。 LeNet-5 是一個典型的卷積神經(jīng)網(wǎng)絡(luò) 應(yīng)用案例，準(zhǔn)確性高、可用性強，已被美國多家銀行用 于支票手寫數(shù)字的識別26。 將每頭奶牛視為一種模式，奶牛個體識別即對某一 未知奶牛圖像進(jìn)行識別和匹配，其群體中奶牛的頭數(shù)為 識別模式的個數(shù)，該過程與手寫字符的識別相似，因此 LeNet-5 能夠應(yīng)用于奶牛個體識別。但是奶牛軀干圖像不 同于手寫數(shù)字圖像。首先，手寫圖像的有效信息集中在 圖像的字跡上，而奶牛軀干圖像的特征遍布于整個圖像 區(qū)域內(nèi)；其次，字符的特征主要為圖形的角點和定向邊 緣，而奶牛個體間的特征為圖像特定灰度值像素的形狀 和分布。此外，由于手寫數(shù)字的有效信息在圖像中的位 置是不確定的，因此要求網(wǎng)絡(luò)具有較強平移不變性，但 由目標(biāo)跟蹤得到奶牛軀干圖像的偏移量較小。手寫數(shù)字 識別與奶牛個體識別的側(cè)重點也不同，前者在于不同變 形下特定結(jié)構(gòu)的圖形特征提取與識別，后者在于不同光 照環(huán)境下的圖像重建與匹配?；谝陨戏治?，針對奶牛 軀干圖像和個體識別的特點，構(gòu)建適用于奶牛個體識別 的卷積神經(jīng)網(wǎng)絡(luò)。 本研究中，為減少數(shù)據(jù)量并保證輸入圖像的細(xì)節(jié)信 息， 將奶牛軀干圖像灰度化后通過插值計算變化為 4848 的圖像，并除以 255 歸一化后作為輸入數(shù)據(jù)。 采用 2 組卷積和下采樣層，由于軀干圖像基本不存 在扭轉(zhuǎn)、變形等影響，因此減少 2 個卷積層中特征圖的 數(shù)量，以提高網(wǎng)絡(luò)對圖像宏觀信息的利用率。下采樣時 對連接區(qū)域求均值得到輸出，不使用權(quán)重系數(shù)和閾值， 省略函數(shù)轉(zhuǎn)換過程。 奶牛個體識別中的信息匹配可以通過單層感知器實 現(xiàn)，在第 2 次下采樣后直接與輸出層連接，以大幅度簡 化網(wǎng)絡(luò)中的感知層。本研究牛群中共有 30 頭奶牛，故輸 出層為 30 個感知器，與上一層全連接，輸出編碼采用 one-of-c 方式，即每種奶牛個體作為一個模式。 考慮到 sigmoid 函數(shù)有良好的非線性映射特性， 故變 換函數(shù)統(tǒng)一采用 sigmoid 函數(shù)。 網(wǎng)絡(luò)訓(xùn)練中學(xué)習(xí)率取為 1， 訓(xùn)練批大小為 50， 訓(xùn)練終止條件為代價函數(shù)值小于 0.01。 由于變換函數(shù)為 sigmoid 函數(shù)， 故網(wǎng)絡(luò)輸出為一個長度為 30 的浮點型向量，將該向量中最大值置為 1，其余元素 置 0 作為網(wǎng)絡(luò)的輸出模式。若輸出模式與該輸入圖像的 真實模式不匹配，則表明識別錯誤。 為進(jìn)一步確定卷積層特征圖最佳個數(shù)，對不同結(jié)構(gòu) 的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行識別準(zhǔn)確率及平均耗時試驗，結(jié)果 表明，當(dāng)兩個卷積層中特征圖個數(shù)分別為 4 和 6 時，網(wǎng) 絡(luò)識別率和效率最高。最終本研究選取的卷積神經(jīng)網(wǎng)絡(luò) 的結(jié)構(gòu)如圖 3 所示。 注：C1、S2、C3 和 S4 分別為第 1 卷積層、第 2 下采樣層、第 3 卷積層和 第 4 下采樣層。 Note: C1, S2, C3, and S4 are the 1st convolutional layer, 2nd subsampling layer, 3rd convolutional layer, and 4th subsampling layer, respectively. 圖 3 奶牛個體識別網(wǎng)絡(luò)結(jié)構(gòu)示意圖 Fig.3 Net architecture for individual cow discrimination C3 層與 S2 層之間通常采用不完全的連接機制，以 減少訓(xùn)練參數(shù)的數(shù)量，并破壞網(wǎng)絡(luò)的對稱性，保證提取 的特征具有變異性和互補性。根據(jù)非對稱和交錯原則制 定的連接方式如表 1 所示。由表 1 第 1 列可知，C3 層第 1 個特征圖與 S2 層第 1 和第 2 特征圖連接，對 C3 層中 相連接的區(qū)域進(jìn)行卷積操作，經(jīng)轉(zhuǎn)換函數(shù)后得到輸出。 農(nóng)業(yè)工程學(xué)報 2015 年 184 表 1 S2 層與 C3 層連接方式 Table 1 Connection pattern between S2 and C3 layer C3 層圖像 Maps in C3 S2 層圖像 Maps in S2 1 2 3 4 5 6 1 2 3 4 注：表示相連接。 Note: is connection. 卷積神經(jīng)網(wǎng)絡(luò)中，決定網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)為卷積層特 征圖個數(shù)和下采樣大小。為方便描述網(wǎng)絡(luò)結(jié)構(gòu)，用數(shù)字 結(jié)合字母表示網(wǎng)絡(luò)的基本參數(shù)， 分別以字母 p 和 a 表示網(wǎng) 絡(luò)中是否存在部分連接的特征層，因此本文的網(wǎng)絡(luò)結(jié)構(gòu) 可表示為 4c-2s-6c-2s-30o-p。 1.5 傳統(tǒng)圖像檢索方法 本研究中奶牛個體識別是典型的圖像檢索問題，即 在已建立索引的目標(biāo)圖像集合中找到與未知圖像相近的 圖像。為進(jìn)一步比較卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的圖像檢索方 法的優(yōu)劣，本文對圖像距離量度法27和尺度不變特征變 換匹配算法 （SIFT） 282 種常見的圖像索引方法進(jìn)行對比 研究。 圖像距離量度方法中通常先提取圖像的特征值序 列，然后計算待比較圖像與目標(biāo)圖像集合中各已知圖像 的距離值，選取與未知圖像距離最小的目標(biāo)圖像作為匹 配與識別的結(jié)果。本研究中，用圖像的灰度直方圖向量 （分段數(shù)為 10）和 LBP 紋理特征向量作為圖像的特征值 序列，用 Housdorff 距離量度方法29計算圖像間相近度。 在目標(biāo)圖像集合中，與未知圖像相近度值最高的圖像索 引值即為識別結(jié)果。 SIFT 是基于局部特征的圖像匹配算法，分為關(guān)鍵點 尋找和關(guān)鍵點匹配 2 個步驟30。對比試驗中，算法的關(guān) 鍵參數(shù)取值見表 2。 兩幅圖像中成功匹配的關(guān)鍵點數(shù)量越 多，說明 2 幅圖像越相似，匹配度越高。 表 2 SIFT 算法中關(guān)鍵參數(shù)的選取 Table 2 Values of key parameters in SIFT method 參數(shù)描述 Parameters 數(shù)值 Values 參數(shù)描述 Parameters 數(shù)值 Values 尺度空間個數(shù) Number of octaves 4 空間分塊數(shù) Number of spatial bins 4 分層數(shù) Number of levels 3 方向分塊數(shù) Number of orient bins 8 點閾值 Point Threshold 0.03 圖像擴充因子 Magnification 3 邊緣閾值 Edge Threshold 18 匹配閾值 Ratio Threshold 0.75 2 結(jié)果與分析 2.1 識別結(jié)果與分析 使用訓(xùn)練集樣本訓(xùn)練網(wǎng)絡(luò)，當(dāng)訓(xùn)練到第 10 次時，網(wǎng) 絡(luò)代價函數(shù)收斂至 0.0060。用測試樣本集中 90 段視頻共 計 21730 幅圖像對網(wǎng)絡(luò)進(jìn)行驗證，結(jié)果如表 3 所示。由 表 3 可知，網(wǎng)絡(luò)能夠以較高的可靠性（準(zhǔn)確性 90.55%和 93.33%）識別出未知圖像或者視頻中的奶牛個體。同時 平均耗時短，能夠滿足實時識別的要求。 表 3 卷積神經(jīng)網(wǎng)絡(luò)的識別準(zhǔn)確率及效率 Table 3 Discrimination rate and efficiency of CNNs 準(zhǔn)確率 Recognition rate/% 平均耗時 Elapsed time/s 網(wǎng)絡(luò)結(jié)構(gòu) Net architecture 單幀 In frame 視頻段 In video 單幀 In frame 視頻段* In video 4c-2s-6c-2s-30o-p 90.55 93.33 0.0091 59.8550 注：*，軀干定位和跟蹤的用時。 Note: *, the time of body locating and tracking. 90 段測試視頻中 6 段視頻被誤識別，圖 4 顯示了發(fā) 生 3 次錯誤交叉識別的 16 號和 30 號奶牛的軀干圖像。 由圖 4 可知，誤識別的主要原因在于奶牛軀干圖像過于 相似。圖像灰度化、插值變化、下采樣等操作均會損失 細(xì)節(jié)信息，導(dǎo)致網(wǎng)絡(luò)難以區(qū)別過于相似的圖像。同時， 當(dāng)奶牛軀干以白色或黑色為主體顏色時，可用于區(qū)分奶 牛個體的信息較少，易發(fā)生錯誤識別。 圖 4 發(fā)生錯誤交叉識別的奶牛軀干圖像 Fig.4 Body images of crisscross recognized cows 鑒于以上分析，為進(jìn)一步提高識別率，對于軀干圖 像比較接近，尤其是接近純色的奶牛個體，可以通過在 奶牛軀干上添加標(biāo)志符號的方法以增加個體特征信息， 以保證相似的奶牛個體間具有一定的差異度。 2.2 特征圖分析 與圖 3 中所示的網(wǎng)絡(luò)結(jié)構(gòu)相對應(yīng)，圖 5 用灰度圖像 顯示了奶牛軀干圖像在卷積神經(jīng)網(wǎng)絡(luò)的卷積層和下采樣 層中對應(yīng)各個特征圖的變換結(jié)果， 各矩陣數(shù)據(jù)分布于 0 1 之間，數(shù)值 1 顯示為白色，0 顯示為黑色。 a. 卷積（全連接 ） b. 下采樣 c. 卷積(部分連接) d. 下采樣 a. Convolutions (full connection) b. Subsampling c. Convolutions (part connection) d. Subsampling 圖 5 卷積神經(jīng)網(wǎng)絡(luò)中各層的處理結(jié)果示例 Fig.5 Results in each layer of CNNs 第 5 期 趙凱旋等：基于卷積神經(jīng)網(wǎng)絡(luò)的奶牛個體身份識別方法 185 通過比較圖 5 中 C1 層與輸入圖像可知， 卷積操作具 有平滑圖像的效果，能夠降低遮擋干擾、增強信號特征。 C1 和 C3 卷積層特征圖像將上層圖像映射到不同的灰度 值區(qū)間內(nèi)，實現(xiàn)自動亮度調(diào)制，表明網(wǎng)絡(luò)所提取的特征 分布在不同的灰度空間域內(nèi)，該特性保證了網(wǎng)絡(luò)對于不 同光照條件的魯棒性。由于圖像像素間的相關(guān)性，故在 S2 和 S4 下采樣層對圖像進(jìn)行抽樣，可以減少數(shù)據(jù)處理 量，同時保留主要圖像信息，并提高網(wǎng)絡(luò)的抗畸變能力。 2.3 與傳統(tǒng)圖像檢索方法的比較 用卷積神經(jīng)網(wǎng)絡(luò)中的訓(xùn)練集圖像作為圖像檢索的目 標(biāo)圖像集合，測試集圖像作為未知的圖像樣本，對 3 種 方法的性能進(jìn)行比較，奶牛個體識別的準(zhǔn)確率及耗時如 表 4 所示。 表 4 圖像檢索法與卷積神經(jīng)網(wǎng)絡(luò)奶牛個體識別結(jié)果比較 Table 4 Comparing of image indexing method and CNNs for individual discrimination of cows 方法 Methods 準(zhǔn)確率 Recognition rate/% 平均耗時 Time/s 圖像距離度量法 Image comparing 32.95 0.2228 SIFT 匹配法 SIFT method 37.89 17.5247 卷積神經(jīng)網(wǎng)絡(luò) CNNs 90.55 0.0091 圖像距離度量法中，基于像素灰度值的圖像特征對 圖像變形、光線、視角等變化敏感，因此對于露天養(yǎng)殖 的奶牛個體識別準(zhǔn)確率較低。SIFT 方法較圖像距離量度 法精度有所提高，而且對于外表接近的奶牛也具有更高 的識別率， 說明SIFT方法具有較強的細(xì)節(jié)信息提取能力。 但 SIFT 方法的整體識別率仍偏低，這是由于某些復(fù)雜的 奶牛軀干圖像通常包含過多的冗余關(guān)鍵點，發(fā)生錯誤匹 配的可能性也隨之增大。同時，本研究中奶牛養(yǎng)殖環(huán)境 復(fù)雜，在有前景遮擋的情況下，SIFT 方法的魯棒性下降。 由于 SIFT 方法的計算量大，當(dāng)奶牛群體較大時，難以實 現(xiàn)實時識別。綜上所述，卷積神經(jīng)網(wǎng)絡(luò)具有較強的抗外 界干擾能力，且識別過程耗時短，對光線變化、前景遮 擋均具有較高的魯棒性。但卷積神經(jīng)網(wǎng)絡(luò)方法對于接近 純色的相似奶牛圖像的細(xì)節(jié)信息提取能力處于圖像距離 度量法和 SIFT 方法之間。 3 結(jié) 論 1）幀間差值法能夠檢測奶牛的運動邊緣及粗略輪 廓。對輪廓的二值圖像進(jìn)行分段跨度分析，可以剔除尾 巴、頭部以得到軀干區(qū)域。 2）基于二值圖像比對的模塊跟蹤方法能夠?qū)崿F(xiàn)奶牛 在復(fù)雜環(huán)境中的時實準(zhǔn)確跟蹤，較 Meanshift 方法具有更 強的抗背景干擾能力。以非重疊區(qū)域與重疊區(qū)域的面積 比作為圖像比較的評價值，能夠快速準(zhǔn)確的在新一幀圖 像中定位目標(biāo)區(qū)域。 3）構(gòu)建 4c-2s-6c-2s-30o 結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，對 90 段視頻共 21730 幅圖像的識別結(jié)果表明，單幅圖像的識 別率為 90.55%，視頻段的識別率為 93.33%。網(wǎng)絡(luò)對環(huán)境 光變化和小區(qū)域前景遮擋有較強的魯棒性。測試樣本和 訓(xùn)練樣本沒有重疊，表明網(wǎng)絡(luò)具有較強的泛化能力。 與其他圖像檢索方法相比，卷積神經(jīng)網(wǎng)絡(luò)具有耗時 短、 魯棒性高的優(yōu)點， 但圖像細(xì)節(jié)信息分辨能力低于 SIFT 方法。今后的研究中可將 SIFT 方法得到的關(guān)鍵點的方向 參數(shù)作為網(wǎng)絡(luò)的輸入，以提高網(wǎng)絡(luò)對于純色奶牛軀干圖 像的特征提取能力，進(jìn)一步提高奶牛個體識別的準(zhǔn)確率。 參 考 文 獻(xiàn) 1 王玲，王超峰，鄭奎. 基于 ARM 的蛋雞養(yǎng)殖場網(wǎng)絡(luò)視頻 監(jiān)控系統(tǒng)設(shè)計J. 農(nóng)業(yè)機械學(xué)報，2012，43(2)：186191. Wang Ling, Wang Chaofeng, Zheng Kui. Design and implementation of network video surveillance system for laying hens farm based on ARMJ. Transactions of the Chinese Society of Agricultural Machinery (Transactions of the CSAM), 2012, 43(2): 186191.(in Chinese with English abstract) 2 朱偉興，浦雪峰，李新城，等. 基于行為監(jiān)測的疑似病豬 自動化識別系統(tǒng)J. 農(nóng)業(yè)工程學(xué)報，2010，26(1)：188 192. Zhu Weixing, Pu Xuefeng, Li Xincheng, et al. Automatic identification system of pigs with suspected case based on behavior monitoringJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(1): 188192.(in Chinese with English abstract) 3 紀(jì)濱，朱偉興，劉波，等. 基于脊腹線波動的豬呼吸急促 癥狀視頻分析J. 農(nóng)業(yè)工程學(xué)報，2011，27(1)：191195. Ji Bin, Zhu Weixing, Liu Bo, et al. Video analysis for tachypnea of pigs based on fluctuating ridge-abdomeJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 191 195.(in Chinese with English abstract) 4 朱偉興，紀(jì)濱，秦鋒. 基于偽球算子邊緣模型的豬前景幀 檢測J. 農(nóng)業(yè)工程學(xué)報，2012，28(12)：189194. Zhu Weixing, Ji Bin, Qin Feng. Detection of foreground-frame of pig using edge model based on pseudosphere-operatorJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(12): 189194.(in Chinese with English abstract) 5 趙凱旋，何東健，王恩澤. 基于視頻分析的奶牛呼吸頻率 與異常檢測J. 農(nóng)業(yè)機械學(xué)報，2014，45(10)：258263. Zhao Kaixuan, He Dongjian, Wang Enze. Detection of breathing rate and abnormity of dairy cattle based on video analysisJ. Transactions of the Chinese Society of Agricultural Machinery (Transactions of the CSAM), 2014, 45(10): 258263.(in Chinese with English abstract) 6 Viazzi S, Bahr C, Schlageter-Tello A, et al. Analysis of individual classification of lameness using automatic measurement of back posture in dairy cattleJ. Journal of Dairy Science, 2013, 96(1): 257266. 7 Porto S, Arcidiacono C, Anguzza U, et al. A computer vision-based system for the automatic detection of lying 農(nóng)業(yè)工程學(xué)報 2015 年 186 behaviour of dairy cows in free-stall barnsJ. Biosystems Engineering, 2013, 115(2): 184194. 8 Viazzi S, Bahr C, Van Hertem T, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cowsJ. Computers and Electronics in Agriculture, 2014, 100(1): 139 147. 9 Yajuvendra S, Lathwal S S, Rajput N, et al. Effective and accurate discrimination of individual dairy cattle through acoustic sensingJ. Applied Animal Behaviour Science, 2013, 146(1-4): 1118. 10 龐超，何東健，李長悅，等. 基于 RFID 與 WSN 的奶牛養(yǎng) 殖溯源信息采集與傳輸方法J. 農(nóng)業(yè)工程學(xué)報，2011， 27(9)：147152. Pang Chao, He Dongjian, Li Zhangyue, et al. Method of traceability information acquisition and transmission for dairy cattle based on integrating of RFID and WSNJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(9): 147 152.(in Chinese with English abstract) 11 耿麗微，錢東平，趙春輝. 基于射頻技術(shù)的奶牛身份識別 系統(tǒng)J. 農(nóng)業(yè)工程學(xué)報，2009，25(5)：137141. Geng Liwei, Qian Dongping, Zhao Chunhui. Cow identification technology system based on radio frequencyJ. Transaction of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(5): 137 141.(in Chinese with English abstract) 12 郭衛(wèi)，錢東平，王輝，等. 奶牛身份射頻識別系統(tǒng)的防沖 突技術(shù)J. 農(nóng)業(yè)工程學(xué)報，2009，25(11)：222225. Guo Wei, Qian Dongping, Wang Hui, et al. Anti-collision technique in the radio-frequency identification system for dairy cattleJ. Transaction of the Chinese Society of Agricultural Engineering