改進時空局部二值模式的視頻?；顒臃绞郊耙?guī)律的信息獲取

改進時空局部二值模式的視頻?；顒臃绞郊耙?guī)律的信息獲取

豬豬高等魚所具有的生物過程檢測能力的現狀母牛出生的早期行為是在一定條件下對生理和心理行為的反應，通常表現為頻繁的起始行為，經常改變體位（步行、冥想、側臥、頭部和腹部頻繁回顧等）。因此該時期母牛行為活動方式及其規(guī)律的信息獲取是進行必要人工干預的重要判據之一,為有效降低難產率,提高犢牛成活率提供幫助。傳統(tǒng)人工監(jiān)測的方法具有主觀性強、人工成本高、工作強度大、易疲勞和誤診率高等問題。為了克服人工監(jiān)測方法的弊端,國內外學者以自動化監(jiān)測相關技術開展廣泛研究［1～5］。通過將三軸加速計、藍牙設備等傳感器部件安置在禽畜不同身體部位上,結合數據挖掘方法對記錄數據進行分析實現禽畜某些特定階段生命體征和行為的識別,取得較為滿意的結果。但是在試驗過程中,研究人員也同時發(fā)現上述方法存在一定的局限性,即侵入式采集方式可能影響動物的行為,外置部件易受環(huán)境浸染,體位遮擋干擾信號傳輸等。視覺是信息獲取的主要來源,機器視覺技術具有實時、非侵入、免打擾等特點,因此在作物種植等領域得到廣泛應用［6～8］。但是,該技術應用于禽畜養(yǎng)殖研究報道較少,已有的研究也多集中于禽類等小型養(yǎng)殖領域［9～11］,對于豬牛羊等大型畜牧類養(yǎng)殖的研究更是少有報道。綜上,本文將視覺詞典法用于母?；拘袨樽R別,通過對產前基本行為發(fā)生頻次規(guī)律的統(tǒng)計,最終實現對產前行為特征識別與規(guī)律發(fā)現。為自動化肉奶牛精準養(yǎng)殖系統(tǒng)子模塊———智能視覺監(jiān)控的研發(fā)提供可實施技術支持。1材料和方法1.1采集時間跨度試驗視頻采集自農業(yè)部現代農業(yè)產業(yè)技術體系-吉林農業(yè)大學校外肉牛繁育技術示范與推廣基地,采集時間跨度從2011年3月至2012年9月。視頻采集對象為隨機選取的37頭改良西門塔爾牛,分別為距人工預產期7d左右轉入單獨分娩區(qū)進行飼養(yǎng),臥盤鋪墊干牛糞末或干草墊,并保證牛舍溫度維持在15~17℃,該時期遵照體重喂飼的原則每天喂食3次。1.1.2系統(tǒng)的fpga的實現視頻采集設備主要包括:PanasonicWV-CP240/G型彩色CCD攝像機,分辨率為752像素(水平)×582像素(垂直),大華DAHUADH-DVR0804LE-AS8型硬盤刻錄機,后端處理器為Intel酷睿i5-3210M,主頻為2.5GHz,8GB內存,500GB硬盤便攜式計算機。系統(tǒng)軟件模塊采用IMAQVision,算法開發(fā)平臺為Matlab2011b。視頻采集方式為固定成像設備分別從正前方、側面、后側和水平方向隨機視角采集母牛側臥、行走和回望行為視頻。圍產期產前行為視頻采集單幀示意圖如圖1所示。1.2基于局部二值模式的用戶視頻行為分類識別依據專家經驗和觀察分析,母牛臨產前期的基本行為一般表現為起臥頻繁和頻繁回顧腹部,因此有效識別視頻中基本行為在臨產前的頻次變化規(guī)律是母牛產前行為識別與分析的關鍵。首先對基本行為(行走、側臥和回望)利用視覺詞典法進行識別;然后在基本行為準確識別的基礎上,結合視頻分割方法對采集的母牛臨產前測試視頻中的基本行為進行識別;最后利用識別結果統(tǒng)計單位時間內母牛產前上述基本行為變化的頻次,從而實現母牛臨產前行為規(guī)律的識別與分析。具體方法步驟為:1提出一種改進時空局部二值模式特征描述子對時空興趣點提取的區(qū)域進行特征描述。2對訓練視頻提取的局部特征量進行聚合,聚合中心作為視覺單詞,所有視覺單詞構成視覺詞典。3用視覺單詞描述視頻行為,構建視覺單詞直方圖,用以訓練分類器,并用于側臥、行走和回望基本行為的分類識別。4對母牛產前測試視頻單幀圖像進行特征量化描述和聚類,以行為類別為標簽實現視頻的語義分割。5在上述基本行為識別的基礎上,利用已訓練分類器實現對視頻段行為進行分類識別,并對單位時間內基本行為發(fā)生頻次進行統(tǒng)計。實現母牛產前行為規(guī)律的識別與分析。具體算法流程圖如圖2所示。1.2.1視頻行為的特征提取和描述為了有效對視頻中基本行為進行特征提取與描述,提出利用改進時空局部二值模式算子對時空興趣點進行量化描述的方法。1.2.1.基于局部二值模式的時域分類時空興趣點作為一種局部特征檢測算子,由于在視頻表示上的稀疏性,運動尺度、視角等的魯棒性,因此在人體行為識別領域得到廣泛的應用。單個時空興趣點體現的是視頻中局部區(qū)域灰度值的突變,因此無法描述行為的全局特性;而由視頻中檢測到的時空興趣點集合,由于不同行為在執(zhí)行過程中引起影像中對應位置像素灰度在時空域XYT上發(fā)生變化,因此對于不同行為,其檢測的時空興趣點集在時空域上的分布也具有較大的差異,可以最大限度地區(qū)別視頻影像中的不同行為,因此用于行為識別的初始特征提取。Laptev、Dollar和Willems等［12～14］對于時空興趣點(Spatio-temporalinterestpoint,STIP)的研究被視為該領域的經典之作,后續(xù)研究多數是對現有方法的改進。本文對母牛產前行為的時空興趣點檢測采用Dollar提出的方法,該算子通過二維高斯平滑核和一維時域Gabor濾波器的參數尺度變換,可以較好地檢測出視頻中由于行為執(zhí)行而產生的局部顯著區(qū)域。該檢測子響應函數計算式為其中,Ref是響應函數,該函數值對應為輸入視頻圖像在空間域XY和時間域t處局部灰度值突變的位置點,該位置點即為時空興趣點的空間位置坐標。f(x,y,t)是輸入視頻圖像,g為2維空間域方向的高斯平滑核函數,用于對視頻幀圖像在空間域上進行平滑噪聲,方差是σ2,該參數用于控制空間域,判定局部點是否作為備選興趣點進行標注。hev和hod為1維時域Gabor濾波器,τ用以描述時間維T上的尺度,ω=τ/4。通過尺度參數σ和τ將檢測得到的興趣點拓展為興趣區(qū)域,從而更好地獲取不同行為的局部信息。對于已檢測到的興趣點及其區(qū)域需要利用特征量化手段對該區(qū)域信息進行必要的量化描述。本文提出一種改進的時空局部二值模式對該區(qū)域進行量化描述,以便后續(xù)利用分類器對該行為的量化特征進行分類。局部二值模式［15］(Localbinarypattern,LBP)是一種簡單高效的灰度圖像局部紋理特征描述算子。該算子利用鄰域窗口內中心點像素值作為閾值,利用鄰域周邊像素值與中心像素值進行比較建立的二進制串轉換為十進制數作為該鄰域中心像素值的量化。具體計算表達式為式中Ic、Ii———鄰域內中心像素點和相鄰像素點的灰度VLBP———中心像素點二值模式值p———鄰域像素點數為了有效對序列圖像進行特征描述,Zhao等［16］在經典LBP基礎上提出一種時空局部二值模式特征描述子(Localbinarypatternsonthreeorthogonalplanes,LBP-TOP),該特征描述子將視頻圖像視為XY幀在時間維度T上的連續(xù)變化序列,通過計算XY、XT、YT3個正交面上的LBP值,然后串聯(lián)用以對區(qū)域特征進行描述。1.2.1.基于鄰域內像素權值差異的自適應調整視頻在拍攝過程中受光照,以及信號捕捉、記錄和傳輸過程中噪聲干擾等影響,從而對LBP-TOP紋理特征量化描述和應用產生一定影響。針對該問題,本文在借鑒Liao等［17］改進方法基礎上提出一種改進時空局部二值模式特征描述算子(Modifiedlocalbinarypatternsonthreeorthogonalplanes,MLBP-TOP)用于描述興趣區(qū)域。算法基本思想為:首先依據鄰域內像素值差異最小化原則,在LBP鄰域內為每個像素計算確定一個權值,用賦權后的值作為鄰域對應位置像素值;然后通過鄰域內像素賦權值均值與方差的線性加權統(tǒng)計量作為閾值,從而實現中心閾值的自適應調整。算法實現如下:(1)鄰域內像素權值計算。計算表達式為式中DDif———差異值gj，q(x,y,t)———窗口鄰域像素灰度值gc(xc,yc,tc)———窗口中心點像素灰度值,j=0,1,2,順次表示XY、XT、YT各坐標面p———鄰域像素點數wj，p———對應像素點處的權值對上述約束表達式利用有約束拉格朗日求極值方法確定領域像素對應位置的權值。(2)MLBP-TOP調整中心閾值。具體計算表達式為其中tth=Mmean+aestd(a∈(0,1))式中VMLBP-TOP———中心二值模式值Mmean、estd———像素值加權均值和方差1.2.1.檢測時空興趣區(qū)域特征視頻行為特征提取與描述具體執(zhí)行步驟如下:(1)時空興趣點檢測。在給定視頻利用Dollar提出的檢測算子提取興趣區(qū)域,其中尺度參數依據原文獻設定σ=2,τ=3.6。(2)特征描述。在已檢測時空興趣區(qū)域上利用MLBP-TOP算子對每個興趣區(qū)域進行量化描述,計算后得到的串聯(lián)灰度直方圖作為該興趣區(qū)域特征的量化結果。其中,本文算法中的參數設定p=8,XY、YT、XT3個坐標面上的鄰域半徑RX=RY=RT=1,其中RT=1相當于在時間維度上,窗口跨度前后為1幀。按照上述參數設定,檢測得到的興趣區(qū)域量化結果為一個768維的特征向量。該步驟算法示意圖如圖3所示。圖中,1為時空興趣點提取,2為利用MLBP-TOP特征表示,3為構建特征直方圖。1.2.2視覺詞典學習算法視覺單詞和視覺詞典概念引申自文本分析方法［18］。在文本分析中,單詞是文本中的基本單元,單詞的全體構成一個詞典,文本中每個主題可以通過多個單詞及其對應出現頻次進行量化描述。在本文行為識別中,視覺單詞是全部訓練視頻上初始提取時空興趣點量化聚類后形成的聚類中心,是相似時空興趣點的抽象量化表示,用于降低相似度較高興趣點的共現性,作為行為判定的基本單元;視覺詞典是所有視覺單詞(聚類中心)構成的集合;每個訓練視頻和測試視頻,將檢測到的興趣點利用最近鄰視覺單詞進行標識,通過統(tǒng)計視覺單詞出現以及相應頻次,構建視覺直方圖作為對應行為的量化特征描述,并用于后續(xù)訓練分類器實現行為分類識別。傳統(tǒng)構建視覺詞典的方法一般選k-means方法。該方法操作簡單,但是初始聚類數k的選取和初始聚類中心的選定都會對視覺詞典特征表示與應用識別產生負面的影響。因此本文利用Liu等［19］提出的通過最大化互信息構建最小化類內差異最大化類間差異的緊致視覺單詞學習算法。該算法的基本實現分為兩步:首先利用k-means算法對初始特征量進行聚類,本文初始k=100形成元視覺單詞;然后利用貪婪算法對近鄰元視覺單詞進行合并,合并依據原則滿足表達式為其中,X={x1,x2,…,xn}為元視覺單詞集,為聚合后的緊致視覺單詞集,且Y={y1,y2,…,yN}為視頻行為類別標簽。I函數為互信息表達式,λ=0.5為Lagrange乘子,對應互信息函數值越大,表示聚合后的視覺單詞集類內描述性越強,類間差異性越大;函數值越小,表示聚合后視覺單詞集相比元視覺單詞集越緊致。具體方法及實現參見文獻。該步最終得到的即為建立在訓練視頻集上的視覺單詞集合,用于構建視覺詞典。1.2.3個視覺膠語通過構建視覺單詞和視覺詞典,每類行為都可以通過視覺詞典中的單詞表示為一個視覺單詞直方圖,利用訓練視頻對最近鄰分類器進行訓練,訓練結果用于對測試視頻中母牛基本行為進行分類識別。相似度度量標準選用χ2距離,計算表達式為其中Hj=binj(i)表示視覺直方圖,i為直方圖維數。1.2.4特征量化描述對于長視頻的語義分割是對視頻中基本行為進行識別和頻次統(tǒng)計的關鍵。視頻語義分割涉及兩方面的基本內容:首先是單幀圖像的特征量化表示;其次是對量化表示后的視頻幀進行聚類,繼而實現視頻的語義分割。具體執(zhí)行步驟如下:(1)幀圖像特征表示。LBP算子可以較好地描述圖像的局部細節(jié)特征,因此本文將LBP算子用于單幀圖像的特征描述。在量化描述過程中,首先對單幀圖像進行4×4區(qū)域劃分,并在每個圖像區(qū)域塊上利用LBP算子進行特征描述,計算該區(qū)域塊的特征直方圖;然后將4×4共16個區(qū)域塊的特征直方圖進行串聯(lián)作為該單幀圖像的特征描述。其中LBP算子參數設定為:鄰域像素數為p=8,鄰域半徑R=1。單幀圖像特征量化示意圖如圖4所示。(2)視頻分割。對于上述量化后的視頻幀圖像,利用k-means方法進行聚類,聚類后形成的連續(xù)視頻段即為分割結果,每段視頻中包含獨立的基本行為。盡管聚類過程中由于初始聚類中心的選取會影響每類行為對應視頻段的起止幀及數量,但是考慮視頻段對應行為在視覺過渡過程中本身就存在界限模糊的現象,因此包含基本行為的視頻段起止幀不會對后續(xù)行為識別產生較為明顯的影響。1.2.5引前向事前諸行為識別在上述視頻分割的基礎上,首先利用前述方法分別對每個視頻段上包括行走、側臥和回望基本行為進行識別,然后統(tǒng)計單位時間段內側臥和回望發(fā)生的頻次,通過頻次變化實現對母牛產前行為規(guī)律的量化分析。2行為識別準確性驗證進行3組試驗,其中第1、2組試驗“水平固定視角行為識別”和“水平隨機視角行為識別”用于本文方法基本行為識別準確性的驗證;第3組試驗“規(guī)律量化與分析”用于產前行為規(guī)律的量化分析。2.1行為類型化視頻行為于2011年3月至2012年9月期間采集37頭產前母牛行走、側臥和回視的120組視頻,其中指定視角(正前方、側面和后面)視頻90組,每組行為在規(guī)定視角下對應15個視頻;水平方向隨機視角采集30組視頻,每種行為對應10個視頻,并人工對視頻行為類別進行標注,該組視頻用于基本行為識別。另外一組測試視頻通過截取母牛臨產前10h和產后3h時間段獲取,該組視頻用于產前規(guī)律性識別與分析。2.2試驗結果與分析2.2.1視覺詞匯識別為了驗證算法性能,本組試驗在指定視角下對3類6種行為進行識別。首先對于指定視角的90組視頻,訓練視頻數依次設定為5、8和10,剩余視頻依次用于測試,試驗結果采用5次試驗取均值的方式。首先,使用時空興趣點進行興趣區(qū)域檢測,利用MLBP-TOP算子對興趣區(qū)域進行量化描述,從而得到行為的局部量化特征,每個量化特征根據MLBP-TOP參數設定,計算結果為一個256×3=768維的特征向量;然后利用文獻提出的算法計算得到18個聚合中心,每個聚合中心對應一個視頻單詞,每個視覺單詞用索引號1,2,…,18進行標識,并最終得到由18個視覺單詞構成的詞典;最后用視覺單詞直方圖描述指定視角下的每類行為,利用最近鄰分類器進行分類識別。圖5給出初始興趣點聚合成最終視覺單詞的結果示意圖,坐標為量化特征對應興趣點中心位置坐標。圖6給出利用視覺單詞直方圖進行行為描述的示意圖。圖中橫坐標表示視覺單詞索引號,縱坐標為歸一化后的視覺單詞出現的頻率。對視覺直方圖進行歸一化的目的在于,考慮到個體在行為執(zhí)行過程中可能出現同一行為的執(zhí)行時間長短不一,在視頻圖像中體現為該行為所出現的圖像幀數不同,繼而引起描述對應行為的視頻段中視覺單詞出現的次數發(fā)生差異,通過歸一化可以有效保證視覺單詞直方圖對于行為特征描述的一致性。為測試識別結果與訓練視頻數的關系,試驗中順次選取訓練視頻數為5、8和10。識別結果表明,本文提出的方法在小訓練樣本下(訓練樣本數為5),行走和側臥部分視角下識別準確率已經達到80%左右,隨著訓練樣本數的提升(訓練樣本數為10),3種視角下行為識別準確率平均達到94.6%,本文方法適合小樣本識別。圖7為訓練樣本數為10時,識別結果準確率混淆矩陣。從結果中可以進一步發(fā)現,側臥行為在3種視角下實現100%的識別,分析原因在于側臥從體態(tài)動作上明顯與行走和回望存在巨大差異;識別準確率相對較低的是行走后面為85%,誤識別發(fā)生在回望后面為15%,分析其原因在于二者單獨從后側視角進行識別由于體態(tài)動作特征相似,因此引起誤識別。其余行為識別準確率都達到90%以上。2.2.2實際民法試驗結果該試驗是對第1組試驗的拓展,利用第1組試驗聚合形成的18個視覺單詞構建的視覺詞典對水平隨機視角獲取每類行為各10組視頻共計30組視頻進行識別。由于視角為水平方向隨機采集,視頻視角不再是單一的側面、正面和后面,而在實際母牛體位上出現一定的旋轉,因此給準確識別帶來比較大的困難。進行5次試驗取平均值的方式得到正確識別率混淆矩陣見圖8。試驗結果中行走和回望的識別率為85%,其中行走在5次試驗中誤識別視頻全部識別為回望;回望在5次試驗中,誤識別視頻有4次記錄誤分為行走,1次誤分為側臥。分析誤識別的原因在于,行走和回望本身行為特征較為相近,附加拍攝時體位變換更具隨機性。綜合分析本文方法整體平均識別準確率仍然達到88.3%。進一步驗證本文方法的有效性。2.2.3試驗結果與分析母牛臨產前期行為一般以頻繁側臥和回望腹部最為典型,在量化標準上體現為單位時間段內行為發(fā)生頻次的不斷提升。因此本組試驗在第1組試驗和第2組試驗實現行走、側臥和回望基本行為準確識別的基礎上,通過對母牛臨產期前后采集視頻中包括行走、側臥和回望等行為在單位時間段內發(fā)生頻次統(tǒng)計,實現產前行為規(guī)律的量化描述。試驗對象為隨機選取臨產期前10h和產后3h的5組視頻采集數據作為試驗視頻進行分析。測試視頻采集依據專家經驗和實際觀察,上述產前10h和產后3h這個時間段內個體接近臨產到產后行為變化較為明顯。試驗過程中為實現視頻中各種基本行為的識別和頻次統(tǒng)計,首先利用LBP算子對視頻幀圖像進行量化描述,然后通過k-means方法對給定視頻通過聚類進行語義分割,初始聚類數設定k=5。設定原則依據基本行為除了本文已識別明顯揭示產前特征的包括行走、側臥和回望等基本行為外,還有矗立(靜止)、飲食等常見基本行為。選取其中一組測試視頻的聚類分割效果圖如圖9所示。為了方便說明臨產前后基本行為頻次變化規(guī)律,該組圖截取的是在前10h和產后3h時間段內隨機選取等長的臨產前期、臨產末期和臨產后期的聚類分割結果圖。同時,為了驗證本文算法的有效性,對于聚類分割的視頻段識別結果采用人工驗證方式進行驗證,并在圖中進行對應段標注,算法自動識別與人工識別結果相一致,用打對勾的方式標注。圖中橫坐標指示視頻幀索引數(量級為104幀),縱坐標為聚類索引數。截圖試驗結果表明,包括行走、側臥和回望基本行為得到有效識別,驗證了本文算法在連續(xù)視頻中對基本行為識別的有效性。同時識別結果中也存在誤識別和無法識別的問題,分析發(fā)現該類行為主要出現在“矗立”上,其原因在于,首先在前述基本行為識別過程中沒有對“矗立”和“飲食”進行單獨識別學習;另外由于矗立行為多發(fā)生在運動行為之后的靜止狀態(tài),例如側臥行為之后牛處于靜臥狀態(tài),或者行走、回望行為之后的靜立狀態(tài),因此會對相應行為產生誤分或無法識別的結果。但是,通過對比本文算法識別結果和人工觀測結果,上述誤識別或無法識別結果基本沒有對后續(xù)頻次規(guī)律統(tǒng)計產生比較大的影響。因此本文算法在測試的長視頻上驗證是有效的。表1列出在上述視頻聚類分段識別的基礎上,對連續(xù)視頻中出現的回望和側臥發(fā)生的頻次進行統(tǒng)計的結果。統(tǒng)計時間以2h為基本時間單位,統(tǒng)計結果為5次試驗取均值。試驗結果表明,本文方法對產前行為規(guī)律的識別結果與人