改進(jìn)時空局部二值模式的視頻?；顒臃绞郊耙?guī)律的信息獲取

改進(jìn)時空局部二值模式的視頻?；顒臃绞郊耙?guī)律的信息獲取

豬豬高等魚所具有的生物過程檢測能力的現(xiàn)狀母牛出生的早期行為是在一定條件下對生理和心理行為的反應(yīng)，通常表現(xiàn)為頻繁的起始行為，經(jīng)常改變體位（步行、冥想、側(cè)臥、頭部和腹部頻繁回顧等）。因此該時期母牛行為活動方式及其規(guī)律的信息獲取是進(jìn)行必要人工干預(yù)的重要判據(jù)之一,為有效降低難產(chǎn)率,提高犢牛成活率提供幫助。傳統(tǒng)人工監(jiān)測的方法具有主觀性強(qiáng)、人工成本高、工作強(qiáng)度大、易疲勞和誤診率高等問題。為了克服人工監(jiān)測方法的弊端,國內(nèi)外學(xué)者以自動化監(jiān)測相關(guān)技術(shù)開展廣泛研究［1～5］。通過將三軸加速計(jì)、藍(lán)牙設(shè)備等傳感器部件安置在禽畜不同身體部位上,結(jié)合數(shù)據(jù)挖掘方法對記錄數(shù)據(jù)進(jìn)行分析實(shí)現(xiàn)禽畜某些特定階段生命體征和行為的識別,取得較為滿意的結(jié)果。但是在試驗(yàn)過程中,研究人員也同時發(fā)現(xiàn)上述方法存在一定的局限性,即侵入式采集方式可能影響動物的行為,外置部件易受環(huán)境浸染,體位遮擋干擾信號傳輸?shù)?。視覺是信息獲取的主要來源,機(jī)器視覺技術(shù)具有實(shí)時、非侵入、免打擾等特點(diǎn),因此在作物種植等領(lǐng)域得到廣泛應(yīng)用［6～8］。但是,該技術(shù)應(yīng)用于禽畜養(yǎng)殖研究報道較少,已有的研究也多集中于禽類等小型養(yǎng)殖領(lǐng)域［9～11］,對于豬牛羊等大型畜牧類養(yǎng)殖的研究更是少有報道。綜上,本文將視覺詞典法用于母?；拘袨樽R別,通過對產(chǎn)前基本行為發(fā)生頻次規(guī)律的統(tǒng)計(jì),最終實(shí)現(xiàn)對產(chǎn)前行為特征識別與規(guī)律發(fā)現(xiàn)。為自動化肉奶牛精準(zhǔn)養(yǎng)殖系統(tǒng)子模塊———智能視覺監(jiān)控的研發(fā)提供可實(shí)施技術(shù)支持。1材料和方法1.1采集時間跨度試驗(yàn)視頻采集自農(nóng)業(yè)部現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系-吉林農(nóng)業(yè)大學(xué)校外肉牛繁育技術(shù)示范與推廣基地,采集時間跨度從2011年3月至2012年9月。視頻采集對象為隨機(jī)選取的37頭改良西門塔爾牛,分別為距人工預(yù)產(chǎn)期7d左右轉(zhuǎn)入單獨(dú)分娩區(qū)進(jìn)行飼養(yǎng),臥盤鋪墊干牛糞末或干草墊,并保證牛舍溫度維持在15~17℃,該時期遵照體重喂飼的原則每天喂食3次。1.1.2系統(tǒng)的fpga的實(shí)現(xiàn)視頻采集設(shè)備主要包括:PanasonicWV-CP240/G型彩色CCD攝像機(jī),分辨率為752像素(水平)×582像素(垂直),大華DAHUADH-DVR0804LE-AS8型硬盤刻錄機(jī),后端處理器為Intel酷睿i5-3210M,主頻為2.5GHz,8GB內(nèi)存,500GB硬盤便攜式計(jì)算機(jī)。系統(tǒng)軟件模塊采用IMAQVision,算法開發(fā)平臺為Matlab2011b。視頻采集方式為固定成像設(shè)備分別從正前方、側(cè)面、后側(cè)和水平方向隨機(jī)視角采集母牛側(cè)臥、行走和回望行為視頻。圍產(chǎn)期產(chǎn)前行為視頻采集單幀示意圖如圖1所示。1.2基于局部二值模式的用戶視頻行為分類識別依據(jù)專家經(jīng)驗(yàn)和觀察分析,母牛臨產(chǎn)前期的基本行為一般表現(xiàn)為起臥頻繁和頻繁回顧腹部,因此有效識別視頻中基本行為在臨產(chǎn)前的頻次變化規(guī)律是母牛產(chǎn)前行為識別與分析的關(guān)鍵。首先對基本行為(行走、側(cè)臥和回望)利用視覺詞典法進(jìn)行識別;然后在基本行為準(zhǔn)確識別的基礎(chǔ)上,結(jié)合視頻分割方法對采集的母牛臨產(chǎn)前測試視頻中的基本行為進(jìn)行識別;最后利用識別結(jié)果統(tǒng)計(jì)單位時間內(nèi)母牛產(chǎn)前上述基本行為變化的頻次,從而實(shí)現(xiàn)母牛臨產(chǎn)前行為規(guī)律的識別與分析。具體方法步驟為:1提出一種改進(jìn)時空局部二值模式特征描述子對時空興趣點(diǎn)提取的區(qū)域進(jìn)行特征描述。2對訓(xùn)練視頻提取的局部特征量進(jìn)行聚合,聚合中心作為視覺單詞,所有視覺單詞構(gòu)成視覺詞典。3用視覺單詞描述視頻行為,構(gòu)建視覺單詞直方圖,用以訓(xùn)練分類器,并用于側(cè)臥、行走和回望基本行為的分類識別。4對母牛產(chǎn)前測試視頻單幀圖像進(jìn)行特征量化描述和聚類,以行為類別為標(biāo)簽實(shí)現(xiàn)視頻的語義分割。5在上述基本行為識別的基礎(chǔ)上,利用已訓(xùn)練分類器實(shí)現(xiàn)對視頻段行為進(jìn)行分類識別,并對單位時間內(nèi)基本行為發(fā)生頻次進(jìn)行統(tǒng)計(jì)。實(shí)現(xiàn)母牛產(chǎn)前行為規(guī)律的識別與分析。具體算法流程圖如圖2所示。1.2.1視頻行為的特征提取和描述為了有效對視頻中基本行為進(jìn)行特征提取與描述,提出利用改進(jìn)時空局部二值模式算子對時空興趣點(diǎn)進(jìn)行量化描述的方法。1.2.1.基于局部二值模式的時域分類時空興趣點(diǎn)作為一種局部特征檢測算子,由于在視頻表示上的稀疏性,運(yùn)動尺度、視角等的魯棒性,因此在人體行為識別領(lǐng)域得到廣泛的應(yīng)用。單個時空興趣點(diǎn)體現(xiàn)的是視頻中局部區(qū)域灰度值的突變,因此無法描述行為的全局特性;而由視頻中檢測到的時空興趣點(diǎn)集合,由于不同行為在執(zhí)行過程中引起影像中對應(yīng)位置像素灰度在時空域XYT上發(fā)生變化,因此對于不同行為,其檢測的時空興趣點(diǎn)集在時空域上的分布也具有較大的差異,可以最大限度地區(qū)別視頻影像中的不同行為,因此用于行為識別的初始特征提取。Laptev、Dollar和Willems等［12～14］對于時空興趣點(diǎn)(Spatio-temporalinterestpoint,STIP)的研究被視為該領(lǐng)域的經(jīng)典之作,后續(xù)研究多數(shù)是對現(xiàn)有方法的改進(jìn)。本文對母牛產(chǎn)前行為的時空興趣點(diǎn)檢測采用Dollar提出的方法,該算子通過二維高斯平滑核和一維時域Gabor濾波器的參數(shù)尺度變換,可以較好地檢測出視頻中由于行為執(zhí)行而產(chǎn)生的局部顯著區(qū)域。該檢測子響應(yīng)函數(shù)計(jì)算式為其中,Ref是響應(yīng)函數(shù),該函數(shù)值對應(yīng)為輸入視頻圖像在空間域XY和時間域t處局部灰度值突變的位置點(diǎn),該位置點(diǎn)即為時空興趣點(diǎn)的空間位置坐標(biāo)。f(x,y,t)是輸入視頻圖像,g為2維空間域方向的高斯平滑核函數(shù),用于對視頻幀圖像在空間域上進(jìn)行平滑噪聲,方差是σ2,該參數(shù)用于控制空間域,判定局部點(diǎn)是否作為備選興趣點(diǎn)進(jìn)行標(biāo)注。hev和hod為1維時域Gabor濾波器,τ用以描述時間維T上的尺度,ω=τ/4。通過尺度參數(shù)σ和τ將檢測得到的興趣點(diǎn)拓展為興趣區(qū)域,從而更好地獲取不同行為的局部信息。對于已檢測到的興趣點(diǎn)及其區(qū)域需要利用特征量化手段對該區(qū)域信息進(jìn)行必要的量化描述。本文提出一種改進(jìn)的時空局部二值模式對該區(qū)域進(jìn)行量化描述,以便后續(xù)利用分類器對該行為的量化特征進(jìn)行分類。局部二值模式［15］(Localbinarypattern,LBP)是一種簡單高效的灰度圖像局部紋理特征描述算子。該算子利用鄰域窗口內(nèi)中心點(diǎn)像素值作為閾值,利用鄰域周邊像素值與中心像素值進(jìn)行比較建立的二進(jìn)制串轉(zhuǎn)換為十進(jìn)制數(shù)作為該鄰域中心像素值的量化。具體計(jì)算表達(dá)式為式中Ic、Ii———鄰域內(nèi)中心像素點(diǎn)和相鄰像素點(diǎn)的灰度VLBP———中心像素點(diǎn)二值模式值p———鄰域像素點(diǎn)數(shù)為了有效對序列圖像進(jìn)行特征描述,Zhao等［16］在經(jīng)典LBP基礎(chǔ)上提出一種時空局部二值模式特征描述子(Localbinarypatternsonthreeorthogonalplanes,LBP-TOP),該特征描述子將視頻圖像視為XY幀在時間維度T上的連續(xù)變化序列,通過計(jì)算XY、XT、YT3個正交面上的LBP值,然后串聯(lián)用以對區(qū)域特征進(jìn)行描述。1.2.1.基于鄰域內(nèi)像素權(quán)值差異的自適應(yīng)調(diào)整視頻在拍攝過程中受光照,以及信號捕捉、記錄和傳輸過程中噪聲干擾等影響,從而對LBP-TOP紋理特征量化描述和應(yīng)用產(chǎn)生一定影響。針對該問題,本文在借鑒Liao等［17］改進(jìn)方法基礎(chǔ)上提出一種改進(jìn)時空局部二值模式特征描述算子(Modifiedlocalbinarypatternsonthreeorthogonalplanes,MLBP-TOP)用于描述興趣區(qū)域。算法基本思想為:首先依據(jù)鄰域內(nèi)像素值差異最小化原則,在LBP鄰域內(nèi)為每個像素計(jì)算確定一個權(quán)值,用賦權(quán)后的值作為鄰域?qū)?yīng)位置像素值;然后通過鄰域內(nèi)像素賦權(quán)值均值與方差的線性加權(quán)統(tǒng)計(jì)量作為閾值,從而實(shí)現(xiàn)中心閾值的自適應(yīng)調(diào)整。算法實(shí)現(xiàn)如下:(1)鄰域內(nèi)像素權(quán)值計(jì)算。計(jì)算表達(dá)式為式中DDif———差異值gj，q(x,y,t)———窗口鄰域像素灰度值gc(xc,yc,tc)———窗口中心點(diǎn)像素灰度值,j=0,1,2,順次表示XY、XT、YT各坐標(biāo)面p———鄰域像素點(diǎn)數(shù)wj，p———對應(yīng)像素點(diǎn)處的權(quán)值對上述約束表達(dá)式利用有約束拉格朗日求極值方法確定領(lǐng)域像素對應(yīng)位置的權(quán)值。(2)MLBP-TOP調(diào)整中心閾值。具體計(jì)算表達(dá)式為其中tth=Mmean+aestd(a∈(0,1))式中VMLBP-TOP———中心二值模式值Mmean、estd———像素值加權(quán)均值和方差1.2.1.檢測時空興趣區(qū)域特征視頻行為特征提取與描述具體執(zhí)行步驟如下:(1)時空興趣點(diǎn)檢測。在給定視頻利用Dollar提出的檢測算子提取興趣區(qū)域,其中尺度參數(shù)依據(jù)原文獻(xiàn)設(shè)定σ=2,τ=3.6。(2)特征描述。在已檢測時空興趣區(qū)域上利用MLBP-TOP算子對每個興趣區(qū)域進(jìn)行量化描述,計(jì)算后得到的串聯(lián)灰度直方圖作為該興趣區(qū)域特征的量化結(jié)果。其中,本文算法中的參數(shù)設(shè)定p=8,XY、YT、XT3個坐標(biāo)面上的鄰域半徑RX=RY=RT=1,其中RT=1相當(dāng)于在時間維度上,窗口跨度前后為1幀。按照上述參數(shù)設(shè)定,檢測得到的興趣區(qū)域量化結(jié)果為一個768維的特征向量。該步驟算法示意圖如圖3所示。圖中,1為時空興趣點(diǎn)提取,2為利用MLBP-TOP特征表示,3為構(gòu)建特征直方圖。1.2.2視覺詞典學(xué)習(xí)算法視覺單詞和視覺詞典概念引申自文本分析方法［18］。在文本分析中,單詞是文本中的基本單元,單詞的全體構(gòu)成一個詞典,文本中每個主題可以通過多個單詞及其對應(yīng)出現(xiàn)頻次進(jìn)行量化描述。在本文行為識別中,視覺單詞是全部訓(xùn)練視頻上初始提取時空興趣點(diǎn)量化聚類后形成的聚類中心,是相似時空興趣點(diǎn)的抽象量化表示,用于降低相似度較高興趣點(diǎn)的共現(xiàn)性,作為行為判定的基本單元;視覺詞典是所有視覺單詞(聚類中心)構(gòu)成的集合;每個訓(xùn)練視頻和測試視頻,將檢測到的興趣點(diǎn)利用最近鄰視覺單詞進(jìn)行標(biāo)識,通過統(tǒng)計(jì)視覺單詞出現(xiàn)以及相應(yīng)頻次,構(gòu)建視覺直方圖作為對應(yīng)行為的量化特征描述,并用于后續(xù)訓(xùn)練分類器實(shí)現(xiàn)行為分類識別。傳統(tǒng)構(gòu)建視覺詞典的方法一般選k-means方法。該方法操作簡單,但是初始聚類數(shù)k的選取和初始聚類中心的選定都會對視覺詞典特征表示與應(yīng)用識別產(chǎn)生負(fù)面的影響。因此本文利用Liu等［19］提出的通過最大化互信息構(gòu)建最小化類內(nèi)差異最大化類間差異的緊致視覺單詞學(xué)習(xí)算法。該算法的基本實(shí)現(xiàn)分為兩步:首先利用k-means算法對初始特征量進(jìn)行聚類,本文初始k=100形成元視覺單詞;然后利用貪婪算法對近鄰元視覺單詞進(jìn)行合并,合并依據(jù)原則滿足表達(dá)式為其中,X={x1,x2,…,xn}為元視覺單詞集,為聚合后的緊致視覺單詞集,且Y={y1,y2,…,yN}為視頻行為類別標(biāo)簽。I函數(shù)為互信息表達(dá)式,λ=0.5為Lagrange乘子,對應(yīng)互信息函數(shù)值越大,表示聚合后的視覺單詞集類內(nèi)描述性越強(qiáng),類間差異性越大;函數(shù)值越小,表示聚合后視覺單詞集相比元視覺單詞集越緊致。具體方法及實(shí)現(xiàn)參見文獻(xiàn)。該步最終得到的即為建立在訓(xùn)練視頻集上的視覺單詞集合,用于構(gòu)建視覺詞典。1.2.3個視覺膠語通過構(gòu)建視覺單詞和視覺詞典,每類行為都可以通過視覺詞典中的單詞表示為一個視覺單詞直方圖,利用訓(xùn)練視頻對最近鄰分類器進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果用于對測試視頻中母牛基本行為進(jìn)行分類識別。相似度度量標(biāo)準(zhǔn)選用χ2距離,計(jì)算表達(dá)式為其中Hj=binj(i)表示視覺直方圖,i為直方圖維數(shù)。1.2.4特征量化描述對于長視頻的語義分割是對視頻中基本行為進(jìn)行識別和頻次統(tǒng)計(jì)的關(guān)鍵。視頻語義分割涉及兩方面的基本內(nèi)容:首先是單幀圖像的特征量化表示;其次是對量化表示后的視頻幀進(jìn)行聚類,繼而實(shí)現(xiàn)視頻的語義分割。具體執(zhí)行步驟如下:(1)幀圖像特征表示。LBP算子可以較好地描述圖像的局部細(xì)節(jié)特征,因此本文將LBP算子用于單幀圖像的特征描述。在量化描述過程中,首先對單幀圖像進(jìn)行4×4區(qū)域劃分,并在每個圖像區(qū)域塊上利用LBP算子進(jìn)行特征描述,計(jì)算該區(qū)域塊的特征直方圖;然后將4×4共16個區(qū)域塊的特征直方圖進(jìn)行串聯(lián)作為該單幀圖像的特征描述。其中LBP算子參數(shù)設(shè)定為:鄰域像素?cái)?shù)為p=8,鄰域半徑R=1。單幀圖像特征量化示意圖如圖4所示。(2)視頻分割。對于上述量化后的視頻幀圖像,利用k-means方法進(jìn)行聚類,聚類后形成的連續(xù)視頻段即為分割結(jié)果,每段視頻中包含獨(dú)立的基本行為。盡管聚類過程中由于初始聚類中心的選取會影響每類行為對應(yīng)視頻段的起止幀及數(shù)量,但是考慮視頻段對應(yīng)行為在視覺過渡過程中本身就存在界限模糊的現(xiàn)象,因此包含基本行為的視頻段起止幀不會對后續(xù)行為識別產(chǎn)生較為明顯的影響。1.2.5引前向事前諸行為識別在上述視頻分割的基礎(chǔ)上,首先利用前述方法分別對每個視頻段上包括行走、側(cè)臥和回望基本行為進(jìn)行識別,然后統(tǒng)計(jì)單位時間段內(nèi)側(cè)臥和回望發(fā)生的頻次,通過頻次變化實(shí)現(xiàn)對母牛產(chǎn)前行為規(guī)律的量化分析。2行為識別準(zhǔn)確性驗(yàn)證進(jìn)行3組試驗(yàn),其中第1、2組試驗(yàn)“水平固定視角行為識別”和“水平隨機(jī)視角行為識別”用于本文方法基本行為識別準(zhǔn)確性的驗(yàn)證;第3組試驗(yàn)“規(guī)律量化與分析”用于產(chǎn)前行為規(guī)律的量化分析。2.1行為類型化視頻行為于2011年3月至2012年9月期間采集37頭產(chǎn)前母牛行走、側(cè)臥和回視的120組視頻,其中指定視角(正前方、側(cè)面和后面)視頻90組,每組行為在規(guī)定視角下對應(yīng)15個視頻;水平方向隨機(jī)視角采集30組視頻,每種行為對應(yīng)10個視頻,并人工對視頻行為類別進(jìn)行標(biāo)注,該組視頻用于基本行為識別。另外一組測試視頻通過截取母牛臨產(chǎn)前10h和產(chǎn)后3h時間段獲取,該組視頻用于產(chǎn)前規(guī)律性識別與分析。2.2試驗(yàn)結(jié)果與分析2.2.1視覺詞匯識別為了驗(yàn)證算法性能,本組試驗(yàn)在指定視角下對3類6種行為進(jìn)行識別。首先對于指定視角的90組視頻,訓(xùn)練視頻數(shù)依次設(shè)定為5、8和10,剩余視頻依次用于測試,試驗(yàn)結(jié)果采用5次試驗(yàn)取均值的方式。首先,使用時空興趣點(diǎn)進(jìn)行興趣區(qū)域檢測,利用MLBP-TOP算子對興趣區(qū)域進(jìn)行量化描述,從而得到行為的局部量化特征,每個量化特征根據(jù)MLBP-TOP參數(shù)設(shè)定,計(jì)算結(jié)果為一個256×3=768維的特征向量;然后利用文獻(xiàn)提出的算法計(jì)算得到18個聚合中心,每個聚合中心對應(yīng)一個視頻單詞,每個視覺單詞用索引號1,2,…,18進(jìn)行標(biāo)識,并最終得到由18個視覺單詞構(gòu)成的詞典;最后用視覺單詞直方圖描述指定視角下的每類行為,利用最近鄰分類器進(jìn)行分類識別。圖5給出初始興趣點(diǎn)聚合成最終視覺單詞的結(jié)果示意圖,坐標(biāo)為量化特征對應(yīng)興趣點(diǎn)中心位置坐標(biāo)。圖6給出利用視覺單詞直方圖進(jìn)行行為描述的示意圖。圖中橫坐標(biāo)表示視覺單詞索引號,縱坐標(biāo)為歸一化后的視覺單詞出現(xiàn)的頻率。對視覺直方圖進(jìn)行歸一化的目的在于,考慮到個體在行為執(zhí)行過程中可能出現(xiàn)同一行為的執(zhí)行時間長短不一,在視頻圖像中體現(xiàn)為該行為所出現(xiàn)的圖像幀數(shù)不同,繼而引起描述對應(yīng)行為的視頻段中視覺單詞出現(xiàn)的次數(shù)發(fā)生差異,通過歸一化可以有效保證視覺單詞直方圖對于行為特征描述的一致性。為測試識別結(jié)果與訓(xùn)練視頻數(shù)的關(guān)系,試驗(yàn)中順次選取訓(xùn)練視頻數(shù)為5、8和10。識別結(jié)果表明,本文提出的方法在小訓(xùn)練樣本下(訓(xùn)練樣本數(shù)為5),行走和側(cè)臥部分視角下識別準(zhǔn)確率已經(jīng)達(dá)到80%左右,隨著訓(xùn)練樣本數(shù)的提升(訓(xùn)練樣本數(shù)為10),3種視角下行為識別準(zhǔn)確率平均達(dá)到94.6%,本文方法適合小樣本識別。圖7為訓(xùn)練樣本數(shù)為10時,識別結(jié)果準(zhǔn)確率混淆矩陣。從結(jié)果中可以進(jìn)一步發(fā)現(xiàn),側(cè)臥行為在3種視角下實(shí)現(xiàn)100%的識別,分析原因在于側(cè)臥從體態(tài)動作上明顯與行走和回望存在巨大差異;識別準(zhǔn)確率相對較低的是行走后面為85%,誤識別發(fā)生在回望后面為15%,分析其原因在于二者單獨(dú)從后側(cè)視角進(jìn)行識別由于體態(tài)動作特征相似,因此引起誤識別。其余行為識別準(zhǔn)確率都達(dá)到90%以上。2.2.2實(shí)際民法試驗(yàn)結(jié)果該試驗(yàn)是對第1組試驗(yàn)的拓展,利用第1組試驗(yàn)聚合形成的18個視覺單詞構(gòu)建的視覺詞典對水平隨機(jī)視角獲取每類行為各10組視頻共計(jì)30組視頻進(jìn)行識別。由于視角為水平方向隨機(jī)采集,視頻視角不再是單一的側(cè)面、正面和后面,而在實(shí)際母牛體位上出現(xiàn)一定的旋轉(zhuǎn),因此給準(zhǔn)確識別帶來比較大的困難。進(jìn)行5次試驗(yàn)取平均值的方式得到正確識別率混淆矩陣見圖8。試驗(yàn)結(jié)果中行走和回望的識別率為85%,其中行走在5次試驗(yàn)中誤識別視頻全部識別為回望;回望在5次試驗(yàn)中,誤識別視頻有4次記錄誤分為行走,1次誤分為側(cè)臥。分析誤識別的原因在于,行走和回望本身行為特征較為相近,附加拍攝時體位變換更具隨機(jī)性。綜合分析本文方法整體平均識別準(zhǔn)確率仍然達(dá)到88.3%。進(jìn)一步驗(yàn)證本文方法的有效性。2.2.3試驗(yàn)結(jié)果與分析母牛臨產(chǎn)前期行為一般以頻繁側(cè)臥和回望腹部最為典型,在量化標(biāo)準(zhǔn)上體現(xiàn)為單位時間段內(nèi)行為發(fā)生頻次的不斷提升。因此本組試驗(yàn)在第1組試驗(yàn)和第2組試驗(yàn)實(shí)現(xiàn)行走、側(cè)臥和回望基本行為準(zhǔn)確識別的基礎(chǔ)上,通過對母牛臨產(chǎn)期前后采集視頻中包括行走、側(cè)臥和回望等行為在單位時間段內(nèi)發(fā)生頻次統(tǒng)計(jì),實(shí)現(xiàn)產(chǎn)前行為規(guī)律的量化描述。試驗(yàn)對象為隨機(jī)選取臨產(chǎn)期前10h和產(chǎn)后3h的5組視頻采集數(shù)據(jù)作為試驗(yàn)視頻進(jìn)行分析。測試視頻采集依據(jù)專家經(jīng)驗(yàn)和實(shí)際觀察,上述產(chǎn)前10h和產(chǎn)后3h這個時間段內(nèi)個體接近臨產(chǎn)到產(chǎn)后行為變化較為明顯。試驗(yàn)過程中為實(shí)現(xiàn)視頻中各種基本行為的識別和頻次統(tǒng)計(jì),首先利用LBP算子對視頻幀圖像進(jìn)行量化描述,然后通過k-means方法對給定視頻通過聚類進(jìn)行語義分割,初始聚類數(shù)設(shè)定k=5。設(shè)定原則依據(jù)基本行為除了本文已識別明顯揭示產(chǎn)前特征的包括行走、側(cè)臥和回望等基本行為外,還有矗立(靜止)、飲食等常見基本行為。選取其中一組測試視頻的聚類分割效果圖如圖9所示。為了方便說明臨產(chǎn)前后基本行為頻次變化規(guī)律,該組圖截取的是在前10h和產(chǎn)后3h時間段內(nèi)隨機(jī)選取等長的臨產(chǎn)前期、臨產(chǎn)末期和臨產(chǎn)后期的聚類分割結(jié)果圖。同時,為了驗(yàn)證本文算法的有效性,對于聚類分割的視頻段識別結(jié)果采用人工驗(yàn)證方式進(jìn)行驗(yàn)證,并在圖中進(jìn)行對應(yīng)段標(biāo)注,算法自動識別與人工識別結(jié)果相一致,用打?qū)吹姆绞綐?biāo)注。圖中橫坐標(biāo)指示視頻幀索引數(shù)(量級為104幀),縱坐標(biāo)為聚類索引數(shù)。截圖試驗(yàn)結(jié)果表明,包括行走、側(cè)臥和回望基本行為得到有效識別,驗(yàn)證了本文算法在連續(xù)視頻中對基本行為識別的有效性。同時識別結(jié)果中也存在誤識別和無法識別的問題,分析發(fā)現(xiàn)該類行為主要出現(xiàn)在“矗立”上,其原因在于,首先在前述基本行為識別過程中沒有對“矗立”和“飲食”進(jìn)行單獨(dú)識別學(xué)習(xí);另外由于矗立行為多發(fā)生在運(yùn)動行為之后的靜止?fàn)顟B(tài),例如側(cè)臥行為之后牛處于靜臥狀態(tài),或者行走、回望行為之后的靜立狀態(tài),因此會對相應(yīng)行為產(chǎn)生誤分或無法識別的結(jié)果。但是,通過對比本文算法識別結(jié)果和人工觀測結(jié)果,上述誤識別或無法識別結(jié)果基本沒有對后續(xù)頻次規(guī)律統(tǒng)計(jì)產(chǎn)生比較大的影響。因此本文算法在測試的長視頻上驗(yàn)證是有效的。表1列出在上述視頻聚類分段識別的基礎(chǔ)上,對連續(xù)視頻中出現(xiàn)的回望和側(cè)臥發(fā)生的頻次進(jìn)行統(tǒng)計(jì)的結(jié)果。統(tǒng)計(jì)時間以2h為基本時間單位,統(tǒng)計(jì)結(jié)果為5次試驗(yàn)取均值。試驗(yàn)結(jié)果表明,本文方法對產(chǎn)前行為規(guī)律的識別結(jié)果與人