田間小麥病害自動(dòng)診斷系統(tǒng)

-.z.田間自動(dòng)小麥病害診斷系統(tǒng)摘要農(nóng)作物病害是造成世界農(nóng)業(yè)產(chǎn)業(yè)減產(chǎn)和經(jīng)濟(jì)損失的主要原因。監(jiān)測(cè)作物的安康狀況對(duì)于控制疾病的蔓延和實(shí)施有效的管理至關(guān)重要。本文提出了一種基于弱監(jiān)視深層學(xué)習(xí)框架的田間自動(dòng)小麥病害診斷系統(tǒng)，即深層多例如學(xué)習(xí)，在田間僅用圖像標(biāo)注進(jìn)展圖像訓(xùn)練實(shí)現(xiàn)了小麥病害識(shí)別與病害區(qū)域定位的統(tǒng)一。并應(yīng)用一個(gè)新小麥病害數(shù)據(jù)庫2017〔wdd2017〕收集驗(yàn)證該系統(tǒng)的有效性。兩種不同的體系構(gòu)造，即vgg-f-vd16和vgg-f-s，用5重穿插驗(yàn)證對(duì)wdd2017的平均識(shí)別率分別可以到達(dá)97.95%和95.12%，超過vgg-n-vd16和vgg-n-s兩個(gè)傳統(tǒng)N框架93.27%和73%的結(jié)果，實(shí)驗(yàn)結(jié)果說明該系統(tǒng)在精度參數(shù)一樣的條件的識(shí)別下優(yōu)于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，同時(shí)保持相應(yīng)的疾病領(lǐng)域的準(zhǔn)確定位。此外，該系統(tǒng)已被打包成一個(gè)實(shí)時(shí)的移動(dòng)應(yīng)用程序，為農(nóng)業(yè)疾病診斷提供支持。關(guān)鍵詞：農(nóng)業(yè)病害診斷小麥病害檢測(cè)弱監(jiān)視學(xué)習(xí)深多例如學(xué)習(xí)完全卷積網(wǎng)絡(luò)1引言作物病害診斷對(duì)防止疾病的蔓延和保持農(nóng)業(yè)經(jīng)濟(jì)的可持續(xù)開展具有重要意義。一般來說，作物病害的診斷是通過目測(cè)或顯微鏡技術(shù)手工完成的，證明是耗時(shí)的，而且由于主觀知覺存在誤差的風(fēng)險(xiǎn)。在這樣的背景下，不同的光譜和成像技術(shù)已經(jīng)研究了識(shí)別作物病害病癥〔布拉沃etal.，2004；魔獸etal.，2005；chaerleetal.，2007；belasqueetal.，2008；等，2009〕。雖然這些技術(shù)可以對(duì)作物病害做出相對(duì)快速的診斷，但它們離不開昂貴而笨重的傳感器。隨著計(jì)算機(jī)視覺技術(shù)的開展，關(guān)注的是關(guān)于圖像檢測(cè)技術(shù)對(duì)作物病害的生長〔Camargo和史米斯，2009；Arivazhagan等，2013；barbedo，2014；Rastogietal.，2015〕，它擺脫了時(shí)間本錢和分子分析設(shè)備的束縛〔馬蒂利等，2015?！?。相反，人們只需要普通攝像機(jī)和消費(fèi)級(jí)電子存儲(chǔ)設(shè)備來進(jìn)展作物病害鑒定。然而，這些方法幾乎都是具體的任務(wù)，需要專家的知識(shí)來設(shè)計(jì)手工制作的特征提取器，只在理想的實(shí)驗(yàn)環(huán)境下的作物圖像。做一個(gè)自動(dòng)的作物病害診斷系統(tǒng)，可應(yīng)用于現(xiàn)場(chǎng)的圖像，一個(gè)必須面對(duì)一些棘手的挑戰(zhàn)barbedo〔2016〕：〔1〕復(fù)雜的背景圖像，如樹葉、土壤、石頭，甚至人們的手，〔2〕不可控制的捕獲條件，如光照、攝像機(jī)的角度和圖像質(zhì)量，〔3〕在一個(gè)圖像中多葉或多個(gè)疾病領(lǐng)域的共生，〔4〕對(duì)疾病開展的不同階段的不同特征，〔5〕在不同類別的疾病之間外觀相似。從我們收集的小麥病害數(shù)據(jù)集中篩選出一些具有挑戰(zhàn)性的樣本，如圖1所示。據(jù)我們所知，很少有人研究減輕或消除作物病害診斷所面臨的上述挑戰(zhàn)。這項(xiàng)工作的總體目標(biāo)是開發(fā)一個(gè)自動(dòng)小麥病害診斷系統(tǒng)，以便在田間小麥圖像中同時(shí)識(shí)別疾病類別并找到相應(yīng)的疾病區(qū)域。為了防止昂貴和費(fèi)力的手工注釋，將小麥病害識(shí)別和定位的雙重任務(wù)建模為弱監(jiān)視學(xué)習(xí)任務(wù)。據(jù)我們所知，我們首先建議在田間情況下共同處理小麥病害的雙重任務(wù)。在本文中、一種新的提出得基于深度學(xué)習(xí)和多例如學(xué)習(xí)的現(xiàn)場(chǎng)自動(dòng)小麥病害診斷系統(tǒng)〔MIL〕〔Dietterich等人，1997〕，它可以部署在移動(dòng)手機(jī)進(jìn)展實(shí)時(shí)診斷。如圖2所示，我們的框架由移動(dòng)客戶端和設(shè)備層的計(jì)算效勞器組成。一方面，在野外條件下從移動(dòng)相機(jī)采集的圖像，調(diào)整大小后用完全卷積網(wǎng)絡(luò)〔F〕進(jìn)展局部特征提取和局部縮放圖像。然后，F(xiàn)產(chǎn)生不同疾病種類的空間計(jì)分圖，每個(gè)計(jì)分點(diǎn)對(duì)應(yīng)于一個(gè)特定的局部窗口的原始圖像。然后將這些不同局部窗口的估計(jì)量送入MIL框架，對(duì)整幅圖像進(jìn)展整體評(píng)價(jià)。另一方面，空間計(jì)分圖經(jīng)過上采樣操作大致定位的疾病位置，然后近似包圍盒〔BBA〕進(jìn)展準(zhǔn)確地鎖定病變位置。該模型為多例如學(xué)習(xí)為根底的小麥病害診斷系統(tǒng)〔dmil-wdds〕。特別是，該dmilwdds可以有足夠的準(zhǔn)備訓(xùn)練數(shù)據(jù)，實(shí)現(xiàn)端到端的訓(xùn)練。為了驗(yàn)證我們的dmil-wdds的實(shí)用性和有效性，一場(chǎng)疾病數(shù)據(jù)集的小麥病害數(shù)據(jù)庫2017〔wdd2017〕收集，其中包括9230的圖像有7個(gè)不同的類〔6普通小麥病害，1安康的小麥〕。在wdd2017說明該dmil-wdds優(yōu)于傳統(tǒng)的N構(gòu)造對(duì)疾病類別的識(shí)別精度的實(shí)驗(yàn)結(jié)果，但也保持準(zhǔn)確定位相應(yīng)的疾病領(lǐng)域。注：我們dmil-wdds工藝管道。左、右虛線框分別為移動(dòng)客戶端和計(jì)算效勞器。在系統(tǒng)進(jìn)展疾病識(shí)別和定位之前，紅色加粗虛線包圍的部件將經(jīng)過訓(xùn)練數(shù)據(jù)的訓(xùn)練階段。要反響給用戶的診斷包括疾病類別和相應(yīng)疾病部位的位置。最正確顏色觀看?！矊?duì)于這個(gè)圖例中對(duì)顏色的引用的解釋，讀者可以參考本文的Web版本〕。我們的主要奉獻(xiàn)概括如下：DMIL弱監(jiān)視學(xué)習(xí)框架的根底上首先利用小麥病害診斷，具有應(yīng)對(duì)棘手的麥田圖像的能力。提出的小麥病害識(shí)別與定位集成方法優(yōu)于傳統(tǒng)方法?；贜的深度模型參數(shù)一樣的識(shí)別體系構(gòu)造。一個(gè)新的領(lǐng)域wdd2017小麥病害數(shù)據(jù)收集證明了系統(tǒng)的有效性以及后續(xù)工程建立標(biāo)準(zhǔn)。2．綜述已經(jīng)開發(fā)了許多基于圖像的方法來處理作物病害鑒定?；诟吖庾V和多光譜熒光測(cè)量的融合，魔獸等?！?005〕提出了一種基于自組織映射〔SOM〕的疾病分類器。Camargo和史米斯〔2009〕提出了識(shí)別作物病害的視覺病癥通過顏色變換和圖像顏色分割。在phadikar等人。〔2013〕提出了基于費(fèi)米能量的分割方法，將感染區(qū)域與整個(gè)圖像隔離開來，然后采用粗糙集理論〔RST〕進(jìn)展特征選擇，并用規(guī)則基分類器進(jìn)展疾病識(shí)別。簡單地說，現(xiàn)有的方法大多局限于捕獲圖像的純背景或受控環(huán)境，這是實(shí)際應(yīng)用中的一個(gè)難題。作為一個(gè)結(jié)果，葉分割〔和孟，2011；該àRibasetal.，2013；王等，2013〕通常是被迫的前提下進(jìn)展作物病害識(shí)別。然而，一個(gè)將陷入另一個(gè)困境天真葉分割處理圖像多葉或多個(gè)感染區(qū)域共存。雖然最近關(guān)于計(jì)算機(jī)視覺的作品證明了選擇性搜索的巨大成功〔SS〕〔uijlingsetal.，2013〕在目標(biāo)分割，似乎無力直接采用SS段現(xiàn)場(chǎng)圖像由于嚴(yán)重的重疊和交織間作物的散漫。深度卷積神經(jīng)網(wǎng)絡(luò)〔DN〕一定程度上加速了計(jì)算機(jī)視覺的開展〔krizhevskyetal.，2012；Simonyan和Zisserman，2014；Szegedyetal.，2015；sermanetetal.，2013；Girshicketal.，2014〕。鑒于大量的訓(xùn)練數(shù)據(jù)和高性能計(jì)算應(yīng)用的根底設(shè)施，可以帶來驚人的性能分類和目標(biāo)檢測(cè)。當(dāng)然，信息已經(jīng)應(yīng)用近年來在精準(zhǔn)農(nóng)業(yè)領(lǐng)域?！睤yrmNetal.，2016；grinblatetal.，2016〕設(shè)計(jì)了他們的特定任務(wù)的應(yīng)用架構(gòu)進(jìn)展植物分類。薩等?！?016〕提出了一種多快r-n模型，即DeepFruits，發(fā)揮實(shí)時(shí)水果檢測(cè)。此外，少量的研究主要集中在利用DN植物病害檢測(cè)。sladojevic等人?！?016〕收集了3000個(gè)原葉圖像從互聯(lián)網(wǎng)對(duì)該數(shù)據(jù)庫進(jìn)展數(shù)據(jù)增強(qiáng)的過程，然后建立了一個(gè)信息的自動(dòng)分類與檢測(cè)13種不同類型的植物病害葉片圖像。同樣，Mohanty等人。〔2016〕訓(xùn)練數(shù)據(jù)集上的疾病和安康的植物葉片識(shí)別14種作物和26病54306圖像的應(yīng)用。然而，上述植物病害檢測(cè)的深層學(xué)習(xí)方法建立了它們?cè)谑芸貤l件下采集的純圖像的深層識(shí)別模型，這些模型不適用于野生環(huán)境。此外，他們只是意識(shí)到了疾病的識(shí)別，卻沒有注意到疾病在哪里。MIL是Dietterich等人首先介紹?！?997〕在弱標(biāo)記情況下的藥物活性預(yù)測(cè)。為了減少繁瑣的人工標(biāo)注盡可能同時(shí)實(shí)現(xiàn)目標(biāo)定位，有些作品側(cè)重于組合學(xué)深密的框架〔Pinheiro和collobert，2015；吳等人，2015〕。吳等人?！?015〕提出了一個(gè)假設(shè)，即所需的對(duì)象必須位于可以通過現(xiàn)成區(qū)域提議算法生成的所有區(qū)域建議中，例如SS。由于區(qū)域推薦算法的計(jì)算代價(jià)和葉子分布的復(fù)雜性，流行的區(qū)域分割或推薦方法可能會(huì)給實(shí)用性帶來麻煩。F是長等人首先提出了?！?015〕語義分割。在本文中，一個(gè)新的函數(shù)是用來減少計(jì)算本錢和執(zhí)行實(shí)例級(jí)疾病同時(shí)估計(jì)，這相當(dāng)于一個(gè)滑動(dòng)窗口操作對(duì)整個(gè)圖像?？傊?，很少有研究集中在復(fù)雜雜亂場(chǎng)景中田間原始圖像的作物病害識(shí)別和定位上，目前尚未有有效的田間作物病害圖像數(shù)據(jù)集。一方面，本系統(tǒng)針對(duì)田間小麥病害自動(dòng)診斷，更貼近實(shí)際情況，為精準(zhǔn)農(nóng)業(yè)提供技術(shù)支持和效勞。另一方面，該wdd2017是首次提出在大田作物疾病數(shù)據(jù)集，這將建立一個(gè)基準(zhǔn)對(duì)場(chǎng)疾病檢測(cè)和促進(jìn)后續(xù)相關(guān)工作。因此，我們的工作對(duì)于進(jìn)一步的研究是有價(jià)值的。三.材料與方法3.1小麥病害數(shù)據(jù)庫2017〔wdd2017〕在作物病害診斷研究提供便利，相關(guān)數(shù)據(jù)已發(fā)布的公開和自由，如PlantVillage，其中包括超過50000個(gè)專業(yè)上注明安康和病葉作物圖像。然而，遺憾的是，在PlantVillage的所有圖像處理已成為理想狀態(tài)，很難以看到田間，即在一個(gè)純背景——作物葉片。據(jù)我們所知，迄今為止還沒有適宜的田間作物病害診斷數(shù)據(jù)集。為此，本研究收集了9230種小麥圖像，在圖像級(jí)標(biāo)注了7種小麥病害，包括安康的。收集的圖像就是小麥病害數(shù)據(jù)庫2017〔wdd2017〕，實(shí)例wdd2017是圖1所示。注意，wdd2017已均勻分為5組進(jìn)展穿插驗(yàn)證，其中4組作為訓(xùn)練集和一組作為測(cè)試集。表1顯示了我們的wdd2017細(xì)節(jié)。表1中的6種病害是小麥的常見病，是導(dǎo)致小麥減產(chǎn)的主要原因。需要明確的是，我們的wdd2017具有以下特點(diǎn)：〔1〕每一個(gè)圖像在wdd2017幾乎只包含該圖像的注釋的一種疾病，〔2〕每一個(gè)圖像采集現(xiàn)場(chǎng)的情況下在后面沒有技術(shù)手段，保持捕捉環(huán)境的所有原始信息，〔3〕wdd2017涵蓋目前挑戰(zhàn)的小麥病害診斷如圖1所示，包括復(fù)雜的背景，不同的拍攝條件下，對(duì)疾病開展的不同階段的各種表征〔疾病的早期、中期和晚期〕和小麥不同疾病之間的相似。表1小麥病害數(shù)據(jù)庫的組成〔2017wdd2017〕。小麥病害圖像分割圖像訓(xùn)練/測(cè)試白粉病350280/70黑穗病14551164/291黑箔條585468/117條銹病17551404/351葉枯病24551964/491葉銹病1110888/222安康小麥15201216/3043.2。多例如學(xué)習(xí)集成〔MIL〕多例如學(xué)習(xí)〔MIL〕是一種弱監(jiān)視學(xué)習(xí)方法，它的目的是通過使用包而不是實(shí)例的注釋來減少標(biāo)簽的工作量。在MIL設(shè)置中，一個(gè)類包含至少一個(gè)正實(shí)例的包被標(biāo)記為正，而所有實(shí)例都為負(fù)的包被標(biāo)記為負(fù)。對(duì)于分類任務(wù)，假設(shè)是從袋袋組反響；K?1；。..；吳，和BK的實(shí)例表示為bk1；。..；bknkg，在NK表示袋淺灘CK2F1實(shí)例的數(shù)量；。..；CG是袋BK類標(biāo)簽，和CKJ2F1；。..；例如氮?dú)鈴椈蒀G類標(biāo)簽。該實(shí)例Bkj是C類記為PCKJ?PeCKJ?ckjT條件概率；C2F1；。..；CG。下一個(gè)工作是找到一個(gè)聚合函數(shù)f，它可以適當(dāng)?shù)鼐幋aMIL假設(shè)。更具體地說，如果一個(gè)實(shí)例對(duì)一個(gè)類來說可能是正的，則函數(shù)f應(yīng)該給它相應(yīng)的包分配更多的正信任。包BK的聚合函數(shù)f可以表示為：PCK?PeCK?ckT?FePC電腦K2K1；。..；電腦專業(yè)T；e1T其中F可以ma*jePCKJT；avgjePCKJT或他人〔吳等，2015〕。在我們的工作中，我們也考慮在瑞和克雷文SoftMa*聚合函數(shù)提出了〔2005〕：PCK?FSePC電腦K2K1；。..；電腦專業(yè)T?PNKJ?1pcKJEAPCKJPJ?NK1eapckJ；e2T其中一個(gè)是一個(gè)恒定的控制程度，softma*聚合函數(shù)近似硬最大聚合函數(shù)。從本質(zhì)上講，這種形式使得一個(gè)softma*基于包的所有實(shí)例加權(quán)考慮袋水平估計(jì)。請(qǐng)注意，我們只是依賴于包級(jí)標(biāo)簽來執(zhí)行基于梯度的反向傳播算法在MIL假設(shè)。3.3。完全卷積網(wǎng)絡(luò)〔F〕一般來說，N由四局部組成：卷積層，合并層，完全連接層和輸出層。N將圖像或一幅圖像作為輸入，并輸出所有類別的概率分布。N中每個(gè)卷積層的輸出是一個(gè)尺寸為d？的三維量，H？w，稱為特征地圖，其中h和w是特征地圖的空間維度，d是特征地圖或通道的數(shù)量。較高層中的區(qū)域?qū)?yīng)于輸入圖像中的特定區(qū)域，其被稱為各自的字段。以VGG-N-VD16為例〔Simonyan和Zisserman，2014〕，其最終輸出的相應(yīng)領(lǐng)域?qū)嶋H上是整個(gè)224？224圖像?；诹孔冃?，完全連接的層可以轉(zhuǎn)化為卷積表示，如圖3所示。在這項(xiàng)工作中，VGG-N-VD16的完全連接層的通道從f4096;4096;1000修改至1024;1024;C，其中C是我們?nèi)蝿?wù)中的類別數(shù)量，因此第一個(gè)完全連接層的權(quán)重矩陣大小為20;588*1024.對(duì)于卷積表示，首先完全連接的層的權(quán)重被重新整形成尺寸為1024512？7？7的4維量。1024個(gè)卷積核大小為512？7？7.同樣，處理其他完全連接層以獲得稱為VGG-F-VD16的F。相對(duì)而言，還引入了相對(duì)較淺的N架構(gòu)VGG-N-S〔Chatfield等，2014〕，以發(fā)揮與VGG-N-VD16一樣的操作，形成新的F，名為VGG-F-S。圖3。從改性vgg-n-vd16轉(zhuǎn)化vgg-f-vd16圖。在綠色中突出顯示的數(shù)字表示附近的特征地圖或圖像的大小，而黑色的斜體數(shù)字表示特征映射的數(shù)量。最正確顏色觀看?！矠榱私忉屵@個(gè)圖例中對(duì)顏色的引用，讀者可以參考本文的Web版本〕。以VGG-F-VD16為例，我們可以獲得每個(gè)疾病的空間分?jǐn)?shù)圖，因?yàn)樵谝怀叽绯^224.224的原始圖像上運(yùn)行VGG-F-VD16？直觀上，地圖中的每個(gè)得分點(diǎn)近似等于通過將原始N應(yīng)用于原始圖像上的固定尺寸滑動(dòng)窗口而生成的近似值。這種架構(gòu)使我們能夠?yàn)g覽所有可能的位置以找到醒目的物體?？紤]到一幅圖像的疾病區(qū)域可能會(huì)占用小區(qū)域，我們將原始圖像的大小調(diào)整為832？832，這導(dǎo)致約20？VGG-N-VD16配置下20個(gè)分?jǐn)?shù)圖。顯然，每個(gè)得分點(diǎn)對(duì)應(yīng)一個(gè)224？調(diào)整大小后的輸入圖像中的224平方區(qū)域。由于五個(gè)合并層和2？2VGG-N-VD16的池化尺寸，滑動(dòng)窗口的步幅為25÷32。相對(duì)于原始N作用于原始圖像中的滑動(dòng)窗口，VGG-F-VD16實(shí)現(xiàn)了對(duì)所有滑塊的一次性計(jì)算，在這些滑動(dòng)窗口的重疊區(qū)域上進(jìn)展計(jì)算，更好地滿足實(shí)時(shí)應(yīng)用的要求。表2我們實(shí)驗(yàn)中使用的四個(gè)深模型的詳細(xì)構(gòu)造?！?lrn〞是局部反響正常化〔krizhevskyetal.，2012〕。“'stride〞是卷積步幅和“'pad〞基于地圖的空間填充。對(duì)于所有的權(quán)重層非線性激活函數(shù)〔除了“'mil聚集〞〕是ReLu。3.4。包圍盒近似〔BBA〕為清楚起見，近似一個(gè)包圍盒〔BBA〕步驟采用定位疾病領(lǐng)域的地位。如圖4所示，給定MIL幀預(yù)測(cè)的空間得分圖和相應(yīng)的疾病類別，我們可以將與預(yù)測(cè)的疾病通道相關(guān)的空間得分圖轉(zhuǎn)換成二值閾值條件下的二值圖像，然后對(duì)其進(jìn)展輪廓提取操作。然后，生成包含相應(yīng)輪廓的最小框。考慮到重疊區(qū)域造成的F，我們的規(guī)模最小的盒子里按一定比例均勻，這有助于疾病領(lǐng)域的準(zhǔn)確定位。幸運(yùn)的是，它是利用opencv1實(shí)現(xiàn)以上所有的處理步驟，輕松的工作。圖4。近似包圍盒通道〔BBA〕。綠線表示二值圖像上的檢測(cè)輪廓。紅色虛線框表示包含相應(yīng)等高線的最小框，而紅色實(shí)線框表示框的縮小版本。最正確顏色觀看。〔為了解釋這個(gè)圖例中對(duì)顏色的引用，讀者可以參考本文的Web版本〕。表3精度〔%〕每班以及總在傳統(tǒng)的N的架構(gòu)和dmil-wdds模型wdd2017〔平均±性病〕。Ma*agg，AVG的和軟的對(duì)應(yīng)三DMILwdds不同聚集功能在MIL框架。粗體值是對(duì)應(yīng)于每個(gè)類別的相應(yīng)深度模型的最正確性能。3.5。dmil-wdds如前所述，F(xiàn)用于從圖像中提取局部特征和生成空間得分圖在每個(gè)個(gè)體得分點(diǎn)根本上是一個(gè)相應(yīng)的感受野的疾病估計(jì)。值得注意的是，F(xiàn)約為滑動(dòng)窗口的操作行為，導(dǎo)致顯著的對(duì)象仍然留在至少一個(gè)接收域，我們把接收域覆蓋了顯著對(duì)象的圖像作為MIL中相應(yīng)種類的正包。從這個(gè)意義上說，我們對(duì)待圖像的承受領(lǐng)域包括醒目對(duì)象作為一個(gè)積極的袋子相應(yīng)的類標(biāo)簽在MIL。如圖2所示，我們將我們的dmil-wdds模型分為兩局部，其中一個(gè)實(shí)現(xiàn)了圖像的層次劃分，即小麥病害的識(shí)別，另一個(gè)實(shí)現(xiàn)疾病的區(qū)域定位。圖2中的紅色局部由紅色加粗虛線包圍，將通過訓(xùn)練階段提前建立一個(gè)廣義的深度模型。經(jīng)過訓(xùn)練后，將深度模型用于新圖像的特征提取和空間得分圖生成。解釋，我們采用ReLu作為非線性激活函數(shù)的網(wǎng)絡(luò)加速收斂，除了最后的卷積層產(chǎn)生空間得分圖。為了得到0和1之間的概率值，我們使用Sigmoid函數(shù)代替熱魯近完全卷積層。給出了一種新的圖像的BK，我們表示W(wǎng)K高度及其空間分圖分別表示寬度，和PCKIJSigmoid函數(shù)輸出的位置e我；JT在通道C空間評(píng)分圖，即概率局部感受野bkij歸類為疾病C，其中我?F1；。..；；J2F1；。..；經(jīng)營的和C2F1；。..；CG。根據(jù)MIL框架，如果我們使用Softma*作為我們的聚集功能，含C的BK的概率可以寫為：(3)A和Eq.〔2〕的論點(diǎn)一樣。此外，我們可以使用馬克斯聚合函數(shù)：(4)(5)培訓(xùn)dmil-wdds。訓(xùn)練數(shù)據(jù)集的圖像?BK；K1；。..；N與圖像的標(biāo)簽，TK2F0；1gc，這是維一熱載體由元素TCK；C?1；。..；我們用WebkjwT我們的網(wǎng)絡(luò)架構(gòu)，一個(gè)圖像映射到一個(gè)BK班級(jí)成績PK，W是我們F權(quán)重向量。下面的損失函數(shù)來優(yōu)化我們的dmil-wdds：(6)其目的是在最小均方誤差〔MSE〕圖像的標(biāo)簽和預(yù)測(cè)之間以及正則化模型的參數(shù)。識(shí)別與定位。給定一個(gè)測(cè)試圖像B*，我們可以得到C空間得分圖FPC*ij；C?1；。..；Cgh*；W*我；J?1F，其中聚合為PC*米框架顯示在Eqs?！?〕——〔5〕。因此，我們對(duì)圖像做了B*識(shí)別九如下：〔7〕圖5。總精度比擬dmil-wdds不同聚合MIL函數(shù)。所有的表演dmil-wdds模型不同的聚合函數(shù)的5倍穿插驗(yàn)證說明盒狀圖。最正確顏色觀看?！矠榱私忉屵@個(gè)圖例中對(duì)顏色的引用，讀者可以參考本文的Web版本〕。同時(shí)，C空間得分圖經(jīng)過上采樣操作生成C熱映射每個(gè)具有同樣大小的圖像B*。這些熱圖能粗略地描繪出疾病區(qū)域，即一熱圖中較高的熱量值，相應(yīng)疾病的可能性更大。最后，BBA操作相應(yīng)標(biāo)簽九輸出一些包圍盒鎖定疾病領(lǐng)域的熱地圖進(jìn)展〔詳見3.4節(jié)〕。圖6。小麥'powdery霉變的例子〞。它的視覺病癥是小麥葉或耳朵上的微小白斑。最正確顏色觀看?！矠榱私忉屵@個(gè)圖例中對(duì)顏色的引用，讀者可以參考本文的Web版本〕。實(shí)時(shí)設(shè)計(jì)。由于深部模型參數(shù)存儲(chǔ)量大，手機(jī)芯片價(jià)格昂貴，直接嵌入到手機(jī)中是不現(xiàn)實(shí)的。因此，我們只是植入數(shù)據(jù)采集模塊和移動(dòng)端交互模塊，但是決策和計(jì)算模塊在效勞器端，包括訓(xùn)練函數(shù)模型。移動(dòng)與效勞器之間的數(shù)據(jù)傳輸是基于協(xié)議的。鑒于訓(xùn)練有素的F模型，我們dmilwdds允許在飛行中的小麥病害的自動(dòng)識(shí)別和定位。中國移動(dòng)'4g效勞的條件下，處理速度可以到達(dá)1s/圖像上的GeForceGT*1080GPU，能夠滿足實(shí)時(shí)應(yīng)用。4。實(shí)驗(yàn)我們驗(yàn)證了dmil-wdds效果在wdd2017進(jìn)展一些實(shí)驗(yàn)中的幾個(gè)模型來估計(jì)測(cè)試的精度和顯示定位結(jié)果。下面我們?cè)敿?xì)介紹我們的實(shí)驗(yàn)。4.1。模型我們認(rèn)為，修改后的vgg-n-s和vgg-n-vd16作為我們的基準(zhǔn)模型。基于傳統(tǒng)的N的模式，我們開發(fā)的vgg-f-s和vgg-f-vd16作為我們的根本dmil-wdds框架模型，根據(jù)3.3節(jié)中提到的式。表2顯示了這四種模型的詳細(xì)架構(gòu)。請(qǐng)注意，vgg-n-s和vgg-f-s具有一樣數(shù)量的參數(shù)，以及vgg-n-vd16和vgg-f-vd16。MIL聚集有三種形式：軟的，Ma*agg和AVGAGG，對(duì)應(yīng)于情商?！?〕-〔5〕分別。常數(shù)a在我們的實(shí)驗(yàn)中被設(shè)置為2.5。4.2。數(shù)據(jù)集我們?cè)u(píng)估我們的dmil-wdds對(duì)野外采集的數(shù)據(jù)wdd2017小麥。傳統(tǒng)的N的架構(gòu)，即vgg-n-s和vgg-n-vd16，我們調(diào)整所有的RGB圖像在wdd2017到224224大小3。但dmil-wdds，即vgg-f-s和vgg-f-vd16，我們調(diào)整所有的RGB圖像轉(zhuǎn)化為8328323的大小。此外，我們wdd2017均勻分裂成5倍穿插驗(yàn)證〔詳細(xì)劃分見表1〕。4.3。培訓(xùn)策略涅斯捷羅夫動(dòng)量SGD作為我們與動(dòng)量0.9優(yōu)化器。傳統(tǒng)的N的架構(gòu)，該vggnS與vgg-n-vd16是60時(shí)代的45個(gè)例子和0.0001初始學(xué)習(xí)率的批量訓(xùn)練和學(xué)習(xí)率除以10每10期。對(duì)于dmil-wdds，vgg-f-s和vgg-f-vd16是20時(shí)代的2個(gè)例子和0.00005初始學(xué)習(xí)率批量訓(xùn)練和學(xué)習(xí)率除以5每5期。此外，對(duì)四個(gè)模型我們微調(diào)前5塊是預(yù)先訓(xùn)練在ImageNetilsvrc2012參數(shù)，但是從零開場(chǎng)的最后3轉(zhuǎn)換塊。4.4。精度估計(jì)每個(gè)深模型，我們報(bào)告我們的測(cè)試精度每小麥病害以及超過5穿插驗(yàn)證平均方式總的準(zhǔn)確性。對(duì)于四深模型的超選擇如最大限度的識(shí)別準(zhǔn)確率超過隨機(jī)驗(yàn)證集訓(xùn)練的褶皺。4.5。實(shí)施我們的codes2是用Python寫的和深模型實(shí)現(xiàn)了西雅娜〔AlRfouetal.，2016〕。我們運(yùn)行我們的代碼在GeForceGT*1080GPU。5。結(jié)果與討論5.1。小麥病害識(shí)別表3給出了最終類明智的準(zhǔn)確性和在不同深度模型配置5穿插驗(yàn)證總精度。比擬我們的dmil-wdds框架與傳統(tǒng)的N的架構(gòu)，我們首先觀察vgg-n-s和vgg-f-s.注意三個(gè)聚合函數(shù)的vgg-f-s結(jié)果〔Ma*agg，AVGAGG和軟AGG〕顯著優(yōu)于vgg-n-s所有課程，提高了17.34%，總準(zhǔn)確率，分別為19.86%和22.12%。我們也可以看到從vgg-n-vd16和vgg-f-vd16結(jié)果精度相應(yīng)提前。三聚合函數(shù)的vgg-f-vd16優(yōu)于vgg-n-vd16類中除了“糠〞，提高了3.48%，總準(zhǔn)確率，分別為3.67%和4.68%?？傊?，本文提出的dmilwdds框架超越了傳統(tǒng)N的根底架構(gòu)上識(shí)別模型參數(shù)一樣的條件下。圖5顯示了不同聚合總精度dmil-wddsMIL函數(shù)模型的比擬?？梢钥闯?，軟的，實(shí)現(xiàn)最正確的性能為dmil-wdds模型和AVG的次之，而Ma*agg是比擬差的。這些結(jié)果說明，在田間小麥病害鑒定中，以加權(quán)方式考慮所有的田間都是有益的。此外，還可以得出兩個(gè)驚人的結(jié)論。表3。第一，dmil-wdds框架淺模型可能優(yōu)于傳統(tǒng)的N架構(gòu)深模型在田間小麥病害識(shí)別任務(wù)，例如，對(duì)vgg-f-s95.12%超過93.27%vgg-n-vd16。第二，dmil-wdds框架可以有效地處理一些樣品，傳統(tǒng)N無法處理。例如，“'powdery霉〞是一種疾病，是區(qū)分小麥由N，如圖6所示，因?yàn)樗囊曈X病癥是白色的小斑點(diǎn)，很容易被N合并操作。vgg-n-s遭受識(shí)別“'powdery霉〞沉重的擊穿，其類別精度僅為2%，而軟的vgg-f-s可以實(shí)現(xiàn)一類明智的精度為66.57%，這一類，這是一個(gè)顯著的性能提升。兩觀察可以由dmil-wdds框架集中在整個(gè)圖像的局部區(qū)域的精細(xì)特征提取的解釋。圖9。小麥疾病領(lǐng)域的dmil-wdds外鄉(xiāng)化的例子〔VGGf-vd16〕。從左到右的六列意象分別是“糠〞，“'leaf斑〞、“生銹〞、“'leaf'powdery霉變〞、“'smut〞和“'leaf銹〞。粉紅色，在原始圖像lightblueand綠色框表示的定位結(jié)果與vgg-fvd16ma*agg，AVG的和軟的分別。在RGB圖像中，通過屏蔽B通道的空間得分圖生成原始圖像下的三幅熱圖，計(jì)算出疾病區(qū)域。圖7。原始圖像和處理圖像〔屏蔽病變區(qū)域〕識(shí)別結(jié)果的比擬。圖8。圖7〔a〕的特征可視化訓(xùn)練dmil-wdds基于vgg-f-vd16模型。請(qǐng)注意，只有1個(gè)4塊之后的前25個(gè)特征映射到了空間限制。圖9。小麥疾病領(lǐng)域的dmil-wdds外鄉(xiāng)化的例子〔VGGf-vd16〕。從左到右的六列意象分別是“糠〞，“'leaf斑〞、“生銹〞、“'leaf'powdery霉變〞、“'smut〞和“'leaf銹〞。粉紅色，藍(lán)色和綠色的盒子在原始圖像的定位結(jié)果說明通過VGG-fvd16與ma*agg，AVG的和軟的分別。三熱地圖下面的原圖像，這是由掩蔽空間得分圖B通道的RGB圖像生成，找出疾病領(lǐng)域的vgg-f-vd16Ma*agg推斷，AVGAGG和softagg分別。最正確顏色觀看?！矠榱私忉屵@個(gè)圖例中對(duì)顏色的引用，讀者可以參考本文的Web版本〕。5.2。比照試驗(yàn)與特征可視化為了更好地解釋我們的系統(tǒng)實(shí)際在學(xué)習(xí)什么，我們進(jìn)展了比照測(cè)試。例如，一個(gè)原始圖像遭受'stripe銹〞及其加工的版本〔由屏蔽病變區(qū)域〕為診斷dmilwdds〔使用vgg-f-vd16模型〕。圖7演示了對(duì)圖像的識(shí)別結(jié)果的比擬。如圖7所示〔一〕，原圖像的正確分類為“'stripe銹〞的dmil-wdds。然而，由于其病變區(qū)域的一些塊屏蔽，識(shí)別結(jié)果的'healthy小麥〞如圖7〔b〕。這種現(xiàn)象說明dmilwdds確實(shí)是病的地區(qū)而不是其他地區(qū)的小麥敏感。對(duì)我dmilwdds學(xué)習(xí)能力的進(jìn)一步調(diào)查，我們想象特征的生'stripe銹〞的圖像〔如圖7所示圖8〔a〕〕，其中〔一〕至〔d〕顯示輸出到4塊1vgg-f-vd16特征圖，分別。注意每個(gè)特征映射中的像素點(diǎn)是一個(gè)整流激活，而亮點(diǎn)代表更大的激活值。我們可以看到，從1塊特征的'stripe銹〞去從單個(gè)像素的光明亮的輪廓，4學(xué)習(xí)特點(diǎn)四病變區(qū)域是顯而易見的塊，基于vgg-f-vd16我們dmil-wdds到達(dá)疾病的優(yōu)良特性的漸進(jìn)學(xué)習(xí)過程。這一特征的可視化是一個(gè)很好的示