基于雙神經(jīng)網(wǎng)絡(luò)模型的智能零售柜設(shè)計(jì)與實(shí)現(xiàn)

1、    基于雙神經(jīng)網(wǎng)絡(luò)模型的智能零售柜設(shè)計(jì)與實(shí)現(xiàn)    曾敏 吳圣健 李坊 陳直摘要：近年來(lái)，基于深度學(xué)習(xí)模型的圖像識(shí)別技術(shù)已成為智能零售柜的主要解決方案。設(shè)計(jì)了一種新的基于雙神經(jīng)網(wǎng)絡(luò)模型的智能零售柜系統(tǒng)。該系統(tǒng)與單模型設(shè)計(jì)比較，除檢測(cè)召回率和分類(lèi)準(zhǔn)確度有顯著提升外，還大大降低了因增加新品種而導(dǎo)致的模型再訓(xùn)練時(shí)間。首先，利用faster rcnn模型完成商品大類(lèi)（按包裝分類(lèi)）的分類(lèi)檢測(cè)任務(wù)，以提高檢測(cè)召回率;其次，利用resnet50模型完成商品小類(lèi)（按品種分類(lèi)）的分類(lèi)任務(wù)，以提高分類(lèi)準(zhǔn)確度。與此同時(shí)，還在最難分品種集上進(jìn)行了多種數(shù)據(jù)增強(qiáng)消融實(shí)驗(yàn)研究，以

2、改進(jìn)該難分品種集所屬大類(lèi)數(shù)據(jù)集的分類(lèi)準(zhǔn)確度。關(guān)鍵詞：深度學(xué)習(xí);圖像檢測(cè);圖像分類(lèi);智能零售柜;神經(jīng)網(wǎng)絡(luò)模型中圖分類(lèi)號(hào)：tp181      文獻(xiàn)標(biāo)識(shí)碼：a文章編號(hào)：1009-3044（2021）26-0009-05開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（osid）：design and implementation of intelligent retail cabinet based on double neural network modelzengmin1，wu sheng-jian2， li fang1， chen zhi1（1. dept. of communica

3、tion and information engineering， shanghai technical institute of electronics & information， shanghai 201411， china;2. finvolution group， shanghai 201203， china）abstract：in recent years， image recognition technology based on deep learning models has become the main solution for intelligent retai

4、l cabinets. a new intelligent retail cabinet system based on dual neural network model is introduced. compared with the single model design， this system not only significantly enhances the detection recall rate and classification accuracy， but also greatly reduces the model retraining time caused by

5、 the addition of new varieties. first， the faster rcnn model is used to complete the rough classification and detection task of commodity categories （classified by packaging） to improve the detection recall rate; secondly， the resnet50 model is employed to complete the fine classification task of co

6、mmodity categories （classified by variety） to improve classification accuracy degree. at the same time， some data augment ablation experiments were conducted on the most difficult-to-classification variety set of this project to refine the fine classification accuracy of the commodity categories （cl

7、assified by variety） to which the difficult-to-classification variety set belongs.key words：deeplearning; image detection; image classification; intelligent retail cabinets; neural network model近年來(lái)，無(wú)人零售作為一種便利的零售新業(yè)態(tài)，在我國(guó)許多城市得到了長(zhǎng)足發(fā)展。根據(jù)前瞻產(chǎn)業(yè)研究院發(fā)布的中國(guó)新零售行業(yè)商業(yè)模式創(chuàng)新與投資機(jī)會(huì)深度研究報(bào)告預(yù)測(cè)，2022年無(wú)人零售用戶(hù)可達(dá)2.45億人，交易額將超1.8萬(wàn)億元

8、1。無(wú)人零售的快速增長(zhǎng)，得益于多種技術(shù)的發(fā)展和融合，特別是移動(dòng)支付的普及和人工智能、云計(jì)算等高新技術(shù)的應(yīng)用落地2。目前，我國(guó)無(wú)人值守零售柜有4種技術(shù)實(shí)現(xiàn)形式3，5，分別是以“友寶公司”為代表的機(jī)械式自動(dòng)售賣(mài)機(jī)。其發(fā)展較早，技術(shù)難度低，產(chǎn)品成熟，但制造成本較高，購(gòu)物流程相對(duì)煩瑣;以“每日優(yōu)鮮”為代表的rfid（radio frequency identification）零售柜。其技術(shù)成熟，市場(chǎng)占有率高，但rfid標(biāo)簽制作成本也高;以“京東到家”為代表的重力感應(yīng)零售柜。其依靠重力感應(yīng)來(lái)識(shí)別商品的品類(lèi)和價(jià)格，商品可自由擺放，空間利用率高，但對(duì)稱(chēng)重傳感器的靈敏度要求高;以“深蘭”“購(gòu)呀”為代表的視覺(jué)

9、識(shí)別零售柜。其主要利用圖像識(shí)別技術(shù)，能適應(yīng)復(fù)雜多樣的消費(fèi)場(chǎng)景，是未來(lái)零售智能化的方向6。視覺(jué)識(shí)別零售柜又分為動(dòng)態(tài)和靜態(tài)兩種，其中深蘭以3d動(dòng)態(tài)視覺(jué)技術(shù)見(jiàn)長(zhǎng)，其takego與amazongo類(lèi)似，識(shí)別率的提高除采用較大神經(jīng)網(wǎng)絡(luò)模型外，還需要相應(yīng)的糾錯(cuò)算法來(lái)降低諸如用戶(hù)單手取多件商品等行為的識(shí)別誤差，設(shè)備成本和計(jì)算量相對(duì)于靜態(tài)識(shí)別都較高，擴(kuò)大市場(chǎng)規(guī)模的難度較大;購(gòu)呀目前專(zhuān)注于做靜態(tài)識(shí)別零售柜，其設(shè)備簡(jiǎn)單，成本低，易于擴(kuò)大規(guī)模3-4。但這種低成本的無(wú)人值守零售柜的技術(shù)難點(diǎn)是如何提高所售商品的檢測(cè)召回率和分類(lèi)準(zhǔn)確度。為此，本文設(shè)計(jì)了一種新的基于雙神經(jīng)網(wǎng)絡(luò)模型的智能零售柜系統(tǒng)，其售賣(mài)流程見(jiàn)圖1所示：通過(guò)

10、手機(jī)掃碼開(kāi)門(mén)，客戶(hù)自助取貨;關(guān)門(mén)后系統(tǒng)智能識(shí)別，結(jié)算扣款。該系統(tǒng)力圖在有限的硬件支持下，利用雙神經(jīng)網(wǎng)絡(luò)模型，使其所售商品的檢測(cè)召回率和分類(lèi)準(zhǔn)確度達(dá)到落地商用的要求。1 原理及設(shè)計(jì)框架目前，業(yè)界有許多先進(jìn)的圖像檢測(cè)、分類(lèi)模型，除端到端的一階段模型（如yolo5系列、efficientnet6系列等）外，還有二階段模型，如fasterr-cnn7等。本項(xiàng)目初期使用了faster r-cnn單模型來(lái)完成所售商品的檢測(cè)分類(lèi)任務(wù)。在實(shí)施過(guò)程中我們發(fā)現(xiàn)有三個(gè)問(wèn)題，一是模型最終的分類(lèi)準(zhǔn)確率為90.9%，特別是在最難分品種集上的分類(lèi)準(zhǔn)確率只有82%;二是模型會(huì)出現(xiàn)漏檢現(xiàn)象，漏檢率為7%;三是每當(dāng)增加一個(gè)新品種

11、時(shí)，都需對(duì)整個(gè)模型進(jìn)行再訓(xùn)練，訓(xùn)練時(shí)長(zhǎng)約為7h。隨著商品種類(lèi)的不斷增加，模型再訓(xùn)練的時(shí)間成本較高。為有效解決上述三個(gè)問(wèn)題，我們?cè)趫D1中的“云端處理”模塊，設(shè)計(jì)了一個(gè)雙神經(jīng)網(wǎng)絡(luò)模型。其工作原理是：基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)，通過(guò)在云端比對(duì)開(kāi)門(mén)前與關(guān)門(mén)后，各層攝像頭拍攝的圖片，來(lái)識(shí)別售出的商品，進(jìn)而計(jì)價(jià)，完成扣費(fèi)。其中識(shí)別過(guò)程是兩個(gè)神經(jīng)網(wǎng)絡(luò)模型，模型i按包裝形式（如易拉罐、紙盒、瓶裝等）對(duì)售出商品進(jìn)行圖像檢測(cè)，完成包裝大類(lèi)的檢測(cè)任務(wù)，其目的是為了降低漏檢率;模型ii根據(jù)大類(lèi)檢測(cè)的結(jié)果，調(diào)用對(duì)應(yīng)的小類(lèi)分類(lèi)模型，確認(rèn)售出商品的品種，如易拉罐大類(lèi)中的“零度可樂(lè)”等，其主要任務(wù)是提高售出商品的分類(lèi)準(zhǔn)確度。

12、雙模型設(shè)計(jì)的另一個(gè)目的是當(dāng)新增銷(xiāo)售品類(lèi)時(shí)，如果其外包裝屬于已有大類(lèi)，系統(tǒng)就不需重新訓(xùn)練大類(lèi)檢測(cè)模型，只需訓(xùn)練相應(yīng)的小類(lèi)分類(lèi)模型，從而相對(duì)于單模型可以節(jié)省大量的再訓(xùn)練時(shí)間。不僅如此，雙模型的選擇還可以根據(jù)應(yīng)用場(chǎng)景、數(shù)據(jù)規(guī)模以及設(shè)備配置等因素的不同進(jìn)行靈活調(diào)整，并輔之以針對(duì)性的數(shù)據(jù)增強(qiáng)方法，以期達(dá)到更優(yōu)的性能。2 實(shí)驗(yàn)及討論分析本節(jié)基于騰訊云gpu計(jì)算型gn7.large20，對(duì)上述雙模型智能零售柜設(shè)計(jì)框架進(jìn)行了詳細(xì)對(duì)比分析，實(shí)驗(yàn)結(jié)果驗(yàn)證了雙模型設(shè)計(jì)的優(yōu)勢(shì)和可行性。2.1模型i零售商品大類(lèi)（外包裝）檢測(cè)模型商品大類(lèi)檢測(cè)模型的主要目的是減少漏檢數(shù)，提高召回率。本項(xiàng)目目前約有85個(gè)品種，其中易拉罐有1

13、1種，紙盒包裝有30種，瓶裝有26種，快餐面有18種。在單模型檢測(cè)中，我們觀察到，之所以出現(xiàn)漏檢是因?yàn)椋喝绻硞€(gè)售出商品w的網(wǎng)絡(luò)模型輸出向量中的85個(gè)類(lèi)別分量值都不高（各分量值之和為1），低于設(shè)定閾值，其檢測(cè)框就會(huì)被篩選掉，因而出現(xiàn)漏檢。于是我們?cè)O(shè)想，如果模型只對(duì)4種包裝（大類(lèi)）進(jìn)行檢測(cè)，w的輸出向量中的4個(gè)類(lèi)別分量值就會(huì)顯著加大，漏檢率就會(huì)大大降低。實(shí)踐證明這個(gè)設(shè)想是合理可行的。與按85類(lèi)檢測(cè)相比，faster r-cnn模型按4大類(lèi)檢測(cè)的召回率（ar）和準(zhǔn)確度（ap）都有所提高，特別是在中等目標(biāo)（medium）上的提高更為明顯，分別從93.1%和90.9%提高到97.9%和96.2%。表1

14、比較了faster r-cnn模型在這兩種分類(lèi)檢測(cè)標(biāo)準(zhǔn)上，大、中、小三種檢測(cè)目標(biāo)的ap與ar值。2.2模型ii零售商品小類(lèi)（品種）分類(lèi)模型商品小類(lèi)分類(lèi)模型的主要目的是提高售出商品的分類(lèi)準(zhǔn)確度。從項(xiàng)目初期的單模型實(shí)施過(guò)程中，我們發(fā)現(xiàn)有幾個(gè)品種的檢測(cè)圖像特別相似，如圖2中易拉罐大類(lèi)的“零度可樂(lè)”、“青島王子1”和“青島王子2”這三個(gè)品種的頂部摳圖極難區(qū)分，模型容易張冠李戴。因此，提高易拉罐分類(lèi)模型的準(zhǔn)確度，就成為我們選擇、改進(jìn)零售商品小類(lèi)分類(lèi)模型的一個(gè)突破口。2.2.1模型選擇易拉罐大類(lèi)（allyilaguan）包括“芬達(dá)”“紅牛1”“紅牛2”“可樂(lè)”“零度可樂(lè)”“芒果小酪”“青島王子1”“青島王

15、子2”“屈臣氏香草”“王子牛奶”和“雪碧”共11種易拉罐飲料，分別用“class0”-“class10”表示，訓(xùn)練集（allyilaguan_train）和驗(yàn)證集（allyilaguan_val）分別有6336和1216份樣本?；隍v訊云gn7.large20（gpu4g）的算力，我們分別用resnet50，efficientnetb2b6等6個(gè)預(yù)訓(xùn)練模型，對(duì)易拉罐大類(lèi)進(jìn)行了25epoch的模型對(duì)比訓(xùn)練。訓(xùn)練結(jié)果比較見(jiàn)圖3和表2。從圖3中6個(gè)模型的對(duì)比訓(xùn)練圖表，可以看出這6個(gè)模型的loss收斂趨勢(shì)基本相同，6個(gè)模型之間的訓(xùn)練精度差小于1.8%，驗(yàn)證精度差小于4.5%;efficientnet系

16、列模型的訓(xùn)練時(shí)間都明顯多于resnet50。因此，考慮到項(xiàng)目孵化階段的算力限制，以及新品種頻繁增加的需求，我們折中選擇了以resnet50為backbone構(gòu)建小類(lèi)分類(lèi)模型。這是因?yàn)樾缕贩N的增加，意味著小類(lèi)分類(lèi)模型訓(xùn)練次數(shù)的增加，模型單次訓(xùn)練時(shí)間過(guò)長(zhǎng)顯然不利于業(yè)務(wù)的迅速開(kāi)展。2.2.2模型改進(jìn)在小類(lèi)分類(lèi)模型初步確定后，為進(jìn)一步提高分類(lèi)準(zhǔn)確度，我們仔細(xì)分析了resnet50在allyilaguan數(shù)據(jù)集上訓(xùn)練的roc（receiver operating characteristic）圖和混淆矩陣（confusion matrix），見(jiàn)圖4和表3。從圖4中可看出“class4（零度可樂(lè)）”和“c

17、lass8（屈臣氏香草）”的auc（area under curve）得分相對(duì)較低，分別是0.980和0.981;進(jìn)一步對(duì)比分析表3的11種易拉罐飲料預(yù)測(cè)值與真值的混淆矩陣，不難發(fā)現(xiàn)，模型對(duì)“零度可樂(lè)”“青島王子1”“青島王子2”“屈臣氏香草”和“芒果小酪”五種商品的誤判率較高，但對(duì)其他品種的誤判率較低。于是我們將“零度可樂(lè)”“青島王子1”和“青島王子2”確定為本項(xiàng)目的最難分品種集hardgroup（因“屈臣氏香草”不再上架銷(xiāo)售，故其和“芒果小酪”不包含在hardgroup集中），并構(gòu)建最難分品種訓(xùn)練集nan3trainset、驗(yàn)證集nan3valset和測(cè)試集nan3testset，分別包括

18、2483、625和431份樣本。開(kāi)始著手通過(guò)數(shù)據(jù)增強(qiáng)技術(shù)，進(jìn)行模型的消融比較實(shí)驗(yàn)8。首先，確定數(shù)據(jù)增強(qiáng)方法。數(shù)據(jù)增強(qiáng)是提高模型性能的有效途徑，且方法較多。通過(guò)仔細(xì)觀察分析貨柜周邊的環(huán)境、商品擺放的位置以及鏡頭成像的效果后，我們發(fā)現(xiàn)貨柜內(nèi)外的光線變化會(huì)降低圖片清晰度、鏡頭成像時(shí)長(zhǎng)會(huì)造成圖片色溫和亮度變化、不同高度商品臨近擺放會(huì)造成商品有效識(shí)別區(qū)的陰影遮擋、圖片檢測(cè)框區(qū)域的高度相似會(huì)導(dǎo)致模型“認(rèn)敵為友”。為減少這幾種現(xiàn)象對(duì)分類(lèi)精度的影響，我們針對(duì)性地選擇了色彩抖動(dòng)（colorjitter）、隨機(jī)遮擋（randomerasing）和圖片混疊（mixup）作為本輪消融實(shí)驗(yàn)的三個(gè)數(shù)據(jù)增強(qiáng)方法。色彩抖動(dòng)是

19、指在模型訓(xùn)練過(guò)程中，通過(guò)對(duì)圖片的亮度、飽和度以及對(duì)比度進(jìn)行調(diào)整，用以增加樣本多樣性、提高模型泛化能力的一種數(shù)據(jù)增強(qiáng)方法。隨機(jī)遮擋是在模型訓(xùn)練過(guò)程中，以一定的概率對(duì)數(shù)據(jù)集中的圖片，通過(guò)隨機(jī)生成的掩碼區(qū)塊來(lái)遮擋圖片，動(dòng)態(tài)增加樣本多樣性，提高模型泛化能力的一種數(shù)據(jù)增強(qiáng)方法。圖像混疊也是一種數(shù)據(jù)增強(qiáng)方法，它可以提高模型對(duì)反例樣本的魯棒性9。其原理是在模型訓(xùn)練過(guò)程中，對(duì)兩張圖片的像素以一個(gè)隨機(jī)比例0， 1 進(jìn)行相加形成一張?zhí)摂M圖片作為訓(xùn)練樣本（x，  y），如式（1）（2）。x=xi?+1-xj?             

20、                 （1）y=yi?+（1-）yj?                               （2）l（x）=l（f（xi?），yi?）+l（f（xj?），yj?）     （3）其中xi，xj是兩個(gè)隨機(jī)樣本，yi，yj分別是xi，xj的標(biāo)簽，f（xi），f（xj）分別是xi，xj的預(yù)

21、測(cè)值，l（x）是loss函數(shù)。圖像混疊通過(guò)線性插值法擴(kuò)展了訓(xùn)練數(shù)據(jù)的分布，提高了模型對(duì)反例樣本的魯棒性。其次，實(shí)施消融實(shí)驗(yàn)。我們先將上述已在易拉罐大類(lèi)allyilaguan數(shù)據(jù)集上訓(xùn)練好的resnet50模型在最難分品種測(cè)試集nan3testset上進(jìn)行第一輪推理測(cè)試，并將其結(jié)果作為消融實(shí)驗(yàn)的比較基準(zhǔn)。再將上述三個(gè)方法組合成6種數(shù)據(jù)增強(qiáng)策略，重新加載resnet50，分別在數(shù)據(jù)集nan3trainset和nan3valset上，再訓(xùn)練100epochs。然后將訓(xùn)練后的模型再分別在nan3testset上進(jìn)行第二輪測(cè)試，結(jié)果見(jiàn)表4。從表4可以看出，三種數(shù)據(jù)增強(qiáng)方法對(duì)提升resnet50在本項(xiàng)目最

22、難分品種數(shù)據(jù)集上的預(yù)測(cè)準(zhǔn)確度都有一定的作用，其中圖像混疊方法的提升效果更為明顯。最后，模型遷移推理10-11。先構(gòu)建與易拉罐大類(lèi)實(shí)際數(shù)據(jù)同分布的測(cè)試集allyilaguan_test，即包括11種易拉罐飲料，共812份樣本。再在其上加載上述在最難分品種數(shù)據(jù)集上經(jīng)過(guò)三個(gè)數(shù)據(jù)增強(qiáng)方法混合訓(xùn)練后的resnet50（即表5中序號(hào)6模型），進(jìn)行推理測(cè)試，結(jié)果見(jiàn)表5。從表5中可以看出，經(jīng)過(guò)在最難分品種數(shù)據(jù)集上進(jìn)行三種數(shù)據(jù)增強(qiáng)方法訓(xùn)練后的模型，能較大提高該大類(lèi)的細(xì)分類(lèi)準(zhǔn)確率，從94.09%提高到98.64%，接近目前市場(chǎng)上典型智能零售柜的性能。同樣地，我們按照以上方法，在其他3大類(lèi)（紙盒、瓶裝和快餐面）數(shù)據(jù)

23、集上也做了相應(yīng)的比較研究，其結(jié)果也驗(yàn)證了上述結(jié)論，并且由于這3大類(lèi)商品的檢測(cè)摳圖辨識(shí)度相對(duì)較高，所以模型誤判率較低，各大類(lèi)的細(xì)分類(lèi)準(zhǔn)確率都大于99%，已與目前市場(chǎng)上典型智能柜的性能相當(dāng)。3 總結(jié)本文利用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)零售貨柜的智能化。在實(shí)施過(guò)程中，針對(duì)智能零售柜普遍存在的檢測(cè)漏檢率和分類(lèi)準(zhǔn)確度兩個(gè)技術(shù)難點(diǎn)，基于“騰訊云gpu計(jì)算型gn7.large20（gpu4g）”，進(jìn)行了實(shí)驗(yàn)和討論，給出了相應(yīng)的解決方案。首先利用雙模型設(shè)計(jì)代替原單模型設(shè)計(jì)，相較于單模型，雙模型設(shè)計(jì)的檢測(cè)召回率（從93.1%提高到97.9%）和分類(lèi)準(zhǔn)確度（從90.9%提高到96.2%）都有了明顯提升，并且大大減少了因新增商

24、品后模型再訓(xùn)練時(shí)間（從7h縮短到1h）。與此同時(shí)，通過(guò)3種針對(duì)性的數(shù)據(jù)增強(qiáng)方法，在本項(xiàng)目最難分品種數(shù)據(jù)集上進(jìn)行了6種消融實(shí)驗(yàn)，其訓(xùn)練后的模型不僅能提升最難分品種數(shù)據(jù)集上的分類(lèi)準(zhǔn)確度（從85.85%提高到88.40%），而且能明顯改進(jìn)其所屬大類(lèi)的小類(lèi)分類(lèi)準(zhǔn)確度（從94.09%提高到98.64%）。整個(gè)解決方案采用“掃碼開(kāi)門(mén)、自助取貨、智能識(shí)別、關(guān)門(mén)結(jié)算”的方式，形成一個(gè)銷(xiāo)售閉環(huán)，真正實(shí)現(xiàn)了“拿了就走，關(guān)門(mén)即付”的簡(jiǎn)單高效的購(gòu)物體驗(yàn);不論是柜體成本，還是運(yùn)維成本都相對(duì)較低，易于擴(kuò)大規(guī)模。參考文獻(xiàn)：1 前瞻產(chǎn)業(yè)研究院.中國(guó)新零售行業(yè)商業(yè)模式創(chuàng)新與投資機(jī)會(huì)深度研究報(bào)告（2020-2025）r. 202

25、0.2 林付春，張榮芬，何倩倩，等.機(jī)器視覺(jué)中的智能無(wú)人零售系統(tǒng)設(shè)計(jì)j.電子技術(shù)應(yīng)用，2018，44（9）：96-98，103.3 付振華，紀(jì)祥，趙坤旭.基于yolo算法的智能交通燈控制系統(tǒng)模型j.單片機(jī)與嵌入式系統(tǒng)應(yīng)用，2019，19（9）：12-13，17.4 li f，zeng m，xiao j，et al.active learning for image preparation of automatic vending machine （avm） employing transfer learning methodj.journal of physics：conference series，2020，1684：012114.5 redmon j，farhadi a.yolo9000：better，faster，strongerc/2017 ieee conference on computer vi