基于輕量化神經(jīng)網(wǎng)絡(luò)的皮膚病灶分割設(shè)計(jì)

[10]的思想,編碼階段，輸入大小為H×W×3的彩色皮膚圖像，經(jīng)過(guò)三次二維卷積（核大小為3）和最大池化操作后，再進(jìn)行三次GHPA和兩次最大池化；同時(shí)SCB做橋接，解碼階段進(jìn)行三次DGA、IEA操作和兩次雙線性插值后，再進(jìn)行三次二維卷積操作和兩次雙線性插值后，最后最大池化輸出一個(gè)二元掩膜分割圖像。1）DGA（DilatedGatedAttentionBlock）圖17DGA模塊示意圖如圖17是DGA模塊示意圖。模塊的前半段SDC（SplitDilatedConvUnit）將輸入圖像按照通道劃分為四個(gè)區(qū)域，并利用擴(kuò)張率分別為7、5、2、1的深度可分離卷積來(lái)獲取圖像整體和部分特征；連接操作后，實(shí)現(xiàn)圖像尺寸重構(gòu)，卷積再融合信息，后半段GA（GatedAttentionUnit）通過(guò)深度可分離卷積（DW）產(chǎn)生符合圖像特征的圖像，去除無(wú)關(guān)的信息，使得模型關(guān)注更加關(guān)鍵的信息，最終殘差連通輸出結(jié)果，數(shù)學(xué)公式如公式14-17。 x1,x2 x1' X'= Att=σ(DW(X' Out=DWDWX'其中Clunk4是將輸入圖片沿通道分為4部分（x1,x2,x3,x4），Wi擴(kuò)張卷積且2）IEA（InvertedExternalAttentionBlock）模塊是基于外界關(guān)注來(lái)表征數(shù)據(jù)集,增強(qiáng)樣本之間聯(lián)系。ExternalAttention指的是外部注意力，如圖18是IEA模塊示意圖。圖18IEA模塊示意圖該方法采用兩個(gè)儲(chǔ)存單元(Conv1D共用參數(shù))，來(lái)描述整體的特性。給定的輸入X（尺寸C×H×W）經(jīng)過(guò)1*1卷積核復(fù)制操作后，改變他的大小為C×HW。MemoryUnit1是內(nèi)存單元1，可以將特征圖通道數(shù)量擴(kuò)大到原來(lái)4倍（尺寸變?yōu)?C×HW）。MemoryUnit2還原尺寸大小，再將圖像恢復(fù)到C×HW，最后1*1卷積后殘差運(yùn)算，將圖像特征信息融合融合特征信息。3）SCB（SpatialandChannelAttentionBridgeBlock）模塊由SAB（SpatialAttentionBridge）和CAB（ChannelAttentionBridgeBlock）兩部分組成，兩部分分別對(duì)特征圖進(jìn)行不同的信息提取和融合操作，從而獲得圖像更有代表性的特征。SAB通過(guò)共享二維卷積，對(duì)特征圖多階段信息融合，生成空間軸上的特征圖。如圖19是SAB結(jié)構(gòu)圖。圖19SAB示意圖如上圖，每個(gè)階段的特征圖，沿通道維度分別采用最大池化和平均池化，再將其串聯(lián)得到具有兩個(gè)通道的特征圖（寬度和高度保持不變）。然后，利用共享的擴(kuò)張卷積（擴(kuò)張率是3）和sigmoid激活函數(shù)生成每個(gè)階段的空間注意力圖，最后空間注意力圖和原始特征圖內(nèi)積后殘差連接輸出。CAB可以將圖像分割過(guò)程中各階段特征進(jìn)行整體和局部融合，生成通道上的特征圖，如圖20是CAB結(jié)構(gòu)示意圖。圖20CAB示意圖如上結(jié)構(gòu)GAP是全局平均池化，Concat連接后，Con1D將多階段信息融合，F(xiàn)C全連接輸出后sigmoid回歸操作，最后殘差輸出。4）GHPA(Groupmulti-axisHadamardProductAttentionmodule) 模塊沿著通道維度將輸入均分為四組，并對(duì)前三組的高度-寬度、通道-高度、通道-寬度軸分別進(jìn)行HPA（HadamardProductAttention），最后一組則只在特征映射上使用DW。最后，沿著通道維度將四組連接起來(lái)，并應(yīng)用另外一個(gè)DW從不同角度整合信息。其中,DW的所有核大小為3，如公式19-22。 x1,x4= x2=x x3=x Out=DW(LN(cat([x1,x2 其中，BI是雙線性插值（BilinearInterpolation）；permute是將tensor的維度換位的操作；Pxy是隨機(jī)初始化張量大小[1,C//4,a,b]；Pzx是隨機(jī)初始化張量大小[1,1,C//4,a]；Pzy是隨機(jī)初始化張量大小[1,1,C//4,b]；LN如上公式所示，模塊的HPA操作就是給定一個(gè)輸入x和一個(gè)隨機(jī)初始化可學(xué)習(xí)張量p，首先對(duì)p進(jìn)行雙線性插值操作，以調(diào)整p的大小適應(yīng)于x，然后對(duì)p進(jìn)行DW運(yùn)算，最后x和p進(jìn)行標(biāo)準(zhǔn)積運(yùn)算獲得輸出。3.4模型損失函數(shù) 皮膚病分割是一個(gè)二分類(lèi)分類(lèi)任務(wù)，因此用到的損失函數(shù)是BceLoss（BinaryCrossEntropyLoss），但醫(yī)療圖像中常出現(xiàn)類(lèi)別不均衡的情況，因此訓(xùn)練結(jié)果常會(huì)被像素更多的類(lèi)別主導(dǎo)，對(duì)于較小的類(lèi)別學(xué)習(xí)不到位，從而降低了網(wǎng)絡(luò)的有效性，而DiceLoss正好可以解決這個(gè)問(wèn)題，但對(duì)反向傳播會(huì)造成不利影響，因此研究人員將兩者融合在了一切，提出了BceDiceLoss函數(shù)，如公式23-25。 LBce=?1 LDice=1?2 LBceDice=λ其中，λ1和λ4結(jié)果分析本章將使用malunet模型在ISIC2018數(shù)據(jù)集上進(jìn)行訓(xùn)練，并對(duì)訓(xùn)練結(jié)束后的損失函數(shù)和模型性能指標(biāo)進(jìn)行評(píng)價(jià)，另外對(duì)所使用的四個(gè)模塊進(jìn)行功能對(duì)比，證明所用方案的合理性，最后將測(cè)試結(jié)果和其他模型比較，驗(yàn)證所用模型在皮膚病灶分割輕量化方面的優(yōu)勢(shì)。4.1數(shù)據(jù)集預(yù)處理Pytorch中的torchvision主要用于對(duì)圖像進(jìn)行處理，為了提高模型的泛化能力，我們使用torchvision中的transforms模塊對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,比如：歸一化（ToTensor）、水平翻轉(zhuǎn)（RandomHorizontalFlip）、垂直翻（RandomVerticalFlip）和縮放（Resize）等。數(shù)據(jù)集結(jié)構(gòu)如圖：，train是訓(xùn)練數(shù)據(jù)集，分為圖像和相應(yīng)二元掩膜存放，測(cè)試集和驗(yàn)證數(shù)據(jù)集共用val文件數(shù)據(jù)。數(shù)據(jù)集結(jié)構(gòu)如圖21。圖21數(shù)據(jù)集結(jié)構(gòu)圖4.2訓(xùn)練和測(cè)試4.2.1對(duì)比實(shí)驗(yàn) 關(guān)于每個(gè)模塊在實(shí)驗(yàn)中的分割效果這里做出可視化對(duì)比，如圖。通過(guò)圖示對(duì)比發(fā)現(xiàn),GHPA、IEA和DGA在提取全局信息上都有一定的優(yōu)勢(shì)，但GPHA在局部信息提取優(yōu)勢(shì)更加突出，因此GHPA則單獨(dú)用于編碼部分，提取更多更據(jù)有代表性的信息，IEA和DGA置于解碼階段，橋接模塊SCB在局部信息提出優(yōu)勢(shì)大其余三者，因此保持原有功能結(jié)構(gòu)不變，如圖22是模塊分割效果對(duì)比圖。原圖PredDGAIEAGHPASCB組合圖22模塊分割效果對(duì)比圖4.2.2訓(xùn)練結(jié)果訓(xùn)練開(kāi)始前需要設(shè)置的初始參數(shù)如表1。表1網(wǎng)絡(luò)各參數(shù)設(shè)定值超參數(shù)設(shè)定值學(xué)習(xí)率0.005最大訓(xùn)練輪次300批尺寸8優(yōu)化器種類(lèi)AdamW權(quán)重衰減1e-5損失函數(shù)BceDiceloss訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)的實(shí)驗(yàn)后得到的損失和性能指標(biāo)如下：圖23(a)模型訓(xùn)練集和測(cè)試集損失變化圖23(b)模型訓(xùn)練集和測(cè)試集mIoU變化由圖23(a)模型訓(xùn)練集和測(cè)試集損失變化圖可知，隨著訓(xùn)練次數(shù)的增加模型訓(xùn)練損失和測(cè)試損失下降速度越來(lái)越快，越往后下降速度越來(lái)越慢，因?yàn)闇y(cè)試數(shù)據(jù)較少，所以兩者的損失差距會(huì)比較大。由圖23(b)模型訓(xùn)練集和測(cè)試集mIoU變化圖可知，隨著訓(xùn)練次數(shù)增加，模型的mIoU逐漸增加，最終可達(dá)到80%左右，結(jié)果表明，分割結(jié)果和真實(shí)情況非常相似。表2各模型在ISIC2018上的性能指標(biāo)對(duì)比ModelParamsGFLOPsmIoUDSCUNetUNet++Attention-UnetUNeXt-SMyUnet7.7713.7877.8687.559.1634.9078.3187.838.7316.7478.4387.910.300.1079.0988.330.120.06779.2688.67從表2各模型在ISIC2018上的性能指標(biāo)對(duì)比表可知，MUnet的Params和GFLOP相比于Unet縮減了64x和205x，同時(shí)相比于近年的輕量化網(wǎng)絡(luò)UNeXt-S減小了0.18M和0.033GFLOPs,而MyUnet的分割精度都比其余網(wǎng)絡(luò)有少量的提升。5總結(jié)與展望5.1總結(jié)本文就目前皮膚病灶分割算法在臨床下的應(yīng)用情況和發(fā)展現(xiàn)狀為依據(jù)，設(shè)計(jì)了一套基于多種注意力機(jī)制的輕量化分割模型，在原有的Unet框架上加入了四個(gè)模塊，作用分別是：1)提取整體和局部特征；2)描述整個(gè)數(shù)據(jù)集的特征，加強(qiáng)樣本之間的聯(lián)系；3)將多階段，多尺度的特征信息融合在一起；4）將不同軸的特征信息融合。通過(guò)搭建此模型，本文實(shí)現(xiàn)了在平衡模型分割精度的同時(shí)，降低模型參數(shù)量和計(jì)算復(fù)雜度，從而達(dá)到輕量化的目標(biāo)。對(duì)訓(xùn)練后的模型進(jìn)行測(cè)試，相比于原始的UNet模型的參數(shù)量降低了64倍，計(jì)算復(fù)雜度降低了205倍；同時(shí)，mIoU和DSC增加了1.7%和1.27%。5.2展望雖然目前的設(shè)計(jì)能夠?qū)崿F(xiàn)輕量化目標(biāo)，但它在分割精度上的提升并不是很顯著，且僅可用于皮膚病灶分割，不可用于其他醫(yī)療分割場(chǎng)景。因此，在未來(lái)的研究中，期望能結(jié)合更多優(yōu)越的方法，在其他分割領(lǐng)域設(shè)計(jì)出更多性能優(yōu)越的輕量化神經(jīng)網(wǎng)絡(luò)模型模型。參考文獻(xiàn)鄧輝.基于深度學(xué)習(xí)的黑色素瘤分類(lèi)算法研究[D].南京郵電大學(xué),2023.DOI:10.27251/ki.gnjdc.2023.002076.蔣宏達(dá),葉西寧.一種改進(jìn)的I-Unet網(wǎng)絡(luò)的皮膚病圖像分割算法[J].現(xiàn)代電子技術(shù),2019,42(12):52-56.DOI:10.16652/j.issn.1004-373x.2019.12.013.LONGJ,SHELHAMERE,DARRELLT.Fullyconvolutionalnetworksforsemanticsegmentation[C];Proceedingsofthe2015IEEEConferenceonComputerVisionandPatternRecognition.Piscataway:IEEE,2015:3431-3440.RONNEBERGERO,FISCHERP,BROXT.U-net:Convolutionalnetworksforbiomedicalimagesegmentation[C];Proceedingsofthe2015InternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention.Cham:Springer,2015:234-241.MILLETARIF,NAVABN,AHMADISA.V-net:Fullyconvolutionalneuralnetworksforvolumetricmedicalimagesegmentation[C];Proceedingsofthe2016fourthInternationalConferenceon3DVision(3DV).Piscataway:IEEE,2016:565-571.曹玉紅,徐海,劉蓀傲等.基于深度學(xué)習(xí)的醫(yī)學(xué)影像分割研究綜述[J].計(jì)算機(jī)應(yīng)用,2021,41(08):2273-2287.高明昊,逯洋.皮膚病灶圖像分割方法的分析與探討[J].福建電腦,2024,40(03):24-29.DOI:10.16707/ki.fjpc.2024.03.005.HuisiW,ShihuaiC,GuilianC,etal.FAT-Net:FeatureAdaptiveTransformersforAutomatedSkinLesionSegmentation[J].MedicalImageAnalysis,2021,76(prepublish):102327-.EGH,SimonO,Yee-WhyeT.Afastlearningalgorithmfordeepbeliefnets.[J].Neuralcomputation,2006,18(7):1527-54.RUANJ,XIANGS,XIEM,etal.MALUNet:AMulti-AttentionandLight-weightUNetforSkinLesionSegmentation[C].2022IEEEInternationalConferenceonBioinformatics