《神經(jīng)網(wǎng)絡壓縮與加速研究的國內(nèi)外文獻綜述》3400字

神經(jīng)網(wǎng)絡壓縮與加速研究的國內(nèi)外文獻綜述當前，針對深度神經(jīng)網(wǎng)絡的壓縮與加速，其主要方法有網(wǎng)絡剪枝、網(wǎng)絡量化、低秩分解、緊湊卷積核和知識蒸餾。以下分別對這五種方法研究現(xiàn)狀進行介紹。（1）網(wǎng)絡剪枝網(wǎng)絡剪枝可以去除深度網(wǎng)絡模型中冗余的、不重要的參數(shù)來減少模型參數(shù)量。前期的剪枝方法，如基于非結(jié)構(gòu)化的，精度理論上較高但需下層的硬件和計算庫對其有比較好的支持。而結(jié)構(gòu)化剪枝方法可以很好地解決上述問題，因此近年來的研究很多是集中在結(jié)構(gòu)化上。對于非結(jié)構(gòu)化剪枝，早在20世紀九十年代LeCun等人[8]提出了最優(yōu)化腦損失策略，該方法基于二階導數(shù)來判定參數(shù)是否裁剪，可以達到更高的準確度同時又降低網(wǎng)絡復雜度，確保精度損失最小化。Sriniva等人[9]提出通過建立參數(shù)的顯著性矩陣來刪除不顯著的參數(shù)，該方法無需使用訓練數(shù)據(jù)和反向傳播，運行速度較快。非結(jié)構(gòu)化剪枝的代表性工作為Han等人[10]的工作，由權(quán)重的大小判斷權(quán)值所含有的信息量進行修剪，剪去數(shù)值小于給定閾值的不重要連接及對應參數(shù)，大大減少網(wǎng)絡參數(shù)量，該方法在AlexNet模型上實現(xiàn)了9倍的壓縮，在VGG－16模型實現(xiàn)了3倍壓縮。為解決非結(jié)構(gòu)化修剪方法迭代收斂慢，運算效率不足的問題，眾多研究開始轉(zhuǎn)向結(jié)構(gòu)化剪枝方法。這類方法通過度量濾波的顯著性，將顯性濾波移除進而實現(xiàn)網(wǎng)絡預測加速。Li等人[11]使用濾波器參數(shù)的L1范數(shù)來判斷濾波器權(quán)重的顯著性，刪除不顯著的濾波器，從而達到模型壓縮的目的。Molchanov等人[12]基于一階泰勒展開尋找使損失函數(shù)變化最小的濾波器，并將其設定為顯著性濾波器。Luo等人[13]提出了ThiNet網(wǎng)絡結(jié)構(gòu)，開始研究下一層濾波器輸入通道的重要性，濾波器是否被剪去取決于下一層而不是直接只考慮當前層。此方法在ImageNet分類任務上，在ResNet-50模型中加速了2.26倍，模型大小壓縮了2.06倍，僅增加了0.84%的分類誤差。（2）網(wǎng)絡量化網(wǎng)絡模型量化目前包含兩個研究方向：其一為權(quán)值共享，基本思想就是多個網(wǎng)絡連接的權(quán)重共用一個權(quán)值，如聚類方式共享和哈希方式共享；其二為權(quán)值精簡，即權(quán)值的低比特表示，主要是定點量化。在聚類方式共享方面，Gong等人[14]提出了一個加速和壓縮CNN的方法（Q-CNN），主要思想是基于k-means聚類算法對模型的卷積層和全連接層中的權(quán)重進行量化，且最小化每層的輸出響應誤差。在哈希方式共享方面，Chen等人[15]提出了將網(wǎng)絡權(quán)重隨機分組到多個哈希桶中的方法，同個哈希桶內(nèi)的所有連接共享相同的權(quán)重參數(shù)，從而實現(xiàn)參數(shù)共享。該法類似特征哈希，即將高維數(shù)據(jù)降到低維空間，以達到減小模型體積，減小精度損失的目的。

在定點量化中，使用定點數(shù)運算來代替浮點數(shù)運算，處理相對簡單，執(zhí)行效率也更高。Vanhoucke等人[16]將網(wǎng)絡參數(shù)由32比特定點量化為8比特進行存儲，內(nèi)存占用降低的同時準確率基本不受影響。Gupta等人[17]則使用了16比特的定點數(shù)表達方法，并加入了隨機約束的方法，使性能損失較小的同時又降低了模型資源消耗。Courbariaux等人[18]提出了BinaryConnect網(wǎng)絡，權(quán)值如果大于0為+1，小于0為-1，該二值量化方法可以實現(xiàn)網(wǎng)絡的32倍壓縮。2016年，Li等人[19]提出了三值權(quán)值網(wǎng)絡（TernaryWeightNetwork，TWN），當權(quán)值高于某個閾值為+1，高于正閾值卻小于負閾值時為0，其余為-1。（3）低秩分解低秩分解的核心思想是將原來大的權(quán)重矩陣分解成多個小的矩陣。由于權(quán)值向量多分布于低秩子空間,因此可用少數(shù)的基向量來重構(gòu)卷積核矩陣,達到減少模型內(nèi)部冗余性的目的。Deni等人[20]最早使用低秩分解的思想來對神經(jīng)網(wǎng)絡模型進行壓縮與加速，即利用低秩分解技術(shù)分析模型的大量冗余信息。在2015年，Kim等人[21]提出基于Tucker分解的方法，通過變分貝葉斯矩陣進行Tucker分解，將一個張量表示成一個核心張量和若干個小張量的乘積，大大減少了計算量。之后，Lieven等人[22]采用張量分解的方法用五層復雜度更低的網(wǎng)絡層重構(gòu)原始網(wǎng)絡，實現(xiàn)4.5倍的加速。（4）緊湊卷積核對深度網(wǎng)絡模型的卷積核使用特殊的結(jié)構(gòu)化卷積核或緊性的卷積核能有效地壓縮深度網(wǎng)絡。2016年，Iandola等人[23]提出SqueezeNet，其核心Fire模塊，主要包含Squeeze層和Expand層。在Squeeze層使用1*1的卷積核減少輸入通道的數(shù)量，在Expand層中把1*1和3*3卷積核得到的特征映射進行壓縮，得到不同尺寸的卷積特征。該SqueezeNet在達到AlexNet識別精度的同時模型參數(shù)降低了50倍，大大壓縮了深度網(wǎng)絡模型。2017年，Howard等人[24]提出了MobileNet，一種專門針對移動端和嵌入式設備開發(fā)的輕量級卷積神經(jīng)網(wǎng)絡，將卷積運算分為深度卷積和點卷積，此法可減少大量的參數(shù)量和計算量。同年，Zhang等人[25]基于組卷積（GroupConvolution，GC）和通道重排（ChannelShuffle，CS）操作，提出了ShuffleNet，相比MobileNet能更好地減少模型的計算復雜度。（5）知識蒸餾知識蒸餾的核心思想是讓較小的學生網(wǎng)絡學習大的教師網(wǎng)絡的輸出類別分布。先將大型復雜的教師網(wǎng)絡訓練達到較高的性能，再使用輕量級學生網(wǎng)絡對其進行擬合，從而把大型網(wǎng)絡學到的知識遷移到輕量型網(wǎng)絡中，達到網(wǎng)絡壓縮的目的。2006年，Bucilua等人[26]首先提出知識遷移引入，利用預訓練好的復雜模型生成偽數(shù)據(jù)，訓練帶有偽數(shù)據(jù)標記的強分類器的壓縮模型來復制原始分類器的輸出?；诖?，2015年Hinton等人[27]提出知識蒸餾的概念，將教師網(wǎng)絡Softmax層的輸出作為“軟目標”加入到學生網(wǎng)絡的損失函數(shù)中，指導學生網(wǎng)絡訓練，達到知識遷移的目標，Hinton的方法能夠?qū)⒕W(wǎng)絡有效的壓縮，但基于輸出信息監(jiān)督的蒸餾學習方法忽略了對教師網(wǎng)絡的中間層的特征層信息。因此Romero等人[28]提出了FitNets，該模型同時融合了教師網(wǎng)絡的中間特征層信息和教師網(wǎng)絡的輸出來指導學生網(wǎng)絡訓練，使學生網(wǎng)絡模擬教師網(wǎng)絡的全部特征映射圖。You等人[29]也利用了中間層信息，他們設置多個教師網(wǎng)絡來同時訓練一個輕量化的學生神經(jīng)網(wǎng)絡。2018年，Heo等人[30]基于分類決策邊界，利用對抗攻擊策略轉(zhuǎn)化樣本以誘導學生網(wǎng)絡對決策邊界學習。首先利用對抗攻擊策略將基準類樣本轉(zhuǎn)為目標類樣本、且位于決策邊界附近，進而利用對抗生成的樣本誘導學生網(wǎng)絡的訓練，可有效提升學生網(wǎng)絡對決策邊界的鑒別能力。當前的模型壓縮與加速方法中，其中低秩分解技術(shù)雖然在某些特定應用中效果不錯，但由于無法做到一次全局壓縮，增加了網(wǎng)絡訓練時長。同時該技術(shù)增加了網(wǎng)絡的層數(shù)，容易在訓練過程時出現(xiàn)梯度消失的問題，故不具備普適性。而基于緊湊卷積核的神經(jīng)網(wǎng)絡通過采用緊湊卷積核的方式,大大減少了模型中的參數(shù),降低了模型的大小，但由于難以和其他模型壓縮方法結(jié)合，比原先的網(wǎng)絡通用性更弱。此外，網(wǎng)絡剪枝雖然通過修剪一些冗余參數(shù)量降低了網(wǎng)絡復雜度，但由于所有的剪枝方法都需要手動設置層的超參數(shù)，且多次迭代模型才能收斂，因此不利于實際運用。網(wǎng)絡量化通過減少每個權(quán)重編碼的比特數(shù)來壓縮原始網(wǎng)絡，可以在準確率損失極小的同時實現(xiàn)網(wǎng)絡大幅加速，這種硬件適用性的壓縮機制使該方法非常適合部署在體域網(wǎng)體系的可穿戴移動等設備上。知識蒸餾法通過遷移學習的方法可使深層網(wǎng)絡變淺,極大地降低了計算成本。同時，針對數(shù)據(jù)規(guī)模有限的公開心電數(shù)據(jù)集，知識蒸餾方法可以在通用任務上進行預訓練后再進行實際模型的訓練，從而解決數(shù)量不足的問題。因此，本文分別采用網(wǎng)絡量化和知識蒸餾這兩種技術(shù)對模型進行壓縮與加速。參考文獻Z.Cai,M.Seyedi,W.Zhang,etal.CharacterizationofImpulseRadioIntrabodyCommunicationSystemforWirelessBodyAreaNetworks[J].JournalofMedicalandBiologicalEngineering,2017,37(1)：74-84.S.Ullah,H.Higgins,B.Braem,etal.Acomprehensivesurveyofwirelessbodyareanetworks[J].JournalofMedicalSystems,2012,36(3):1065-109S.Movassaghi,M.Abolhasan,J.Lipman,etal.Wirelessbodyareanetworks:asurvey[J].IEEECommunicationsSurvey&Tutorials,2014,16(3):1658–168王麗蘋.融合領(lǐng)域知識的心電圖分類方法研究[D].華東師范大學，2013.AQO,XuQA,ClA,etal.AutomatedECGclassificationusinganon-localconvolutionalblockattentionmodule[J].ComputerMethodsandProgramsinBiomedicine,2021.AmirshahiA,HashemiM.ECGClassificationAlgorithmBasedonSTDPandR-STDPNeuralNetworksforReal-TimeMonitoringonUltraLow-PowerPersonalWearableDevices[J].IEEETransactionsonBiomedicalCircuitsandSystems,2020,13(6):1483-1493.ShakerAM,TantawiM,ShedeedHA,etal.GeneralizationofConvolutionalNeuralNetworksforECGClassificationUsingGenerativeAdversarialNetworks[J].IEEEAccess,2020,8:35592-35605.YLCun,JSDenker,SASolla.Optimalbraindamage[M].MorganKaufmannPublishersInc.1990.SrinivasS,BabuRV.Data-freeparameterpruningforDeepNeuralNetworks[J].ComputerScience,2015:2830-2838.HanS,PoolJ,TranJ,etal.LearningbothWeightsandConnectionsforEfficientNeuralNetworks[J].MITPress,2015.LiH,KadavA,DurdanovicI,etal.PruningFiltersforEfficientConvNets.2016.MolchanovP,TyreeS,KarrasT,etal.PruningConvolutionalNeuralNetworksforResourceEfficientTransferLearning[J].2016.LuoJH,WuJ,LinW.ThiNet:AFilterLevelPruningMethodforDeepNeuralNetworkCompression[C]//2017IEEEInternationalConferenceonComputerVision(ICCV).IEEE,2017.WuJ,CongL,WangY,etal.QuantizedConvolutionalNeuralNetworksforMobileDevices[J].2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016.WenlinChen,JamesWilson,StephenTyree,KilianWeinberger,andYixinChen.Compressingneuralnetworkswiththehashingtrick.InInternationalConferenceonMachineLearning,pages2285–2294,2015.VanhouckeV,SeniorA,MaoMZ.ImprovingthespeedofneuralnetworksonCPUs[J].2011.GuptaS,AgrawalA,GopalakrishnanK,etal.DeepLearningwithLimitedNumericalPrecision[J].Computerence,2015.MatthieuCourbariaux,YoshuaBengio,andJean-PierreDavid.Binaryconnect:Trainingdeepneuralnetworkswithbinaryweightsduringpropagations.InAdvancesinNeuralInformationProcessingSystems,pages3123–3131,2015.LiF,LiuB.TernaryWeightNetworks[J].2016.DenilM,ShakibiB,DinhL,etal.PredictingParametersinDeepLearning[C]//NIPS.CurranAssociatesInc.2013.KimYD,ParkE,YooS,etal.CompressionofDeepConvolutionalNeuralNetworksforFastandLowPowerMobileApplications[J].ComputerScience,2015,71(2):576-584.De,Lathauwer,Lieven,etal.OntheBestRank-1andRank-(R1,R2.RN)ApproximationofHigher-OrderTensors[J].SIAM.J.MatrixAnal.&Appl.2000,21(4):1324-1342.IandolaFN,HanS,MoskewiczMW,etal.SqueezeNet:AlexNet-lev