基于深度學(xué)習(xí)的運(yùn)動(dòng)想象腦機(jī)接口研究綜述

腦機(jī)接口（Brain-ComputerInterface，BCI）技術(shù)是一種能在人腦意識(shí)行為和外部設(shè)備之間建立起不依賴于人體肌肉組織和神經(jīng)組織的直接交互的通道。作為一種新型的人機(jī)交互技術(shù)，腦機(jī)接口是當(dāng)前神經(jīng)工程領(lǐng)域最活躍的研究方向之一，在生物醫(yī)學(xué)、神經(jīng)康復(fù)和智能機(jī)器人等領(lǐng)域具有重要的研究意義和巨大的應(yīng)用潛力。運(yùn)動(dòng)想象（MotorImagery，MI）是BCI研究領(lǐng)域常見(jiàn)的任務(wù)模式之一，在不同的運(yùn)動(dòng)想象狀態(tài)下，大腦皮層相關(guān)的區(qū)域產(chǎn)生與任務(wù)相關(guān)的腦電活動(dòng)振蕩回應(yīng)?；谀X電（Electroencephalogram，EEG）的運(yùn)動(dòng)想象腦機(jī)接口（MI-BCI）系統(tǒng)將采集到的某一具體的人腦意識(shí)任務(wù)信號(hào)進(jìn)行處理和分析，并將模式識(shí)別結(jié)果轉(zhuǎn)化為相應(yīng)的指令來(lái)控制外部設(shè)備，被廣泛應(yīng)用于康復(fù)醫(yī)學(xué)應(yīng)用，如人工假肢的神經(jīng)控制。MI-BCI的出現(xiàn)為解決高度殘疾患者提高與環(huán)境的交互能力這一問(wèn)題提供了新的解決方向，即將患者的意圖腦信號(hào)轉(zhuǎn)換為外部肢體的運(yùn)動(dòng)。腦機(jī)接口技術(shù)的應(yīng)用依賴于可以對(duì)腦電信號(hào)進(jìn)行準(zhǔn)確分類(lèi)以及系統(tǒng)的魯棒性。BCI系統(tǒng)常用的腦電信號(hào)特征提取方法（時(shí)域特征提取、頻域特征提取、空域特征提取）無(wú)法從高維腦電數(shù)據(jù)中提取出更有效的腦電特征，而深度學(xué)習(xí)（DeepLearning，DL）的自動(dòng)學(xué)習(xí)高維數(shù)據(jù)選擇特征的特點(diǎn)解決了這一問(wèn)題，且能夠在很大程度上緩解傳統(tǒng)的手工選擇特征的問(wèn)題。通過(guò)深度學(xué)習(xí)強(qiáng)大的分析能力，可以實(shí)現(xiàn)對(duì)腦電信號(hào)的有效表征，為準(zhǔn)確識(shí)別不同的大腦狀態(tài)提供了方向。提取腦電信號(hào)準(zhǔn)確有效的特征，難點(diǎn)在于腦電信號(hào)是一種隨機(jī)性強(qiáng)、背景噪聲強(qiáng)、非平穩(wěn)的信號(hào)，且不同被試者間存在較大的個(gè)體差異，這些都使腦電信號(hào)分析面臨著較大的挑戰(zhàn)。選擇合適的深度學(xué)習(xí)模型進(jìn)行腦電信號(hào)分析，不僅是為了提高分類(lèi)精度，也是為了解決在跨范式、跨被試、跨試驗(yàn)情況下系統(tǒng)仍具有良好的魯棒性等問(wèn)題。為選擇合適的深度學(xué)習(xí)模型，本文首先討論了卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionNeuralNetwork，CNN）、深度信念網(wǎng)絡(luò)（DeepBeliefNetwork，DBN）和遞歸神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）等深度學(xué)習(xí)模型，以及在通用架構(gòu)上改進(jìn)的適用于腦電信號(hào)的深度學(xué)習(xí)模型變體，還討論了深度學(xué)習(xí)模型和其他腦電特征提取方法結(jié)合的混合模型，最后討論了深度學(xué)習(xí)模型之間的融合。1基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象腦電識(shí)別方法1.1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)最早由紐約大學(xué)1998年提出，其本質(zhì)是一個(gè)多層感知機(jī)，主要思想是局部感知（localfield）、權(quán)值共享（sharedweights）和下采樣（subsampling），主要用于圖像與一維時(shí)序信號(hào)的自動(dòng)特征提取和分類(lèi)，其在計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別領(lǐng)域中的使用已經(jīng)非常廣泛。使用CNN進(jìn)行深度學(xué)習(xí)是生物醫(yī)學(xué)信號(hào)領(lǐng)域新的研究熱點(diǎn)，而且在EEG數(shù)據(jù)分析方面表現(xiàn)非常出色。CNN是一種多層前饋神經(jīng)網(wǎng)絡(luò)，其典型結(jié)構(gòu)如圖1所示，主要由卷積層、激勵(lì)層、池化層和全連接層4種結(jié)構(gòu)組成。圖1CNN典型結(jié)構(gòu)1.2EEGNet模型1.2.1EEGNet模型的架構(gòu)Lawhern等人提出的EEGNet，是一種用于基于EEG的BCI的緊湊型的深層卷積神經(jīng)網(wǎng)絡(luò)。在訓(xùn)練數(shù)據(jù)有限的情況下，EEGNet具有更強(qiáng)的泛化能力和更高的性能，可以有效地推廣到事件相關(guān)電位（EventRelatedPotential，ERP）和基于振蕩的BCI。此外，EEGNet能提取出神經(jīng)生理學(xué)上可以解釋的特征。如圖2所示，EEGNet模型的架構(gòu)包括兩個(gè)卷積塊和一個(gè)分類(lèi)塊。第1個(gè)卷積塊包含了一層常規(guī)的二維卷積和一層深度卷積（DepthwiseConvolution，DC），第2個(gè)卷積塊使用了深度可分離卷積（DepthwiseSeparableConvolution，DSC），分類(lèi)塊直接使用Softmax進(jìn)行分類(lèi)。并且在每一個(gè)卷積操作后都使用了BN操作，每一個(gè)卷積塊中都添加了dropout，激活函數(shù)選擇了Linear函數(shù)和指數(shù)線性單元（ExponentialLinearUnit，ELU）函數(shù)。圖2中，參數(shù)C為原始腦電信號(hào)的通道數(shù)，T是每個(gè)trail的采樣點(diǎn)數(shù)，是時(shí)間濾波器的個(gè)數(shù)，D是空間濾波器的個(gè)數(shù)，是點(diǎn)濾波器的個(gè)數(shù)，N是類(lèi)別數(shù)。在Dropout層，對(duì)于同一被試數(shù)據(jù)，分類(lèi)任務(wù)以概率p=0.5隨機(jī)斷開(kāi)一部分神經(jīng)元的連接，對(duì)于不同被試數(shù)據(jù)，分類(lèi)任務(wù)則以概率p=0.25隨機(jī)斷開(kāi)一部分神經(jīng)元的連接。圖2EEGNet模型架構(gòu)1.2.2深度可分離卷積深度可分離卷積是輕量級(jí)神經(jīng)網(wǎng)絡(luò)的主要結(jié)構(gòu)，其主要功能是在保證網(wǎng)絡(luò)非線性和充分利用特征信息的同時(shí)，壓縮網(wǎng)絡(luò)結(jié)構(gòu)，大大減少了模型的參數(shù)和計(jì)算量。深度可分離卷積結(jié)構(gòu)上包含一個(gè)深度卷積層和一個(gè)點(diǎn)卷積層（pointwiseconvolutionlayer），其主要原理是先使用深度卷積對(duì)上層輸出的特征圖的空間信息進(jìn)行融合，然后使用點(diǎn)卷積對(duì)特征圖的通道信息進(jìn)行融合。深度卷積是一個(gè)逐通道卷積的操作，具體實(shí)現(xiàn)是先將來(lái)自上一層輸出的N通道特征圖（featuremap）拆分為N個(gè)單個(gè)通道的特征圖，再分別對(duì)它們進(jìn)行單通道卷積，最后重新堆疊到一起。因?yàn)橐粋€(gè)卷積核負(fù)責(zé)一個(gè)通道，一個(gè)通道只被一個(gè)卷積核卷積，所以深度卷積層的卷積核數(shù)量是上一層輸出的通道數(shù)。點(diǎn)卷積是一個(gè)逐點(diǎn)卷積的卷積操作，對(duì)來(lái)自深度卷積層的特征圖進(jìn)行卷積，點(diǎn)卷積與常規(guī)的卷積操作很類(lèi)似，只是點(diǎn)卷積的卷積核的大小固定為（1，1）。因此，點(diǎn)卷積彌補(bǔ)了深度卷積沒(méi)有有效利用不同通道在相同空間位置上的特征信息的不足。1.2.3EEGNet模型的優(yōu)點(diǎn)EEGNet模型的優(yōu)點(diǎn)是使用了激活函數(shù)ELU，以及架構(gòu)上選擇了深度可分離卷積。ELU函數(shù)融合了sigmoid函數(shù)和ReLU函數(shù)，右側(cè)的線性部分無(wú)飽和性，能夠緩解梯度消失問(wèn)題，左側(cè)具有軟飽和性能，對(duì)輸入變化或者噪聲更魯棒。由于EEG信號(hào)是一種背景噪聲和隨機(jī)性很強(qiáng)的非平穩(wěn)信號(hào)，因此ELU函數(shù)抗噪聲能力強(qiáng)的特點(diǎn)很適合用來(lái)處理EEG數(shù)據(jù)。架構(gòu)上選用深度可分離卷積能夠減少網(wǎng)絡(luò)參數(shù)和計(jì)算量，使得模型能夠更快收斂。1.3基于圖譜的卷積神經(jīng)網(wǎng)絡(luò)1.3.1小波變換的特點(diǎn)一般的信號(hào)處理方法如傅里葉變換在處理平穩(wěn)信號(hào)、理想信號(hào)時(shí)表現(xiàn)比較優(yōu)秀，但對(duì)于不平穩(wěn)、隨機(jī)性強(qiáng)的腦電信號(hào)來(lái)說(shuō)并不適用。同時(shí)注意到，如果使用一個(gè)窗函數(shù)將不平穩(wěn)信號(hào)切割成比較小的信號(hào)片段，就能將這些短時(shí)信號(hào)片段看成平穩(wěn)信號(hào)，就可以使用傅里葉變換對(duì)其進(jìn)行分析，這種方式就是短時(shí)傅里葉變換（Short-TimeFourierTransform，STFT）。然而其窗口的大小和形狀是固定的，不具有自適應(yīng)性，因此在實(shí)際問(wèn)題的應(yīng)用中，無(wú)法很好地兼顧高頻譜信息。在這樣的背景下，引入了小波變換（WaveletTransform，WT）。小波變換也是常用的時(shí)頻分析方法，可以通過(guò)對(duì)小波基函數(shù)的伸縮和平移對(duì)原始信號(hào)進(jìn)行多尺度分解。本文將尺度理解為時(shí)間窗口，較大的尺度因子對(duì)應(yīng)著寬小波，頻帶較低，此時(shí)能得到原信號(hào)中的低頻成分信息。因此對(duì)不同頻譜的信號(hào)都能進(jìn)行比較全面的細(xì)化分析，具有多分辨率分析的優(yōu)點(diǎn)。小波變換像是一個(gè)數(shù)學(xué)顯微鏡，能夠放大局部信號(hào)的細(xì)節(jié)部分，這一優(yōu)點(diǎn)是對(duì)短時(shí)傅里葉變換的局部化思想的繼承和發(fā)展，同時(shí)又克服了短時(shí)傅里葉變換窗口大小不具有自適應(yīng)性等缺點(diǎn)。1.3.2小波時(shí)頻圖提出了使用連續(xù)小波變換（Continuous

WaveletTransform，CWT）提取腦電信號(hào)時(shí)頻特征，并將生成的小波時(shí)頻圖作為一維CNN的輸入。結(jié)果表明，與傳統(tǒng)的基于機(jī)器學(xué)習(xí)的分類(lèi)方法相比，該模型具有更好的分類(lèi)準(zhǔn)確率。小波變換主要包括CWT和離散小波變換（DiscreteWaveletTransformation，DWT）。這里討論的是連續(xù)小波變換。連續(xù)小波變換將信號(hào)從時(shí)域轉(zhuǎn)換為時(shí)頻域進(jìn)行分析。它的優(yōu)點(diǎn)是能夠?qū)π〔ɑ瘮?shù)的尺度因子和位置參數(shù)進(jìn)行調(diào)節(jié)，使小波變換能夠在短時(shí)間內(nèi)適用于信號(hào)分析。Morlet小波變換是連續(xù)小波變換的一種，其基本思想是：將連續(xù)的時(shí)間信號(hào)和Morlet小波進(jìn)行卷積，從而獲得隨時(shí)間變化的時(shí)頻能量分布。使用多尺度小波分解對(duì)原始腦電信號(hào)進(jìn)行分解，不同運(yùn)動(dòng)想象任務(wù)下小波能量具有顯著差異，因此可以推斷在不同任務(wù)的運(yùn)動(dòng)想象狀態(tài)下，由小波變換得到的小波時(shí)頻圖能提取出有效特征。這種方法將EEG信號(hào)從一維時(shí)間序列轉(zhuǎn)換為二維圖像來(lái)處理，通過(guò)對(duì)原始腦電信號(hào)進(jìn)行連續(xù)小波變換得到的時(shí)頻圖作為CNN的輸入，得到任務(wù)分類(lèi)結(jié)果。基于小波時(shí)頻圖譜的卷積神經(jīng)網(wǎng)絡(luò)對(duì)運(yùn)動(dòng)想象腦電信號(hào)進(jìn)行分類(lèi)處理的方法屬于比較傳統(tǒng)的做法。1.3.3腦地形圖作為CNN的輸入眾所周知，和傳統(tǒng)的機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)表現(xiàn)出更強(qiáng)的數(shù)據(jù)依賴性，在樣本量增加的時(shí)候，使用深度學(xué)習(xí)進(jìn)行腦電信號(hào)分類(lèi)可以得到更好的分類(lèi)性能。由于使用小波變換一次試驗(yàn)只產(chǎn)生一個(gè)小波時(shí)頻圖，樣本量較少，因此CNN分類(lèi)精度無(wú)法得到很大的提高。在2020年提出的將一維腦電信號(hào)的時(shí)間序列轉(zhuǎn)換為二維腦電地形圖，每次試驗(yàn)選取兩秒的時(shí)間窗，每一個(gè)采樣點(diǎn)產(chǎn)生一個(gè)地形圖，每次試驗(yàn)?zāi)墚a(chǎn)生2×采樣率個(gè)地形圖，大大擴(kuò)充了樣本量，同時(shí)也可以讓CNN從空間和時(shí)間兩個(gè)維度學(xué)習(xí)到不同運(yùn)動(dòng)想象任務(wù)的細(xì)微特征，因此可能得到更好的分類(lèi)精度。1.4基于遷移學(xué)習(xí)的VGG網(wǎng)絡(luò)1.4.1遷移學(xué)習(xí)BCI在線系統(tǒng)通常需要在被試者使用系統(tǒng)前采集大量該被試者的腦電數(shù)據(jù)，從而對(duì)分類(lèi)模型進(jìn)行離線訓(xùn)練。并且需要讓訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)在相同的特征空間中，服從相同的統(tǒng)計(jì)分布。然而采集被試者大量的數(shù)據(jù)比較困難，不同被試者的腦電數(shù)據(jù)之間存在較大的差異，直接使用其他被試者的腦電數(shù)據(jù)訓(xùn)練分類(lèi)模型對(duì)系統(tǒng)的魯棒性要求比較大。因此，為了克服腦電數(shù)據(jù)樣本量缺乏導(dǎo)致網(wǎng)絡(luò)訓(xùn)練不足的缺點(diǎn)，以及針對(duì)被試者個(gè)體間存在較大差異這一特點(diǎn)，提出的另一個(gè)方法是在深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上引入遷移學(xué)習(xí)。遷移學(xué)習(xí)將在相關(guān)領(lǐng)域?qū)W習(xí)到的特征應(yīng)用到當(dāng)前領(lǐng)域的任務(wù)上來(lái)，使得模型在目標(biāo)域中沒(méi)有大量腦電數(shù)據(jù)的情況下，通過(guò)在相似域中學(xué)習(xí)到的先驗(yàn)知識(shí)也能對(duì)目標(biāo)任務(wù)進(jìn)行學(xué)習(xí)。遷移學(xué)習(xí)是一種深度學(xué)習(xí)技術(shù)，基于卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)用于快速準(zhǔn)確地訓(xùn)練一個(gè)CNN，且CNN網(wǎng)絡(luò)參數(shù)不從0開(kāi)始初始化，而是把在其他被試者的腦電數(shù)據(jù)集上訓(xùn)練好的模型參數(shù)遷移到該被試者的CNN模型并作為該模型的參數(shù)初始值。1.4.2VGGNetVGGNet是卷積神經(jīng)網(wǎng)絡(luò)中具有優(yōu)良分類(lèi)性能的網(wǎng)絡(luò)模型。其特點(diǎn)是全部使用3×3的小卷積核和2×2的池化核來(lái)進(jìn)行架構(gòu)，每層卷積層包含2～4個(gè)卷積操作，其網(wǎng)絡(luò)深度一般為11～19層，比較常用的是VGGNet-16（包含16層）和VGGNet-19（包含19層）。將多個(gè)小卷積核堆疊形成的一個(gè)卷積層代替只包含一個(gè)大卷積核的卷積層，可以增加空間感受野、減少參數(shù)并且增加非線性映射次數(shù)，增強(qiáng)了模型對(duì)數(shù)據(jù)的擬合能力。VGGNet不僅對(duì)大規(guī)模數(shù)據(jù)集有良好的分類(lèi)效果，對(duì)小數(shù)據(jù)集也有良好的擴(kuò)展能力。遷移學(xué)習(xí)應(yīng)用到腦電分析領(lǐng)域，將預(yù)先訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行微調(diào)，讓它對(duì)新任務(wù)進(jìn)行學(xué)習(xí)，需要通過(guò)以下幾個(gè)步驟實(shí)現(xiàn)：（1）由于VGGNet的輸入要求是224×224的RGB圖像，所以需要先把腦電信號(hào)從一維的時(shí)間序列轉(zhuǎn)換為224×224的二維圖片，實(shí)現(xiàn)方法可以參考本文1.3節(jié)。（2）選擇一個(gè)預(yù)先訓(xùn)練好的VGG網(wǎng)絡(luò)。（3）使用新數(shù)據(jù)集訓(xùn)練好的網(wǎng)絡(luò)層替換原來(lái)訓(xùn)練好的VGGNet的最后面幾層，并指定輸出層的分類(lèi)數(shù)。（4）選擇合適的優(yōu)化器、初始學(xué)習(xí)率和batchsize等一些訓(xùn)練參數(shù)并訓(xùn)練模型。提出了另一種方法，使用預(yù)先訓(xùn)練的網(wǎng)絡(luò)直接從指定層中提取圖像特征，并使用SVM分類(lèi)器對(duì)特征進(jìn)行分類(lèi)，也得到了比較好的準(zhǔn)確率。２基于深度信念網(wǎng)絡(luò)的運(yùn)動(dòng)想象腦電識(shí)別方法2.1深度信念網(wǎng)絡(luò)2.1.1深度信念網(wǎng)絡(luò)概述深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetwork，DNN）和簡(jiǎn)單神經(jīng)網(wǎng)絡(luò)架構(gòu)上相似，但因其能對(duì)網(wǎng)絡(luò)輸入和輸出之間復(fù)雜的非線性關(guān)系進(jìn)行靈活、高階的建模而備受關(guān)注。DNN也存在一些問(wèn)題，當(dāng)神經(jīng)網(wǎng)絡(luò)的層數(shù)增加時(shí)，模型參數(shù)迅速增長(zhǎng)，帶來(lái)了模型訓(xùn)練時(shí)間長(zhǎng)、反向傳播過(guò)程容易出現(xiàn)梯度消失且需要大量訓(xùn)練樣本等一些缺點(diǎn)。為了解決深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練問(wèn)題，2006年提出了DBN，其通過(guò)逐層訓(xùn)練的方式解決了深層網(wǎng)絡(luò)的上述問(wèn)題。DBN的優(yōu)勢(shì)在于通過(guò)無(wú)監(jiān)督逐層訓(xùn)練的預(yù)訓(xùn)練方法，可以在不需要帶標(biāo)簽數(shù)據(jù)的情況下生成模型權(quán)重，且逐層訓(xùn)練的方式大大減少了計(jì)算量。預(yù)訓(xùn)練結(jié)束后對(duì)帶標(biāo)簽的數(shù)據(jù)使用BP算法可以對(duì)模型的性能進(jìn)行調(diào)優(yōu)，這在沒(méi)有大量標(biāo)簽數(shù)據(jù)的情況下非常有效。2.1.2限制玻爾茲曼機(jī)DBN是由多個(gè)限制玻爾茲曼機(jī)（Restricted

BoltzmannMachines，RBM）組成的，從底層到頂層逐層訓(xùn)練。RBM具體分為兩個(gè)層次，分別是可視層和隱藏層，其中可視層用于接收輸入的訓(xùn)練數(shù)據(jù)，隱藏層用于提取特征，且具有層內(nèi)無(wú)連接、層間進(jìn)行全連接的特點(diǎn)。具體的逐層訓(xùn)練過(guò)程：（1）最底層的RBM接收輸入層的原始訓(xùn)練數(shù)據(jù)，經(jīng)過(guò)訓(xùn)練提取特征；（2）前一層RBM提取到的特征作為下一層RBM的輸入繼續(xù)訓(xùn)練。于是將DBN復(fù)雜的訓(xùn)練過(guò)程簡(jiǎn)化成對(duì)多個(gè)RBM進(jìn)行訓(xùn)練。2.2基于微分熵的DBN熵是熱力學(xué)中表征物理狀態(tài)的度量之一，其物理意義是表示體系的混亂程度。在信息論中，信息熵表示了信號(hào)的不確定性程度，是系統(tǒng)內(nèi)信息含量的量化指標(biāo)。對(duì)于腦電信號(hào)這類(lèi)隨機(jī)性、不確定性強(qiáng)的信號(hào)而言，信號(hào)的具體取值具有很大的不確定性，因此信息熵可以作為腦電信號(hào)所攜帶信息量的度量。微分熵是一種連續(xù)隨機(jī)變量的熵，用來(lái)度量連續(xù)隨機(jī)變量的復(fù)雜度。對(duì)于一定長(zhǎng)度的腦電信號(hào)序列，它在某一頻段的微分熵等價(jià)于它在該頻段的能量譜的對(duì)數(shù)值，而取對(duì)數(shù)可以在一定程度上平衡高、低頻帶能量特征值之間懸殊的差距，因此使用微分熵特征作為DBN的輸入比傅里葉變換直接得到的能量譜特征更能降低由于能量懸殊的差距給后續(xù)計(jì)算帶來(lái)的誤差。2.3基于小波包分析的DBN小波包分解（WaveletPacketDecomposition，WPD）是在WT的基礎(chǔ)上發(fā)展起來(lái)的，它克服了WT在高頻段頻率分辨率較差、低頻段時(shí)間分辨率較差的問(wèn)題，可以對(duì)中、高頻信號(hào)進(jìn)行更好的時(shí)頻局部化的分析，是一種更精細(xì)的時(shí)頻分析方法。同時(shí)，WPD繼承了WT的優(yōu)點(diǎn)，可以根據(jù)被分析信號(hào)的特點(diǎn)，自適應(yīng)選擇合適的頻帶與被分析信號(hào)相匹配，提高信號(hào)的分析能力。小波包分析方法利用多次迭代對(duì)原信號(hào)進(jìn)行多尺度的小波包分解，再對(duì)小波包子空間的高頻和低頻信息同時(shí)進(jìn)行分解。選取合適的小波基函數(shù)和尺度因子是能夠提取到有效腦電特征的保障，且往往需要在實(shí)驗(yàn)中不斷進(jìn)行調(diào)整。小波包分析方法可以以小波系數(shù)的對(duì)數(shù)值、均值、方差值等作為特征，也可以提取多尺度的空間能量特征將其作為DBN的輸入。提出了一種頻域深度信念網(wǎng)絡(luò)（FrequentialDBN，F(xiàn)DBN）用于對(duì)MI任務(wù)進(jìn)行分類(lèi)。該模型首先使用快速傅里葉變換（FastFourierTransform，F(xiàn)FT）和WPD提取EEG信號(hào)的頻域特征，并將這些特征作為DBN的輸入去訓(xùn)練DBN網(wǎng)絡(luò)。結(jié)果表明，F(xiàn)DBN的性能得到了顯著提升，并且對(duì)同一被試者跨會(huì)話的MI-EEG信號(hào)分類(lèi)具有比較好的效果。３基于循環(huán)神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)想象腦電識(shí)別方法3.1循環(huán)神經(jīng)網(wǎng)絡(luò)3.1.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述在傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型中，都是從輸入層經(jīng)過(guò)隱藏層，然后再到輸出層，層間的節(jié)點(diǎn)是沒(méi)有連接的，也不會(huì)保存任何狀態(tài)信息。而循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一種特殊的神經(jīng)網(wǎng)絡(luò)，其核心部分是循環(huán)單元進(jìn)行鏈?zhǔn)竭B接，對(duì)每一次輸出信息都進(jìn)行記憶并且作用于下一次輸出的計(jì)算中，隱藏層之間的節(jié)點(diǎn)建立起了連接，給定了當(dāng)前輸入的上下文環(huán)境，對(duì)于處理時(shí)間序列問(wèn)題有比較好的效果。因此，將RNN應(yīng)用到腦電分析識(shí)別任務(wù)中。RNN可以在預(yù)處理階段增強(qiáng)EEG信號(hào)，從而提高BCI性能，且RNN不會(huì)對(duì)混合在待濾波信號(hào)中的噪聲性質(zhì)做任何假設(shè)，因此十分適合處理EEG信號(hào)這樣的混合著未知特性噪聲的信號(hào)。RNN的輸入可以是原始的腦電信號(hào)，也可以是提取的腦電特征。3.1.2長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)1991年，提出了RNN有長(zhǎng)期依賴的問(wèn)題，在對(duì)長(zhǎng)序列進(jìn)行學(xué)習(xí)時(shí)，RNN會(huì)出現(xiàn)梯度消失和梯度爆炸現(xiàn)象。為解決這一問(wèn)題，提出了一個(gè)結(jié)合基于梯度的學(xué)習(xí)算法的新型循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，即長(zhǎng)短時(shí)記憶（LongShortTermMemory，LSTM）神經(jīng)網(wǎng)絡(luò)，其特點(diǎn)是在標(biāo)準(zhǔn)RNN網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上引入了一個(gè)由sigmoid層和點(diǎn)積操作構(gòu)成的門(mén)單元（遺忘門(mén)、輸入門(mén)、輸出門(mén)）。實(shí)現(xiàn)LSTM需要經(jīng)過(guò)4步：（1）通過(guò)遺忘門(mén)將當(dāng)前輸入和前層輸出信息中選擇性丟棄一些信息；（2）通過(guò)輸入門(mén)的sigmoid層決定哪些是需要更新的信息，tanh層生成需要更新的內(nèi)容；（3）更新細(xì)胞狀態(tài)；（4）通過(guò)輸出門(mén)輸出基于細(xì)胞狀態(tài)過(guò)濾后的部分。LSTM通過(guò)控制上層輸出和當(dāng)前輸入的記憶和遺忘程度選擇性存儲(chǔ)信息，因此能實(shí)現(xiàn)長(zhǎng)時(shí)記憶的效果。使用多層感知機(jī)（MultilayerPerceptron，MLP）和LSTM模型對(duì)手腳運(yùn)動(dòng)想象任務(wù)的數(shù)據(jù)進(jìn)行分類(lèi)，結(jié)果表明LSTM具有更好的性能。Wang等人提出使用一維聚合近似（1d-AX）提取的MI腦電特征作為L(zhǎng)STM網(wǎng)絡(luò)的輸入的AX-LSTM模型具有較好的分類(lèi)性能。3.2BLSTM1997年，提出了具有深度結(jié)構(gòu)的雙向遞歸神經(jīng)網(wǎng)絡(luò)（BidirectionalRNN，BRNN），它可以在兩個(gè)時(shí)間方向上訓(xùn)練網(wǎng)絡(luò)并且同時(shí)最小化兩個(gè)時(shí)間方向上的目標(biāo)函數(shù)，真正意義上給出了當(dāng)前輸入的上下文環(huán)境。雙向和門(mén)單元的特點(diǎn)大大提高了RNN的學(xué)習(xí)能力。在此基礎(chǔ)上，2005年提出了雙向長(zhǎng)短時(shí)記憶（BidirectionaLSTM，BLSTM）網(wǎng)絡(luò)，即把具有門(mén)機(jī)制的LSTM和雙向遞歸的BRNN結(jié)合起來(lái)，從而能夠獲得長(zhǎng)時(shí)的上下文信息，更有利于RNN網(wǎng)絡(luò)的學(xué)習(xí)。BLSTM把從兩個(gè)時(shí)間方向處理信號(hào)得到的特征向量組合起來(lái)用于識(shí)別EEG信號(hào)狀態(tài)的特征，這樣的結(jié)構(gòu)能夠使在線系統(tǒng)更加準(zhǔn)確地捕捉到運(yùn)動(dòng)想象事件發(fā)生的起點(diǎn)和終點(diǎn)，有利于連續(xù)腦電信號(hào)的識(shí)別與分析。使用BLSTM對(duì)左右手運(yùn)動(dòng)想象任務(wù)進(jìn)行分類(lèi)并取得了不錯(cuò)的效果。使用標(biāo)準(zhǔn)LSTM和BLSTM的并行網(wǎng)絡(luò)來(lái)學(xué)習(xí)EEG信號(hào)的時(shí)空信息，充分利用了有限的數(shù)據(jù)并且在試驗(yàn)之間具有更好的泛化能力。3.3基于共空間模式的LSTM基于空間濾波的深度學(xué)習(xí)是通過(guò)空間濾波提取EEG通道間的差異性作為神經(jīng)網(wǎng)絡(luò)的輸入。最常見(jiàn)的應(yīng)用于MI任務(wù)的空間濾波方式是共空間模式（CommonSpatialPattern，CSP）。提出了一種結(jié)合CSP和LSTM網(wǎng)絡(luò)對(duì)MI任務(wù)進(jìn)行分類(lèi)的模型，該模型的主要工作流程是通過(guò)滑動(dòng)窗口從空間濾波后的數(shù)據(jù)中獲取時(shí)間序列，并將其作為L(zhǎng)STM網(wǎng)絡(luò)的輸入。由于腦電信號(hào)中常常存在一些與任務(wù)無(wú)關(guān)的噪聲和其他非任務(wù)相關(guān)活動(dòng)（比如眼電、肌電信號(hào)等），這些信號(hào)對(duì)MI任務(wù)的精確分類(lèi)造成了比較大的影響，而該模型證明了對(duì)含非任務(wù)相關(guān)活動(dòng)的不同MI任務(wù)進(jìn)行實(shí)時(shí)分類(lèi)的有效性。CSP是一種監(jiān)督學(xué)習(xí)方法，訓(xùn)練樣本是兩組含標(biāo)簽的腦電數(shù)據(jù)。CSP的目標(biāo)是通過(guò)適當(dāng)?shù)木仃囎儞Q，將高維的腦電信號(hào)轉(zhuǎn)換到低維子空間，得到的一個(gè)最優(yōu)矩陣可以最大化兩類(lèi)數(shù)據(jù)的方差。具體實(shí)現(xiàn)步驟是通過(guò)對(duì)每組訓(xùn)練數(shù)據(jù)求平均協(xié)方差矩陣，然后對(duì)公共協(xié)方差矩陣進(jìn)行主成分分解、白化等操作，將生成的白化矩陣作用于兩類(lèi)訓(xùn)練數(shù)據(jù)的平均協(xié)方差矩陣，使得兩類(lèi)訓(xùn)練數(shù)據(jù)方差最大化，此時(shí)兩組腦電信號(hào)具備了區(qū)分的特征。再通過(guò)主成分分解等操作得到公共特征矩陣W，利用矩陣W得到投影矩陣。最后將投影矩陣作用到原始腦電信號(hào)上，得到腦電特征數(shù)據(jù)。測(cè)試數(shù)據(jù)通過(guò)公共空間濾波器能夠?qū)崿F(xiàn)兩類(lèi)數(shù)據(jù)的協(xié)方差最大化，即一類(lèi)方差最大，一類(lèi)方差最小，得到的特征向量增強(qiáng)了兩類(lèi)數(shù)據(jù)的差別。采用近似聯(lián)合對(duì)角化（Joint

ApproximateDiagonalization，JAD）方法可以將兩類(lèi)CSP方法推廣到多類(lèi)CSP方法。４混合型網(wǎng)絡(luò)單一的深度學(xué)習(xí)模型不能滿足對(duì)EEG信號(hào)進(jìn)行全面分析的要求，除了其他方法和深度學(xué)習(xí)結(jié)合，這三大深度學(xué)習(xí)算法之間也進(jìn)行一定程度的結(jié)合，從而更好地進(jìn)行EEG信號(hào)的分析。在MI的分類(lèi)識(shí)別任務(wù)中，CNN和RNN是實(shí)際應(yīng)用中采用最多的深度網(wǎng)絡(luò)