腦電與肌電聯(lián)合控制鼠標(biāo)的方法

(19)中華人民共和國國家知識產(chǎn)權(quán)局(12)發(fā)明專利說明書(10)申請公布號CN101776981A

(43)申請公布日2010.07.14(21)申請?zhí)朇N201010031318.8(22)申請日2010.01.07(71)申請人天津大學(xué)地址300072天津市南開區(qū)衛(wèi)津路92號天津大學(xué)(72)發(fā)明人明東朱譽(yù)環(huán)綦宏志程龍龍萬柏坤(74)專利代理機(jī)構(gòu)天津市北洋有限責(zé)任專利代理事務(wù)所代理人程毓英(51)Int.CI G06F3/048

G06F3/01

G06F3/038權(quán)利要求說明書說明書幅圖(54)發(fā)明名稱 腦電與肌電聯(lián)合控制鼠標(biāo)的方法(57)摘要 本發(fā)明屬于生物醫(yī)學(xué)工程及計(jì)算機(jī)技術(shù)領(lǐng)域，涉及一種腦電與肌電聯(lián)合控制鼠標(biāo)的方法：選擇適當(dāng)?shù)念^皮導(dǎo)聯(lián)電極采集操作者的腦電和肌電信號數(shù)據(jù)，并將其輸入計(jì)算機(jī)鼠標(biāo)控制接口系統(tǒng)，操作者根據(jù)計(jì)算機(jī)屏幕光標(biāo)循環(huán)控制指示顯示的運(yùn)動方向，通過想象手部運(yùn)動來確定方向，模擬光標(biāo)移動過程；當(dāng)光標(biāo)移動到目標(biāo)時(shí)，咬牙確定選擇，模擬鼠標(biāo)點(diǎn)擊過程。本發(fā)明實(shí)現(xiàn)全新的無肢體動作控制計(jì)算機(jī)鼠標(biāo)過程，可讓全身性重癥癱瘓但頭腦功能正常的殘疾人自行實(shí)現(xiàn)對計(jì)算機(jī)屏幕鼠標(biāo)光標(biāo)運(yùn)動的智能控制操作，依托于腦-機(jī)接口這個(gè)平臺并結(jié)合頭皮肌電，可以顯著提高控制速率和正確率。法律狀態(tài)法律狀態(tài)公告日法律狀態(tài)信息法律狀態(tài)

權(quán)利要求說明書1.一種腦電與肌電聯(lián)合控制鼠標(biāo)的方法，其特征在于，包括下列步驟：

(1)在操作者頭后部C3、C4導(dǎo)聯(lián)處放置電極來檢測腦電信號，在T5處放置電極檢測咬牙頭皮肌電信號；

(2)在計(jì)算機(jī)屏幕上顯示表征靜息不進(jìn)行想象動作的訓(xùn)練界面，對操作者進(jìn)行靜息訓(xùn)練，并對采集的腦電信號進(jìn)行功率譜分析，將8-13Hz的功率譜的平均值作為特征值，提取多組特征值；

(3)在計(jì)算機(jī)屏幕上顯示表征想象手部運(yùn)動的訓(xùn)練界面，對操作者進(jìn)行想象手部運(yùn)動訓(xùn)練，并對采集的腦電信號進(jìn)行功率譜分析，將8-13Hz的功率譜的平均值作為特征值，提取多組特征值；

(4)在計(jì)算機(jī)屏幕上劃分目標(biāo)選擇區(qū)和鼠標(biāo)方向選擇區(qū)，進(jìn)入鼠標(biāo)控制階段；

(5)在鼠標(biāo)方向選擇區(qū)里顯示表征控制鼠標(biāo)移動各個(gè)方向的不同的圖標(biāo)，由程序循環(huán)控制各個(gè)圖標(biāo)依次突出顯示；

(6)提取操作者在每個(gè)圖標(biāo)突出顯示時(shí)段內(nèi)的腦電信號，對測得的數(shù)據(jù)進(jìn)行功率譜分析，提取8-13Hz的功率譜的平均值作為特征值，依據(jù)步驟(2)和(3)的訓(xùn)練結(jié)果，根據(jù)馬氏距離判別法進(jìn)行判斷，如果判斷為想象手部運(yùn)動，則在目標(biāo)選擇區(qū)內(nèi)，將鼠標(biāo)在目標(biāo)選擇區(qū)內(nèi)向圖標(biāo)指示方向移動，否則，鼠標(biāo)不移動；

(7)當(dāng)鼠標(biāo)移動到目標(biāo)區(qū)域后，計(jì)算T5導(dǎo)聯(lián)處頭皮肌電信號的能量譜，并讀取其中頻30-35Hz處能量值，若高于所設(shè)定的閾值，則表示該目標(biāo)就是操作者選擇的目標(biāo)，進(jìn)行確定選擇，否則，不進(jìn)行操作；

(8)重復(fù)步驟(6)和(7)，實(shí)現(xiàn)鼠標(biāo)移動和確認(rèn)控制。

2.根據(jù)權(quán)利要求1所述的腦電與肌電聯(lián)合控制鼠標(biāo)的方法，其特征在于，把操作者靜息時(shí)腦電信號8-13Hz的能量值，即該段功率譜的平均值，記為V_open，咬牙時(shí)肌電信號30-35Hz處能量值記為V_close，其差值記為V_d，則步驟(7)中確定選擇的

閾值V_ref按下面公式計(jì)算：V_ref＝V_open+0.5V_d。

說明書技術(shù)領(lǐng)域

本發(fā)明涉及一種智能鼠標(biāo)控制方法，屬于生物醫(yī)學(xué)工程及計(jì)算機(jī)技術(shù)領(lǐng)域。

背景技術(shù)

第一次BCI國際會議給出的BCI的定義是：“腦-計(jì)算機(jī)接口(BCI)是一種不依賴于大腦外圍神經(jīng)與肌肉正常輸出通道的通訊控制系統(tǒng)。”它通過采集和分析人的腦電信號，在人腦與計(jì)算機(jī)或其它電子設(shè)備之間建立起直接的交流和控制通道，從而可以不需語言或肢體動作，直接通過控制腦電來表達(dá)意愿或操縱外界設(shè)備。

基本BCI系統(tǒng)如圖1所示，含有操作控制意圖的腦電信號通過電極從頭皮或顱內(nèi)獲得，經(jīng)過信號處理提取反映使用者意圖的腦電信號特征，并將之轉(zhuǎn)化為控制外部設(shè)備的操作命令。目前BCI研究的主要應(yīng)用目標(biāo)是幫助肢體嚴(yán)重癱瘓的殘疾人操縱和使用周邊日常生活工具，以實(shí)現(xiàn)對外界的信息交流和設(shè)備控制。

腦-機(jī)接口作為一種全新的信息交換和控制技術(shù)，將為癱瘓病人，特別是那些喪失了基本肢體運(yùn)動功能但思維正常的患者，提供一種與外界進(jìn)行信息交流和控制的新途徑，正受到越來越多的重視。

發(fā)明人申請的在先專利200610129255.3涉及一種腦-機(jī)接口鼠標(biāo)控制方法，該種控制方法提取采集和提取腦電中alpha(α)波作為特征控制信號，控制計(jì)算機(jī)屏幕鼠標(biāo)光標(biāo)運(yùn)動。但此項(xiàng)專利只是給出了如果提取鼠標(biāo)光標(biāo)移動的腦電控制信號，并沒有給出如何對鼠標(biāo)位置給予確認(rèn)，存在鼠標(biāo)控制不精確的缺陷。

發(fā)明內(nèi)容

本發(fā)明的主旨是克服現(xiàn)有技術(shù)的缺陷，提出一種更為精確的智能鼠標(biāo)控制方法以實(shí)現(xiàn)計(jì)算機(jī)鼠標(biāo)控制的無肢體動作遙控過程。本發(fā)明將腦電和肌電相結(jié)合，比單純的腦-機(jī)接口系統(tǒng)提高了速率和正確率。本發(fā)明可讓全身性重癥癱瘓但頭腦功能正常的殘疾人自行實(shí)現(xiàn)對計(jì)算機(jī)屏幕鼠標(biāo)光標(biāo)運(yùn)動的遙控操作。

為此，本發(fā)明采用如下的技術(shù)方案：

一種腦電與肌電聯(lián)合控制鼠標(biāo)的方法，包括下列步驟：

(1)在操作者頭后部C3、C4導(dǎo)聯(lián)處放置電極來檢測腦電信號，在T5處放置電極檢測咬牙頭皮肌電信號；

(2)在計(jì)算機(jī)屏幕上顯示表征靜息不進(jìn)行想象動作的訓(xùn)練界面，對操作者進(jìn)行靜息訓(xùn)練，并對采集的腦電信號進(jìn)行功率譜分析，將8-13Hz的功率譜的平均值作為特征值，提取多組特征值；

(3)在計(jì)算機(jī)屏幕上顯示表征想象手部運(yùn)動的訓(xùn)練界面，對操作者進(jìn)行想象手部運(yùn)動訓(xùn)練，并對采集的腦電信號進(jìn)行功率譜分析，將8-13Hz的功率譜的平均值作為特征值，提取多組特征值；

(4)在計(jì)算機(jī)屏幕上劃分目標(biāo)選擇區(qū)和鼠標(biāo)方向選擇區(qū)，進(jìn)入鼠標(biāo)控制階段；

(5)在鼠標(biāo)方向選擇區(qū)里顯示表征控制鼠標(biāo)移動各個(gè)方向的不同的圖標(biāo)，由程序循環(huán)控制各個(gè)圖標(biāo)依次突出顯示；

(6)提取操作者在每個(gè)圖標(biāo)突出顯示時(shí)段內(nèi)的腦電信號，對測得的數(shù)據(jù)進(jìn)行功率譜分析，提取8-13Hz的功率譜的平均值作為特征值，依據(jù)步驟(2)和(3)的訓(xùn)練結(jié)果，根據(jù)馬氏距離判別法進(jìn)行判斷，如果判斷為想象手部運(yùn)動，則在目標(biāo)選擇區(qū)內(nèi)，將鼠標(biāo)在目標(biāo)選擇區(qū)內(nèi)向圖標(biāo)指示方向移動，否則，鼠標(biāo)不移動；

(7)當(dāng)鼠標(biāo)移動到目標(biāo)區(qū)域后，計(jì)算T5導(dǎo)聯(lián)處頭皮肌電信號的能量譜，并讀取其中頻30-35Hz處能量值，若高于所設(shè)定的閾值，則表示該目標(biāo)就是操作者選擇的目標(biāo)，進(jìn)行確定選擇，否則，不進(jìn)行操作；

(8)重復(fù)步驟(6)和(7)，實(shí)現(xiàn)鼠標(biāo)移動和確認(rèn)控制。

作為優(yōu)選實(shí)施方式，本發(fā)明的智能鼠標(biāo)控制方法，把操作者靜息時(shí)腦電信號8-13Hz的能量值，即該段功率譜的平均值，記為V_open，咬牙時(shí)肌電信號30-35Hz處能量值記為V_close，其差值記為V_d，則步驟(7)中確定選擇的閾值V_ref按下面公式計(jì)算：V_ref＝V_open+0.5Vd。

本發(fā)明提出了一種新的腦電與肌電復(fù)合信源模式控制計(jì)算機(jī)屏幕鼠標(biāo)光標(biāo)運(yùn)動切換方法和裝置，以實(shí)現(xiàn)全新的無肢體動作控制計(jì)算機(jī)鼠標(biāo)過程，可讓全身性重癥癱瘓但頭腦功能正常的殘疾人自行實(shí)現(xiàn)對計(jì)算機(jī)屏幕鼠標(biāo)光標(biāo)運(yùn)動的智能控制操作，依托于腦-機(jī)接口這個(gè)平臺并結(jié)合頭皮肌電，可以顯著提高控制速率和正確率。

附圖說明

圖1BCI系統(tǒng)及其控制框圖。

圖2BCI控制系統(tǒng)結(jié)構(gòu)框圖。

圖3計(jì)算機(jī)屏幕顯示的操作界面，(a)為靜息不進(jìn)行想象動作訓(xùn)練界面，(b)為出現(xiàn)箭頭的時(shí)候則想象手部運(yùn)動訓(xùn)練界面。

圖4計(jì)算機(jī)屏幕顯示的操作界面。

圖5計(jì)算機(jī)屏幕顯示的目標(biāo)選擇畫面。

圖6(a)、(b)、(c)、(d)四個(gè)圖分別為第1，2，3，4時(shí)刻光標(biāo)顯示位置示意圖。

圖7鼠標(biāo)移動流程圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例對本發(fā)明做進(jìn)一步說明。

本發(fā)明選用具有ERD特征的腦電和咬牙產(chǎn)生的肌電作為特征控制信號。當(dāng)人對肢體動作進(jìn)行想象的時(shí)候動態(tài)腦電信號特征頻段功率譜密度就會發(fā)生改變，其中功率譜比率下降稱為ERD，通常在10~11Hz最為明顯，由此可以利用大腦在進(jìn)行想象動作思維時(shí)所引發(fā)的ERD現(xiàn)象作為思維活動對刺激事件有效應(yīng)答的標(biāo)志。而咬牙所產(chǎn)生的肌電具有特征頻段明顯，信號產(chǎn)生速度快，分辨正確率高的特點(diǎn)。本發(fā)明將想象動作ERD和咬牙產(chǎn)生的肌電兩種不同的認(rèn)知原理有機(jī)融合在一起，設(shè)計(jì)了新型雙信源生物電通道的復(fù)合控制方式，通過在操作者頭后部C3、C4導(dǎo)聯(lián)處放置Ag-AgCl電極來檢測腦電ERD特征的變化，提取操作者想象肢體運(yùn)動時(shí)功率譜值的變化特征作為控制信號，實(shí)現(xiàn)對計(jì)算機(jī)屏幕鼠標(biāo)運(yùn)動的控制，并通過在T5處放置電極檢測咬牙頭皮肌電的變化來確定鼠標(biāo)的選擇，從而有效實(shí)現(xiàn)了腦電鼠標(biāo)的“平面移動”和“點(diǎn)擊確定”兩種基本功能。由于系統(tǒng)操作簡單，一般只需簡單訓(xùn)練就可以控制計(jì)算機(jī)屏幕鼠標(biāo)光標(biāo)運(yùn)動。

圖2為本發(fā)明系統(tǒng)結(jié)構(gòu)示意圖。該系統(tǒng)基于VC++平臺，利用正常人腦電ERD特征和咬牙誘發(fā)的肌電特征計(jì)了相應(yīng)的BCI控制面板、信號采集系統(tǒng)、信號處理平臺來實(shí)現(xiàn)對計(jì)算機(jī)屏幕鼠標(biāo)光標(biāo)運(yùn)動的控制。操作者由計(jì)算機(jī)屏幕光標(biāo)循環(huán)控制指示選擇產(chǎn)生含有相關(guān)控制信息的腦電信號；該信號先經(jīng)腦電放大器放大、濾波，然后輸入計(jì)算機(jī)；然后在計(jì)算機(jī)內(nèi)Vc++平臺上完成去噪、功率譜分析、與門限電壓比較、產(chǎn)生控制脈沖等一系列信號處理工作；最后通過調(diào)用函數(shù)SetCrusorPos使得計(jì)算機(jī)屏幕鼠標(biāo)光標(biāo)在當(dāng)前位置的基礎(chǔ)上向相應(yīng)方向移動適當(dāng)數(shù)目像素以完成對鼠標(biāo)移動，當(dāng)鼠標(biāo)移動到目標(biāo)位置則提取頭皮肌電變化特征作為確定選擇的控制信號，表示此項(xiàng)即為我們的目標(biāo)選項(xiàng)。

本發(fā)明要點(diǎn)在于屏幕光標(biāo)循環(huán)控制指示面板設(shè)計(jì)、利用腦電控制鼠標(biāo)和信號處理流程；頭皮肌電開關(guān)閾值、頻帶選擇等技術(shù)環(huán)節(jié)。

(1)操作界面設(shè)計(jì)、控制鼠標(biāo)和信號處理流程

操作主要分為兩部分：訓(xùn)練部分和控制部分。訓(xùn)練過程的目的在于采集想象和不想象的數(shù)據(jù)，作為控制部分判別信號是否有效的基礎(chǔ)。點(diǎn)擊“訓(xùn)練”按鈕后，進(jìn)入訓(xùn)練界面，訓(xùn)練界面如圖3所示。出現(xiàn)十字的時(shí)候表示靜息不進(jìn)行想象動作，出現(xiàn)箭頭的時(shí)候則想象手部運(yùn)動。當(dāng)想象與不想象的數(shù)據(jù)讀夠10組之后就點(diǎn)擊“開始”進(jìn)入控制階段。在訓(xùn)練的過程中，將想象與非想象的共20組數(shù)據(jù)分別做功率譜分析，然后將8-13Hz的功率譜的平均值提取出來作為特征值，這些特征值作為控制階段分類的基礎(chǔ)。

操作界面分為兩部分，上部分為目標(biāo)選擇區(qū)，下面為鼠標(biāo)方向選擇區(qū)(如圖4)，鼠標(biāo)方向選擇區(qū)有四個(gè)箭頭分別表示上、下、左、右四個(gè)控制移動方向，由相應(yīng)的程序控制循環(huán)現(xiàn)實(shí)。目標(biāo)選擇區(qū)可以模擬通過電腦控制的設(shè)備，當(dāng)我們把鼠標(biāo)移動到該位置的時(shí)候表示選擇該物品，在我們實(shí)驗(yàn)過程中可以通過右下方的菜單來選擇目標(biāo)，選擇后，選擇區(qū)域變色表示為目標(biāo)，然后點(diǎn)擊開始進(jìn)行實(shí)驗(yàn)。

圖6演示了光標(biāo)向右、上、左、下四個(gè)輪流顯示的狀態(tài)(相應(yīng)光標(biāo)為綠色)，每一個(gè)方向的光標(biāo)變?yōu)榫G色時(shí)間持續(xù)4秒。

本發(fā)明控制鼠標(biāo)光標(biāo)流程如下：

(a)界面下方四個(gè)箭頭循環(huán)顯示，每一個(gè)方向停留4秒鐘，將此時(shí)間內(nèi)測得的數(shù)據(jù)進(jìn)行功率譜分析，提取8-13Hz的功率譜的平均值作為特征，然后進(jìn)行分類，如果判斷為進(jìn)行想象則鼠標(biāo)向箭頭指示方向移動一定的距離。

(b)當(dāng)鼠標(biāo)移動到目標(biāo)區(qū)域后計(jì)算T5導(dǎo)聯(lián)中頭皮肌電信號能量譜，并讀取其中頻30-35Hz處能量值，通過信號處理確定其參數(shù)閾值，當(dāng)其能量高于閾值則表示該目標(biāo)就是操作者選擇的目標(biāo)，進(jìn)行確定選擇(目標(biāo)區(qū)域變回白色)。當(dāng)30-35Hz能量于閾值則不進(jìn)行操作。

本發(fā)明是在Vc++平臺上完成的，鼠標(biāo)移動處理流程如圖7所示，先在訓(xùn)練模式下讀取C3、C4導(dǎo)聯(lián)數(shù)據(jù)，然后進(jìn)行功率譜分析，將想象和未進(jìn)行想象的結(jié)果分別存入兩個(gè)數(shù)組，等訓(xùn)練數(shù)據(jù)讀夠十組后開始進(jìn)入控制模式，對數(shù)據(jù)進(jìn)行功率譜分析后分類，判斷為想象則移動鼠標(biāo)，沒有想象則鼠標(biāo)靜止。

(2)模式識別和確定系統(tǒng)參數(shù)

1移動鼠標(biāo)模式識別

對于本發(fā)明來說光標(biāo)移動部分不需要確定參數(shù)，只需要通過訓(xùn)練模式獲得分類的依據(jù)，再通過模式識別判斷是否移動鼠標(biāo)。我們采用的模式識別的分類方法是馬氏距離法，馬氏距離判別法的基本思想是：假設(shè)有兩個(gè)總體G1和G2，x是一個(gè)新樣本點(diǎn)。定義x到G1和G2的馬氏距離：

<maths><math><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>1</mn></msub><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>Σ</mi><mn>1</mn><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow></mrow></math></maths>

<maths><math><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>2</mn></msub><mo>)</mo></mrow><mo>=</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow><mi>T</mi></msup><msubsup><mi>Σ</mi><mn>2</mn><mrow><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><msup><mi>u</mi><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></msup><mo>)</mo></mrow></mrow></math></maths>

其中：u⁽¹⁾、u⁽²⁾、∑₁、∑₂分別為G1和G2的均值和協(xié)方差矩陣。在本發(fā)明中，G1為想象手部動作所提取出的特征的總體，G2為空閑靜息提取特征的總體，x為控制階段新提取的特征值。馬氏距離的優(yōu)點(diǎn)是排除了模式樣本之間的相關(guān)性影響。

構(gòu)造判別公式為：<maths><math><mrow><mi>w</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>1</mn></msub><mo>)</mo></mrow><mtext>-</mtext><msup><mi>d</mi><mn>2</mn></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><msub><mi>G</mi><mn>2</mn></msub><mo>)</mo></mrow></mrow><mn>2</mn></mfrac></mrow></math></maths>構(gòu)造判別規(guī)則為：

當(dāng)判斷為進(jìn)行想象時(shí)則將鼠標(biāo)向箭頭指示方向移動一段距離。

2確定目標(biāo)參數(shù)

對于目標(biāo)確定部分需要確定三個(gè)關(guān)鍵技術(shù)參數(shù)：其一是開關(guān)閾值電壓，其二是動作時(shí)間常數(shù)，對應(yīng)于控制面板上指示燈切換前持續(xù)閃爍的時(shí)間，其三是各種干擾所引起的最大背景噪聲電壓。第一個(gè)參數(shù)反映操作者在安靜和咬牙狀態(tài)下特定頻率能量的差別；第二個(gè)參數(shù)反映操作者咬牙后30-35Hz能量超過閾值所需時(shí)間；第三個(gè)參數(shù)對判斷主控制通道信號是真實(shí)肌電信號還是干擾噪聲具有重要的參考價(jià)值。

一、開關(guān)閾值

把操作者靜息