腦機接口概述課件

2021/3/151腦-機接口概述2021/3/151腦-機接口概述2021/3/152研究背景肌萎縮性脊髓側(cè)索硬化癥腦中風腦或脊髓損傷腦癱其他疾病2021/3/152研究背景肌萎縮性脊髓側(cè)索硬化癥2021/3/153腦-機接口的定義腦機接口（英語:brain-computerinterface,簡稱BCI;有時也稱作directneuralinterface或者brain-machineinterface）,是在人或動物腦與外部設(shè)備間創(chuàng)建的直接連接通路。不依賴于腦的正常輸出通路(外周神經(jīng)系統(tǒng)及肌肉組織)的腦-機(計算機或其它裝置)通訊系統(tǒng)。2021/3/153腦-機接口的定義腦機接口（英語:brai2021/3/154第一章緒論----研究背景2021/3/154第一章緒論----研究背景2021/3/155BCI的基本構(gòu)成信號采集信號預處理特征提取分類外部設(shè)備2021/3/155BCI的基本構(gòu)成信號信號特征提取分類2021/3/156腦電記錄方法功能核磁共振（fMRI）近紅外線成像（fNIR)腦磁圖(MEG）正電子發(fā)射斷層成像（PET）腦電圖（EEG）2021/3/156腦電記錄方法功能核磁共振（fMRI）2021/3/157BCI分類基于視覺誘發(fā)電位的BCI基于P300信號的BCI基于皮層慢電位的BCI基于感知運動節(jié)律的BCI2021/3/157BCI分類基于視覺誘發(fā)電位的BCI2021/3/158基于視覺誘發(fā)電位的BCI研究表明,當受到一個固定頻率的視覺刺激的時候,人的大腦視覺皮層會產(chǎn)生一個連續(xù)的與刺激頻率有關(guān)(刺激頻率的基頻或倍頻處)的響應。這個響應被稱為穩(wěn)態(tài)視覺誘發(fā)電位(Steady-StateVisualEvokedPotentials,SSVEP),它可以可靠的應用于腦-機接口系統(tǒng)(BCIs)。2021/3/158基于視覺誘發(fā)電位的BCI研究表明,當受到2021/3/159目前使用較多的是ssVEP,典型的研究機構(gòu)有美國wrightPatterson空軍基地和清華大學。wrightPatterson空軍基地的McMillan和Calhoun對SSVEP進行了研究,并利用SSVEP實現(xiàn)了對飛行模擬器的控制。國內(nèi)清華大學在VEP這方面取得了一定的成績,開發(fā)了基于ssVEP的BCI系統(tǒng),該系統(tǒng)能夠通過腦電信號控制空調(diào)和電視,甚至啟動語音播放器和撥打電話等;他們又利用VEP成功開發(fā)出一套“腦控電話撥號系統(tǒng)”。國內(nèi)重慶大學何慶華等人一。設(shè)計了基于同頻次復合刺激方式的腦機接口系統(tǒng)。2021/3/159目前使用較多的是ssVEP,典型的研究機2021/3/1510清華大學腦機接口用“思維”來控制電器開關(guān)和物體移動,這種科幻電影里面的景象如今被我國科學家通過“腦機接口技術(shù)”變成了現(xiàn)實。現(xiàn)在做的測試是用“思維”來撥打電話。測試者只需盯著鍵盤上某個按不同頻率在閃爍的數(shù)字,電腦就會自動把這個數(shù)字撥出來。2021/3/1510清華大學腦機接口用“思維”來控制電器開2021/3/15112021/3/15112021/3/1512基于P300信號的BCIERP是人類受到某種外界刺激或進行特殊心理活動時,因腦神經(jīng)元活動而產(chǎn)生的特定EEG變化．P300一ERP是由小概率事件(視覺、聽覺、觸覺等形式)誘發(fā)的一種ERP,因?qū)谑录l(fā)生約300毫秒后EEG中的一個正電位波形而得名．基于P300電位的BCI利用特定的事件刺激序列,誘發(fā)使用者的P300電位,通過P300的發(fā)生時刻來判斷用戶的意識活動．這種類型的BCI特別適合從多個選項中選擇一個目標的操作2021/3/1512基于P300信號的BCIERP是人類受2021/3/15132021/3/15132021/3/1514基于皮層慢電位的BCI皮層慢電位（SCP）是持續(xù)時間為幾百毫秒到幾秒的皮層電位變化,是腦電信號中從300毫秒持續(xù)到幾秒鐘的大的負電位或正電位,能反映皮層I和II層的興奮性,被試通過反饋訓練學習,可以自主控制SCP幅度產(chǎn)生正向或負向偏移。健康人可以經(jīng)過訓練控制大腦中慢皮層電位的變化,平靜時為正向,進行某種心理活動時為負向,這被稱為慢皮層電位的自調(diào)整。2021/3/1514基于皮層慢電位的BCI皮層慢電位（SC2021/3/1515基于感知運動節(jié)律的BCI運動感知節(jié)律由

和

節(jié)律組成,它們是腦活動位于

頻帶（7-13赫茲）,

頻帶（13-30赫茲）的波動。大腦的活動和運動任務相關(guān)的時候,感覺運動節(jié)律會發(fā)生改變,更為重要的是,僅僅是進行運動想象也會反應在感覺運動節(jié)律的變化當中。2021/3/1515基于感知運動節(jié)律的BCI運動感知節(jié)律由2021/3/1516事件相關(guān)去同步/同步當執(zhí)行或僅僅是想象運動時,通常會伴隨著特定頻率帶能量的降低,這種現(xiàn)象被命名為事件相關(guān)去同步（Event-relateddesynchronization,ERD）;相反的,運動之后能量的增加則意味著事件相關(guān)同步（Event-relatedsynchronization,ERS）現(xiàn)象的發(fā)生。2021/3/1516事件相關(guān)去同步/同步當執(zhí)行或僅僅是想象2021/3/15172021/3/15172021/3/15182021/3/15182021/3/15192021/3/15192021/3/15202021/3/15202021/3/15212021/3/15212021/3/1522ThedatashowthathandmotorimageryinducedinasignificantmuERDinallsubjects,whereasfootand/ortonguemotorimageryrevealedasignificantERSinanumberofsubjectsonly.Themostreactivefrequencycomponentsvariedbetween9and14Hzandarefoundatallcentralelectrodepositionsandmotortasks.2021/3/1522Thedatashowthat2021/3/1523目前比較著名的基于運動想象的BCI研究有WadsworthBCI,BerlinBCI,GrazBCI等2021/3/1523目前比較著名的基于運動想象的BCI研究2021/3/1524幾個比較著名的腦-機接口奧地利Graz理工大學Pfurtscheller等人采用事件相關(guān)同步/去同步電位作為BCI信號輸入。在這套系統(tǒng)中,受試者可以控制光標的移動。視頻2021/3/1524幾個比較著名的腦-機接口奧地利Graz2021/3/1525美國Wadsworth中心Wolpaw等人訓練受試者自由調(diào)節(jié)自身節(jié)律,并通過節(jié)律的變化來實現(xiàn)光標移動、字母拼寫和假肢控制等功能。由于靈活控制自身節(jié)律變化比較困難,所以并不是每個受試者都能學會使用這套裝置。2021/3/1525美國Wadsworth中心2021/3/1526德國Tübingen大學Birbaumer等人設(shè)計了一個名為思想翻譯器（ThoughtTranslationDevice,TTD）的裝置,通過慢皮層電位的變化來實現(xiàn)對外界的控制,使用視覺反饋,實現(xiàn)了字母拼寫等功能。2021/3/1526德國Tübingen大學2021/3/1527美國伊利若斯大學Farwell和Donchin采用P300誘發(fā)電位作為BCI信號輸入。在計算機顯示屏上顯示一個6′6包含36個字母的格子,使用者要求選擇一個特定字母,每行和每列都在閃爍,頻率為10Hz,計算對每行和每列閃爍的平均反應,測量P300幅值。對包含特定字母的行和列的反應幅度最大,根據(jù)這個特性就可以從P300誘發(fā)電位中“找到”特定字母。2021/3/1527美國伊利若斯大學2021/3/1528美國Smith-Kettlewell視覺科學研究所Sutter等人設(shè)計的腦反應接口以對視覺刺激反應中所產(chǎn)生的視覺誘發(fā)電位作為BCI信號輸入,通過誘發(fā)電位選擇計算機顯示屏上某一特定部分,進而可以實現(xiàn)選擇的功能。2021/3/1528美國Smith-Kettlewell視2021/3/1529我國清華大學高上凱等人深入分析了穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP）的特征和提取方法,設(shè)計了具有高傳輸速率的基于穩(wěn)態(tài)視覺誘發(fā)電位的腦機接口系統(tǒng),可用于殘疾人的動作控制或環(huán)境設(shè)備控制等領(lǐng)域。2021/3/1529我國清華大學2021/3/15302021/3/15302021/3/1531腦機接口面臨的問題與挑戰(zhàn)目前提出的方法很多,但是不是所有的方法都能在實際的系統(tǒng)中應用,因為真正實用的系統(tǒng)必須能實現(xiàn)實時的在線處理,還要解決個體參數(shù)優(yōu)化、“腦”與“機”交互適應、“休閑狀態(tài)”。2021/3/1531腦機接口面臨的問題與挑戰(zhàn)目前提出的方法2021/3/1532腦電信息的解析信號的實時在線處理個體參數(shù)優(yōu)化的問題腦-機交互適應學習的問題異步的BCI系統(tǒng)工作模式2021/3/1532腦電信息的解析信號的實時在線處理2021/3/1533實用化的系統(tǒng)設(shè)計系統(tǒng)工作穩(wěn)定可靠用戶在使用中方便舒適系統(tǒng)可便攜且價格便宜2021/3/1533實用化的系統(tǒng)設(shè)計系統(tǒng)工作穩(wěn)定可靠2021/3/1534腦-機接口產(chǎn)品2021/3/1534腦-機接口產(chǎn)品2021/3/15352021/3/15352021/3/15362021/3/15362021/3/15372021/3/15372021/3/15382021/3/15382021/3/1539我們BCI所作的工作腦疲勞基于ALPHA波的BCI基于運動想象的BCI基于視覺穩(wěn)態(tài)刺激的BCI2021/3/1539我們BCI所作的工作腦疲勞2021/3/1540腦-機接口概述2021/3/151腦-機接口概述2021/3/1541研究背景肌萎縮性脊髓側(cè)索硬化癥腦中風腦或脊髓損傷腦癱其他疾病2021/3/152研究背景肌萎縮性脊髓側(cè)索硬化癥2021/3/1542腦-機接口的定義腦機接口（英語:brain-computerinterface,簡稱BCI;有時也稱作directneuralinterface或者brain-machineinterface）,是在人或動物腦與外部設(shè)備間創(chuàng)建的直接連接通路。不依賴于腦的正常輸出通路(外周神經(jīng)系統(tǒng)及肌肉組織)的腦-機(計算機或其它裝置)通訊系統(tǒng)。2021/3/153腦-機接口的定義腦機接口（英語:brai2021/3/1543第一章緒論----研究背景2021/3/154第一章緒論----研究背景2021/3/1544BCI的基本構(gòu)成信號采集信號預處理特征提取分類外部設(shè)備2021/3/155BCI的基本構(gòu)成信號信號特征提取分類2021/3/1545腦電記錄方法功能核磁共振（fMRI）近紅外線成像（fNIR)腦磁圖(MEG）正電子發(fā)射斷層成像（PET）腦電圖（EEG）2021/3/156腦電記錄方法功能核磁共振（fMRI）2021/3/1546BCI分類基于視覺誘發(fā)電位的BCI基于P300信號的BCI基于皮層慢電位的BCI基于感知運動節(jié)律的BCI2021/3/157BCI分類基于視覺誘發(fā)電位的BCI2021/3/1547基于視覺誘發(fā)電位的BCI研究表明,當受到一個固定頻率的視覺刺激的時候,人的大腦視覺皮層會產(chǎn)生一個連續(xù)的與刺激頻率有關(guān)(刺激頻率的基頻或倍頻處)的響應。這個響應被稱為穩(wěn)態(tài)視覺誘發(fā)電位(Steady-StateVisualEvokedPotentials,SSVEP),它可以可靠的應用于腦-機接口系統(tǒng)(BCIs)。2021/3/158基于視覺誘發(fā)電位的BCI研究表明,當受到2021/3/1548目前使用較多的是ssVEP,典型的研究機構(gòu)有美國wrightPatterson空軍基地和清華大學。wrightPatterson空軍基地的McMillan和Calhoun對SSVEP進行了研究,并利用SSVEP實現(xiàn)了對飛行模擬器的控制。國內(nèi)清華大學在VEP這方面取得了一定的成績,開發(fā)了基于ssVEP的BCI系統(tǒng),該系統(tǒng)能夠通過腦電信號控制空調(diào)和電視,甚至啟動語音播放器和撥打電話等;他們又利用VEP成功開發(fā)出一套“腦控電話撥號系統(tǒng)”。國內(nèi)重慶大學何慶華等人一。設(shè)計了基于同頻次復合刺激方式的腦機接口系統(tǒng)。2021/3/159目前使用較多的是ssVEP,典型的研究機2021/3/1549清華大學腦機接口用“思維”來控制電器開關(guān)和物體移動,這種科幻電影里面的景象如今被我國科學家通過“腦機接口技術(shù)”變成了現(xiàn)實?，F(xiàn)在做的測試是用“思維”來撥打電話。測試者只需盯著鍵盤上某個按不同頻率在閃爍的數(shù)字,電腦就會自動把這個數(shù)字撥出來。2021/3/1510清華大學腦機接口用“思維”來控制電器開2021/3/15502021/3/15112021/3/1551基于P300信號的BCIERP是人類受到某種外界刺激或進行特殊心理活動時,因腦神經(jīng)元活動而產(chǎn)生的特定EEG變化．P300一ERP是由小概率事件(視覺、聽覺、觸覺等形式)誘發(fā)的一種ERP,因?qū)谑录l(fā)生約300毫秒后EEG中的一個正電位波形而得名．基于P300電位的BCI利用特定的事件刺激序列,誘發(fā)使用者的P300電位,通過P300的發(fā)生時刻來判斷用戶的意識活動．這種類型的BCI特別適合從多個選項中選擇一個目標的操作2021/3/1512基于P300信號的BCIERP是人類受2021/3/15522021/3/15132021/3/1553基于皮層慢電位的BCI皮層慢電位（SCP）是持續(xù)時間為幾百毫秒到幾秒的皮層電位變化,是腦電信號中從300毫秒持續(xù)到幾秒鐘的大的負電位或正電位,能反映皮層I和II層的興奮性,被試通過反饋訓練學習,可以自主控制SCP幅度產(chǎn)生正向或負向偏移。健康人可以經(jīng)過訓練控制大腦中慢皮層電位的變化,平靜時為正向,進行某種心理活動時為負向,這被稱為慢皮層電位的自調(diào)整。2021/3/1514基于皮層慢電位的BCI皮層慢電位（SC2021/3/1554基于感知運動節(jié)律的BCI運動感知節(jié)律由

和

節(jié)律組成,它們是腦活動位于

頻帶（7-13赫茲）,

頻帶（13-30赫茲）的波動。大腦的活動和運動任務相關(guān)的時候,感覺運動節(jié)律會發(fā)生改變,更為重要的是,僅僅是進行運動想象也會反應在感覺運動節(jié)律的變化當中。2021/3/1515基于感知運動節(jié)律的BCI運動感知節(jié)律由2021/3/1555事件相關(guān)去同步/同步當執(zhí)行或僅僅是想象運動時,通常會伴隨著特定頻率帶能量的降低,這種現(xiàn)象被命名為事件相關(guān)去同步（Event-relateddesynchronization,ERD）;相反的,運動之后能量的增加則意味著事件相關(guān)同步（Event-relatedsynchronization,ERS）現(xiàn)象的發(fā)生。2021/3/1516事件相關(guān)去同步/同步當執(zhí)行或僅僅是想象2021/3/15562021/3/15172021/3/15572021/3/15182021/3/15582021/3/15192021/3/15592021/3/15202021/3/15602021/3/15212021/3/1561ThedatashowthathandmotorimageryinducedinasignificantmuERDinallsubjects,whereasfootand/ortonguemotorimageryrevealedasignificantERSinanumberofsubjectsonly.Themostreactivefrequencycomponentsvariedbetween9and14Hzandarefoundatallcentralelectrodepositionsandmotortasks.2021/3/1522Thedatashowthat2021/3/1562目前比較著名的基于運動想象的BCI研究有WadsworthBCI,BerlinBCI,GrazBCI等2021/3/1523目前比較著名的基于運動想象的BCI研究2021/3/1563幾個比較著名的腦-機接口奧地利Graz理工大學Pfurtscheller等人采用事件相關(guān)同步/去同步電位作為BCI信號輸入。在這套系統(tǒng)中,受試者可以控制光標的移動。視頻2021/3/1524幾個比較著名的腦-機接口奧地利Graz2021/3/1564美國Wadsworth中心Wolpaw等人訓練受試者自由調(diào)節(jié)自身節(jié)律,并通過節(jié)律的變化來實現(xiàn)光標移動、字母拼寫和假肢控制等功能。由于靈活控制自身節(jié)律變化比較困難,所以并不是每個受試者都能學會使用這套裝置。2021/3/1525美國Wadsworth中心2021/3/1565德國Tübingen大學Birbaumer等人設(shè)計了一個名為思想翻譯器（ThoughtTranslationDevice,TTD）的裝置,通過慢皮層電位的變化來實現(xiàn)對外界的控制,使用視覺反饋,實現(xiàn)了字母拼寫等功能。2021/3/1526德國Tübingen大學2021/3/1566美國伊利若斯大學Farwell和Donchin采用P300誘發(fā)電位作為BCI信號輸入。在計算機顯示屏上顯示一個6′6包含36個字母的格子,使用者要求選擇一個特定字母,每行和每列都在閃爍,頻率為10Hz,計算對每行和每列閃爍的平均反應,測量P300幅值。對包含特定字母的行和列的反應幅度最大,根據(jù)這個特性就可以從P300誘發(fā)