媒體認(rèn)知實(shí)驗(yàn)課程改革與實(shí)踐.doc

媒體認(rèn)知實(shí)驗(yàn)課程改革與實(shí)踐 楊毅1，徐淑正1，喬飛1，王靖淇2，王生進(jìn)1 （1.清華大學(xué)電子工程系，北京100084；2.英特爾（中國(guó)）有限公司，北京100013） 摘？要：作為實(shí)現(xiàn)人機(jī)交互技術(shù)的必要途徑，媒體認(rèn)知技術(shù)及其領(lǐng)域受到越來越多的關(guān)注，媒體認(rèn)知實(shí)驗(yàn)課程是清華大學(xué)電子信息學(xué)科在課程體系改革過程中創(chuàng)立的一門全新課程。文章通過闡述覆蓋軟件姿勢(shì)操控、安卓平臺(tái)人臉識(shí)別等媒體信息交互基本內(nèi)容的基本項(xiàng)目，以及由學(xué)生自主提出與英特爾RealSense等許多國(guó)際一流技術(shù)接軌的實(shí)際項(xiàng)目如音樂節(jié)奏控制交互、手勢(shì)模擬電腦鍵盤等，旨在激發(fā)學(xué)生對(duì)相關(guān)研究領(lǐng)域的熱情與興趣，進(jìn)一步培養(yǎng)高層次人才的創(chuàng)新能力。 關(guān)鍵詞：媒體認(rèn)知；智能感知；realsense；學(xué)生自主項(xiàng)目 基金項(xiàng)目：英特爾清華xx年媒體與認(rèn)知實(shí)驗(yàn)教學(xué)項(xiàng)目。 第一作者簡(jiǎn)介：楊毅，女，高級(jí)工程師，研究方向?yàn)閿?shù)字信號(hào)處理，yangyymail.tsinghua.。 1媒體認(rèn)知實(shí)驗(yàn)課程簡(jiǎn)介 信息一詞在我國(guó)由來已久，但迄今為止尚未得到普遍接受的有關(guān)廣義信息的定義，信息作為一個(gè)可以用嚴(yán)格數(shù)學(xué)公式定義的科學(xué)名詞，首先出現(xiàn)在統(tǒng)計(jì)數(shù)學(xué)中，隨后又出現(xiàn)在通信技術(shù)中1。文中的信息指的是通信系統(tǒng)中用于傳輸和處理的對(duì)象，特指消息和信號(hào)的具體內(nèi)容和含義。電子信息科學(xué)與技術(shù)是以物理和數(shù)學(xué)為基礎(chǔ)，研究通過電學(xué)形式表達(dá)操控信息的基本規(guī)律以及運(yùn)用這些基本規(guī)律實(shí)現(xiàn)各種電子系統(tǒng)的方法。在進(jìn)入電子時(shí)代和信息社會(huì)的今天，電子信息科學(xué)技術(shù)已滲透到各個(gè)領(lǐng)域2。 xx年，BillGates首次提出“自然用戶界面”（naturaluserinterface）的概念并預(yù)言人機(jī)交互在未來幾年會(huì)有很大的改觀，鍵盤和鼠標(biāo)將會(huì)逐漸被更自然的觸摸式、視覺型以及語(yǔ)音控制界面所替代。與此同時(shí)，“有機(jī)用戶界面”（organicuserinterface）也開始悄然興起，其包括生物識(shí)別傳感器、皮膚顯示器乃至大腦與計(jì)算機(jī)直接對(duì)接，這些技術(shù)無疑都給人類的生活帶來重大影響。隨著計(jì)算機(jī)技術(shù)和傳感器的普遍應(yīng)用，現(xiàn)實(shí)世界也逐漸出現(xiàn)其“數(shù)字版”的一面，而自然人機(jī)交互技術(shù)正是現(xiàn)實(shí)與虛擬世界之間的橋梁。現(xiàn)存的或已經(jīng)比較成熟的人機(jī)交互技術(shù)主要有3-4虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)、多點(diǎn)觸控、語(yǔ)音識(shí)別、眼球追蹤、人臉識(shí)別、體感操作、腦機(jī)界面等。 當(dāng)遇到一個(gè)人的時(shí)候，大腦立即將注意力集中在對(duì)方身上并根據(jù)經(jīng)驗(yàn)辨識(shí)出他的身份，這一過程并不是通過數(shù)百層的決策樹實(shí)現(xiàn)，而是人腦就是知道。嬰兒很難區(qū)分出兩個(gè)人的不同，但我們通過多年的學(xué)習(xí)和訓(xùn)練可以在幾分之一秒內(nèi)做到。事實(shí)上，人腦也許還能準(zhǔn)確地估摸出他們的年齡、性別、心情甚至個(gè)性，這也是讓我們成就為人類的原因之一。媒體認(rèn)知技術(shù)的目的就是創(chuàng)造類似的設(shè)備和方法，主動(dòng)觀察身邊的世界并與人類用戶操作和互動(dòng)，進(jìn)行自主學(xué)習(xí)，甚至可以影響人類產(chǎn)生新的文化和藝術(shù)，徹底改變?nèi)祟悘耐饨鐚W(xué)習(xí)知識(shí)和與外界及其他人類互動(dòng)的手段和方式。 媒體認(rèn)知實(shí)驗(yàn)課程從媒體認(rèn)知技術(shù)出發(fā)，面向電子信息學(xué)科學(xué)生設(shè)立多個(gè)全新的媒體認(rèn)知實(shí)踐項(xiàng)目與環(huán)節(jié)，通過大量實(shí)踐與實(shí)驗(yàn)訓(xùn)練，幫助學(xué)生深刻理解基于數(shù)字信號(hào)處理的媒體認(rèn)知基本理論，培養(yǎng)學(xué)生在真實(shí)環(huán)境下建模和解決問題的能力。此外，自主研究環(huán)節(jié)還可極大地激發(fā)學(xué)生的學(xué)習(xí)熱情，在課內(nèi)外投入大量時(shí)間進(jìn)行媒體認(rèn)知技術(shù)相關(guān)領(lǐng)域的科學(xué)探索和研究。連續(xù)幾年的學(xué)生調(diào)查反饋數(shù)據(jù)表明，媒體認(rèn)知實(shí)驗(yàn)課程提高了學(xué)生的創(chuàng)新能力，對(duì)進(jìn)一步培養(yǎng)高層次人才具有很大的意義。 2媒體認(rèn)知實(shí)驗(yàn)基本項(xiàng)目 人機(jī)交互的實(shí)質(zhì)是媒體信息的交互。虛擬現(xiàn)實(shí)技術(shù)是20世紀(jì)末興起的一種綜合性信息媒體處理前沿技術(shù)，該技術(shù)作為新媒體和新一代人機(jī)交互技術(shù)，給人類帶來了全新的認(rèn)知體驗(yàn)。虛擬現(xiàn)實(shí)技術(shù)采用多通道媒體界面技術(shù)，顯示出未來人機(jī)交互的發(fā)展趨勢(shì)，即追求“人機(jī)和諧”的多維信息空間交互和自然人機(jī)交互。為了實(shí)現(xiàn)以上目標(biāo)，機(jī)器需要通過多種媒體識(shí)別人的身體姿態(tài)、手勢(shì)及語(yǔ)音等，判斷出人的意圖。 2.1軟件姿勢(shì)操控項(xiàng)目 英特爾的RealSense設(shè)備5是一種能通過采集視覺、深度、音頻等多種媒體信息獲得手勢(shì)、語(yǔ)音等表征意圖的智能感知設(shè)備，可以廣泛應(yīng)用于自然互動(dòng)、沉浸式協(xié)作與創(chuàng)作等創(chuàng)新應(yīng)用，能夠幫助開發(fā)人員在游戲、娛樂和內(nèi)容創(chuàng)建交互方面實(shí)現(xiàn)新的突破。通過設(shè)計(jì)基于RealSense的一系列媒體認(rèn)知系統(tǒng)項(xiàng)目，學(xué)生可以對(duì)媒體與認(rèn)知相互作用的內(nèi)涵有更深入的理解。該項(xiàng)目的目標(biāo)是利用RealSense的骨骼節(jié)點(diǎn)跟蹤功能控制幻燈片的播放，免去演講者按鍵進(jìn)行幻燈片切換的過程；同時(shí)根據(jù)同樣的原理，預(yù)定義一些動(dòng)作實(shí)現(xiàn)幻燈片播放過程中需要的其他功能。實(shí)現(xiàn)RealSense控制幻燈片播放的主要方法包括姿勢(shì)（pose）識(shí)別和手勢(shì)（gesture）識(shí)別，這兩種方法的本質(zhì)都是通過骨骼數(shù)據(jù)的分析識(shí)別出已經(jīng)定義好的動(dòng)作，并根據(jù)不同的動(dòng)作觸發(fā)向前、向后、首頁(yè)、尾頁(yè)等按鍵的事件，使得幻燈片能夠切換。不同之處在于姿勢(shì)識(shí)別主要對(duì)單幀數(shù)據(jù)進(jìn)行動(dòng)作識(shí)別，其流程如圖1所示；手勢(shì)識(shí)別需要對(duì)連續(xù)多幀數(shù)據(jù)進(jìn)行動(dòng)作識(shí)別，其流程如圖2所示。 2.2安卓平臺(tái)人臉識(shí)別項(xiàng)目 該項(xiàng)目基于主成分分析（PCA）算法6，利用劍橋大學(xué)AT&T實(shí)驗(yàn)室的ORL人臉數(shù)據(jù)庫(kù)7中的40個(gè)人、每個(gè)人10種姿態(tài)的圖片樣本作為訓(xùn)練集，將二維人臉灰度圖像變換為一向量矩陣，隨后計(jì)算出特征集，將矩陣規(guī)范化后，求出樣本的協(xié)方差矩陣的特征值與向量，選出主成分特征向量，得到樣本的特征矩陣。安卓平臺(tái)人臉識(shí)別的流程如圖3所示。 在訓(xùn)練階段，經(jīng)過預(yù)處理規(guī)范化后的圖像矩陣每一列向量被投影到特征子空間，形成特征庫(kù)。在識(shí)別階段，待識(shí)別人臉圖像經(jīng)過預(yù)處理規(guī)范化后，同樣被投影到特征子空間，使用最近鄰法分類器歐幾里得距離作為判決分類，將距離最小的訓(xùn)練圖像與測(cè)試圖像進(jìn)行匹配。 在具體教學(xué)中，基礎(chǔ)項(xiàng)目環(huán)節(jié)每一層中的實(shí)踐項(xiàng)目都按照知識(shí)點(diǎn)的深度分解為多個(gè)基礎(chǔ)題目，幫助學(xué)生從實(shí)現(xiàn)基礎(chǔ)題目的角度出發(fā)主動(dòng)尋找解決問題需要的各個(gè)知識(shí)點(diǎn)，逐步形成知識(shí)體系結(jié)構(gòu)。廣泛的題材和前沿的題目也激發(fā)了學(xué)生對(duì)相關(guān)領(lǐng)域繼續(xù)深入研究的興趣。 3媒體認(rèn)知實(shí)驗(yàn)自主項(xiàng)目 自主項(xiàng)目是由學(xué)生提出研究題目并全部獨(dú)立設(shè)計(jì)完成的一種教學(xué)方式，在媒體認(rèn)知實(shí)驗(yàn)中作為選修環(huán)節(jié)，在設(shè)計(jì)之初主要考慮和面向部分優(yōu)秀學(xué)生，但在實(shí)際教學(xué)過程中，全部學(xué)生均主動(dòng)積極參與完成了自主項(xiàng)目環(huán)節(jié)。事實(shí)上，在學(xué)生的參與和建議下，部分學(xué)生提出的自主項(xiàng)目的成熟內(nèi)容正在逐步轉(zhuǎn)化為基本項(xiàng)目，這種教學(xué)相長(zhǎng)的方式極大地調(diào)動(dòng)了學(xué)生的參與性、主觀能動(dòng)性和創(chuàng)造性。完成該實(shí)驗(yàn)課程后，許多學(xué)生在研究生階段繼續(xù)從事該媒體認(rèn)知方向的研究工作，部分自主項(xiàng)目如下。 3.1音樂節(jié)奏控制交互 音樂節(jié)奏控制交互類應(yīng)用的目的是根據(jù)音樂節(jié)奏與其提示按下不同的鍵模擬敲打鼓面或者敲打鼓邊，系統(tǒng)根據(jù)敲打鼓面或鼓邊的時(shí)機(jī)判斷該次擊打的得分并綜合得出最終評(píng)價(jià)。通過PC端進(jìn)行音樂節(jié)奏控制交互的主要問題是通過鍵盤無法很好地進(jìn)行“擊鼓”這一類型的人機(jī)交互，人通過按下某個(gè)鍵模仿?lián)艄倪@一動(dòng)作的真實(shí)感太低，不能形成很好的人機(jī)交互的用戶體驗(yàn)。通過RealSense設(shè)備實(shí)現(xiàn)手勢(shì)操作則可以極大提升該游戲的體驗(yàn)度，用戶可以直接通過做出模仿?lián)艄牡氖謩?shì)進(jìn)行操作，增強(qiáng)游戲體驗(yàn)的同時(shí)還能開發(fā)該游戲鍛煉身體的功效。音樂節(jié)奏控制交互項(xiàng)目界面如圖4所示。 3.2手勢(shì)模擬電腦鍵盤 鍵盤作為人類與計(jì)算機(jī)交互的重要工具已經(jīng)有很長(zhǎng)時(shí)間，用鍵盤幾乎可以完成與計(jì)算機(jī)的所有交流活動(dòng)。RealSense作為一種體感感知設(shè)備能夠很好地實(shí)現(xiàn)人體和機(jī)器的交流。手勢(shì)模擬電腦鍵盤的目的是將手勢(shì)與電腦鍵盤一一對(duì)應(yīng)起來，使得用戶進(jìn)行某個(gè)手勢(shì)動(dòng)作就相當(dāng)于在電腦鍵盤上輸入對(duì)應(yīng)的鍵值。具體方案為首先對(duì)RealSense采集到的原始數(shù)據(jù)進(jìn)行判別、加工；接著使用紅外鏡頭提供的骨骼數(shù)據(jù)判斷動(dòng)作類型，發(fā)送不同指令；針對(duì)檢測(cè)到多個(gè)骨骼的問題，采用提取與設(shè)備最近的目標(biāo)作為主要操縱者的辦法提高魯棒性，同時(shí)在窗口繪出彩色視頻流輔助調(diào)試。通過用手勢(shì)替代鍵盤完成一些工作，并采用后臺(tái)客戶端模式進(jìn)行封裝來提高系統(tǒng)易用性，理論上可以無需接觸鍵盤就完成所有鍵盤控制的工作。手勢(shì)模擬電腦鍵盤項(xiàng)目界面如圖5所示。 4結(jié)語(yǔ) 媒體認(rèn)知實(shí)驗(yàn)教學(xué)課程主要涉及的內(nèi)容包括媒體數(shù)據(jù)獲取與人機(jī)交互、生物特征識(shí)別、虛擬交互行為及分析、智能感知與識(shí)別等交叉學(xué)科領(lǐng)域。通過該實(shí)驗(yàn)課程的建立，學(xué)生能夠了解國(guó)際科學(xué)界及工業(yè)界最前沿的媒體認(rèn)知及智能感知技術(shù)熱點(diǎn)和難點(diǎn)問題，掌握利用平臺(tái)的基礎(chǔ)設(shè)施和設(shè)備構(gòu)建并實(shí)施多種解決方案的技能。媒體認(rèn)知實(shí)驗(yàn)作為跨行業(yè)、跨領(lǐng)域、跨學(xué)科的電子信息前沿綜合實(shí)驗(yàn)課程，通過借助智能感知及人機(jī)交互知識(shí)作為工具和手段解決媒體信息處理、虛擬現(xiàn)實(shí)及人機(jī)交互的問題，充分挖掘和激發(fā)理工科背景的學(xué)生在交叉學(xué)科和前沿技術(shù)方面的實(shí)力和潛力，逐步實(shí)現(xiàn)“在傳統(tǒng)信息領(lǐng)域研究?jī)?yōu)勢(shì)的基礎(chǔ)上積極拓展新興學(xué)科，在與能源、環(huán)境、生物等學(xué)科的交叉融合中尋求廣闊的創(chuàng)新空間”1。 參考文獻(xiàn)： 1朱雪龍.應(yīng)用信息論基礎(chǔ)M.北京：清華大學(xué)出版社，xx：1-2. 2清華大學(xué)電子工程系EB/OL.xx-12-25.：/.ee.tsinghua./publish/ee/3684/index.html. 3張文俊.數(shù)字新媒體概論M.上海：復(fù)旦大學(xué)出版社，xx：21-101. 4沈政，方方，楊炯炯，等.認(rèn)知神經(jīng)科學(xué)導(dǎo)論M.北京：北京大學(xué)出版社，xx：14-51. 5Intel.ThisiswhereitallchangesEB/OL.xx-12-25.：/.intel./content/us/en/architecture-and-technology/realsens