第12章多媒體人機(jī)交互技術(shù)

1、本章導(dǎo)讀本章導(dǎo)讀 從多媒體技術(shù)的角度看，人機(jī)交互技術(shù)是在計(jì)算機(jī)具備從多媒體技術(shù)的角度看，人機(jī)交互技術(shù)是在計(jì)算機(jī)具備處理聲音、圖像、視頻等多種媒體信息能力的基礎(chǔ)上發(fā)展起處理聲音、圖像、視頻等多種媒體信息能力的基礎(chǔ)上發(fā)展起來的，是多媒體技術(shù)的不同應(yīng)用。另一方面，人機(jī)交互技術(shù)來的，是多媒體技術(shù)的不同應(yīng)用。另一方面，人機(jī)交互技術(shù)的研究又促進(jìn)了多媒體技術(shù)的快速發(fā)展，充分表現(xiàn)了多媒體的研究又促進(jìn)了多媒體技術(shù)的快速發(fā)展，充分表現(xiàn)了多媒體技術(shù)的交互性。技術(shù)的交互性。本章將從多媒體信息處理的角度，簡(jiǎn)單介紹本章將從多媒體信息處理的角度，簡(jiǎn)單介紹目前已經(jīng)廣泛應(yīng)用的幾種典型的人機(jī)交互技術(shù)目前已經(jīng)廣泛應(yīng)用的幾種典型的人

2、機(jī)交互技術(shù)，如觸摸技術(shù)、，如觸摸技術(shù)、手寫識(shí)別技術(shù)、語音識(shí)別與合成技術(shù)、虛擬現(xiàn)實(shí)技術(shù)等。同手寫識(shí)別技術(shù)、語音識(shí)別與合成技術(shù)、虛擬現(xiàn)實(shí)技術(shù)等。同時(shí)，還將介紹基于多媒體技術(shù)的人機(jī)交互界面的發(fā)展方向。時(shí)，還將介紹基于多媒體技術(shù)的人機(jī)交互界面的發(fā)展方向。 本章主要內(nèi)容本章主要內(nèi)容12.1 12.1 人機(jī)交互技術(shù)概述人機(jī)交互技術(shù)概述 12.2 12.2 觸摸屏技術(shù)觸摸屏技術(shù) 12.3 OCR12.3 OCR與手寫識(shí)別技術(shù)與手寫識(shí)別技術(shù) 12.4 12.4 語音識(shí)別技術(shù)語音識(shí)別技術(shù) 12.5 12.5 語音合成技術(shù)語音合成技術(shù) 12.6 12.6 虛擬現(xiàn)實(shí)技術(shù)虛擬現(xiàn)實(shí)技術(shù) 12.112.1人機(jī)交互技術(shù)概述

3、人機(jī)交互技術(shù)概述12.1.1 12.1.1 人機(jī)交互簡(jiǎn)介人機(jī)交互簡(jiǎn)介 人機(jī)交互人機(jī)交互（ Computer Human InteractionComputer Human Interaction，CHICHI）也稱）也稱HCIHCI（Human Computer InteractionHuman Computer Interaction），），是研究人、計(jì)算機(jī)及是研究人、計(jì)算機(jī)及其相互影響的技術(shù)其相互影響的技術(shù)，其核心是人機(jī)界面，它是計(jì)算機(jī)與人之間，其核心是人機(jī)界面，它是計(jì)算機(jī)與人之間通信和對(duì)話的接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。通信和對(duì)話的接口，是計(jì)算機(jī)系統(tǒng)的重要組成部分。 人機(jī)交互技術(shù)是指

4、通過計(jì)算機(jī)系統(tǒng)的輸入人機(jī)交互技術(shù)是指通過計(jì)算機(jī)系統(tǒng)的輸入/ /輸出設(shè)備，以輸出設(shè)備，以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)系統(tǒng)之間信息交流的技術(shù)。有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)系統(tǒng)之間信息交流的技術(shù)。 目前，人們已經(jīng)能夠與計(jì)算機(jī)系統(tǒng)較為方便地進(jìn)行交互，目前，人們已經(jīng)能夠與計(jì)算機(jī)系統(tǒng)較為方便地進(jìn)行交互，具體應(yīng)用的交互技術(shù)有具體應(yīng)用的交互技術(shù)有鍵盤交互、手寫文字交互、語音交互、鍵盤交互、手寫文字交互、語音交互、圖像與視頻交互、多語言交互、虛擬現(xiàn)實(shí)系統(tǒng)中的交互圖像與視頻交互、多語言交互、虛擬現(xiàn)實(shí)系統(tǒng)中的交互等。等。 12.1.2 12.1.2 多模態(tài)人機(jī)交互多模態(tài)人機(jī)交互1 1、模態(tài)、模態(tài) 是心理學(xué)領(lǐng)域中的一個(gè)標(biāo)準(zhǔn)術(shù)

5、語，指感知信息的感覺，是心理學(xué)領(lǐng)域中的一個(gè)標(biāo)準(zhǔn)術(shù)語，指感知信息的感覺，也就是感覺模態(tài)。也就是感覺模態(tài)。 2 2、多模態(tài)人機(jī)交互、多模態(tài)人機(jī)交互 多模態(tài)（多模態(tài)（MultimodalityMultimodality）人機(jī)交互，就是基于智能接口）人機(jī)交互，就是基于智能接口技術(shù)，充分利用人的多種感知通道，技術(shù)，充分利用人的多種感知通道，以并行的、非精確的方以并行的、非精確的方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高效性效性。3 3、多模態(tài)人機(jī)交互的研究?jī)?nèi)容、多模態(tài)人機(jī)交互的研究?jī)?nèi)容 1 1）語音識(shí)別、）語音識(shí)別、2) 2) 理解及合成、

6、理解及合成、3 3）手勢(shì)識(shí)別技術(shù)、）手勢(shì)識(shí)別技術(shù)、4 4）人臉的研究、）人臉的研究、5 5）唇讀的研究、）唇讀的研究、6 6）人體動(dòng)作的研究。）人體動(dòng)作的研究。 4 4、多模態(tài)人機(jī)交互的基本特點(diǎn)、多模態(tài)人機(jī)交互的基本特點(diǎn) 1 1）使用多個(gè)感覺和動(dòng)作模態(tài)；）使用多個(gè)感覺和動(dòng)作模態(tài)； 2 2）三維的和直接操縱的要求；）三維的和直接操縱的要求； 3 3）允許模糊交互；）允許模糊交互； 4 4）交互雙向性；）交互雙向性； 5 5）交互的隱含性；）交互的隱含性；12.1.3 12.1.3 可視化可視化 可視化是指充分利用人們對(duì)可視模式快速識(shí)別的自然能可視化是指充分利用人們對(duì)可視模式快速識(shí)別的自然能力，將

7、數(shù)據(jù)信息和知識(shí)轉(zhuǎn)化為一種視覺形成的過程。力，將數(shù)據(jù)信息和知識(shí)轉(zhuǎn)化為一種視覺形成的過程。可視化操作過程可視化操作過程可視化科學(xué)計(jì)算可視化科學(xué)計(jì)算可視化信息可視化信息可視化 利用計(jì)算機(jī)圖形學(xué)和圖像處理利用計(jì)算機(jī)圖形學(xué)和圖像處理技術(shù)，技術(shù)，將科學(xué)計(jì)算過程中（包括計(jì)將科學(xué)計(jì)算過程中（包括計(jì)算結(jié)果）的數(shù)據(jù)轉(zhuǎn)換為圖形或圖像算結(jié)果）的數(shù)據(jù)轉(zhuǎn)換為圖形或圖像在屏幕上顯示出來，進(jìn)行交互處理在屏幕上顯示出來，進(jìn)行交互處理的理論、方法和技術(shù)。的理論、方法和技術(shù)。 層次信息可視化層次信息可視化多位信息可視化多位信息可視化文檔（文本）信息可視化文檔（文本）信息可視化 WebWeb可視化可視化 現(xiàn)代操作系統(tǒng)提供人機(jī)交現(xiàn)代操

8、作系統(tǒng)提供人機(jī)交互環(huán)境的基本要求，它通過互環(huán)境的基本要求，它通過GUIGUI技術(shù)來實(shí)現(xiàn)技術(shù)來實(shí)現(xiàn) 12.1.4 12.1.4 新型人機(jī)界面的主要特征新型人機(jī)界面的主要特征1 1）人性化）人性化 2 2）自然化）自然化 3 3）智能化）智能化4 4）高帶寬）高帶寬 5 5）不限制地點(diǎn)）不限制地點(diǎn) 6 6）圖示編程）圖示編程 (a) (a) 交互墻交互墻(b) (b) 交互桌交互桌(c) (c) 交互椅交互椅圖圖12-1 12-1 物面用戶接口舉例物面用戶接口舉例12.212.2觸摸屏技術(shù)觸摸屏技術(shù)12.2.1 12.2.1 觸摸屏簡(jiǎn)介觸摸屏簡(jiǎn)介 觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的觸摸

9、屏是一種定位裝置，安裝在顯示屏幕前面，它的功能是報(bào)告手指（或物體）觸摸到屏幕的位置。用戶可以功能是報(bào)告手指（或物體）觸摸到屏幕的位置。用戶可以直接用手指觸摸屏幕以實(shí)現(xiàn)與計(jì)算機(jī)的交互。直接用手指觸摸屏幕以實(shí)現(xiàn)與計(jì)算機(jī)的交互。 工作過程工作過程：手指或其他物體觸摸觸摸屏：手指或其他物體觸摸觸摸屏 觸摸觸摸屏控制器檢測(cè)位置（以坐標(biāo)形式）屏控制器檢測(cè)位置（以坐標(biāo)形式） 通過計(jì)算機(jī)接口通過計(jì)算機(jī)接口送到送到CPUCPU確定用戶所輸入的信息。確定用戶所輸入的信息。 觸摸屏具有界面直觀，操作簡(jiǎn)單，觸摸屏具有界面直觀，操作簡(jiǎn)單，“伸手即得伸手即得”的優(yōu)的優(yōu)點(diǎn)，大大改善了人與計(jì)算機(jī)的交互方式。點(diǎn)，大大改善了人與

10、計(jì)算機(jī)的交互方式。 l觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的功觸摸屏是一種定位裝置，安裝在顯示屏幕前面，它的功能是報(bào)告手指（或物體）觸摸到屏幕的位置；能是報(bào)告手指（或物體）觸摸到屏幕的位置；l用戶可以直接用手指觸摸屏幕以實(shí)現(xiàn)與計(jì)算機(jī)的交互；用戶可以直接用手指觸摸屏幕以實(shí)現(xiàn)與計(jì)算機(jī)的交互； l工作過程：手指或其他物體觸摸觸摸屏，觸摸屏控制器工作過程：手指或其他物體觸摸觸摸屏，觸摸屏控制器檢測(cè)位置（以坐標(biāo)形式），通過計(jì)算機(jī)接口送到檢測(cè)位置（以坐標(biāo)形式），通過計(jì)算機(jī)接口送到CPUCPU，以確定用戶所輸入的信息。以確定用戶所輸入的信息。l觸摸屏具有界面直觀，操作簡(jiǎn)單，觸摸屏具有界面直觀，操作簡(jiǎn)

11、單，“伸手即得伸手即得”的優(yōu)點(diǎn)，的優(yōu)點(diǎn)，大大改善了人與計(jì)算機(jī)的交互方式。大大改善了人與計(jì)算機(jī)的交互方式。12.212.2觸摸屏技術(shù)觸摸屏技術(shù)12.2.1 12.2.1 觸摸屏簡(jiǎn)介觸摸屏簡(jiǎn)介12.2.2 12.2.2 觸摸屏的主要類型觸摸屏的主要類型l矢量壓力傳感技術(shù)觸摸屏矢量壓力傳感技術(shù)觸摸屏l電阻技術(shù)觸摸屏電阻技術(shù)觸摸屏l電容技術(shù)觸摸屏電容技術(shù)觸摸屏l紅外線技術(shù)觸摸屏紅外線技術(shù)觸摸屏l表面聲波技術(shù)觸摸屏表面聲波技術(shù)觸摸屏 等五種類型。等五種類型。其中矢量壓力傳感技術(shù)觸摸屏已經(jīng)被淘汰。其中矢量壓力傳感技術(shù)觸摸屏已經(jīng)被淘汰。依據(jù)所采用的技術(shù)原理，觸摸屏可分為：依據(jù)所采用的技術(shù)原理，觸摸屏可分為：

12、1 1、電阻式觸摸屏、電阻式觸摸屏 如右圖，當(dāng)手指接觸屏幕，如右圖，當(dāng)手指接觸屏幕，兩層兩層 OTIOTI導(dǎo)電層出現(xiàn)一個(gè)接觸導(dǎo)電層出現(xiàn)一個(gè)接觸點(diǎn)，因其中一面導(dǎo)電層接通點(diǎn)，因其中一面導(dǎo)電層接通Y Y軸軸方向的方向的5V5V均勻電壓場(chǎng)，使得偵均勻電壓場(chǎng)，使得偵測(cè)層的電壓由零變?yōu)榉橇?，控測(cè)層的電壓由零變?yōu)榉橇?，控制器偵測(cè)到這個(gè)接通后，進(jìn)行制器偵測(cè)到這個(gè)接通后，進(jìn)行A/DA/D轉(zhuǎn)換，并將得到的電壓值與轉(zhuǎn)換，并將得到的電壓值與5V5V相比，即可得觸摸點(diǎn)的相比，即可得觸摸點(diǎn)的Y Y軸坐軸坐標(biāo)，同理得出標(biāo)，同理得出X X軸的坐標(biāo)。從而軸的坐標(biāo)。從而實(shí)現(xiàn)屏幕定位。實(shí)現(xiàn)屏幕定位。圖12-2 電阻式觸摸屏 2 2

13、、電容式觸摸屏、電容式觸摸屏 如右圖，用戶觸摸屏如右圖，用戶觸摸屏幕時(shí)，由于人體電場(chǎng)，手指幕時(shí)，由于人體電場(chǎng)，手指與導(dǎo)體層間會(huì)形成一個(gè)耦合與導(dǎo)體層間會(huì)形成一個(gè)耦合電容，四邊電極發(fā)出的電流電容，四邊電極發(fā)出的電流會(huì)流向觸點(diǎn)，而電流強(qiáng)弱與會(huì)流向觸點(diǎn)，而電流強(qiáng)弱與手指到電極的距離成正比，手指到電極的距離成正比，位于觸摸屏幕后的控制器便位于觸摸屏幕后的控制器便會(huì)計(jì)算電流的比例及強(qiáng)弱，會(huì)計(jì)算電流的比例及強(qiáng)弱，準(zhǔn)確算出觸摸點(diǎn)的位置。準(zhǔn)確算出觸摸點(diǎn)的位置。 圖12-3 電容式觸摸屏 3 3、紅外線式觸摸屏、紅外線式觸摸屏 紅外線觸摸屏由裝在觸摸屏外框上的紅外線發(fā)射與接紅外線觸摸屏由裝在觸摸屏外框上的紅外線發(fā)

14、射與接收感測(cè)元件構(gòu)成，在屏幕表面上，形成紅外線探測(cè)網(wǎng)，任收感測(cè)元件構(gòu)成，在屏幕表面上，形成紅外線探測(cè)網(wǎng)，任何觸摸物體可改變觸點(diǎn)上的紅外線而實(shí)現(xiàn)觸摸屏操作。何觸摸物體可改變觸點(diǎn)上的紅外線而實(shí)現(xiàn)觸摸屏操作。 具體實(shí)現(xiàn)：在顯示器上加上光點(diǎn)距離框，光點(diǎn)距離框具體實(shí)現(xiàn)：在顯示器上加上光點(diǎn)距離框，光點(diǎn)距離框的四邊排列了紅外線發(fā)射管及接收管，在屏幕表面形成一的四邊排列了紅外線發(fā)射管及接收管，在屏幕表面形成一個(gè)紅外線網(wǎng)（如圖個(gè)紅外線網(wǎng)（如圖11-411-4所示）。所示）。 當(dāng)手指觸摸屏幕某一點(diǎn)當(dāng)手指觸摸屏幕某一點(diǎn)時(shí)，便會(huì)擋住經(jīng)過該位置的時(shí)，便會(huì)擋住經(jīng)過該位置的橫豎兩條紅外線，計(jì)算機(jī)便橫豎兩條紅外線，計(jì)算機(jī)便可

15、即時(shí)算出觸摸點(diǎn)位置?？杉磿r(shí)算出觸摸點(diǎn)位置。圖12-4 紅外線觸摸屏 4 4、表面聲波觸摸屏、表面聲波觸摸屏 表面聲波觸摸屏由觸摸屏、聲波發(fā)生器、反射器和聲波表面聲波觸摸屏由觸摸屏、聲波發(fā)生器、反射器和聲波接收器組成，其中聲波發(fā)生器能發(fā)送一種高頻聲波跨越屏幕接收器組成，其中聲波發(fā)生器能發(fā)送一種高頻聲波跨越屏幕表面，當(dāng)手指觸及屏幕時(shí)，觸點(diǎn)上的聲波即被阻止，由此確表面，當(dāng)手指觸及屏幕時(shí)，觸點(diǎn)上的聲波即被阻止，由此確定坐標(biāo)位置。定坐標(biāo)位置。圖12-5 表面聲波觸摸屏 12.2.3 12.2.3 觸摸屏的基本技術(shù)特性觸摸屏的基本技術(shù)特性 觸摸屏通常應(yīng)具備以下三個(gè)基本技術(shù)特性：觸摸屏通常應(yīng)具備以下三個(gè)基本

16、技術(shù)特性： 1 1、透明性能、透明性能 2 2、絕對(duì)坐標(biāo)系統(tǒng)、絕對(duì)坐標(biāo)系統(tǒng) 3 3、檢測(cè)與定位、檢測(cè)與定位12.3 OCR12.3 OCR與手寫識(shí)別技術(shù)與手寫識(shí)別技術(shù)12.3.1 OCR12.3.1 OCR識(shí)別技術(shù)識(shí)別技術(shù) OCR OCR（Optical Character RecognitionOptical Character Recognition，光學(xué)字符，光學(xué)字符識(shí)別）技術(shù)，識(shí)別）技術(shù)，是通過掃描等光學(xué)輸入方式將文字轉(zhuǎn)化為是通過掃描等光學(xué)輸入方式將文字轉(zhuǎn)化為圖像信息，再利用文字識(shí)別技術(shù)將圖像信息轉(zhuǎn)化為可編圖像信息，再利用文字識(shí)別技術(shù)將圖像信息轉(zhuǎn)化為可編輯的文本信息的計(jì)算機(jī)輸入技術(shù)輯的

17、文本信息的計(jì)算機(jī)輸入技術(shù)。廣泛應(yīng)用于大量文字。廣泛應(yīng)用于大量文字資料、票據(jù)、檔案卷宗、文案的錄入和處理等領(lǐng)域。相資料、票據(jù)、檔案卷宗、文案的錄入和處理等領(lǐng)域。相對(duì)一般文本，通常以最終識(shí)別率、識(shí)別速度、版面理解對(duì)一般文本，通常以最終識(shí)別率、識(shí)別速度、版面理解正確率及版面還原滿意度正確率及版面還原滿意度4 4個(gè)方面作為個(gè)方面作為OCROCR技術(shù)的評(píng)測(cè)依技術(shù)的評(píng)測(cè)依據(jù)；而相對(duì)于表格及票據(jù)，據(jù)；而相對(duì)于表格及票據(jù)， 通常以識(shí)別率或整張通過率通常以識(shí)別率或整張通過率及識(shí)別速度為測(cè)定及識(shí)別速度為測(cè)定OCROCR技術(shù)的實(shí)用標(biāo)準(zhǔn)技術(shù)的實(shí)用標(biāo)準(zhǔn)。 OCROCR的基本工作過程分為的基本工作過程分為圖文掃描、預(yù)處理

18、、單字識(shí)圖文掃描、預(yù)處理、單字識(shí)別、后處理以及文檔輸出別、后處理以及文檔輸出等五個(gè)環(huán)節(jié)，如圖等五個(gè)環(huán)節(jié)，如圖12-612-6所示。所示。 圖12-6 OCR的基本工作原理示意 12.3.2 12.3.2 手寫識(shí)別技術(shù)手寫識(shí)別技術(shù) 手寫識(shí)別通過手寫識(shí)別通過提取手寫內(nèi)容的結(jié)構(gòu)特征來分割和識(shí)別字提取手寫內(nèi)容的結(jié)構(gòu)特征來分割和識(shí)別字符符，從而達(dá)到手寫輸入的目的。，從而達(dá)到手寫輸入的目的。1 1、手寫輸入、手寫輸入 手寫輸入是把要輸入的字符寫在一塊叫書寫板的數(shù)字手寫輸入是把要輸入的字符寫在一塊叫書寫板的數(shù)字化設(shè)備上，這種設(shè)備將筆尖走過的軌跡按時(shí)間采樣后發(fā)送化設(shè)備上，這種設(shè)備將筆尖走過的軌跡按時(shí)間采樣后發(fā)

19、送到計(jì)算機(jī)中，通過手寫識(shí)別技術(shù)，將手寫內(nèi)容識(shí)別成相應(yīng)到計(jì)算機(jī)中，通過手寫識(shí)別技術(shù)，將手寫內(nèi)容識(shí)別成相應(yīng)的字符內(nèi)容（如漢字、數(shù)字、字母等），從而達(dá)到手寫輸?shù)淖址麅?nèi)容（如漢字、數(shù)字、字母等），從而達(dá)到手寫輸入的目的。入的目的。2 2、手寫識(shí)別、手寫識(shí)別 就漢字識(shí)別而言，其方法基本上分為就漢字識(shí)別而言，其方法基本上分為統(tǒng)計(jì)識(shí)別統(tǒng)計(jì)識(shí)別、結(jié)構(gòu)識(shí)別結(jié)構(gòu)識(shí)別以及以及神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)方法等幾大類。大量的聯(lián)機(jī)方法等幾大類。大量的聯(lián)機(jī)手寫識(shí)別系統(tǒng)采用的都是結(jié)構(gòu)識(shí)別方法。手寫識(shí)別系統(tǒng)采用的都是結(jié)構(gòu)識(shí)別方法。 結(jié)構(gòu)識(shí)別方法：結(jié)構(gòu)識(shí)別方法： 其出發(fā)點(diǎn)是漢字的組成結(jié)構(gòu)，從漢字的構(gòu)成上講，漢其出發(fā)點(diǎn)是漢字的組成結(jié)構(gòu)，從漢

20、字的構(gòu)成上講，漢字是由筆劃字是由筆劃( (點(diǎn)、橫、豎、撇、捺等點(diǎn)、橫、豎、撇、捺等) )、偏旁、部首構(gòu)成，、偏旁、部首構(gòu)成，通過把復(fù)雜的漢字模式分解為簡(jiǎn)單的子模式直至基本模式通過把復(fù)雜的漢字模式分解為簡(jiǎn)單的子模式直至基本模式元素，對(duì)子模式的判定，以及基于符號(hào)運(yùn)算的匹配算法，元素，對(duì)子模式的判定，以及基于符號(hào)運(yùn)算的匹配算法，達(dá)到對(duì)復(fù)雜模式的識(shí)別達(dá)到對(duì)復(fù)雜模式的識(shí)別。 3 3、影響識(shí)別率的因素、影響識(shí)別率的因素目前影響識(shí)別率的因素主要有以下幾個(gè)方面：目前影響識(shí)別率的因素主要有以下幾個(gè)方面： 1 1）筆順問題）筆順問題 2 2）連筆問題）連筆問題 3 3）相似字區(qū)分）相似字區(qū)分 4 4）對(duì)抗干擾能力

21、的要求）對(duì)抗干擾能力的要求12.4 12.4 語音識(shí)別技術(shù)語音識(shí)別技術(shù)12.4.1 12.4.1 語音識(shí)別技術(shù)簡(jiǎn)介語音識(shí)別技術(shù)簡(jiǎn)介 語音識(shí)別（語音識(shí)別（ASR ASR ：Automatic Speech RecognitionAutomatic Speech Recognition）技術(shù)，技術(shù)，是指通過計(jì)算機(jī)的識(shí)別和理解過程，將語音信號(hào)轉(zhuǎn)是指通過計(jì)算機(jī)的識(shí)別和理解過程，將語音信號(hào)轉(zhuǎn)換為相應(yīng)的文字信息，從而識(shí)別說話人的語音指令以及文換為相應(yīng)的文字信息，從而識(shí)別說話人的語音指令以及文字內(nèi)容的技術(shù)字內(nèi)容的技術(shù)。 語音識(shí)別是一個(gè)多學(xué)科交叉的研究領(lǐng)域，涉及語言學(xué)、語音識(shí)別是一個(gè)多學(xué)科交叉的研究領(lǐng)域，涉及

22、語言學(xué)、認(rèn)知科學(xué)以及計(jì)算機(jī)科學(xué)等多個(gè)學(xué)科。認(rèn)知科學(xué)以及計(jì)算機(jī)科學(xué)等多個(gè)學(xué)科。 語音識(shí)別技術(shù)與語音合成技術(shù)的結(jié)合，使人和計(jì)算機(jī)語音識(shí)別技術(shù)與語音合成技術(shù)的結(jié)合，使人和計(jì)算機(jī)之間能夠?qū)崿F(xiàn)雙向語言交流，擺脫鍵盤對(duì)人機(jī)交互方式的之間能夠?qū)崿F(xiàn)雙向語言交流，擺脫鍵盤對(duì)人機(jī)交互方式的束縛。束縛。 12.4.2 12.4.2 語音識(shí)別的技術(shù)原理語音識(shí)別的技術(shù)原理l語音特征提取語音特征提?。浩淠康氖菑恼Z音波形中提取出隨時(shí)間變化：其目的是從語音波形中提取出隨時(shí)間變化的語音特征序列。的語音特征序列。 l聲學(xué)模型與模式匹配（識(shí)別算法）聲學(xué)模型與模式匹配（識(shí)別算法）：聲學(xué)模型通常通過學(xué)：聲學(xué)模型通常通過學(xué)習(xí)算法來獲取語

23、音特征。在識(shí)別時(shí)將輸入的語音特征同聲習(xí)算法來獲取語音特征。在識(shí)別時(shí)將輸入的語音特征同聲學(xué)模型進(jìn)行匹配與比較，得到最佳的識(shí)別結(jié)果。學(xué)模型進(jìn)行匹配與比較，得到最佳的識(shí)別結(jié)果。 l語言模型與語言處理：語言模型與語言處理：語言模型包括由識(shí)別語音命令構(gòu)成語言模型包括由識(shí)別語音命令構(gòu)成的語法網(wǎng)絡(luò)或由統(tǒng)計(jì)方法構(gòu)成的語言模型，語言處理可以的語法網(wǎng)絡(luò)或由統(tǒng)計(jì)方法構(gòu)成的語言模型，語言處理可以進(jìn)行語法、語義分析。對(duì)小詞表語音識(shí)別系統(tǒng)，往往不需進(jìn)行語法、語義分析。對(duì)小詞表語音識(shí)別系統(tǒng)，往往不需要語言處理部分。要語言處理部分。 計(jì)算機(jī)的語音識(shí)別過程與人對(duì)語音的識(shí)別處理過程基本計(jì)算機(jī)的語音識(shí)別過程與人對(duì)語音的識(shí)別處理過程

24、基本上是一致的。目前主流的語音識(shí)別技術(shù)是建立在統(tǒng)計(jì)模式識(shí)上是一致的。目前主流的語音識(shí)別技術(shù)是建立在統(tǒng)計(jì)模式識(shí)別基本理論之上的，其語音識(shí)別系統(tǒng)可大致分為三部分：別基本理論之上的，其語音識(shí)別系統(tǒng)可大致分為三部分： 12.5 12.5 語音合成技術(shù)語音合成技術(shù)12.5.1 12.5.1 語音合成技術(shù)簡(jiǎn)介語音合成技術(shù)簡(jiǎn)介 語音合成（語音合成（Speech synthesisSpeech synthesis，或，或Text To SpeechText To Speech）技術(shù)，是指技術(shù)，是指將文本信息轉(zhuǎn)變?yōu)檎Z音數(shù)據(jù)，再以語音的方式將文本信息轉(zhuǎn)變?yōu)檎Z音數(shù)據(jù)，再以語音的方式播放出來的技術(shù)播放出來的技術(shù)，通常

25、被簡(jiǎn)稱為，通常被簡(jiǎn)稱為TTSTTS技術(shù)。一個(gè)典型的語音技術(shù)。一個(gè)典型的語音合成系統(tǒng)可分為合成系統(tǒng)可分為文本分析、韻律建模和語音合成文本分析、韻律建模和語音合成三大模塊，三大模塊，主要功能主要功能是：是：根據(jù)韻律建模的結(jié)果，從原始語音庫(kù)中取出根據(jù)韻律建模的結(jié)果，從原始語音庫(kù)中取出相應(yīng)的語音基元，利用特定的語音合成技術(shù)對(duì)語音基元進(jìn)相應(yīng)的語音基元，利用特定的語音合成技術(shù)對(duì)語音基元進(jìn)行韻律特性的調(diào)整和修改，最終合成出符合要求的語音行韻律特性的調(diào)整和修改，最終合成出符合要求的語音。12.5.2 12.5.2 語音合成的技術(shù)方法語音合成的技術(shù)方法 語音合成（讓計(jì)算機(jī)說話）的基本思路有兩種：一種是語音合成（

26、讓計(jì)算機(jī)說話）的基本思路有兩種：一種是參數(shù)模擬合成，參數(shù)模擬合成，一種是一種是波形拼接合成波形拼接合成。 參數(shù)模擬合成參數(shù)模擬合成: :是采用數(shù)字信號(hào)處理的方法，將人類發(fā)聲是采用數(shù)字信號(hào)處理的方法，將人類發(fā)聲過程看作是一個(gè)模擬聲門狀態(tài)的源，去激勵(lì)一個(gè)表征聲道諧過程看作是一個(gè)模擬聲門狀態(tài)的源，去激勵(lì)一個(gè)表征聲道諧振特性的時(shí)變數(shù)字濾波器。振特性的時(shí)變數(shù)字濾波器。 波形拼接合成波形拼接合成: :是將要合成的語音信息分割成大量不同的是將要合成的語音信息分割成大量不同的語音信息元，并以數(shù)字形式存儲(chǔ)，合成時(shí)根據(jù)具體內(nèi)容和要語音信息元，并以數(shù)字形式存儲(chǔ)，合成時(shí)根據(jù)具體內(nèi)容和要求，選擇適當(dāng)?shù)恼Z音信息元進(jìn)行拼接

27、，從而形成所需的語音求，選擇適當(dāng)?shù)恼Z音信息元進(jìn)行拼接，從而形成所需的語音信息。信息。12.5.3 12.5.3 語音合成技術(shù)的應(yīng)用與發(fā)展方向語音合成技術(shù)的應(yīng)用與發(fā)展方向 語音合成技術(shù)可廣泛應(yīng)用于語音合成技術(shù)可廣泛應(yīng)用于語音數(shù)據(jù)查詢、語音提示、語音數(shù)據(jù)查詢、語音提示、電話銀行、語音信箱、語音郵件、語音新聞發(fā)布、語音廣播電話銀行、語音信箱、語音郵件、語音新聞發(fā)布、語音廣播等各類語音業(yè)務(wù)等各類語音業(yè)務(wù)，提供更加人性化的人機(jī)交互方式。，提供更加人性化的人機(jī)交互方式。 語音合成技術(shù)的發(fā)展方向：語音合成技術(shù)的發(fā)展方向： 1) 1) 提高合成語音的自然度提高合成語音的自然度 2) 2) 豐富合成語音的表現(xiàn)力

28、豐富合成語音的表現(xiàn)力 3) 3) 降低語音合成技術(shù)的復(fù)雜度降低語音合成技術(shù)的復(fù)雜度 4) 4) 多語種文語合成多語種文語合成12.6 虛擬現(xiàn)實(shí)技術(shù)虛擬現(xiàn)實(shí)技術(shù) 12.6.1 12.6.1 虛擬現(xiàn)實(shí)技術(shù)簡(jiǎn)介虛擬現(xiàn)實(shí)技術(shù)簡(jiǎn)介l虛擬現(xiàn)實(shí)（虛擬現(xiàn)實(shí)（Virtual RealityVirtual Reality）是）是利用計(jì)算機(jī)生成一種模利用計(jì)算機(jī)生成一種模擬環(huán)境，通過多種傳感設(shè)備使用戶擬環(huán)境，通過多種傳感設(shè)備使用戶“投入投入”到該環(huán)境中，到該環(huán)境中，實(shí)現(xiàn)用戶與該環(huán)境直接進(jìn)行自然交互的技術(shù)實(shí)現(xiàn)用戶與該環(huán)境直接進(jìn)行自然交互的技術(shù)。l虛擬現(xiàn)實(shí)技術(shù)的研究?jī)?nèi)容涉及到人工智能、計(jì)算機(jī)科學(xué)、虛擬現(xiàn)實(shí)技術(shù)的研究?jī)?nèi)容涉

29、及到人工智能、計(jì)算機(jī)科學(xué)、電子學(xué)、傳感器、計(jì)算機(jī)圖形學(xué)、智能控制、心理學(xué)等。電子學(xué)、傳感器、計(jì)算機(jī)圖形學(xué)、智能控制、心理學(xué)等。l虛擬現(xiàn)實(shí)技術(shù)的虛擬現(xiàn)實(shí)技術(shù)的特點(diǎn)特點(diǎn)在于，在于，計(jì)算機(jī)產(chǎn)生一種人為虛擬的環(huán)計(jì)算機(jī)產(chǎn)生一種人為虛擬的環(huán)境，這種虛擬的環(huán)境是通過計(jì)算機(jī)圖形構(gòu)成的三維空間，境，這種虛擬的環(huán)境是通過計(jì)算機(jī)圖形構(gòu)成的三維空間，或是把其它現(xiàn)實(shí)環(huán)境編制到計(jì)算機(jī)中去產(chǎn)生逼真的或是把其它現(xiàn)實(shí)環(huán)境編制到計(jì)算機(jī)中去產(chǎn)生逼真的“虛擬虛擬環(huán)境環(huán)境”，從而使得用戶在視覺上產(chǎn)生一種沉浸于虛擬環(huán)境，從而使得用戶在視覺上產(chǎn)生一種沉浸于虛擬環(huán)境的感覺的感覺。12.6.2 12.6.2 虛擬現(xiàn)實(shí)系統(tǒng)虛擬現(xiàn)實(shí)系統(tǒng) 1 1、

30、虛擬現(xiàn)實(shí)系統(tǒng)的典型模型、虛擬現(xiàn)實(shí)系統(tǒng)的典型模型 如右圖所示。使用如右圖所示。使用者通過傳感裝置直接對(duì)者通過傳感裝置直接對(duì)虛擬環(huán)境進(jìn)行操作，并虛擬環(huán)境進(jìn)行操作，并得到實(shí)時(shí)三維顯示和其得到實(shí)時(shí)三維顯示和其它它 反饋信息（如觸覺、反饋信息（如觸覺、力覺反饋等）。當(dāng)系統(tǒng)力覺反饋等）。當(dāng)系統(tǒng)與外部世界通過傳感裝與外部世界通過傳感裝置構(gòu)成反饋閉環(huán)時(shí)，在用戶的控制下，用戶與虛擬環(huán)境置構(gòu)成反饋閉環(huán)時(shí)，在用戶的控制下，用戶與虛擬環(huán)境間的交互可以對(duì)外部世界產(chǎn)生作用（如遙操作等）。間的交互可以對(duì)外部世界產(chǎn)生作用（如遙操作等）。 圖12-7 虛擬現(xiàn)實(shí)系統(tǒng)的模型2 2、虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成、虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成 一般的虛擬

31、現(xiàn)實(shí)系統(tǒng)主要由以下五個(gè)模塊構(gòu)成，如一般的虛擬現(xiàn)實(shí)系統(tǒng)主要由以下五個(gè)模塊構(gòu)成，如下圖所示。下圖所示。 圖12-8 虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu)成l檢測(cè)模塊：檢測(cè)模塊：檢測(cè)用戶的操作命令，并通過傳感器模塊檢測(cè)用戶的操作命令，并通過傳感器模塊作用于虛擬環(huán)境。作用于虛擬環(huán)境。 l反饋模塊：反饋模塊：接受來自傳感器模塊信息，為用戶提供實(shí)接受來自傳感器模塊信息，為用戶提供實(shí)時(shí)反饋。時(shí)反饋。l傳感器模塊：傳感器模塊：一方面接受來自用戶的操作命令，并將一方面接受來自用戶的操作命令，并將其作用于虛擬環(huán)境；另一方面將操作后產(chǎn)生的結(jié)果以其作用于虛擬環(huán)境；另一方面將操作后產(chǎn)生的結(jié)果以各種反饋的形式提供給用戶。各種反饋的形式提供給

32、用戶。l控制模塊：控制模塊：對(duì)傳感器進(jìn)行控制，使其對(duì)用戶、虛擬環(huán)對(duì)傳感器進(jìn)行控制，使其對(duì)用戶、虛擬環(huán)境和現(xiàn)實(shí)世界產(chǎn)生作用。境和現(xiàn)實(shí)世界產(chǎn)生作用。l建模模塊：建模模塊：獲取現(xiàn)實(shí)世界組成部分的三維表示，并由獲取現(xiàn)實(shí)世界組成部分的三維表示，并由此構(gòu)成對(duì)應(yīng)的虛擬環(huán)境。此構(gòu)成對(duì)應(yīng)的虛擬環(huán)境。12.6.3 12.6.3 虛擬現(xiàn)實(shí)技術(shù)的特征虛擬現(xiàn)實(shí)技術(shù)的特征 1 1）多感知性：）多感知性：除了一般計(jì)算機(jī)所具有的視覺感知外，除了一般計(jì)算機(jī)所具有的視覺感知外，還有聽覺感知、力覺感知、觸覺感知、運(yùn)動(dòng)感知、甚至包還有聽覺感知、力覺感知、觸覺感知、運(yùn)動(dòng)感知、甚至包括味覺感知、嗅覺感知等。理想的虛擬現(xiàn)實(shí)就是應(yīng)該具有括味

33、覺感知、嗅覺感知等。理想的虛擬現(xiàn)實(shí)就是應(yīng)該具有人所具有的感知功能。人所具有的感知功能。 2 2）存在感：）存在感：指用戶感到作為主角存在于模擬環(huán)境中指用戶感到作為主角存在于模擬環(huán)境中的真實(shí)程度。理想的模擬環(huán)境應(yīng)該達(dá)到使用戶難以分辨真的真實(shí)程度。理想的模擬環(huán)境應(yīng)該達(dá)到使用戶難以分辨真假的程度。假的程度。 3 3）交互性：）交互性：指用戶對(duì)模擬環(huán)境內(nèi)物體的可操作程度指用戶對(duì)模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度（包括實(shí)時(shí)性）。和從環(huán)境得到反饋的自然程度（包括實(shí)時(shí)性）。 4 4）自主性：）自主性：指虛擬環(huán)境中物體依據(jù)物理定律動(dòng)作的指虛擬環(huán)境中物體依據(jù)物理定律動(dòng)作的程度。程度。 12.6

34、.4 12.6.4 虛擬現(xiàn)實(shí)的關(guān)鍵技術(shù)虛擬現(xiàn)實(shí)的關(guān)鍵技術(shù) 就現(xiàn)有的虛擬現(xiàn)實(shí)系統(tǒng)而言，其關(guān)鍵技術(shù)可以包括以下就現(xiàn)有的虛擬現(xiàn)實(shí)系統(tǒng)而言，其關(guān)鍵技術(shù)可以包括以下幾個(gè)方面：幾個(gè)方面： 1 1、動(dòng)態(tài)環(huán)境建模技術(shù)、動(dòng)態(tài)環(huán)境建模技術(shù) 動(dòng)態(tài)環(huán)境建模技術(shù)的目的是獲取實(shí)際環(huán)境的三維數(shù)據(jù)，動(dòng)態(tài)環(huán)境建模技術(shù)的目的是獲取實(shí)際環(huán)境的三維數(shù)據(jù)，并根據(jù)應(yīng)用的需要，利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬并根據(jù)應(yīng)用的需要，利用獲取的三維數(shù)據(jù)建立相應(yīng)的虛擬環(huán)境模型。三維數(shù)據(jù)的獲取可以采用環(huán)境模型。三維數(shù)據(jù)的獲取可以采用CADCAD技術(shù)（有規(guī)則的環(huán)技術(shù)（有規(guī)則的環(huán)境），而更多的環(huán)境則需要采用非接觸式的視覺建模技術(shù)，境），而更多的環(huán)境則需要

35、采用非接觸式的視覺建模技術(shù)，兩者的有機(jī)結(jié)合可以有效地提高數(shù)據(jù)獲取的效率。兩者的有機(jī)結(jié)合可以有效地提高數(shù)據(jù)獲取的效率。 2 2、實(shí)時(shí)三維圖形生成技術(shù)、實(shí)時(shí)三維圖形生成技術(shù) 關(guān)鍵是關(guān)鍵是“實(shí)時(shí)實(shí)時(shí)”生成。生成。3 3、立體顯示和傳感器技術(shù)、立體顯示和傳感器技術(shù)4 4、應(yīng)用系統(tǒng)開發(fā)工具、應(yīng)用系統(tǒng)開發(fā)工具5 5、系統(tǒng)集成技術(shù)、系統(tǒng)集成技術(shù) 現(xiàn)有的虛擬現(xiàn)實(shí)外設(shè)還遠(yuǎn)遠(yuǎn)不能滿足系統(tǒng)的需要，例如，現(xiàn)有的虛擬現(xiàn)實(shí)外設(shè)還遠(yuǎn)遠(yuǎn)不能滿足系統(tǒng)的需要，例如，數(shù)據(jù)手套（如下圖所示）有延遲大、分辨率低、作用范圍小、數(shù)據(jù)手套（如下圖所示）有延遲大、分辨率低、作用范圍小、使用不便等缺點(diǎn)；有必要開發(fā)新的三維顯示技術(shù)。使用不便等缺點(diǎn)

36、；有必要開發(fā)新的三維顯示技術(shù)。12.6.5 12.6.5 虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域虛擬現(xiàn)實(shí)技術(shù)的應(yīng)用領(lǐng)域 1 1、遙控機(jī)器人的遙現(xiàn)技術(shù)、遙控機(jī)器人的遙現(xiàn)技術(shù) 2 2、各類仿真技術(shù)、各類仿真技術(shù) 1 1）飛行仿真系統(tǒng)）飛行仿真系統(tǒng) 2 2）與虛擬生物對(duì)話）與虛擬生物對(duì)話 3 3）作戰(zhàn)仿真系統(tǒng)）作戰(zhàn)仿真系統(tǒng) 3 3、對(duì)象可視化技術(shù)、對(duì)象可視化技術(shù) 1 1）虛擬風(fēng)洞）虛擬風(fēng)洞2 2）虛擬物理實(shí)驗(yàn)室）虛擬物理實(shí)驗(yàn)室3 3）虛擬電力控制室）虛擬電力控制室本章小結(jié) 本章主要介紹了人機(jī)交互的基本概念、現(xiàn)有的人本章主要介紹了人機(jī)交互的基本概念、現(xiàn)有的人機(jī)交互技術(shù)以及新型人機(jī)界面的主要特征等內(nèi)容，較機(jī)交互技術(shù)以及

37、新型人機(jī)界面的主要特征等內(nèi)容，較為全面地概括了多媒體計(jì)算機(jī)系統(tǒng)或多媒體終端為全面地概括了多媒體計(jì)算機(jī)系統(tǒng)或多媒體終端（PDAPDA、多媒體手機(jī)等）的人機(jī)交互形式和途徑。、多媒體手機(jī)等）的人機(jī)交互形式和途徑。 通過學(xué)習(xí)本章，應(yīng)掌握人機(jī)交互的基本概念、人通過學(xué)習(xí)本章，應(yīng)掌握人機(jī)交互的基本概念、人機(jī)交互的研究?jī)?nèi)容以及新型人機(jī)界面的主要特征等內(nèi)機(jī)交互的研究?jī)?nèi)容以及新型人機(jī)界面的主要特征等內(nèi)容，并對(duì)目前的各種人機(jī)交互技術(shù)（觸摸屏技術(shù)、容，并對(duì)目前的各種人機(jī)交互技術(shù)（觸摸屏技術(shù)、OCROCR技術(shù)、手寫識(shí)別技術(shù)、語音識(shí)別與合成技術(shù)、虛技術(shù)、手寫識(shí)別技術(shù)、語音識(shí)別與合成技術(shù)、虛擬現(xiàn)實(shí)技術(shù)等）有所了解。主要包括

38、以下內(nèi)容：擬現(xiàn)實(shí)技術(shù)等）有所了解。主要包括以下內(nèi)容： 1)1)人機(jī)交互技術(shù)是指通過計(jì)算機(jī)系統(tǒng)的輸入人機(jī)交互技術(shù)是指通過計(jì)算機(jī)系統(tǒng)的輸入/ /輸出設(shè)備，輸出設(shè)備，以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)系統(tǒng)之間信息交流的技術(shù)。它以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)系統(tǒng)之間信息交流的技術(shù)。它包括機(jī)器通過輸出設(shè)備給人提供大量有關(guān)信息和操作導(dǎo)向，包括機(jī)器通過輸出設(shè)備給人提供大量有關(guān)信息和操作導(dǎo)向，人通過輸入設(shè)備向計(jì)算機(jī)輸入操作信息等。從第一臺(tái)計(jì)算機(jī)人通過輸入設(shè)備向計(jì)算機(jī)輸入操作信息等。從第一臺(tái)計(jì)算機(jī)誕生到現(xiàn)在，人與計(jì)算機(jī)之間的交互方式經(jīng)歷了手工操作、誕生到現(xiàn)在，人與計(jì)算機(jī)之間的交互方式經(jīng)歷了手工操作、字符用戶界面（命令語言）

39、、可視化的圖形用戶界面（字符用戶界面（命令語言）、可視化的圖形用戶界面（GUIGUI）3 3個(gè)階段，人們操作使用計(jì)算機(jī)的直觀性有了明顯的改善。個(gè)階段，人們操作使用計(jì)算機(jī)的直觀性有了明顯的改善。 2) 2)多模態(tài)（多模態(tài)（MultimodalityMultimodality）人機(jī)交互，就是基于智能接）人機(jī)交互，就是基于智能接口技術(shù)，充分利用人的多種感知通道，以并行的、非精確的口技術(shù)，充分利用人的多種感知通道，以并行的、非精確的方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和方式與計(jì)算機(jī)系統(tǒng)進(jìn)行交互，旨在提高人機(jī)交互的自然性和高效性。高效性。 3) 3)計(jì)算機(jī)系統(tǒng)中的可視化主要包括操作過程可視化、科計(jì)算機(jī)系統(tǒng)中的可視化主要包括操作過程可視化、科學(xué)計(jì)算可視化和信息可視化學(xué)計(jì)算可視化和信息可視化3 3個(gè)方面。操作過程可視化是現(xiàn)個(gè)方面。操作過程可視化是現(xiàn)代操