基于多模態(tài)感知的人手動作捕捉與識別

2020年度河南省重點研發(fā)與推廣專項（科技攻關(guān)）項目，編號202102310197；

平頂山學(xué)院高層次人才啟動基金項目，.編號PXY-BSQD-2019011

基于多模態(tài)感知的人手

動作捕捉與識別

薛亞許?著

新華出版社

圖書在版編目（CIP）數(shù)據(jù)

基于多模態(tài)感知的人手動作捕捉與識別/薛亞許著

北京：新華出版社，2020.7

ISBN978-7-5166-5210-7

Ⅰ.①基…Ⅱ.①薛…Ⅲ.①機械手－研究Ⅳ.①TP241

中國版本圖書館CIP數(shù)據(jù)核字(2020)第120824號

基于多模態(tài)感知的人手動作捕捉與識別

責(zé)任編輯：唐波勇封面設(shè)計：優(yōu)盛文化

出版發(fā)行：新華出版社

地址：北京石景山區(qū)京原路8號郵編：100040

網(wǎng)址：

經(jīng)銷：新華書店、新華出版社天貓旗艦店、京東旗艦店及各大網(wǎng)店

購書熱線國新聞書店購書熱線/p>

照排：優(yōu)盛文化

印刷：定州啟航印刷有限公司

成品尺寸：170mm×240mm

印張：10.5字?jǐn)?shù)：190千字

版次：2020年7月第一版印次：2020年7月第一次印刷

書號：ISBN978-7-5166-5210-7

定價：45.00元

版權(quán)專有，侵權(quán)必究。

前?言

機器人通過模擬人手完成復(fù)雜的類人操作任務(wù)，在航空航天、倉儲物流、

醫(yī)療、軍事、手勢操控安全駕駛等領(lǐng)域發(fā)揮著越來越大的作用。其中，多指機

械手是機器人實現(xiàn)靈巧操作的核心部件，深入研究人手動作捕捉和人手動作識

別是仿人多指機械手類人操作研究的基礎(chǔ)。

在國家自然科學(xué)基金項目“多模態(tài)人手手內(nèi)操作技巧研究及其在仿生機

械手上的應(yīng)用（51575412）”、歐盟項目“歐盟第七框架計劃：DREAM項目

(611391)”、國家自然科學(xué)基金項目“不確定環(huán)境下基于多源信息融合的機器

人靈巧手穩(wěn)定操作機制研究（51575407）”等的資助下，展開基于多模態(tài)感知

的人手動作捕捉與識別研究。主要工作和研究結(jié)果如下:

（1）針對人手靈巧操作的研究主要體現(xiàn)在一些簡單動作，缺少對人類所

擅長復(fù)雜動作的深入研究，如人手手內(nèi)操作、雙手協(xié)調(diào)、多次操作等問題，以

人手為研究對象，提出了人手對物體的靈巧操作機理；通過分析人手自然結(jié)

構(gòu)，研究了人手在面對不同操作任務(wù)和不同物體時所采取的接觸模式與操作模

式、抓取點布局以及相應(yīng)的力封閉性；根據(jù)人手與物體之間的運動模式，歸納

了人手與物體的交互方式，提出了一種人手動作分類方法，并分為簡單動作和

復(fù)雜動作，為人手動作捕捉與識別奠定l.基礎(chǔ)。

（2）在人手簡單動作捕捉方面，針對單一感知技術(shù)獲取人手動作信息的

局限性，采用接觸式多模態(tài)感知技術(shù)，構(gòu)建了人手動作多模態(tài)數(shù)據(jù)采集平臺，

主要包括表面肌電信號捕捉系統(tǒng)、數(shù)據(jù)手套和手指壓力感知系統(tǒng)，同步獲取人

手操作過程的肌電信息、手指角度軌跡和力信號等多模態(tài)數(shù)據(jù)；提出了人手動

作的捕捉方法，設(shè)計了人手簡單動作集，選擇受試人員，獲取了人手簡單動作

的原始信號，經(jīng)高速數(shù)字信號處理器處理后同步上傳至上位機；提出了一種基

于閾值的動作分割方法，得到了經(jīng)過分割后的原始信號；采用基于經(jīng)驗連接函

數(shù)的斯皮爾曼等級相關(guān)，分析和研究了人手手指軌跡、接觸力和SEMG.3種信

號的相關(guān)性，驗證了不同信號之間的關(guān)系對人手動作完成產(chǎn)生的影響；采用時

域特征提取方法，提取原始信號的6種代表性特征，構(gòu)建了人手簡單動作的特

征樣本庫。研究結(jié)果為人手簡單動作識別提供原始數(shù)據(jù)和特征樣本庫。

1

（3）在人手簡單動作識別方面，針對支持向量機多分類方法的多類不可

分區(qū)域、誤分、拒分、誤差積累等問題，提出了基于ADAG-SVM的人手簡單

動作識別方法和仿真試驗方法，完成了仿真試驗，從感知技術(shù)、識別方法、受

試人員等方面，驗證了基于ADAG-SVM的人手簡單動作識別方法的效果，平

均識別率達(dá)到了94.57%，相對識別率最高。將提出的基于ADAG-SVM的人手

簡單動作識別方法應(yīng)用到車輛駕駛輔助手勢識別中，通過系統(tǒng)框架設(shè)計、車載

手勢動作捕捉、特征提取以及試驗結(jié)果分析，7種手勢的識別率都在94%以上，

驗證了基于ADAG-SVM的人手動作識別方法較好的識別效果，以及基于車載

視覺的手勢識別系統(tǒng)的可行性。

（4）在人手復(fù)雜動作捕捉方面，針對非接觸式多模態(tài)感知技術(shù)應(yīng)用于人

手復(fù)雜動作識別中，存在2種及以上非接觸式傳感器的聯(lián)合校準(zhǔn)問題，采用混

合式多模態(tài)感知技術(shù)，以Kinect和SEMG作為硬件基礎(chǔ)，構(gòu)建了人手復(fù)雜動

作多模態(tài)數(shù)據(jù)采集平臺，提出了人手復(fù)雜動作捕捉方法和試驗方法，設(shè)計了人

手復(fù)雜動作集，挑選了具有代表性的受試人員，獲取人手復(fù)雜動作的時域信號

和3D圖像的原始信號；提出了基于人手復(fù)雜動作的圖像分割和特征提取方法，

提取了手部區(qū)域圖像特征信息，與人手復(fù)雜動作時域信號的特征樣本數(shù)據(jù)共同

構(gòu)成了人手復(fù)雜動作的特征集。研究成果為人手復(fù)雜動作識別提供原始數(shù)據(jù)和

人手復(fù)雜動作的特征樣本庫。

（5）在人手復(fù)雜動作識別方面，選用ML人工神經(jīng)網(wǎng)絡(luò)算法，提出了基于

ML的人手復(fù)雜動作識別方法和仿真試驗方法，完成了仿真試驗，從感知技術(shù)、

識別方法、受試人員等方面，驗證了本書提出的基于ML的人手復(fù)雜動作識別

方法的效果。仿真結(jié)果表明，基于ML的人手復(fù)雜動作識別方法易收斂、計算

速度快，平均識別率為95.10%，優(yōu)于單一感知技術(shù)的識別效果。

本書完成了基于多模態(tài)感知的人手動作捕捉與識別研究，在理論研究、

計算機仿真和試驗平臺搭建進(jìn)行了有益的探索，為實現(xiàn)仿人多指機械手的類人

靈巧操作和推廣應(yīng)用奠定了一定的理論和技術(shù)基礎(chǔ)。

2

目?錄

第1章?緒?論..................................................................................................1

1.1.研究背景及意義...........................................................................1

1.2.仿人多指機械手的國內(nèi)外研究現(xiàn)狀.............................................2

1.3.人手動作捕捉技術(shù)的國內(nèi)外研究現(xiàn)狀.........................................7

1.4.人手動作識別方法的國內(nèi)外研究現(xiàn)狀.......................................13

1.5.需要解決的科學(xué)問題..................................................................19

1.6.主要研究內(nèi)容和技術(shù)路線..........................................................20

第2章?人手動作分類方法的研究................................................................24

2.1.人手靈巧操作機理.....................................................................24

2.2.人手自然結(jié)構(gòu)分析.....................................................................26

2.3.人手操作模式.............................................................................27

2.4.抓取點布局.................................................................................31

2.5.力封閉性分析.............................................................................32

2.6.人手基本動作分類.....................................................................33

2.7.人手與物體的交互方式..............................................................35

2.8.人手動作分類方法.....................................................................37

2.9.本章小結(jié).....................................................................................39

第3章?基于接觸式多模態(tài)感知的人手簡單動作捕捉...............................41

3.1.人手簡單動作多模態(tài)數(shù)據(jù)采集平臺...........................................41

3.2.人手簡單動作的捕捉方法..........................................................43

I

3.3.基于閾值的動作分割方法..........................................................46

3.4.多模態(tài)信號的相關(guān)性分析..........................................................53

3.5.人手動作的特征提取..................................................................58

3.6.本章小結(jié).....................................................................................64

第4章?基于ADAG-SVM的人手簡單動作識別.....................................66

4.1.支持向量機多分類方法的問題分析...........................................66

4.2.基于ADAG-SVM的人手簡單動作識別方法.............................70

4.3.人手簡單動作識別的仿真試驗方法...........................................75

4.4.人手簡單動作識別的仿真結(jié)果分析...........................................77

4.5.基于RGBD的車輛駕駛輔助手勢識別......................................91

4.6.本章小結(jié).....................................................................................99

第5章?基于混合式多模態(tài)感知的人手復(fù)雜動作捕捉.............................100

5.1.人手復(fù)雜動作多模態(tài)數(shù)據(jù)采集平臺.........................................100

5.2.人手復(fù)雜動作捕捉方法............................................................102

5.3.人手復(fù)雜動作的圖像分割方法................................................104

5.4.人手復(fù)雜動作的圖像特征提取................................................110

5.5.本章小結(jié)...................................................................................112

第6章?基于ML的人手復(fù)雜動作識別.....................................................113

6.1.基于ML的人手復(fù)雜動作識別方法.........................................113

6.2.基于ML的人工神經(jīng)網(wǎng)絡(luò)算法.................................................114

6.3.人手復(fù)雜動作識別的仿真試驗方法.........................................115

6.4.人手復(fù)雜動作識別的仿真結(jié)果分析.........................................116

6.5.本章小結(jié)...................................................................................127

II

第7章?基于SEMG的人手手內(nèi)動作識別...............................................128

7.1.相關(guān)人手手內(nèi)動作研究............................................................128

7.2.基于SEMG的人手手內(nèi)動作識別方法.....................................129

7.3.數(shù)據(jù)分析...................................................................................134

7.4.實驗結(jié)果...................................................................................136

7.5.本章小結(jié)...................................................................................139

第8章?總結(jié)與展望......................................................................................140

8.1.總結(jié)..........................................................................................140

8.2.研究展望...................................................................................142

參考文獻(xiàn)...........................................................................................................143

攻讀博士學(xué)位期間發(fā)表的學(xué)術(shù)論文..............................................................155

攻讀博士學(xué)位期間的科研項目......................................................................156

致謝.................................................................................................................157

III

第1章?緒?論

1.1?研究背景及意義

隨著人工智能、微電子技術(shù)和機械制造等相關(guān)科學(xué)領(lǐng)域的飛速發(fā)展，以

及人類日益增長的生產(chǎn)生活需求，機器人作為一種新穎且實用的高級執(zhí)行工具

在航空航天、倉儲物流、醫(yī)療、軍事、手勢操控安全駕駛等領(lǐng)域發(fā)揮著越來越

大的作用。無論結(jié)構(gòu)還是功能都類似人手的機器人末端執(zhí)行器—多指機械手

是機器人對不同物體的靈巧操作的核心部件，而人手動作捕捉和人手動作識別

是多指機械手靈巧操作的兩大核心技術(shù)問題，著兩大技術(shù)可以解決對不同物體

的靈巧操作，以實現(xiàn)在復(fù)雜環(huán)境中的作業(yè)問題。

人手作為多指機械手的仿生對象，兩者對物體的靈巧操作具有共通性，

深入研究人手靈巧操作技巧是仿人多指機械手類人操作研究的基礎(chǔ)。國內(nèi)外對

人手靈巧操作的研究主要圍繞一些簡單動作，缺少對人類擅長的復(fù)雜操作技巧

的深入研究，如人手手內(nèi)操作、雙手協(xié)調(diào)、多次操作等。

目前，用于獲取人手動作信息的捕捉技術(shù)只有單一接觸式感知和單一非

接觸式感知兩大類。多指機械手的人手動作捕捉需要通過不同類型的傳感器來

同步獲取同一動作的多模態(tài)感知信息。為此，多指機械手的人手動作捕捉需要

將接觸式和非接觸式感知技術(shù)有機結(jié)合，發(fā)揮各自優(yōu)勢，獲取動態(tài)性強的人手

操作特征信息，以真實地模擬人類的感知和認(rèn)知機制。

人手動作識別是指在獲取人手操作特征信息后，根據(jù)人手操作特點，通

過多模態(tài)數(shù)據(jù)分析獲取具有表征能力和分離度的特征集，并利用機器學(xué)習(xí)方法

對特征集進(jìn)行分類，識別不同的人手動作。人手動作識別方法是將人手行為映

射到機器人手操作過程中的關(guān)鍵?，F(xiàn)用于人手動作識別的方法主要基于同一動

作的單一感知信息進(jìn)行人手動作識別，而人手對物體的操作是一個涉及多種特

征信息的復(fù)合運動，其識別需要人手操作過程中的多模態(tài)感知信息。此外，同

1

基于多模態(tài)感知的人手動作捕捉與識別

一動作的多模態(tài)感知信息需要結(jié)合高效的機器學(xué)習(xí)方法（如支持向量機和神經(jīng)

網(wǎng)絡(luò)），實現(xiàn)人手靈巧操作的精確識別。

綜上所述，本書采用多模態(tài)感知技術(shù)進(jìn)行人手動作捕捉與識別研究，主

要內(nèi)容包括人手動作分類方法、人手動作感知技術(shù)和人手動作識別方法等。以

人手作為多指機械手的仿生對象，提出了人手與物體的交互方式和人手動作分

類方法；針對單一感知技術(shù)獲取人手動作信息的局限性，構(gòu)建了人手簡單動作

多模態(tài)數(shù)據(jù)采集平臺，提出了基于接觸式多模態(tài)感知的人手簡單動作捕捉方

法；針對多類支持向量機對人手簡單動作識別過程中出現(xiàn)的多類不可分區(qū)域、

誤分、拒分和誤差累積等問題，提出了一種基于ADAG-SVM的人手簡單動作

識別方法；針對非接觸式多模態(tài)感知技術(shù)應(yīng)用于人手復(fù)雜動作識別中存在2種

以上非接觸式傳感器的聯(lián)合校準(zhǔn)問題，構(gòu)建了人手復(fù)雜動作多模態(tài)數(shù)據(jù)采集平

臺，提出了人手復(fù)雜動作捕捉方法；基于多模態(tài)特征信息，結(jié)合高效的機器學(xué)

習(xí)算法，提出了基于ML的人手復(fù)雜動作識別方法，對特征信息進(jìn)行人手復(fù)雜

動作識別。

本書為實現(xiàn)仿人多指機械手的類人靈巧操作和推廣應(yīng)用奠定了一定的理

論和技術(shù)基礎(chǔ)。

1.2?仿人多指機械手的國內(nèi)外研究現(xiàn)狀

對仿人多指機械手的研究起始于假肢手。從20世紀(jì)60年代開始，國外的

眾多專家、學(xué)者對仿人多指機械手進(jìn)行了大量的研究。20世紀(jì)90年代初，隨

著人工智能、計算機科學(xué)、傳感器科學(xué)、微電子技術(shù)等的迅速發(fā)展，出現(xiàn)了多

關(guān)節(jié)、多自由度的模塊化結(jié)構(gòu)和位置、力覺、觸覺等多傳感器系統(tǒng)高度集成的

電機驅(qū)動式仿人多指機械手。目前，經(jīng)歷了幾代的發(fā)展，仿人多指機械手已經(jīng)

進(jìn)入了相對成熟的發(fā)展階段。

國內(nèi)對仿人多指靈巧機械手的研究始于20世紀(jì)80年代，有關(guān)高校、研究

機構(gòu)以及企業(yè)累積了一些研究成果，并開發(fā)出相應(yīng)的產(chǎn)品，如BUAA系列機

械手和HIT/DLR系列機械手等。

1.2.1?仿人多指機械手的結(jié)構(gòu)組成

針對復(fù)雜的非結(jié)構(gòu)化操作環(huán)境，多自由度、多關(guān)節(jié)的仿人多指機械手成

為機器人末端執(zhí)行器的發(fā)展方向，能夠適應(yīng)不同的工作環(huán)境，根據(jù)任務(wù)要求協(xié)

2

第1章?緒?論

調(diào)完成各種復(fù)雜和靈巧的操作。一個典型的仿人多指機械手一般由感知系統(tǒng)、

總控計算機、人機交互系統(tǒng)和靈巧機械手系統(tǒng)等4個功能模塊組成，如圖1-1

所示。

總控計算機控制系統(tǒng)

視覺感知

運動機構(gòu)

觸覺感知

手部

人機交互系統(tǒng)

感知系統(tǒng)

靈巧機械手系統(tǒng)

圖1-1?仿人多指機械手組成結(jié)構(gòu)

1.感知系統(tǒng)

針對不同的任務(wù)，感知系統(tǒng)通過視覺、觸覺、聽覺等各種各樣的傳感器

來獲取操作對象的物理特性和外界環(huán)境的特征信息，幫助機器人具備人類的感

知能力，從而使其更加有效地完成各種特定的任務(wù)。

2.總控計算機

總控計算機是機器人操控系統(tǒng)的核心，用于實現(xiàn)信息處理、操作決策、

任務(wù)協(xié)調(diào)等上層關(guān)鍵功能。

3.人機交互系統(tǒng)

人機交互系統(tǒng)作為使用者與機器人之間傳遞、交換信息的橋梁，用于實

現(xiàn)使用者的指令發(fā)送和機器人的操作信息反饋等交互功能。

4.靈巧機械手系統(tǒng)

靈巧機械手系統(tǒng)通過各種感知系統(tǒng)提供的外部信息，采用適當(dāng)?shù)牟僮鞣?/p>

式和規(guī)劃算法，理論上可以在復(fù)雜的非結(jié)構(gòu)環(huán)境中實現(xiàn)任意形狀物體的靈巧操

作。靈巧機械手系統(tǒng)由控制系統(tǒng)、運動機構(gòu)和手部構(gòu)成。先由DSP或單片機

構(gòu)成的控制系統(tǒng)發(fā)送動作指令，再由運動機構(gòu)根據(jù)接收的指令實現(xiàn)手部各種轉(zhuǎn)

動、移動或復(fù)合運動來完成規(guī)定的動作，從而改變被抓持物體的位置和姿勢，

最后手部則根據(jù)物體的形狀、尺寸、材料等物理特征完成作業(yè)要求。

1.2.2?國外典型的仿人多指機械手

1962年，由Tomovic和Boni研制并用于傷寒病人的Belgrade手是世界上

3

基于多模態(tài)感知的人手動作捕捉與識別

最早的機械手。1974年，日本研制的Okada手是早期機械手的典型代表，由

3個手指和1個手掌組成，手指的每個關(guān)節(jié)通過電機驅(qū)動，采用鋼絲—滑輪結(jié)

構(gòu)實現(xiàn)運動和動力的傳遞。20世紀(jì)80年代以來，隨著機器人技術(shù)的快速發(fā)展，

很多國家加強了機器人多指機械手的研制，促使一些代表性的多指機械手問

世，如美國麻省理工學(xué)院和猶他大學(xué)聯(lián)合研制的Utah/MIT手，美國斯坦福大

學(xué)的Stanford/JPL手和日本于1984年研制的Hitachi手，奠定了多指機械手的

基本設(shè)計思想。20世紀(jì)90年代后，隨著計算機技術(shù)、微電子機械技術(shù)和精密

加工技術(shù)的不斷創(chuàng)新，多指機械手進(jìn)入了一個嶄新的快速發(fā)展階段。高性能計

算機大大提高了多指機械手控制系統(tǒng)的信號處理能力和復(fù)雜控制算法的計算能

力，大規(guī)模集成電路和微電機為多指機械手的集成化設(shè)計提供了良好的條件。

典型代表有意大利研制的DIST手和UB手、德國宇航局研制的DLR-I手、美

國宇航局研制的NASA.Robonaut手，如圖1-2所示。

圖1-2?靈巧機械手典型代表

圖1-2中的靈巧機械手已經(jīng)具備了一定的類人操作功能，但由于微電機

技術(shù)、材料加工等技術(shù)的制約依舊面臨著不小的挑戰(zhàn)，如力控制問題、多指協(xié)

同。綜合分析以上4種靈巧機械手的性能及特點，從手指數(shù)、自由度、傳感器

數(shù)量、驅(qū)動方式和可靠性等方面進(jìn)行比較，其結(jié)果如表1-1所示。

表1-1?4種靈巧機械手比較結(jié)果

靈巧機械手手指數(shù)自由度傳感器數(shù)量驅(qū)動方式可靠性

DIST手416無直流電機低

UB—Ⅱ手3139繩索和滑輪低

無刷直流電機、諧波齒輪和

DLR—Ⅰ手412112高

基關(guān)節(jié)錐齒輪

NASA手51443無刷直流電機.較高

4

第1章?緒?論

由表1-1可以得出以下結(jié)論。

（1）從機械手手指數(shù)量來看，NASA手具有和人類相同的手模型，但遠(yuǎn)未

達(dá)到人手靈巧性。

（2）自由度越高所能實現(xiàn)的操作功能越多，從自由度的數(shù)量來看，4種機

械手僅能實現(xiàn)較為簡單的操作，缺乏手指和物體間作用力的主動控制，難以實

現(xiàn)精確操作和強力控制。

（3）從4種機械手擁有的傳感器數(shù)量來看，DLR—Ⅰ手配有最多的傳感器，

具有豐富的感知功能，如觸覺、力、位置、速度和溫度等。

（4）從驅(qū)動方式來看，NASA手使用12個無刷直流電機實現(xiàn)整手驅(qū)動，

且有冗余關(guān)節(jié)，相比其他機械手具有最高的穩(wěn)定性。

（5）從可靠性方面來看，NASA手的可靠性最高，DIST手和UB—Ⅱ手的

可靠性最低，這與沒有或較少的傳感器數(shù)量以及不太穩(wěn)定的驅(qū)動方式有關(guān)。

21世紀(jì)以來，多指機械手技術(shù)進(jìn)入了一個穩(wěn)步提高的發(fā)展階段。多指機

械手的集成化、智能化和靈巧操作水平得到了新的提高，特別是微型電動機

技術(shù)的顯著發(fā)展，使由驅(qū)動器直接驅(qū)動關(guān)節(jié)運動的內(nèi)置式多指手成為發(fā)展主

流，如德國宇航局基于全數(shù)字機電集成的思想研制的第二代DLR—Ⅱ手，蘇

格蘭Touch.Bionics公司研制的i-Limb仿生手，英國Shadow機器人公司研制

的Shadow手和美國DEKA公司研制的DEKA手。

21世紀(jì)多指靈巧機械手典型代表如圖1-3所示。

圖1-3?21世紀(jì)多指靈巧機械手典型代表

相比于較前期的仿生手，21世紀(jì)多指靈巧機械手更加的擬人化，并且具

備了更高的自由度，各種傳感器、電氣、驅(qū)動和控制系統(tǒng)高度集成，控制器功

能更加豐富，計算能力更加強大。目前，多指靈巧機械手在智能機器人手臂、

危險環(huán)境下的精密操作、醫(yī)療康復(fù)、空間機器人等領(lǐng)域得到了廣泛應(yīng)用。

5

基于多模態(tài)感知的人手動作捕捉與識別

1.2.3?國內(nèi)典型的仿人多指機械手

從20世紀(jì)80年代開始，以北京航空航天大學(xué)和哈爾濱工業(yè)大學(xué)為首

的高校開展了多指靈巧機械手的研究工作。其中，我國第一個多指靈巧機

械BUAA-I手由北京航空航天大學(xué)研制而成，隨后的改進(jìn)型BUAA-Ⅱ和

BUAA-Ⅲ手也相繼研制成功。BUAA-Ⅲ手為擬人型4指16自由度手，采用模

塊化設(shè)計，傳動元件全部由齒輪副組成，如圖1-4所示。該手電機內(nèi)置，結(jié)構(gòu)

簡單、緊湊，可滿足不同任務(wù)的操作要求。.

圖1-4?BUAA-Ⅲ手

哈爾濱工業(yè)大學(xué)研制的HIT靈巧手由4個完全相同的手指組成，每個手

指有3個自由度和4個關(guān)節(jié)。該手采用微型直線驅(qū)動器和腱傳動相結(jié)合的方式

實現(xiàn)手指關(guān)節(jié)的驅(qū)動，基于內(nèi)置的多種位置、力、溫度等傳感器獲取的感知信

息實現(xiàn)位置和阻抗控制，也可通過數(shù)據(jù)手套實現(xiàn)遠(yuǎn)程遙控作業(yè)。以HIT手和

DLR手的核心技術(shù)為基礎(chǔ)，哈爾濱工業(yè)大學(xué)和德國宇航中心聯(lián)合研制了基于

多種感知的仿人多指靈巧手—HIT/DLRⅠ手，如圖1-5所示，HIT/DLRⅠ手

由4個完全相同的手指組成，不同于HIT手的地方是大拇指還有一個相對于

手掌的運動自由度，用于滿足不同抓握方式的要求。此外，多種傳感器和驅(qū)動

器高度集成于手指或手掌內(nèi)部，并且采用基于PCI總線DSP控制卡實現(xiàn)靈巧

手的控制。

6

第1章?緒?論

圖1-5?HIT/DLRⅠ手

與此同時，其他高校及研究所相繼展開了多指靈巧機械手的研究工作。

上海交通大學(xué)機器人研究所針對殘疾人所研制的仿人假肢手，具有質(zhì)量輕、功

耗低、可靠性高等特點，通過創(chuàng)新研制的肌電臂帶控制，可實現(xiàn)人手90%的

動作，為殘疾人滿足日常生活需求帶來了希望。華中科技大學(xué)研制的上肢康復(fù)

機器人，采用肌電信號實現(xiàn)了基于人體運動意圖控制的臂部和手部康復(fù)訓(xùn)練。

隨著較高自由度與靈敏度的仿人多指機械手在醫(yī)療康復(fù)、類人機器人等

領(lǐng)域的深入應(yīng)用，高智能、多功能的設(shè)計要求對靈巧手操作規(guī)劃、多模態(tài)感知

和動作識別關(guān)鍵技術(shù)的研究帶來了新的挑戰(zhàn)。

為使其適應(yīng)更加復(fù)雜的人類生活環(huán)境，仿人多指機械手不再局限于簡單

的操作，而需實現(xiàn)更加復(fù)雜的類人操作，如手內(nèi)操作、雙手協(xié)同操作以及重新

抓取等。

1.3?人手動作捕捉技術(shù)的國內(nèi)外研究現(xiàn)狀

模擬人類的操作、感知和認(rèn)知機制，仿人多指機械手需借助不同的捕捉

技術(shù)來獲取相應(yīng)的特征信息以實現(xiàn)類人操作。人手在進(jìn)行物體操作前，先通過

視覺獲取物體的位置、形狀、尺寸等特征信息，然后通過這些物理特征信息來

選擇合適的操作姿態(tài)，在接觸物體后通過觸覺來獲取物體的紋理、重量等特征

信息，以選擇合適的操作力，最后實現(xiàn)物體的穩(wěn)定操作。

目前，用于獲取人手動作信息的捕捉技術(shù)分為單一接觸式感知和單一非

接觸式感知兩大類捕捉技術(shù)，其分類見圖1-6。

7

基于多模態(tài)感知的人手動作捕捉與識別

????????

?а??????а??????

????а??

???????

???????

??????

????

?

圖1-6?人手動作捕捉技術(shù)分類

1.3.1?基于單一接觸式感知的人手動作捕捉技術(shù)

單一接觸式捕捉技術(shù)指通過單一種類接觸式傳感器來獲取人手動作的某

種感知信息，如手指彎曲角度、手指力、肌電信號等。其主要包括數(shù)據(jù)手套、

依附力傳感器、肌電儀和光學(xué)標(biāo)記等4種感知設(shè)備。

1.數(shù)據(jù)手套

隨著傳感技術(shù)和精密加工技術(shù)的飛速發(fā)展，數(shù)據(jù)手套更多地被用于手部

動作模擬，并且每根手指都能夠進(jìn)行多自由度的運動。數(shù)據(jù)手套配備有不同類

型傳感器的電子設(shè)備，用于實時感測手指的屈曲和觸點。由數(shù)據(jù)手套感知到

的手部動作信息通過模-數(shù)轉(zhuǎn)換后實時傳送到計算機，經(jīng)計算機測量手指角

度、應(yīng)用力和手傾斜度等關(guān)鍵信息。目前，市場上流行的數(shù)據(jù)手套主要包括

CyberGloveⅢ，ShapeHand.Glove，5-DT.14.Glove和CyberWorld.P5。

數(shù)據(jù)手套的高精度、高響應(yīng)速度和易控制等優(yōu)點，使其在市場競爭中處

于主導(dǎo)地位。Luzanin開發(fā)了一種基于數(shù)據(jù)手套的手部動作識別系統(tǒng)，采用具

有5個傳感器的數(shù)據(jù)手套來獲取手部動作信息，通過概率神經(jīng)網(wǎng)絡(luò)算法對生成

的聚類集進(jìn)行訓(xùn)練，從而有效識別虛擬現(xiàn)實應(yīng)用中的手部運動。Fang設(shè)計了

一款名為YoBu的數(shù)據(jù)手套，由18個慣性和磁感應(yīng)單元組成，能夠同時獲取

手部和手臂的動作信息，以非常直觀自然的方式遠(yuǎn)程操控機器人。此外，有相

關(guān)研究已證明了數(shù)據(jù)手套在人手動作識別方面的優(yōu)勢。數(shù)據(jù)手套獲取手的關(guān)節(jié)

角，存在尺寸差異，需要比例校準(zhǔn)；無法獲取空間位置信息和操作力，且傳感

器之間存在交叉耦合，對校準(zhǔn)提出更高要求。

8

第1章?緒?論

2.依附力傳感器

依附力傳感器主要通過測量施加的切向力和法向力來量化外部力。通過

對相互作用力的準(zhǔn)確評估，集成在機器手上的力傳感器能夠使機器人執(zhí)行精確

的操作。因此，學(xué)術(shù)界和工業(yè)界加大了對力傳感器和測量外部力的感知技術(shù)的

研究。力傳感器在操作任務(wù)中的設(shè)計標(biāo)準(zhǔn)主要包括空間分辨率、魯棒性、敏感

性和頻率響應(yīng)，并滿足對物體表征、識別和操作的要求?，F(xiàn)在被廣泛采用的力

傳感器主要包括電容式傳感器、壓阻式傳感器、壓電式傳感器和應(yīng)變計。

電容式傳感器基于由外力變化引起的上下電極之間的距離變化來獲取位

移、力和速度信息；壓阻式傳感器檢測在硅襯底上形成的感測材料的電阻率變

化來獲取相應(yīng)的力；壓電式傳感器通過測量壓電材料產(chǎn)生的與施加的壓力成比

例的電荷來獲取力信息；應(yīng)變計將應(yīng)變量轉(zhuǎn)化成電阻變化量來獲取對應(yīng)的力。

通過對大量相關(guān)文獻(xiàn)的查閱和總結(jié)，表1-2總結(jié)了4種典型的力傳感器

的優(yōu)缺點。

表1-2?4種典型力傳感器的優(yōu)缺點比較

類?型優(yōu)?點缺?點

頻率響應(yīng)和高空間分布率高、動態(tài)

電容式電磁噪聲、溫度敏感、非線性特性、磁滯

分布大、成本低

壓阻式功耗低、靈活性和高空間分布率高磁滯、易脆、低的頻率響應(yīng)、重復(fù)性差

低功耗、高空間分辨率、較高的動溫度敏感、不可伸縮、電氣連接脆弱、

壓電式

態(tài)響應(yīng)漂移

應(yīng)變計靈敏度高、低成本、尺寸小溫濕度敏感、過載不可逆、非線性

3.肌電儀

肌電儀通過測量依附在皮膚表面的肌電信號，為肌肉訓(xùn)練和科學(xué)研究的

生物反饋測量和評估提供技術(shù)支持。越來越多的研究人員通過肌電儀來分析人

手動作用于假肢手和醫(yī)療康復(fù)研究。通過識別人手動作所對應(yīng)的肌肉收縮模

式，機器人可以根據(jù)人的意圖來執(zhí)行相應(yīng)的動作，如假肢手運動。Kiguchi提

出了一種新穎的使用肌電儀獲取用戶動作意圖來進(jìn)行上肢控制的設(shè)計框架。Al.

Timemy對假肢控制的各種動作進(jìn)行識別，并采用離線處理來評估基于多通道

肌電儀的識別性能。

肌電儀提取人類肌電信號，其數(shù)據(jù)易受到串?dāng)_或冗余影響，需要從原始

信號中進(jìn)行有效信息的特征提取，來精確地控制手腕和手部動作。

9

基于多模態(tài)感知的人手動作捕捉與識別

4.光學(xué)標(biāo)記

光學(xué)標(biāo)記作為近些年出現(xiàn)的一種新穎的動作捕捉感知技術(shù)，由于其高魯

棒性和高效性的優(yōu)點，被廣泛應(yīng)用于具有可校準(zhǔn)攝像機的可控環(huán)境中追蹤和分

析人手動作，其中攝像機只用于追蹤附于人身上的光學(xué)標(biāo)記。附于人手表面的

光學(xué)標(biāo)記使關(guān)鍵特征信息的檢測更加簡易化，既不會影響手的自然運動，又不

會像數(shù)據(jù)手套那樣由于接觸帶來的擾動。Chang采用監(jiān)督式特征選擇方法來簡

化光學(xué)標(biāo)記捕捉的人手動作特征集，以實現(xiàn)多種手部操作動作的識別。Cerveri

提出了一種將非剛體球體擬合和漸進(jìn)優(yōu)化相結(jié)合的方法，通過光學(xué)標(biāo)記來估算

骨骼關(guān)節(jié)的旋轉(zhuǎn)中心和功能軸。Kuo等人設(shè)計了一種基于皮膚傳感器和表面標(biāo)

記的非侵入式裝置用于3D定量測量。Metcalf等人提出了基于表面標(biāo)記的運動

學(xué)模型，并通過標(biāo)準(zhǔn)計算來確定光標(biāo)所在位置。

光學(xué)標(biāo)記捕捉人體動作信息時，皮膚形變和標(biāo)記物位移會引起測量誤差，

測量范圍有限，需穿戴特殊標(biāo)記衣服，使關(guān)鍵特征信息的檢測更加簡易化。

1.3.2?基于單一非接觸式感知的人手動作捕捉技術(shù)

單一非接觸式捕捉技術(shù)指通過單一種類非接觸式傳感器來獲取人手動作

的某種感知信息，如顏色圖像和深度圖像等，主要包括一般攝像機、深度攝像

機或手勢控制器等非接觸式傳感器。

1.一般攝像機

接觸式感知系統(tǒng)由于其傳感器裝置需通過與物體的物理接觸來獲取相應(yīng)

的特征信息，易受到復(fù)雜的連接線、接觸面特性、遲滯等的影響。而非接觸式

感知系統(tǒng)不需物理接觸即可實現(xiàn)對人手動作特征信息的獲取，避免由于接觸

所引起的誤差干擾。隨著視覺技術(shù)的飛速發(fā)展和各種先進(jìn)攝像機的出現(xiàn)，如

RGB攝像機和立體攝像機，為接觸式感知系統(tǒng)所面臨的問題提供了新的解決

方案。

RGB攝像機通過三根不同的導(dǎo)線來提供紅、綠、藍(lán)3種顏色分量，使用3

個獨立的CCD傳感器來獲取相應(yīng)的顏色信號，具有數(shù)百萬像素和每秒超過20

幀的畫面捕捉能力，為獲取高精度的人手動作信息提供了足夠的保障。RGB

攝像機捕捉3D人手動作信息時，需彼此分開一定角度，以避免由人手動作的

高動態(tài)性和投影產(chǎn)生的遮擋現(xiàn)象。.

立體攝像機由兩套相同規(guī)格的數(shù)碼相機組成，兩攝像鏡頭平行相距一定

的距離，對準(zhǔn)1～5ｍ的目標(biāo)，通過對兩個數(shù)碼相機的調(diào)焦、變焦和感光等參

數(shù)設(shè)置獲取物體的3D結(jié)構(gòu)。Grzeszczuk等人提出了一種基于立體攝像機來獲

10

第1章?緒?論

取人手動作信息進(jìn)行手勢識別的方法。立體攝像機具有固定的鏡頭角度和內(nèi)部

預(yù)校準(zhǔn)，這使攝像機能夠自由移動，但兩個鏡頭之間的角度通常太小，無法覆

蓋人體運動中的遮擋區(qū)域。另外，立體幾何計算的復(fù)雜性和立體聲強度圖像對

光線變化的高敏感性，使立體攝像機很難進(jìn)行三角測量。

2.深度攝像機

相比于一般攝像機，深度攝像機不僅能捕捉傳統(tǒng)的RGB圖像，還能獲取每

一幀像素的深度信息，并將得到的深度圖像轉(zhuǎn)換為點云，通過幾何和拓?fù)洳僮?/p>

從中提取人體骨骼信息。由于深度攝像機較高的穩(wěn)定性、實時性和價格低廉特

性，被廣泛應(yīng)用于虛擬游戲、3D建構(gòu)、增強現(xiàn)實和人體動作行為分析等。

TOF攝像機是獲取深度圖像信息應(yīng)用較為典型的方法之一，它是通過給

目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的

飛行往返時間來得到物體距離。與立體攝像機或三角測量系統(tǒng)相比，TOF攝像

機體積小，適合一些需要輕便、小體積相機的場合。它能夠?qū)崟r快速地計算深

度信息，并且不受物體表面灰度和特征影響，可以非常準(zhǔn)確地進(jìn)行三維測量。

另外，TOF攝像機的深度計算不隨距離改變而改變，對一些大范圍運動的應(yīng)用

場合非常有意義。Oprisescu等人提出了一種基于TOF攝像機的自動圖像捕捉

系統(tǒng)來識別靜止的人手動作。kopinski等人給出了一種基于3D的人手姿態(tài)識

別研究，采用新一代低成本的TOF傳感器用于室外汽車人機交互。

由微軟公司研發(fā)的Kinect能很方便地取得深度圖像和人體姿態(tài)等信息，

因此被全世界的開發(fā)者和研究人員關(guān)注?；诮Y(jié)構(gòu)光感測原理的Kinect.V1

于2010年發(fā)布，采用了光編碼的方式，將已知的光圖案投射到3D場景中，

由Kinect集成的光檢測器讀取投射的紅外線模式，并通過物體表面上的投影

引起的光圖案的變形來計算點云的3D結(jié)構(gòu)。但是，Kinect.V1的分辨率只有

640×480，不能取得精確的圖像?；诖?，Kinect.V2于2013年發(fā)布，具有

1920×1080的分辨率，骨骼關(guān)節(jié)檢測點也從20提高到了26個。Kinect.V1采

用光編碼的方式，而Kinect.V2采用TOF的工作原理來獲取深度圖像數(shù)據(jù)。近

些年來，大量的人體行為分析工作，如人體運動、手部動作和臉部動作等，都

采用RGB-D信息作為輸入。

雖然深度攝像機具有很明顯的優(yōu)點，但是對于捕捉復(fù)雜的人手動作，易

受到噪音、身體遮擋和數(shù)據(jù)丟失等影響，僅靠單一的深度攝像機在室內(nèi)環(huán)境中

獲取相應(yīng)的深度信息仍然有一定的難度。為解決此問題，大多數(shù)采用同時使用

多個RGB-D攝像機來追蹤人體動作分析一組動作。

11

基于多模態(tài)感知的人手動作捕捉與識別

3.手勢控制器

手勢控制器是一種新穎的人手姿態(tài)和位置追蹤傳感器。它是放置在物理

桌面上的小型USB外圍設(shè)備，面朝上，具有可重復(fù)性的人手動作控制用戶界

面，并能捕捉百分之一毫米的圖像信息。手勢控制器的核心部分由3個紅外線

發(fā)射器和2個可以從不同方向拍攝照片的內(nèi)置攝像機組成，可以很方便地獲取

3D空間中的人手動作信息。它能以延遲低于顯示器刷新率的精度，同時跟蹤

10個手指的動作。因此，很容易區(qū)分手指關(guān)節(jié)并追蹤它們的移動[63]。與深度

攝像機相比，手勢控制器采用紅外光學(xué)相機而不是深度傳感器，并且與典型的

多觸摸方法不同，其表面?zhèn)鞲杏糜诂F(xiàn)實立體3D交互系統(tǒng)。Chen等人提出了采

用手勢控制器來捕捉手勢的機器人控制系統(tǒng)，通過噪聲抑制、坐標(biāo)變換和逆運

動學(xué)的處理過程，實現(xiàn)了對虛擬通用機器人UR10的控制。Chophuk等人使用

手勢控制器來預(yù)估觸發(fā)手指的異常手指運動，并通過點積方程來測量手指的關(guān)

節(jié)角度。劉少強等人提出了基于歐幾里得和余弦算法的印度手語識別系統(tǒng)，以

識別使用手勢控制器獲取的人手動作及位置信息。

手勢控制器可以準(zhǔn)確地追蹤和識別人手動作，但不能夠確定每一幀的所

有屬性，如當(dāng)手握成拳頭時，并且當(dāng)檢測區(qū)域多于2個手或有類似手的物體出

現(xiàn)時，不能保證其對手部動作信息獲取的質(zhì)量。

1.3.3?基于多模態(tài)感知的人手動作捕捉技術(shù)

多模態(tài)感知技術(shù)指通過不同類型的傳感器來同步獲取同一動作的不同感

知信息。根據(jù)人手簡單動作或復(fù)雜動作識別對多模態(tài)感知信息的需要，將多模

態(tài)感知技術(shù)歸結(jié)為接觸式多模態(tài)感知技術(shù)和非接觸式多模態(tài)感知技術(shù)。

1.接觸式多模態(tài)感知技術(shù)

接觸式多模態(tài)感知技術(shù)指同時采用數(shù)據(jù)手套、依附力傳感器、肌電儀和

光學(xué)標(biāo)記等2種及以上接觸式傳感器組合，同步獲取人手同一動作的手指力、

角速度和手指彎曲角度等多模態(tài)數(shù)據(jù)信息。

多種類型的接觸式傳感器組合可以獲取更多人手動作信息，彌補了單一

接觸式傳感器僅能獲取一種信息的缺點。目前的接觸式多模態(tài)傳感器通常包括

觸覺壓力感測陣列、接近傳感器、動態(tài)觸覺傳感器和熱傳感器。觸覺壓力感測

陣列通常由附著在手指表面上的各個壓敏元件組成?；跓o線傳感的接近傳感

器主要用于目標(biāo)區(qū)域跟蹤。動態(tài)觸覺傳感器包括幾種典型的傳感器，如檢測傳

感器、加速度計、應(yīng)變速率傳感器、主動激勵傳感器和其他具有快速響應(yīng)的

傳感器。熱傳感器主要根據(jù)溫度的變化來檢測與溫度和濕度有關(guān)的特征信息。

12

第1章?緒?論

liu等人提出了一種基于多模態(tài)感知技術(shù)的人手動作識別框架，通過獲取指尖

軌跡、接觸力和肌電信號來實現(xiàn)對不同動作的識別。Wettels等人通過BioTac

手指感知陣列來獲取接觸力、微振動和熱通量信息，采用自適應(yīng)神經(jīng)網(wǎng)絡(luò)算法

實現(xiàn)對特定手勢的識別。

接觸式多模態(tài)感知技術(shù)在工程應(yīng)用中，由于傳感器裝置需通過與物體的

物理接觸來獲取相應(yīng)的特征信息，其獲取手指力、角速度、手指彎曲角度等數(shù)

據(jù)易受到復(fù)雜的連接線、接觸面特性、遲滯等的影響，但采用接觸式多模態(tài)感

知技術(shù)獲取人手動作識別特征信息，可滿足人手簡單動作的識別要求。因此，

本書在人手簡單動作識別中，選用接觸式多模態(tài)感知技術(shù)。

2.非接觸式多模態(tài)感知技術(shù)

非接觸式多模態(tài)感知技術(shù)指同時采用一般攝像機、深度攝像機和手勢控

制器等2種及以上的單一非接觸式傳感器，同步獲取人手同一動作的3D圖像

信息（如顏色圖像和深度圖像）。

近年來，視覺傳感器的出現(xiàn)為人手動作識別提供了新的思路。越來越多

的研究人員試圖采用非接觸式感知技術(shù)來獲取人手動作特征信息，以用于人機

交互、遠(yuǎn)程遙控等領(lǐng)域中的動作識別。Marin等人提出了一種基于Kinect和手

勢控制器的手勢識別框架。Dominio等人通過獲取手指彎曲曲率、手掌區(qū)域等

多模態(tài)深度圖像信息來實現(xiàn)不同手勢動作的識別。

非接觸式多模態(tài)感知技術(shù)可應(yīng)用于人手復(fù)雜動作識別，獲取人手動作

的視覺信息。但在實際應(yīng)用中，存在2種及以上非接觸式傳感器的聯(lián)合校準(zhǔn)

問題。

1.4?人手動作識別方法的國內(nèi)外研究現(xiàn)狀

人手動作識別是指在獲取原始人手行為特征信息后，根據(jù)人手操作的特

點，通過多模態(tài)數(shù)據(jù)分析獲取具有較好表征能力和分離度的特征集，有效地對

其進(jìn)行分類，識別出不同的人手動作，屬于多分類范疇。人手動作識別方法是

將人手行為映射到機器人手操作過程中的關(guān)鍵。

現(xiàn)用于人手動作識別的方法主要有支持向量機、神經(jīng)網(wǎng)絡(luò)、隱馬爾科夫

模型、高斯混合模型、模板匹配和動態(tài)時間規(guī)整等。此外，還有一些其他的方

法，如有限狀態(tài)機、時間聚類方法、雜合高斯混合模型、貝葉斯神經(jīng)網(wǎng)絡(luò)、延

時神經(jīng)網(wǎng)絡(luò)等。針對本書所涉及的人手動作多模態(tài)數(shù)據(jù)特征，支持向量機和人

13

基于多模態(tài)感知的人手動作捕捉與識別

工神經(jīng)網(wǎng)絡(luò)結(jié)合自身的算法特點，具有良好的人手動作識別優(yōu)勢，其研究現(xiàn)狀

綜述如下。

1.4.1?支持向量機多分類方法

支持向量機（Support.Vector.Machine，SVM）是一種經(jīng)典的二分類算法，

通過尋求結(jié)構(gòu)化風(fēng)險最小來提高學(xué)習(xí)機泛化能力，實現(xiàn)經(jīng)驗風(fēng)險和置信范圍的

最小化，從而達(dá)到在統(tǒng)計樣本量較少的情況下，獲得良好的統(tǒng)計規(guī)律，在解決

小樣本、非線性及高維模式識別問題中表現(xiàn)出特有的優(yōu)勢。它將向量映射到更

高維的空間上，并建立一個劃分矢量簇的最大邊界超平面。新對象位于相同的

空間中，并被認(rèn)為屬于基于它們所在的區(qū)域的類，從而實現(xiàn)不同類之間的劃分

[82-85]。

相比其他一些傳統(tǒng)的方法，支持向量機具有較為明顯的優(yōu)勢，但不能處

理大規(guī)模分類問題，而人手動作識別中遇到的大部分是多分類問題。因此，

經(jīng)過國內(nèi)外學(xué)者的深入研究，目前常用的方法主要包括一對多SVM、一對一

SVM、多分類SVM、有向無環(huán)圖SVM（DAGSVM）和決策樹SVM。

1.一對多SVM方法

一對多SVM是應(yīng)用最為廣泛的多類分類法。假設(shè)k類問題，給定樣本集

n

(xy11,),...,(xylk,),xi∈=Ri,1,...,l,yi∈{1,...,k}。目標(biāo)樣本包含k個類別，第i個

分類器把第i類和其他的各類劃分開，訓(xùn)練時第i個分類器取訓(xùn)練集中第i類

為正類，其余類別為負(fù)類進(jìn)行訓(xùn)練。判別時，輸入信號分別經(jīng)過k個分類器，

共得到k個輸出值Fx(ii)=sgn(fx())。若只有一個+1出現(xiàn)，則其對應(yīng)類別為

輸入信號類別。但實際情況下構(gòu)造的決策函數(shù)總有誤差，若出處不止一個+1

（不止一類聲稱屬于自己），或者沒有一個輸出為+1（沒有一個類聲稱屬于自

己），則比較fx()輸出，最大者對應(yīng)類別為輸入類別。

一對多SVM方法所需分類器較少，分類速度較快。當(dāng)面對大樣本分類

問題時，其訓(xùn)練時間與類別數(shù)成正比，訓(xùn)練時間較長，且易出現(xiàn)誤分、拒分

現(xiàn)象。

2.一對一SVM方法

一對一SVM在每兩類間訓(xùn)練一個分類器，對k個類別將產(chǎn)生kk(?1)/2個

分類器。對一個位置樣本進(jìn)行分類時，每個分類器對其類別采取“投票”方

式，即每個兩類分類器都對樣本的類別進(jìn)行判斷，得票數(shù)最多者即為該未知樣

本的實際類別。相比一對多SVM，一對一SVM由于每個SVM只考慮2類樣本，

因此更容易訓(xùn)練，分類精度也較高。

14

第1章?緒?論

一對一SVM方法所需的分類器數(shù)目跟類別數(shù)成正比，但“投票”機制使

其決策時速度較慢，若出現(xiàn)票數(shù)一致易產(chǎn)生不可分情況。

3.多分類SVM方法

多分類SVM通過修改目標(biāo)函數(shù)，把多分類問題轉(zhuǎn)換為解決單個優(yōu)化問題，

從而建立k個分類器。

由二分類支持向量機推廣可得

2

1nl

mT≥

minΨ=(w,ξ)wC+ξφiywxb(i)+y

wb,,ξ∑∑∑ii

2m=11i=my≠i.............（1-1）

Tm

wxbmiφξ()+m+?2i

m≥

式中，ξii0,m∈{1,...,ky}/，最終獲得的目標(biāo)決策函數(shù)為

=Tφ+

fx()argmaxwmm(x)b............................（1-2）

mk=1,...,

利用拉格朗日乘子法將最優(yōu)分類問題轉(zhuǎn)換為對偶問題得以解決，采用塊

算法可以快速實現(xiàn)不同樣本類的分類。

多分類SVM方法在樣本訓(xùn)練過程中由于較多的參數(shù)選擇、函數(shù)變換等，

相對于一對多、一對一消耗時間更長，更適合于樣本規(guī)模較小的分類問題。

4.有向無環(huán)圖SVM方法

有向無環(huán)圖SVM方法與一對一SVM方法一樣，對于k類別問題也需要求

解kk(?1)/2個分類器。分類器構(gòu)成一個含有kk(?1)/2個內(nèi)部節(jié)點和k個葉

節(jié)點的有向無環(huán)圖。其中，每個節(jié)點對應(yīng)一個二類分類器。有向無環(huán)圖SVM

的最大優(yōu)點在于只需k?1個決策函數(shù)即可獲取最終的分類結(jié)果，測試速度快，

不存在誤分和拒分區(qū)域，并且具有一定的容錯性，分類精度較高。

有向無環(huán)圖SVM方法由于其自上而下的層次分類結(jié)構(gòu)，容易出現(xiàn)誤差

累積。

5.決策樹SVM方法

決策樹SVM方法的基本思想是從根節(jié)點開始，采用某種方法將該節(jié)點所

包含的類別劃分為兩個子類，然后再對兩個子類進(jìn)一步劃分，如此循環(huán)，直到

子類中只包含一個類別為止，這樣就得到了一個倒立的二叉樹。最后，在二

叉樹各決策節(jié)點訓(xùn)練支持向量機分類器，實現(xiàn)對識別樣本的分類。決策樹支持

向量機多分類方法有很多種，主要區(qū)別是設(shè)計樹結(jié)構(gòu)的方法不同。完全二叉樹

結(jié)構(gòu)分類時使用的平均分類器數(shù)目為log(2k)，偏二叉樹使用的平均分類器數(shù)

為k?1，具有其他層次結(jié)構(gòu)的二叉樹使用的分類器，其平均值介于二者之間。

15

基于多模態(tài)感知的人手動作捕捉與識別

完全二叉樹分類時所需要的分類器數(shù)目最少，因此具有較少支持向量的完全二

叉樹的分類器速度也是較快的。

決策樹SVM方法的每個類的區(qū)域嚴(yán)重依賴二叉樹的結(jié)構(gòu)，分割順序不一

樣，每個類的分割區(qū)域隨之不同，從而降低了分類精度。

表1-3對這5種典型的支持向量機多分類方法在訓(xùn)練時間、分類器數(shù)量，

樣本大小等方面做了一個詳細(xì)的對比。

表1-3?不同的多類支持向量機方法比較

多類SVM訓(xùn)練時間分類器數(shù)樣本大小優(yōu)?點缺?點

一對多短k大簡單有效誤分、拒分

較高精度不可分

一對一長kk(?1)/2適中

快速分類過擬合

多分類長