基于語音多特征融合的駕駛疲勞檢測(cè)方法

基于語音多特征融合的駕駛疲勞檢測(cè)方法

1客觀檢測(cè)法及駕駛疲勞檢測(cè)方法駕駛員在汽車的駕駛環(huán)境中擁有非常復(fù)雜的信息。在駕駛過程中，有必要考慮和執(zhí)行一些任務(wù)。同時(shí)，由于長(zhǎng)時(shí)間保持坐姿、操作動(dòng)作單調(diào)、道路環(huán)境惡劣等原因，駕駛員的心理和生理機(jī)能容易產(chǎn)生失調(diào)，表現(xiàn)為作業(yè)能力明顯下降的駕駛疲勞現(xiàn)象。在交通安全領(lǐng)域，駕駛疲勞直接危害著生命財(cái)產(chǎn)的安全，圍繞其檢測(cè)手段的研究一直是令人關(guān)注的熱門問題。目前人體疲勞的檢測(cè)主要有主觀和客觀2種方法。主觀檢測(cè)法主要依據(jù)主觀調(diào)查表，自我記錄表、睡眠記錄表等來評(píng)測(cè)人體的疲勞程度。常用的疲勞評(píng)價(jià)量表主要有:FS-14疲勞量表(FatigueScale-14)、卡羅林斯卡睡量表和斯坦福睡量表等?？陀^檢測(cè)法是借助儀器設(shè)備對(duì)人體的心理、生理、生化指標(biāo)進(jìn)行測(cè)量，從各指標(biāo)中提取出能夠反映疲勞狀態(tài)的特征量，通過分析和實(shí)驗(yàn)設(shè)定評(píng)價(jià)標(biāo)準(zhǔn)，將實(shí)測(cè)數(shù)據(jù)和評(píng)價(jià)標(biāo)準(zhǔn)經(jīng)行比較，判斷疲勞狀態(tài)。客觀檢測(cè)法可以歸納為對(duì)3類參數(shù)的測(cè)量:1)檢測(cè)人體的生理特征，如腦電圖、心電圖、肌點(diǎn)圖、呼吸量、體溫等;2)檢測(cè)人體的行為特征，如眨眼頻率、眼睛閉合度、點(diǎn)頭動(dòng)作等;3)檢測(cè)駕駛車輛的運(yùn)行特征，如側(cè)位儀、方向盤角速度、行車加速度等。針對(duì)駕駛員的作業(yè)特點(diǎn)，這3類現(xiàn)有的疲勞檢測(cè)方法都難以滿足實(shí)時(shí)性、環(huán)境適應(yīng)性、非接觸性和便捷性的要求:基于生理信號(hào)的疲勞檢測(cè)，設(shè)備昂貴，測(cè)量方法復(fù)雜，大多需要接觸式測(cè)量而對(duì)駕駛員的操作產(chǎn)生不便;基于圖像處理的駕駛員行為特征檢測(cè)方法，其圖像采集設(shè)備易受角度、光線、污漬等環(huán)境因素的干擾;基于車輛運(yùn)行特征的駕駛疲勞檢測(cè)是通過車輛的行駛狀態(tài)來對(duì)人體疲勞進(jìn)行間接判別，受主觀駕駛習(xí)慣及車輛道路情況等因素影響的程度較大。考慮到高安全等級(jí)的交通運(yùn)輸領(lǐng)域，均要求駕駛員采用標(biāo)準(zhǔn)應(yīng)答操作，這些語音中涵蓋著人體大量的生理與心理信息，其采集手段比其他生理指標(biāo)更為便捷，并且語音處理系統(tǒng)的適應(yīng)性強(qiáng)，降噪技術(shù)成熟。近些年，語音與疲勞的相關(guān)性研究也逐漸興起，然而大多數(shù)成果或局限于部分傳統(tǒng)的語音特征參數(shù)，或停留在語音非線性處理技術(shù)的探索階段，在實(shí)際語音非線性特征的提取分析以及駕駛疲勞檢測(cè)實(shí)驗(yàn)方面均未深入，以致現(xiàn)有技術(shù)的識(shí)別效果離實(shí)際應(yīng)用還有一定差距。本文從實(shí)用性角度出發(fā)，提出一種基于語音多特征的駕駛疲勞檢測(cè)方法。該方法首先建立了語音非線性動(dòng)力學(xué)模型，給出了詳細(xì)的語音非線性特征提取算法。其次將其與傳統(tǒng)語音特征相結(jié)合，采用支持向量機(jī)技術(shù)對(duì)多維語音特征進(jìn)行疲勞信息的融合分類，有效地提高了駕駛疲勞檢測(cè)的充分性和客觀性。最后通過駕駛疲勞實(shí)驗(yàn)，采集了大量駕駛員的應(yīng)答語音樣本數(shù)據(jù)，用以驗(yàn)證該方法的可行性和有效性。2超聲過程變化生理學(xué)上，人體疲勞對(duì)發(fā)音器官的影響主要體現(xiàn)在:1)聲帶、喉部、聲道和面部肌肉的松弛;2)呼吸平緩，肺部氣壓下降使得聲壓降低;3)體溫的下降影響了聲道的熱傳導(dǎo)和黏彈性，同時(shí)改變聲道壁對(duì)氣流的摩擦;4)腦部活力下降導(dǎo)致語言認(rèn)知能力降低，大腦控制發(fā)音的反應(yīng)時(shí)間增長(zhǎng)。相應(yīng)地，疲勞對(duì)語音信號(hào)的影響可以在以下2個(gè)聲學(xué)模型的參數(shù)變化上體現(xiàn)出來。2.1語音信號(hào)的混沌特性語音信號(hào)的混沌非線性動(dòng)力學(xué)模型是在Takens嵌入定理的基礎(chǔ)上，采用延時(shí)相圖法對(duì)語音信號(hào)離散時(shí)間序列在相空間中進(jìn)行重構(gòu)得到的，該模型描述了語音奇怪吸引子的相空間拓?fù)浣Y(jié)構(gòu)。重構(gòu)時(shí)，對(duì)離散時(shí)間N點(diǎn)采樣的語音序列{s(i)}iN=1取延時(shí)τ，得到m維空間中的向量點(diǎn)集P(i)，如式(1)所示:P(i)在m維空間中隨時(shí)間的變化描述了奇怪吸引子在相空間的運(yùn)動(dòng)軌跡，一個(gè)語音信號(hào)的二維重構(gòu)過程如圖1所示(m=2，τ=10,i=150)。疲勞時(shí)，語音氣流的流速下降，同時(shí)聲道壁的松軟降溫使其摩擦及黏滯力上升，這一生理變化會(huì)使得語音氣流在聲道邊界層形成湍流的能量變小。湍流是語音信號(hào)混沌性的根本，湍流的變化直接影響了語音信號(hào)的混沌特性。如圖2所示(語音樣本取自駕駛員應(yīng)答語句“司機(jī)明白”的最后一個(gè)韻母濁音段/ai/)，同一個(gè)人在發(fā)出相同音素的情況下，疲勞狀態(tài)語音相空間軌跡(見圖2(c))的波動(dòng)程度明顯低于非疲勞狀態(tài)(見圖2(d))。在混沌、分形理論中，可通過提取Lyapunov指數(shù)、近似熵和分形維數(shù)等特征量，分別從整體和局部來量化評(píng)價(jià)語音信號(hào)的這種混沌程度。2.2肌肉功能及相關(guān)因素的影響傳統(tǒng)的語音激勵(lì)源-濾波器模型如圖3所示。疲勞時(shí)，其參數(shù)的變化表現(xiàn)為:1)聲帶的肌肉松弛導(dǎo)致了基音頻率的下降(基音周期的上升);2)呼吸平緩使得聲壓幅度的下降;3)腦活力及認(rèn)知能力的降低影響了語音清晰度(清濁音變化模式);4)肌肉組織的黏彈性及熱傳導(dǎo)變化改變了聲道及口腔輻射的濾波特性，具體表現(xiàn)為:一方面，聲道、喉部和面部肌肉的松弛變軟會(huì)使得語音頻譜中共振峰位置整體下降，帶寬變寬;另一方面，由于聲道壁的溫度下降，黏彈性升高，氣流與聲道壁的摩擦增大，這會(huì)使得共振峰頻率的進(jìn)一步降低，這一現(xiàn)象在發(fā)濁音時(shí)的低頻部分尤為明顯(前三峰，200～3000Hz)。3環(huán)境噪聲干擾下司機(jī)個(gè)體語言選擇針對(duì)駕駛員的作業(yè)特點(diǎn)和操作環(huán)境，在選取語音特征來表征疲勞信息時(shí)，考慮到短時(shí)平均能量(或幅度)、短時(shí)平均過零率等語音特征易受麥克風(fēng)的距離、角度和環(huán)境噪聲的干擾，而語音持續(xù)時(shí)間(語速)及清濁音變化模式會(huì)被駕駛員個(gè)體語言差異(方言)和主觀發(fā)音態(tài)度(情感)所影響。因此，應(yīng)當(dāng)選取不容易受其他因素影響的語音特征，同時(shí)舍去其他易受干擾的特征或相應(yīng)降低其權(quán)重。根據(jù)疲勞對(duì)語音信號(hào)的影響，同一個(gè)人在發(fā)相同語音的情況下，非線性特征:最大Lyapunov指數(shù)(MLE)、近似熵(ApEn)和分形維數(shù)，以及傳統(tǒng)特征:基音頻率、共振峰、聲道時(shí)變系統(tǒng)參數(shù)的變化，能夠比較客觀地反映出人體的疲勞信息。3.1提取和計(jì)算非線性特征3.1.1離散速率的計(jì)算在非線性動(dòng)力學(xué)模型中，Lyapunov指數(shù)反映了相空間軌道局部收斂或發(fā)散的平均指數(shù)率。在指數(shù)譜中，最大Lyapunov指數(shù)λ1決定著軌道收斂或發(fā)散的快慢程度。λ1<0時(shí)，軌道收斂，表示信號(hào)無混沌現(xiàn)象。λ1>0時(shí)，其值越大軌道發(fā)散的速率也就越大，同時(shí)混沌程度越大。實(shí)際語音信號(hào)的動(dòng)力學(xué)方程難以精確得到，不能按原始定義來計(jì)算，需采用近似擬合的方式來提取λ1:對(duì)式(1)所示的相空間軌跡進(jìn)行區(qū)域分割，分割步長(zhǎng)，其中TP為基音周期，TS為采樣周期。定義di(0)為第i點(diǎn)到其鄰域軌跡中最近點(diǎn)的距離，即。同時(shí)計(jì)算出這兩點(diǎn)在n個(gè)離散時(shí)間步后的距離:式中:n=1,2，…，min(N-i,N-^i)。假定領(lǐng)域最近點(diǎn)的軌道近似以λ1的指數(shù)速率發(fā)散，表示為di(n)=di(0)exp[λ1(nTS)]。將等式兩邊取對(duì)數(shù)有l(wèi)ndi(n)=lndi(0)+λ1(nTS)。此時(shí)，對(duì)所有點(diǎn)間距離的對(duì)數(shù)差取平均值，得到:式中:q為di(n)≠0的個(gè)數(shù)。最后采用最小二乘法對(duì)各離散步進(jìn)行擬合，可估計(jì)出最大Lyapunov指數(shù)為:3.1.2信號(hào)模型的提取ApEn是對(duì)非線性信號(hào)復(fù)雜度的一種非負(fù)的定量描述，信號(hào)的復(fù)雜性越大，相應(yīng)的近似熵也越大。ApEn對(duì)于有限的、含噪聲的信號(hào)序列有著突出的應(yīng)用價(jià)值，因此在醫(yī)學(xué)上ApEn常被用于人體生理相關(guān)的信號(hào)分析與檢測(cè)，如腦電信號(hào)(EEG)、心電信號(hào)(ECG)和病態(tài)語音信號(hào)等。對(duì)式(1)的信號(hào)模型提取ApEn時(shí)，計(jì)算P(i)與其余向量點(diǎn)中對(duì)應(yīng)元素間的最大差值為:給定閾值r，統(tǒng)計(jì)所有滿足數(shù)目，記為Nm(i)。同時(shí)，計(jì)算該數(shù)目與向量點(diǎn)總數(shù)的比值Crm(i)=Nm(i)/[N-(m-1)τ]，并對(duì)所有i點(diǎn)取其對(duì)數(shù)平均值，記為:將相空間維數(shù)m加1，重復(fù)以上計(jì)算，可得ψm+1。當(dāng)采樣點(diǎn)數(shù)N為有限值時(shí)，語音信號(hào)近似熵的估計(jì)值可表示為:3.1.3“高維開結(jié)構(gòu)”的復(fù)雜性分形反映了信號(hào)在統(tǒng)計(jì)意義上的相似性。定量地表示分形就叫分形維數(shù)，它是從幾何尺度上描述信號(hào)復(fù)雜性的參數(shù)。因此可利用分形維數(shù)來度量語音相空間軌跡在“幾何”意義上的復(fù)雜度和規(guī)則度。語言信號(hào)在相空間的軌跡可視為高維開曲線，它的輪廓具有典型的分形特征。對(duì)其求取分形維數(shù)Df的基本思想是:采用N(ε)個(gè)尺寸為ε的立方體去覆蓋空間內(nèi)所有語音信號(hào)軌跡。當(dāng)立方體尺寸ε不斷減小時(shí)，N(ε)的數(shù)目按N(ε)∝ε-Df規(guī)律減小。當(dāng)ε趨近無窮小時(shí)，得到分形維數(shù)的極限表達(dá)式:以不同的方式去近似這一極限值，將得到不同定義下的分形維數(shù)，如盒維數(shù)、豪斯多夫維數(shù)、關(guān)聯(lián)維數(shù)和信息維數(shù)等。文獻(xiàn)給出了本文采用的分形盒維數(shù)具體計(jì)算方法。3.2系統(tǒng)特性評(píng)價(jià)傳統(tǒng)模型下，基音頻率和共振峰的檢測(cè)可采用倒譜域解卷變換提取方法。針對(duì)聲道濾波系統(tǒng)特征，考慮到疲勞時(shí)，聲道組織生理變化對(duì)語音信號(hào)濁音低頻段的影響較大，所以還可選用12階Mel頻標(biāo)倒譜系數(shù)(MFCC)來描述聲道系統(tǒng)特性。MFCC作為聲道模型特征參數(shù)，在低頻段具有較高的譜分辨率，對(duì)噪聲的魯棒性優(yōu)于傳統(tǒng)的線性預(yù)測(cè)倒譜系數(shù)(LPCC)。4svm的實(shí)驗(yàn)過程在語音識(shí)別時(shí)，需要對(duì)語音信號(hào)在不同模型下的特征參數(shù)經(jīng)行信息的融合和分類?？蓪LE、ApEn、分形維數(shù)、基音頻率、前三共振峰頻率(F1-F3)和MFCC(12階)等語音特征串接成一個(gè)19維的疲勞特征向量，采用支持向量機(jī)(SVM)，對(duì)其樣本數(shù)據(jù)經(jīng)行訓(xùn)練和檢測(cè)，過程如圖4所示。SVM是基于統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理的一種機(jī)器學(xué)習(xí)技術(shù)。比較其他機(jī)器學(xué)習(xí)檢測(cè)算法而言，SVM在解決小樣本、非線性以及高維特征融合的模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢(shì)。SVM的具體訓(xùn)練及測(cè)試步驟如下:第1步:訓(xùn)練樣本特征集{xi,yi}的確定。假設(shè)共有n個(gè)訓(xùn)練樣本，i=1,2，…，n為樣本編號(hào)，x∈Rd為d維特征向量，y∈{+1,-1}為樣本類別標(biāo)號(hào)。第2步:SVM核函數(shù)的選取。常用的核函數(shù)有:高斯內(nèi)積核、多項(xiàng)式核和Sigmoid內(nèi)積核等。在特定的內(nèi)核參數(shù)選擇下，高斯內(nèi)積核可獲得與其他核函數(shù)相同的性能。因此本文選取高斯內(nèi)積核:式中:i,j均為樣本編號(hào)，γ為高斯傳播系數(shù)。第3步:高維空間變換。根據(jù)核函數(shù)和輸入的特征變量計(jì)算協(xié)方差矩陣，并通過矩陣變換將特征變量映射到更高維Hilbert空間，使得不同類別樣本的特征變量在此空間內(nèi)線性可分。第4步:在高維特征空間中尋求樣本分類間隔的最大化，即求解二次規(guī)劃問題。引入拉格朗日乘子αi≥0，目標(biāo)函數(shù)為:其非零最優(yōu)解αi*的樣本特征向量即為用于確定最優(yōu)分類面的支持向量。第5步:將最優(yōu)分類面的參數(shù)代入SVM決策函數(shù)得到最終訓(xùn)練好的SVM判決模型如下:第6步:提取測(cè)試樣本的特征向量代入訓(xùn)練好的SVM判決模型，得到樣本檢測(cè)結(jié)果。5疲勞語音樣本檢測(cè)由于實(shí)際交通運(yùn)輸環(huán)境不允許駕駛員處于駕駛疲勞狀態(tài)，為保證人員和設(shè)備安全以及便于駕駛員生理指標(biāo)的監(jiān)測(cè)，在實(shí)驗(yàn)室環(huán)境下搭建了同等比例的可視化列車模擬駕駛平臺(tái)，如圖5所示。該平臺(tái)可真實(shí)模擬列車駕駛員的所有基本操作，并包含了駕駛員的語音信號(hào)采集和生理指標(biāo)檢測(cè)等相關(guān)設(shè)備。參與本次駕駛疲勞實(shí)驗(yàn)共20人，身體狀況良好，無失眠等病理性疲勞癥狀。實(shí)驗(yàn)過程為每人單次持續(xù)8h的列車模擬駕駛操作。要求駕駛員在執(zhí)行相關(guān)操作時(shí)說出標(biāo)準(zhǔn)應(yīng)答語句“司機(jī)明白”，以此作為本次實(shí)驗(yàn)的樣本數(shù)據(jù)(22kHz采樣率，16位量化精度)。在分析和處理時(shí)，考慮到濁音段能較好地反映人體疲勞信息，截取整句語音數(shù)據(jù)中的濁音時(shí)間段作為特征參數(shù)提取的語音幀(幀長(zhǎng)40ms，至少包含5個(gè)基音周期)。實(shí)驗(yàn)期間，測(cè)試人員定時(shí)填寫一次疲勞量表(基于FS-14,10分制，分值越小代表疲勞程度越高)并記錄其駕駛過程中的心率變化情況。從圖6所示的量表得分表現(xiàn)及平均心率變化曲線來看，駕駛疲勞的程度在時(shí)間上并不呈線性變化，而是一個(gè)隨生理節(jié)律波動(dòng)下降的過程(約4h的調(diào)節(jié)周期)。因此在語音樣本分類時(shí)，并不能以駕駛持續(xù)時(shí)間長(zhǎng)短作為疲勞的判定標(biāo)準(zhǔn)。應(yīng)根據(jù)實(shí)際情況，選取量表得分低于5且心率曲線低于心率均值時(shí)間段內(nèi)的語音樣本作為疲勞語音樣本。實(shí)驗(yàn)共采集語音樣本960份，其中疲勞樣本167份。對(duì)比疲勞語音樣本和非疲勞(清醒)語音樣本，首先應(yīng)從統(tǒng)計(jì)學(xué)角度來驗(yàn)證語音樣本各特征參數(shù)與疲勞的相關(guān)性。疲勞和清醒時(shí)，成對(duì)樣本特征數(shù)據(jù)的差異顯著性檢驗(yàn)結(jié)果如表1所示。可以看出，駕駛過程中由于麥克風(fēng)角度距離難以精確固定、環(huán)境噪聲變化以及主觀發(fā)音差異等因素的影響，第4共振峰頻率、短時(shí)平均能量、短時(shí)平均過零率和清濁音持續(xù)時(shí)間比率等參數(shù)在疲勞和清醒時(shí)并無顯著差異。而表中其他的語音特征，在駕駛員不同狀態(tài)下發(fā)出同一語音時(shí)，均表現(xiàn)出明顯的變化。實(shí)驗(yàn)采用十折交叉驗(yàn)證法(將所有樣本隨機(jī)分為10份，分別選取其中9份作為訓(xùn)練樣本，其余1份用于測(cè)試，取10次測(cè)試的正確率均值作為最終檢測(cè)結(jié)果)對(duì)語音樣本特征數(shù)據(jù)經(jīng)行進(jìn)一步的機(jī)器學(xué)習(xí)和檢測(cè)。當(dāng)選用不同模型的特征參數(shù)組合以及不同的分類識(shí)別算法來進(jìn)行駕駛疲勞檢測(cè)時(shí)，識(shí)別結(jié)果如表2所示。對(duì)比組合2、3以及組合4、5的分類結(jié)果可見，文獻(xiàn)采用的部分語音特征:短時(shí)平均能量、短時(shí)平均過零率和清濁音比率在應(yīng)用于駕駛疲勞檢測(cè)時(shí)會(huì)受到其他因素干擾而導(dǎo)致識(shí)別效果并無明顯改善。然而對(duì)比組合2、4以及組合3、5的識(shí)別結(jié)果顯示，引入文獻(xiàn)所采用的MFCC聲道模型特征來反映疲勞信息，能夠在一定程度上提高駕駛疲勞的識(shí)別率。從組合1的識(shí)別結(jié)果還可以看出，語音的非線性特征反映了語音信號(hào)的混沌、分形特性在疲勞時(shí)的變化，將其應(yīng)用于駕駛疲勞檢測(cè)時(shí)，正確率(組合1，貝葉斯，77.1%)要高于傳統(tǒng)特征組合4(SVM,75.0%)和組合5(SVM,75.2%)，但效果提升得并不明顯。最后，本文將語音非線性特征與傳統(tǒng)語音特征相結(jié)合形成的特征組合6，其識(shí)別結(jié)果整體高于其他組合。尤其是通過SVM算法進(jìn)行駕駛疲勞檢測(cè)，其識(shí)別率達(dá)到最高的89