基于malab的口鼻音聲學(xué)分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

基于malab的口鼻音聲學(xué)分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)

0鼻音度的研究隨著科學(xué)技術(shù)的進(jìn)步和先進(jìn)儀器的出現(xiàn)，音學(xué)研究開(kāi)始向先進(jìn)設(shè)備的研究發(fā)展。在聲音生理研究中，語(yǔ)音采集采用氣流壓計(jì)、肌肉電技術(shù)、超聲波成像技術(shù)和高速數(shù)字成像技術(shù)。鼻流計(jì)、電子動(dòng)態(tài)采樣水位計(jì)、磁鐵采樣水位計(jì)、嘴唇水位數(shù)據(jù)處理、磁共振成像、ct三維成像、高速磁共振噪聲成像等。聲音學(xué)科的前身逐漸接近語(yǔ)音產(chǎn)生的聲音和生理特征的生物機(jī)制。這種多學(xué)科的全球研究的重點(diǎn)是“多模聲音模型”的多學(xué)科研究。使用鼻流計(jì)對(duì)發(fā)音過(guò)程中鼻音程度的研究,始于上世紀(jì)末.國(guó)外有許多關(guān)于鼻音度的研究,多用于臨床醫(yī)學(xué)研究,用于語(yǔ)言學(xué)方面的較少.相關(guān)的研究有:Seaveretal(1991),測(cè)試了北美四個(gè)地區(qū)148名正常北美人的鼻音度;Leeperetal(1992),報(bào)道了加拿大的講英語(yǔ)和法語(yǔ)雙語(yǔ)的鼻音度;結(jié)論分析方面,證明了鼻音度具有區(qū)分正常人鼻腔共鳴和鼻音功能的特異性,以及男女鼻音度受生理結(jié)構(gòu)不同,表現(xiàn)出差異.普遍認(rèn)為,女性在閱讀句子時(shí)表現(xiàn)出更多的鼻音.國(guó)內(nèi)實(shí)驗(yàn)語(yǔ)音學(xué)起步較晚以及受限于昂貴的實(shí)驗(yàn)設(shè)備,目前鼻流計(jì)多用于醫(yī)學(xué)角度,研究腭裂的臨床評(píng)估和訓(xùn)練,在語(yǔ)音研究方面主要有:香港大學(xué)言語(yǔ)聽(tīng)覺(jué)專業(yè)教TaraL.Whitehill對(duì)講14個(gè)廣東話的正常女性的鼻流量作了測(cè)量.臺(tái)灣的江榮山等幾位學(xué)者用11個(gè)普通話字句作為言語(yǔ)測(cè)試句,對(duì)106名患者鼻腔共鳴作了相關(guān)測(cè)試.華東師范大學(xué)主編的《言語(yǔ)障礙的評(píng)估與矯治》一書(shū),介紹了鼻流計(jì)檢測(cè)正常人群的鼻流量.本文中使用的鼻流計(jì)(Nasometer6400)是根據(jù)采集到的鼻音和口音能量比值建立鼻流量,并通過(guò)定量分析的方法進(jìn)行鼻音的相關(guān)研究,除了用于腭裂、運(yùn)動(dòng)性言語(yǔ)障礙、聽(tīng)力障礙、腭修復(fù)、功能性的鼻音問(wèn)題等嗓音病變和語(yǔ)音矯正外,還可以提取各種不同的參數(shù)用于言語(yǔ)產(chǎn)生的生理研究.1口鼻流信號(hào)采集方法1.1口鼻流信號(hào)采集設(shè)備口鼻流計(jì)由阿拉巴馬州伯明翰大學(xué)開(kāi)發(fā)研制,1986年從美國(guó)key公司引進(jìn),此后鼻流計(jì)就成為評(píng)估和治療病人鼻音問(wèn)題的國(guó)際標(biāo)準(zhǔn)的臨床工具,廣泛地應(yīng)用于記錄和顯示有關(guān)鼻音的聲學(xué)參數(shù)、定量分析、矯正腭裂病人、運(yùn)動(dòng)言語(yǔ)混亂、聽(tīng)覺(jué)損傷、功能性鼻音問(wèn)題.本位使用的NasometerⅡ(6400)在最初版本Nasometer的基礎(chǔ)上發(fā)展的最新的軟硬件版本.該儀器操作簡(jiǎn)單,佩戴時(shí)口腔和鼻腔的中間有分隔板,麥克風(fēng)分別安裝在聲音隔板的頂部和底部,以便在發(fā)聲過(guò)程中更好地采集口音和鼻音.頭戴式麥克風(fēng)的設(shè)計(jì)克服了侵入式及手持面罩式儀器在發(fā)音過(guò)程中消音的缺點(diǎn),在佩戴過(guò)程中不但能夠?qū)崟r(shí)地進(jìn)行聽(tīng)覺(jué)和視覺(jué)的反饋,也便于使用者對(duì)儀器進(jìn)行清洗消毒.1.2口鼻流信號(hào)采集方法口鼻流信號(hào)的采集既可以選用設(shè)備自帶的采集軟件,也可以用普通的錄音軟件(例如Audition),錄制為雙通道信號(hào),第一通道為口音信號(hào),第二通道為鼻流信號(hào).鼻流計(jì)自帶的信號(hào)采集軟件可以通過(guò)實(shí)時(shí)的界面進(jìn)行參數(shù)提取,包括鼻音度參數(shù)提取、口鼻能量統(tǒng)計(jì)、語(yǔ)音回放,并通過(guò)自帶文本進(jìn)行腭裂病人的鼻音矯正等相關(guān)功能,鼻流量的計(jì)算結(jié)果顯示在窗口的坐標(biāo)軸中,橫軸表示時(shí)間,縱軸表示鼻音度(0%～100%).該軟件可以讀取NSP和WAVE兩種格式的語(yǔ)音文件,缺點(diǎn)是參數(shù)比較單一,不具有批量處理功能.2河口流量規(guī)劃進(jìn)行鼻流信號(hào)研究的參數(shù)主要包括口音能量、鼻流能量、時(shí)長(zhǎng)、鼻音度、口音共振峰、鼻音共振峰和基頻等參數(shù).2.1計(jì)算公式en首先對(duì)口音和鼻音信號(hào)進(jìn)行分幀,然后按幀進(jìn)行短時(shí)能量和短時(shí)平均幅度計(jì)算,計(jì)算公式如下:En=∑n=0N?1x2n(m)En=∑n=0Ν-1xn2(m)(短時(shí)能量),(1)Mn=∑n=0N?1|xn(m)|Μn=∑n=0Ν-1|xn(m)|(短時(shí)平均幅度).(2)2.2組合后的信號(hào)為了便于比較單個(gè)麥克風(fēng)采集的語(yǔ)音信號(hào)和口鼻音組合后的信號(hào)(ON-signal),我們定義如下ON-signal=O-signal+N-signal.(3)2.3鼻音程度量化算鼻音能量占整個(gè)能量的百分比稱為鼻流度,值的大小代表發(fā)音時(shí)鼻音程度的高低.同樣是按幀進(jìn)行計(jì)算,公式如下:NR=NP/(NP+OP)*100%.(4)NR為鼻音度(nasalanceratio),NP為鼻音能量,OP為口音能量,音段鼻音度主要提取平均值、最大值、最小值、擬合二次項(xiàng)系數(shù)、斜率和截距等參數(shù),用來(lái)量化鼻音程度類型.2.4共振峰的估計(jì)以信號(hào)處理的觀點(diǎn)來(lái)看,口腔和鼻腔的結(jié)合會(huì)在頻譜上產(chǎn)生零點(diǎn),因此傳統(tǒng)的全極點(diǎn)模型也并不能適當(dāng)?shù)孛枋霰且舫潭?另外鼻音度強(qiáng)的音會(huì)使第一共振峰頻率以上的能量有大幅衰減的現(xiàn)象發(fā)生,所以這也是普通信號(hào)處理中的難點(diǎn).利用全極點(diǎn)模型分別計(jì)算口音和鼻音的共振峰,可以精確地表示出口音共振峰和鼻音共振峰,也可用來(lái)做共鳴腔的模擬.從算法上來(lái)看,用LPC估計(jì)共振峰有兩條途徑:一條是求根法,即首先用LPC分析計(jì)算出預(yù)測(cè)系數(shù)(即預(yù)測(cè)誤差濾波器A(z)的系數(shù)),然后求出A(z)的根,這些根正是聲道頻率特性的極點(diǎn),由這些極點(diǎn)即可計(jì)算出共振峰的頻率和帶寬.另一條途徑是選峰法,即首先用LPC分析方法求出語(yǔ)音譜包絡(luò),然后搜索包絡(luò)上的局部最大值,對(duì)應(yīng)的便是共振峰.2.5傳統(tǒng)有表現(xiàn)為自相關(guān)的自相關(guān)函數(shù)基頻參數(shù)代表著語(yǔ)言學(xué)意義的聲調(diào),但在發(fā)音過(guò)程中聲調(diào)的高低會(huì)略微影響發(fā)音器官的變化,進(jìn)而由共鳴腔的變化引起鼻音和口音能量的分布變化,從言語(yǔ)產(chǎn)生的角度解釋聲調(diào)與鼻音度之間的關(guān)系.算法采用傳統(tǒng)的短時(shí)自相關(guān)函數(shù),公式如下:Rn(j)=xn(m)ω(n-m)xn(m+j)ω(n-m-j),0≤j≤p.(5)式中Rn(j)表示時(shí)刻n所對(duì)應(yīng)的自相關(guān)函數(shù),自變量j表示自相關(guān)函數(shù)滯后時(shí)間,下標(biāo)n表示短時(shí)自相關(guān)函數(shù)是對(duì)第n段語(yǔ)音算出的.顯然n的取值應(yīng)該每10～20ms變化一次,即每隔一幀時(shí)間才計(jì)算一次自相關(guān)函數(shù)(共有p+1)個(gè).2.6音段之間的過(guò)渡傳統(tǒng)的實(shí)驗(yàn)語(yǔ)音學(xué)對(duì)音段之間的協(xié)同發(fā)音有過(guò)大量的研究,鼻音度在協(xié)同發(fā)音中也有很強(qiáng)的表現(xiàn).為了能夠更好地研究鼻音度在音段之間的過(guò)渡,我們根據(jù)鼻音度的變化,定義了音段穩(wěn)定段和過(guò)渡段時(shí)長(zhǎng),穩(wěn)定段是指發(fā)音器官?gòu)那耙粋€(gè)音的位置快速運(yùn)動(dòng)到當(dāng)前位置后,再?gòu)漠?dāng)前位置快速運(yùn)動(dòng)到后一個(gè)音的位置前的運(yùn)動(dòng)平緩段.語(yǔ)音過(guò)渡段也可以稱為是語(yǔ)音非平穩(wěn)段,通常發(fā)生在元音與輔音的交界處,或者語(yǔ)速較快時(shí)的輔音段,在發(fā)音時(shí),這些過(guò)渡段的發(fā)音能量遠(yuǎn)小于鄰近元音的能量.3口鼻音信號(hào)分析軟件為更深入地對(duì)口鼻音信號(hào)進(jìn)行研究,我們?cè)赪indows平臺(tái)下用Matlab編寫(xiě)了口鼻音信號(hào)分析軟件,用來(lái)對(duì)采集到的信號(hào)進(jìn)行有針對(duì)性的分析、標(biāo)記以及相關(guān)參數(shù)的提取、保存,其主要功能包括:雙通道wav文件的讀取;信號(hào)進(jìn)行標(biāo)記;標(biāo)記的自動(dòng)保存以及帶標(biāo)記語(yǔ)音文件的讀取;計(jì)算并保存時(shí)長(zhǎng)和幅度等相關(guān)參數(shù);wav文件的批處理等.3.1時(shí)域和頻域處理主要完成以下功能:1)用wavread()函數(shù)讀取雙通道信號(hào)后,對(duì)口音和鼻音信號(hào)按幀分別計(jì)算能量,繪制能量圖.2)對(duì)口鼻音信號(hào)用FFT實(shí)現(xiàn)從時(shí)域到頻域的轉(zhuǎn)換,并用寬帶三維語(yǔ)圖顯示,橫軸表示時(shí)間,縱軸表示頻率,顏色深淺度表示能量.3)基本的信號(hào)時(shí)域處理功能,例如信號(hào)的放大、縮小、剪切、保存等.3.2平滑濾波過(guò)程由于計(jì)算出來(lái)的鼻音度信號(hào)帶有很多細(xì)微的高頻噪聲,對(duì)其進(jìn)行了低通平滑濾波.濾波器采用零相位數(shù)字濾波filtfilt(b,a,x).filtfilt調(diào)用filter函數(shù),通過(guò)將輸入數(shù)據(jù)前向和反向處理,以完成零相位數(shù)字濾波,濾波的過(guò)程如圖2所示.3.3waat軟件的編碼編碼語(yǔ)音學(xué)標(biāo)記可以有效地去表征(describe)和區(qū)分(distinguish)不同的元音和輔音的鼻音度,以及音段之間的鼻音度過(guò)渡.本標(biāo)注符號(hào)系統(tǒng)包括平行的四個(gè)層級(jí),具體如下:第一層——拼音層(PY),描述音節(jié)對(duì)應(yīng)的漢語(yǔ)拼音;第二層——聲調(diào)類型層(SD),0(輕聲),1(陰平),2(陽(yáng)平),3(上聲),4(去聲);第三層——音節(jié)類型層(YJ),1元音;2輔音+元音;3元音+輔音;4輔音+元音+輔音;5輔音+元音+元音第四層——音位及過(guò)渡層(YW),描述不同音段所對(duì)應(yīng)的音位以及音位之間的過(guò)渡.具體標(biāo)注時(shí)可以采用praat軟件,優(yōu)點(diǎn)是不用自己編寫(xiě)程序,缺點(diǎn)是必須處理wav文件為單通道(信號(hào)為鼻音度)wav文件,然后再進(jìn)行標(biāo)注,提取參數(shù)時(shí),編寫(xiě)praat腳本;另外一種方法是自己編寫(xiě)標(biāo)注交互程序,可以多通道顯示,并保存帶標(biāo)記信息的wav文件,這樣使用起來(lái)比較方便,缺點(diǎn)是程序編寫(xiě)復(fù)雜.圖3為praat對(duì)音節(jié)“can”鼻音度信號(hào)進(jìn)行標(biāo)記的示意圖.3.4存儲(chǔ)模塊3.4.1waa文件的格式將錄制好的雙通道信號(hào)打開(kāi)后,自動(dòng)計(jì)算鼻音度和組合語(yǔ)音信號(hào),隨時(shí)可以保存為四通道的按國(guó)際RIFF標(biāo)準(zhǔn)定義的wav文件,第一通道為口音信號(hào),第二通道為鼻音信號(hào),第三通道為語(yǔ)音信號(hào),第四通道為鼻音度信號(hào).3.4.2標(biāo)記參數(shù)的讀取標(biāo)記打完后,可以將帶標(biāo)記的語(yǔ)音信號(hào)按實(shí)驗(yàn)室自己的格式保存為帶參數(shù)的四通道的wav文件.所有的標(biāo)記參數(shù)都按國(guó)際RIFF標(biāo)準(zhǔn)定義,保留在原始wav文件的后面.以后每次打開(kāi)該文件,標(biāo)記就直接顯示在信號(hào)之上,便于進(jìn)行復(fù)查.3.5ban參數(shù)數(shù)據(jù)結(jié)構(gòu)平臺(tái)中針對(duì)所有參數(shù)設(shè)計(jì)了一套提取程序,實(shí)現(xiàn)對(duì)提取參數(shù)的wav文件進(jìn)行批量處理,能夠直接把帶處理文件夾中所有打過(guò)標(biāo)記的wav文件的參數(shù)數(shù)據(jù)直接讀取到xls文件中.表1為音節(jié)ban的數(shù)據(jù)結(jié)構(gòu)表,包括五部分:穩(wěn)定段b,過(guò)渡段b-a,穩(wěn)定段a,過(guò)渡段a-n,穩(wěn)定段n,分別提取每一部分的相關(guān)參數(shù).為了便于統(tǒng)一數(shù)據(jù)格式,每一音段的口音能量(OP)、鼻音能量(NP)、鼻音度(NR)、口音第一共振峰(OF1)、口音第二共振峰(OF2)、鼻音第一振峰(NF1)、基頻(F0)均按照音段實(shí)際時(shí)長(zhǎng)內(nèi)插30個(gè)數(shù)據(jù)點(diǎn),D為音段時(shí)長(zhǎng),“can”參數(shù)數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)如表1所示.4“東南角”的四聲信號(hào)分析圖用Matlab開(kāi)發(fā)口鼻流信號(hào)分析平臺(tái).該平臺(tái)共有5個(gè)通道,分別是:口音信號(hào)、口音語(yǔ)圖、鼻流信號(hào)、鼻流語(yǔ)圖、鼻音度.該平臺(tái)