機器人感知智能 課件 第5章 機器人聽覺感知

機器人感知智能第五章機器人聽覺感知聲音是一種物理波動現(xiàn)象，即聲源振動或氣動發(fā)聲所產(chǎn)生的聲波。聲波通過空氣、固體、液體等介質(zhì)傳播，便能被人或動物的聽覺器官所感知。聲波具有一般波的各種特性，包括反射、折射和衍射等。聲音還是一種心理感受，不僅與人的生理構(gòu)造和聲音的物理性質(zhì)有關(guān)，還受到環(huán)境和背景的影響。圖5.1聲音的分類關(guān)系圖5.1.1人類聽覺模型一、聲音的定義5.1機器人聽覺概述純音和復(fù)合音都是周期性聲音，波形具有一定的重復(fù)性，具有明顯的音高。純音是只具有單一頻率的正弦波，通常只能由音叉、電子器件或合成器產(chǎn)生，在自然環(huán)境下一般不會發(fā)生。日常生活和自然界中聽到的聲音大多是復(fù)合音，由許多參數(shù)不同的正弦波分量疊加而成。純音和復(fù)合音之間可以互相合成與分解。從信號的角度——聲音可分為純音、復(fù)合音和噪聲。從聲音特性的角度——聲音可劃分為語音、音樂和一般音頻。語音信號屬于復(fù)合音，其基本要素是音高、強度、音長、音色等。音樂是人類創(chuàng)造的復(fù)雜的藝術(shù)形式，組成成分是上述的各種樂音，包括歌聲、各種管弦和彈撥類樂器發(fā)出的復(fù)合音、少量來自環(huán)境聲的復(fù)合音以及一些來自打擊樂器的噪樂音。除了人類創(chuàng)造的語音和音樂，在自然界和日常生活中，還存在著其他數(shù)量巨大、種類繁多的聲音，統(tǒng)稱為一般音頻或環(huán)境聲。5.1.1人類聽覺模型二、人類聽覺中樞外耳包括耳翼和外耳道兩個部分。從外耳道發(fā)出的聲音在中頻區(qū)域與外耳產(chǎn)生共鳴。外耳道的最后部分是一種稱為鼓膜的薄膜。中耳包括鼓膜和內(nèi)耳層，內(nèi)層有三個聽小骨，即錐骨、砧骨和鐙骨，它們彼此相連。聲波經(jīng)外耳道進入后，會引起鼓膜的震動，三個與鼓膜連接的聽骨會因為聲音的震動而產(chǎn)生震動。內(nèi)耳是人類聽覺的一個主要器官，在內(nèi)耳有一個重要的螺旋狀環(huán)形通路，稱為耳蝸。耳蝸是主要的聽覺器官，它是由骨頭組成，外形像蝸牛，里面充滿了高電阻的淋巴。當(dāng)聲音傳入耳內(nèi)時，由外耳、中耳、內(nèi)耳分別負(fù)責(zé)，共同發(fā)出“感覺”訊息給大腦。一般而言，聲源與媒介間的時序差異和聲源間的強度差異，可以幫助人們精確地確定聲源的方位。5.1.1人類聽覺模型三、人類聽覺中樞的工作方式機器人聽覺傳感器的總體思想：模仿人的聽覺中樞，完成語音信號的信息提取和聲源定位。外耳鼓膜接收外界聲音，鼓膜產(chǎn)生震動，中耳將這種震動放大、壓縮和限幅，并抑制噪聲。內(nèi)耳的主要功能是對不同聲音進行分析。纖維將基底膜接受聲音時產(chǎn)生的震動變成電信號的平均值時，對應(yīng)的繼電器接通。位于耳蝸底部的基底膜使得耳蝸帶有相異的電諧振以及機械諧振效應(yīng)，如果接收到的聲音信號中含有不同頻率段，那么在基底膜的不同位置會產(chǎn)生由于行波差異導(dǎo)致的某個頻率段的最大峰值。重合神經(jīng)元主要負(fù)責(zé)完成突觸和細(xì)胞體的響應(yīng)，在整個聽覺中樞系統(tǒng)中完成對語音信號的空間方位信息提取與整合。5.1.1人類聽覺模型（一）聲源目標(biāo)的實時定位：在許多應(yīng)用場景下機器人是需要實時與人進行溝通的，目標(biāo)定位的實時性是機器人定位應(yīng)用的關(guān)鍵問題，如何進一步提高算法的精度和速度是下一步研究的主要內(nèi)容之一。（二）多語音識別：很多時候機器人實際工作環(huán)境不可能是單聲源的，如何在多聲源情況下服務(wù)機器人準(zhǔn)確辨識、分離、判斷任務(wù)，是人機互動的前提之一。（三）針對運動聲源實現(xiàn)跟蹤定位：機器人大多需要不停移動或者被服務(wù)對象是運動的，如何針對運動的聲源進行定位、追蹤，同樣是服務(wù)機器人進行聲源定位的研究內(nèi)容之一。（四）智能、友好的交互方式：機器人可以透明地、主動與人交互，而人處于被動的方式。因此，服務(wù)機器人目標(biāo)聲源定位技術(shù)一定程度上受到相關(guān)技術(shù)的限制，例如聲音的分離、檢測以及識別等。一、聽覺感知應(yīng)用5.1.2機器人聽覺感知二、機器人聽覺在應(yīng)用中需要解決的問題音頻時頻表示：包括音頻本身的表示，如信號或符號、單聲道或雙聲道、模擬或數(shù)字、聲波樣本、壓縮算法的參數(shù)等；音頻信號的各種時頻表示，如短時傅里葉變換、小波變換、小波包變換、連續(xù)小波變換、常數(shù)Q變換、S變換、希爾伯特－黃變換、離散余弦變換等；音頻信號的建模表示由于種類繁多，又通常包含多個聲源，無法像語音信號那樣被有效地表示成某個特定的模型，如源濾波器模型，通常使用濾波器組或正弦波模型來獲取并捕捉多個聲音參數(shù)。特征提取：音頻特征是對音頻內(nèi)容的緊致反映，用來刻畫音頻信號的特定方面，有時域特征、頻域譜特征、T-F特征、統(tǒng)計特征、感知特征、中層特征、高層特征等數(shù)十種。典型的時域特征如過零率、能量，頻域譜特征如譜質(zhì)心、譜通量，T-F特征如基于頻譜圖的Zernike矩、基于頻譜圖的描述子，統(tǒng)計特征如峰度、均值，感知特征如Mel頻率倒譜系數(shù)、線性預(yù)測倒譜系數(shù)，中層特征如半音類，高層特征如旋律、節(jié)奏、頻率顫音等。5.1.2機器人聽覺感知聲音相似性：兩段音頻之間或者一段音頻內(nèi)部各子序列之間的相似性一般通過計算音頻特征之間的各種距離來度量。距離越小，相似度越高。在某些時域信息很重要的場合，通常使用動態(tài)時間規(guī)整來計算相似度，也可通過機器學(xué)習(xí)方法進行音頻相似性計算。聲源分離：與通常只有一個聲源的語音信號不同，現(xiàn)實聲音場景中的環(huán)境聲及音樂的一個基本特性就是包含多個同時發(fā)聲的聲源，因此聲源分離問題成為一個極其重要的技術(shù)難點。音樂中的各種樂器及歌聲按照旋律、和聲及節(jié)奏耦合起來，對其進行分離比分離環(huán)境聲中各種基本不相關(guān)的聲源要更加困難，至今沒有方法能很好地解決這個問題。多模態(tài)分析：人類對世界的感知都是結(jié)合各個信息源綜合得到的。因此，對數(shù)字音頻和音樂進行內(nèi)容分析理解時，理想情況下也需要結(jié)合文本、視頻、圖像等多種媒體進行多模態(tài)的跨媒體研究。二、機器人聽覺在應(yīng)用中需要解決的問題5.1.2機器人聽覺感知5.2.1麥克風(fēng)原理：電磁感應(yīng)原理。當(dāng)發(fā)射聲波后，膜片產(chǎn)生振動，膜片內(nèi)部纏繞的線圈（又稱音圈）也隨之振動。線圈纏繞在磁鐵上，在磁鐵產(chǎn)生的磁場內(nèi)發(fā)生振動，振動導(dǎo)致電流產(chǎn)生，輸出電信號。當(dāng)話筒采集到的聲音時，在音圈內(nèi)產(chǎn)生的電流的幅度和方向也會隨之改變，獲取到的聲音信號決定了感應(yīng)電流變化的大小。優(yōu)點：結(jié)構(gòu)簡單、穩(wěn)定性好、自身噪音小、容易操作、實用性好、成本低。缺點：靈敏度低、頻率范圍窄。結(jié)構(gòu)：電容式麥克風(fēng)內(nèi)包含三部分，即振膜、金屬極板和負(fù)載電阻。原理：內(nèi)部含有兩個導(dǎo)電膜片，當(dāng)振膜受到聲波振動時，導(dǎo)電膜片之間的電容大小產(chǎn)生變化，導(dǎo)致整個電路中的電流隨之變化。電流的變化導(dǎo)致負(fù)載電阻上產(chǎn)生相對應(yīng)的電壓，將接收到的聲音信號就變成電信號。優(yōu)點：具有平坦的頻率響應(yīng)。對于語音信號的識別，語音頻率范圍內(nèi)靈敏度統(tǒng)一，有利于單通道語音識別處理。缺點：靈敏度不足、識別距離有限、功耗大、大放大電路不穩(wěn)定等。圖5.6動圈式麥克風(fēng)結(jié)構(gòu)示意圖一、動圈式麥克風(fēng)二、電容式麥克風(fēng)5.2聲音傳感器毫米級駐極體麥克風(fēng)具有極低的雜散電容、自偏置、可大規(guī)模生產(chǎn)、可陣列、可與片上電子器件集成、結(jié)構(gòu)簡單且在普通環(huán)境中隨時間推移極其穩(wěn)定等特點。在聲控電路、錄音機、無線話筒等方面廣泛應(yīng)用，在其生產(chǎn)高峰時每年產(chǎn)量超過10億個。由于出色的電荷存儲氟碳聚合物的特性，幾乎所有商用非硅駐極體麥克風(fēng)使用碳氟化合物駐極體，例如聚四氟乙烯，且考慮到輸入輸出阻抗問題，駐極體電容式話筒在工作時需要直流工作電壓。圖5.7駐極體麥克風(fēng)優(yōu)點：高可靠性、高穩(wěn)定性、高一致性、低不良率和低返修率等優(yōu)點。圖5.11MEMS傳感器結(jié)構(gòu)示意圖與傳感器實物圖片（一）駐極體麥克風(fēng)（二）MEMS電容傳感器5.2.1麥克風(fēng)壓電式麥克風(fēng)是用晶體或陶瓷（欽酸鋇等材料）作為變換元件，利用壓電原理將機械振動從聲波信號轉(zhuǎn)換為電信號。在壓電式麥克風(fēng)中，常用用來制造振動隔膜的壓電材料是氮化鋁和氧化鋅。壓電式麥克風(fēng)的優(yōu)點是靈敏度高、體積小。壓電效應(yīng)是通過變形來產(chǎn)生電荷，除了可以作為聲音傳感元件，壓電效應(yīng)所產(chǎn)生的電信號還可用于感知運動引起的物理或化學(xué)效應(yīng)。圖5.12柔性壓電式麥克風(fēng)的工作流程示意圖

電容式壓阻式電磁式壓電式檢測信號電容電壓電流電壓外部供電需要需要不需要不需要開路靈敏度低低低高頻率響應(yīng)平坦尖峰尖峰聲音頻帶可調(diào)表5.1不同聲傳感器的性能對比三、壓電式麥克風(fēng)5.2.1麥克風(fēng)

圖5.14幾款超聲波傳感器芯片：（a）MaxBotixInc.（MB1414-000）；（b）MaxBotixInc.（MB1443-000）；（c）TDKInvenSense（MOD_CH101-03-01）.超聲波是一種具有很短的波長（在空氣中不到2厘米）的機械波，它必須通過媒介來傳遞，在空中的傳播速度沒有聲音和次聲波快，在水里的傳播范圍要更大一些。超聲傳感器測距包括三個主要過程，即超聲波的產(chǎn)生、傳播和接收。5.2.2超聲波傳感器超聲波傳感器是一種應(yīng)用超聲波技術(shù)研制而成的傳感器，可以把各種能量和超聲波轉(zhuǎn)換成各種形態(tài)的裝置。超聲波傳感器的核心部分是一種能夠發(fā)出和接收聲波的壓電片。超聲波探頭可以分為直探頭、雙探頭、斜探頭等。超聲波沿著一條直線進行傳播，其發(fā)射頻率越高，其反射性能越好。目前超聲傳感器的市場份額最大的是電聲型傳感器和水力型超聲波傳感器。一、工作原理電聲傳感器包括壓電、磁致伸縮、靜電三大類；液動超聲傳感器分為兩類，即氣態(tài)和液態(tài)。5.2.2超聲波傳感器超聲波接收器的工作原理：利用發(fā)電機中的壓電晶體共振來生成聲波。常見的壓電式超聲波傳感器內(nèi)部包括兩塊壓電晶圓和一塊喇叭或共振板，當(dāng)負(fù)載的脈沖信號與壓電晶圓的自振頻率一致時，它們就會發(fā)生共鳴，從而引起振蕩，因此形成了超聲波信號。反之，在不將脈沖信號導(dǎo)入壓電晶圓的兩端時，若在擴音器或共振板上檢測到超聲波，則該揚聲器或諧振板將引起振蕩，從而使壓電晶片產(chǎn)生振動，使物理機械能量轉(zhuǎn)化為電能，而壓電晶體在振動時，將會產(chǎn)生電信號，從而使壓電晶體的兩端產(chǎn)生電信號，這時，超聲波發(fā)生器就變成了超聲波接收器。接觸式超聲傳感器主要用于變壓器、組合電器等大型電力設(shè)備監(jiān)測；非接觸式超聲傳感器則主要用于電力電纜、開關(guān)柜等電力設(shè)備檢測。圖5.16超聲波往返時間檢測法測距原理示意圖圖5.15常見超聲波傳感器外觀及結(jié)構(gòu)示意圖5.2.2超聲波傳感器常規(guī)脈沖回波超聲波傳感器，其測距方法包括單程測距法和雙程測距法。單程測距法中傳感器信號發(fā)射端和接收端分離，信號接收端配置在待測目標(biāo)處，發(fā)射端發(fā)射信號，接收端接收信號，根據(jù)信號傳播速度和渡越時間的乘積，計算獲得距離。距離計算公式：l表示超聲傳感器信號的發(fā)送端到被測量對象的信號接收端的距離，c表示在空氣中超聲的傳播速率，?t表示從信號發(fā)送端到被測量對象的接收端的超聲傳輸?shù)膫鬏敃r間。圖5.19雙程測距法原理圖圖5.18單程測距法原理圖雙程測距法與單程測距法的不同之處在于超聲波傳感器信號發(fā)射端與信號接收端配置在一起。距離計算公式：5.2.2超聲波傳感器二、聲吶聲吶檢測利用了聲波在水下的傳播特性，發(fā)射聲波在水中傳播遇到物體發(fā)射的回波獲取目標(biāo)信息，完成水下目標(biāo)檢測。水下聲傳播可以用聲波P的齊次波動方程來描述：其中c為水中聲速，x，y，z為空間方向。通常用聲場信號強度的衰減來度量傳播損失的大小，某點與參考點距離之間的聲信號強度損失為傳播損失：聲波的強度隨傳播距離增大會呈現(xiàn)指數(shù)衰減的變化規(guī)律，另外聲波的振動頻率、環(huán)境溫度和介質(zhì)特性也會造成聲波強度的變化。一、仿生聽覺傳感器蝙蝠耳仿生麥克風(fēng)：蝙蝠具有極其強大的檢波、抗噪、自適應(yīng)能力，是目前的聲吶系統(tǒng)、雷達(dá)系統(tǒng)所無法達(dá)到的。仿蠅耳麥克風(fēng)：一種具有指向性、靈敏度高特性的微型傳聲器蚊子聽覺仿生系統(tǒng)：蚊子的聽覺系統(tǒng)位于其頭部觸角上。當(dāng)有聲音傳過來時，觸角上的鞭毛會發(fā)生彎曲變形，拉動觸角中的神經(jīng)發(fā)生形變，使得神經(jīng)膜內(nèi)外電位差變化，從而將這種信號傳輸給蚊子大腦來感知聲音信號。二、柔性壓電聲學(xué)傳感器壓電膜的厚度和形狀是影響諧振頻率的關(guān)鍵因素，設(shè)計時應(yīng)該重點考慮；柔性壓電膜可以根據(jù)通道寬度產(chǎn)生多個頻率分量數(shù)據(jù)集，多通道信號可以獲得兩倍以上的語音信息進行語音處理；具有基于充足數(shù)據(jù)進行機器學(xué)習(xí)訓(xùn)練和從多通道輸入中選擇有用信號的優(yōu)點。5.2.3其他聲音傳感器三、光纖聲音傳感器光纖聲學(xué)傳感器是一種利用光纖作為光傳播的聲學(xué)傳感器媒體或檢測單元。與傳統(tǒng)的電聲傳感器相比，它具有靈敏度高、帶寬頻率響應(yīng)、抗電磁干擾等優(yōu)點，對國家安全、工業(yè)無損檢測、醫(yī)療診斷、消費電子等領(lǐng)域具有重要價值。聲場與光的耦合方式有間接耦合和直接耦合兩種。間接耦合型光纖聲傳感器：分為光強調(diào)制型、相位調(diào)制型和波長調(diào)制型等類型。直接耦合型光纖聲傳感器：不使用聲耦合材料，直接利用光束檢測聲波引起空氣介質(zhì)折射率的微小變化實現(xiàn)聲探測，相比間接耦合型光纖聲傳感器，具有穩(wěn)定性好、高頻靈敏度高、大帶寬、大動態(tài)范圍等優(yōu)點，主要包括自耦合效應(yīng)型和法布里—珀羅標(biāo)準(zhǔn)具（FPE）型兩種類型。衡量光纖聲傳感器性能的參數(shù)主要包括：靈敏度、信噪比、頻率響應(yīng)和動態(tài)范圍。5.2.3其他聲音傳感器5.3.1語音信號特點一、語音的聲學(xué)特性和短時性聲道是一個可以放大一定頻率的共振腔，同時也可以削弱其它頻率的能量，這種共振頻率就是所謂的共振峰值。諧振峰與聲道的尺寸相關(guān)，不同組之間的諧振峰一一對應(yīng)。語音的頻譜特征主要取決于諧振峰值。因為不同說話人的聲道尺寸是不一樣的，所以諧振峰值和說話人有著很大的聯(lián)系。即便是同樣的音位，由于說話人的差異，其共振峰也會發(fā)生很大的改變。在語音識別中，需要考慮三個以上的共振峰。二、語音信號特點漢語以漢語拼音為基礎(chǔ)。漢語一字節(jié)是由聲母和韻母組成的，通常一個聲母中只有一個輔音，而韻母是一個或幾個以上的元音或元音和輔音的結(jié)合。漢語是一種聲調(diào)語言，漢語聲調(diào)的識別功能是其最基本的功能，其主要功能是根據(jù)調(diào)式進行區(qū)分不同的音調(diào)。英語里的每個句子都有一個重讀。在口語中，有時還會出現(xiàn)兩個或更多的重讀，所以，在口頭交流中，重音是表達(dá)意義的象征，而重音同時也是一條重要的信息。5.3語音識別二、語音識別系統(tǒng)分類（一）按照說話人分類說話人識別的特征提取與語音識別的特征提取正好相反，語音識別是要找到不同說話人相同語音之間的共性作為特征，而說話人識別則需要使用說話人之間的區(qū)別作為特征。說話人識別的特征在層次上又可分為低層的聲學(xué)特征和高層的語言習(xí)慣特征，而在目前的研究水平，可區(qū)分性較強、穩(wěn)定性較高特征還僅限于低層的聲學(xué)特征，是基于個人的發(fā)聲器官的生理特性的特征。具有較好效果的特征主要有如下幾種：

基于發(fā)聲原理的管道模型的線性預(yù)測系數(shù)及其各種變體；語音頻譜導(dǎo)出系數(shù)組，包括基音輪廓、共振峰、語音強度以及其變遷特性；基于聽覺感知原理的特征，以美爾頻標(biāo)倒譜為代表。5.3.2語音識別概述二、語音識別系統(tǒng)分類（二）按照詞匯量分類大詞匯量指的是500字以上的識別，小詞匯量是指100字以下的識別，除此之外，還有中等詞匯量的識別。例如，MHINT語料庫：包含男性發(fā)音的480個語句，每個語句包含十個漢字。語音采樣率均為16kHz。（三）按照表達(dá)方式的不同分類對于一次語音輸出，機器可按照連續(xù)信號、孤立詞、關(guān)鍵詞三種方式檢索識別。連續(xù)語音識別計算量較大，對一段連續(xù)的語音信號進行識別處理；孤立詞即機器對一個個孤立的字或詞進行識別，所以運算量較??；關(guān)鍵詞語音識別即機器從一段語音信號中找出需要的關(guān)鍵詞進行識別。5.3.2語音識別概述三、說話人識別基本原理說話人識別系統(tǒng)由語音數(shù)據(jù)預(yù)處理、特征提取、模型訓(xùn)練、模式匹配四部分組成。在訓(xùn)練階段，系統(tǒng)根據(jù)輸入的語音數(shù)據(jù)提取特征，利用聲紋識別算法訓(xùn)練出模型；在識別階段，系統(tǒng)提取輸入語音數(shù)據(jù)的特征，并將該特征輸入訓(xùn)練好的識別模型，輸出識別結(jié)果。圖5.25說話人識別系統(tǒng)架構(gòu)語音情感識別語音情感識別是指從語音信號中識別出說話人的情感狀態(tài)，常見特征包括：特征名稱說明基音基因頻率及其導(dǎo)數(shù)，以及均值，方差等統(tǒng)計量基音輪廓輪廓以及各種幾何學(xué)特征強度短時能量及其導(dǎo)數(shù)的各種統(tǒng)計量語速單位時間內(nèi)的符號數(shù)量音質(zhì)共振峰的頻率及其帶寬5.3.2語音識別概述預(yù)處理

將輸入的音信號數(shù)字話并轉(zhuǎn)換成適合在計算機系統(tǒng)中進行運算的結(jié)構(gòu)以及調(diào)整數(shù)據(jù)的特性。特征提取

從語音流中找到聲學(xué)特征的表達(dá)參數(shù)，能夠有效的包含應(yīng)語音段的有效信息。特征訓(xùn)練

先將訓(xùn)練的聲音輸入到語音，再通過預(yù)處理、特征抽取等方法，獲得一個特征向量的參數(shù)，再利用該模型建立一個訓(xùn)練語音的參照庫，或者在模式庫中修改該參照庫。識別

將輸入的語音特征矢量和參照模式庫的相似度進行測度，并將它們的相應(yīng)類型作為識別的中間候選。后處理判別模塊是利用語言模型、詞法、句法等多種知識進行最后的辨識，以達(dá)到語音識別的目的。圖5.26典型的語音識別系統(tǒng)結(jié)構(gòu)語音數(shù)據(jù)處理包含了語音信號預(yù)處理、特征提取、特征訓(xùn)練、識別與后處理判定等多項功能，后處理和判決是任選的。5.3.3語音數(shù)據(jù)處理一、語音數(shù)據(jù)預(yù)處理圖5.27語音識別預(yù)處理基本流程（一）采樣與量化聲帶發(fā)出的原始聲音是連續(xù)的，而錄音機則會接收到持續(xù)的訊號，也就是模擬訊號，需要取樣、量化，然后再用電腦進行處理。取樣是指在時間線上以某一頻率（也就是間隔一段時間），用每一次模擬信號的模擬量替換原先連續(xù)的信號。奈奎斯特取樣頻率：假定頻譜限制信號f（t），在頻譜在-ωm~+ωm范圍內(nèi)時，可用等間距取樣值來唯一地表達(dá)信號f（t）。（二）預(yù)加重目的是消除聲門激振和口鼻輻射，人為地利用預(yù)加重功能強化了語音信號中的高頻成分，改善了高頻段的信噪比，降低了語音信號在發(fā)射時產(chǎn)生的能量損耗，使得聲音的高頻部分得到增強，使得信號的頻譜更加扁平。5.3.3語音數(shù)據(jù)處理一、語音數(shù)據(jù)預(yù)處理（三）分幀與加窗可以把話音分成短時的語言，每一段都被稱作“幀”，所以對話音信號的處理必須基于它的“短時性”；分幀是通過窗函數(shù)實現(xiàn)語音信號截斷，但截斷后的短時語音信號會導(dǎo)致信號的頻譜特性發(fā)生突變，產(chǎn)生無限帶寬；在語音分幀時，常采用一種可動的有限長窗來進行加權(quán)，而窗的選取會影響其短期能量，并將其視為濾波器的單元沖擊響應(yīng)。（1）矩形窗

（2）漢明窗（3）漢寧窗5.3.3語音數(shù)據(jù)處理（四）端點檢測實際的語音識別中，由于語音信號中會含有噪音，因此，首先要對語音輸入進行判定，并從中找到含有有效信息的起始點，從而確保所獲取的聲音是真正有用的；通常采用短時能量、短時平均振幅、短時過零率等時域參數(shù)來判定有效信號的起始和結(jié)束。語音信號的短時能量定義為：其中，窗口長度為N，短時能見度為一幀樣點的加權(quán)平方和。短時能的主要功能是：首先，它可以區(qū)分清音與濁音，因為在濁音時，短時間內(nèi)的能量E（n）要比清音大。語音信號的短時平均過零率定義為：一、語音數(shù)據(jù)預(yù)處理5.3.3語音數(shù)據(jù)處理二、特征提?。ㄒ唬┚€性預(yù)測系數(shù)LPC線性預(yù)測的基本概念：將其以往幾次抽樣值的權(quán)值（線性結(jié)合）用于預(yù)測，其中每一權(quán)重系數(shù)都是以最小的預(yù)測誤差平均方值為原則（也就是按照所謂的最小平均方差標(biāo)準(zhǔn)），那么就是p級的線性預(yù)測因子（Linearitypredictscoefficients,LPC）。設(shè)P{x（n）|n=0,1,...,N-1}為一幀語音采樣序列，則第n個語音樣點值s（n）的p階線性預(yù)測值為：式中p為預(yù)測階數(shù)，ai

（i=1,2,...,p

）是線性預(yù)測系數(shù)。預(yù)測誤差ε（n）為：5.3.3語音數(shù)據(jù)處理二、特征提取線性預(yù)測倒頻譜系數(shù)（Linearitypredictscepstrumcoefficients,LPCC）是一個較為關(guān)鍵的特征參數(shù)，它可以較徹底地消除語音生成時的激勵信息，并能很好地反映出語音的共振峰。在線性預(yù)測分析中，通道模型是一個完全的極點模式：LPC分析的重要意義：該方法能提供一套簡單的語音模型參數(shù)，能夠更準(zhǔn)確地反映出語音信號的波幅，并且其運算量也不大，可以用來做模板，既能提高識別率，又能縮短處理時間。LPC倒譜系數(shù)不足之處：其建立在全極點模式的基礎(chǔ)上，因而不能準(zhǔn)確地反映清、鼻音，同時又包含了零點效應(yīng)，故在理論上，應(yīng)采用極點模式。（二）線性預(yù)測倒譜系數(shù)LPCC5.3.3語音數(shù)據(jù)處理二、特征提取（三）梅爾倒譜系數(shù)MFCC在求取梅爾倒譜系數(shù)（Mel-frequencycepstralcoefficient,MFCC）的過程中，根據(jù)梅爾頻率與Hz的對應(yīng)關(guān)系，類似臨界頻帶的劃分，可以將語音頻率劃分成一系列三角濾波器序列，即梅爾頻率濾波器組，每個濾波器在以梅爾為單位的頻率軸上是不等間距的，而是符合臨界帶寬的分布特性。取每個三角形的濾波器頻帶寬內(nèi)所有信號幅度加權(quán)和作為某個帶通濾波器的輸出，然后對所有濾波器輸出做對數(shù)運算，再進一步進行離散余弦變換（Discretecosinetransform,DCT），即得到MFCC。將各三角濾波器頻率帶寬中的信號幅值相加，并將其作為一個帶通濾波器的輸出，并對各濾波器的輸出進行對數(shù)運算，最后進行DCT，即獲得MFCC。5.3.3語音數(shù)據(jù)處理（一）動態(tài)時間規(guī)整法（DynamicTimeWarping,DTW）動態(tài)時間規(guī)則問題是最典型的，其最大的特點是：在此基礎(chǔ)上，利用一條有條件限制的時間規(guī)則函數(shù)來描述模型與樣品模板之間的時間對應(yīng)關(guān)系，并在此基礎(chǔ)上求出相應(yīng)的規(guī)則函數(shù)。（二）矢量量化（VectorQuantization,VQ）模型向量量化指的是把說話者當(dāng)作一個聲音信號源，通過向量量化技術(shù)對其進行建模（通過訓(xùn)練序列聚合產(chǎn)生

VQ代碼書），使得

VQ代碼書與說話者一一對應(yīng)，在進行識別時，使用全部碼本編碼輸入的測試序列，并計算出相應(yīng)的平均量化畸變，再進行比較，確定出失真最少的基準(zhǔn)模式。圖5.17基于VQ技術(shù)的說話人識別系統(tǒng)原理圖三、模型訓(xùn)練與模板匹配5.3.3語音數(shù)據(jù)處理（三）隱馬爾可夫模型隱馬爾可夫模型是一種以轉(zhuǎn)移概率和輸出概率為基礎(chǔ)的隨機模式，其原因在于，一種具有n個狀態(tài)的S1，S2，……，Sn的模式，將輸入的特性從一種狀態(tài)轉(zhuǎn)換到另一種狀態(tài)，每次由于無法觀測到狀態(tài)轉(zhuǎn)換序列，因此只能根據(jù)已知的輸出符號序列進行運算，并對其進行預(yù)測。為每一個說話人構(gòu)建一個特殊的語音模型，然后經(jīng)過訓(xùn)練，獲得一個狀態(tài)轉(zhuǎn)換的概率矩陣和符號的輸出概率矩陣。在辨識時，通過計算狀態(tài)轉(zhuǎn)換中未知語言的最大機率，并利用最大概率對應(yīng)的模式判斷出說話者的身份。圖5.19狀態(tài)轉(zhuǎn)移模型三、模型訓(xùn)練與模板匹配5.3.3語音數(shù)據(jù)處理語音識別系統(tǒng)可分為離線語音識別和在線離線語音識別系統(tǒng)。離線語音識別：詞語庫比較小，屬于小詞匯量語音識別，不依賴網(wǎng)絡(luò)環(huán)境，識別過程在硬件內(nèi)部自動完成；受嵌入式硬件平臺的限制，導(dǎo)致離線語音識別不能占有過多的存儲空間，而且不能進行太多復(fù)雜的運算處理；目前主要以嵌入式平臺為主，通過啟動專用語音識別芯片的方法來進行語音識別。在線語音識別：針對大詞匯量的連續(xù)語音識別的分布式語音識別系統(tǒng)；每次識別前將需要識別的語音內(nèi)容上傳至服務(wù)器，然后通過服務(wù)器進行運算處理，最后與詞語庫中的詞語進行匹配，最后再將結(jié)果反饋給說話者。一、語音識別模塊（一）MEGASUN-M6語音識別模塊（二）LD3320芯片（三）XFS5152CE芯片5.3.4語音識別系統(tǒng)二、硬件開發(fā)語音識別芯片：語音信號的處理和識別；單片機：主控芯片加以控制，同時與上位機進行通訊；外部寄存器：動態(tài)地添加和編輯需要識別的詞語庫；USB轉(zhuǎn)串口模塊：將硬件系統(tǒng)方便地與上位機建立通信；專用的語音識別芯片：用麥克風(fēng)接收說話者的語音信號，進行處理和識別。三、軟件開發(fā)（一）Arduino開源平臺（二）DeepSpeech開源平臺（三）Kaldi開源平臺（四）CMUSphinx語音識別器5.3.4語音識別系統(tǒng)5.4.1人耳模型在大多數(shù)人類聲音定位研究中，聲源被限制在兩個平面中的一個：水平面或垂直（中矢）面。水平和垂直定位之間的區(qū)別似乎也可以通過水平和垂直定位的主要空間線索（即雙耳差異線索與單耳線索）的差異來證明。入射到聽者耳朵上的聲波會被面對入射波一側(cè)的頭部反射，衍射到頭部陰影一側(cè)的耳朵，并通過耳廓傳輸?shù)蕉?。這些反射和衍射產(chǎn)生雙耳時間差和雙耳強度差，這是眾所周知的雙耳差異線索。5.4.2麥克風(fēng)陣列麥克風(fēng)陣列由若干個具有特定幾何結(jié)構(gòu)的感應(yīng)器構(gòu)成，具有很好的空間選擇性，能夠在一定的距離上對聲源進行自適應(yīng)探測，并能進行軌跡定位。麥克風(fēng)陣列能夠有效地解決單一話筒在空間信號的接收與處理上的不足。機器人聽力系統(tǒng)通常采用多種形式的傳聲器，通過多種方法組成一個陣列，從周圍環(huán)境中采集聲音，并對不同方位的聲音進行加強。5.4聲源定位（一）線性陣列圖5.23線性陣列示意圖（二）二維平面陣列指向性模式圖5.25二維面陣示意圖5.4.2麥克風(fēng)陣列（三）三維立體陣列1.四元正四面體陣列：圖5.28正四面體陣列結(jié)構(gòu)與位置示意圖2.五元正四面體陣列：圖5.29五元正四面體陣列結(jié)構(gòu)3.球形陣列：圖5.30球面陣列示意圖5.4.2麥克風(fēng)陣列固定波束形成。固定波束成形可以看做是一種閉環(huán)系統(tǒng)，在這種系統(tǒng)中，接收到的信號的隨機統(tǒng)計特性決定了其性能的好壞，為了能夠更好的降低噪聲和干擾對語音的影響，進行固定波束形成前需要知道信號和干擾、噪聲的具體位置。它的各項參數(shù)在進行波束形成前就由開發(fā)人員固定，不因信號的改變而改變。自適應(yīng)波束形成。該類波束形成算法常以具體準(zhǔn)則為基礎(chǔ)提出相應(yīng)的算法，可用較少的麥克風(fēng)取得較好的去噪效果。自適應(yīng)波束形成算法本質(zhì)上以信號處理為基礎(chǔ)，仍只是將語音看做普通的傳輸信號處理。

盲源信號分離。該類算法分為三類，第一類方法被稱為獨立分量分析，它是在信號經(jīng)過變換后，保證不同的信號分量之間的相依性盡可能的減小。5.4.2麥克風(fēng)陣列雙耳聲源定位主要機理：1.雙耳間聲強差：聲源在左右耳的聲音強度差；

2.雙耳間時間差或相位差：點聲源抵達(dá)左右耳的時間差；

3.頻率線索：基于頻譜相關(guān)特性來進行聲源定位。在三維空間聲場中，空間上的描述有三個維度：1.左右空間方位：這個主要是依賴于雙耳線索，通過聲音抵達(dá)雙耳之間的差異，來判斷聲音的左右偏向。ITD是聲源抵達(dá)雙耳的時間差，ITD范圍為0~690????區(qū)間。2.上下空間方位：主要是通過耳廓的形狀，造成不同入射角有不同的折射程度而產(chǎn)生的差異。大多數(shù)頻譜線索位于4~16kHz的頻率范圍。

3.遠(yuǎn)近空間方位（Distance）：遠(yuǎn)近維度其實就是聲源到達(dá)雙耳的能量，能量大聽覺上感覺近，能量小聽覺上感覺遠(yuǎn)。

5.4.3聲源定位方法

一、基于聲波到達(dá)時間差聲音定位的基本思想是從一對麥克風(fēng)之間的到達(dá)時間差推導(dǎo)出聲源的方向；時差可以在短時間內(nèi)通過通用互相關(guān)方法進行估計；通用互相關(guān)方法可以通過不同的加權(quán)方案進行增強，如相位變換。二、基于最大輸出功率的可控波束形成技術(shù)波束形成器形成標(biāo)量輸出信號，作為傳感器陣列接收的數(shù)據(jù)的加權(quán)組合；權(quán)重確定波束形