服務(wù)機(jī)器人應(yīng)用開(kāi)發(fā)（初級(jí)） 課件 項(xiàng)目10、11 與機(jī)器人對(duì)話、讓機(jī)器人感知世界

項(xiàng)目十與機(jī)器人對(duì)話服務(wù)機(jī)器人應(yīng)用開(kāi)發(fā)UBTECHCONTENTS01.學(xué)習(xí)目標(biāo)UBTECH02.內(nèi)容結(jié)構(gòu)03.任務(wù)背景04.任務(wù)描述05.知識(shí)鏈接06.任務(wù)實(shí)施07.擴(kuò)展任務(wù)08.項(xiàng)目小結(jié)學(xué)習(xí)目標(biāo)1.了解音頻編碼（A/D、D/A）、PCM編碼原理；2.了解語(yǔ)音識(shí)別（ASR）技術(shù)原理；3.了解自然語(yǔ)音處理（NLP）技術(shù)原理；4.了解語(yǔ)音合成（TTS）技術(shù)原理；5.熟練使用語(yǔ)音轉(zhuǎn)文本核心API函數(shù)YanAPI.sync_do_voice_iat()；6.熟練使用語(yǔ)義理解核心API函數(shù)YanAPI.sync_do_voice_asr()；7.熟練使用文本轉(zhuǎn)語(yǔ)音核心API函數(shù)YanAPI.start_voice_tts()；8.熟練掌握與機(jī)器人實(shí)現(xiàn)對(duì)話的API調(diào)用。內(nèi)容結(jié)構(gòu)任務(wù)背景聲音是自然界中最重要的溝通方式，我們通過(guò)語(yǔ)言和聲音來(lái)完成相應(yīng)的意圖傳達(dá)，而聲音傳播的基本原理是什么？我們通常聽(tīng)到的電子產(chǎn)品發(fā)出的聲音是怎么回事？在音樂(lè)方面，我們很直觀地聯(lián)想到我們喜歡的音樂(lè)和歌手。在聽(tīng)音樂(lè)的時(shí)候我們是否注意到有的音樂(lè)是無(wú)損的，有的是有損的?通過(guò)這個(gè)課程，帶你走進(jìn)音頻的神秘的世界，了解什么是聲道、什么是采樣及采樣位數(shù)、碼率還有有損、無(wú)損壓縮等基本概念。我們會(huì)發(fā)現(xiàn)原來(lái)Yanshee也可以學(xué)著別人說(shuō)話。任務(wù)描述本項(xiàng)目主要任務(wù)有：1、如何將人類語(yǔ)言轉(zhuǎn)換成文字，轉(zhuǎn)換的文字如何通過(guò)網(wǎng)絡(luò)語(yǔ)言智能引擎得到正確的回答，最終通過(guò)TTS技術(shù)將返回的文字通過(guò)語(yǔ)音播放出來(lái)；2、通過(guò)語(yǔ)音轉(zhuǎn)文本核心API函數(shù)YanAPI.sync_do_voice_iat()、語(yǔ)義理解核心API函數(shù)YanAPI.sync_do_voice_asr()和文本轉(zhuǎn)語(yǔ)音核心API函數(shù)YanAPI.start_voice_tts()實(shí)現(xiàn)與機(jī)器人的對(duì)話。（一）（二）（三）（四）（五）知識(shí)鏈接（六）計(jì)算機(jī)如何處理聲音機(jī)器人溝通技術(shù)語(yǔ)音識(shí)別技術(shù)ASR自然語(yǔ)言處理NLP語(yǔ)音合成技術(shù)TTS目前的NLP平臺(tái)知識(shí)鏈接一、計(jì)算機(jī)如何處理聲音1、A/D、D/A轉(zhuǎn)換2、聲音數(shù)字化（即A/D轉(zhuǎn)換）的過(guò)程（1）采樣（2）量化（3）編碼3、采樣和采樣頻率4、采樣位數(shù)5、聲道音頻編解碼的基本原理知識(shí)鏈接一、計(jì)算機(jī)如何處理聲音（1）脈沖編碼調(diào)制（2）碼率（3）音頻的編碼格式（4）音頻文件的編碼音頻信號(hào)的編碼知識(shí)鏈接二、機(jī)器人溝通技術(shù)語(yǔ)音識(shí)別（ASR：AutomaticSpeechRecognition），將聲音轉(zhuǎn)化成文字，相當(dāng)于耳朵。自然語(yǔ)言處理（NLP：NaturalLanguageProcessing），理解和處理文本，相當(dāng)于大腦將回答播放出來(lái)。語(yǔ)音合成（TTS：Text-To-Speech），把文本轉(zhuǎn)化成語(yǔ)音，相當(dāng)于嘴巴。知識(shí)鏈接三、語(yǔ)音識(shí)別技術(shù)ASR聽(tīng)懂人類的話，實(shí)際就是將語(yǔ)音轉(zhuǎn)換成正確的文字內(nèi)容，用到的就是ASR（AutomaticSpeechRecognition：自動(dòng)語(yǔ)音識(shí)別）技術(shù)。音頻編碼音頻解碼知識(shí)鏈接四、自然語(yǔ)言處理NLP文本預(yù)處理（1）去噪聲（2）詞匯歸一化詞法分析（1）分詞（2）實(shí)體識(shí)別文本分類文本相似度處理情感傾向分析（1）情感傾向分類（2）觀點(diǎn)抽取目前遇到的困難（1）語(yǔ)言不規(guī)范（2）錯(cuò)別字（3）新詞知識(shí)鏈接五、語(yǔ)音合成技術(shù)TTS拼接法優(yōu)點(diǎn)：語(yǔ)音合成的質(zhì)量比較高。缺點(diǎn)：數(shù)據(jù)量要求很大，數(shù)據(jù)庫(kù)里必須有足夠全的“音”。參數(shù)法優(yōu)點(diǎn)：對(duì)數(shù)據(jù)的要求要小點(diǎn)。缺點(diǎn)：質(zhì)量比拼接法差一些其他方法知識(shí)鏈接六、目前的NLP平臺(tái)工業(yè)界的成型NLP平臺(tái)學(xué)術(shù)界研究中的NLP平臺(tái)科大訊飛NLP平臺(tái)iFLYOS系統(tǒng)華為云提供了NLP的服務(wù)接口小米的小愛(ài)同學(xué)開(kāi)放平臺(tái)百度的NLP平臺(tái)（一）（二）（三）（四）（五）任務(wù)1：語(yǔ)音轉(zhuǎn)文本任務(wù)2：語(yǔ)義理解任務(wù)3：文本轉(zhuǎn)語(yǔ)音任務(wù)4：與機(jī)器人實(shí)現(xiàn)對(duì)話任務(wù)5：離線方式語(yǔ)音識(shí)別API任務(wù)實(shí)施（六）任務(wù)6：常見(jiàn)的故障及解決方案任務(wù)實(shí)施任務(wù)1：語(yǔ)音轉(zhuǎn)文本語(yǔ)音轉(zhuǎn)文本核心APIYanAPI.sync_do_voice_asr()實(shí)現(xiàn)語(yǔ)音轉(zhuǎn)文本解析并打印顯示聽(tīng)寫結(jié)果更簡(jiǎn)單的API函數(shù)YanAPI.sync_do_voice_asr_value()任務(wù)實(shí)施任務(wù)2：語(yǔ)義理解語(yǔ)義理解核心APIYanAPI.sync_do_voice_asr()實(shí)現(xiàn)語(yǔ)義理解解析并打印顯示結(jié)果更簡(jiǎn)單的API函數(shù)YanAPI.sync_do_voice_asr_value()任務(wù)實(shí)施任務(wù)3：文本轉(zhuǎn)語(yǔ)音文本轉(zhuǎn)語(yǔ)音核心APIYanAPI.start_voice_tts(str,interrupt:bool=True,timestamp:int=0)實(shí)現(xiàn)文本轉(zhuǎn)語(yǔ)音讓機(jī)器人聽(tīng)到我們問(wèn)題讓機(jī)器人聽(tīng)懂并“想到”問(wèn)題的回答讓機(jī)器人播放他“想到”的回答010203需求分析任務(wù)實(shí)施任務(wù)4：與機(jī)器人實(shí)現(xiàn)對(duì)話任務(wù)實(shí)施任務(wù)4：與機(jī)器人實(shí)現(xiàn)對(duì)話與機(jī)器人完成第一次對(duì)話程序與機(jī)器人連續(xù)的對(duì)話任務(wù)實(shí)施任務(wù)5：離線方式語(yǔ)音識(shí)別API創(chuàng)建一個(gè)新的離線語(yǔ)法名稱配置獲取指定語(yǔ)法名稱下的所有配置修改已有語(yǔ)法配置中的命令詞和對(duì)應(yīng)的返回值刪除指定離線語(yǔ)法名稱下的所有配置獲取所有離線語(yǔ)法名稱任務(wù)實(shí)施任務(wù)6：常見(jiàn)的故障及解決方案在進(jìn)行語(yǔ)音識(shí)別和語(yǔ)音識(shí)別過(guò)程中，必須要聯(lián)網(wǎng)嗎？

Yanshee人形機(jī)器人內(nèi)置使用了科大訊飛的語(yǔ)音語(yǔ)義識(shí)別平臺(tái)，因此在使用之前都需要聯(lián)網(wǎng)，否則很多功能受限?？梢酝ㄟ^(guò)離線方式實(shí)現(xiàn)嗎？

可以離線方式實(shí)現(xiàn)非常有限的識(shí)別功能。要實(shí)現(xiàn)離線方式的語(yǔ)音識(shí)別功能，需要事先在機(jī)器人上建立語(yǔ)法規(guī)則和字典。拓展任務(wù)之前的離線語(yǔ)音識(shí)別部分沒(méi)有給出具體的程序代碼，想想如何調(diào)用YanAPI去實(shí)現(xiàn)離線識(shí)別語(yǔ)音？項(xiàng)目小結(jié)通過(guò)本項(xiàng)目的學(xué)習(xí)，了解了要與機(jī)器人進(jìn)行語(yǔ)音交流必須的語(yǔ)音識(shí)別、語(yǔ)義理解、文本轉(zhuǎn)語(yǔ)音的幾項(xiàng)重要技術(shù)，并通過(guò)API的調(diào)用，最終實(shí)現(xiàn)與機(jī)器人的語(yǔ)音對(duì)話功能。THANKSBUSINESSDESIGN服務(wù)機(jī)器人應(yīng)用開(kāi)發(fā)項(xiàng)目十一讓機(jī)器人感知世界服務(wù)機(jī)器人應(yīng)用開(kāi)發(fā)UBTECHCONTENTS01.學(xué)習(xí)目標(biāo)UBTECH02.內(nèi)容結(jié)構(gòu)03.任務(wù)背景04.任務(wù)描述05.知識(shí)鏈接06.任務(wù)實(shí)施07.擴(kuò)展任務(wù)08.項(xiàng)目小結(jié)學(xué)習(xí)目標(biāo)1.了解傳感器的概念；2.了解陀螺儀傳感器、紅外線傳感器、超聲波傳感器、觸摸傳感器、壓力傳感器、溫濕度傳感器的工作原理；3.熟悉Python讀取陀螺儀傳感器、紅外線傳感器、超聲波傳感器、觸摸傳感器、壓力傳感器、溫濕度傳感器的方法；4.熟悉Python對(duì)陀螺儀傳感器、紅外線傳感器、超聲波傳感器、觸摸傳感器、壓力傳感器、溫濕度傳感器回傳的數(shù)值的分析和提?。?.熟練調(diào)用API去讀取陀螺儀傳感器的數(shù)值，并解析和顯示；學(xué)習(xí)目標(biāo)6.熟練掌握根據(jù)歐拉角判斷是否跌倒的方法；7.能夠熟練調(diào)用API去讀取紅外線距離傳感器的數(shù)值并顯示；8.能夠熟練調(diào)用API去讀取超聲波傳感器并顯示測(cè)量的距離；9.能夠熟練調(diào)用API去讀取觸摸傳感器的感知情況；10.能夠熟練調(diào)用API去讀取壓力傳感器的壓力值；11.能夠熟練調(diào)用API去讀取溫濕度傳感器的值，并顯示環(huán)境溫度、濕度和大氣壓值。內(nèi)容結(jié)構(gòu)任務(wù)背景當(dāng)代社會(huì)越來(lái)越多的場(chǎng)景用到了傳感器，傳感器相當(dāng)于機(jī)器人的觸覺(jué)、我們可以通過(guò)多種傳感器來(lái)讓機(jī)器人達(dá)到感知環(huán)境的目的。距離傳感器讓機(jī)器人知道周圍的障礙物，溫度傳感器讓機(jī)器人知道周圍的溫度，觸摸傳感器讓機(jī)器人知道是否被觸摸，壓力傳感器讓機(jī)器人感知所受的壓力、顏色傳感器讓機(jī)器人看到物體的顏色等等。傳感器就是為了讓機(jī)器人真正更像人的一個(gè)非常關(guān)鍵的部件。任務(wù)描述本項(xiàng)目主要任務(wù)有：1、掌握傳感器的含義，以及陀螺儀傳感器、紅外線傳感器、超聲波傳感器、觸摸傳感器、壓力傳感器、溫濕度傳感器的工作原理；2、掌握利用Python程序調(diào)用API讀取陀螺儀傳感器、紅外線傳感器、超聲波傳感器、觸摸傳感器、壓力傳感器、溫濕度傳感器的數(shù)值，并能進(jìn)行正確的解析，最后做出相應(yīng)的正確的反應(yīng)。知識(shí)鏈接（一）（二）（三）（四）（五）（六）認(rèn)識(shí)傳感器運(yùn)動(dòng)傳感器紅外線傳感器超聲波傳感器觸摸傳感器壓力傳感器（七）溫濕度傳感器知識(shí)鏈接一、認(rèn)識(shí)傳感器人們?yōu)榱藦耐饨绔@取信息，必須借助于感覺(jué)器官。而單靠人們自身的感覺(jué)器官，在研究自然現(xiàn)象和規(guī)律以及生產(chǎn)活動(dòng)中它們的功能就遠(yuǎn)遠(yuǎn)不夠了。為適應(yīng)這種情況，就需要傳感器。可以說(shuō)，傳感器是人類五官的延伸，又稱之為電子五官。傳感器的意義知識(shí)鏈接傳感器一般由敏感元件、轉(zhuǎn)換元件、變換電路和輔助電源四部分組成。傳感器組成一、認(rèn)識(shí)傳感器知識(shí)鏈接光敏傳感器——視覺(jué)聲敏傳感器——聽(tīng)覺(jué)氣敏傳感器——嗅覺(jué)化學(xué)傳感器——味覺(jué)流體傳感器——觸覺(jué)傳感器分類一、認(rèn)識(shí)傳感器物理類，基于力、熱、光、電、磁和聲等物理效應(yīng)。化學(xué)類，基于化學(xué)反應(yīng)的原理。生物類，基于酶、抗體、和激素等分子識(shí)別功能。敏感元件的分類知識(shí)鏈接二、運(yùn)動(dòng)傳感器運(yùn)動(dòng)傳感器陀螺儀傳感器加速度傳感器歐拉角機(jī)器人身上的運(yùn)動(dòng)傳感器知識(shí)鏈接三、紅外傳感器紅外線傳感器紅外線紅外線傳感器紅外測(cè)距傳感器知識(shí)鏈接四、超聲波傳感器超聲波超聲波傳感器超聲波距離傳感器技術(shù)超聲波傳感器具體應(yīng)用知識(shí)鏈接五、觸摸傳感器觸摸傳感器是一種捕獲和記錄設(shè)備或物體上的物理觸摸或擁抱的設(shè)備。它使設(shè)備或?qū)ο竽軌蛲ǔＳ扇祟愑脩艋虿僮鲉T檢測(cè)觸摸。觸摸傳感器也可以稱為觸摸檢測(cè)器。知識(shí)鏈接六、壓力傳感器壓力傳感器（PressureTransducer）是能感受壓力信號(hào)，并能按照一定的規(guī)律將壓力信號(hào)轉(zhuǎn)換成可用的輸出的電信號(hào)的器件或裝置。壓力傳感器通常由壓力敏感元件和信號(hào)處理單元組成。知識(shí)鏈接七、溫濕度傳感器溫濕度傳感器，是一種裝有濕敏和熱敏元件，能夠用來(lái)測(cè)量溫度和濕度的傳感器裝置，有的帶有現(xiàn)場(chǎng)顯示，有的不帶有現(xiàn)場(chǎng)顯示。溫濕度傳感器由于體積小，性能穩(wěn)定等特點(diǎn)，被廣泛應(yīng)用在生產(chǎn)生活的各個(gè)領(lǐng)域。任務(wù)實(shí)施（一）（二）（三）（四）（五）任務(wù)1：讀取傳感器數(shù)據(jù)任務(wù)2：讀取陀螺儀傳感器任務(wù)3：讀取紅外線距離傳感器任務(wù)4：讀取超聲波傳感器任務(wù)5：讀取觸摸傳感器（六）任務(wù)6：讀取壓力傳感器（七）任務(wù)7：讀取溫濕度傳感器（八）任務(wù)8：常見(jiàn)的故障及解決方案任務(wù)實(shí)施任務(wù)1：讀取傳感器數(shù)據(jù)查詢傳感器API簡(jiǎn)易傳感器查詢API任務(wù)實(shí)施任務(wù)2：讀取陀螺儀傳感器陀螺儀傳感器通常都是內(nèi)置在機(jī)器人身上，機(jī)器人通過(guò)它判斷自己身體的姿態(tài)。核心APIYanAPI.get_sensors_gyro()任務(wù)實(shí)施測(cè)量重力加速度機(jī)器人判斷自己是否跌倒，并發(fā)出求救信號(hào)任務(wù)2：讀取陀螺儀傳感器任務(wù)實(shí)施任務(wù)3：讀取紅外線距離傳感器

在進(jìn)行測(cè)量距離之前，應(yīng)該將自帶的紅外距離傳感器“Infraredsensor”連接到機(jī)器人的接口上。通常都是一個(gè)磁吸接口，吸附到機(jī)器人身上任意接口均可。任務(wù)實(shí)施紅外線距離傳感器APIYanAPI.get_sensors_infrared(id:List[int]=None,slot:List[int]=None)獲取我們與機(jī)器人的距離任務(wù)3：讀取紅外線距離傳感器任務(wù)實(shí)施任務(wù)3：讀取紅外線距離傳感器實(shí)時(shí)檢測(cè)距離任務(wù)實(shí)施任務(wù)4：讀取超聲波傳感器讀取讀取超聲波APIYanAPI.get_sensors_ultrasonic()通過(guò)超聲波傳感器測(cè)量距離任務(wù)實(shí)施任務(wù)5：讀取觸摸傳感器觸摸傳感器APIYanAPI.get_sensors_touch_value()讀取觸摸的數(shù)據(jù)任務(wù)實(shí)施任務(wù)6：讀取壓力傳感器壓力傳感器APIYanAPI.get_sensors_pressure_value()讀取機(jī)器人壓力傳感器的值任務(wù)實(shí)施溫濕度傳感器APIYanAPI.get_sensors_environment_value()調(diào)用API讀取溫濕度的數(shù)據(jù)，然后通過(guò)TTS進(jìn)行語(yǔ)音播放溫濕度。任務(wù)7：讀取溫濕度傳感器任務(wù)實(shí)施傳感器都是內(nèi)置的嗎？

傳感器分為兩種，內(nèi)置和外置的，機(jī)器人內(nèi)置的是9軸的運(yùn)行傳感器，直接寫程序就可以調(diào)用。但是外置的傳感器，在編程前需要首先連接到機(jī)器人身上相應(yīng)的接口上才行。傳感器已經(jīng)接上了，為什么程序讀不出數(shù)據(jù)？

通常是傳感器觸點(diǎn)接觸不良的問(wèn)題，可以調(diào)整一下位置試試