深度學(xué)習(xí)及自動(dòng)駕駛應(yīng)用 課件 第7章 循環(huán)神經(jīng)網(wǎng)絡(luò)及自動(dòng)駕駛車輛換道行為預(yù)測(cè)

Chapter7循環(huán)神經(jīng)網(wǎng)絡(luò)及自動(dòng)駕駛車輛換道行為預(yù)測(cè)第七章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第2頁7.4擴(kuò)展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機(jī)器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄ContentDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第3頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述前饋網(wǎng)絡(luò)：連接存在層與層之間，每層的節(jié)點(diǎn)之間是無連接的。（無循環(huán)）輸入和輸出的維數(shù)都是固定的，不能任意改變。無法處理變長(zhǎng)的序列數(shù)據(jù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第4頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述前饋網(wǎng)絡(luò)：假設(shè)每次輸入都是獨(dú)立的，也就是說每次網(wǎng)絡(luò)的輸出只依賴于當(dāng)前的輸入。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第5頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述有限狀態(tài)自動(dòng)機(jī)（FiniteAutomata）如何用FNN去模擬一個(gè)有限狀態(tài)自動(dòng)機(jī)？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第6頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述圖靈機(jī)一種抽象數(shù)學(xué)模型，可以用來模擬任何可計(jì)算問題。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第7頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述可計(jì)算問題可計(jì)算問題函數(shù)

有限狀態(tài)機(jī)圖靈機(jī)前饋網(wǎng)絡(luò)需要記憶能力通用近似定理如何給網(wǎng)絡(luò)增加記憶能力？DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第8頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述如何給網(wǎng)絡(luò)增加記憶能力？延時(shí)神經(jīng)網(wǎng)絡(luò)（TimeDelayNeuralNetwork，TDNN）建立一個(gè)額外的延時(shí)單元，用來存儲(chǔ)網(wǎng)絡(luò)的歷史信息（可以包括輸入、輸出、隱狀態(tài)等）這樣，前饋網(wǎng)絡(luò)就具有了短期記憶的能力。/publication/12314435_Neural_system_identification_model_of_human_sound_localizationDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第9頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述如何給網(wǎng)絡(luò)增加記憶能力？/publication/12314435_Neural_system_identification_model_of_human_sound_localization

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第10頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述非線性自回歸模型/publication/12314435_Neural_system_identification_model_of_human_sound_localization/publication/234052442_Braking_torque_control_using_reccurent_neural_networksDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第11頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）/publication/12314435_Neural_system_identification_model_of_human_sound_localization循環(huán)神經(jīng)網(wǎng)絡(luò)通過使用帶自反饋的神經(jīng)元，能夠處理任意長(zhǎng)度的時(shí)序數(shù)據(jù)。循環(huán)神經(jīng)網(wǎng)絡(luò)比前饋神經(jīng)網(wǎng)絡(luò)更加符合生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛應(yīng)用在語音識(shí)別、語言模型以及自然語言生成等任務(wù)上活性值狀態(tài)第12頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）按時(shí)間展開第13頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述簡(jiǎn)單循環(huán)網(wǎng)絡(luò)（SimpleRecurrentNetwork，SRN）狀態(tài)更新：一個(gè)完全連接的循環(huán)網(wǎng)絡(luò)是任何非線性動(dòng)力系統(tǒng)的近似器。第14頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)作用輸入-輸出映射機(jī)器學(xué)習(xí)模型（本節(jié)主要關(guān)注這種情況）存儲(chǔ)器聯(lián)想記憶模型第15頁7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述循環(huán)神經(jīng)網(wǎng)絡(luò)作用輸入-輸出映射機(jī)器學(xué)習(xí)模型（本節(jié)主要關(guān)注這種情況）存儲(chǔ)器聯(lián)想記憶模型DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第16頁7.4擴(kuò)展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機(jī)器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content第17頁7.2應(yīng)用到機(jī)器學(xué)習(xí)序列到類別同步的序列到序列模式異步的序列到序列模式第18頁7.2應(yīng)用到機(jī)器學(xué)習(xí)序列到類別第19頁7.2應(yīng)用到機(jī)器學(xué)習(xí)序列到類別：情感分類…我覺太得好了帶著愉悅的心情看了這部電影這部電影太糟了這部電影很棒Positive(正面)Negative(負(fù)面)Positive(正面)…第20頁7.2應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式第21頁7.2應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式：中文分詞他說實(shí)的在理確SSESBEB第22頁7.2應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式：信息抽取(InformationExtraction，IE)從無結(jié)構(gòu)的文本中抽取結(jié)構(gòu)化的信息，形成知識(shí)小米創(chuàng)始人雷軍表示，該公司2015年?duì)I收達(dá)到780億元人民幣，較2014年的743億元人民幣增長(zhǎng)了5%。第23頁7.2應(yīng)用到機(jī)器學(xué)習(xí)同步的序列到序列模式：信息抽取(InformationExtraction，IE)ConnectionistTemporalClassification

(CTC)[AlexGraves,ICML’06][AlexGraves,ICML’14][Ha?imSak,Interspeech’15][JieLi,Interspeech’15][AndrewSenior,ASRU’15]好φφ棒φφφφ好φφ棒φ棒φφ“好棒”“好棒棒”語音識(shí)別第24頁7.2應(yīng)用到機(jī)器學(xué)習(xí)異步的序列到序列模式第25頁7.2應(yīng)用到機(jī)器學(xué)習(xí)異步的序列到序列模式：機(jī)器翻譯learningmachine機(jī)習(xí)器學(xué)。第26頁7.2應(yīng)用到機(jī)器學(xué)習(xí)參數(shù)學(xué)習(xí)機(jī)器學(xué)習(xí)給定一個(gè)訓(xùn)練樣本(x,y)，其中x=(x1,…,xT)為長(zhǎng)度是T的輸入序列，y=(y1,…,yT)是長(zhǎng)度為T的標(biāo)簽序列。時(shí)刻t的瞬時(shí)損失函數(shù)為總損失函數(shù)第27頁7.2應(yīng)用到機(jī)器學(xué)習(xí)梯度隨時(shí)間反向傳播算法

δt,k為第t時(shí)刻的損失對(duì)第k步隱藏神經(jīng)元的凈輸入zk的導(dǎo)數(shù)第28頁7.2應(yīng)用到機(jī)器學(xué)習(xí)梯度消失/爆炸梯度其中由于梯度爆炸或消失問題，實(shí)際上只能學(xué)習(xí)到短周期的依賴關(guān)系。這就是所謂的長(zhǎng)程依賴問題。第29頁7.2應(yīng)用到機(jī)器學(xué)習(xí)長(zhǎng)程依賴問題循環(huán)神經(jīng)網(wǎng)絡(luò)在時(shí)間維度上非常深！梯度消失或梯度爆炸如何改進(jìn)？梯度爆炸問題權(quán)重衰減梯度截?cái)嗵荻认栴}改進(jìn)模型第30頁7.2應(yīng)用到機(jī)器學(xué)習(xí)長(zhǎng)程依賴問題改進(jìn)方法循環(huán)邊改為線性依賴關(guān)系增加非線性殘差網(wǎng)絡(luò)？第31頁7.2應(yīng)用到機(jī)器學(xué)習(xí)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)（LongShort-TermMemory,LSTM）第32頁7.2應(yīng)用到機(jī)器學(xué)習(xí)LSTM的各種變體沒有遺忘門耦合輸入門和遺忘門peephole連接第33頁7.2應(yīng)用到機(jī)器學(xué)習(xí)GatedRecurrentUnit,GRU更新門重置門DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第34頁7.4擴(kuò)展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機(jī)器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content7.3深層學(xué)習(xí)堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)7.3深層學(xué)習(xí)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第37頁7.4擴(kuò)展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機(jī)器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content7.4擴(kuò)展到圖結(jié)構(gòu)序列循環(huán)神經(jīng)網(wǎng)絡(luò)樹遞歸神經(jīng)網(wǎng)絡(luò)圖圖網(wǎng)絡(luò)7.4擴(kuò)展到圖結(jié)構(gòu)樹結(jié)構(gòu)程序語言的句法結(jié)構(gòu)7.4擴(kuò)展到圖結(jié)構(gòu)樹結(jié)構(gòu)自然語言的句法結(jié)構(gòu)7.4擴(kuò)展到圖結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)RecursiveNeuralNetwork遞歸神經(jīng)網(wǎng)絡(luò)實(shí)在一個(gè)有向圖無循環(huán)圖上共享一個(gè)組合函數(shù)7.4擴(kuò)展到圖結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)RecursiveNeuralNetwork退化為循環(huán)神經(jīng)網(wǎng)絡(luò)7.4擴(kuò)展到圖結(jié)構(gòu)遞歸神經(jīng)網(wǎng)絡(luò)RecursiveNeuralNetwork給定一個(gè)語法樹，p2

→ap1,p1

→bc.7.4擴(kuò)展到圖結(jié)構(gòu)圖網(wǎng)絡(luò)在實(shí)際應(yīng)用中，很多數(shù)據(jù)是圖結(jié)構(gòu)的，比如知識(shí)圖譜、社交網(wǎng)絡(luò)、分子網(wǎng)絡(luò)等。而前饋網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò)很難處理圖結(jié)構(gòu)的數(shù)據(jù)。7.4擴(kuò)展到圖結(jié)構(gòu)圖數(shù)據(jù)/pdf/1806.01261.pdf7.4擴(kuò)展到圖結(jié)構(gòu)圖網(wǎng)絡(luò)7.4擴(kuò)展到圖結(jié)構(gòu)圖網(wǎng)絡(luò)7.4擴(kuò)展到圖結(jié)構(gòu)圖網(wǎng)絡(luò)對(duì)于一個(gè)任意的圖結(jié)構(gòu)G(V,E)更新函數(shù)讀出函數(shù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第49頁7.4擴(kuò)展到圖結(jié)構(gòu)7.1循環(huán)神經(jīng)網(wǎng)絡(luò)概述7.3深層模型7.2應(yīng)用到機(jī)器學(xué)習(xí)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用目錄Content7.5循環(huán)網(wǎng)絡(luò)應(yīng)用語言模型

N元語言模型7.5循環(huán)網(wǎng)絡(luò)應(yīng)用語言模型7.5循環(huán)網(wǎng)絡(luò)應(yīng)用生成LINUX內(nèi)核代碼7.5循環(huán)網(wǎng)絡(luò)應(yīng)用作詞機(jī)RNN在“學(xué)習(xí)”過汪峰全部作品后自動(dòng)生成的歌詞/phunterlau/wangfeng-rnn我在這里中的夜里就像一場(chǎng)是一種生命的意旪就像我的生活變得在我一樣可我們這是一個(gè)知道我只是一天你會(huì)怎嗎可我們這是我們的是不要為你我們想這有一種生活的時(shí)候7.5循環(huán)網(wǎng)絡(luò)應(yīng)用作詩7.5循環(huán)網(wǎng)絡(luò)應(yīng)用傳統(tǒng)統(tǒng)計(jì)機(jī)器翻譯

7.5循環(huán)網(wǎng)絡(luò)應(yīng)用基于序列到序列的機(jī)器翻譯一個(gè)RNN用來編碼另一個(gè)RNN用來解碼7.5循環(huán)網(wǎng)絡(luò)應(yīng)用看圖說話7.5循環(huán)網(wǎng)絡(luò)應(yīng)用看圖說話7.5循環(huán)網(wǎng)絡(luò)應(yīng)用VisualQuestionAnswering(VQA)

DemoWebsiteVQA:Givenanimageandanaturallanguagequestionabouttheimage,thetaskistoprovideanaccuratenaturallanguageanswerPicturefrom(Antoletal.,2015)7.5循環(huán)網(wǎng)絡(luò)應(yīng)用