《人工智能技術(shù)基礎(chǔ)》課件全套 王科俊 第1-10章 人工智能簡(jiǎn)介- 機(jī)器學(xué)習(xí)方法

人工智能技術(shù)基礎(chǔ)人工智能簡(jiǎn)介第一章

人工智能這個(gè)名詞對(duì)于大多數(shù)人來(lái)說(shuō)并不陌生。在很多影視作品，文學(xué)作品中都出現(xiàn)了這個(gè)概念。自從計(jì)算機(jī)面世以來(lái)，人們一直在思考如何讓計(jì)算機(jī)變得更加智能。而在這個(gè)過(guò)程中，人工智能的概念被提出。那么，到底什么才是人工智能呢，人工智能是怎樣發(fā)展的，人工智能又可以做些什么呢？

本章主要介紹人工智能的歷史與未來(lái)可能的發(fā)展以及人工智能的方法與應(yīng)用，有助于人工智能理論知識(shí)的學(xué)習(xí)。1人工智能簡(jiǎn)介目錄Contents1.1人工智能的定義及發(fā)展歷史人工智能方法人工智能的應(yīng)用人工智能的未來(lái)本章小結(jié)1.21.31.41.51.掌握人工智能的定義，了解人工智能的發(fā)展歷史；2.學(xué)習(xí)人工智能技術(shù)所包含的方法、應(yīng)用領(lǐng)域和未來(lái)發(fā)展；3.對(duì)人工智能技術(shù)有一個(gè)全面的了解。學(xué)習(xí)目標(biāo)1人工智能簡(jiǎn)介01人工智能的定義及發(fā)展歷史1.1人工智能的定義及發(fā)展歷史

人工智能（ArtificialIntelligence，AI）是研究用計(jì)算機(jī)對(duì)人類的智能進(jìn)行模擬和擴(kuò)展的一門新的技術(shù)科學(xué)。其目的是讓計(jì)算機(jī)能以與人類相似的智能，對(duì)數(shù)據(jù)信息進(jìn)行處理與加工。學(xué)者人工智能定義JohnMcCarthy（約翰·麥卡錫）1956年達(dá)特茅斯會(huì)議上提出：人工智能就是讓機(jī)器的行為看起來(lái)就像是人所表現(xiàn)出的智能行為一樣。Nelson（納爾遜）教授人工智能是關(guān)于知識(shí)的學(xué)科――怎樣表示知識(shí)以及怎樣獲得知識(shí)并使用知識(shí)的科學(xué)。美國(guó)麻省理工學(xué)院的Winston（溫斯頓）教授人工智能就是研究如何使計(jì)算機(jī)去做過(guò)去只有人才能做的智能工作。不同的定義反映了同一個(gè)問(wèn)題：人工智能所要做的是研究人類思考規(guī)律，構(gòu)造具有和人類擁有相似思考方式的人工系統(tǒng)。1.1.1人工智能的定義1.1人工智能的定義及發(fā)展歷史

人工智能這個(gè)概念是英國(guó)數(shù)學(xué)家圖靈在1950年提出的，這一年他發(fā)表了一篇?jiǎng)潟r(shí)代的論文——《計(jì)算機(jī)器與智能》（COMPUTINGMACHINERYANDINTELLIGENCE）。

在這篇論文中，他首次提出了人工智能的概念，當(dāng)時(shí)他給這個(gè)概念起的名字叫做“會(huì)思考的機(jī)器”（ThinkingMachine）。1.1.1人工智能的定義1.1人工智能的定義及發(fā)展歷史GeoHinton(多倫多大學(xué)，BP，DBN）,YoshuaBengio(蒙特利爾大學(xué)，GAN）和YannLeCun（Facebook人工智能部門主管，CNN）2019年3月27日共同被美國(guó)計(jì)算機(jī)學(xué)會(huì)（ACM）授予2018年圖靈獎(jiǎng)。以表彰他們提出的概念和工作使得深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)有了重大突破。

談及頒獎(jiǎng)緣由，ACM總裁CherriM.Pancake說(shuō)到：“人工智能現(xiàn)在是所有科學(xué)領(lǐng)域發(fā)展最快的領(lǐng)域之一，也是社會(huì)上最受關(guān)注的話題之一。人工智能的進(jìn)步和興盛在很大程度上歸功于Bengio、Hinton和LeCun為深度學(xué)習(xí)最新進(jìn)展奠定的基礎(chǔ)。這些技術(shù)被數(shù)十億人使用，任何一個(gè)擁有智能手機(jī)的人都能切實(shí)體驗(yàn)到自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)方面的進(jìn)步。除了我們每天使用的產(chǎn)品之外，深度學(xué)習(xí)的新進(jìn)展還在醫(yī)學(xué)、天文學(xué)、材料科學(xué)等領(lǐng)域?yàn)榭茖W(xué)家提供了強(qiáng)大的新工具?！盝ürgenSchmidhuber1997年提出了LSTM2018年圖靈獎(jiǎng)1.1.1人工智能的定義誕生1943年MP神經(jīng)元模型，1949年Hebb規(guī)則的提出，1950年MarvinMinsky和DunnEdmund一起建造世界上第一個(gè)人工神經(jīng)網(wǎng)絡(luò)模擬器Snare。1950年AlanTuring提出了圖靈測(cè)試，預(yù)言了人工智能的可行性。第一次高峰1956年的達(dá)特茅斯會(huì)議是人工智能發(fā)展的第一次高峰的起點(diǎn)。在這次會(huì)議后計(jì)算機(jī)科學(xué)被廣泛的應(yīng)用到很多領(lǐng)域，也讓很多研究學(xué)者看到了人工智能發(fā)展的美好未來(lái)。1958年Rosenblat提出的感知機(jī)。第一次低谷1970年代，人工智能進(jìn)入艱難發(fā)展時(shí)期。由于當(dāng)時(shí)計(jì)算機(jī)性能的嚴(yán)重不足，問(wèn)題的復(fù)雜度增加以及數(shù)據(jù)量的不足使機(jī)器很難的智能化，使人工智能進(jìn)入到第一次低谷。人工智能的崛起1980年，卡內(nèi)基梅隆大學(xué)設(shè)計(jì)的名為XCON的專家系統(tǒng)，采用了人工智能程序，利用人類專家的知識(shí)與解決問(wèn)題的方法來(lái)處理對(duì)應(yīng)領(lǐng)域的問(wèn)題。這種模式催生出了Symbolics和Aion等硬軟件公司，也直接造就了人工智能的崛起。1982年的Hopfield網(wǎng)絡(luò)；1986年的BP算法，解決了多層感知機(jī)的訓(xùn)練難題。11983年Button提出自適應(yīng)評(píng)判控制。1991年Brokers的機(jī)器動(dòng)物。第二次低谷1987年，蘋果和IBM公司生產(chǎn)的臺(tái)式機(jī)的性能超過(guò)LispMachines等廠商生產(chǎn)的通用計(jì)算機(jī)。在這之后，專家系統(tǒng)的優(yōu)勢(shì)喪失，人工智能的發(fā)展進(jìn)入第二次低估。1990年之后淺層神經(jīng)網(wǎng)絡(luò)沒(méi)有展示人們期望的能力。人工智能的再次崛起2006年，Hinton提出深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，成為人工智能再次轉(zhuǎn)折點(diǎn)。2012年在ImageNet大賽中取得了重大突破，被廣泛認(rèn)為是深度學(xué)習(xí)革命的開(kāi)始。2012年googele公司提出的知識(shí)圖譜，近幾年在網(wǎng)絡(luò)搜索引擎、知識(shí)問(wèn)答、產(chǎn)品推介上取得了巨大成功。2016-2017，AlphaGo戰(zhàn)勝李世石，人工智能的熱度達(dá)到空前的高度。2018年深度學(xué)習(xí)之父獲得了圖靈獎(jiǎng)。2016年以來(lái)，人工智能從學(xué)術(shù)界走向產(chǎn)業(yè)界，已成為科技革命的先鋒。2022年11月30日ChatGPT的出現(xiàn)已初顯人工智能的“奇點(diǎn)”時(shí)刻的來(lái)臨。（“奇點(diǎn)”，2014年美國(guó)未來(lái)學(xué)家?guī)焖鬼f爾預(yù)測(cè)2047年是人工智能的奇點(diǎn)。）1.1.2人工智能的發(fā)展歷史1.1人工智能的定義及發(fā)展歷史02人工智能方法1.2人工智能方法

人工智能誕生以來(lái)，出現(xiàn)了許多人工智能方法，如基于邏輯思維的傳統(tǒng)AI和基于模擬人腦形象思維的ANN。2006年，人工智能再次崛起以來(lái)，人工神經(jīng)網(wǎng)絡(luò)已成為人工智能的核心技術(shù)。目前，人工智能技術(shù)主要包括人工神經(jīng)網(wǎng)絡(luò)、知識(shí)圖譜、圖神經(jīng)網(wǎng)絡(luò)、生成式模型和機(jī)器學(xué)習(xí)方法。1Texthere圖神經(jīng)網(wǎng)絡(luò)生成式人工智能機(jī)器學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)圖神經(jīng)網(wǎng)絡(luò)將圖模型與神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合形成的圖神經(jīng)網(wǎng)絡(luò)，2018年以來(lái)，成為人工智能的研究熱點(diǎn)，已提出了圖卷積神經(jīng)網(wǎng)絡(luò)、圖循環(huán)神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)和時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)等圖神經(jīng)網(wǎng)絡(luò)技術(shù)。生成式模型生成式人工智能模型包括變分自編碼器，生成對(duì)抗網(wǎng)絡(luò)（GAN），流模型和擴(kuò)散模型。以Transformer中的編碼器、譯碼器或Transformer整體為基礎(chǔ)的大模型在文字生成文字方面已經(jīng)取得了超越普通人的成績(jī)，以生成對(duì)抗網(wǎng)絡(luò)和擴(kuò)散模型為基礎(chǔ)的文字生成圖像、圖像生成圖像和視頻方面的成果也已達(dá)到以假亂真，甚至超越人類藝術(shù)家的水平。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是通過(guò)模擬人的大腦神經(jīng)元組成神經(jīng)網(wǎng)絡(luò)，進(jìn)而產(chǎn)生具有類似人的智能的人工智能技術(shù)。人工神經(jīng)網(wǎng)絡(luò)從最初的神經(jīng)元和以神經(jīng)元為基礎(chǔ)組成單層神經(jīng)網(wǎng)絡(luò)（感知機(jī)），發(fā)展出了含有隱層的僅有前向連接的多層神經(jīng)網(wǎng)絡(luò)、含有反向連接的循環(huán)神經(jīng)網(wǎng)絡(luò)、包含注意力機(jī)制的深層神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)以及有自注意力機(jī)制和前向神經(jīng)網(wǎng)絡(luò)組成的Transformer變形金剛。機(jī)器學(xué)習(xí)方法機(jī)器學(xué)習(xí)方法是人工智能的核心技術(shù)之一，主要用于確定各種人工智能模型的參數(shù)。機(jī)器學(xué)習(xí)方法包括監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)、持續(xù)學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等方法。知識(shí)圖譜知識(shí)圖譜是2012年谷歌公司在傳統(tǒng)的知識(shí)工程技術(shù)上提出的用圖模型表示知識(shí)、實(shí)現(xiàn)知識(shí)推理的技術(shù)。知識(shí)圖譜技術(shù)給出一種全新的信息檢索模式，為解決信息檢索問(wèn)題提供了新的思路。本質(zhì)上，知識(shí)圖譜是一種揭示實(shí)體（事物）之間關(guān)系的語(yǔ)義網(wǎng)絡(luò)，可以對(duì)現(xiàn)實(shí)世界的事物及其相互關(guān)系進(jìn)行形式化描述。1.2人工智能方法知識(shí)圖譜人工智能方法人工神經(jīng)網(wǎng)絡(luò)

1943年提出了M-P模型，1958年提出的單層感知機(jī)是在M-P神經(jīng)元上發(fā)展得來(lái)，只能解決簡(jiǎn)單線性問(wèn)題而不能解決異或問(wèn)題，而堆疊的多層感知機(jī)（多層神經(jīng)網(wǎng)絡(luò)）可以，所謂深度學(xué)習(xí)，狹義的說(shuō)就是很多層的神經(jīng)網(wǎng)絡(luò)，尤其涉及語(yǔ)音、圖像等復(fù)雜對(duì)象的應(yīng)用中，深度學(xué)習(xí)取得了優(yōu)越的性能，當(dāng)前引起廣泛關(guān)注的，被稱為改變世界的大語(yǔ)言模型LLM也是以人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型構(gòu)成的。1.2人工智能方法1.人工神經(jīng)網(wǎng)絡(luò)及其發(fā)展

知識(shí)圖譜(KnowledgeGraph)（2012年5月17日由Google正式提出）知識(shí)圖譜旨在描述真實(shí)世界中存在的各種實(shí)體或概念及其關(guān)系，一般用三元組表示知識(shí)圖譜亦可被看作是一張巨大的圖，節(jié)點(diǎn)表示實(shí)體或概念，邊則由屬性或關(guān)系構(gòu)成中國(guó)國(guó)家美國(guó)日本英國(guó)北京9,634,057平方公里13.5404億2069.3萬(wàn)北緯38°56'東經(jīng)116°20'3.1525億華盛頓9,629,091平方公里北緯38°53′西經(jīng)77°02'178平方公里16410平方公里1.26億377835平方公里東京2188平方公里東經(jīng)140°50'北緯35°44'……面積人口首都緯度經(jīng)度面積人口1.2人工智能方法2.知識(shí)圖譜通用知識(shí)譜圖神經(jīng)網(wǎng)絡(luò)

早在1997年就已有人用遞歸神經(jīng)網(wǎng)絡(luò)開(kāi)始研究圖模型的識(shí)別，2009年FrancoScarselli等人提出了圖神經(jīng)網(wǎng)絡(luò)的概念，2018年后DeepMind發(fā)表了論文《Relationalinductivebiases,deeplearning,andgraphnetworks.》，并開(kāi)源了相關(guān)的算法包GraphNet，使圖神經(jīng)網(wǎng)絡(luò)引起了研究人員的廣泛關(guān)注。

本質(zhì)上說(shuō)，世界上所有的數(shù)據(jù)都是拓?fù)浣Y(jié)構(gòu)，也就是網(wǎng)絡(luò)結(jié)構(gòu)，如果能夠把這些網(wǎng)絡(luò)數(shù)據(jù)真正的收集、融合起來(lái)，如何利用神經(jīng)網(wǎng)絡(luò)技術(shù)處理這些復(fù)雜的拓?fù)鋽?shù)據(jù)，如何開(kāi)創(chuàng)新的處理圖數(shù)據(jù)以及知識(shí)圖譜的智能算法是AI的一個(gè)重要方向。1.2人工智能方法3.圖神經(jīng)網(wǎng)絡(luò)通用知識(shí)圖譜

生成式人工智能（AIGC），全稱ArtificialIntelligenceGeneratedContent，是一種人工智能技術(shù)，用于自動(dòng)生成內(nèi)容，該內(nèi)容在很大程度上類似于通過(guò)訓(xùn)練數(shù)據(jù)學(xué)到的內(nèi)容分布。與傳統(tǒng)的人工智能主要關(guān)注數(shù)據(jù)模式的識(shí)別和預(yù)測(cè)不同，AIGC專注于創(chuàng)造新的、富有創(chuàng)意的數(shù)據(jù)。其核心原理在于通過(guò)學(xué)習(xí)和理解數(shù)據(jù)分布，進(jìn)而生成具有相似特征的新數(shù)據(jù)。AIGC的應(yīng)用領(lǐng)域廣泛，包括圖像、文本、音頻、視頻等多個(gè)領(lǐng)域。目前，AIGC中最引人注目的應(yīng)用之一是ChatGPT，這是基于OpenAI公司的大型語(yǔ)言模型GPT-3.5訓(xùn)練、調(diào)試和優(yōu)化的聊天機(jī)器人應(yīng)用。ChatGPT可以處理各種不同類型的文本和推理任務(wù)，它在發(fā)布僅兩個(gè)月內(nèi)就獲得了10億月活躍用戶，超越了歷史上所有互聯(lián)網(wǎng)消費(fèi)者應(yīng)用軟件的用戶增長(zhǎng)速度。1.2人工智能方法4.生成式人工智能技術(shù)AIGC的迅速發(fā)展得益于三個(gè)關(guān)鍵領(lǐng)域的人工智能技術(shù)，即生成算法、預(yù)訓(xùn)練模型和多模態(tài)技術(shù)。通用知識(shí)圖譜

機(jī)器學(xué)習(xí)方法是研究如何使機(jī)器具有學(xué)習(xí)能力的理論方法。目前深度學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）的訓(xùn)練（學(xué)習(xí)）是基于最簡(jiǎn)單的梯度下降技術(shù)的有教師（監(jiān)督）、無(wú)教師（監(jiān)督，自編碼器采用的訓(xùn)練方法）的訓(xùn)練方法，必須有大量樣本作為支撐，因此目前取得很好應(yīng)用成果的基本都是掌握大量數(shù)據(jù)資源的大公司?，F(xiàn)實(shí)中許多問(wèn)題（研究對(duì)象），難以獲取大量樣本，即使能夠獲得大量樣本，但對(duì)其標(biāo)注工作量巨大難以完成。為此，近些年來(lái)，尤其是這幾年如何解決小樣本問(wèn)題已成為機(jī)器學(xué)習(xí)的熱點(diǎn)問(wèn)題。

近年來(lái)廣受關(guān)注的小樣本學(xué)習(xí)方法有：增強(qiáng)學(xué)習(xí)、對(duì)抗學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)、零（少量）樣本學(xué)習(xí)、終身（持續(xù)）學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)等.1.2人工智能方法5.機(jī)器學(xué)習(xí)03人工智能的應(yīng)用人工智能應(yīng)用場(chǎng)景無(wú)人駕駛智慧物流智慧安防智慧醫(yī)療智慧環(huán)保智慧旅游智慧農(nóng)業(yè)智能制造智慧交通智慧金融智慧教育智慧家居智慧零售智能客服1.3人工智能的應(yīng)用中國(guó)制造2025：工廠里面每一個(gè)系統(tǒng)、每個(gè)設(shè)備、每個(gè)材料都能相互溝通，按照不同的需求自動(dòng)處理訂單，實(shí)行智慧生產(chǎn)。智能制造工業(yè)革命1.0蒸汽機(jī)時(shí)代蒸汽動(dòng)力取代人力機(jī)械化生產(chǎn)1760S工業(yè)革命2.0電氣化時(shí)代電力驅(qū)動(dòng)取代蒸汽動(dòng)力發(fā)動(dòng)機(jī)、汽車大規(guī)模流水線生產(chǎn)1850S工業(yè)革命3.0自動(dòng)化時(shí)代電子計(jì)算機(jī)、信息技術(shù)原子能、空間技術(shù)自動(dòng)化生產(chǎn)1970S工業(yè)革命4.0智能化時(shí)代AI+ICT人機(jī)協(xié)同決策智能制造2010S1.3人工智能的應(yīng)用智能制造/landing/vision/pr_3d_robot_vision.jsp?aw=gabaidukcvisials200630067人眼檢測(cè)效率很大程度上取決于檢驗(yàn)員的能力、經(jīng)驗(yàn)、專心程度，容易導(dǎo)致遺漏、分類錯(cuò)誤等問(wèn)題。智能分揀系統(tǒng)實(shí)現(xiàn)了零件的自動(dòng)檢測(cè)與分揀。通過(guò)三維視覺(jué)成像及檢測(cè)分析技術(shù)自動(dòng)識(shí)別零件是否合格，不受工件位置或朝向的影響。機(jī)械臂控制端計(jì)算出適合的運(yùn)動(dòng)路徑，實(shí)現(xiàn)零件的穩(wěn)定抓取與分揀。1.3人工智能的應(yīng)用智能制造系統(tǒng)一般架構(gòu)智能制造設(shè)計(jì)采購(gòu)管理服務(wù)生產(chǎn)系統(tǒng)感知智能決策精準(zhǔn)控制工作模型制造數(shù)據(jù)機(jī)器學(xué)習(xí)縮短產(chǎn)品周期降低綜合成本提高生產(chǎn)效率提升用戶體驗(yàn)需求構(gòu)建智能模型實(shí)施重塑生產(chǎn)方式物聯(lián)網(wǎng)AI基于貫穿5G通信深度感知大數(shù)據(jù)云計(jì)算1.3人工智能的應(yīng)用智慧農(nóng)業(yè)實(shí)時(shí)動(dòng)態(tài)地監(jiān)測(cè)作物形態(tài)變化，研究外界環(huán)境對(duì)作物生長(zhǎng)狀況產(chǎn)生的影響和作物生長(zhǎng)機(jī)制具有重要意義?；谏疃葘W(xué)習(xí)的植物生長(zhǎng)模型庫(kù)，實(shí)時(shí)采集、分析、診斷，建立植物生長(zhǎng)模型，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)算法，實(shí)現(xiàn)植物生長(zhǎng)狀態(tài)判斷與預(yù)測(cè)。1.3人工智能的應(yīng)用智慧安防在園區(qū)安防中的應(yīng)用在刑偵辦案中的應(yīng)用借助人工智能在視頻內(nèi)容特征提取和內(nèi)容理解方面的天然優(yōu)勢(shì)。利用人工智能強(qiáng)大的計(jì)算能力和智能分析能力實(shí)時(shí)分析視頻內(nèi)容。檢測(cè)運(yùn)動(dòng)對(duì)象，識(shí)別人和物的屬性信息?？梢苿?dòng)巡檢機(jī)器人可以代替安保人員進(jìn)行定期巡邏，讀取儀表數(shù)值，發(fā)現(xiàn)潛在的風(fēng)險(xiǎn)。園區(qū)人員、車輛出入門禁管理，實(shí)現(xiàn)人車物實(shí)施跟蹤定位?？梢扇藛T的運(yùn)行軌跡、逗留時(shí)間、違規(guī)訪問(wèn)。1.3人工智能的應(yīng)用智慧安防運(yùn)用行為分析技術(shù)對(duì)實(shí)時(shí)視頻進(jìn)行智能分析，支持穿越警戒面、進(jìn)入/離開(kāi)區(qū)域、區(qū)域入侵、非法停車、物品遺留、物品丟失、人員徘徊、快速移動(dòng)、人員聚集等多種事件的分析檢測(cè)。支持行為排查、人員排查和車輛排查功能，快速定位目標(biāo)視頻片段，提高視頻查看效率。支持自動(dòng)報(bào)警，提高監(jiān)控的效率，實(shí)現(xiàn)智能化監(jiān)控防范。1.3人工智能的應(yīng)用智慧醫(yī)療1.3人工智能的應(yīng)用智能家居一般包括：

智能中控智能音箱

智能照明

智能入口

智能安防

智能家電控制

智能暖通系統(tǒng)

智能環(huán)境

智能窗簾

智能背景音樂(lè)智能家居華為智能家居tvc廣告-廣告:家電視頻-新片場(chǎng)()1.3人工智能的應(yīng)用智慧商務(wù)智能商務(wù)主要包括輔助智能交易、智能化拓展業(yè)務(wù)和企業(yè)商務(wù)智能化。智能商務(wù)代替人做決策行動(dòng)，商品服務(wù)選擇、交易自動(dòng)完成、互動(dòng)自動(dòng)實(shí)現(xiàn)、業(yè)務(wù)挖掘。用戶：提升消費(fèi)體驗(yàn)，語(yǔ)音服務(wù)、圖像服務(wù)、新聞推薦、產(chǎn)品推薦和廣告過(guò)濾等智能服務(wù)。商家：提升經(jīng)營(yíng)效率，需求分析、用戶畫像、精準(zhǔn)營(yíng)銷、智能客服、動(dòng)態(tài)定價(jià)。智能客服商品推薦廣告過(guò)濾市場(chǎng)分析精準(zhǔn)營(yíng)銷動(dòng)態(tài)定價(jià)VR購(gòu)物客戶群定位1.3人工智能的應(yīng)用智慧文娛AI+文娛AI+音樂(lè)AI+影視AI+創(chuàng)作AI+綜藝AI+虛擬偶像AI+游戲1.3人工智能的應(yīng)用04人工智能的未來(lái)政策法規(guī)人工智能作為全球各國(guó)發(fā)展數(shù)字化的重要技術(shù)手段，已經(jīng)由早期的“野蠻生長(zhǎng)”邁入“規(guī)范構(gòu)建”的階段。當(dāng)前各國(guó)通過(guò)政策手段對(duì)技術(shù)邊界做出的規(guī)范，其重要性與從戰(zhàn)略層面對(duì)產(chǎn)業(yè)進(jìn)行的推動(dòng)并駕齊驅(qū)。截至2020年年底，全球共有32個(gè)國(guó)家和地區(qū)發(fā)布了人工智能國(guó)家級(jí)戰(zhàn)略文件，另有22個(gè)國(guó)家和地區(qū)正在制訂相關(guān)文件。1.4人工智能的未來(lái)國(guó)家/地區(qū)主要特點(diǎn)政策法規(guī)大事記中國(guó)以人為本，政府優(yōu)先，起步雖晚，但是國(guó)家戰(zhàn)略領(lǐng)先全球2017年，“人工智能”首次寫入政府工作報(bào)告，同年發(fā)布《新一代人工智能發(fā)展規(guī)劃》，提出三步走的戰(zhàn)略規(guī)劃，人工智能上升為國(guó)家戰(zhàn)略2020年，“十四五”規(guī)劃中提到“強(qiáng)化國(guó)家戰(zhàn)略科技力量，瞄準(zhǔn)人工智能、量子信息、集成電路等重大科技項(xiàng)目”2021年，作為“十四五”規(guī)劃的開(kāi)局之年，人工智能有望繼續(xù)得到大力發(fā)展美國(guó)以科技行業(yè)為主導(dǎo)，持續(xù)加大投入，旨在維持美國(guó)優(yōu)先地位2016年，發(fā)布《為人工智能的未來(lái)做準(zhǔn)備》和《國(guó)家人工智能研究與發(fā)展戰(zhàn)略計(jì)劃》兩份重要報(bào)告，人工智能上升為國(guó)家戰(zhàn)2019年，發(fā)布一項(xiàng)題為“加速美國(guó)在人工智能領(lǐng)域的領(lǐng)導(dǎo)地位”的行政命令，美國(guó)監(jiān)管機(jī)構(gòu)開(kāi)始接觸人工能2020年，發(fā)布一份關(guān)于聯(lián)邦機(jī)構(gòu)對(duì)人工智能監(jiān)管方法的備忘錄，同年發(fā)布《人工智能倡議首年年度報(bào)告》，回顧在人工智能方面取得的進(jìn)展，為未來(lái)的AI計(jì)劃提出長(zhǎng)期愿景歐盟以隱私和監(jiān)管為驅(qū)動(dòng)，高度關(guān)注數(shù)據(jù)保護(hù)和AI倫理，監(jiān)管政策最為嚴(yán)格2018年，發(fā)布《人工智能協(xié)調(diào)計(jì)劃》，要求歐盟成員以及挪威、瑞士等歐洲國(guó)家互相合作協(xié)調(diào)，推進(jìn)人工智建設(shè)2020年，歐盟委員會(huì)發(fā)布關(guān)于人工智能監(jiān)管框架的步提案2021年，推動(dòng)人工智能立法，對(duì)人工智能使用領(lǐng)域做出明確框定和限制，使人工智能在“可被信任”的前提下造福社會(huì)亞太積極推進(jìn)人工智能國(guó)家戰(zhàn)略2017年，日本首次推出人工智能戰(zhàn)略文件，并于2019年進(jìn)一步通過(guò)《AI戰(zhàn)略2019》文件以期解決日本所面臨AI問(wèn)題2019年，韓國(guó)、新加坡等國(guó)相繼將人工智能上升為國(guó)家戰(zhàn)略政策法規(guī)1.4人工智能的未來(lái)11.4人工智能的未來(lái)2022年，生成式人工智能取得的突破性成果，使人工智能在文本語(yǔ)言理解、繪畫和圖像生成方面初步展現(xiàn)出超越普通人類智能的能力，有人認(rèn)為通用人工智能的實(shí)現(xiàn)已經(jīng)出現(xiàn)曙光。

如何使利用使人工智能技術(shù)所產(chǎn)生的結(jié)果可信、可靠已經(jīng)成為人工智能發(fā)展迫切需要解決的問(wèn)題，可信人工智能的研究迫在眉睫，也是人工智能近期、甚至是長(zhǎng)期的發(fā)展目標(biāo)。

可信人工智能1.4.1近期發(fā)展的目標(biāo)11.4人工智能的未來(lái)可信人工智能全景框架1.4.1近期發(fā)展的目標(biāo)11.4人工智能的未來(lái)2016年10月，Google發(fā)布了一批悅?cè)说膶?shí)驗(yàn)室結(jié)果，虛擬訓(xùn)練的機(jī)械手臂學(xué)會(huì)了撿起多種物體，包括膠帶分配器、玩具和梳子。

自動(dòng)駕駛汽車企業(yè)也紛紛在模擬街道上部署虛擬汽車，從而減少在實(shí)地交通和道路環(huán)境中測(cè)試所需的時(shí)間和資金。2.虛擬環(huán)境下訓(xùn)練人工智能1.4.1近期發(fā)展的目標(biāo)2022年以來(lái)將大型語(yǔ)言模型與機(jī)器人相結(jié)合在虛擬環(huán)境中進(jìn)行訓(xùn)練已成發(fā)展趨勢(shì)，通過(guò)語(yǔ)言模型指揮虛擬機(jī)器人在虛擬環(huán)境中進(jìn)行尋覽，完成各種任務(wù)。1.4人工智能的未來(lái)1.4.2人工智能的未來(lái)

弱人工智能是擅長(zhǎng)于單個(gè)方面的人工智能，也就是我們現(xiàn)在人工智能發(fā)展所處在的階段。例如戰(zhàn)勝象棋世界冠軍的人工智能AlphaGo只會(huì)下棋，不會(huì)識(shí)字，能夠識(shí)別人臉的人工智能也不會(huì)知道你在想什么。

強(qiáng)人工智能則是人類級(jí)別的人工智能，在各方面都能和人類比肩甚至超越人的人工智能，人類能做的一切腦力活動(dòng)它都可以做。它不會(huì)再有局限性，它將擁有寬泛的心理能力，能夠進(jìn)行思考、計(jì)劃、解決問(wèn)題、抽象思維、理解復(fù)雜理念、快速學(xué)習(xí)或是從經(jīng)驗(yàn)中學(xué)習(xí)等操作。但是創(chuàng)造強(qiáng)人工智能會(huì)比弱人工智能要難得多，近年來(lái)大模型的發(fā)展和生成式人工智能的進(jìn)步，已為強(qiáng)人工智能的實(shí)現(xiàn)帶來(lái)了曙光。05本章小結(jié)1.5本章小結(jié)

本章從人工智能的定義和發(fā)展歷史出發(fā)，對(duì)人工智能技術(shù)所包含的方法、應(yīng)用領(lǐng)域和未來(lái)進(jìn)行了簡(jiǎn)單系統(tǒng)的介紹，使本書的讀者能夠?qū)θ斯ぶ悄芗夹g(shù)有一個(gè)全面型了解，為后續(xù)章節(jié)開(kāi)始的人工智能技術(shù)的具體內(nèi)容方法的介紹奠定基礎(chǔ)。感謝您的觀看！人工智能技術(shù)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第二章

人的大腦中有近860億個(gè)神經(jīng)元，每個(gè)神經(jīng)元都與其它103~105個(gè)神經(jīng)元相連，組成巨大的復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，支配人的行為和思想活動(dòng)。受到大腦神經(jīng)系統(tǒng)的啟發(fā)，人工智能的研究人員通過(guò)建立神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型來(lái)近似模擬大腦的神經(jīng)系統(tǒng)，這類數(shù)學(xué)模型稱為人工神經(jīng)網(wǎng)絡(luò)。

含有多隱層的深度神經(jīng)網(wǎng)絡(luò)已成為當(dāng)今人工智能的核心技術(shù)。在許多任務(wù)中，例如聽(tīng)覺(jué)、視覺(jué)和自然語(yǔ)言理解上，該網(wǎng)絡(luò)已取得重大突破，達(dá)到甚至超越普通人的水平，解決了人工智能應(yīng)用中的很多疑難問(wèn)題。

本章從生物神經(jīng)網(wǎng)絡(luò)出發(fā)，介紹人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的核心算法-誤差反向傳播算法以及訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理和常用技巧。2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)簡(jiǎn)介學(xué)習(xí)目標(biāo)2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1.了解生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)；2.掌握人工神經(jīng)元模型，以及以人工神經(jīng)元模型為基礎(chǔ)的人工神經(jīng)網(wǎng)絡(luò)的類型；3.學(xué)習(xí)前向神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)；4.學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的誤差反向傳播算法；5.了解神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方面處理數(shù)據(jù)和訓(xùn)練模型的技巧。目錄Contents2.12.22.32.42.5人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)

生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)2.6反向傳播算法處理數(shù)據(jù)和訓(xùn)練模型的技巧本章小結(jié) 01生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1.1生物神經(jīng)元圖2-1生物神經(jīng)元

圖2-2突觸結(jié)構(gòu)2.1生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1.2生物神經(jīng)網(wǎng)絡(luò)

生物神經(jīng)網(wǎng)絡(luò)(BiologicalNeuralNetwork)是由許多生物神經(jīng)元互相連接，以拓?fù)浣Y(jié)構(gòu)形成的網(wǎng)絡(luò)結(jié)構(gòu)。在生物神經(jīng)網(wǎng)絡(luò)中，大腦的記憶主要源自于無(wú)數(shù)神經(jīng)元之間的突觸聯(lián)系。這些突觸聯(lián)系大部分是由生物出生后受到的外界刺激而生長(zhǎng)起來(lái)的。外界刺激會(huì)不斷地激活神經(jīng)元，導(dǎo)致各個(gè)神經(jīng)元之間的連接強(qiáng)度發(fā)生相應(yīng)變化。正因?yàn)槿绱?，大腦才有學(xué)習(xí)和存儲(chǔ)信息的能力。

這種生物學(xué)上的奇妙設(shè)計(jì)也啟發(fā)了人工智能研究者，人工神經(jīng)網(wǎng)絡(luò)就是對(duì)生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的一種抽象、簡(jiǎn)化和模擬。02人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.1人工神經(jīng)元

人工神經(jīng)元(ArtificialNeuron)是組成人工神經(jīng)網(wǎng)絡(luò)的基本單元。1943年，McCulloch和Pitts根據(jù)生物神經(jīng)元的基本特性，提出了M-P模型，是當(dāng)前人工神經(jīng)網(wǎng)絡(luò)中人工神經(jīng)元模型。圖2-3人工神經(jīng)元2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.1人工神經(jīng)元2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.2激活函數(shù)

最初引入激活函數(shù)(ActivationFunction)的目的是反映生物神經(jīng)元的抑制和興奮兩種狀態(tài)，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的進(jìn)步，激活函數(shù)不再僅采用階躍函數(shù)，而是發(fā)展出了Sigmoid函數(shù)和ReLU函數(shù)等多種形式，從而提高了人工神經(jīng)網(wǎng)絡(luò)的可訓(xùn)練性和非線性表示能力，使得人工神經(jīng)網(wǎng)絡(luò)在解決特征提取、分類和預(yù)測(cè)等諸多實(shí)際問(wèn)題上取得非常好的效果。常用的激活函數(shù)有以下幾種：常見(jiàn)的激活函數(shù)Sigmoid函數(shù)

Tanh函數(shù)

ReLU函數(shù)

LeakyReLU函數(shù)

Maxout單元

激活函數(shù)

Sigmoid函數(shù)Tanh激活函數(shù)是Sigmoid函數(shù)的變形

圖2-4Sigmoid和Tanh激活函數(shù)激活函數(shù)ReLU激活函數(shù)

LeakyReLU激活函數(shù)圖2-5ReLU函數(shù)和Leaky

ReLU函數(shù)激活函數(shù)GeLU函數(shù)是某些函數(shù)（比如雙曲正切函數(shù)

tanh）與近似數(shù)值的組合。圖2-6GeLU函數(shù)曲線2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.3人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是由大量人工神經(jīng)元按一定規(guī)則連接構(gòu)建成的網(wǎng)絡(luò)結(jié)構(gòu)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)行為特征具有分布式并行信息處理能力的數(shù)學(xué)模型。

人工神經(jīng)網(wǎng)絡(luò)主要分為以下3種類型：（a）前饋型網(wǎng)絡(luò)

（b）反饋型網(wǎng)絡(luò)

（c）自組織神經(jīng)網(wǎng)絡(luò)圖2-7三種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)03前向神經(jīng)網(wǎng)絡(luò)2.3前向神經(jīng)網(wǎng)絡(luò)

前向神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetwork，F(xiàn)NN）是最早提出的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是最常見(jiàn)和常用的前饋型網(wǎng)絡(luò)，具有很強(qiáng)的擬合能力，常見(jiàn)的連續(xù)非線性函數(shù)都可以用前向神經(jīng)網(wǎng)絡(luò)來(lái)逼近。

多層前向神經(jīng)網(wǎng)絡(luò)又稱多層感知機(jī)(Multi-LayerPerceptron，MLP)，是由輸入層、輸出層和多個(gè)隱層組成。圖2-8多層前向神經(jīng)網(wǎng)絡(luò)2.3前向神經(jīng)網(wǎng)絡(luò)

多層前向網(wǎng)絡(luò)可以看作輸入到輸出的映射函數(shù)：

。評(píng)判一個(gè)模型的好壞，應(yīng)判斷這個(gè)模型是否與真實(shí)數(shù)據(jù)保持一致。04反向傳播算法2.4反向傳播算法反向傳播（BP）算法，即誤差反向傳播（ErrorBack-Propagation），是用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見(jiàn)方法。最早由ArthurE.Bryson等人在1969年提出。1974年Werbos在哈佛大學(xué)的博士論文中也研究了誤差反向傳播。Parker在1985年發(fā)表的技術(shù)報(bào)告也論述了誤差反向傳播算法。1986年Rumelhart等發(fā)表了誤差反向傳播算法，有力的推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用。2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.2梯度下降法2.4反向傳播算法2.4.3反向傳播算法第n次迭代，第k個(gè)神經(jīng)元的期望輸出圖2-8誤差反向傳播示意圖2.4反向傳播算法

傳統(tǒng)的誤差反向傳播有兩種實(shí)現(xiàn)方式：

第一種方法稱為單樣本修正法，即針對(duì)每一個(gè)送入網(wǎng)絡(luò)的訓(xùn)練樣本，通過(guò)網(wǎng)絡(luò)前向傳播計(jì)算得到網(wǎng)絡(luò)輸出與期望輸出的誤差來(lái)更新權(quán)重；第一種方法，針對(duì)每個(gè)樣本都更新參數(shù)，計(jì)算量大，穩(wěn)定性差。

第二種方法稱為批量梯度下降法，即每一次迭代時(shí)使用所有樣本進(jìn)行梯度的更新。第二種方法每次更新參數(shù)時(shí)都需要遍歷訓(xùn)練集中的所有樣本，計(jì)算量比第一種方法小，穩(wěn)定性更好。2.4.4反向傳播算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法1.動(dòng)量法(Momentum)2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法在BP算法中，學(xué)習(xí)率

的作用在于控制權(quán)重更新的幅度非常重要。學(xué)習(xí)率

越大則網(wǎng)絡(luò)收斂的越快。但學(xué)習(xí)率也并非越大越好，因?yàn)閷W(xué)習(xí)率取值過(guò)大有可能造成網(wǎng)絡(luò)無(wú)法收斂。學(xué)習(xí)率

過(guò)小，雖然可以有效避免網(wǎng)絡(luò)振蕩或發(fā)散，會(huì)導(dǎo)致訓(xùn)練網(wǎng)絡(luò)時(shí)的收斂速度變慢1）Adagrad算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法2）RMSprop算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法3）Adam算法Adam算法是一種綜合型的學(xué)習(xí)方法，可以看成是RMSprop和動(dòng)量法結(jié)合的學(xué)習(xí)方法，可以達(dá)到比RMSprop更好的效果。在實(shí)際訓(xùn)練中，一般將Adam作為默認(rèn)算法。2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法3.隨機(jī)梯度下降法（SGD）

隨機(jī)梯度下降法是梯度下降法的一個(gè)變形，是針對(duì)目前大數(shù)據(jù)量情況下有效訓(xùn)練神經(jīng)網(wǎng)絡(luò)的一種BP算法的優(yōu)化方法。與常規(guī)的梯度下降法不同的是，要累積一個(gè)批次（Batchsize）的數(shù)據(jù)后再計(jì)算梯度，進(jìn)行參數(shù)更新。采用隨機(jī)梯度下降法可以降低運(yùn)算時(shí)間，且在極大程度上避免了計(jì)算時(shí)容易陷入局部極值的問(wèn)題。05處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.1數(shù)據(jù)預(yù)處理-數(shù)據(jù)標(biāo)準(zhǔn)化（1）Z-Score標(biāo)準(zhǔn)化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.1數(shù)據(jù)預(yù)處理-數(shù)據(jù)標(biāo)準(zhǔn)化1.Z-Score標(biāo)準(zhǔn)化（a）

（b）

（c）圖2-9Z-Score標(biāo)準(zhǔn)化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2數(shù)據(jù)預(yù)處理-數(shù)據(jù)標(biāo)準(zhǔn)化最小最大標(biāo)準(zhǔn)化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化1.隨機(jī)數(shù)初始化隨機(jī)數(shù)權(quán)重初始化的實(shí)現(xiàn)方法是生成符合標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)數(shù)，并適當(dāng)縮?。ǔ艘砸粋€(gè)小于1的數(shù)）。公式如下所示。其中

為生成的符合標(biāo)準(zhǔn)正態(tài)分布的權(quán)重向量。隨機(jī)數(shù)權(quán)重初始可以保證每個(gè)人工神經(jīng)元的權(quán)重向量都被初始化為一個(gè)服從高斯分布的隨機(jī)向量。2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化2.校準(zhǔn)方差2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化2）Xavier初始化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化3）He初始化2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.2權(quán)重初始化數(shù)據(jù)增強(qiáng)解決過(guò)擬合最有效的方法就是盡可能的擴(kuò)充數(shù)據(jù)集，但大幅度的增加數(shù)據(jù)是比較困難的。因此可以通過(guò)一定規(guī)則擴(kuò)充數(shù)據(jù)，例如采用平移、翻轉(zhuǎn)、縮放、切割等手段成倍擴(kuò)充數(shù)據(jù)庫(kù)。網(wǎng)絡(luò)結(jié)構(gòu)

過(guò)擬合主要是由于數(shù)據(jù)太少以及模型太復(fù)雜兩個(gè)原因造成的，可以通過(guò)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)層數(shù)、神經(jīng)元的個(gè)數(shù)來(lái)限制網(wǎng)絡(luò)的擬合能力。訓(xùn)練時(shí)間

在初始化網(wǎng)絡(luò)時(shí)，一般都是初始為較小的權(quán)值。訓(xùn)練時(shí)間越長(zhǎng)，部分網(wǎng)絡(luò)權(quán)值可能越大。如果在合適的時(shí)間停止訓(xùn)練，就可以將網(wǎng)絡(luò)的能力限制在一定范圍內(nèi)。

2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.3防止過(guò)擬合的常用方法正則化Dropout

Dropout方法由Hinton等人提出，該方法在單個(gè)訓(xùn)練批次中將一半左右的隱層節(jié)點(diǎn)值設(shè)為0，使得網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)在每次訓(xùn)練時(shí)都與不同的節(jié)點(diǎn)相連，削弱人工神經(jīng)元之間的依賴關(guān)系，從而達(dá)到防止過(guò)擬合的效果。2.5處理數(shù)據(jù)和訓(xùn)練模型的技巧2.5.3防止過(guò)擬合的常用方法06本章小結(jié)2.6本章小結(jié)

本章從生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)出發(fā)，介紹了人工神經(jīng)元模型和以其為基礎(chǔ)的人工神經(jīng)網(wǎng)絡(luò)的類型，并詳細(xì)介紹了前向神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)，以及訓(xùn)練神經(jīng)網(wǎng)絡(luò)的誤差反向傳播算法的具體細(xì)節(jié)。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方面，本章還介紹了處理數(shù)據(jù)和訓(xùn)練模型的技巧，幫助模型訓(xùn)練達(dá)到事半功倍的效果。感謝您的觀看！人工智能技術(shù)基礎(chǔ)卷積神經(jīng)網(wǎng)絡(luò)第三章

卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks,CNN）是一類包含卷積計(jì)算且具有深層結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的研究始于20世紀(jì)80~90年代，LeNet-5是最早出現(xiàn)的卷積神經(jīng)網(wǎng)絡(luò)；2012年，AlexKrizhevsky等憑借AlexNet得了當(dāng)年的視覺(jué)圖像挑戰(zhàn)賽，震驚世界。自此之后，各類采用卷積神經(jīng)網(wǎng)絡(luò)的算法紛紛成為大規(guī)模視覺(jué)識(shí)別競(jìng)賽的優(yōu)勝算法。如今，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)成為計(jì)算機(jī)視覺(jué)領(lǐng)域最具有影響力的技術(shù)手段。

3卷積神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介1.了解圖像基本特點(diǎn)，并掌握卷積神經(jīng)網(wǎng)絡(luò)的基本特性；2.掌握卷積神經(jīng)網(wǎng)絡(luò)的基本組成，卷積層、池化層和全連接層的特性；3.學(xué)習(xí)常用的幾種卷積操作、池化操作以及全連接層的卷積操作，掌握卷積層步長(zhǎng)的選擇和padding的選擇會(huì)實(shí)現(xiàn)圖像語(yǔ)義分割中常用的反卷積和空洞卷積；4.了解幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型LeNet5、AlexNet、VGG、GoogleNet、ResNet、DenseNet和SE-Net。學(xué)習(xí)目標(biāo)3卷積神經(jīng)網(wǎng)絡(luò)目錄Contents3.1卷積神經(jīng)網(wǎng)絡(luò)的特性卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹本章小結(jié)3.23.33.401卷積神經(jīng)網(wǎng)絡(luò)特性3.1卷積神經(jīng)網(wǎng)絡(luò)特性

卷積神經(jīng)網(wǎng)絡(luò)具有的局部連接、權(quán)值共享和不變性與圖像的局部性、相同性和不變性相一致，特別適合處理與圖像相關(guān)的任務(wù)，因此在計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)揮了重要作用。特征定義局部性當(dāng)需要從一張圖片中獲取某一特征時(shí)，該特征通常不是由整張圖片決定的，而是僅由圖片中的一些局部區(qū)域來(lái)決定。相同性對(duì)于不同的圖片，如果它們具有相同特征，即使這些特征位于不同的位置，但是檢測(cè)所做的操作是一樣的。不變性對(duì)于一張圖片在進(jìn)行下采樣后，圖片的性質(zhì)基本上是保持不變的，改變的僅僅是圖片的尺寸。3.1卷積神經(jīng)網(wǎng)絡(luò)特性

全連接神經(jīng)網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與它前一層中的所有神經(jīng)元相連，如果將圖像的每一個(gè)像素看作一個(gè)神經(jīng)元，使用全連接網(wǎng)絡(luò)完成與圖像相關(guān)的任務(wù)，無(wú)疑對(duì)計(jì)算機(jī)的存儲(chǔ)和運(yùn)算速度有著很高的要求，而且圖像越大，要求越高。并且對(duì)于圖像來(lái)說(shuō)，每個(gè)像素和其周圍像素的聯(lián)系是相對(duì)比較緊密的，而和離得很遠(yuǎn)的像素的聯(lián)系可能就比較小了。如果一個(gè)神經(jīng)元和上一層所有的神經(jīng)元相連，那么就相當(dāng)于對(duì)于一個(gè)像素來(lái)說(shuō)，把圖像的所有像素都同等看待了，缺少了位置信息。而卷積神經(jīng)網(wǎng)絡(luò)采用局部連接的方法，每個(gè)神經(jīng)元不再和上一層的所有神經(jīng)元相連，而只和一小部分神經(jīng)元相連，這樣就減少了很多的參數(shù)，加快了學(xué)習(xí)速度。3.1.1局部連接局部連接全連接3.1卷積神經(jīng)網(wǎng)絡(luò)特性

一般神經(jīng)網(wǎng)絡(luò)層與層之間的連接是，每個(gè)神經(jīng)元與上一層的全部神經(jīng)元相連，這些連接權(quán)重獨(dú)立于其他的神經(jīng)元，所以假設(shè)上一層是m個(gè)神經(jīng)元，當(dāng)前層是n個(gè)神經(jīng)元，那么共有m×n個(gè)連接，也就有m×n個(gè)權(quán)重。權(quán)重矩陣就是m×n形狀。而在卷積神經(jīng)網(wǎng)絡(luò)中，給一張輸入圖片，通常的做法是用一個(gè)卷積核（類似于圖像處理中的濾波器，實(shí)質(zhì)為針對(duì)一個(gè)小區(qū)域的一組連接權(quán)重）去掃描這張圖，卷積核里面的數(shù)實(shí)質(zhì)就是神經(jīng)網(wǎng)絡(luò)中不同層神經(jīng)元之間的連接權(quán)。權(quán)值共享意味著每一個(gè)卷積核在遍歷整個(gè)圖像的時(shí)候，卷積核的參數(shù)(連接權(quán)值)是固定不變的，比如有3個(gè)卷積核，每個(gè)卷積核都會(huì)掃描整個(gè)圖像，在掃描的過(guò)程中，卷積核的參數(shù)值是固定不變的，即整個(gè)圖像的所有元素都“共享”了相同的權(quán)值。3.1.2權(quán)值共享3.1卷積神經(jīng)網(wǎng)絡(luò)特性

卷積神經(jīng)網(wǎng)絡(luò)中有一種重要的操作：池化操作（通常采用取最大值操作），它將前一層的一個(gè)小區(qū)域中所有像素值變成了下一層中的一個(gè)像素值。這就意味著即使圖像經(jīng)歷了一個(gè)小的平移或旋轉(zhuǎn)之后，依然會(huì)產(chǎn)生相同的特征，這使卷積神經(jīng)網(wǎng)絡(luò)對(duì)微小的平移和旋轉(zhuǎn)具有不變性。在很多任務(wù)中，例如物體檢測(cè)、語(yǔ)音識(shí)別等，我們都更希望得到具有平移和旋轉(zhuǎn)不變性的特征，希望即使圖像經(jīng)過(guò)了平移和旋轉(zhuǎn)，圖像的標(biāo)記仍然保持不變。3.1.3不變性02卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)由卷積層、池化層和全連接層組成，其訓(xùn)練采用誤差反向傳播（BP）算法。3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練

3.2.1卷積層圖像的像素矩陣1Texthere卷積核填充

在卷積操作過(guò)程中，如果不對(duì)要進(jìn)行卷積的圖像（隱層的圖像稱特征圖）預(yù)先作填充處理，卷積后的圖像會(huì)變小，卷積層越多，卷積后的特征圖會(huì)越小。而且輸入特征圖四個(gè)角的邊緣像素只被計(jì)算一次，而中間像素則被卷積計(jì)算多次，意味著丟失圖像角落信息。此外，實(shí)際應(yīng)用中有時(shí)希望輸入和輸出在空間上尺寸是一致的。因此，為了解決上述問(wèn)題，就對(duì)輸入特征圖進(jìn)行邊界填充，即填充像素。常用的邊界填充方法包括：零填充、邊界復(fù)制、鏡像、塊復(fù)制，常用的是零填充。卷積核

在進(jìn)行圖像處理時(shí)，給定輸入圖像，輸出圖像中的每一個(gè)像素就是輸入圖像中一個(gè)小區(qū)域中像素的加權(quán)平均，其中權(quán)值由一個(gè)函數(shù)定義，這個(gè)函數(shù)即為卷積核。在卷積神經(jīng)網(wǎng)絡(luò)里，通常稱之為濾波器。

主要特點(diǎn)：1.卷積核只關(guān)注局部特征，局部的程度取決于卷積核的大?。?.卷積核的深度要和輸入圖片的通道數(shù)相同；3.一個(gè)卷積核在與輸入圖片的不同區(qū)域做卷積時(shí)，它的參數(shù)是固定不變的；4.在一個(gè)卷積層中，通常會(huì)有一整個(gè)集合的卷積核組（也稱濾波器組），每個(gè)卷積核組對(duì)應(yīng)檢測(cè)一種特征。步長(zhǎng)

步長(zhǎng)即卷積核在原始圖片上做卷積時(shí)每次滑動(dòng)的像素點(diǎn)，步長(zhǎng)不同，所得到的輸出結(jié)果也是不同的。如不加以說(shuō)明，默認(rèn)步長(zhǎng)為1。3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練步長(zhǎng)卷積層填充3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練幾種在圖像上的卷積過(guò)程：?jiǎn)瓮ǖ谰矸e多通道卷積3D卷積分組卷積混洗分組卷積3.2.1卷積層多通道+多卷積3D卷積分組卷積混洗分組卷積3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練

在卷積神經(jīng)網(wǎng)絡(luò)中，通常會(huì)在卷積層之間周期性的插入一個(gè)池化層（Pooling），也稱下采樣層（Downsampling），它的作用有三個(gè)：池化層具有特征不變性池化能夠?qū)μ卣鬟M(jìn)行降維加入池化層能在一定程度上防止過(guò)擬合，更方便優(yōu)化。3.2.2池化層池化過(guò)程3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練常用的池化操作有最大池化（Max-pooling）、平均池化（Mean-pooling）。研究人員還提出了針對(duì)整個(gè)特征圖進(jìn)行的池化操作稱為全局池化，也分為全局最大值池化（GMP）和全局平均池化（GAP）。將GMP和GAP的結(jié)果并接后用于通道注意力和空間注意力中，提高CNN的性能已成為常用手段。3.2.2池化層3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練卷積層提取的是輸入圖片的局部特征，全連接層則是把提取到的局部特征重新排列為一維向量。全連接層將局部特征中的每一個(gè)點(diǎn)與輸出向量中的每一個(gè)點(diǎn)都互相連接起來(lái)，并且讓每個(gè)連接都具有獨(dú)立的權(quán)值，所以稱為全連接。在卷積神經(jīng)網(wǎng)絡(luò)中，全連接層充當(dāng)著網(wǎng)絡(luò)的分類器。全連接層可以整合卷積層或者池化層中具有類別區(qū)分性的局部信息。3.2.3全連接層卷積層——全連接層3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練直接采用第2章介紹的誤差反向傳播（BP）算法，只需注意各層神經(jīng)元的連接關(guān)系和共享特性。批正則化（BN）針對(duì)卷積網(wǎng)絡(luò)的每個(gè)神經(jīng)元，使數(shù)據(jù)在進(jìn)入激活函數(shù)之前，沿著通道計(jì)算每個(gè)批次（Batch）的均值、方差，‘強(qiáng)迫’數(shù)據(jù)保持均值為0，方差為1的正態(tài)分布，避免發(fā)生梯度消失。3.2.4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練批正則化（BN）過(guò)程3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練BatchNormalization的優(yōu)勢(shì)與局限：優(yōu)勢(shì)極大提升了訓(xùn)練速度，收斂過(guò)程大大加快；還能增加分類效果，一種解釋是這是類似于Dropout的一種防止過(guò)擬合的正則化表達(dá)方式，所以不用Dropout也能達(dá)到相當(dāng)?shù)男Ч?；另外調(diào)參過(guò)程也簡(jiǎn)單多了，對(duì)于初始化要求沒(méi)那么高，而且可以使用大的學(xué)習(xí)率等。3.2.4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練3.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與訓(xùn)練BatchNormalization的優(yōu)勢(shì)與局限：2.局限每次是在一個(gè)Batch上計(jì)算均值、方差，如果Batchsize太小，則計(jì)算的均值、方差不足以代表整個(gè)數(shù)據(jù)分布；Batchsize太大：會(huì)超過(guò)內(nèi)存容量；需要跑更多的Epoch，導(dǎo)致總訓(xùn)練時(shí)間變長(zhǎng)；會(huì)直接固定梯度下降的方向，導(dǎo)致很難更新；不適用于動(dòng)態(tài)網(wǎng)絡(luò)結(jié)構(gòu)，例如，RNN。3.2.4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練03卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型LeNetAlexNetVGGGoogleNetResNetDenseNetSE-Net3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹LeNet-5模型是YannLeCun教授于1998年在論文《Gradient-basedlearningappliedtodocumentrecognition》中提出的，它是第一個(gè)成功應(yīng)用于手寫數(shù)字識(shí)別問(wèn)題的卷積神經(jīng)網(wǎng)絡(luò)。LeNet的最大貢獻(xiàn)是：它定義了CNN的基本結(jié)構(gòu)，可稱為CNN的鼻祖。自那時(shí)起，CNN最基本的架構(gòu)就定下來(lái)了：卷積層、池化層、全連接層。LeNet-5模型一共有7層，主要有2個(gè)卷積層、2個(gè)下采樣層（池化層）、3個(gè)全連接層。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)3.3.1LeNet網(wǎng)絡(luò)AlexNet是由2012年圖像識(shí)別大賽冠軍獲得者辛頓和他的學(xué)生亞歷克斯·克里熱夫斯基（AlexKrizhevsky）設(shè)計(jì)的，AlexNet的出現(xiàn)也使得CNN成為了圖像分類的核心算法模型。其官方提供的數(shù)據(jù)模型，準(zhǔn)確率Top-1達(dá)到57.1%,Top-5達(dá)到80.2%。這相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法而言，已經(jīng)相當(dāng)出色。因?yàn)槭遣捎脙膳_(tái)GPU服務(wù)器，所以會(huì)看到兩路網(wǎng)絡(luò)。AlexNet模型共有八層，其中包括5個(gè)卷積層和3個(gè)全連接層，每一個(gè)卷積層中都包含了ReLU激活函數(shù)和局部相應(yīng)歸一化（LocalResponseNormalization，LRN）處理。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹AlexNet網(wǎng)絡(luò)結(jié)構(gòu)3.3.2AlexNet網(wǎng)絡(luò)VGGNet是VisualGeometryGroup的縮寫，是由牛津大學(xué)計(jì)算機(jī)視覺(jué)組合和谷歌DeepMind公司研究員一起研發(fā)的深度卷積神經(jīng)網(wǎng)絡(luò)。VGGNet和GoogleNet同在2014年參賽，圖像分類任務(wù)中GoogLeNet第一，VGG第二，它們都是十分有意義的網(wǎng)絡(luò)結(jié)構(gòu)。VGGNet的提出，證明了用尺寸很小的卷積（3×3）來(lái)增加網(wǎng)絡(luò)深度能夠有效提升模型的效果，且此網(wǎng)絡(luò)對(duì)其他數(shù)據(jù)集有較好的泛化能力，同時(shí)證明了增加網(wǎng)絡(luò)的深度能夠在一定程度上提升網(wǎng)絡(luò)最終的性能。VGGNet有兩種結(jié)構(gòu)，分別是VGG16和VGG19，兩者除了網(wǎng)絡(luò)深度不一樣，其本質(zhì)并沒(méi)有什么區(qū)別。其中VGG16是最常用的。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹VGGNet網(wǎng)絡(luò)結(jié)構(gòu)3.3.3VGGNet網(wǎng)絡(luò)LeNet-5、AlexNet、VGGNet屬于早期的網(wǎng)絡(luò)結(jié)構(gòu)。它們都是通過(guò)加深網(wǎng)絡(luò)、修改卷積核大小等手段來(lái)提升性能。雖然這三個(gè)網(wǎng)絡(luò)模型的性能有所提高，但是網(wǎng)絡(luò)的結(jié)構(gòu)仍然是卷積-池化串聯(lián)的方式。通過(guò)增加網(wǎng)絡(luò)層數(shù)的方式雖然在一定程度上能夠增強(qiáng)模型的性能，但是當(dāng)網(wǎng)絡(luò)的層數(shù)已經(jīng)很多時(shí)，繼續(xù)增加網(wǎng)絡(luò)層數(shù)，并不能提高模型性能。因此Inception-block、ResNet-block、DenseNet-block、SE-block等模塊的提出在一定程度上避免了這種問(wèn)題，通過(guò)模塊與模塊的不斷堆疊組成了Inception、ResNet、DenseNet等經(jīng)典網(wǎng)絡(luò)。本節(jié)主要介紹Inception-block、ResNet-block、DenseNet-block、SE-block等模塊的基本結(jié)構(gòu)。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)1.Inception-blockInception網(wǎng)絡(luò)在ILSVRC14中達(dá)到了當(dāng)時(shí)最好的分類和檢測(cè)性能。這個(gè)架構(gòu)的主要特點(diǎn)是能夠更好地利用網(wǎng)絡(luò)內(nèi)部的計(jì)算資源。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)Inception原始模塊1.Inception-blockInception網(wǎng)絡(luò)在ILSVRC14中達(dá)到了當(dāng)時(shí)最好的分類和檢測(cè)性能。這個(gè)架構(gòu)的主要特點(diǎn)是能夠更好地利用網(wǎng)絡(luò)內(nèi)部的計(jì)算資源。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)Inception原始模塊實(shí)現(xiàn)降維Inception模塊1.Inception-blockInceptionv2和Inceptionv3來(lái)自同一篇論文《RethinkingtheInceptionArchitectureforComputerVision》，作者提出了一系列能夠增加準(zhǔn)確度和減少計(jì)算復(fù)雜度的修正方法。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)InceptionV2模塊擴(kuò)展后的模型1.Inception-blockInceptionv4在2015年被提出，大部分沿用了之前v1、v2的結(jié)構(gòu)，主要是為分片訓(xùn)練考慮。2015年Tensorflow還沒(méi)有出現(xiàn)，在分片訓(xùn)練時(shí)需要考慮各個(gè)機(jī)器上計(jì)算量的平衡來(lái)縮短總的訓(xùn)練時(shí)間，因此在設(shè)計(jì)結(jié)構(gòu)時(shí)會(huì)受到限制。2016年，Tensorflow開(kāi)始被廣泛使用，其在內(nèi)存的占用上做了優(yōu)化，所以便不需要采取分片訓(xùn)練，在這一基礎(chǔ)上，Inception網(wǎng)絡(luò)做了優(yōu)化，于是就有了Iceptionv4。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)InceptionV4模塊2.ResNet-blockResNet引入了殘差網(wǎng)絡(luò)結(jié)構(gòu)（ResidualNetwork），通過(guò)這種殘差網(wǎng)絡(luò)結(jié)構(gòu)，可以在加深網(wǎng)絡(luò)層數(shù)的同時(shí)得到非常不錯(cuò)的分類效果。殘差網(wǎng)絡(luò)借鑒了高速網(wǎng)絡(luò)（HighwayNetwork）的跨層連接思想，并在此基礎(chǔ)上進(jìn)行改善，殘差項(xiàng)原本是帶權(quán)值的，但是ResNet用恒等映射作為替代。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)殘差網(wǎng)絡(luò)基本結(jié)構(gòu)3.DenseNet-blockDenseNet-block的基本思路與ResNet-block一致，但是它建立的是前面所有層與后面層的密集連接（DenseConnection），它的名稱也是由此而來(lái)。DenseNet的另一大特色是通過(guò)特征在通道上的連接來(lái)實(shí)現(xiàn)特征重用（FeatureReuse）。這些特點(diǎn)讓DenseNet在參數(shù)和計(jì)算成本更少的情形下實(shí)現(xiàn)比ResNet更優(yōu)的性能，DenseNet也因此斬獲CVPR2017的最佳論文獎(jiǎng)。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)DenseNet-block的基本結(jié)構(gòu)4.SE-blockSE-Net與ResNext-154相結(jié)合以極高的準(zhǔn)確率獲得了最后一屆ImageNet2017競(jìng)賽圖片分類任務(wù)的冠軍，有興趣的讀者可以閱讀論文《Squeeze-and-ExcitationNetworks》。SE-Net的核心是擠壓（Squeeze）和激勵(lì)（Excitation）兩個(gè)操作。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)SE-Net基本結(jié)構(gòu)4.SE-blockSE-Net本質(zhì)是對(duì)每個(gè)通道的特征圖加權(quán)，因此人們也把其稱作通道注意力，將其加入某種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中使用。3.3卷積神經(jīng)網(wǎng)絡(luò)經(jīng)典模型介紹3.3.4其它經(jīng)典網(wǎng)絡(luò)的基本結(jié)構(gòu)SE-Net應(yīng)用04小結(jié)3.4本章總結(jié)

本章在介紹圖像基本特點(diǎn)的基礎(chǔ)上，引出了卷積神經(jīng)網(wǎng)絡(luò)的基本特性，進(jìn)而給出了卷積神經(jīng)網(wǎng)絡(luò)的基本組成，分別討論了卷積層、池化層和全連接層的特性，給出了常用的幾種卷積操作、池化操作以及全連接層的卷積操作，強(qiáng)調(diào)了在卷積層步長(zhǎng)的選擇和padding的選擇會(huì)實(shí)現(xiàn)圖像語(yǔ)義分割中常用的反卷積和空洞卷積。最后介紹了幾種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型LeNet5、AlexNet、VGG、GoogleNet、ResNet、DenseNet和SE-Net。感謝您的觀看！人工智能技術(shù)基礎(chǔ)循環(huán)神經(jīng)網(wǎng)絡(luò)第四章

循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一類處理序列數(shù)據(jù)的人工神經(jīng)網(wǎng)絡(luò)。相較于卷積神經(jīng)網(wǎng)絡(luò)關(guān)注的是數(shù)據(jù)中的局部特征，循環(huán)神經(jīng)網(wǎng)絡(luò)關(guān)注的是序列數(shù)據(jù)中按照序列順序的前后依賴關(guān)系。它將先前數(shù)據(jù)的計(jì)算結(jié)果與之后的數(shù)據(jù)一同計(jì)算產(chǎn)生新的結(jié)果，如此循環(huán)往復(fù)。正是因?yàn)檠h(huán)網(wǎng)絡(luò)對(duì)于不同時(shí)間步的數(shù)據(jù)不是同時(shí)計(jì)算的，因而可以處理可變長(zhǎng)度的序列數(shù)據(jù)，大大擴(kuò)大了應(yīng)用范圍。4循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介1.了解RNN的基本知識(shí)和形式化的數(shù)學(xué)模型表示；2.掌握循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法；3.掌握標(biāo)準(zhǔn)RNN的前向計(jì)算和時(shí)間反向傳播計(jì)算過(guò)程；4.掌握幾種流行的RNN變體結(jié)構(gòu)；5.了解RNN的應(yīng)用結(jié)構(gòu)。學(xué)習(xí)目標(biāo)4循環(huán)神經(jīng)網(wǎng)絡(luò)目錄Contents4.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法循環(huán)神經(jīng)網(wǎng)絡(luò)拓展模型循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用結(jié)構(gòu)小結(jié)4.24.34.44.501循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)4.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)1990年，JeffreyElman將多層前向神經(jīng)網(wǎng)絡(luò)隱層的輸出引回到輸入層作為聯(lián)系單元與原輸入層單元并列與隱層神經(jīng)元相連接，構(gòu)成描述動(dòng)態(tài)系統(tǒng)狀態(tài)的神經(jīng)網(wǎng)絡(luò)模型，當(dāng)時(shí)被稱為Elman網(wǎng)，也被稱為循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），主要用于動(dòng)態(tài)系統(tǒng)建模解決復(fù)雜系統(tǒng)預(yù)測(cè)預(yù)報(bào)問(wèn)題。1997年JürgenSchmidhuber將RNN中的簡(jiǎn)單常規(guī)神經(jīng)元替換成具有更多連接權(quán)值的復(fù)雜記憶單元，提出了長(zhǎng)短期記憶（LongShort-TermMemory，LSTM）模型，使RNN的能力大為提高。2003年YoshuaBengio把RNN用于解決傳統(tǒng)語(yǔ)言處理模型的“維度詛咒（CurseofDimensionality）”問(wèn)題，使其在自然語(yǔ)言處理中開(kāi)始應(yīng)用。2012年卷積神經(jīng)網(wǎng)絡(luò)在物體分類識(shí)別上的成功，使RNN返回研究人員的視野，已在機(jī)器翻譯、語(yǔ)音識(shí)別和個(gè)性化推薦等眾多領(lǐng)域效果顯著，成為解決與時(shí)序相關(guān)聯(lián)問(wèn)題的主要深度神經(jīng)網(wǎng)絡(luò)模型。4.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)RNN物理結(jié)構(gòu)圖RNN按時(shí)序展開(kāi)結(jié)構(gòu)圖4.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)從RNN按時(shí)序展開(kāi)的結(jié)構(gòu)可以看到，RNN在每一時(shí)刻都有外部輸入，反饋形成的環(huán)（回）路展開(kāi)后，上一時(shí)刻隱層的輸出與本時(shí)刻的外部輸入同時(shí)送入本時(shí)刻的隱層，展開(kāi)的網(wǎng)絡(luò)深度與輸入的時(shí)序數(shù)據(jù)的長(zhǎng)度一致，數(shù)據(jù)越長(zhǎng)，網(wǎng)絡(luò)越深，因此RNN本質(zhì)上也是深度前向神經(jīng)網(wǎng)絡(luò)。RNN按時(shí)序展開(kāi)結(jié)構(gòu)不同于常規(guī)前向神經(jīng)網(wǎng)絡(luò)，其各隱層的神經(jīng)元數(shù)量是相同的，且網(wǎng)絡(luò)各層中的輸入到隱層的連接權(quán)、隱層到隱層的反饋連接權(quán)和隱層到輸出層的連接權(quán)是全網(wǎng)絡(luò)共享不變的。需要注意的是RNN沒(méi)有強(qiáng)制要求輸入序列與輸出序列的長(zhǎng)度必須相等。RNN的數(shù)學(xué)模型如下：4.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)RNN中隱層神經(jīng)元激活函數(shù)通常采用tanh函數(shù)，輸出神經(jīng)元的激活函數(shù)則依據(jù)所解決的問(wèn)題確定，如果是二分類問(wèn)題則使用Sigmoid函數(shù)，如果是多分類問(wèn)題則使用Softmax函數(shù)。RNN計(jì)算單元02循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法

RNN可以使用誤差反向傳播算法的思想進(jìn)行訓(xùn)練。訓(xùn)練RNN的算法為通過(guò)時(shí)間反向傳播BPTT（BackPropagationThroughTime，BPTT）算法，它和傳統(tǒng)的反向傳播算法BP有類似之處，它們的核心任務(wù)都是利用反向傳播調(diào)整參數(shù)，從而使得損失函數(shù)最小化。通過(guò)時(shí)間反向傳播算法，也包含前向計(jì)算和反向計(jì)算兩個(gè)步驟。4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法標(biāo)準(zhǔn)結(jié)構(gòu)RNN的前向傳播過(guò)程，如下圖所示，為了有效區(qū)分不同類型的連接權(quán)，分別用U、W、V代表輸入權(quán)、反饋權(quán)和輸出權(quán)。圖中各個(gè)符號(hào)的含義：x是輸入，h是隱層節(jié)點(diǎn)，o為輸出，L為損失函數(shù)，y為訓(xùn)練集的標(biāo)簽。這些元素右上角帶的t代表t時(shí)刻的狀態(tài)，其中需要注意的是，因?yàn)閱卧猦在t時(shí)刻的表現(xiàn)不僅由此刻的輸入決定，還受t時(shí)刻之前時(shí)刻的影響。U、W、V是權(quán)值，同一類型的連接權(quán)值相同。4.2.1循環(huán)神經(jīng)網(wǎng)絡(luò)的前向輸出流程RNN的前向輸出流程4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法BPTT算法是常用的訓(xùn)練RNN的方法，其實(shí)本質(zhì)還是BP算法，只不過(guò)RNN處理的是時(shí)間序列數(shù)據(jù)，所以要基于時(shí)間反向傳播，故叫隨時(shí)間反向傳播。BPTT的中心思想和BP算法相同，沿著需要優(yōu)化參數(shù)的負(fù)梯度方向不斷尋找更優(yōu)的點(diǎn)直至收斂。因此，BPTT算法還是BP算法，本質(zhì)上還是梯度下降，那么求各個(gè)參數(shù)的梯度便成了此算法的核心。需要尋優(yōu)的參數(shù)有三個(gè)，分別是U、W、V。與BP算法不同的是，三個(gè)參數(shù)的尋優(yōu)過(guò)程需要追溯之前的歷史數(shù)據(jù)。4.2.2循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法——隨時(shí)間反向傳播4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法在梯度累乘過(guò)程中，如果取Sigmoid函數(shù)作為激活函數(shù)的話，那么必然是一堆小數(shù)在做乘法，結(jié)果就是越乘越小。隨著時(shí)間序列的不斷深入，小數(shù)的累乘就會(huì)導(dǎo)致梯度越來(lái)越小直到接近于0，這就是“梯度消失”現(xiàn)象。梯度消失就意味消失那一層的參數(shù)再也不更新，那么那一層隱層就變成了單純的映射層，毫無(wú)意義了，所以在深層神經(jīng)網(wǎng)絡(luò)中，有時(shí)候多增加層的神經(jīng)元數(shù)量可能會(huì)比多加層數(shù)即深度更好。RNN的特點(diǎn)就是能“追根溯源”利用歷史數(shù)據(jù)，歷史數(shù)據(jù)越長(zhǎng)“梯度消失”越嚴(yán)重，因此解決“梯度消失”越是非常必要的。ReLU函數(shù)可以解決循環(huán)神經(jīng)網(wǎng)絡(luò)中的梯度消失問(wèn)題。4.2.3循環(huán)神經(jīng)網(wǎng)絡(luò)中梯度消失和爆炸問(wèn)題及解決方法1.梯度消失的原因與解決辦法4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法4.2.3循環(huán)神經(jīng)網(wǎng)絡(luò)中梯度消失和爆炸問(wèn)題及解決方法1.梯度消失的原因與解決辦法Sigmoid函數(shù)及其導(dǎo)數(shù)圖tanh函數(shù)及其導(dǎo)數(shù)圖ReLU函數(shù)及其導(dǎo)數(shù)圖4.2循環(huán)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法使用ReLU解決了RNN的“梯度消失”問(wèn)題，但也帶來(lái)了另一個(gè)問(wèn)題—“梯度爆炸”問(wèn)題。一旦激活函數(shù)的導(dǎo)數(shù)恒為1，由于網(wǎng)絡(luò)權(quán)W的取值無(wú)約束，連乘很容易使損失函數(shù)對(duì)連接權(quán)的偏導(dǎo)數(shù)越來(lái)越大（時(shí)序越長(zhǎng)，RNN展開(kāi)結(jié)構(gòu)的隱層越多，乘積越大），導(dǎo)致“梯度爆炸”現(xiàn)象的發(fā)生。深度前向神經(jīng)網(wǎng)絡(luò)的激活函數(shù)采用ReLU同樣存在“梯度爆炸”問(wèn)題?！疤荻缺ā眴?wèn)題的解決比較簡(jiǎn)單，只需要給損失函數(shù)對(duì)三組連接權(quán)的梯度的絕對(duì)值設(shè)定合適的閾值，限制其最大值就可以解決這個(gè)問(wèn)題。對(duì)于“梯度消失”和“梯度爆炸”，通過(guò)采取將網(wǎng)絡(luò)初始權(quán)值設(shè)為接近0的非常小的數(shù)值，對(duì)網(wǎng)絡(luò)的輸入值做正則化或歸一化處理和對(duì)網(wǎng)絡(luò)隱層輸出做逐層正則化（LN）處理等措施，也可在網(wǎng)絡(luò)訓(xùn)練過(guò)程中有效減少這兩種現(xiàn)象的發(fā)生，提高網(wǎng)絡(luò)的訓(xùn)練效率。4.2.3循環(huán)神經(jīng)網(wǎng)絡(luò)中梯度消失和爆炸問(wèn)題及解決方法2.梯度爆炸的原因與解決辦法03循環(huán)神經(jīng)網(wǎng)絡(luò)拓展模型4.3循環(huán)神經(jīng)網(wǎng)絡(luò)拓展模型簡(jiǎn)單循環(huán)網(wǎng)絡(luò)是RNN的一種特殊情況，如圖所示，SRNN是一個(gè)三層網(wǎng)絡(luò)，與傳統(tǒng)RNN網(wǎng)絡(luò)結(jié)構(gòu)相比，SRNN只是隱層神經(jīng)元自身有自反饋，這個(gè)反饋并不連接到其它隱層神經(jīng)元，相當(dāng)于只在隱層增加了上下文信息。SRNN在20世紀(jì)90年代被稱為對(duì)角回歸神經(jīng)網(wǎng)絡(luò)。圖中I1-In為網(wǎng)絡(luò)的輸入，Y1-Yn為網(wǎng)絡(luò)的隱層，M1-Mn為上下文單元。從圖中可以看出Y1-Yn與M1-Mn為一一對(duì)應(yīng)關(guān)系，即上下文單元節(jié)點(diǎn)與隱層中節(jié)點(diǎn)的連接是固定的，而且相應(yīng)的權(quán)值也是固定的。4.3.1簡(jiǎn)單循環(huán)網(wǎng)絡(luò)SRNN基本結(jié)構(gòu)4.3循環(huán)神經(jīng)網(wǎng)絡(luò)拓展模型在循環(huán)神經(jīng)網(wǎng)絡(luò)的輸入和輸出目標(biāo)之間添加與輸入時(shí)序長(zhǎng)度相同的暫存單元，存儲(chǔ)所有隱層的輸出信息，并增加一個(gè)具有反饋連接的隱層，該隱層按輸入時(shí)序相反的方向順序接收信息，即首先接受時(shí)序輸入的最后一個(gè)信息，再接受倒數(shù)第二個(gè)信息，最后接受第一個(gè)信息，進(jìn)而將兩個(gè)信息流動(dòng)方向相反的隱層輸出同時(shí)送入網(wǎng)絡(luò)的輸出層神經(jīng)元中。按上述思想構(gòu)造的循環(huán)神經(jīng)網(wǎng)絡(luò)被稱為雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（Bi-directionalRecurrentNeuralNetwork，BRNN）。4.3.2雙向循環(huán)網(wǎng)絡(luò)BRNN雙向網(wǎng)絡(luò)基本結(jié)構(gòu)4.3循環(huán)神經(jīng)網(wǎng)絡(luò)拓展模型1997年JürgenSchmidhuber提出的長(zhǎng)短期記憶（LongShort-TermMemory，LSTM）模型，將RNN中的簡(jiǎn)單MP神經(jīng)元替換成具有更多連接權(quán)值的復(fù)雜記憶單元，使其記憶能力和處理復(fù)雜系統(tǒng)問(wèn)題的能力大大提高。LSTM是RNN的一種變體，它通過(guò)精妙的門控制將RNN中隱層的狀態(tài)信息（可以看做長(zhǎng)期記憶）和當(dāng)前時(shí)刻的輸入信息（可以看作短期記憶）結(jié)合起來(lái)，有效地提高了RNN解決復(fù)雜問(wèn)題的能力。4.3.3長(zhǎng)短期記憶網(wǎng)絡(luò)長(zhǎng)短期記憶網(wǎng)絡(luò)基本結(jié)構(gòu)4.3循環(huán)神經(jīng)網(wǎng)絡(luò)拓展模型LSTM的關(guān)鍵就是細(xì)胞狀態(tài)，水平線在圖上方貫穿運(yùn)行。細(xì)胞狀態(tài)類似于傳送帶，直接在整個(gè)鏈上運(yùn)行，只有一些少量的線性交互，信息在上面流傳保持不變會(huì)很容易。LSTM擁有三個(gè)門，來(lái)保護(hù)和控制細(xì)胞狀態(tài)，分別為遺忘門、輸入門、輸出門。4.3.3長(zhǎng)短期記憶網(wǎng)絡(luò)遺忘門輸入門輸出門4.3循環(huán)神經(jīng)網(wǎng)絡(luò)拓展模型門控循環(huán)單元（GatedRecurrentUnit，GRU）網(wǎng)絡(luò)是這些LSTM變體中影響最大的變體。它只有兩個(gè)門，分別為更新門和重置門，它將遺忘門和輸入門合成了一個(gè)單一的更新門。更新門用于控制前一時(shí)刻的狀態(tài)信息被帶入到當(dāng)前狀態(tài)中的程度，更新門的值越大說(shuō)明前一時(shí)刻的狀態(tài)信息帶入越多。重置門用于控制忽略前一時(shí)刻的狀態(tài)信息的程度，重置門的值越小說(shuō)明忽略得越多。4.3.4門控循環(huán)單元網(wǎng)絡(luò)GRU網(wǎng)絡(luò)基本結(jié)構(gòu)04循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)本身的特性使其特別適合處理時(shí)序數(shù)據(jù)，根據(jù)實(shí)際應(yīng)用場(chǎng)景的需要，RNN有四種常用的按時(shí)序展開(kāi)結(jié)構(gòu)：同步的序列到序列結(jié)構(gòu)、序列分類結(jié)構(gòu)、向量到序列結(jié)構(gòu)、異步的序列到序列的模式。它們是針對(duì)不同類型的輸入輸出分別設(shè)計(jì)的。4.4循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用結(jié)構(gòu)N到N結(jié)構(gòu)又稱為變換器（Transducer），最經(jīng)典的RNN結(jié)構(gòu)要求輸入序列和輸出序列的長(zhǎng)度相同。如圖所示，損失函數(shù)L為每一時(shí)刻隱層節(jié)點(diǎn)的輸出o(t-l)與相應(yīng)時(shí)刻的期望輸出y(t)序列的差異；當(dāng)前時(shí)刻t的隱層節(jié)點(diǎn)h(t)輸入為上一時(shí)刻的隱層h(t-l)輸出和當(dāng)前時(shí)刻的序列輸入x(t)，W為連接權(quán)重。雖然這種結(jié)構(gòu)要求輸入輸出序列長(zhǎng)度相同，但是輸入和輸出序列的長(zhǎng)度是可變的，這也正是RNN在處理序列數(shù)據(jù)時(shí)相對(duì)于CNN的優(yōu)勢(shì)。4.4循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用結(jié)構(gòu)4.4.1同步的序列到序列結(jié)構(gòu)（N到N）N到N的結(jié)構(gòu)N到N結(jié)構(gòu)的典型應(yīng)用如：計(jì)算視頻中每一幀的分類標(biāo)簽、詞性標(biāo)注、訓(xùn)練語(yǔ)言模型使用之前的詞預(yù)測(cè)下一個(gè)詞等。N到1結(jié)構(gòu)又稱為接受器（Acceptor），輸入x是一個(gè)時(shí)間序列，輸出o是一個(gè)單獨(dú)的值而不是時(shí)間序列，最后一個(gè)時(shí)間步的隱層節(jié)點(diǎn)輸出用于表示整個(gè)輸入序列x的特征，也可以用最后全部時(shí)間步的隱層節(jié)點(diǎn)輸出的某個(gè)函數(shù)值fo來(lái)表示序列x的特征。N到1結(jié)構(gòu)通常用來(lái)處理序列分類問(wèn)題，如一段語(yǔ)音、一段文字的類別，句子的情感分析，視頻序列的類別判斷等。4.4循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用結(jié)構(gòu)4.4.2序列分類結(jié)構(gòu)（N到1）N到1的結(jié)構(gòu)1到N結(jié)構(gòu)的網(wǎng)絡(luò)輸入為固定長(zhǎng)度的向量，而非上文中的按照時(shí)間展開(kāi)的向量序列。常用的1到N結(jié)構(gòu)中，有一種結(jié)構(gòu)只在序列開(kāi)始進(jìn)行輸入，而每一個(gè)時(shí)間步都有輸出。另一種為在隱層的每一個(gè)時(shí)間步都將x作為輸入。圖中當(dāng)前時(shí)間步的期望輸出也作為下一時(shí)間步的隱層節(jié)點(diǎn)輸入，是該結(jié)構(gòu)的另一種變體。1到N結(jié)構(gòu)常用于圖像理解。4.4循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用結(jié)構(gòu)4.4.3向量到序列結(jié)構(gòu)（1到N）1到N結(jié)構(gòu)首步輸入1到N結(jié)構(gòu)每步輸入N到M的結(jié)構(gòu)又叫編碼-譯碼（Encoder-Decoder）模型，也可稱之為Seq2Seq模型。N到N結(jié)構(gòu)的RNN要求輸入和輸出序列長(zhǎng)度相同，編碼-譯碼模型則不受此約束限制。用一個(gè)編碼網(wǎng)絡(luò)將輸入的序列編碼為一個(gè)上下文向量c。然后，用一個(gè)譯碼網(wǎng)絡(luò)對(duì)c進(jìn)行譯碼，將其變成輸出序列。N到M結(jié)構(gòu)實(shí)質(zhì)上使用了2個(gè)RNN，編碼器是一個(gè)N到1展開(kāi)結(jié)構(gòu)的RNN，譯碼器是一個(gè)1到M的展開(kāi)結(jié)構(gòu)RNN。N到M結(jié)構(gòu)常用于語(yǔ)言翻譯。4.4循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用結(jié)構(gòu)4.4.4異步的序列到序列的模式（N到M）N到M的編碼器-譯碼器結(jié)構(gòu)05總結(jié)4.5本章總結(jié)

本章介紹了RNN的基本知識(shí)和形式化的數(shù)學(xué)模型表示，給出了標(biāo)準(zhǔn)RNN的前向計(jì)算和時(shí)間反向傳播計(jì)算過(guò)程。針對(duì)RNN在實(shí)際問(wèn)題中遇到的問(wèn)題和困難，介紹了幾種流行的RNN變體結(jié)構(gòu)構(gòu)成的解決方案。最后給出了針對(duì)不同應(yīng)用環(huán)境中對(duì)于輸入輸出形式的不同要求而設(shè)計(jì)的N到N、N到1、1到N、N到M幾種主要應(yīng)用結(jié)構(gòu)。感謝您的觀看！人工智能技術(shù)基礎(chǔ)注意力機(jī)制第五章

注意力機(jī)制（AttentionMechanism）是人類特有的大腦信號(hào)處理機(jī)制。例如，人類視覺(jué)通過(guò)快速掃描全局圖像獲得需要重點(diǎn)關(guān)注的目標(biāo)區(qū)域，也就是一般所說(shuō)的注意力焦點(diǎn)，而后對(duì)這一區(qū)域投入更多注意力資源，獲取更多需要關(guān)注目標(biāo)的細(xì)節(jié)信息，抑制其他無(wú)用信息，人類的聽(tīng)覺(jué)也具有同樣的功能。5注意力機(jī)制簡(jiǎn)介5注意力機(jī)制簡(jiǎn)介

注意力機(jī)制是利用有限的注意力資源從大量信息中快速篩選出高價(jià)值信息的手段，所以說(shuō)注意力機(jī)制中最跟本的問(wèn)題，其實(shí)就是“選擇”。

在深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)中，一般而言模型的參數(shù)越多則模型的表達(dá)能力越強(qiáng)，模型所存儲(chǔ)的信息量也越大，但這會(huì)帶來(lái)信息過(guò)載的問(wèn)題。那么通過(guò)引入注意力機(jī)制，在眾多的輸入信息中聚焦于對(duì)當(dāng)前任務(wù)更為關(guān)鍵的信息，降低對(duì)其他信息的關(guān)注度，甚至過(guò)濾掉無(wú)關(guān)信息，就可以解決信息過(guò)載問(wèn)題，并提高任務(wù)處理的效率和準(zhǔn)確性。下圖為計(jì)算機(jī)視覺(jué)中的注意力機(jī)制：紅色表示需要重點(diǎn)關(guān)注的部分，藍(lán)色表示可以酌情忽略的部分。1.

了解注意力機(jī)制的定義和分類；2.掌握軟注意力機(jī)制原理及計(jì)算過(guò)程；3.掌握卷積網(wǎng)絡(luò)中常用的通道注意力和空間注意力的特性和應(yīng)用，以及常見(jiàn)的方案和改進(jìn)措施；4.了解自注意力機(jī)制的輸入方式及特性，了解自注意力機(jī)制在視覺(jué)領(lǐng)域的應(yīng)用；5.了解互注意力機(jī)制的特性。5注意力機(jī)制學(xué)習(xí)目標(biāo)目錄Contents5.1軟注意力機(jī)制的原理及計(jì)算過(guò)程通道注意力和空間注意力自注意力機(jī)制互注意力機(jī)制本章小結(jié)5.25.35.45.501軟注意力機(jī)制的原理及計(jì)算過(guò)程5.1軟注意力機(jī)制的原理及計(jì)算過(guò)程軟注意力機(jī)制的計(jì)算過(guò)程包括3個(gè)步驟：5.1軟