《人工智能技術(shù)基礎(chǔ)》課件 王科俊 第1、2章 人工智能簡(jiǎn)介、神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

人工智能技術(shù)基礎(chǔ)人工智能簡(jiǎn)介第一章

人工智能這個(gè)名詞對(duì)于大多數(shù)人來(lái)說(shuō)并不陌生。在很多影視作品，文學(xué)作品中都出現(xiàn)了這個(gè)概念。自從計(jì)算機(jī)面世以來(lái)，人們一直在思考如何讓計(jì)算機(jī)變得更加智能。而在這個(gè)過(guò)程中，人工智能的概念被提出。那么，到底什么才是人工智能呢，人工智能是怎樣發(fā)展的，人工智能又可以做些什么呢？

本章主要介紹人工智能的歷史與未來(lái)可能的發(fā)展以及人工智能的方法與應(yīng)用，有助于人工智能理論知識(shí)的學(xué)習(xí)。1人工智能簡(jiǎn)介目錄Contents1.1人工智能的定義及發(fā)展歷史人工智能方法人工智能的應(yīng)用人工智能的未來(lái)本章小結(jié)1.21.31.41.51.掌握人工智能的定義，了解人工智能的發(fā)展歷史；2.學(xué)習(xí)人工智能技術(shù)所包含的方法、應(yīng)用領(lǐng)域和未來(lái)發(fā)展；3.對(duì)人工智能技術(shù)有一個(gè)全面的了解。學(xué)習(xí)目標(biāo)1人工智能簡(jiǎn)介01人工智能的定義及發(fā)展歷史1.1人工智能的定義及發(fā)展歷史

人工智能（ArtificialIntelligence，AI）是研究用計(jì)算機(jī)對(duì)人類的智能進(jìn)行模擬和擴(kuò)展的一門新的技術(shù)科學(xué)。其目的是讓計(jì)算機(jī)能以與人類相似的智能，對(duì)數(shù)據(jù)信息進(jìn)行處理與加工。學(xué)者人工智能定義JohnMcCarthy（約翰·麥卡錫）1956年達(dá)特茅斯會(huì)議上提出：人工智能就是讓機(jī)器的行為看起來(lái)就像是人所表現(xiàn)出的智能行為一樣。Nelson（納爾遜）教授人工智能是關(guān)于知識(shí)的學(xué)科――怎樣表示知識(shí)以及怎樣獲得知識(shí)并使用知識(shí)的科學(xué)。美國(guó)麻省理工學(xué)院的Winston（溫斯頓）教授人工智能就是研究如何使計(jì)算機(jī)去做過(guò)去只有人才能做的智能工作。不同的定義反映了同一個(gè)問(wèn)題：人工智能所要做的是研究人類思考規(guī)律，構(gòu)造具有和人類擁有相似思考方式的人工系統(tǒng)。1.1.1人工智能的定義1.1人工智能的定義及發(fā)展歷史

人工智能這個(gè)概念是英國(guó)數(shù)學(xué)家圖靈在1950年提出的，這一年他發(fā)表了一篇?jiǎng)潟r(shí)代的論文——《計(jì)算機(jī)器與智能》（COMPUTINGMACHINERYANDINTELLIGENCE）。

在這篇論文中，他首次提出了人工智能的概念，當(dāng)時(shí)他給這個(gè)概念起的名字叫做“會(huì)思考的機(jī)器”（ThinkingMachine）。1.1.1人工智能的定義1.1人工智能的定義及發(fā)展歷史GeoHinton(多倫多大學(xué)，BP，DBN）,YoshuaBengio(蒙特利爾大學(xué)，GAN）和YannLeCun（Facebook人工智能部門主管，CNN）2019年3月27日共同被美國(guó)計(jì)算機(jī)學(xué)會(huì)（ACM）授予2018年圖靈獎(jiǎng)。以表彰他們提出的概念和工作使得深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)有了重大突破。

談及頒獎(jiǎng)緣由，ACM總裁CherriM.Pancake說(shuō)到：“人工智能現(xiàn)在是所有科學(xué)領(lǐng)域發(fā)展最快的領(lǐng)域之一，也是社會(huì)上最受關(guān)注的話題之一。人工智能的進(jìn)步和興盛在很大程度上歸功于Bengio、Hinton和LeCun為深度學(xué)習(xí)最新進(jìn)展奠定的基礎(chǔ)。這些技術(shù)被數(shù)十億人使用，任何一個(gè)擁有智能手機(jī)的人都能切實(shí)體驗(yàn)到自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)方面的進(jìn)步。除了我們每天使用的產(chǎn)品之外，深度學(xué)習(xí)的新進(jìn)展還在醫(yī)學(xué)、天文學(xué)、材料科學(xué)等領(lǐng)域?yàn)榭茖W(xué)家提供了強(qiáng)大的新工具?！盝ürgenSchmidhuber1997年提出了LSTM2018年圖靈獎(jiǎng)1.1.1人工智能的定義誕生1943年MP神經(jīng)元模型，1949年Hebb規(guī)則的提出，1950年MarvinMinsky和DunnEdmund一起建造世界上第一個(gè)人工神經(jīng)網(wǎng)絡(luò)模擬器Snare。1950年AlanTuring提出了圖靈測(cè)試，預(yù)言了人工智能的可行性。第一次高峰1956年的達(dá)特茅斯會(huì)議是人工智能發(fā)展的第一次高峰的起點(diǎn)。在這次會(huì)議后計(jì)算機(jī)科學(xué)被廣泛的應(yīng)用到很多領(lǐng)域，也讓很多研究學(xué)者看到了人工智能發(fā)展的美好未來(lái)。1958年Rosenblat提出的感知機(jī)。第一次低谷1970年代，人工智能進(jìn)入艱難發(fā)展時(shí)期。由于當(dāng)時(shí)計(jì)算機(jī)性能的嚴(yán)重不足，問(wèn)題的復(fù)雜度增加以及數(shù)據(jù)量的不足使機(jī)器很難的智能化，使人工智能進(jìn)入到第一次低谷。人工智能的崛起1980年，卡內(nèi)基梅隆大學(xué)設(shè)計(jì)的名為XCON的專家系統(tǒng)，采用了人工智能程序，利用人類專家的知識(shí)與解決問(wèn)題的方法來(lái)處理對(duì)應(yīng)領(lǐng)域的問(wèn)題。這種模式催生出了Symbolics和Aion等硬軟件公司，也直接造就了人工智能的崛起。1982年的Hopfield網(wǎng)絡(luò)；1986年的BP算法，解決了多層感知機(jī)的訓(xùn)練難題。11983年Button提出自適應(yīng)評(píng)判控制。1991年Brokers的機(jī)器動(dòng)物。第二次低谷1987年，蘋(píng)果和IBM公司生產(chǎn)的臺(tái)式機(jī)的性能超過(guò)LispMachines等廠商生產(chǎn)的通用計(jì)算機(jī)。在這之后，專家系統(tǒng)的優(yōu)勢(shì)喪失，人工智能的發(fā)展進(jìn)入第二次低估。1990年之后淺層神經(jīng)網(wǎng)絡(luò)沒(méi)有展示人們期望的能力。人工智能的再次崛起2006年，Hinton提出深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，成為人工智能再次轉(zhuǎn)折點(diǎn)。2012年在ImageNet大賽中取得了重大突破，被廣泛認(rèn)為是深度學(xué)習(xí)革命的開(kāi)始。2012年googele公司提出的知識(shí)圖譜，近幾年在網(wǎng)絡(luò)搜索引擎、知識(shí)問(wèn)答、產(chǎn)品推介上取得了巨大成功。2016-2017，AlphaGo戰(zhàn)勝李世石，人工智能的熱度達(dá)到空前的高度。2018年深度學(xué)習(xí)之父獲得了圖靈獎(jiǎng)。2016年以來(lái)，人工智能從學(xué)術(shù)界走向產(chǎn)業(yè)界，已成為科技革命的先鋒。2022年11月30日ChatGPT的出現(xiàn)已初顯人工智能的“奇點(diǎn)”時(shí)刻的來(lái)臨。（“奇點(diǎn)”，2014年美國(guó)未來(lái)學(xué)家?guī)焖鬼f爾預(yù)測(cè)2047年是人工智能的奇點(diǎn)。）1.1.2人工智能的發(fā)展歷史1.1人工智能的定義及發(fā)展歷史02人工智能方法1.2人工智能方法

人工智能誕生以來(lái)，出現(xiàn)了許多人工智能方法，如基于邏輯思維的傳統(tǒng)AI和基于模擬人腦形象思維的ANN。2006年，人工智能再次崛起以來(lái)，人工神經(jīng)網(wǎng)絡(luò)已成為人工智能的核心技術(shù)。目前，人工智能技術(shù)主要包括人工神經(jīng)網(wǎng)絡(luò)、知識(shí)圖譜、圖神經(jīng)網(wǎng)絡(luò)、生成式模型和機(jī)器學(xué)習(xí)方法。1Texthere圖神經(jīng)網(wǎng)絡(luò)生成式人工智能機(jī)器學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)圖神經(jīng)網(wǎng)絡(luò)將圖模型與神經(jīng)網(wǎng)絡(luò)技術(shù)相結(jié)合形成的圖神經(jīng)網(wǎng)絡(luò)，2018年以來(lái)，成為人工智能的研究熱點(diǎn)，已提出了圖卷積神經(jīng)網(wǎng)絡(luò)、圖循環(huán)神經(jīng)網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)和時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)等圖神經(jīng)網(wǎng)絡(luò)技術(shù)。生成式模型生成式人工智能模型包括變分自編碼器，生成對(duì)抗網(wǎng)絡(luò)（GAN），流模型和擴(kuò)散模型。以Transformer中的編碼器、譯碼器或Transformer整體為基礎(chǔ)的大模型在文字生成文字方面已經(jīng)取得了超越普通人的成績(jī)，以生成對(duì)抗網(wǎng)絡(luò)和擴(kuò)散模型為基礎(chǔ)的文字生成圖像、圖像生成圖像和視頻方面的成果也已達(dá)到以假亂真，甚至超越人類藝術(shù)家的水平。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)是通過(guò)模擬人的大腦神經(jīng)元組成神經(jīng)網(wǎng)絡(luò)，進(jìn)而產(chǎn)生具有類似人的智能的人工智能技術(shù)。人工神經(jīng)網(wǎng)絡(luò)從最初的神經(jīng)元和以神經(jīng)元為基礎(chǔ)組成單層神經(jīng)網(wǎng)絡(luò)（感知機(jī)），發(fā)展出了含有隱層的僅有前向連接的多層神經(jīng)網(wǎng)絡(luò)、含有反向連接的循環(huán)神經(jīng)網(wǎng)絡(luò)、包含注意力機(jī)制的深層神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)以及有自注意力機(jī)制和前向神經(jīng)網(wǎng)絡(luò)組成的Transformer變形金剛。機(jī)器學(xué)習(xí)方法機(jī)器學(xué)習(xí)方法是人工智能的核心技術(shù)之一，主要用于確定各種人工智能模型的參數(shù)。機(jī)器學(xué)習(xí)方法包括監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)、持續(xù)學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等方法。知識(shí)圖譜知識(shí)圖譜是2012年谷歌公司在傳統(tǒng)的知識(shí)工程技術(shù)上提出的用圖模型表示知識(shí)、實(shí)現(xiàn)知識(shí)推理的技術(shù)。知識(shí)圖譜技術(shù)給出一種全新的信息檢索模式，為解決信息檢索問(wèn)題提供了新的思路。本質(zhì)上，知識(shí)圖譜是一種揭示實(shí)體（事物）之間關(guān)系的語(yǔ)義網(wǎng)絡(luò)，可以對(duì)現(xiàn)實(shí)世界的事物及其相互關(guān)系進(jìn)行形式化描述。1.2人工智能方法知識(shí)圖譜人工智能方法人工神經(jīng)網(wǎng)絡(luò)

1943年提出了M-P模型，1958年提出的單層感知機(jī)是在M-P神經(jīng)元上發(fā)展得來(lái)，只能解決簡(jiǎn)單線性問(wèn)題而不能解決異或問(wèn)題，而堆疊的多層感知機(jī)（多層神經(jīng)網(wǎng)絡(luò)）可以，所謂深度學(xué)習(xí)，狹義的說(shuō)就是很多層的神經(jīng)網(wǎng)絡(luò)，尤其涉及語(yǔ)音、圖像等復(fù)雜對(duì)象的應(yīng)用中，深度學(xué)習(xí)取得了優(yōu)越的性能，當(dāng)前引起廣泛關(guān)注的，被稱為改變世界的大語(yǔ)言模型LLM也是以人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)模型構(gòu)成的。1.2人工智能方法1.人工神經(jīng)網(wǎng)絡(luò)及其發(fā)展

知識(shí)圖譜(KnowledgeGraph)（2012年5月17日由Google正式提出）知識(shí)圖譜旨在描述真實(shí)世界中存在的各種實(shí)體或概念及其關(guān)系，一般用三元組表示知識(shí)圖譜亦可被看作是一張巨大的圖，節(jié)點(diǎn)表示實(shí)體或概念，邊則由屬性或關(guān)系構(gòu)成中國(guó)國(guó)家美國(guó)日本英國(guó)北京9,634,057平方公里13.5404億2069.3萬(wàn)北緯38°56'東經(jīng)116°20'3.1525億華盛頓9,629,091平方公里北緯38°53′西經(jīng)77°02'178平方公里16410平方公里1.26億377835平方公里東京2188平方公里東經(jīng)140°50'北緯35°44'……面積人口首都緯度經(jīng)度面積人口1.2人工智能方法2.知識(shí)圖譜通用知識(shí)譜圖神經(jīng)網(wǎng)絡(luò)

早在1997年就已有人用遞歸神經(jīng)網(wǎng)絡(luò)開(kāi)始研究圖模型的識(shí)別，2009年FrancoScarselli等人提出了圖神經(jīng)網(wǎng)絡(luò)的概念，2018年后DeepMind發(fā)表了論文《Relationalinductivebiases,deeplearning,andgraphnetworks.》，并開(kāi)源了相關(guān)的算法包GraphNet，使圖神經(jīng)網(wǎng)絡(luò)引起了研究人員的廣泛關(guān)注。

本質(zhì)上說(shuō)，世界上所有的數(shù)據(jù)都是拓?fù)浣Y(jié)構(gòu)，也就是網(wǎng)絡(luò)結(jié)構(gòu)，如果能夠把這些網(wǎng)絡(luò)數(shù)據(jù)真正的收集、融合起來(lái)，如何利用神經(jīng)網(wǎng)絡(luò)技術(shù)處理這些復(fù)雜的拓?fù)鋽?shù)據(jù)，如何開(kāi)創(chuàng)新的處理圖數(shù)據(jù)以及知識(shí)圖譜的智能算法是AI的一個(gè)重要方向。1.2人工智能方法3.圖神經(jīng)網(wǎng)絡(luò)通用知識(shí)圖譜

生成式人工智能（AIGC），全稱ArtificialIntelligenceGeneratedContent，是一種人工智能技術(shù)，用于自動(dòng)生成內(nèi)容，該內(nèi)容在很大程度上類似于通過(guò)訓(xùn)練數(shù)據(jù)學(xué)到的內(nèi)容分布。與傳統(tǒng)的人工智能主要關(guān)注數(shù)據(jù)模式的識(shí)別和預(yù)測(cè)不同，AIGC專注于創(chuàng)造新的、富有創(chuàng)意的數(shù)據(jù)。其核心原理在于通過(guò)學(xué)習(xí)和理解數(shù)據(jù)分布，進(jìn)而生成具有相似特征的新數(shù)據(jù)。AIGC的應(yīng)用領(lǐng)域廣泛，包括圖像、文本、音頻、視頻等多個(gè)領(lǐng)域。目前，AIGC中最引人注目的應(yīng)用之一是ChatGPT，這是基于OpenAI公司的大型語(yǔ)言模型GPT-3.5訓(xùn)練、調(diào)試和優(yōu)化的聊天機(jī)器人應(yīng)用。ChatGPT可以處理各種不同類型的文本和推理任務(wù)，它在發(fā)布僅兩個(gè)月內(nèi)就獲得了10億月活躍用戶，超越了歷史上所有互聯(lián)網(wǎng)消費(fèi)者應(yīng)用軟件的用戶增長(zhǎng)速度。1.2人工智能方法4.生成式人工智能技術(shù)AIGC的迅速發(fā)展得益于三個(gè)關(guān)鍵領(lǐng)域的人工智能技術(shù)，即生成算法、預(yù)訓(xùn)練模型和多模態(tài)技術(shù)。通用知識(shí)圖譜

機(jī)器學(xué)習(xí)方法是研究如何使機(jī)器具有學(xué)習(xí)能力的理論方法。目前深度學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）的訓(xùn)練（學(xué)習(xí)）是基于最簡(jiǎn)單的梯度下降技術(shù)的有教師（監(jiān)督）、無(wú)教師（監(jiān)督，自編碼器采用的訓(xùn)練方法）的訓(xùn)練方法，必須有大量樣本作為支撐，因此目前取得很好應(yīng)用成果的基本都是掌握大量數(shù)據(jù)資源的大公司?，F(xiàn)實(shí)中許多問(wèn)題（研究對(duì)象），難以獲取大量樣本，即使能夠獲得大量樣本，但對(duì)其標(biāo)注工作量巨大難以完成。為此，近些年來(lái)，尤其是這幾年如何解決小樣本問(wèn)題已成為機(jī)器學(xué)習(xí)的熱點(diǎn)問(wèn)題。

近年來(lái)廣受關(guān)注的小樣本學(xué)習(xí)方法有：增強(qiáng)學(xué)習(xí)、對(duì)抗學(xué)習(xí)、遷移學(xué)習(xí)、元學(xué)習(xí)、零（少量）樣本學(xué)習(xí)、終身（持續(xù)）學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)等.1.2人工智能方法5.機(jī)器學(xué)習(xí)03人工智能的應(yīng)用人工智能應(yīng)用場(chǎng)景無(wú)人駕駛智慧物流智慧安防智慧醫(yī)療智慧環(huán)保智慧旅游智慧農(nóng)業(yè)智能制造智慧交通智慧金融智慧教育智慧家居智慧零售智能客服1.3人工智能的應(yīng)用中國(guó)制造2025：工廠里面每一個(gè)系統(tǒng)、每個(gè)設(shè)備、每個(gè)材料都能相互溝通，按照不同的需求自動(dòng)處理訂單，實(shí)行智慧生產(chǎn)。智能制造工業(yè)革命1.0蒸汽機(jī)時(shí)代蒸汽動(dòng)力取代人力機(jī)械化生產(chǎn)1760S工業(yè)革命2.0電氣化時(shí)代電力驅(qū)動(dòng)取代蒸汽動(dòng)力發(fā)動(dòng)機(jī)、汽車大規(guī)模流水線生產(chǎn)1850S工業(yè)革命3.0自動(dòng)化時(shí)代電子計(jì)算機(jī)、信息技術(shù)原子能、空間技術(shù)自動(dòng)化生產(chǎn)1970S工業(yè)革命4.0智能化時(shí)代AI+ICT人機(jī)協(xié)同決策智能制造2010S1.3人工智能的應(yīng)用智能制造/landing/vision/pr_3d_robot_vision.jsp?aw=gabaidukcvisials200630067人眼檢測(cè)效率很大程度上取決于檢驗(yàn)員的能力、經(jīng)驗(yàn)、專心程度，容易導(dǎo)致遺漏、分類錯(cuò)誤等問(wèn)題。智能分揀系統(tǒng)實(shí)現(xiàn)了零件的自動(dòng)檢測(cè)與分揀。通過(guò)三維視覺(jué)成像及檢測(cè)分析技術(shù)自動(dòng)識(shí)別零件是否合格，不受工件位置或朝向的影響。機(jī)械臂控制端計(jì)算出適合的運(yùn)動(dòng)路徑，實(shí)現(xiàn)零件的穩(wěn)定抓取與分揀。1.3人工智能的應(yīng)用智能制造系統(tǒng)一般架構(gòu)智能制造設(shè)計(jì)采購(gòu)管理服務(wù)生產(chǎn)系統(tǒng)感知智能決策精準(zhǔn)控制工作模型制造數(shù)據(jù)機(jī)器學(xué)習(xí)縮短產(chǎn)品周期降低綜合成本提高生產(chǎn)效率提升用戶體驗(yàn)需求構(gòu)建智能模型實(shí)施重塑生產(chǎn)方式物聯(lián)網(wǎng)AI基于貫穿5G通信深度感知大數(shù)據(jù)云計(jì)算1.3人工智能的應(yīng)用智慧農(nóng)業(yè)實(shí)時(shí)動(dòng)態(tài)地監(jiān)測(cè)作物形態(tài)變化，研究外界環(huán)境對(duì)作物生長(zhǎng)狀況產(chǎn)生的影響和作物生長(zhǎng)機(jī)制具有重要意義?；谏疃葘W(xué)習(xí)的植物生長(zhǎng)模型庫(kù)，實(shí)時(shí)采集、分析、診斷，建立植物生長(zhǎng)模型，應(yīng)用深度神經(jīng)網(wǎng)絡(luò)算法，實(shí)現(xiàn)植物生長(zhǎng)狀態(tài)判斷與預(yù)測(cè)。1.3人工智能的應(yīng)用智慧安防在園區(qū)安防中的應(yīng)用在刑偵辦案中的應(yīng)用借助人工智能在視頻內(nèi)容特征提取和內(nèi)容理解方面的天然優(yōu)勢(shì)。利用人工智能強(qiáng)大的計(jì)算能力和智能分析能力實(shí)時(shí)分析視頻內(nèi)容。檢測(cè)運(yùn)動(dòng)對(duì)象，識(shí)別人和物的屬性信息?？梢苿?dòng)巡檢機(jī)器人可以代替安保人員進(jìn)行定期巡邏，讀取儀表數(shù)值，發(fā)現(xiàn)潛在的風(fēng)險(xiǎn)。園區(qū)人員、車輛出入門禁管理，實(shí)現(xiàn)人車物實(shí)施跟蹤定位?？梢扇藛T的運(yùn)行軌跡、逗留時(shí)間、違規(guī)訪問(wèn)。1.3人工智能的應(yīng)用智慧安防運(yùn)用行為分析技術(shù)對(duì)實(shí)時(shí)視頻進(jìn)行智能分析，支持穿越警戒面、進(jìn)入/離開(kāi)區(qū)域、區(qū)域入侵、非法停車、物品遺留、物品丟失、人員徘徊、快速移動(dòng)、人員聚集等多種事件的分析檢測(cè)。支持行為排查、人員排查和車輛排查功能，快速定位目標(biāo)視頻片段，提高視頻查看效率。支持自動(dòng)報(bào)警，提高監(jiān)控的效率，實(shí)現(xiàn)智能化監(jiān)控防范。1.3人工智能的應(yīng)用智慧醫(yī)療1.3人工智能的應(yīng)用智能家居一般包括：

智能中控智能音箱

智能照明

智能入口

智能安防

智能家電控制

智能暖通系統(tǒng)

智能環(huán)境

智能窗簾

智能背景音樂(lè)智能家居華為智能家居tvc廣告-廣告:家電視頻-新片場(chǎng)()1.3人工智能的應(yīng)用智慧商務(wù)智能商務(wù)主要包括輔助智能交易、智能化拓展業(yè)務(wù)和企業(yè)商務(wù)智能化。智能商務(wù)代替人做決策行動(dòng)，商品服務(wù)選擇、交易自動(dòng)完成、互動(dòng)自動(dòng)實(shí)現(xiàn)、業(yè)務(wù)挖掘。用戶：提升消費(fèi)體驗(yàn)，語(yǔ)音服務(wù)、圖像服務(wù)、新聞推薦、產(chǎn)品推薦和廣告過(guò)濾等智能服務(wù)。商家：提升經(jīng)營(yíng)效率，需求分析、用戶畫(huà)像、精準(zhǔn)營(yíng)銷、智能客服、動(dòng)態(tài)定價(jià)。智能客服商品推薦廣告過(guò)濾市場(chǎng)分析精準(zhǔn)營(yíng)銷動(dòng)態(tài)定價(jià)VR購(gòu)物客戶群定位1.3人工智能的應(yīng)用智慧文娛AI+文娛AI+音樂(lè)AI+影視AI+創(chuàng)作AI+綜藝AI+虛擬偶像AI+游戲1.3人工智能的應(yīng)用04人工智能的未來(lái)政策法規(guī)人工智能作為全球各國(guó)發(fā)展數(shù)字化的重要技術(shù)手段，已經(jīng)由早期的“野蠻生長(zhǎng)”邁入“規(guī)范構(gòu)建”的階段。當(dāng)前各國(guó)通過(guò)政策手段對(duì)技術(shù)邊界做出的規(guī)范，其重要性與從戰(zhàn)略層面對(duì)產(chǎn)業(yè)進(jìn)行的推動(dòng)并駕齊驅(qū)。截至2020年年底，全球共有32個(gè)國(guó)家和地區(qū)發(fā)布了人工智能國(guó)家級(jí)戰(zhàn)略文件，另有22個(gè)國(guó)家和地區(qū)正在制訂相關(guān)文件。1.4人工智能的未來(lái)國(guó)家/地區(qū)主要特點(diǎn)政策法規(guī)大事記中國(guó)以人為本，政府優(yōu)先，起步雖晚，但是國(guó)家戰(zhàn)略領(lǐng)先全球2017年，“人工智能”首次寫(xiě)入政府工作報(bào)告，同年發(fā)布《新一代人工智能發(fā)展規(guī)劃》，提出三步走的戰(zhàn)略規(guī)劃，人工智能上升為國(guó)家戰(zhàn)略2020年，“十四五”規(guī)劃中提到“強(qiáng)化國(guó)家戰(zhàn)略科技力量，瞄準(zhǔn)人工智能、量子信息、集成電路等重大科技項(xiàng)目”2021年，作為“十四五”規(guī)劃的開(kāi)局之年，人工智能有望繼續(xù)得到大力發(fā)展美國(guó)以科技行業(yè)為主導(dǎo)，持續(xù)加大投入，旨在維持美國(guó)優(yōu)先地位2016年，發(fā)布《為人工智能的未來(lái)做準(zhǔn)備》和《國(guó)家人工智能研究與發(fā)展戰(zhàn)略計(jì)劃》兩份重要報(bào)告，人工智能上升為國(guó)家戰(zhàn)2019年，發(fā)布一項(xiàng)題為“加速美國(guó)在人工智能領(lǐng)域的領(lǐng)導(dǎo)地位”的行政命令，美國(guó)監(jiān)管機(jī)構(gòu)開(kāi)始接觸人工能2020年，發(fā)布一份關(guān)于聯(lián)邦機(jī)構(gòu)對(duì)人工智能監(jiān)管方法的備忘錄，同年發(fā)布《人工智能倡議首年年度報(bào)告》，回顧在人工智能方面取得的進(jìn)展，為未來(lái)的AI計(jì)劃提出長(zhǎng)期愿景歐盟以隱私和監(jiān)管為驅(qū)動(dòng)，高度關(guān)注數(shù)據(jù)保護(hù)和AI倫理，監(jiān)管政策最為嚴(yán)格2018年，發(fā)布《人工智能協(xié)調(diào)計(jì)劃》，要求歐盟成員以及挪威、瑞士等歐洲國(guó)家互相合作協(xié)調(diào)，推進(jìn)人工智建設(shè)2020年，歐盟委員會(huì)發(fā)布關(guān)于人工智能監(jiān)管框架的步提案2021年，推動(dòng)人工智能立法，對(duì)人工智能使用領(lǐng)域做出明確框定和限制，使人工智能在“可被信任”的前提下造福社會(huì)亞太積極推進(jìn)人工智能國(guó)家戰(zhàn)略2017年，日本首次推出人工智能戰(zhàn)略文件，并于2019年進(jìn)一步通過(guò)《AI戰(zhàn)略2019》文件以期解決日本所面臨AI問(wèn)題2019年，韓國(guó)、新加坡等國(guó)相繼將人工智能上升為國(guó)家戰(zhàn)略政策法規(guī)1.4人工智能的未來(lái)11.4人工智能的未來(lái)2022年，生成式人工智能取得的突破性成果，使人工智能在文本語(yǔ)言理解、繪畫(huà)和圖像生成方面初步展現(xiàn)出超越普通人類智能的能力，有人認(rèn)為通用人工智能的實(shí)現(xiàn)已經(jīng)出現(xiàn)曙光。

如何使利用使人工智能技術(shù)所產(chǎn)生的結(jié)果可信、可靠已經(jīng)成為人工智能發(fā)展迫切需要解決的問(wèn)題，可信人工智能的研究迫在眉睫，也是人工智能近期、甚至是長(zhǎng)期的發(fā)展目標(biāo)。

可信人工智能1.4.1近期發(fā)展的目標(biāo)11.4人工智能的未來(lái)可信人工智能全景框架1.4.1近期發(fā)展的目標(biāo)11.4人工智能的未來(lái)2016年10月，Google發(fā)布了一批悅?cè)说膶?shí)驗(yàn)室結(jié)果，虛擬訓(xùn)練的機(jī)械手臂學(xué)會(huì)了撿起多種物體，包括膠帶分配器、玩具和梳子。

自動(dòng)駕駛汽車企業(yè)也紛紛在模擬街道上部署虛擬汽車，從而減少在實(shí)地交通和道路環(huán)境中測(cè)試所需的時(shí)間和資金。2.虛擬環(huán)境下訓(xùn)練人工智能1.4.1近期發(fā)展的目標(biāo)2022年以來(lái)將大型語(yǔ)言模型與機(jī)器人相結(jié)合在虛擬環(huán)境中進(jìn)行訓(xùn)練已成發(fā)展趨勢(shì)，通過(guò)語(yǔ)言模型指揮虛擬機(jī)器人在虛擬環(huán)境中進(jìn)行尋覽，完成各種任務(wù)。1.4人工智能的未來(lái)1.4.2人工智能的未來(lái)

弱人工智能是擅長(zhǎng)于單個(gè)方面的人工智能，也就是我們現(xiàn)在人工智能發(fā)展所處在的階段。例如戰(zhàn)勝象棋世界冠軍的人工智能AlphaGo只會(huì)下棋，不會(huì)識(shí)字，能夠識(shí)別人臉的人工智能也不會(huì)知道你在想什么。

強(qiáng)人工智能則是人類級(jí)別的人工智能，在各方面都能和人類比肩甚至超越人的人工智能，人類能做的一切腦力活動(dòng)它都可以做。它不會(huì)再有局限性，它將擁有寬泛的心理能力，能夠進(jìn)行思考、計(jì)劃、解決問(wèn)題、抽象思維、理解復(fù)雜理念、快速學(xué)習(xí)或是從經(jīng)驗(yàn)中學(xué)習(xí)等操作。但是創(chuàng)造強(qiáng)人工智能會(huì)比弱人工智能要難得多，近年來(lái)大模型的發(fā)展和生成式人工智能的進(jìn)步，已為強(qiáng)人工智能的實(shí)現(xiàn)帶來(lái)了曙光。05本章小結(jié)1.5本章小結(jié)

本章從人工智能的定義和發(fā)展歷史出發(fā)，對(duì)人工智能技術(shù)所包含的方法、應(yīng)用領(lǐng)域和未來(lái)進(jìn)行了簡(jiǎn)單系統(tǒng)的介紹，使本書(shū)的讀者能夠?qū)θ斯ぶ悄芗夹g(shù)有一個(gè)全面型了解，為后續(xù)章節(jié)開(kāi)始的人工智能技術(shù)的具體內(nèi)容方法的介紹奠定基礎(chǔ)。感謝您的觀看！人工智能技術(shù)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)第二章

人的大腦中有近860億個(gè)神經(jīng)元，每個(gè)神經(jīng)元都與其它103~105個(gè)神經(jīng)元相連，組成巨大的復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)，支配人的行為和思想活動(dòng)。受到大腦神經(jīng)系統(tǒng)的啟發(fā)，人工智能的研究人員通過(guò)建立神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)模型來(lái)近似模擬大腦的神經(jīng)系統(tǒng)，這類數(shù)學(xué)模型稱為人工神經(jīng)網(wǎng)絡(luò)。

含有多隱層的深度神經(jīng)網(wǎng)絡(luò)已成為當(dāng)今人工智能的核心技術(shù)。在許多任務(wù)中，例如聽(tīng)覺(jué)、視覺(jué)和自然語(yǔ)言理解上，該網(wǎng)絡(luò)已取得重大突破，達(dá)到甚至超越普通人的水平，解決了人工智能應(yīng)用中的很多疑難問(wèn)題。

本章從生物神經(jīng)網(wǎng)絡(luò)出發(fā)，介紹人工神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和訓(xùn)練神經(jīng)網(wǎng)絡(luò)的核心算法-誤差反向傳播算法以及訓(xùn)練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理和常用技巧。2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)簡(jiǎn)介學(xué)習(xí)目標(biāo)2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)1.了解生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)；2.掌握人工神經(jīng)元模型，以及以人工神經(jīng)元模型為基礎(chǔ)的人工神經(jīng)網(wǎng)絡(luò)的類型；3.學(xué)習(xí)前向神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)；4.學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的誤差反向傳播算法；5.了解神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方面處理數(shù)據(jù)和訓(xùn)練模型的技巧。目錄Contents2.12.22.32.42.5人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)

生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)前向神經(jīng)網(wǎng)絡(luò)2.6反向傳播算法處理數(shù)據(jù)和訓(xùn)練模型的技巧本章小結(jié) 01生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1.1生物神經(jīng)元圖2-1生物神經(jīng)元

圖2-2突觸結(jié)構(gòu)2.1生物神經(jīng)元與生物神經(jīng)網(wǎng)絡(luò)2.1.2生物神經(jīng)網(wǎng)絡(luò)

生物神經(jīng)網(wǎng)絡(luò)(BiologicalNeuralNetwork)是由許多生物神經(jīng)元互相連接，以拓?fù)浣Y(jié)構(gòu)形成的網(wǎng)絡(luò)結(jié)構(gòu)。在生物神經(jīng)網(wǎng)絡(luò)中，大腦的記憶主要源自于無(wú)數(shù)神經(jīng)元之間的突觸聯(lián)系。這些突觸聯(lián)系大部分是由生物出生后受到的外界刺激而生長(zhǎng)起來(lái)的。外界刺激會(huì)不斷地激活神經(jīng)元，導(dǎo)致各個(gè)神經(jīng)元之間的連接強(qiáng)度發(fā)生相應(yīng)變化。正因?yàn)槿绱?，大腦才有學(xué)習(xí)和存儲(chǔ)信息的能力。

這種生物學(xué)上的奇妙設(shè)計(jì)也啟發(fā)了人工智能研究者，人工神經(jīng)網(wǎng)絡(luò)就是對(duì)生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的一種抽象、簡(jiǎn)化和模擬。02人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.1人工神經(jīng)元

人工神經(jīng)元(ArtificialNeuron)是組成人工神經(jīng)網(wǎng)絡(luò)的基本單元。1943年，McCulloch和Pitts根據(jù)生物神經(jīng)元的基本特性，提出了M-P模型，是當(dāng)前人工神經(jīng)網(wǎng)絡(luò)中人工神經(jīng)元模型。圖2-3人工神經(jīng)元2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.1人工神經(jīng)元2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.2激活函數(shù)

最初引入激活函數(shù)(ActivationFunction)的目的是反映生物神經(jīng)元的抑制和興奮兩種狀態(tài)，隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的進(jìn)步，激活函數(shù)不再僅采用階躍函數(shù)，而是發(fā)展出了Sigmoid函數(shù)和ReLU函數(shù)等多種形式，從而提高了人工神經(jīng)網(wǎng)絡(luò)的可訓(xùn)練性和非線性表示能力，使得人工神經(jīng)網(wǎng)絡(luò)在解決特征提取、分類和預(yù)測(cè)等諸多實(shí)際問(wèn)題上取得非常好的效果。常用的激活函數(shù)有以下幾種：常見(jiàn)的激活函數(shù)Sigmoid函數(shù)

Tanh函數(shù)

ReLU函數(shù)

LeakyReLU函數(shù)

Maxout單元

激活函數(shù)

Sigmoid函數(shù)Tanh激活函數(shù)是Sigmoid函數(shù)的變形

圖2-4Sigmoid和Tanh激活函數(shù)激活函數(shù)ReLU激活函數(shù)

LeakyReLU激活函數(shù)圖2-5ReLU函數(shù)和Leaky

ReLU函數(shù)激活函數(shù)GeLU函數(shù)是某些函數(shù)（比如雙曲正切函數(shù)

tanh）與近似數(shù)值的組合。圖2-6GeLU函數(shù)曲線2.2人工神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò)2.2.3人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)是由大量人工神經(jīng)元按一定規(guī)則連接構(gòu)建成的網(wǎng)絡(luò)結(jié)構(gòu)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)行為特征具有分布式并行信息處理能力的數(shù)學(xué)模型。

人工神經(jīng)網(wǎng)絡(luò)主要分為以下3種類型：（a）前饋型網(wǎng)絡(luò)

（b）反饋型網(wǎng)絡(luò)

（c）自組織神經(jīng)網(wǎng)絡(luò)圖2-7三種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)03前向神經(jīng)網(wǎng)絡(luò)2.3前向神經(jīng)網(wǎng)絡(luò)

前向神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetwork，F(xiàn)NN）是最早提出的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是最常見(jiàn)和常用的前饋型網(wǎng)絡(luò)，具有很強(qiáng)的擬合能力，常見(jiàn)的連續(xù)非線性函數(shù)都可以用前向神經(jīng)網(wǎng)絡(luò)來(lái)逼近。

多層前向神經(jīng)網(wǎng)絡(luò)又稱多層感知機(jī)(Multi-LayerPerceptron，MLP)，是由輸入層、輸出層和多個(gè)隱層組成。圖2-8多層前向神經(jīng)網(wǎng)絡(luò)2.3前向神經(jīng)網(wǎng)絡(luò)

多層前向網(wǎng)絡(luò)可以看作輸入到輸出的映射函數(shù)：

。評(píng)判一個(gè)模型的好壞，應(yīng)判斷這個(gè)模型是否與真實(shí)數(shù)據(jù)保持一致。04反向傳播算法2.4反向傳播算法反向傳播（BP）算法，即誤差反向傳播（ErrorBack-Propagation），是用于訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見(jiàn)方法。最早由ArthurE.Bryson等人在1969年提出。1974年Werbos在哈佛大學(xué)的博士論文中也研究了誤差反向傳播。Parker在1985年發(fā)表的技術(shù)報(bào)告也論述了誤差反向傳播算法。1986年Rumelhart等發(fā)表了誤差反向傳播算法，有力的推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用。2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.1鏈?zhǔn)椒▌t2.4反向傳播算法2.4.2梯度下降法2.4反向傳播算法2.4.3反向傳播算法第n次迭代，第k個(gè)神經(jīng)元的期望輸出圖2-8誤差反向傳播示意圖2.4反向傳播算法

傳統(tǒng)的誤差反向傳播有兩種實(shí)現(xiàn)方式：

第一種方法稱為單樣本修正法，即針對(duì)每一個(gè)送入網(wǎng)絡(luò)的訓(xùn)練樣本，通過(guò)網(wǎng)絡(luò)前向傳播計(jì)算得到網(wǎng)絡(luò)輸出與期望輸出的誤差來(lái)更新權(quán)重；第一種方法，針對(duì)每個(gè)樣本都更新參數(shù)，計(jì)算量大，穩(wěn)定性差。

第二種方法稱為批量梯度下降法，即每一次迭代時(shí)使用所有樣本進(jìn)行梯度的更新。第二種方法每次更新參數(shù)時(shí)都需要遍歷訓(xùn)練集中的所有樣本，計(jì)算量比第一種方法小，穩(wěn)定性更好。2.4.4反向傳播算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法1.動(dòng)量法(Momentum)2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法在BP算法中，學(xué)習(xí)率

的作用在于控制權(quán)重更新的幅度非常重要。學(xué)習(xí)率

越大則網(wǎng)絡(luò)收斂的越快。但學(xué)習(xí)率也并非越大越好，因?yàn)閷W(xué)習(xí)率取值過(guò)大有可能造成網(wǎng)絡(luò)無(wú)法收斂。學(xué)習(xí)率

過(guò)小，雖然可以有效避免網(wǎng)絡(luò)振蕩或發(fā)散，會(huì)導(dǎo)致訓(xùn)練網(wǎng)絡(luò)時(shí)的收斂速度變慢1）Adagrad算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法2）RMSprop算法2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法2.自適應(yīng)學(xué)習(xí)率法3）Adam算法Adam算法是一種綜合型的學(xué)習(xí)方法，可以看成是RMSprop和動(dòng)量法結(jié)合的學(xué)習(xí)方法，可以達(dá)到比RMSprop更好的效果。在實(shí)際訓(xùn)練中，一般將Adam作為默認(rèn)算法。2.4反向傳播算法2.4.4反向傳播算法的改進(jìn)算法3.隨機(jī)梯度下降法（SGD）

隨機(jī)梯度下降法是梯度下