人工智能應(yīng)用概論（第2版） 課件 第四章：神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

第四章

神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

《人工智能應(yīng)用概論（第2版）》RengongZhinengYingyongGailun“十四五”廣西壯族自治區(qū)職業(yè)教育規(guī)劃教材

新編21世紀(jì)高等職業(yè)教育精品教材·通識課系列Part0101神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)概念Part0202

深度學(xué)習(xí)原理目

錄contentPart0303卷積神經(jīng)網(wǎng)絡(luò)

【課程導(dǎo)入】現(xiàn)實中，我們的大腦接收眼睛或耳朵傳遞來的數(shù)據(jù)（輸入源），會通過一層層的神經(jīng)元去解析數(shù)據(jù)（神經(jīng)元），然后得到我們對于所見的判斷（輸出源）。對整個實現(xiàn)過程的抽象理解如圖4-2所示Part01神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)概念4.1.1生物神經(jīng)元（Biologicalneuron）人工神經(jīng)網(wǎng)絡(luò)是受到人類大腦結(jié)構(gòu)的啟發(fā)而創(chuàng)造出來的。生物神經(jīng)元是神經(jīng)系統(tǒng)的基本功能單元，負(fù)責(zé)接收、處理和傳遞信息。人類大腦中包含大約860億個神經(jīng)元，它們通過復(fù)雜的網(wǎng)絡(luò)相互連接，實現(xiàn)各種神經(jīng)功能。生物神經(jīng)元的結(jié)構(gòu)包括細(xì)胞體、樹突、軸突和突觸。以下是具體介紹：細(xì)胞體：細(xì)胞體是神經(jīng)元的主要部分，包含細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜。它是神經(jīng)元的代謝中心，維持細(xì)胞的生命活動。樹突：樹突是從細(xì)胞體向外延伸的分支纖維，主要作用是接收來自其他神經(jīng)元的信號。一個神經(jīng)元可以有多個樹突，這使得神經(jīng)元能從多個源頭接收信號。軸突：軸突是一條長的纖維，從細(xì)胞體延伸出來，負(fù)責(zé)將信號從細(xì)胞體傳遞到其他神經(jīng)元或組織。一個神經(jīng)元只有一個軸突，其長度可從幾微米到一米不等。突觸：突觸是神經(jīng)元之間傳遞信息的連接點，通常是軸突末端與其他神經(jīng)元的樹突或細(xì)胞體相接觸的部分。在這里，神經(jīng)遞質(zhì)被釋放，從而將信號從一個神經(jīng)元傳遞到另一個神經(jīng)元。4神經(jīng)網(wǎng)絡(luò)是一種模擬人腦神經(jīng)元結(jié)構(gòu)的計算模型。人工神經(jīng)網(wǎng)絡(luò)（ANN）由神經(jīng)元（圓圈）和權(quán)重w（直線）兩部分組成，分為輸入層、隱藏層、輸出層。其中，輸入層相當(dāng)于輸入元，隱藏層相當(dāng)于人工神經(jīng)網(wǎng)絡(luò)輸出層相當(dāng)于輸出源。三層之間的神經(jīng)元相互連接，和權(quán)重組（w1，w2）經(jīng)過前向算法和反饋算法的數(shù)學(xué)運(yùn)算，最終將結(jié)果以“激活碼”的方式輸出，這與生物（人類）神經(jīng)元中的突觸十分相似。輸入層是神經(jīng)網(wǎng)絡(luò)與外界數(shù)據(jù)的接口，負(fù)責(zé)接收并傳輸輸入數(shù)據(jù)到網(wǎng)絡(luò)中。隱藏層通過非線性變換和特征提取來加工輸入數(shù)據(jù)。輸出層將神經(jīng)網(wǎng)絡(luò)的處理結(jié)果轉(zhuǎn)換為外界可以理解的格式。4.1.2人工神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks）4神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的基礎(chǔ)，而深度學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)的一種特殊形式。深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)方法，采用多層神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)數(shù)據(jù)的高級特征。每一層網(wǎng)絡(luò)都從前一層的輸出中提取更復(fù)雜的信息，如自動駕駛。4.1.3深度學(xué)習(xí)(DeepLearning)如：自動駕駛中，將攝像頭、雷達(dá)、GPS、速度數(shù)據(jù)集放入到輸入層，經(jīng)過多層神經(jīng)網(wǎng)絡(luò)層計算，最終輸出層輸出方向、剎車、加速參數(shù)，實現(xiàn)自動駕駛的效果。4八大深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)：CNN卷積神經(jīng)網(wǎng)絡(luò)（圖像識別與分類）、RNN循環(huán)神經(jīng)（）、GAN對抗神經(jīng)網(wǎng)絡(luò)（生成式AI，生成新圖片）、LSTM長短期（天氣預(yù)測）、Transformer神經(jīng)網(wǎng)絡(luò)（自然語言處理）。4.1.3深度學(xué)習(xí)(DeepLearning)4傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的主要區(qū)別在于特征。傳統(tǒng)機(jī)器學(xué)習(xí)算法中，我們需要手工編碼特征；在深度學(xué)習(xí)算法中，特征由算法自動完成，但耗時且需要海量數(shù)據(jù)。4.1.4深度學(xué)習(xí)(DeepLearning)與機(jī)器學(xué)習(xí)Part02神經(jīng)網(wǎng)絡(luò)技術(shù)原理4感知器，也可翻譯為感知機(jī)（神經(jīng)元），是FrankRosenblatt在1957年就職于Cornell航空實驗室時所發(fā)明的一種人工神經(jīng)網(wǎng)絡(luò),被視為一種最簡單形式的前饋式人工神經(jīng)網(wǎng)絡(luò)，是一種二元線性分類器。工作機(jī)制：輸入層I*W（I1*W1+I2*W2+I3*W3+......）求和sum,將sum放入到f(X)激活函數(shù)，如果大于閾值T則為1，否則為0。如使用感知層識別西瓜和香蕉。4.2.1感知機(jī)模型-單層感知層1.假設(shè)西瓜和香蕉都僅有兩個特征（feature）：形狀和顏色，特征x1代表輸入顏色，特征x2代表形狀；2.進(jìn)一步簡化，我們把權(quán)重w1和w2默認(rèn)值都為1，閾值θ（亦稱偏值——bias）設(shè)置為0；3.感知器輸出為“1”，代表判定為“西瓜”，而輸出為“0”，代表判定為“香蕉”4多層感知機(jī)（MLP，MultilayerPerceptron）除了輸入輸出層，它中間可以有多個隱層。最簡單的MLP只含一個隱層，即三層的結(jié)構(gòu)，層與層之間是全連接的。輸入層是神經(jīng)網(wǎng)絡(luò)與外界數(shù)據(jù)的接口，負(fù)責(zé)接收并傳輸輸入數(shù)據(jù)到網(wǎng)絡(luò)中。隱藏層通過非線性變換和特征提取來加工輸入數(shù)據(jù)。輸出層將神經(jīng)網(wǎng)絡(luò)的處理結(jié)果轉(zhuǎn)換為外界可以理解的格式。4.2.1感知機(jī)模型-多層感知機(jī)44.2.2深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworks）【深度學(xué)習(xí)工作原理】深度學(xué)習(xí)是不停更改實驗因素的參數(shù)，讓預(yù)測值接近真實值的過程。深度學(xué)習(xí)的過程首先是輸入層接收數(shù)據(jù)，經(jīng)過隱藏層的前向算法（數(shù)據(jù)變換）得到一個預(yù)測值，預(yù)測值與真實目標(biāo)值代入損失函數(shù)，使用反饋算法計算出最小的損失值，然后把損失值放入優(yōu)化器中來有方向性地更改權(quán)重值，這樣就完成了一次學(xué)習(xí)過程。不斷循環(huán)以上過程更改參數(shù)，讓預(yù)測值接近真實目標(biāo)值，這就是深度學(xué)習(xí)的過程。44.2.3深度學(xué)習(xí)核心算法-前向傳播前向傳播用來計算預(yù)測值y。在神經(jīng)網(wǎng)絡(luò)中，信息從上一個神經(jīng)元直接流轉(zhuǎn)到下一個神經(jīng)元，直到輸出，最終得到在當(dāng)前參數(shù)下的損失函數(shù)的過程，稱為前向傳播算法。（類似學(xué)生做試題寫答案）44.2.3深度學(xué)習(xí)核心算法-反向傳播算法反向傳播算法是計算預(yù)測輸出與真實標(biāo)簽之間的誤差。反向傳播是一種基于微積分中鏈?zhǔn)椒▌t的算法，用于計算神經(jīng)網(wǎng)絡(luò)中各層權(quán)重和偏差的梯度。其核心思想是從輸出層開始，逐層向輸入層逆向傳播誤差，并計算每個參數(shù)的梯度。這一過程利用了前向傳播中保存的中間結(jié)果，避免重復(fù)計算，提高了訓(xùn)練效率。44.2.3深度學(xué)習(xí)核心算法-梯度下降梯度下降的過程可把求解損失函數(shù)最小值的過程看成“站在山坡某處去尋找山坡的最低點”。我們并不知道最低點的確切位置，梯度下降的策略是每次向“下坡路”的方向走一小步，經(jīng)過長時間地走“下坡路”，最后停留的位置也大概率在最低點附近。我們選這個“下坡路”的方向為梯度方向的負(fù)方向，因為每個點的梯度負(fù)方向是在該點處函數(shù)下坡最陡的方向，如圖4-7所示。在計算出梯度后，使用梯度下降算法更新網(wǎng)絡(luò)參數(shù)。更新規(guī)則為：新參數(shù)=舊參數(shù)-學(xué)習(xí)率*梯度，使得每次更新的參數(shù)其誤差縮小最快。44.2.4深度學(xué)習(xí)應(yīng)用場景-信貸場景下客戶信用評分信貸評分卡模型（見圖4-8）是當(dāng)前最常見的金融風(fēng)控手段之一，在信貸場景下客戶貸前申請、貸中調(diào)額、貸后催收等貸款生命周期的主要環(huán)節(jié)中已經(jīng)被普遍應(yīng)用。它主要是根據(jù)客戶的各種屬性和行為數(shù)據(jù)，建設(shè)信用評分模型，基于模型判斷是否給予授信以及授信的額度，從而識別和減少金融業(yè)務(wù)中的交易風(fēng)險。在對客戶進(jìn)行信用評分時，核心難點在于突發(fā)事件等因素可能導(dǎo)致模型效果不穩(wěn)定，因此需要能有效快速進(jìn)行模型自迭代的完整循環(huán)。輸入客戶特征數(shù)據(jù)違約1/不違約0CHiME-6被稱為“史上最難的語音識別任務(wù)”4深度學(xué)習(xí)在圖像和物體識別方面的能力遠(yuǎn)遠(yuǎn)超過了人類CHiME-6“史上最難的語音識別任務(wù)”科大訊飛多場景語音識別大賽上奪冠。4.2.4深度學(xué)習(xí)應(yīng)用場景CHiME-6被稱為“史上最難的語音識別任務(wù)”4深度學(xué)習(xí)可以應(yīng)用到醫(yī)療臨床檢測與診斷各個環(huán)節(jié)中4.2.4深度學(xué)習(xí)應(yīng)用場景CHiME-6被稱為“史上最難的語音識別任務(wù)”4深度學(xué)習(xí)加速推進(jìn)智慧城市建設(shè)4.2.4深度學(xué)習(xí)應(yīng)用場景Part03卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)通過卷積、激活、池化等操作層層遞進(jìn)地處理圖像數(shù)據(jù)，最終通過全連接層輸出結(jié)果。這種結(jié)構(gòu)使得CNN在計算機(jī)視覺等領(lǐng)域表現(xiàn)出色，成為深度學(xué)習(xí)的重要工具。4.3.1深度學(xué)習(xí)經(jīng)典網(wǎng)絡(luò)-卷積神經(jīng)網(wǎng)絡(luò)卷積層是完成圖像特征提取池化層是圖像降維（32*32像素

降維到5*5）全連接層是圖像分類將圖片8放入輸入層經(jīng)過Layer1卷積層提取圖片特征經(jīng)過Layer1池化層圖片降維14*14經(jīng)過Layer2卷積層提取圖片特征經(jīng)過Layer2池化層圖片降維5*5經(jīng)過全連接神經(jīng)網(wǎng)絡(luò)層完成圖片分類，最終輸出預(yù)測值y‘。卷積神經(jīng)網(wǎng)絡(luò)通過卷積、激活、池化等操作層層遞進(jìn)地處理圖像數(shù)據(jù)，主要是特征提取。最終通過全連接層輸出結(jié)果。這種結(jié)構(gòu)使得CNN在計算機(jī)視覺等領(lǐng)域表現(xiàn)出色，成為深度學(xué)習(xí)的重要工具。4.3.2深度學(xué)習(xí)經(jīng)典網(wǎng)絡(luò)-卷積層卷積神經(jīng)網(wǎng)絡(luò)特征提取池化層在卷積神經(jīng)網(wǎng)絡(luò)（CNN）中的主要作用是通過降低特征圖的空間維度來減少參數(shù)數(shù)量和計算量，同時保留重要信息以增強(qiáng)特征的不變性。池化層方式有2*2最大池化、2*2平均池化、2*2隨機(jī)池化。4.3.3深度學(xué)習(xí)經(jīng)典網(wǎng)絡(luò)-池化層全連接層在卷積神經(jīng)網(wǎng)絡(luò)（CNN）中的主要作用是將前層（如卷積層和池化層）提取的特征進(jìn)行整合，并將這些特征映射到樣本標(biāo)記空間，從而實現(xiàn)分類或回歸任務(wù)。全連接層通常位于CNN的最后幾層，每個神經(jīng)元都與前一層的所有神經(jīng)元相連。4.3.4深度學(xué)習(xí)經(jīng)典網(wǎng)絡(luò)-全連接層全連接層Part03神經(jīng)網(wǎng)絡(luò)模型TensorFlow是谷歌推出的深度學(xué)習(xí)開源框架，并且發(fā)布了TensorFlow游樂場。有了TensorFlow游樂場，我們在瀏覽器中就可以訓(xùn)練自己的神經(jīng)網(wǎng)絡(luò)，還有好看的圖像讓我們更直觀地了解神經(jīng)網(wǎng)絡(luò)的主要功能以及計算流程。/4.4.1TensorFlow游樂場TensorFlow游樂場的左側(cè)提供了四個不同的數(shù)據(jù)集（見圖4-1