機(jī)器學(xué)習(xí)原理與應(yīng)用電子教案 5.9神經(jīng)網(wǎng)絡(luò)

備課日期：年月日授課時(shí)間課時(shí)（理論+實(shí)驗(yàn)）周次星期:節(jié)次:授課課題人工神經(jīng)網(wǎng)絡(luò)教學(xué)目標(biāo)1.理解神經(jīng)網(wǎng)絡(luò)基本原理。2.掌握神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型與求解方法。3.掌握Scikit-learn庫(kù)神經(jīng)網(wǎng)絡(luò)類庫(kù)的使用方法。教學(xué)重點(diǎn)1.神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型構(gòu)建；2.Scikit-learn神經(jīng)網(wǎng)絡(luò)類庫(kù)的使用。教學(xué)準(zhǔn)備PPT、點(diǎn)名冊(cè)等。教學(xué)方法指導(dǎo)閱讀、案例法。教學(xué)過程設(shè)計(jì)備注課題引入【思考】機(jī)器學(xué)習(xí)的本質(zhì)：Y=f(x)，假設(shè)f()形式已知而求參數(shù)。如果f()形式未知，如何確定f()?【關(guān)鍵】利用神經(jīng)網(wǎng)絡(luò)表達(dá)f()?！緯r(shí)間】分鐘。教學(xué)步驟及主要內(nèi)容【主板書】§6.8.神經(jīng)網(wǎng)絡(luò)一、基本原理【主板書】基本原理1.生物神經(jīng)元：興奮與抵制兩種狀態(tài)、結(jié)構(gòu)（細(xì)胞體、樹突與軸突）?！緩?qiáng)化與拓展】結(jié)構(gòu)與計(jì)算機(jī)結(jié)構(gòu)進(jìn)行比較。2.神經(jīng)元的數(shù)學(xué)表達(dá)。（1）基本形式：權(quán)值、求和與激活。（2）數(shù)學(xué)表達(dá)式（三個(gè)輸入為例）。（3）激活函數(shù)：Logistic函數(shù)、Tanh函數(shù)與ReLU函數(shù)?！緩?qiáng)化與拓展】數(shù)學(xué)形式與幾何形狀。3.神經(jīng)網(wǎng)絡(luò)。（1）基本結(jié)構(gòu)：輸入層、隱層與輸出層。（2）輸入X與輸出Y之間的關(guān)系。【強(qiáng)化與拓展】（1）以1個(gè)隱層中1個(gè)神經(jīng)元為例，求其輸出與輸入X之間的關(guān)系。（2）1個(gè)隱層中多個(gè)神經(jīng)元輸出與輸入X之間關(guān)系的矩陣化表達(dá)。（3）多隱層多個(gè)神經(jīng)元與輸入X之間關(guān)系的矩陣化表達(dá)。3（3）求解方法：誤差逆向傳播算法（BP算法）。【強(qiáng)化與拓展】正向傳播與誤差逆向反饋兩個(gè)過程?！舅颊可窠?jīng)網(wǎng)絡(luò)是由神經(jīng)元構(gòu)成的整體，相當(dāng)于由學(xué)生構(gòu)成的班集體，只有每個(gè)同學(xué)相互團(tuán)結(jié)、協(xié)同學(xué)習(xí)，才能達(dá)到整體上的最優(yōu)?！糚PT〗神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建?！緯r(shí)間】分鐘?！咎釂枴俊６?、Scikit-learn庫(kù)的使用【主板書】Scikit-learn庫(kù)的使用1.庫(kù)導(dǎo)入fromsklearn.neural_networkimportMLPClassifier（分類）fromsklearn.neural_networkimportMLPRegressor（回歸）2.模型構(gòu)建與求解mlp=MLPRegressor()/MLPClassifier(activation=’relu’,hidden_layer_sizes=(5,5))hidden_layer_sizes：隱層神經(jīng)元與層次。例1.hidden_layer_sizes=(5,8)：表示有兩層隱藏層，第1層隱藏層有5個(gè)神經(jīng)元，第2層隱藏層有8個(gè)神經(jīng)元。activation：激活函數(shù)可選為{'identity','logistic','tanh','relu'}，默認(rèn)值為'relu'。【強(qiáng)化與拓展】（1）identity：f(x)=x；（2）logistic：f(x)=1/(1+exp(-x))；（3）tanh：f(x)=tanh(x)；（4）relu：f(x)=max(0,x)。3.常用方法與屬性fit(X,y)：用于訓(xùn)練模型。predict(X)：基于訓(xùn)練模型對(duì)預(yù)測(cè)樣本進(jìn)行類別預(yù)測(cè)。score(X,y)：計(jì)算預(yù)測(cè)精度。classes_：每個(gè)輸出的類標(biāo)簽。loss_：損失函數(shù)計(jì)算出來的當(dāng)前損失值。

coefs_：列表中的第i個(gè)元素表示i層的權(quán)重矩陣。intercepts_：列表中第i個(gè)元素代表i+1層的偏差向量。

n_iter_：迭代次數(shù)

。n_layers_：層數(shù)。

n_outputs_：輸出的個(gè)數(shù)。

out_activation_：輸出激活函數(shù)的名稱。4.應(yīng)用實(shí)例。例2：分類。（1）數(shù)據(jù)：make_moons。（2）模型構(gòu)建：（6，3）。（3）分類邊界的繪制?！糚PT〗分類實(shí)現(xiàn)過程與結(jié)果。例3：回歸〖PPT〗。（1）數(shù)據(jù)：正弦曲線（噪聲服從正態(tài)分布）。（2）模型構(gòu)建：（5，8）。（3）結(jié)果輸出（與支持向量機(jī)比較）?！糚PT〗回歸實(shí)現(xiàn)過程與結(jié)果?！緩?qiáng)化與拓展】神經(jīng)網(wǎng)絡(luò)：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則；支持向量機(jī)：結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則?！緯r(shí)間】分鐘?！咎釂枴俊Ｕn堂練習(xí)其他無小結(jié)與作業(yè)課堂小結(jié)神經(jīng)網(wǎng)絡(luò)是通過模擬生物神經(jīng)網(wǎng)絡(luò)而解決分類、回歸等問題的機(jī)器學(xué)習(xí)算法，因?yàn)榫哂袑W(xué)習(xí)和構(gòu)建非線性復(fù)雜模型的能力，因而應(yīng)用非常廣泛。神經(jīng)網(wǎng)絡(luò)最突出的問題在于不太易于用清晰易懂且可解析的形式描述其工作機(jī)理，特別在層次較深時(shí)，如何對(duì)其中的權(quán)重參數(shù)進(jìn)行有效地更新是提高其整體性能的關(guān)鍵。本課作業(yè)1.畫出ReLU函數(shù)曲線。2.利用Scikit-learn庫(kù)生成make_blobs數(shù)據(jù)并將數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)兩部分。fromsklearn.datasets.samples_generatorimportmake_blobsX,y=make_blobs(n_samples=500,n_features=2,centers=[[1,1],[2,2]],cluster_std=[0.6,0.6])請(qǐng)完成以下實(shí)驗(yàn)：（1）將隱層設(shè)置為1層、神經(jīng)元設(shè)置為1-10，求取測(cè)試樣本預(yù)測(cè)精度的變化曲