Python金融數(shù)據(jù)分析與挖掘（微課版） 課件 5-4.神經(jīng)網(wǎng)絡(luò)

第5章機(jī)器學(xué)習(xí)與實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)模擬思想與神經(jīng)元工作過程神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型神經(jīng)網(wǎng)絡(luò)分類與回歸應(yīng)用舉例神經(jīng)網(wǎng)絡(luò)模擬思想第5章

資料學(xué)習(xí)（孩子的日常辨識(shí)能力）：一個(gè)孩子從生下來，就開始不斷地學(xué)習(xí)。他的大腦就好比一個(gè)能不斷接受新事物，同時(shí)能識(shí)別事物的龐大而復(fù)雜的模型，大腦模型不斷地接受外界的信息，并對(duì)其進(jìn)行判斷和處理。小孩會(huì)說話后，總喜歡問這問那，并不斷地說出這是什么那是什么。即使很多是錯(cuò)誤的，但經(jīng)過大人的糾正后，小孩終于能辨識(shí)日常中一些常見的事物了，這就是一個(gè)監(jiān)督學(xué)習(xí)的過程。某一天，大人帶著小孩，來到一個(gè)農(nóng)場(chǎng)，遠(yuǎn)遠(yuǎn)地就看到一大片綠油油的稻田，小孩興奮地說出“好大的一片稻田”，大人樂了。因?yàn)樾『⒌拇竽X已經(jīng)是一個(gè)經(jīng)過長(zhǎng)時(shí)間學(xué)習(xí)訓(xùn)練的“模型”，具備了一定的辨識(shí)能力。神經(jīng)元工作過程第5章

可以理解為n個(gè)輸入信號(hào)（信息），可以理解為對(duì)n個(gè)輸入信號(hào)的加權(quán)值，從而得到一個(gè)綜合信號(hào)（加權(quán)求和）神經(jīng)元需要對(duì)這個(gè)綜合信號(hào)做出反應(yīng)，即引入一個(gè)閾值

并與綜合信號(hào)比較，根據(jù)比較的結(jié)果做出不同的反應(yīng)，即輸出。這里用一個(gè)被稱為激發(fā)函數(shù)的函數(shù)

來模擬其反應(yīng)。例如，你蒙上眼睛，要判斷面前的人是男孩，還是女孩?？梢宰鲆粋€(gè)簡(jiǎn)單假設(shè)（大腦只有一個(gè)神經(jīng)元），只用一個(gè)輸入信號(hào)x1=頭發(fā)長(zhǎng)度（如50cm），權(quán)重為1，則其綜合信號(hào)為

我們用一個(gè)二值函數(shù)作為激發(fā)函數(shù)：假設(shè)閾值

=12，由于

，故

，由此我們可以得到輸出1為女孩，0為男孩。神經(jīng)元工作過程第5章

那么如何確定閾值是12，輸出1表示女孩，而0表示男孩呢？這就要通過日常生活中的大量實(shí)踐認(rèn)識(shí)。數(shù)學(xué)模型不像人可以通過日常中漫長(zhǎng)的學(xué)習(xí)和實(shí)踐訓(xùn)練，它只能通過樣本數(shù)據(jù)來訓(xùn)練，從而獲得模型的參數(shù)并應(yīng)用。例如，可以選擇1000個(gè)人，其中500個(gè)人是男孩，500個(gè)人是女孩，分別量其頭發(fā)長(zhǎng)度，輸入以上模型進(jìn)行訓(xùn)練，訓(xùn)練的準(zhǔn)則是判別正確率最大化。（1）取閾值=1，這時(shí)判別正確率應(yīng)該非常低。（2）取值依次增加，假設(shè)閾值=12時(shí)為最大，達(dá)到0.95，當(dāng)閾值>12時(shí)，判別的正確率開始下降，

故可以認(rèn)為閾值=12時(shí)達(dá)到判別正確率最大。這個(gè)時(shí)候，其中95%的男孩對(duì)應(yīng)的函數(shù)值為0，

同樣95%的女孩對(duì)應(yīng)的函數(shù)值為1。如果選用這個(gè)模型進(jìn)行判別，其判別正確率達(dá)到0.95。以上兩步訓(xùn)練完成即得到參數(shù)閾值=12，有95%的可能性輸出1表示判別為女孩，輸出0表示判別為男孩神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型第5章

x為m維向量，y為n維向量，隱含層有q個(gè)神經(jīng)元。假設(shè)有N個(gè)樣本數(shù)據(jù)，從輸入層到隱含層的權(quán)重記為從隱含層到輸出層的權(quán)重記為記第t個(gè)樣本輸入網(wǎng)絡(luò)時(shí)，隱含層單元的輸出為輸出層單元的輸出為，則：這里

為對(duì)應(yīng)輸入神經(jīng)元的閾值，

通常為1，

為對(duì)應(yīng)隱含層神經(jīng)元的閾值，

通常為1，

和

分別為隱含層、輸出層神經(jīng)元的激發(fā)函數(shù)。常用的激發(fā)函數(shù)如下神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)模型第5章

選定隱含層及輸出層神經(jīng)元的個(gè)數(shù)和激發(fā)函數(shù)后，這個(gè)神經(jīng)網(wǎng)絡(luò)就只有輸入層至隱含層、隱含層至輸出層的參數(shù)未知了。一旦確定了這些參數(shù)，神經(jīng)網(wǎng)絡(luò)就可以工作了。如何確定這些參數(shù)呢？基本思路如下：通過輸入層的N個(gè)樣本數(shù)據(jù)，使得真實(shí)的y值與網(wǎng)絡(luò)的預(yù)測(cè)值的誤差最小即可，它變成了一個(gè)優(yōu)化問題，記

，則優(yōu)化問題如下：如何求解這個(gè)優(yōu)化問題獲得最優(yōu)的

呢？常用的有BP算法，這里不再介紹該算法的具體細(xì)節(jié)，本節(jié)著重介紹如何利用Python進(jìn)行神經(jīng)網(wǎng)絡(luò)模型應(yīng)用。神經(jīng)網(wǎng)絡(luò)分類應(yīng)用舉例第5章

取UCI公共測(cè)試數(shù)據(jù)庫(kù)中的澳大利亞信貸批準(zhǔn)數(shù)據(jù)集作為本例的數(shù)據(jù)集，該數(shù)據(jù)集共有14個(gè)特征，1個(gè)分類標(biāo)簽y（1—同意貸款，0—不同意貸款），共690個(gè)申請(qǐng)者記錄。x1x2x3x4x5x6x7x8x9x10x11x12x13x14y122.0811.462441.5850001210012130022.6772840.1650000216010029.581.751441.250001228010021.6711.51530111112011120.178.172641.96111402601591015.830.5852881.51120210011117.426.52340.12500002601010058.674.4621183.0411602435611……以前600個(gè)申請(qǐng)者作為訓(xùn)練數(shù)據(jù)，后90個(gè)申請(qǐng)者作為測(cè)試數(shù)據(jù)，利用神經(jīng)網(wǎng)絡(luò)分類模型預(yù)測(cè)準(zhǔn)確率。神經(jīng)網(wǎng)絡(luò)分類應(yīng)用舉例第5章

1．?dāng)?shù)據(jù)獲取、訓(xùn)練樣本與測(cè)試樣本的劃分

importpandasaspd

data=pd.read_excel('credit.xlsx')#訓(xùn)練用的特征數(shù)據(jù)用x表示，預(yù)測(cè)變量用y表示，測(cè)試樣本則分別記為x1和y1。

x=data.iloc[:600,:14]

y=data.iloc[:600,14]

x1=data.iloc[600:,:14]

y1=data.iloc[600:,14]神經(jīng)網(wǎng)絡(luò)分類應(yīng)用舉例第5章

（1）導(dǎo)入神經(jīng)網(wǎng)絡(luò)分類模塊MLPClassifier。

fromsklearn.neural_networkimportMLPClassifier（2）利用MLPClassifier創(chuàng)建神經(jīng)網(wǎng)絡(luò)分類對(duì)象clf。

clf=MLPClassifier(solver='lbfgs',alpha=1e-5,hidden_layer_sizes=(5,2),random_state=1)

參數(shù)說明如下：

solver：神經(jīng)網(wǎng)絡(luò)優(yōu)化求解算法，包括lbfgs、sgd、adam3種，默認(rèn)值為adam。

alpha：模型訓(xùn)練誤差，默認(rèn)值為0.0001。

hidden_layer_sizes：隱含層神經(jīng)元個(gè)數(shù)。單層神經(jīng)元設(shè)置具體數(shù)值即可，本例隱含層有兩層，即5×2。

random_state：默認(rèn)設(shè)置為1即可。（3）調(diào)用clf對(duì)象中的fit()方法進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

clf.fit(x,y)（4）調(diào)用clf對(duì)象中的score()方法，獲得神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)準(zhǔn)確率（針對(duì)訓(xùn)練數(shù)據(jù)）。

rv=clf.score(x,y)（5）調(diào)用clf對(duì)象中的predict()方法可以對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)，獲得預(yù)測(cè)結(jié)果。

R=clf.predict(x1)2．神經(jīng)網(wǎng)絡(luò)分類模型構(gòu)建神經(jīng)網(wǎng)絡(luò)分類應(yīng)用舉例第5章

importpandasaspddata=pd.read_excel('credit.xlsx')x=data.iloc[:600,:14].valuesy=data.iloc[:600,14].valuesx1=data.iloc[600:,:14].valuesy1=data.iloc[600:,14].valuesfromsklearn.neural_networkimportMLPClassifierclf=MLPClassifier(solver='lbfgs',alpha=1e-5,hidden_layer_sizes=(5,2),random_state=1)clf.fit(x,y);rv=clf.score(x,y)R=clf.predict(x1)Z=R-y1Rs=len(Z[Z==0])/len(Z)print('預(yù)測(cè)結(jié)果為：',R)print('預(yù)測(cè)準(zhǔn)確率為：',Rs)預(yù)測(cè)結(jié)果為：[011110010110001100010110100000000000000001101011010001001000101000000000000000010010110010]預(yù)測(cè)準(zhǔn)確率為：0.8222222222222222神經(jīng)網(wǎng)絡(luò)回歸應(yīng)用舉例第5章

在發(fā)電場(chǎng)中電力輸出（PE）與溫度（AT）、壓力（V）、濕度（AP）、壓強(qiáng)（RH）有關(guān)，相關(guān)測(cè)試數(shù)據(jù)（部分）如表所示ATVAPRHPE8.3440.771010.8490.01480.4823.6458.491011.474.2445.7529.7456.91007.1541.91438.7619.0749.691007.2276.79453.09…………………………需實(shí)現(xiàn)的功能如下：（1）構(gòu)建神經(jīng)網(wǎng)絡(luò)回歸預(yù)測(cè)模型。（2）現(xiàn)有某次測(cè)試數(shù)據(jù)AT=28.4、V=50.6、AP=1011.9、RH=80.54，試預(yù)測(cè)其PE值。神經(jīng)網(wǎng)絡(luò)回歸應(yīng)用舉例第5章

1．?dāng)?shù)據(jù)獲取及訓(xùn)練樣本構(gòu)建#訓(xùn)練樣本的特征輸入變量用x表示，輸出變量用y表示。

importpandasaspd

data=pd.read_excel('發(fā)電場(chǎng)數(shù)據(jù).xlsx')

x=data.iloc[:,0:4]

y=data.iloc[:,4]2．預(yù)測(cè)樣本的構(gòu)建#預(yù)測(cè)樣本的輸入特征變量用x1表示。

importnumpyasnp

x1=np.array([28.4,50.6,1011.9,80.54])

x1=x1.reshape(1,4)神經(jīng)網(wǎng)絡(luò)回歸應(yīng)用舉例第5章

（1）導(dǎo)入神經(jīng)網(wǎng)絡(luò)回歸模塊MLPRegressor。

fromsklearn.neural_networkimportMLPRegressor（2）利用MLPRegressor創(chuàng)建神經(jīng)網(wǎng)絡(luò)回歸對(duì)象clf。

clf=MLPRegressor(solver='lbfgs',alpha=1e-5,hidden_layer_sizes=8,random_state=1)

參數(shù)說明如下：

solver：神經(jīng)網(wǎng)絡(luò)優(yōu)化求解算法，包括lbfgs、sgd、adam3種，默認(rèn)為adam。

alpha：模型訓(xùn)練誤差，默認(rèn)為0.0001。

hidden_layer_sizes：隱含層神經(jīng)元個(gè)數(shù)。單層神經(jīng)元設(shè)置具體數(shù)值即可。如果是多層，如隱含層有兩層5×2。

random_state：默認(rèn)設(shè)置為1即可。（3）調(diào)用clf對(duì)象中的fit()方法進(jìn)行網(wǎng)絡(luò)訓(xùn)練。

clf.fit(x,y)（4）調(diào)用clf對(duì)象中的score()方法，獲得神經(jīng)網(wǎng)絡(luò)回歸的擬合優(yōu)度（判決系數(shù)）。

rv=clf.score(x,y)（5）調(diào)用clf對(duì)象中的predict()可以對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)，獲得預(yù)測(cè)結(jié)果。

R=clf.predict(x1)3．神經(jīng)網(wǎng)絡(luò)回歸模型構(gòu)建神經(jīng)網(wǎng)絡(luò)回歸應(yīng)用舉例第5章

importpandasaspddata=pd.read_excel('發(fā)電場(chǎng)數(shù)據(jù).xlsx')x=data.iloc[:,0:4]y=data.iloc[:,4]fromsklearn.neural_networkimp