深度學(xué)習(xí)基礎(chǔ)之3.3線性二分類的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)

1、深度學(xué)習(xí)基礎(chǔ)之3線性二分類的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)線性二分類的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)提出問(wèn)題回憶歷史，公元前206年，楚漢相爭(zhēng)，當(dāng)時(shí)劉邦項(xiàng)羽麾下的城池地理位置如下:其中，在邊界處有一些紅色和綠色重合的城池，表示雙方激烈爭(zhēng)奪的拉鋸戰(zhàn)。H樣本序號(hào)123119經(jīng)度相對(duì)值0.0254.1097.767緯度相對(duì)值3.4088.0121.8721=漢0=楚1101問(wèn)題：經(jīng)緯度相對(duì)值為(5,1)時(shí)，屬于楚還是漢？經(jīng)緯度相對(duì)值為(6,9)時(shí)，屬于楚還是漢？經(jīng)緯度相對(duì)值為(5,5)時(shí)，屬于楚還是漢？你可能會(huì)覺(jué)得這個(gè)太簡(jiǎn)單了，這不是有圖嗎？定位坐標(biāo)值后一下子就找到對(duì)應(yīng)的區(qū)域了。但是我們要求你用機(jī)器學(xué)習(xí)的方法來(lái)解決這個(gè)看似簡(jiǎn)單的問(wèn)題，

2、以便將來(lái)的預(yù)測(cè)行為是快速準(zhǔn)確的，而不是拿個(gè)尺子在圖上去比劃。再說(shuō)了，我們用這個(gè)例子，主要是想讓大家對(duì)問(wèn)題和解決方法都有一個(gè)視覺(jué)上的清晰認(rèn)識(shí)，而這類可以可視化的問(wèn)題，在實(shí)際生產(chǎn)環(huán)境中并不多見(jiàn)，絕大多數(shù)都是屬于樂(lè)山大佛頭霧水。問(wèn)題分析從圖示來(lái)看，在兩個(gè)顏色區(qū)間之間似乎存在一條直線，即線性可分的。我們?nèi)绾瓮ㄟ^(guò)神經(jīng)網(wǎng)絡(luò)精確地找到這條分界線呢？從視覺(jué)上判斷是線性可分的，所以我們使用單層神經(jīng)網(wǎng)絡(luò)即可輸入特征是經(jīng)度和緯度，所以我們?cè)谳斎雽釉O(shè)置兩個(gè)輸入X1=經(jīng)度，X2=維度最后輸出的是兩個(gè)分類，分別是楚漢地盤，可以看成非0即1的二分類問(wèn)題，所以我們只用一個(gè)輸出單元就可以了定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)根據(jù)前一節(jié)學(xué)習(xí)的二分類

3、原理，我們只需要一個(gè)二入一出的神經(jīng)元就可以搞定。這個(gè)網(wǎng)絡(luò)只有輸入層和輸出層，由于輸入層不算在內(nèi)，所以是一層網(wǎng)絡(luò)。X=(x1,1x2,1)權(quán)重矩陣W1B1輸入層是2個(gè)特征，則W的尺寸就是1x2:W=(w1,1w1,2B的尺寸是1x1,行數(shù)永遠(yuǎn)和W樣，列數(shù)永遠(yuǎn)是1。B=(b1,1)輸出層Z=WX+BA=Sigmoid(Z)損失函數(shù)二分類交叉熵函損失數(shù)CrossEntropyJ=-YlnA+(1-Y)ln(1-A)分類的方式是，可以指定當(dāng)A0.5時(shí)是正例，A=0.5時(shí)就是反例?；蛘吒鶕?jù)實(shí)際情況指定別的閾值比如0.3,0.8等等。此時(shí)反向傳播矩陣運(yùn)算的公式推導(dǎo)結(jié)果是：（交叉熵函數(shù)求導(dǎo)）（Sigmoid

4、激活函數(shù)求導(dǎo)）（矩陣運(yùn)算求導(dǎo)）dJY1-YAYdA=A-1A=A(1A)dAdZ=A(1A)dZdZdW=XT,dB=1所以W的梯度：dJdJdAdZdW=dAdZdWAY=A(1A)A(1A)XT=(AY)XT加粗樣式B的梯度：dJdJdAdZdB=dAdZdBAY=A(1A)A(1A)=AY樣本數(shù)據(jù)下載后拷貝到您要運(yùn)行的Python文件所在的文件夾。樣本特征值Xm表示第m個(gè)樣本值,義矩陣如下：Zm嚴(yán)表示第m個(gè)樣本的第n個(gè)特征值。樣本數(shù)據(jù)集中一共有200個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)有兩個(gè)特征：經(jīng)度和緯度。所以定X=(X1X2.X200)=(x1,1x2,1.x200,1x1,2x2,2.x200,2)=

5、(0.0254.1097.767.2.7623.4088.0121.872.2.653)樣本標(biāo)簽值般來(lái)說(shuō)，在標(biāo)記樣本時(shí)，我們會(huì)用1,2,3這樣的標(biāo)記，來(lái)指明是哪一類。在本例的二分類情況下，我們只需要把正例標(biāo)記為1,負(fù)例標(biāo)記為0。這個(gè)需要檢查原始樣本數(shù)據(jù)的格式，在自己的code中做相應(yīng)的轉(zhuǎn)化。如果你認(rèn)為劉邦是“好人”，你就把漢標(biāo)記為正例。對(duì)于一般的疾病分類來(lái)說(shuō),我們習(xí)慣于把陽(yáng)性(有疾病嫌疑)標(biāo)記為正例。Y=(Y1匕Ym)=(1代碼實(shí)現(xiàn)我們先無(wú)恥地從第5章的代碼庫(kù)ch05中，把一些已經(jīng)寫好的函數(shù)copy過(guò)來(lái)，形成一個(gè)BaseClassification.py文件，其中會(huì)包括神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基本過(guò)程函

6、數(shù)，加載數(shù)據(jù)，數(shù)據(jù)的歸一化函數(shù)，結(jié)果顯示函數(shù)等等。加載數(shù)據(jù)基本的加載數(shù)據(jù)和對(duì)樣本數(shù)據(jù)的歸一化工作，都可以用前一章的代碼來(lái)完成，統(tǒng)一集成在BaseClassification.py中了，下面代碼中的fromBaseClassificationimport*就是完成了代碼引入的工作。但是對(duì)于標(biāo)簽數(shù)據(jù)，需要一個(gè)特殊處理。遍歷標(biāo)簽數(shù)據(jù)YData中所有記錄，設(shè)置類別為1的標(biāo)簽為負(fù)例0,設(shè)置類別為2的標(biāo)簽為正例1。下載的數(shù)據(jù)中，被標(biāo)記為1和2,表示第1類和第2類,需要轉(zhuǎn)換成0/1。上述函數(shù)在本例中并沒(méi)有用，因?yàn)闃颖颈旧砭褪?/1標(biāo)記的。前向計(jì)算前向計(jì)算需要增加分類函數(shù)調(diào)用：前向計(jì)算計(jì)算損失函數(shù)值損失函數(shù)不再是均方差了，而是交叉熵函數(shù)對(duì)于二分類的形式。推理函數(shù)主程序運(yùn)行結(jié)果打印出來(lái)的W,B的值對(duì)我們來(lái)說(shuō)是幾個(gè)很神秘的數(shù)字，下一節(jié)再解釋。result值是返回結(jié)果，經(jīng)緯度相對(duì)值為(5,1)時(shí)，概率為0.33