深度學(xué)習(xí)理論與實(shí)踐 課件 第3-5章 機(jī)器學(xué)習(xí)基礎(chǔ)、Logistic回歸、神經(jīng)網(wǎng)絡(luò)基礎(chǔ)

第3章機(jī)器學(xué)習(xí)基礎(chǔ)機(jī)器學(xué)習(xí)概述舉例:剛?cè)胄械亩周?chē)評(píng)估師，經(jīng)過(guò)大量長(zhǎng)期的工作經(jīng)驗(yàn)，對(duì)過(guò)往大量的二手車(chē)的性能狀態(tài)和售賣(mài)定價(jià)進(jìn)行了歸納和總結(jié)，形成了一定的理論方法?！皺C(jī)器學(xué)習(xí)”是一門(mén)致力于使用計(jì)算手段，利用過(guò)往積累的關(guān)于描述事物的數(shù)據(jù)而形成的數(shù)學(xué)模型，在新的信息數(shù)據(jù)到來(lái)時(shí)，通過(guò)上述模型得到目標(biāo)信息的一門(mén)學(xué)科。關(guān)鍵術(shù)語(yǔ)維度屬性品牌車(chē)型車(chē)款行駛里程上牌時(shí)間/年上牌時(shí)間/月折算價(jià)格/萬(wàn)1奧迪A42.2LMT10000201393.22奧迪Q31.8T30000201744.73大眾高爾夫15款1.4TS9......1000北京吉普250005款75000201561.2下表展示了二手車(chē)評(píng)估師在過(guò)往經(jīng)手的一千臺(tái)二手車(chē)的六個(gè)維度屬性和其定價(jià)結(jié)果的數(shù)據(jù)。關(guān)鍵術(shù)語(yǔ)1）屬性維度/特征（feature）:就是指能夠描述出目標(biāo)事物樣貌的一些屬性。在這里，就是二手車(chē)各個(gè)維度指標(biāo)就是最終幫助評(píng)定二手車(chē)價(jià)格的特征，例如：品牌、車(chē)型、車(chē)款、行駛里程、上牌時(shí)間......；2）預(yù)測(cè)目標(biāo)（target/label）：想要基于已有的維度屬性的數(shù)據(jù)值，預(yù)測(cè)出的事物的結(jié)果，可以是類(lèi)別判斷和數(shù)值型數(shù)字的預(yù)測(cè)。在這里，二手車(chē)的價(jià)格就是預(yù)測(cè)的目標(biāo)，它預(yù)測(cè)目標(biāo)是數(shù)據(jù)型，屬于回歸；3）訓(xùn)練集（trainset）:上表中的一千條數(shù)據(jù)，包括維度屬性和預(yù)測(cè)目標(biāo)，用來(lái)訓(xùn)練模型，找到事物維度屬性和預(yù)測(cè)目標(biāo)之間的關(guān)系；4）模型（model）：它定義了事物的屬性維度和預(yù)測(cè)目標(biāo)之間的關(guān)系，它是通過(guò)學(xué)習(xí)訓(xùn)練集中事物的特征和結(jié)果之間的關(guān)系得到的。機(jī)器學(xué)習(xí)的分類(lèi)監(jiān)督學(xué)習(xí)：在現(xiàn)有數(shù)據(jù)集中，既有指定維度屬性，又指定預(yù)測(cè)的目標(biāo)結(jié)果。通過(guò)計(jì)算機(jī)，學(xué)習(xí)出能夠正確預(yù)測(cè)維度屬性和目標(biāo)結(jié)果之間的關(guān)系的模型。對(duì)于后續(xù)的只有維度屬性的新的樣本，利用已經(jīng)訓(xùn)練好的模型，進(jìn)行目標(biāo)結(jié)果的正確的預(yù)判。常見(jiàn)的監(jiān)督學(xué)習(xí)有回歸和分類(lèi)：回歸是指通過(guò)現(xiàn)有數(shù)據(jù)，預(yù)測(cè)出數(shù)值型數(shù)據(jù)的目標(biāo)值，通常目標(biāo)值是連續(xù)型數(shù)據(jù)；分類(lèi)是指通過(guò)現(xiàn)有數(shù)據(jù)，預(yù)測(cè)出目標(biāo)樣本的類(lèi)別。無(wú)監(jiān)督學(xué)習(xí)：其是指是，現(xiàn)有的樣本集沒(méi)有做好標(biāo)記，即沒(méi)有給出目標(biāo)結(jié)果，需要對(duì)已有維度的數(shù)據(jù)直接進(jìn)行建模。無(wú)監(jiān)督學(xué)習(xí)中最常見(jiàn)的使用就是聚類(lèi)使用，把具有高度相似度的樣本歸納為一類(lèi)。機(jī)器學(xué)習(xí)的分類(lèi)半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)：半監(jiān)督一般是指數(shù)據(jù)集中的數(shù)據(jù)有一部分是有標(biāo)簽的,另一部分是沒(méi)標(biāo)簽的，在這種情況下想要獲得和監(jiān)督學(xué)習(xí)同樣的結(jié)果而產(chǎn)生的算法。強(qiáng)化學(xué)習(xí)，有一種說(shuō)法把它稱(chēng)為半監(jiān)督學(xué)習(xí)的一種。它是模擬了生物體和環(huán)境互動(dòng)的本質(zhì)，當(dāng)行為為正向時(shí)獲得“獎(jiǎng)勵(lì)”，行為為負(fù)向時(shí)獲得“懲罰”，基于此構(gòu)造出的具有反饋機(jī)制的模型。神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)：神經(jīng)網(wǎng)絡(luò)，正如它的名字所示，該模型的靈感來(lái)自于中樞神經(jīng)系統(tǒng)的神經(jīng)元，它通過(guò)對(duì)輸入值施加特定的激活函數(shù)，得到合理的輸出結(jié)果。神經(jīng)網(wǎng)格是一種機(jī)器學(xué)習(xí)模型，可以說(shuō)是目前最火的一種。深度神經(jīng)網(wǎng)絡(luò)就是搭建層數(shù)比較多的神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)就是使用了深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)。人工智能、機(jī)器學(xué)習(xí)、以及神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)它們之間的具體關(guān)系機(jī)器學(xué)習(xí)的模型構(gòu)造過(guò)程（1）找到合適的假設(shè)函數(shù)，它目的為通過(guò)輸入數(shù)據(jù)來(lái)預(yù)測(cè)判斷結(jié)果；其中為假設(shè)函數(shù)里面待求解的參數(shù)。（2）構(gòu)造損失函數(shù)，該函數(shù)表示預(yù)測(cè)的輸出值即模型的預(yù)測(cè)結(jié)果（h）與訓(xùn)練數(shù)據(jù)類(lèi)別y之間的偏差?？梢允瞧罱^對(duì)值和的形式或其它合理的形式，將此記為J（），表示所有訓(xùn)練數(shù)據(jù)的預(yù)測(cè)值和實(shí)際類(lèi)別之間的偏差。（3）顯然，J（）的值越小，預(yù)測(cè)函數(shù)越準(zhǔn)確，最后以此為依據(jù)求解出假設(shè)函數(shù)里面的參數(shù)。監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)，它是機(jī)器學(xué)習(xí)算法中的重要組成部分。其主要又分為分類(lèi)和回歸。目前，分類(lèi)算法的應(yīng)用非常廣泛，銀行中風(fēng)險(xiǎn)評(píng)估、客戶(hù)類(lèi)別分類(lèi)、文本檢索和搜索引擎分類(lèi)、安全領(lǐng)域中的入侵檢測(cè)以及軟件項(xiàng)目中的應(yīng)用等等。線(xiàn)性回歸這里有樣本點(diǎn)；假設(shè)X,Y滿(mǎn)足一元線(xiàn)性回歸關(guān)系，則有：；這里y為真實(shí)值，為根據(jù)一元線(xiàn)性關(guān)鍵計(jì)算出的預(yù)測(cè)值。a,b分別為公式中的參數(shù)。為了計(jì)算出上述參數(shù)，這里構(gòu)造損失函數(shù)為殘差平方和，即最小。把已知x、y數(shù)據(jù)代入，求解損失函數(shù)最小即可得參數(shù)。案例分析例如在煉鋼過(guò)程中，鋼水的含碳量x與冶煉時(shí)間y如下表6.2所示，x和y具有線(xiàn)性相關(guān)性。表6.2鋼水含碳量與冶煉時(shí)間數(shù)據(jù)表Logistic回歸Sigmoid函數(shù)公式:對(duì)于線(xiàn)性邊界的情況，邊界的形式：構(gòu)造的預(yù)測(cè)函數(shù)為:可以表示當(dāng)分類(lèi)結(jié)果為類(lèi)別“1”時(shí)候的概率Logistic回歸當(dāng)輸入為x時(shí)通過(guò)模型公式判斷出的最后結(jié)果的類(lèi)別分別為“1”和“0”的概率：聯(lián)合寫(xiě)成下式:Logistic回歸通過(guò)最大似然估計(jì)構(gòu)造Cost函數(shù)如式:Logistic回歸通過(guò)梯度下降法求不斷迭代，直至最后，求解得到參數(shù)，得到預(yù)測(cè)函數(shù)。進(jìn)行新的樣本的預(yù)測(cè)。案例分析這里采用最經(jīng)典的鳶尾花數(shù)據(jù)集，理解上述模型。鳶尾花數(shù)據(jù)集記錄了如下圖6.4所示的三類(lèi)鳶尾花的萼片長(zhǎng)度(cm)、萼片寬度(cm)、花瓣長(zhǎng)度(cm)、花瓣寬度(cm)。案例分析鳶尾花數(shù)據(jù)集詳細(xì)數(shù)據(jù)如下表6.3展示所示，其采集的是鳶尾花的測(cè)量數(shù)據(jù)以及其所屬的類(lèi)別，這里為方便解釋?zhuān)覀儍H采用Iris-setosa和Iris-virginica這兩類(lèi)。則一共有100個(gè)觀察值，4個(gè)輸入變量和1個(gè)輸出變量。測(cè)量數(shù)據(jù)包括：萼片長(zhǎng)度(cm)、萼片寬度(cm)、花瓣長(zhǎng)度(cm)、花瓣寬度(cm)。進(jìn)而用其建立二分類(lèi)問(wèn)題。最小近鄰法最小近鄰算法(K-nearestNeighbors，KNN)是一種基于實(shí)例學(xué)(instance-basedlearning)。KNN算法的基本思想是，如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中大多數(shù)屬于某一個(gè)類(lèi)別，則該樣本也屬于這個(gè)類(lèi)別。通常K的取值比較小，不會(huì)超過(guò)20，左圖展示了Knn算法的分類(lèi)邏輯示意圖。最小近鄰法最小近鄰算法(K-nearestNeighbors，KNN)是一種基于實(shí)例學(xué)(instance-basedlearning)。KNN算法的基本思想是，如果一個(gè)樣本在特征空間中的k個(gè)最相似(即特征空間中最鄰近)的樣本中大多數(shù)屬于某一個(gè)類(lèi)別，則該樣本也屬于這個(gè)類(lèi)別。通常K的取值比較小，不會(huì)超過(guò)20，左圖展示了Knn算法的分類(lèi)邏輯示意圖。最小近鄰法a、距離的選擇1）計(jì)算測(cè)試數(shù)據(jù)與各個(gè)訓(xùn)練數(shù)據(jù)之間的距離；2）按照下面距離的公式將對(duì)應(yīng)數(shù)據(jù)之間的距離計(jì)算出來(lái)后，將結(jié)果進(jìn)行從小到大的排序；3）選取計(jì)算結(jié)果中最小的前K個(gè)點(diǎn)（K值的確定后文會(huì)具體介紹）；4）把這K個(gè)點(diǎn)中現(xiàn)頻率次數(shù)最多的類(lèi)別，作為最終待判斷數(shù)據(jù)的預(yù)測(cè)分類(lèi). 通過(guò)這一流程可以發(fā)現(xiàn)，KNN算法在計(jì)算實(shí)現(xiàn)其分類(lèi)的效果的過(guò)程中有三個(gè)重要的因素：衡量測(cè)試數(shù)據(jù)和訓(xùn)練數(shù)據(jù)之間的距離計(jì)算準(zhǔn)則、K值的大小的選取、分類(lèi)的規(guī)則。最小近鄰法-距離的選擇K近鄰法的特征空間一般是n維實(shí)數(shù)向量空間Rn。使用的距離是歐氏距離，但也可以是其它距離，如更一般的Lp距離或Minkowski距離?，F(xiàn)設(shè)特征空間X是n維實(shí)數(shù)向量空間的Lp距離定義為:最小近鄰法-距離的選擇當(dāng)p=1時(shí)，曼哈頓（Manhattan）距離如式所示:當(dāng)p=2時(shí)，歐氏（Euclidean）距離如式所示:當(dāng)p->∞,時(shí)，切比雪夫距離如式（6.16）所示：最小近鄰法-K值的確定通常情況，K值從1開(kāi)始迭代，每次分類(lèi)結(jié)果使用測(cè)試集來(lái)估計(jì)分類(lèi)器的誤差率或其它評(píng)價(jià)指標(biāo)。K值每次增加1，即允許增加一個(gè)近鄰（一般k的取值不超過(guò)20，上限是n的開(kāi)方，隨著數(shù)據(jù)集的增大，K的值也要增大）。最后，在實(shí)驗(yàn)結(jié)果中選取分類(lèi)器表現(xiàn)最好的K的值。案例分析：現(xiàn)有某特征向量x=（0.1，0.1），另外4個(gè)數(shù)據(jù)數(shù)值和類(lèi)別如下表6.4所示：

特征向量類(lèi)別X1(0.1,0.2)w1X2(0.2,0.5)w1X3(0.4,0.5)w2X4(0.5,0.7)w2表6.4

數(shù)據(jù)和類(lèi)別線(xiàn)性判別分析法線(xiàn)性判別分析(LineardiscriminantAnalysis，LDA)是機(jī)器學(xué)習(xí)中的經(jīng)典算法，它既可以用來(lái)做分類(lèi)，又可以進(jìn)行數(shù)據(jù)的降維。線(xiàn)性判別分析的思想可以用一句話(huà)概括，就是“投影后類(lèi)內(nèi)方差最小，類(lèi)間方差最大”。也就是說(shuō)，要將數(shù)據(jù)在低維度上進(jìn)行投影，投影后希望每一種類(lèi)別數(shù)據(jù)的投影點(diǎn)盡可能的接近，而不同類(lèi)別的數(shù)據(jù)的類(lèi)別中心之間的距離盡可能的大，線(xiàn)性判別分析的原理圖如圖展示:線(xiàn)性判別分析法-線(xiàn)性判別分析算法原理和公式求解目的：找到最佳投影方向，則樣例x在方向向量上的投影可以表示為：ωω線(xiàn)性判別分析法-線(xiàn)性判別分析算法原理和公式求解現(xiàn)有，直線(xiàn)投影向量,有兩個(gè)類(lèi)別的中心點(diǎn)ω則直線(xiàn)的投影為ω,能夠使投影后的兩類(lèi)樣本中心點(diǎn)盡量分離的直線(xiàn)是好的直線(xiàn)，定量表示就是如下所示，其越大越好：此外，引入新度量值，稱(chēng)作散列值（scatter）,對(duì)投影后的列求散列值，從集合意義的角度來(lái)看，散列值代表著樣本點(diǎn)的密度。散列值越大，樣本點(diǎn)的密度越分散，密度越??；散列值越小，則樣本點(diǎn)越密集，密度越大。線(xiàn)性判別分析法-線(xiàn)性判別分析算法原理和公式求解基于上文闡明的原則：不同類(lèi)別的樣本點(diǎn)越分開(kāi)越好，同類(lèi)的越聚集越好，也就是均值差越大越好，散列值越小越好。因此，同時(shí)考慮使用J(θ)和S來(lái)度量，則可得到欲最大化的目標(biāo)如下式之后化簡(jiǎn)求解參數(shù)，即得分類(lèi)模型參數(shù):案例分析已知有兩類(lèi)數(shù)據(jù)，分別為：請(qǐng)按照上述線(xiàn)性判別的方法找到最優(yōu)的投影方向。樸素貝葉斯分類(lèi)器樸素貝葉斯模型(Na?veBayesClassifier,NB)是一組非常簡(jiǎn)單快速的分類(lèi)算法，通常適用于維度非常高的數(shù)據(jù)集。運(yùn)行速度快，而且可調(diào)參數(shù)少，因此非常適合為分類(lèi)問(wèn)題提供快速粗糙的基本方案.樸素貝葉斯分類(lèi)器-樸素貝葉斯算法原理和公式推導(dǎo)：具體來(lái)說(shuō)，若決策的目標(biāo)是最小化分類(lèi)錯(cuò)誤率，貝葉斯最優(yōu)分類(lèi)器要對(duì)每個(gè)樣本x，選擇能使后驗(yàn)概率P(c|x)最大的類(lèi)別c標(biāo)記。在現(xiàn)實(shí)任務(wù)中后驗(yàn)概率通常難以直接獲得。從這個(gè)角度來(lái)說(shuō)，機(jī)器學(xué)習(xí)所要實(shí)現(xiàn)的是基于有限的訓(xùn)練樣本集盡可能準(zhǔn)確地估計(jì)出后驗(yàn)概率P(c|x)。為實(shí)現(xiàn)這一目標(biāo)，綜合看來(lái)，一共有兩種方式：第一種，即有已知數(shù)據(jù)各維度屬性值x，及其對(duì)應(yīng)的類(lèi)別c，可通過(guò)直接建模P(c|x)來(lái)預(yù)測(cè)c，這樣得到的是“判別式模型”，例如，決策樹(shù)、BP神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等等第二種方法，也可先對(duì)聯(lián)合概率分布P(x,c)建模，然后在由此獲得P(c|x)，這樣得到的是“生成式模型”。對(duì)于生成式模型來(lái)說(shuō)，必然考慮式:樸素貝葉斯分類(lèi)器-樸素貝葉斯算法原理和公式推導(dǎo)：基于貝葉斯定理,P(c|x)可以寫(xiě)成式這就將求后驗(yàn)概率P(c|x)的問(wèn)題轉(zhuǎn)變?yōu)榍箢?lèi)先驗(yàn)概率P(

c

)和條件概率P(

x|c

)。先驗(yàn)概率P(

c

)表達(dá)了各類(lèi)樣本在總體的樣本空間所占的比例。由大數(shù)定律定理可知，當(dāng)用于訓(xùn)練模型的數(shù)據(jù)集擁有足夠的樣本時(shí)，且這些樣本滿(mǎn)足獨(dú)立同分布樣本，每個(gè)類(lèi)比的先驗(yàn)概率P(c)可通過(guò)各個(gè)類(lèi)別的樣本出現(xiàn)的頻率來(lái)進(jìn)行估計(jì)。樸素貝葉斯分類(lèi)器-樸素貝葉斯算法原理和公式推導(dǎo)：樸素貝葉斯分類(lèi)器采用了“屬性條件獨(dú)立性假設(shè)”：對(duì)已知類(lèi)別，假設(shè)所有屬性相互獨(dú)立。假設(shè)輸入數(shù)據(jù)x的各個(gè)維度都獨(dú)立的互不干擾的作用著最終的分類(lèi)結(jié)果，則有:由于對(duì)所有類(lèi)別來(lái)說(shuō)P(x)相同，因此有下式:樸素貝葉斯分類(lèi)器-樸素貝葉斯算法原理和公式推導(dǎo)：若DC表示訓(xùn)練數(shù)據(jù)集D中類(lèi)比為c的樣本組成的集合，在數(shù)據(jù)充足，且輸入維度獨(dú)立同分布的情況下，則能夠估計(jì)出類(lèi)別為c的樣本的類(lèi)先驗(yàn)概率，如式若輸入維度數(shù)據(jù)為離散值的話(huà)，令樸素貝葉斯分類(lèi)器-樸素貝葉斯算法原理和公式推導(dǎo)：若某個(gè)屬性值在訓(xùn)練集中沒(méi)有與某個(gè)類(lèi)同時(shí)出現(xiàn)過(guò),引入拉普拉斯修正如:補(bǔ)充說(shuō)明，當(dāng)用于訓(xùn)練的數(shù)據(jù)集不夠充足的時(shí)候，存在某類(lèi)樣本在某

就個(gè)維度下的概率的估計(jì)值為0的情況，所以這里分母加上了樣本量，分子加了一。這樣的修改對(duì)模型最后的結(jié)果不會(huì)有太大的干擾，因?yàn)楫?dāng)用于訓(xùn)練的數(shù)據(jù)集變大的時(shí)候，這種影響會(huì)越來(lái)越小，可以忽略不計(jì)，這樣，是的估計(jì)值會(huì)逐漸趨向于實(shí)際的概率值。案例分析現(xiàn)有未知樣本X=(age=“<=30”,income=“medium”，student=“yes”，credit_rating=“fair”)，判斷其類(lèi)別：決策樹(shù)分類(lèi)算法決策樹(shù)模型（Decisiontree）即可以用于解決分類(lèi)問(wèn)題又可以用于解決回歸問(wèn)題。決策樹(shù)算法采用樹(shù)形結(jié)構(gòu)，使用層層推理最終實(shí)現(xiàn)模型目標(biāo)。決策樹(shù)由下面幾種元素構(gòu)成：1）根節(jié)點(diǎn)：包含樣本的全集；2）內(nèi)部節(jié)點(diǎn)：對(duì)應(yīng)特征屬性的測(cè)試；3）葉節(jié)點(diǎn)：代表決策結(jié)果。決策樹(shù)得生成邏輯流程如圖所示，從圖中可以觀察發(fā)現(xiàn)，決策樹(shù)的生包含3個(gè)關(guān)鍵環(huán)節(jié)：特征選擇、決策樹(shù)的生成、決策樹(shù)得剪枝。決策樹(shù)分類(lèi)算法特征選擇：決定使用哪些特征來(lái)做樹(shù)的分裂節(jié)點(diǎn)。在訓(xùn)練數(shù)據(jù)集中，每個(gè)樣本的屬性可能有很多個(gè)，不同屬性的作用有大有小。因而特征選擇的作用就是篩選出跟分類(lèi)結(jié)果相關(guān)性較高的特征，也就是分類(lèi)能力較強(qiáng)的特征。在特征選擇中通常使用的準(zhǔn)則是：信息增益。

決策樹(shù)生成：選擇好特征后，就從根節(jié)點(diǎn)觸發(fā)，對(duì)節(jié)點(diǎn)計(jì)算所有特征的信息增益，具有最大信息增益的屬性被作為決策樹(shù)的節(jié)點(diǎn)，根據(jù)該特征的不同取值建立子節(jié)點(diǎn)；對(duì)接下來(lái)的子節(jié)點(diǎn)使用相同的方式生成新的子節(jié)點(diǎn)，直到信息增益很小或者沒(méi)有特征可以選擇為止。決策樹(shù)剪枝：剪枝的主要目的是防止模型的過(guò)擬合，通過(guò)主動(dòng)去掉部分分支來(lái)降低過(guò)擬合的風(fēng)險(xiǎn)。決策樹(shù)分類(lèi)算法決策樹(shù)算法的原理：

決策樹(shù)算法有三種非常典型的算法原理：ID3、C4.5、CART。其中，ID3是最早提出的決策樹(shù)算法，它是利用信息增益來(lái)選擇特征的。C4.5算法：它是ID3的改進(jìn)版，他不是直接使用信息增益，而是引入“信息增益比”指標(biāo)作為特征的選擇依據(jù)。CART（ClassificationandRegressionTree）這種算法即可以用于分類(lèi)，也可以用于回歸問(wèn)題。CART算法使用了基尼系數(shù)取代了信息熵模型。模型生成流程：

1）從根節(jié)點(diǎn)開(kāi)始，依據(jù)決策樹(shù)的各種算法的計(jì)算方式，計(jì)算各個(gè)特征的做為新的分裂節(jié)點(diǎn)的衡量指標(biāo)的值，選擇計(jì)算結(jié)果最優(yōu)的特征作為節(jié)點(diǎn)的劃分特征（其中，ID3算法選用信息增益值最大的特征，C4.5使用信息增益率，CART選用基尼指數(shù)最小的特征）；

2）由該特征的不同取值建立子節(jié)點(diǎn)；

3）再對(duì)子節(jié)點(diǎn)遞歸地調(diào)用以上方法，構(gòu)建決策樹(shù)；

4）直到結(jié)果收斂（不同算法評(píng)價(jià)指標(biāo)規(guī)則不同）；

5）剪枝，以防止過(guò)擬合（ID3不需要）。案例分析支持向量機(jī)分類(lèi)算法支持向量機(jī)（SupportVectorMachines,SVM）是一種二分類(lèi)模型。其學(xué)習(xí)的基本想法是求解能夠正確劃分訓(xùn)練數(shù)據(jù)集并且?guī)缀伍g隔最大的分離超平面。如圖所示，即為分離超平面，對(duì)于線(xiàn)性可分的數(shù)據(jù)集來(lái)說(shuō)，這樣的超平面有無(wú)窮多個(gè)（即感知機(jī)），但是幾何間隔最大的分離超平面卻是唯一的。

支持向量機(jī)分類(lèi)算法-支持向量機(jī)算法原理和公式推導(dǎo)假設(shè)訓(xùn)練集合為：

D={(xi,yi)|xi其中xi為第i個(gè)特征向量，yi為xi的類(lèi)標(biāo)記，當(dāng)它等于+1時(shí)為正例；當(dāng)為-1時(shí)為負(fù)例。再假設(shè)訓(xùn)練數(shù)據(jù)集是線(xiàn)性可分的。幾何間隔：對(duì)于給定的數(shù)據(jù)集T和超平面關(guān)于樣本（xi,yi）點(diǎn)的幾何間隔為下式所示:，定義超平面超平面關(guān)于所有樣本點(diǎn)的幾何間距的最小值為下式:支持向量機(jī)分類(lèi)算法-支持向量機(jī)算法原理和公式推導(dǎo)實(shí)際上，這個(gè)距離就是我們所謂的支持向量到超平面的距離。根據(jù)以上定義，SVM模型的求解最大分割超平面問(wèn)題可以表示為以下約束最優(yōu)化問(wèn)題:經(jīng)過(guò)一系列化簡(jiǎn)，求解最大分割超平面問(wèn)題又可以表示為以下約束最優(yōu)化問(wèn)題，如下所示：支持向量機(jī)分類(lèi)算法-支持向量機(jī)算法原理和公式推導(dǎo)這是一個(gè)含有不等式約束的凸二次規(guī)劃問(wèn)題，可以對(duì)其使用拉格朗日乘子法得到：當(dāng)數(shù)據(jù)線(xiàn)性可分時(shí)，對(duì)求導(dǎo)，得到如下:支持向量機(jī)分類(lèi)算法-支持向量機(jī)算法原理和公式推導(dǎo)最終演化為下式最后，求解得到函數(shù)的參數(shù)，即可以得到分類(lèi)函數(shù)。案例分析有訓(xùn)練數(shù)據(jù)如下圖6.10展示所示，其中正例點(diǎn)是x1=(3,3)T,x2=(4,3)T,負(fù)例點(diǎn)是x3=(1,1)T,試求最大間隔分離超平面。

圖6.10

樣本數(shù)據(jù)非監(jiān)督學(xué)習(xí)聚類(lèi)分析是機(jī)器學(xué)習(xí)中非監(jiān)督學(xué)習(xí)的重要的部分，其旨在發(fā)現(xiàn)數(shù)據(jù)中各元素之間的關(guān)系，組內(nèi)相似性越大，組間差距越大，聚類(lèi)效果越好。在目前實(shí)際的互聯(lián)網(wǎng)業(yè)務(wù)場(chǎng)景中，把針對(duì)特定運(yùn)營(yíng)目的和商業(yè)目的所挑選出的指標(biāo)變量進(jìn)行聚類(lèi)分析，把目標(biāo)群體劃分成幾個(gè)具有明顯特征區(qū)別的細(xì)分群體，從而可以在運(yùn)營(yíng)活動(dòng)中為這些細(xì)分群體采取精細(xì)化，個(gè)性化的運(yùn)營(yíng)和服務(wù)，最終提升運(yùn)營(yíng)的效率和商業(yè)效果。非監(jiān)督學(xué)習(xí)此外，聚類(lèi)分析還可以應(yīng)用于異常數(shù)據(jù)點(diǎn)的篩選檢測(cè)，例如：在反欺詐場(chǎng)景、異常交易場(chǎng)景、違規(guī)刷好評(píng)場(chǎng)景......聚類(lèi)算法都有著非常重要的應(yīng)用，聚類(lèi)算法樣式如圖所示。聚類(lèi)分析大致分為5大類(lèi)：基于劃分方法的聚類(lèi)分析、基于層次方法的聚類(lèi)分析、基于密度方法的聚類(lèi)分析、基于網(wǎng)格方法的聚類(lèi)分析、基于模型方法的聚類(lèi)分析，本小節(jié)將挑選部分內(nèi)容來(lái)做介紹。劃分式聚類(lèi)方法給定一個(gè)有N個(gè)元素的數(shù)據(jù)集，將構(gòu)造K個(gè)分組，每一個(gè)分組就代表一個(gè)聚類(lèi)，K<N。這K個(gè)分組需要滿(mǎn)足下列幾個(gè)條件：（1）每一個(gè)分組至少包含一個(gè)數(shù)據(jù)紀(jì)錄；（2）每一個(gè)數(shù)據(jù)紀(jì)錄屬于且僅屬于一個(gè)分組（注意：這個(gè)要求在某些模糊聚類(lèi)算法中可以放寬）；對(duì)于給定的K，算法首先給出一個(gè)初始的分組方法，以后通過(guò)反復(fù)迭代的方法改變分組，使得每一次改進(jìn)之后的分組方案都較前一次好，而所謂好的標(biāo)準(zhǔn)就是：同一分組中的記錄越近越好，而不同分組中的紀(jì)錄越遠(yuǎn)越好。使用這個(gè)基本思想的算法有：K-means算法、K-Medoids算法、Clarants算法。這里以最為基礎(chǔ)簡(jiǎn)單的K-means算法為例詳細(xì)展開(kāi)闡述。K-meansK-means

備注：這里收斂原則具體是指簇中心收斂，即其保持在一定的范圍內(nèi)不再變動(dòng)時(shí)，停止算法。

通過(guò)上述算法流程的描述，可以看到k-means算法的一些缺陷，比如：簇的個(gè)數(shù)k值的選取和簇中心的具體位置的選取是人為設(shè)定，這樣不是很準(zhǔn)確。當(dāng)然，目前有一些解決方案，例如肘方法輔助k值的選取。另外，由于簇內(nèi)中心的方法是簇內(nèi)樣本均值，所以其受異常點(diǎn)的影響非常大。最后，由于k-means采用歐式距離來(lái)衡量樣本之間的相似度，所以得到的聚簇都是凸如圖所示，不能解決其他類(lèi)型的數(shù)據(jù)分布的聚類(lèi)，有很大的局限性?；谏鲜鰡?wèn)題，k-means算法衍生出了例如K-Meidans、K-Medoids、K-Means++等方法。案例分析層次化聚類(lèi)方法層次聚類(lèi)方法將數(shù)據(jù)對(duì)象組成一顆聚類(lèi)樹(shù)，如圖所示。

圖6.13聚類(lèi)樹(shù)層次化聚類(lèi)方法根據(jù)層次的分解是自底向上（合并）還是自頂向下（分裂），層次聚類(lèi)法可以進(jìn)一步分為凝聚的（agglomerrative）和分裂的（divisive）。即可以說(shuō)有兩種類(lèi)型的層次聚類(lèi)方法： 1.凝聚層次聚類(lèi) 2.分裂層次聚類(lèi)層次化聚類(lèi)方法-凝聚層次聚類(lèi)采用自底向上的策略，首先將每個(gè)對(duì)象作為單獨(dú)的一個(gè)簇，然后按一定規(guī)則合并這些小的簇形成一個(gè)更大的簇，直到最終所有的對(duì)象都在層次的最上層一個(gè)簇中，或者達(dá)到某個(gè)終止條件。Agnes是其代表算法，如下圖所示。層次化聚類(lèi)方法-分裂層次聚類(lèi)：采用自頂向下的策略，首先將所有對(duì)象置于一個(gè)簇中，然后逐漸細(xì)分為越來(lái)越小的簇，直到每個(gè)對(duì)象自成一個(gè)簇，或者達(dá)到終止條件。Diana是其代表算法，如下圖所示。層次化聚類(lèi)方法-Agnes凝聚層次聚類(lèi)輸入：n個(gè)對(duì)象，終止條件簇的數(shù)目k。輸出：k個(gè)簇，達(dá)到終止條件規(guī)定的簇的數(shù)目。算法流程：1、將每一個(gè)元素當(dāng)成一個(gè)初始簇；2、循環(huán)跌倒，直到達(dá)到定義的簇的數(shù)目；{ a)根據(jù)兩個(gè)簇中最近的數(shù)據(jù)點(diǎn)找到最近的兩個(gè)簇； b)合并兩個(gè)簇，生成新的簇}案例分析案例分析基于密度的聚類(lèi)方法基于密度的聚類(lèi)算法是根據(jù)樣本的密度分布來(lái)進(jìn)行聚類(lèi)。通常情況下，密度聚類(lèi)從樣本密度的角度出來(lái)，來(lái)考查樣本之間的可連接性，并基于可連接樣本不斷擴(kuò)展聚類(lèi)簇，以獲得最終的聚類(lèi)結(jié)果，聚類(lèi)后的分布形式如圖所示。其中最有代表性的的基于密度的算法是DBSCAN算法.

圖6.15基于密度的聚類(lèi)分布結(jié)果DBSCAN-基本術(shù)語(yǔ)DBSCAN-基本術(shù)語(yǔ)DBSCAN-基本術(shù)語(yǔ)DBSCAN案例分析強(qiáng)化學(xué)習(xí)在人工智能的發(fā)展過(guò)程中，強(qiáng)化學(xué)習(xí)已經(jīng)變得越來(lái)越重要，它的理論在很多應(yīng)用中都取得了非常重要的突破。尤其是在2017年的1月4日晚，DeepMind公司研發(fā)的AlphaGo升級(jí)版master在戰(zhàn)勝人類(lèi)棋手時(shí)，突然發(fā)聲自認(rèn)：“我是AlphaGo的黃博士”。自此，Master已經(jīng)取得了59場(chǎng)的不敗紀(jì)錄，將對(duì)戰(zhàn)人類(lèi)棋手的紀(jì)錄變?yōu)?9：0。而Master程序背后所應(yīng)用的強(qiáng)化學(xué)習(xí)思想也收到了廣泛的關(guān)注，那么本小節(jié)就來(lái)簡(jiǎn)單的介紹下機(jī)器學(xué)習(xí)領(lǐng)域中非常重要的一個(gè)分枝——強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)vs監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)強(qiáng)化學(xué)習(xí)從以下幾個(gè)方面明顯區(qū)別于傳統(tǒng)的監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)：1）強(qiáng)化學(xué)習(xí)中沒(méi)有像監(jiān)督學(xué)習(xí)中明顯的“l(fā)abel”，它有的只是每次行為過(guò)后的反饋；2）當(dāng)前的策略，會(huì)直接影響后續(xù)接收到的整個(gè)反饋序列；3）收到反饋或者是獎(jiǎng)勵(lì)的信號(hào)不一定是實(shí)時(shí)的，有時(shí)甚至有很多的延遲；4）時(shí)間序列是一個(gè)非常重要的因素。強(qiáng)化學(xué)習(xí)問(wèn)題描述強(qiáng)化學(xué)習(xí)的組成強(qiáng)化學(xué)習(xí)問(wèn)題描述強(qiáng)化學(xué)習(xí)問(wèn)題描述基于上述描述，因此強(qiáng)化學(xué)習(xí)系統(tǒng)中的個(gè)體（agent）可以由一下三個(gè)組成部分中的一個(gè)或是多個(gè)組成：-策略（Policy）-價(jià)值函數(shù)（ValueFunction）-環(huán)境的模型（modeloftheenvironment）強(qiáng)化學(xué)習(xí)問(wèn)題描述-策略（Policy）強(qiáng)化學(xué)習(xí)問(wèn)題描述-價(jià)值函數(shù)（ValueFunction）強(qiáng)化學(xué)習(xí)問(wèn)題描述-環(huán)境的模型強(qiáng)化學(xué)習(xí)問(wèn)題分類(lèi)1、僅基于價(jià)值函數(shù)（valuebased）的解決思路：在這樣的解決問(wèn)題的思路中，有對(duì)狀態(tài)的價(jià)值估計(jì)函數(shù)，但是沒(méi)有直接的策略函數(shù)，策略函數(shù)由價(jià)值函數(shù)間接得到。2、僅直接基于策略的（PolicyBased）的解決思路：這樣的個(gè)體中行為直接由策略函數(shù)產(chǎn)生，個(gè)體并不維護(hù)一個(gè)對(duì)各狀態(tài)價(jià)值的估計(jì)函數(shù)。3、演員-評(píng)判家形式（Actor-Critic）的解決思路：個(gè)體既有價(jià)值函數(shù)、也有策略函數(shù)。兩者相互結(jié)合解決問(wèn)題。案例分析一字棋為例，三個(gè)人輪流下，直到有一個(gè)人的棋子滿(mǎn)足一橫或者一豎則為贏得比賽，或者這個(gè)棋盤(pán)填滿(mǎn)也沒(méi)有人贏，則為和棋。一字棋案例分析環(huán)境的狀態(tài)S,這是一個(gè)九宮格，每個(gè)格子有三種狀態(tài)，即沒(méi)有棋子(取值0)，有第一個(gè)選手的棋子（取值1），有第二個(gè)選手的棋子（取值-1）。那么這個(gè)模型的狀態(tài)一共有3^9=1968339=19683個(gè)。動(dòng)作A，這里只有9個(gè)格子，每次也只能下一步，所以最多只有9個(gè)動(dòng)作選項(xiàng)。實(shí)際上由于已經(jīng)有棋子的格子是不能再下的，所以動(dòng)作選項(xiàng)會(huì)更少。實(shí)際可以選擇動(dòng)作的就是那些取值為0的格子。環(huán)境的獎(jiǎng)勵(lì)R，這個(gè)一般是自己設(shè)計(jì)。由于實(shí)驗(yàn)的目的是贏棋，所以如果某個(gè)動(dòng)作導(dǎo)致的改變到的狀態(tài)可以使我們贏棋，結(jié)束游戲，那么獎(jiǎng)勵(lì)最高，反之則獎(jiǎng)勵(lì)最低。其余的雙方下棋動(dòng)作都有獎(jiǎng)勵(lì)，但獎(jiǎng)勵(lì)較少。特別的，對(duì)于先下的棋手，不會(huì)導(dǎo)致結(jié)束的動(dòng)作獎(jiǎng)勵(lì)要比后下的棋手少。個(gè)體的策略(policy)，這個(gè)一般是學(xué)習(xí)得到的，會(huì)在每輪以較大的概率選擇當(dāng)前價(jià)值最高的動(dòng)作，同時(shí)以較小的概率去探索新動(dòng)作。案例分析整個(gè)過(guò)程的邏輯思路如下所示：REPEAT{if分出勝負(fù)或平局：

返回結(jié)果，break；Else

依據(jù)?概率選擇explore或1-?概率選擇exploit：if選擇explore模式：

隨機(jī)的選擇落點(diǎn)下棋；else選擇exploit模型：

從value_table中查找對(duì)應(yīng)最大value狀態(tài)的落點(diǎn)下棋；

根據(jù)新?tīng)顟B(tài)的value在value_table中更新原狀態(tài)的value；}神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)

深度學(xué)習(xí)（DeepLearning）是近些年來(lái)在計(jì)算機(jī)領(lǐng)域中，無(wú)論是學(xué)術(shù)界還是工業(yè)界都備受關(guān)注、發(fā)展迅猛的研究領(lǐng)域。它在許多人工智能的應(yīng)用場(chǎng)景中，都取得了較為重大的成功和突破，例如：圖像識(shí)別、指紋識(shí)別、聲音識(shí)別、自然語(yǔ)言處理......但正如前面所講，從本質(zhì)上說(shuō)，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，它代表了一類(lèi)問(wèn)題以及它們的解決方法。而人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）,又簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)，由于其可以很好地解決深度學(xué)習(xí)中的貢獻(xiàn)度分配問(wèn)題，所以神經(jīng)網(wǎng)絡(luò)模型被大量的引入用來(lái)解決深度學(xué)習(xí)的問(wèn)題。感知器模型

深度學(xué)習(xí)（DeepLearning）是近些年來(lái)在計(jì)算機(jī)領(lǐng)域中，無(wú)論是學(xué)術(shù)界還是工業(yè)界都備受關(guān)注、發(fā)展迅猛的研究領(lǐng)域。它在許多人工智能的應(yīng)用場(chǎng)景中，都取得了較為重大的成功和突破，例如：圖像識(shí)別、指紋識(shí)別、聲音識(shí)別、自然語(yǔ)言處理......但正如前面所講，從本質(zhì)上說(shuō)，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，它代表了一類(lèi)問(wèn)題以及它們的解決方法。而人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork,ANN）,又簡(jiǎn)稱(chēng)神經(jīng)網(wǎng)絡(luò)，由于其可以很好地解決深度學(xué)習(xí)中的貢獻(xiàn)度分配問(wèn)題，所以神經(jīng)網(wǎng)絡(luò)模型被大量的引入用來(lái)解決深度學(xué)習(xí)的問(wèn)題。感知器模型圖

感知器原理示意圖感知器模型感知器模型前饋神經(jīng)網(wǎng)絡(luò)一個(gè)感知器處理的問(wèn)題還是比較簡(jiǎn)單，但當(dāng)通過(guò)一定的連接方式將多個(gè)不同的神經(jīng)元模型組合起來(lái)的時(shí)候，就變有了神經(jīng)網(wǎng)絡(luò)。其處理問(wèn)題的能力也大大的提高。這里，有一種連接方式，叫做“前饋網(wǎng)絡(luò)”。它是整個(gè)神經(jīng)元模型組成的網(wǎng)絡(luò)中，信息朝著一個(gè)方向傳播，沒(méi)有反向的回溯。按照接受信息的順序不同被分為不同的層，當(dāng)前層的神經(jīng)元接受前一層神經(jīng)元的輸出，并將處理過(guò)的信息輸出傳遞給下一層。前饋神經(jīng)網(wǎng)絡(luò)第一層神經(jīng)元被稱(chēng)為輸入層，它所包含的神經(jīng)元個(gè)數(shù)不確定，大于1就好，此處為三個(gè)。最后一層，被稱(chēng)為輸出層，它所涵蓋的神經(jīng)的個(gè)數(shù)也是可以根據(jù)具體情況具體確定的，圖例中輸出層兩個(gè)個(gè)神經(jīng)元，其可以根據(jù)實(shí)際情況有多個(gè)輸出的神經(jīng)元。中間層被統(tǒng)一稱(chēng)為隱層，隱層的層數(shù)不確定，每一層的神經(jīng)元的個(gè)數(shù)也可以根據(jù)實(shí)際情況進(jìn)行調(diào)整。前饋神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeturalNetwork,CNN）是前饋神經(jīng)網(wǎng)絡(luò)中的一種，但當(dāng)使用全連接前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像信息的處理時(shí)，全連接前饋神經(jīng)網(wǎng)絡(luò)存在由于參數(shù)過(guò)多，進(jìn)而導(dǎo)致計(jì)算量過(guò)大和圖像中物體的局部不變的特征不能順利提取出的問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)通常由以下三層交叉堆疊而組成：卷積層、匯聚層（PoolingLayer）、全連接層。卷積神經(jīng)網(wǎng)絡(luò)-手寫(xiě)數(shù)字識(shí)別卷積神經(jīng)網(wǎng)絡(luò)-具體工作流程1、把手寫(xiě)字體圖片轉(zhuǎn)換成像素矩陣（32，32）作為輸入數(shù)據(jù)；2、對(duì)像素矩陣進(jìn)行第一層卷積運(yùn)算，生成六個(gè)featuremap為上圖C1(28,28)；3、對(duì)每個(gè)featuremap進(jìn)行池化操作，其在在保留featuremap特征的同時(shí)縮小數(shù)據(jù)量。生成六個(gè)小圖S2(14,14)，這六個(gè)小圖和上一層各自的featuremap長(zhǎng)得很像，但尺寸縮小了。卷積神經(jīng)網(wǎng)絡(luò)-具體工作流程4、對(duì)六個(gè)小圖進(jìn)行第二層卷積運(yùn)算，生成更多featuremap,為C3（10，10）；5、對(duì)第二次卷積生成的featuremap進(jìn)行池化操作，生成16張S4（5,5）;6、進(jìn)行第一層全連接層操作；7、進(jìn)行第二層全連接層操作；8、高斯連接層，輸出結(jié)果；卷積神經(jīng)網(wǎng)絡(luò)它的作用是在原圖中把符合卷積核特征的特征提取出來(lái)，進(jìn)而得到特征圖（featuremap）。所以卷積核的本質(zhì)就是將原圖中符合卷積核特征的特征提取出啦，展示到特征圖當(dāng)中。卷積層池化池化又叫做下采樣（subsampling），它的目的是在保留特征的同時(shí)壓縮數(shù)據(jù)量。用一個(gè)像素代替原圖上鄰近的若干像素，在保留featuremap特征的同時(shí)壓縮其大小。因此它的作用：防止數(shù)據(jù)爆炸，節(jié)省運(yùn)算量和運(yùn)算時(shí)間，同時(shí)又能防止過(guò)擬合、過(guò)學(xué)習(xí)。其它類(lèi)型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)其又可以被稱(chēng)為反饋網(wǎng)絡(luò)。相比于前饋神經(jīng)網(wǎng)絡(luò)僅接受上一層神經(jīng)元傳遞的信息，在記憶網(wǎng)絡(luò)中的神經(jīng)元不但可以接受其它神經(jīng)元的信息，它還可以記憶自己在歷史狀態(tài)中的各種狀態(tài)來(lái)獲取信息。在記憶神經(jīng)網(wǎng)絡(luò)中，信息傳播可以是單向的或者是雙向的，其結(jié)構(gòu)示意圖如圖所示。包括：循環(huán)神經(jīng)網(wǎng)絡(luò)、HopField神經(jīng)網(wǎng)絡(luò)、玻爾茲曼機(jī)、受限玻爾茲曼機(jī)等。記憶網(wǎng)絡(luò)其它類(lèi)型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)圖網(wǎng)絡(luò)結(jié)構(gòu)類(lèi)型的神經(jīng)網(wǎng)絡(luò)是前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和記憶網(wǎng)絡(luò)結(jié)構(gòu)的泛化，它是定義在圖結(jié)構(gòu)數(shù)據(jù)上的神經(jīng)網(wǎng)絡(luò)。圖中的每個(gè)節(jié)點(diǎn)都是由一個(gè)或是一組神經(jīng)元構(gòu)成，節(jié)點(diǎn)之間的連接可以是有向的，也可以是無(wú)向的。圖網(wǎng)絡(luò)圖網(wǎng)絡(luò)結(jié)構(gòu)案例分析案例分析案例分析案例:銀行貸款用戶(hù)篩選借貸業(yè)務(wù)是銀行資產(chǎn)業(yè)務(wù)的重要基礎(chǔ)。銀行擁有大量的擁有不同資產(chǎn)規(guī)模的儲(chǔ)戶(hù)，如何精準(zhǔn)有效的將存款用戶(hù)轉(zhuǎn)化成為貸款用戶(hù)，進(jìn)而提高銀行的收入，同時(shí)又能規(guī)避不合規(guī)用戶(hù)帶來(lái)的壞賬風(fēng)險(xiǎn)，一直是銀行業(yè)務(wù)部門(mén)需要研究的重要問(wèn)題。即通過(guò)銀行后臺(tái)現(xiàn)有收集到的用戶(hù)的數(shù)據(jù)，明確現(xiàn)有儲(chǔ)戶(hù)的潛在需求。這里，我們采用邏輯斯特回歸分類(lèi)模型來(lái)解決銀行可放貸用戶(hù)的篩選問(wèn)題。案例:銀行貸款用戶(hù)篩選確定特征屬性及劃分訓(xùn)練集，其中用于訓(xùn)練數(shù)據(jù)的數(shù)據(jù)集如圖所示。在實(shí)際應(yīng)用中，特征屬性的數(shù)量很多，劃分的比較細(xì)致，這里我們?yōu)榱朔奖闫鹨?jiàn)，選用最終計(jì)算好的復(fù)合指標(biāo)，分別是商業(yè)信用指數(shù)和競(jìng)爭(zhēng)等級(jí)作為模型訓(xùn)練的屬性維度。Label表示最終對(duì)用戶(hù)貸款的結(jié)果，1表示貸款成功，0表示貸款失敗。另外，由于實(shí)際的樣本量比較大，這里只截取部分?jǐn)?shù)據(jù)如上表6.10所示供大家參考。案例:銀行貸款用戶(hù)篩選-模型構(gòu)造案例:銀行貸款用戶(hù)篩選-預(yù)測(cè)函數(shù)的參數(shù)求解案例:銀行貸款用戶(hù)篩選-用戶(hù)篩選分類(lèi)預(yù)測(cè)第4章Logistic回歸

導(dǎo)入導(dǎo)入103

目錄104線(xiàn)性回歸Logistic回歸用PyTorch實(shí)現(xiàn)logisticregressionlogisticregression的算法優(yōu)化logisticregression的模型可視化第一節(jié)第二節(jié)第三節(jié)第四節(jié)第五節(jié)1線(xiàn)性回歸線(xiàn)性回歸106

線(xiàn)性回歸107

線(xiàn)性回歸108

線(xiàn)性回歸109

線(xiàn)性回歸110

線(xiàn)性回歸111

線(xiàn)性回歸112

線(xiàn)性回歸113

2Logistic回歸Logistic回歸115

Logistic回歸116

Logistic函數(shù)圖像Logistic回歸117

Logistic回歸118

3用PyTorch實(shí)現(xiàn)logisticregression用PyTorch實(shí)現(xiàn)logisticregression120用PyTorch實(shí)現(xiàn)logisticregression的代碼主要依賴(lài)于三個(gè)模塊用PyTorch實(shí)現(xiàn)logisticregression121

用PyTorch實(shí)現(xiàn)logisticregression122數(shù)據(jù)準(zhǔn)備17-18行設(shè)置樣本對(duì)應(yīng)的標(biāo)簽y，分別用0和1表示不同高斯分布的數(shù)據(jù)，也就是正樣本和負(fù)樣本。第21行使用cat函數(shù)將x1和x2組合在一起，第22-24行打亂樣本和標(biāo)簽的順序，將數(shù)據(jù)重新隨機(jī)排列是十分重要的步驟，否則算法的每次迭代只會(huì)學(xué)習(xí)到同一個(gè)類(lèi)別的信息，容易造成模型過(guò)擬合。用PyTorch實(shí)現(xiàn)logisticregression123數(shù)據(jù)準(zhǔn)備17-18行設(shè)置樣本對(duì)應(yīng)的標(biāo)簽y，分別用0和1表示不同高斯分布的數(shù)據(jù)，也就是正樣本和負(fù)樣本。第21行使用cat函數(shù)將x1和x2組合在一起，第22-24行打亂樣本和標(biāo)簽的順序，將數(shù)據(jù)重新隨機(jī)排列是十分重要的步驟，否則算法的每次迭代只會(huì)學(xué)習(xí)到同一個(gè)類(lèi)別的信息，容易造成模型過(guò)擬合。用PyTorch實(shí)現(xiàn)logisticregression124

用PyTorch實(shí)現(xiàn)logisticregression125線(xiàn)性方程上面代碼的第一行定義了線(xiàn)性模型的輸入維度D_in和輸出維度D_out，第2-3行實(shí)例化了nn.Linear，將線(xiàn)性模型應(yīng)用到數(shù)據(jù)x上，得到計(jì)算結(jié)果output。Linear的初始參數(shù)是隨機(jī)設(shè)置的，可以調(diào)用Linear.weight和Linear.bias獲取線(xiàn)性模型的參數(shù)，第5行打印了輸入變量x，模型參數(shù)weight和bias，計(jì)算結(jié)果output的維度。第7-8行定義了我們自己實(shí)現(xiàn)的線(xiàn)性模型my_linear，第10行將my_linear的計(jì)算結(jié)果和PyTorch的計(jì)算結(jié)果output做比較，可以發(fā)現(xiàn)其結(jié)果一致。用PyTorch實(shí)現(xiàn)logisticregression126激活函數(shù)前文介紹了torch.nn.Linear可用于實(shí)現(xiàn)線(xiàn)性模型，除此之外，它還提供了機(jī)器學(xué)習(xí)當(dāng)中常用的激活函數(shù)，logistcregression用于二分類(lèi)問(wèn)題時(shí)，使用sigmoid函數(shù)將線(xiàn)性模型的計(jì)算結(jié)果映射到0和1之間，得到的計(jì)算結(jié)果作為樣本為正類(lèi)的置信概率。torch.nn.Sigmoid()提供了這一函數(shù)的計(jì)算，在使用時(shí)，將Sigmoid類(lèi)實(shí)例化，再將需要計(jì)算的變量作為參數(shù)傳遞給實(shí)例化的對(duì)象。用PyTorch實(shí)現(xiàn)logisticregression127激活函數(shù)作為練習(xí)，第4-6行手動(dòng)實(shí)現(xiàn)sigmoid函數(shù)，第8行通過(guò)PyTorch驗(yàn)證我們的實(shí)現(xiàn)結(jié)果，其結(jié)果一致。用PyTorch實(shí)現(xiàn)logisticregression128損失函數(shù)logisticregression使用交叉熵作為損失函數(shù)。PyTorch的torch.nn提供了許多標(biāo)準(zhǔn)的損失函數(shù)，我們可以直接使用torch.nn.BCELoss計(jì)算二值交叉熵?fù)p失。第1-2行調(diào)用了BCELoss來(lái)計(jì)算我們實(shí)現(xiàn)的logisticregression模型的輸出結(jié)果sigmoid(output)和數(shù)據(jù)的標(biāo)簽y，同樣地，在4-6行我們自定義了二值交叉熵函數(shù)，在第8行將my_loss和PyTorch的BCELoss做比較，發(fā)現(xiàn)結(jié)果無(wú)差。用PyTorch實(shí)現(xiàn)logisticregression129損失函數(shù)在前面的代碼中，我們使用了torch.nn包中的線(xiàn)性模型nn.Linear，激活函數(shù)nn.Softmax()，損失函數(shù)nn.BCELoss，它們都繼承于nn.Module類(lèi)，在PyTorch中，我們通過(guò)繼承nn.Module來(lái)構(gòu)建我們自己的模型。接下來(lái)我們用nn.Module來(lái)實(shí)現(xiàn)logisticRegression。用PyTorch實(shí)現(xiàn)logisticregression130損失函數(shù)通過(guò)繼承nn.Module實(shí)現(xiàn)自己的模型時(shí)，forward()方法是必須被子類(lèi)覆寫(xiě)的，在forward內(nèi)部應(yīng)當(dāng)定義每次調(diào)用模型時(shí)執(zhí)行的計(jì)算。從前面的應(yīng)用我們可以看出，nn.Module類(lèi)的主要作用就是接收Tensor然后計(jì)算并返回結(jié)果。在一個(gè)Module中，還可以嵌套其他的Module，被嵌套的Module的屬性就可以被自動(dòng)獲取，比如可以調(diào)用nn.Module.parameters()方法獲取Module所有保留的參數(shù)，調(diào)用nn.Module.to()方法將模型的參數(shù)放置到GPU上等等。logisticregression的算法優(yōu)化第四節(jié)4logisticregression的算法優(yōu)化logisticregression的算法優(yōu)化133優(yōu)化算法logisticregression通常采用梯度下降法優(yōu)化目標(biāo)函數(shù)。PyTorch的torch.optim包實(shí)現(xiàn)了大多數(shù)常用的優(yōu)化算法，使用起來(lái)非常簡(jiǎn)單。首先構(gòu)建一個(gè)優(yōu)化器，在構(gòu)建時(shí)，首先需要將待學(xué)習(xí)的參數(shù)傳入，然后傳入優(yōu)化器需要的參數(shù)，比如學(xué)習(xí)率。logisticregression的算法優(yōu)化134優(yōu)化算法構(gòu)建完優(yōu)化器，就可以迭代的對(duì)模型進(jìn)行訓(xùn)練，有兩個(gè)步驟，其一是調(diào)用損失函數(shù)的backward()方法計(jì)算模型的梯度，然后再調(diào)用優(yōu)化器的step()方法，更新模型的參數(shù)。需要注意的是，首先應(yīng)當(dāng)調(diào)用優(yōu)化器的zero_grad()方法清空參數(shù)的梯度。5logisticregression的模型可視化logisticregression的模型可視化136

logisticregression的模型可視化137模型可視化結(jié)果圖小結(jié)138Logistic回歸是深度學(xué)習(xí)中最基礎(chǔ)的非線(xiàn)性模型之一。作為鋪墊，在介紹Logistic回歸以前，本章首先介紹了線(xiàn)性回歸。線(xiàn)性回歸的預(yù)測(cè)目標(biāo)是連續(xù)變量，而Logistic回歸的預(yù)測(cè)目標(biāo)是二元變量。為了應(yīng)對(duì)這一差異，Logistic回歸在線(xiàn)性回歸的基礎(chǔ)上加入了Sigmoid激活函數(shù)。本章最后使用PyTorch實(shí)現(xiàn)了Logistic回歸模型，讀者可以通過(guò)這個(gè)例子進(jìn)一步體會(huì)深度學(xué)習(xí)模型構(gòu)建的整體流程以及框架編程的簡(jiǎn)便性。THANKYOU第5章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)多層感知器141人工智能的研究者為了模擬人類(lèi)的認(rèn)知，提出了不同的模型。人工神經(jīng)網(wǎng)絡(luò)是人工智能中非常重要的一個(gè)學(xué)派——連接主義最為廣泛使用的模型。在傳統(tǒng)上，基于規(guī)則的符號(hào)主義學(xué)派認(rèn)為，人類(lèi)的認(rèn)知是基于信息中的模式；而這些模式可以被表示成為符號(hào)，并可以通過(guò)操作這些符號(hào)，顯式地使用邏輯規(guī)則進(jìn)行計(jì)算與推理。事務(wù)認(rèn)知實(shí)踐積累信息處理理解決策01擁有處理信號(hào)的基礎(chǔ)單元而基于統(tǒng)計(jì)的連接主義的模型將認(rèn)知所需的功能屬性結(jié)合到模型中來(lái)，通過(guò)模擬生物神經(jīng)網(wǎng)絡(luò)的信息處理方式來(lái)構(gòu)建具有認(rèn)知功能的模型。類(lèi)似于生物神經(jīng)元與神經(jīng)網(wǎng)絡(luò)，這類(lèi)模型具有三個(gè)特點(diǎn)：多層感知器02處理單元之間以并行方式連接03處理單元之間的連接是有權(quán)重的

這一類(lèi)模型被稱(chēng)為人工神經(jīng)網(wǎng)絡(luò)，多層感知器是最為簡(jiǎn)單的一種。目錄143多層感知器的相關(guān)基礎(chǔ)概念單層感知器和多層感知器BP神經(jīng)網(wǎng)絡(luò)Dropout正則化批標(biāo)準(zhǔn)化第一節(jié)第二節(jié)第三節(jié)第四節(jié)第五節(jié)第一節(jié)基礎(chǔ)概念神經(jīng)元145神經(jīng)元是基本的信息操作和處理單位。它接受一組輸入，將這組輸入加權(quán)求和后，由激活函數(shù)來(lái)計(jì)算該神經(jīng)元的輸出。輸入146

輸出147

連接權(quán)值

148偏置

149激活函數(shù)

150激活函數(shù)SoftMax

151Sigmoid

152Tanh

153ReLU

154神經(jīng)網(wǎng)絡(luò)155神經(jīng)網(wǎng)絡(luò)是一個(gè)有向圖，以神經(jīng)元為頂點(diǎn)，神經(jīng)元的輸入為頂點(diǎn)的入邊，神經(jīng)元的輸出為頂點(diǎn)的出邊。因此神經(jīng)網(wǎng)絡(luò)實(shí)際上是一個(gè)計(jì)算圖，直觀地展示了一系列對(duì)數(shù)據(jù)進(jìn)行計(jì)算操作的過(guò)程。神經(jīng)網(wǎng)絡(luò)是一個(gè)端到端的系統(tǒng)，這個(gè)系統(tǒng)接受一定形式的數(shù)據(jù)作為輸入，經(jīng)過(guò)系統(tǒng)內(nèi)的一系列計(jì)算操作后，給出一定形式的數(shù)據(jù)作為輸出；系統(tǒng)內(nèi)的運(yùn)算可以被視為一個(gè)黑箱子，這與人類(lèi)的認(rèn)知在一定程度上具有相似性。通常地，為了直觀起見(jiàn)，人們對(duì)神經(jīng)網(wǎng)絡(luò)中的各頂點(diǎn)進(jìn)行了層次劃分。神經(jīng)網(wǎng)絡(luò)的層次劃分156輸入層接受來(lái)自網(wǎng)絡(luò)外部的數(shù)據(jù)的頂點(diǎn)，組成輸入層。輸出層向網(wǎng)絡(luò)外部輸出數(shù)據(jù)的頂點(diǎn)，組成輸出層。隱藏層除了輸入層和輸出層以外的其他層，均為隱藏層訓(xùn)練157

感知器感知器的概念由RosenblattFrank在1957提出，是一種監(jiān)督訓(xùn)練的二元分類(lèi)器。158單層感知器

159單層感知器

160多層感知器

161多層感知器

162BP神經(jīng)網(wǎng)絡(luò)在多層感知器被引入的同時(shí)，也引入了一個(gè)新的問(wèn)題：由于隱藏層的預(yù)期輸出并沒(méi)有在訓(xùn)練樣例中給出，隱藏層結(jié)點(diǎn)的誤差無(wú)法像單層感知器那樣直接計(jì)算得到。為了解決這個(gè)問(wèn)題，后向傳播算法被引入，其核心思想是將誤差由輸出層向前層后向傳播，利用后一層的誤差來(lái)估計(jì)前一層的誤差。后向傳播算法由HenryJ.Kelley在1960和ArthurE.Bryson在1961分別提出。使用后向傳播算法訓(xùn)練的網(wǎng)絡(luò)稱(chēng)為BP神經(jīng)網(wǎng)絡(luò)。163梯度下降