人工智能-第7章-參考答案

1、第7章 機(jī)器學(xué)習(xí)參考答案7-6 設(shè)訓(xùn)練例子集如下表所示：序號(hào)屬性分類x1x21TT+2TT+3TF-4FF+5FT_6FT_請(qǐng)用ID3算法完成其學(xué)習(xí)過(guò)程。解：設(shè)根節(jié)點(diǎn)為S，盡管它包含了所有的訓(xùn)練例子，但卻沒(méi)有包含任何分類信息，因此具有最大的信息熵。即：H(S)= - (P(+)log2 P(+) + P(-)log2 P(-)式中P(+)=3/6，P(-)=3/6分別是決策方案為“+”或“-”時(shí)的概率。因此有H(S)= - (3/6)log2(3/6) + (3/6)log2(3/6) =1按照ID3算法，需要選擇一個(gè)能使S的期望熵為最小的一個(gè)屬性對(duì)根節(jié)點(diǎn)進(jìn)行擴(kuò)展，因此我們需要先計(jì)算S關(guān)于每個(gè)

2、屬性的條件熵：H(S|xi)= ( |ST| / |S|)* H(ST) + ( |SF| / |S|)* H(SF)其中，T和F為屬性xi的屬性值，ST和SF分別為xi=T或xi=F時(shí)的例子集，|S|、| ST|和|SF|分別為例子集S、ST和SF 的大小。下面先計(jì)算S關(guān)于屬性x1的條件熵：在本題中，當(dāng)x1=T時(shí)，有： ST=1，2，3當(dāng)x1=F時(shí)，有： SF=4，5，6其中，ST 和SF中的數(shù)字均為例子集S中的各個(gè)例子的序號(hào)，且有|S|=6，| ST |=| SF |=3。由ST可知，其決策方案為“+”或“-”的概率分別是：PST(+)=2/3PST (-)=1/3因此有：H(ST)= -

3、 (PST (+)log2 PST (+) + PST (-)log2 PST (- )= - (2/3)log2(2/3) + (1/3)log2(1/3) =0.9183再由SF可知，其決策方案為“+”或“-”的概率分別是：PSF (+)=1/3PSF (-)=2/3則有：H (SF)= - (PSF (+)log2 PSF (+) + PSF (-)log2 PSF (- )= - (1/3)log2(1/3)+ (2/3)log2(2/3) =0.9183將H(ST)和H (SF)代入條件熵公式，有：H(S|x1)=(|ST|/|S|)H(ST)+ (|SF|/|S|)H(SF) =(

4、3/6)0.9183 + (3/6)0.9183=0.9183下面再計(jì)算S關(guān)于屬性x2的條件熵：在本題中，當(dāng)x2=T時(shí)，有： ST=1，2，5，6當(dāng)x2=F時(shí)，有： SF=3，4其中，ST 和SF中的數(shù)字均為例子集S中的各個(gè)例子的序號(hào)，且有|S|=6，| ST |=4，| SF |=2。由ST可知：PST (+) = 2/4P ST (-) = 2/4則有：H(ST)= - (P ST (+)log2 P ST (+) + P ST (-)log2 P ST (- )= - (2/4)log2(2/4) + (2/4)log2(2/4) =1再由SF可知：P SF (+)=1/2P SF (-

5、)=1/2則有：H(SF)= - (P(+)log2 P(+) + P(-)log2 P(- )= - (1/2)log2(1/2)+ (1/2)log2(1/2) =1將H(ST)和H (SF)代入條件熵公式，有：H(S|x2)=(|ST|/|S|)H(ST)+ (|SF|/|S|)H(SF) =(4/6)1 + (2/6)1=1可見(jiàn)，應(yīng)該選擇屬性x1對(duì)根節(jié)點(diǎn)進(jìn)行擴(kuò)展。用x1對(duì)S擴(kuò)展后所得到的部分決策樹(shù)如下圖所示。S(+,+,-)(+,-,-)x1=Tx1=F擴(kuò)展x1后的部分決策樹(shù) 在該決策樹(shù)中，其2個(gè)葉節(jié)點(diǎn)均不是最終決策方案，因此還需要繼續(xù)擴(kuò)展。而要繼續(xù)擴(kuò)展，只有屬性x2可選擇，因此不需要

6、再進(jìn)行條件熵的計(jì)算，可直接對(duì)屬性x2進(jìn)行擴(kuò)展。對(duì)x2擴(kuò)展后所得到的決策樹(shù)如下圖所示：S(+,+,-)(+,-,-)x1=Tx2=F擴(kuò)展x2后得到的完整決策樹(shù)(+,+)(-)(-,-)(+)x2=Tx2=Fx2=Tx2=F7-9假設(shè)w1(0)=0.2, w2(0)=0.4, (0)=0.3, =0.4，請(qǐng)用單層感知器完成邏輯或運(yùn)算的學(xué)習(xí)過(guò)程。解：根據(jù)“或”運(yùn)算的邏輯關(guān)系，可將問(wèn)題轉(zhuǎn)換為：輸入向量：X1=0, 0, 1, 1 X2=0, 1, 0, 1輸出向量：Y=0, 1, 1, 1由題意可知，初始連接權(quán)值、閾值，以及增益因子的取值分別為：w1(0)=0.2, w2(0)=0.4, (0)=0.

7、3，=0.4即其輸入向量X(0)和連接權(quán)值向量W(0)可分別表示為： X(0)=(-1, x1 (0), x2 (0)W(0)=(0), w1(0), w2 (0)根據(jù)單層感知起學(xué)習(xí)算法，其學(xué)習(xí)過(guò)程如下：設(shè)感知器的兩個(gè)輸入為x1(0)=0和x2(0)=0，其期望輸出為d(0)=0，實(shí)際輸出為：y(0)=f(w1(0) x1(0)+ w2(0) x2(0)-(0) =f(0.2*0+0.4*0-0.3)=f(-0.3)=0實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(0)=0和x2(0)=1，其期望輸出為d(0)=1，實(shí)際輸出為：y(0)=f(w1(0) x1(0)+ w2(0)

8、 x2(0)-(0) =f(0.2*0+0.4*1-0.3)=f(0.1)=1實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(0)=1和x2(0)=0，其期望輸出為d(0)=1，實(shí)際輸出為：y(0)=f(w1(0) x1(0)+ w2(0) x2(0)-(0) =f(0.2*1+0.4*0-0.3)=f(-0.1)=0實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：(1)=(0)+(d(0)- y(0)*(-1)=0.3+0.4*(1-0)*(-1)= -0.1w1(1)=w1(0)+(d(0)- y(0)x1(0)=0.2+0.4*(1-0)*1=0.6w2(1)=w2(0)

9、+(d(0)- y(0)x2(0)=0.4+0.4*(1-0)*0=0.4再取下一組輸入：x1(1)=1和x2(1)=1，其期望輸出為d(1)=1，實(shí)際輸出為：y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.6*1+0.4*1+0.1)=f(1.1)=1實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(1)=0和x2(1)=0，其期望輸出為d(0)=0，實(shí)際輸出為：y(1)=f(w1(1) x1(1)+ w2(1) x2(1)-(1) =f(0.6*0+0.4*0 + 0.1)=f(0.1)=1實(shí)際輸出與期望輸出不同，需要調(diào)節(jié)權(quán)值，其調(diào)整如下：(2

10、)=(1)+(d(1)- y(1)*(-1)= -0.1+0.4*(0-1)*(-1)= 0.3w1(2)=w1(1)+(d(1)- y(1)x1(1)=0.6+0.4*(0-1)*0=0.6w2(2)=w2(1)+(d(1)- y(1)x2(1)=0.4+0.4*(0-1)*0=0.4再取下一組輸入：x1(2)=0和x2(2)=1，其期望輸出為d(2)=1，實(shí)際輸出為：y(2)=f(w1(2) x1(2)+ w2(2) x2(2)-(2) =f(0.6*0+0.4*1 - 0.3)=f(0.1)=1實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(2)=1和x2(2)=0，其期望輸出為d(2)=1，實(shí)際輸出為：y(2)=f(w1(2) x1(2)+ w2(2) x2(2)-(2) =f(0.6*1+0.4*0 - 0.3)=f(0.3)=1實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。再取下一組輸入：x1(2)=1和x2(2)=1，其期望輸出為d(2)=1，實(shí)際輸出為：y(2)=f(w1(2) x1(2)+ w2(2) x2(2)-(2) =f(0.6*1+0.4*1 - 0.3)=f(0.7)=1實(shí)際輸出與期望輸出相同，不需要調(diào)節(jié)權(quán)值。 至此，學(xué)習(xí)過(guò)程結(jié)束。最后的得到的閾值和連接權(quán)值分別為：(2)= 0.3w1(2)=0.6w2(