TensorFlow +OpenVINO 整合開發(fā)CR-A07-自編碼器(AE)-神奇的ML瑞士刀

--神奇的ML瑞士刀_1.小而美的自編碼器(AE)3.開始創(chuàng)作之旅4.組合成維深度學(xué)習(xí)模型5.設(shè)計(jì)出自編碼器(AE)6.AE的過(guò)濾和降維效果7.范例實(shí)現(xiàn)-18.范例實(shí)現(xiàn)-29.優(yōu)化模型：使用OpenVINO優(yōu)化器10.測(cè)試模型：使用OpenVINO推論引擎小而美的自編碼器小而美的自編碼器·AE是一種小而美的ML模型，它的用途非常多，所以有ML瑞士刀」之稱。例如·PawerSobel就稱之為：深度學(xué)習(xí)瑞士刀。小而美的自編碼器Sobel在其文章里寫道：當(dāng)談到在一個(gè)充滿機(jī)器學(xué)習(xí)問(wèn)題的世界中生存時(shí)，有一種算法可能像瑞士刀一樣通用，它是一種自動(dòng)編碼·AE本身就有很多種變化型式，而且它可以跟其他ML模型相結(jié)合，成為ML模型創(chuàng)新的核心要素之一。復(fù)習(xí)：分類器以邏輯回歸分類器為例·例如，有一群鴨和雞，我們收集了它們的兩項(xiàng)特征是：頭冠大小與腳蹼大小。如下圖所示：復(fù)習(xí)：分類器以邏輯回歸分類器為例ML建模的三個(gè)視角如何設(shè)計(jì)視角-1:數(shù)據(jù)矣系視角-3:視角-2:空間對(duì)應(yīng)復(fù)習(xí)：分類器·從視角-1<數(shù)據(jù)矢聯(lián)>來(lái)看這個(gè)Al(ML)模型：BCDEFGH1J1X空間Z空間(Sigmoid)2頭冠大小腳蹼大小TZ3420(雞)4310(雞)5200(雞)6021(鴨)7151(鴨)8261(鴨)9學(xué)習(xí)復(fù)習(xí)：分類器以邏輯回歸分類器為例·從視角-2<空間對(duì)應(yīng)>來(lái)看這個(gè)模型：以邏輯回歸分類器為例·從視角-3<神經(jīng)網(wǎng)絡(luò)>來(lái)看這個(gè)模型：sigmoidx0x1開始學(xué)習(xí)按下<學(xué)習(xí)>,這ML模型就尋找出最棒的W&B來(lái)表達(dá)上述ABCEFGH1J1X空間Z空間(Sigmoid)2頭冠大小腳蹼大小TZ3420(雞)04310(雞)05200(雞)06021(鴨)7151(鴨)18261(鴨)19W學(xué)習(xí)1.32326078B·于是，尋找出了很棒的W&B了，讓預(yù)測(cè)值(Z)非常接近于目標(biāo)值(T)了，呈現(xiàn)出的理想的空間對(duì)應(yīng)矢系：·其中，是由人類去思考而提供出目標(biāo)值。所以，它屬于監(jiān)督式學(xué)習(xí)模式。--組合兩個(gè)分類器組合兩個(gè)分類器增添一個(gè)新分類器(取名為分類器-2),并且拿這個(gè)Z值來(lái)做為這新模型的輸ABCDEFGHJ1Z空2頭冠大小腳蹼大小TZ03420(雞)4P1310(雞)05200(雞)06021(鴨)7151(鴨)18261(鴨)19W學(xué)習(xí)B組合兩個(gè)分類器增添一個(gè)新分類器應(yīng)；2)分類器-2的空間對(duì)應(yīng)?！がF(xiàn)在，就將兩者連結(jié)起來(lái)，形成下述的整合對(duì)應(yīng)矢系：如下圖：組合兩個(gè)分類器分類器-2ABCDEFGHIJK12ZY空間(Linear)3t0tl4001(雞)5001(雞)6001(雞)710(鴨)8110(鴨)9110(鴨)學(xué)習(xí)組合兩個(gè)分類器分類器-2展開學(xué)習(xí)·接下來(lái)，就可按下<學(xué)習(xí)>,這回歸模型就尋找出Wr&Br組合兩個(gè)分類器分類器-2學(xué)習(xí)完成了ABCDEFGHIJ12ZY空間(Linear)34001(雞)5001(雞)6001(雞)710(鴨)8110(鴨)9110(鴨)1.0180421-1.018042學(xué)習(xí)組合兩個(gè)分類器這種組合模型的特性組合成為ABCDEFGHABCDEFGH1Z空2頭冠大小腳蹼大小TZ3420(雞)04P310(雞)05200(雞)06021(鴨)7151(鴨)18261(鴨)19W-1.51709652學(xué)習(xí)B-0.11976039組合成深度學(xué)習(xí)模型·現(xiàn)在將兩個(gè)模型融合為一，成為一個(gè)多層的神經(jīng)網(wǎng)絡(luò)；它也是一個(gè)分類器。如下圖：BCDEFGHIJKLM1X空間Y空間(Lin2頭冠大小腳蹼大小H34201(雞)43101(雞)52001(雞)60210(鴨)71510(鴨)82610(鴨)9學(xué)習(xí)組合成深度學(xué)習(xí)模型ABCDEFGH1JKLM1Y空間(Lin2頭冠大小腳蹼大小H34201(雞)4P3101(雞)52001(雞)60210(鴨)71510(鴨)82610(鴨)9Bo學(xué)習(xí)·其中的Wh和Bh就是這隱藏層的權(quán)重和偏移植?！び捎谶@是監(jiān)督式學(xué)習(xí)模式，所以在Y空間里設(shè)定了兩個(gè)目標(biāo)值(也就是上圖里的標(biāo)簽),如下圖所示：X0yoH組合成深度學(xué)習(xí)模型從X空間對(duì)應(yīng)到Y(jié)空間的目標(biāo)點(diǎn)6組合成深度學(xué)習(xí)模型展開學(xué)習(xí)·請(qǐng)按下<學(xué)習(xí)>,這個(gè)多層模型就展開學(xué)習(xí)，尋找出最好組合成深度學(xué)習(xí)模型學(xué)習(xí)完成了BCDEFGH1JKLM1X空間H空間(SiY空間(Linear)2頭冠大小腳蹼大小H34201(雞)43101(雞)0152001(雞)0160210(鴨)715010(鴨)826010(鴨)9學(xué)習(xí)學(xué)習(xí)完成了·其空間對(duì)應(yīng)矢系，如下圖所示：X空間H空間組合成深度學(xué)習(xí)模型此模型的特性·在這個(gè)模型里，也是人們?nèi)ニ伎级峁┝四繕?biāo)值(即分類標(biāo)簽),所以是采監(jiān)督式學(xué)習(xí)模式。設(shè)計(jì)出自編碼器采取非監(jiān)督式學(xué)習(xí)學(xué)習(xí)。BCDEFGHJKLM1X空間H空間(SiY空間(Linear)2頭冠大小腳蹼大小H34201(雞)43101(雞)0152001(雞)0160210(鴨)715010(鴨)826010(鴨)9-1.2704818學(xué)習(xí)-0.2542166標(biāo)簽),就稱為非監(jiān)督式學(xué)習(xí)了。模型又如何學(xué)習(xí)呢?專家們就想到一個(gè)方法，就是：拿輸入值(X)x0H空間的對(duì)應(yīng)矢系，如下：X空間AE:展開訓(xùn)練·按下<學(xué)習(xí)>,這個(gè)AE就展開學(xué)習(xí)，尋找出最好的Wh&Bh,以及Wo&Bo,并且輸出其預(yù)測(cè)值(Y):ABCEFGHIJKLM1X空間H空間(Sigmoid)Y空間2頭冠大小腳蹼大小H3424222431312152020206020222715152682626269學(xué)習(xí)·按下<學(xué)習(xí)>,這個(gè)AE就展開學(xué)習(xí)，尋找出最好的Wh&Bh,以及Wo&Bo,并且輸出其預(yù)測(cè)值(Y):123456789頭冠大小腳蹼大小Ht0=x0tl=x1y0F0F1F2FBF4F5432012210256432012210256學(xué)習(xí)學(xué)習(xí)M210266Wh&BhH·按下<學(xué)習(xí)>,這個(gè)AE就展開學(xué)習(xí)，尋找出最好的Wh&Bh,以及Wo&Bo,并且輸出其預(yù)測(cè)值(Y):123456789X空間頭冠大小腳蹼大小H0.94019843201221025622M210266AE:展開訓(xùn)練·按下<學(xué)習(xí)>,這個(gè)AE就展開學(xué)習(xí)，尋找出最好的Wh&Bh,以及Wo&Bo,并且輸出其預(yù)測(cè)值(Y):ABCEFGHIJKLM1X空間H空間(Sigmoid)Y空間(Linear)2頭冠大小腳蹼大小H3424222431312152020206020222715152682626269學(xué)習(xí)-0.099AE:展開訓(xùn)練123456789頭冠大小腳蹼大小P0P1P2P3P4P5432012學(xué)習(xí)L222222M210266AE:展開訓(xùn)練123456789頭冠大小腳蹼大小P0P1P2P3P4P5432012H0.94學(xué)習(xí)M210266H頭冠大小腳蹼大小424222313121202020020222151526262626H延續(xù)上一小節(jié)的范例：延續(xù)上一小節(jié)的范例：ABCEFGHIJKLM1X空間Y空間2頭冠大小腳蹼大小H3424243131520206020271515826269學(xué)習(xí)ABCEFGH1JKLM1X空間H空間(Y空間2頭冠大小腳蹼大小H3424222431312152020206020222715152682626269學(xué)習(xí)ABCEGH1JKLM1X空間H空間(Sigmoid)Y空間2頭冠大小腳蹼大小H3424222431312152020206020222715152682626269學(xué)習(xí)萃取出顯著特征123456789P0P1P2P3P4P543201220256M210266<腳蹼大小>123456789頭冠大小腳蹼大小HtO=x0tl=x1y0M210266X的顯著特征x1充分還原了2頭冠大!腳蹼大小Ht0=x0tl=x1y0y19非顯著特征x0呈現(xiàn)群共性123456789P0P1P2P3P4P543201220256JH0.94432012210256y022M210266hhABCFGH1JKLM1X空間H空間(Y空間2頭冠大小H3P04242224P13131215P22020206P30202227P41515268Z626269學(xué)習(xí)B-2.69511頭冠大小腳蹼大小423120021526h頭冠大小423120021526h頭頭冠大小腳蹼大小423120021526h的大小對(duì)于H值影響會(huì)因WH[1]值較大被放大。就凸顯了x1特征(即顯著特征)。顯著特征的計(jì)算方法由Decoder的計(jì)算而得到輸出資料Y。而且，這輸出資料Y可以非常接近于輸入資料X。并且Y與X極為類似。如下圖所示：從2維降到1維潛藏層從3維降到2維酒藏層AE的降維效果AE的降維效果·AE(自編碼器)是一種可以實(shí)現(xiàn)編碼和解碼的神經(jīng)網(wǎng)路。將原始資料透過(guò)Encoder進(jìn)行壓縮(降維);使用Decoder還原成原始資料。0x2y2潛藏空間潛藏空間y2潛藏空間實(shí)現(xiàn)范例-1·將輸入X資料經(jīng)由Encoder可計(jì)算出H;并能將H資料經(jīng)由Decoder的計(jì)算而得到輸出資料Y。而且，這輸出資料Y可以非常接近于輸入資料X?！て渲饕δ苁牵簩⒏呔S度的X資料，轉(zhuǎn)換(壓縮)為低維度的H。然后，可以再?gòu)牡途S度的H還原回來(lái)高維度的Y,并且Y與X極為類似。如下圖所示：實(shí)現(xiàn)范例-1準(zhǔn)備訓(xùn)練資料ABCEFGH1JK1X空間潛藏空間Y2H310104010156789學(xué)習(xí)設(shè)定T=X實(shí)現(xiàn)范例-1準(zhǔn)備訓(xùn)練資料·按下<學(xué)習(xí)>,AE模型會(huì)逐步探索而尋找出適合的Wh、Bh、Wo和Bo值。如下圖：ABCDEFGHIJK1X空間潛藏空間空間2H31010401-0.70156789-0.7學(xué)習(xí)-0.70X空間X空間A潛藏空間H12341010學(xué)習(xí)9實(shí)現(xiàn)范例-1|Y空間JK56780實(shí)現(xiàn)范例-1#vinoA0701model.pyimportnumpyasnpfromkeras.modelsimportSequential#Encoder的W&B初期值Encoderinit=[np,array([[0.1][-0.1]],dtype=np.float32),np.array([0.0],dtype=np.float32)]#Decoder的W&B初期值Decoderinit=[np,array([[0.1,-0.1]],dtype=np.float32)np.array([0.0,0.0],dtype=np.float32)]實(shí)現(xiàn)范例-1#vinoA0701model.pyimportkerasfromkeras.layersimportDense#輸入值X=np,array([[1,0][0,1]],dtype=np.float32)Encoderinit=[np,array([[0.1][-0.i]],dtype=np.floaxs2),np.array([0.0],dtype=np.float32)]#Decoder的W&B初期值np.array([0.0,0.0],dtype=np.float32)]實(shí)現(xiàn)范例-1H層和Y層#定義Hidden層dh=Dense(1,activation='linear',inputdim=?#定義Ouput層d=Dense(2,activation='linear',inputdim=1)model.add(dh)model.add(d)pile(loss='mse',optimizer=SGD(lr=0.025),metrics=['accuracy'])##展開訓(xùn)練150回合model.fit(X,T,1,150,0,#訓(xùn)練完畢#-----------continued------------------實(shí)現(xiàn)范例-1#定義Hidden層dh=Dense(1,activation='linear',inputdd=Dense(2,activation='linear',iratdim=1)modelmodel.add(dh)model.add(d)pile(loss='mse',optimizer=SGD(lr=0.025),metrics=['accuracy'])#把Encoder和Decoder的W&B初期值，設(shè)定給這NN模型#展開訓(xùn)練150回合model.fit(X,T,1,150,0,shuffle=False)#訓(xùn)練完畢實(shí)現(xiàn)范例-1#定義Hidden層dh=Dense(1,activation='linear',inputdim=2)#定義Ouput層d=Dense(2,activation='linear',inputdim=1)model.add(dh)model.add(d)mode1.Compile(loss='mse',optimizer=SGD(Ir=0.025),hetrics=['accuracy'])#把Encoder和Decoder的W&B初期值，設(shè)定給這NN模型dh.setweights(Encoderinit)d.setweights(Decoderinit)#展開訓(xùn)練150回合model.fit(X,T,1,150,0,#訓(xùn)練完畢#-----------continued-----------------Wh初期值Wo初期值Bo初期值Bo初期值實(shí)現(xiàn)范例-1展開訓(xùn)練#定義Hidden層dh=Dense(1,activation='linear',inputdim=2)#定義Ouput層d=Dense(2,activation='linear',inputdim=1)model.add(d)pile(loss='mse',optimizer=SGD(lr=0.025metrics=['accuracy'])#把Encoder和Decoder的W&B初期值，設(shè)定給這NN模型dh.setweights(Encoderinit)d.setweights(Decoderinit)#展開訓(xùn)練150回合model#訓(xùn)練完畢continued-------continued-------不輸出不輸出不混洗不混洗撰寫Python程序Continued-#從模型取出訓(xùn)練好Encader(即隱Bh=dh.getwBh=dh.getweights()[1]Wo=d.getweights()[U]Bo=d.getweights()[1]print("Wh:\n",np.round(Wh,2),"\n")取出Encodergrint("Y(預(yù)測(cè)值):\n",yy)print("wh:in",np,round(wh,2),yh=hh=np.round(yh,2)print("H值：\n",hh,"\n")print(print("Wo:\n",np.round(Wo,yoyy=np.round(yo,2)grint("Y(預(yù)測(cè)值):\n",yy)-")2),"\n")print("X:\n"",X,"\n")print(-.------")#從NN模型取出訓(xùn)練好Encoder(即隱藏層的W&B)Wh=dh.getweights()[0]Bh=dh.getweights()[1]Wo=d.getweights()[0]Bo=d.getweights()[1]print("Wh:\n",np.round(Wh,2),"\n")計(jì)算Hprint(print("Wo:\n",np.round(Wo,2),"\n")print("Bo:\n",np.round(Bo,2),"\n"yo=np.dot(yh,Wo)+Boyy=np.round(yo,2)grint("Y(預(yù)測(cè)值):\n",yy)-----continue--"\n")"\n")print(yo=np.dot(yh,Wo)+Boyy=np.round(yo,2)輸出下述結(jié)果：X:Wo:Y(預(yù)測(cè)值):[[0.990.01][0.010.99]]0.7-0.7-0.0H-0.7-0.7-0.0ZH000實(shí)現(xiàn)范例-2--多層AE的神經(jīng)網(wǎng)絡(luò)。的AE模型。如下圖：ABCDEFGHIJLMN0PQ1X(輸入值)H1空間H2空間H3空間2香蕉草莓橘子hlh2hlhlh2t0tlt2320204Mike1171175John8218216John208208789Wh3WoBo學(xué)習(xí)成為3x2x1x2x3形式的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)范例-2展開學(xué)習(xí)ABCDEFGHIJKLMN0P1X(輸入值)H1空間H2空間H3空間Y(預(yù)測(cè)值)2香蕉草莓橘子320920411721758218216208118789學(xué)習(xí)過(guò)濾&降維123456789ABDJohn香蕉182草莓2120橘子0718H1空間H2空間H3空間Y(預(yù)測(cè)值)學(xué)習(xí)123456789ABD香蕉草莓橘子H1空間H2空間H3空間Y(預(yù)測(cè)值)-1.864學(xué)習(xí)實(shí)現(xiàn)范例-2importnumpyasnpimportkerasfromkeras.optimizersfromkeras.modelsfromkerasimportimporttensorflowimportDense,Flatten,InputastfX=np,array([[10,20]#------------continued-------#-----.3x2x1x2x3NNmodel-----deftrain():globalXN=3$=4H1=2H2=1H3=2將X值轉(zhuǎn)變?yōu)?~1Input)dh1=Dense(H1,activation='linear'))dh2=Dense(H2,activation='sigmoid',name="hresult")dh3=Dense(H3,activation='linear')d=Dense(O,activation='sigmoid',name="oresult")#--------------#在App那邊需要再經(jīng)由sigmoid()轉(zhuǎn)換H1=2H2=1H3=20=3設(shè)定T=Xdh3=Dense(H3,activation='linear')d=Dense(O,activation='sigmoid',name="oresult")#--------------#在App那邊需要再經(jīng)由sigmoid()轉(zhuǎn)換deftrain():globalXN=3$=4H1=2H2=1H3=2#正規(guī)化(Normalize)dx=X/10dt=dx.copy()#目標(biāo)值T=X#定義Hidden層Inputlayer=Input(shape=(N,))dh1=Dense(H1,activation='linear')dh2=Dense(H2,activation='sigmoid',name="hresult"dh3=Dense(H3,actiyation='linear')d=Dense(O,activation='sigmoid',name="oresult")#在App那邊需要再經(jīng)由sigmoid()轉(zhuǎn)換)各Layers-continued-#建立Encoder和Decoderx=#訓(xùn)練1000回合tf.io.writegraphfrozengraph,"C:/pb/","encoder.pb",astext=False)tf.io.writegraph(frozengraph,#-------------------#建立Encoder和Decoderx=model=Model(x,z)sgd=SGD(1r=0.15)'',#訓(xùn)練1000回合model.fit(dx,dt,1,10#-------Savedto*,pb--sess=K.getsession()sess.run(tf.localvariablesinitializer())frozengraph=tf.graphutil.convertvariablestoconstants(_tf.io.writegraph("C:/pb/"__xh1=dh1(x)h2=dh2(h1)h3=dh3(h2)z=d(h3)model=Model(x,z)sgd=SGD(1r=0.15)#-------Savedto*,pb--sess=K.getsession()sess.run(tf.localvariablesinitializer())frozengraph=tf.graphutil.convertvariablestoconstants(sess,tf.getdefaultgraph(),asgraphdef(),['hresult/BiasAdd'])_tf.io.writegraph(frozengraph,"C:/pb/","encoder.pb",astext=False)tf.io.writegraph(frozengraph,名稱encoder=Model(x,h2)decoder=Sequential()decoder,add(dh3)decoder.add(d)#輸出print(np.round(X,2))print("\nH值：")Z=decoder.predict(H)zv=Z*10print("\nZ值：")print(np.round(zv))#-train()encoder=Model(x,h2)decoder=Sequential()decoder,add(dh3)decoder.add(d)p