TensorFlow +OpenVINO 整合開發(fā)CR-A09-ML的創(chuàng)作技能-補(bǔ)值(Imputation)

0.從補(bǔ)值、插值到創(chuàng)作1.善用AE(Autoencoder)模型2.AE的學(xué)習(xí)和推論3.AE補(bǔ)值的原理4.AE補(bǔ)值的計(jì)算過程5.范例實(shí)現(xiàn)-16.范例實(shí)現(xiàn)-27.優(yōu)化模型：使用OpenVINO優(yōu)化器8.測試模型：使用OpenVINO推論引擎--從補(bǔ)值、插值到創(chuàng)作從補(bǔ)值、插值到創(chuàng)作·目的：尋找一個(gè)合理的值來替換缺失的值。(..tofindaplausiblevaluetoreplaceonethatismissing.)5從補(bǔ)值、插值到創(chuàng)作·例如，5位客人買過5種水果，并給了評分，但是有買過才有評分，因而有些資料從缺(missing)了。G西瓜142AKG西瓜142AK453F草莓515JI香蕉H橘子12123456424261713127267899規(guī)劃AI模型推薦>范例BCEFGH114葡萄草莓西瓜橘子香蕉25451243K32143246521651143267511778AI推薦(預(yù)測評比)91123456補(bǔ)值完成了，就可以進(jìn)行推薦了。789443332222從補(bǔ)值、插值到創(chuàng)作算法，可以用來填補(bǔ)數(shù)據(jù)。例如，圖像(image)放大時(shí)，最從補(bǔ)值、插值到創(chuàng)作·首先觀摩一個(gè)Python程序，它繪出一張圖像。cv2.imshow("lyImage",img)cv2.waitKey(0)從補(bǔ)值、插值到創(chuàng)作從補(bǔ)值、插值到創(chuàng)作有明顯的鋸齒狀從補(bǔ)值、插值到創(chuàng)作采取人工智能的GAN模型來補(bǔ)值(插值)path="c:/pb/FSRCNNx3,pb"sr.readModel(path)sr.setModel("fsrcnn",3)從補(bǔ)值、插值到創(chuàng)作·例如，下述左圖是鑒賞者所握有的原圖，而右圖則是創(chuàng)作者所生成的創(chuàng)作品?？梢钥闯鰜砹?，透過生成對抗協(xié)同創(chuàng)新，所生成的作品已經(jīng)幾可亂真了。/uai2017/media/tutorials/shakir.從補(bǔ)值、插值到創(chuàng)作GAN模型最具創(chuàng)作能力掌握Al補(bǔ)值技能的源頭。Al的創(chuàng)作能力。從補(bǔ)值、插值到創(chuàng)作從補(bǔ)值、插值到創(chuàng)作Cscalarnator從補(bǔ)值、插值到創(chuàng)作ZGZXhttps://saicoco.github.io/EBGAN/從補(bǔ)值、插值到創(chuàng)作GAN模型最具創(chuàng)作能力能和原理出發(fā)。創(chuàng)作仙境?！つ康模簩ふ乙粋€(gè)合理的值來替換缺失的值。(..tofindaplausiblevaluetoreplaceonethatismissing.)理的新數(shù)據(jù)來替代它們。理的新數(shù)據(jù)來替代它們。imputation.·Encoder在降維時(shí)，也過濾掉不顯著的特征。復(fù)習(xí)AE模型的面貌。有招→無招→千變?nèi)f化1國Internal無招千變?nèi)f化Y心X過濾生成歸納推論AE像瑞士刀AE像瑞士刀·當(dāng)談到在一個(gè)充滿機(jī)器學(xué)習(xí)問題的世界中生存時(shí)，有一種演算法可能像瑞士刀一樣通用，它是一種自動編碼器。(WhenitcomestosurvivalinaworldfullofmachinelearningproblemsthereisonealgorithmwhichmaybeasversatileasSwissKnife,anditisanautoencoder.)AE的學(xué)習(xí)和推論AE模擬人類：從所閱歷的現(xiàn)象(以X表示)中學(xué)習(xí)。AE的學(xué)習(xí)和推論AE像人類：當(dāng)閱歷多了，就會在心中沉淀、過濾、進(jìn)而歸納出其內(nèi)涵的規(guī)律或法則?！み@是一個(gè)水果店，記錄了3位客人的滿意度(即對各水果的評分值。ABCDEFGHIJKLMN01X(翰入值)2香蕉草莓H(潛藏空間)T(目標(biāo)值)Y(預(yù)測值)3104Mike1075821678正規(guī)化學(xué)習(xí)還原9其為典型的3x2x3AE架構(gòu)：首先進(jìn)行正規(guī)化(Normalization)值傳換成為介于0～1之間的數(shù)值。ABCDEFGHIJKLMN0X(翰入值)2香蕉草莓奇異果空間)T(目標(biāo)值)Y(預(yù)測值)3104Mike1075821678正規(guī)化學(xué)習(xí)還原9請按下<正規(guī)化>按鈕，得出：ABCDEFGHIJKLMN01X(翰入值)2香蕉草莓奇異果空間)T(目標(biāo)值)Y(預(yù)測值)310104Mike005John678正規(guī)化學(xué)習(xí)還原9·現(xiàn)在，請按下<學(xué)習(xí)>,就開始訓(xùn)練這個(gè)AE模型了?！そ?jīng)過約1分鐘，就訓(xùn)練完成了。123456789A正規(guī)化還原還原123456789香蕉草莓奇異果正規(guī)化0Sigmoid(Yo)=Y公式，計(jì)算出Y值(預(yù)測值):123456789學(xué)習(xí)正規(guī)化學(xué)習(xí)N按下<還原>·就將Y值乘以10,得到：ABCDEFGHIJKLMN01X(翰入值)2香蕉草莓H(潛藏空間)T(目標(biāo)值)Y(預(yù)測值)31010104Mike1071071075John821821821678正規(guī)化學(xué)習(xí)還原9AE的學(xué)習(xí)和推論Encoder會過濾掉不顯著的特征愈相似的資料愈相似的資料在H空間里會更群聚1801018010711234123456710211香蕉10211180121212071189學(xué)習(xí)學(xué)習(xí)包括<正規(guī)化、包括<正規(guī)化、學(xué)習(xí)和還原>三個(gè)步驟依據(jù)相似性而分群●請您先看看輸入資料，依據(jù)其資料的相似度●例如，其中第0筆和第2筆，相似度較高：AE的學(xué)習(xí)和推論依據(jù)相似性而分群21801草莓212120711相似性高歸為同一群包括包括<正規(guī)化、學(xué)習(xí)和還原>三個(gè)步驟AE的學(xué)習(xí)和推論2香蕉草莓212120711T(目標(biāo)值)Y(預(yù)測值)相似性高歸為第2群包括<正規(guī)化、學(xué)習(xí)和還原>三個(gè)步驟2345234567180121212071189還原>三個(gè)步驟歸為第3群還原>三個(gè)步驟AE的學(xué)習(xí)和推論然后按下<學(xué)習(xí)>,就開始訓(xùn)練Al了。得出了：89·Al并不讓人們失望，看看上圖的H值，就是5筆輸入資料，在這平面上的對應(yīng)點(diǎn)座標(biāo)。如下圖：123456789包括<正規(guī)化、學(xué)習(xí)·然后按下<學(xué)習(xí)>,就開始訓(xùn)練Al了。得出了：123456789包括<正規(guī)化、學(xué)習(xí)香蕉香蕉2011782101121·經(jīng)由Encoder過濾之后，各群的主要特征更為明顯，意謂著各群的共同特征更為明顯著。H(潛藏空間)-1.152XXY(預(yù)測值)Y(預(yù)測值)2001782001121·然后基于H空間里各點(diǎn)的向量(更具群共性),由Decoder來生成其外貌(含有群共性)。H(潛藏空間)-1.152生成AE補(bǔ)值的原理香蕉草莓奇異果20Mike11782101121香蕉草莓奇異果20Mike11782101121AE補(bǔ)值的原理Encoder會過濾掉不顯著的特征在H空間里，更加聚集在一群里。20相似性高21011210AE021211AE補(bǔ)值的原理接續(xù)上述的范例ABCDFGHIJKLMN0X(翰入值)2香蕉草莓奇異果H(潛藏空間)T(目標(biāo)值)Y(預(yù)測值)320104117107582182160101712111189學(xué)習(xí)0123含<正規(guī)化、456AE補(bǔ)值的原理然后按下<學(xué)習(xí)>,就開始訓(xùn)練Al了。得出了：1234123456789180121212071 18011021107110801212120701含<正規(guī)化、學(xué)習(xí)和還原>三步驟AE補(bǔ)值的原理AE補(bǔ)值的原理ABCDEFGHIJK1補(bǔ)值2喜好評比香蕉草莓奇異果H(潛藏空間)Y(預(yù)測值)34Mike5John8160789補(bǔ)0(不參輿)補(bǔ)值(推論)AE補(bǔ)值的原理實(shí)際操作按下<補(bǔ)0>,出現(xiàn)：ABCDEFGHIJK1補(bǔ)值2喜好評比香蕉草莓奇異果H(潛藏空間)Y(預(yù)測值)34Mike5801600789補(bǔ)0(不參輿)補(bǔ)值(推論)John80100800800香蕉草莓奇異果208210112100081 香蕉草莓奇異果20821011212222820&群共性XX-1.825-0.790.282820AE補(bǔ)值的原理然后按下<補(bǔ)值>,就開始訓(xùn)練Al了。得出了：ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潛藏空間)Y(預(yù)測值)34Mike5801820600-1.13701789補(bǔ)0(不參輿)補(bǔ)值(推論)8010082001AE補(bǔ)值的原理請?jiān)诳匆豁?xiàng)補(bǔ)值范例ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潛藏空間)Y(預(yù)測值)3457656789補(bǔ)0(不參輿)補(bǔ)值(推論)AE補(bǔ)值的原理按下<補(bǔ)0>,出現(xiàn)：ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潛藏空間)Y(預(yù)測值)3450076560789補(bǔ)0(不參輿)補(bǔ)值(推論) 760Peter76香蕉草莓奇異果Lily2117Iohn80126180草莓2112奇異果71222282&群共性X-1.825-0.790.282560060060H向量1820&群共性XX-1.825-0.790.2828720X-1.825-0.790.282AE補(bǔ)值的原理·然后按下<補(bǔ)值>,就開始訓(xùn)練Al了。得出了：ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潛藏空間)Y(預(yù)測值)3450070186560720789補(bǔ)0(不參輿)補(bǔ)值(推論) 760018720接續(xù)上述的范例·建立一個(gè)AE模型，準(zhǔn)備從5筆資料中來學(xué)習(xí)：ABCDEFGHIJKLMN0P1X(翰入值)2香蕉草莓奇異果H(潛藏空間)T(目標(biāo)值)Y(預(yù)測值)320104Mike117107582182160101712111189學(xué)習(xí)AE補(bǔ)值的計(jì)算過程然后按下<學(xué)習(xí)>,就開始訓(xùn)練Al了。得出了：1234123456789180121212071 180110211071108012121207018010082001·得出W值如下圖：-0.15-0.47-1.7261.6681-1.825-0.790.282值如下圖：2.6841-0.499-0.15-0.47-1.7261.66811.634-0.174-2.83-1.825-0.790.282值如下圖：-0.15-0.47-1.7261.66811.634-0.174-2.83-1.825-0.790.282-0.15-1.3-0.75AE補(bǔ)值的原理ABCDEFGHIJK12喜好評比香蕉草莓奇異果H(潛藏空間)Y(預(yù)測值)34Mike580182060001789補(bǔ)0(不參輿)補(bǔ)值(推論)AE補(bǔ)值的原理·請按下<補(bǔ)值>,就輸出預(yù)測值：123456789A補(bǔ)值1818000HI80202AE補(bǔ)值的原理·請仔細(xì)看第0筆，看看它是如何計(jì)算的?ABCDEFGHIJK1補(bǔ)值2喜好評比香蕉草莓奇異果H(潛藏空間)Y(預(yù)測值)3 Lily5 Mike80182060001789補(bǔ)0(不參輿)補(bǔ)值(推論)Encoder的計(jì)算：John.0-1.8341.731.071.67-0.75141.731.071.67乙入以U00808IuuofI0.59-1.3-0.7580280201.63-1.31.07-0.757600187200Missing特征不參與0Missing特征不參與-1.3y2GLO-乙入以U09SH(潛藏空間)070780H(潛藏空間)-1.3-0.75范例實(shí)現(xiàn)-1·紐西蘭科學(xué)家ValerieMulukom指出，在心理學(xué)是自動、快速、潛意識(Subconscious)?！し治鐾评恚汉笳呖桃?、緩慢、邏輯性和有意識。·國際象棋大師、職業(yè)棒球運(yùn)動員、獲獎作家和作曲家就說不清自己是如何完成工作的。許多技能是不能用語言描述的?！つ憧赡芤灿羞^這樣的一種體驗(yàn)——當(dāng)你在某一領(lǐng)域里經(jīng)歷了長期的訓(xùn)練后，你會發(fā)展出某種常人沒有的直覺?！と藗兺高^無意識的「直覺」做出的判斷，有時(shí)比慎思熟慮更為有效?！さ珡纳镅莼慕嵌瓤磥?，任何事情在等到「完全確定」后再行動，反而是極其危險(xiǎn)的——當(dāng)原始人在森林中漫步時(shí)聽到怪聲，他應(yīng)該立刻提高警惕，而不是等到野獸撲面而來時(shí)才做出反應(yīng)。·當(dāng)我們身處于自身具有豐富經(jīng)驗(yàn)的領(lǐng)域里時(shí)，應(yīng)該相信自身的直覺，而不是刻意思考。AE的經(jīng)驗(yàn)直覺當(dāng)今的ML(機(jī)器學(xué)習(xí))可以學(xué)習(xí)<專家直覺>·例如，您打電話向自助餐老板訂購，老板問您：今天想吃什么?您說：今天吃排骨。老板接著問您：要配什么菜?您回答：都可以?！ぶ形绯燥垥r(shí)，打開便當(dāng)，發(fā)現(xiàn)便當(dāng)里有一個(gè)魯?shù)?。想一想，這老板如何預(yù)測：1顆魯?shù)澳?·請您欣賞一下馮彥霖小姐的4格漫畫(摘自她的<<AI學(xué)習(xí)繪本>>):3一個(gè)豬腳一個(gè).AE的經(jīng)驗(yàn)直覺當(dāng)今的ML(機(jī)器學(xué)習(xí))可以學(xué)習(xí)<專家直覺>·請看看AE(自編碼器),也能學(xué)習(xí)一些歷史數(shù)據(jù)中，學(xué)習(xí)一些專家直覺了?！び谑茿E也能具備像這位餐廳老板的直覺智慧?！の磥砟軗碛懈S富、精湛的直覺。AE的經(jīng)驗(yàn)直覺首先建立一個(gè)3x2x3的AE模型：AE的經(jīng)驗(yàn)直覺首先建立一個(gè)3x2x3的AE模型：ABDE1學(xué)習(xí)(完整資料)2主食性別配菜3客人11114客人21005客人30116客人40007客人51018客人610091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋建立一個(gè)3x2x3的AE模型：ABCDEFGHIJK1學(xué)習(xí)(完整資料)2主食性別配菜H(潛藏空間)Z(預(yù)測值)3客人11114客人21005客人30116客人40007客人51018客人610091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋學(xué)習(xí)(歸納/過濾)ABCDEFGHIJKL1學(xué)習(xí)(完整資料)2主食性別配菜H(潛藏空間)Z(預(yù)測值)3客人111114客人2100005客人3011116客人40007客人510118客人61000091:排骨1:男士1:滴蛋0:難腿0:女士0:荷苞蛋 (歸納/過濾) (歸納/過濾)1.1257餐了。ABCDEF12新客人主食性別配菜3訂餐1104訂餐2訂餐30150061:排骨1:男士1:油蛋70:難腿0:女士0:荷苞蛋89新客人性別配菜訂餐110 訂餐2訂餐30100現(xiàn)在來實(shí)際操作，如下：餐了。ABCDEFGHIJ12新客人主食性別配菜3訂餐1104訂餐2訂餐3015006789推論(補(bǔ)值)推論推論請按下<推論>,AE就運(yùn)用其專家直覺，將客人沒有填寫的(遺失)資料，填補(bǔ)起來：123456789D性別0EFHJC主食1D性別0EFHJC主食100GI0000訂餐2主食性別配菜客人1111客人2客人3100101客人4000客人5101客人6客人6100于得到滿意的結(jié)果：00(配荷苞蛋)(配滴蛋)(配荷苞蛋)1:排骨1:男士1:漓蛋0:難腿0:女士0:荷苞蛋bo=np,array([0.5,-0bo=np,array([0.5,-0dtypenpfloatbh=np,array([0dtypenpfloatdefsigmoid(s):return1/(1+np.exp(-s))[1,0,0], dtype=np.float32)wh=np.array([[0.1,0.2]:準(zhǔn)備初期值deftrain():globalwh,bh,wo,boN=3H=2#定義Hidden層Inputlayer=Input(shape=(N,))dh=Dense(H,activation='sigmoid',name="hresult")d=Dense(0,activation='sigmoid',name="oresult")x=zh#訓(xùn)練1000回合model.fit(dx,dt,1,2000,0,shuffle=False)建立設(shè)定W&B初期值設(shè)定W&B初期值continueddeftrain():globalwh,bh,wo,boN=3H=2Inputdh=Dense(H,activation='sigmoid',name="hresult")d=Dense(0,activation='sigmoid',name="oresult")x=zhmodelCompilelossmseoptimmodel.fit(dxdtshuffleFalsedeftrain():globalwh,bh,wo,boN=3H=2Inputdh=Dense(H,activation='sigmoid',name="hresult")d=Dense(0,activation='sigmoid',name="oresult")x=zh展開訓(xùn)練print("\n-------Training-------")print("Wh:")print("\nBh:")print(bh)print(bo)TX=np.array([0,1,-1Data設(shè)為0Data設(shè)為0正向推演正向推演輸出結(jié)果print(TX)輸出結(jié)果print("\nPredicted:")實(shí)際運(yùn)行，輸出結(jié)果：-----PredictionTestingdata:[0.1,-1.[[0.90.0.][][]]00·在剛才的范例里，AE都是從完整的歷史資料中學(xué)習(xí)·現(xiàn)在，就來想一想：如果這些歷史資料有所缺失，那么AE也可以從這些MissingData中學(xué)習(xí)其智慧嗎?ABCDE2主食性別配菜3客人14客人2105客人36客人4007客人5108客人61091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋現(xiàn)在來實(shí)際操作，如下：·這也是一個(gè)3×2x3架構(gòu)的AE模型：ABCDEFGHIJK12主食性別配菜H(潛藏空間)Z(預(yù)測值)3客人11114客人2105客人3116客人40007客人5108客人610091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋學(xué)習(xí)(歸納/過濾)(四捨五入)請按下<學(xué)習(xí)>,就訓(xùn)練出Encoder和ABCDEFGHIJK12主食性別配菜H(潛藏空間)Z(預(yù)測值)3客人111114客人2105客人31116客人4000007客人5108客人610091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋學(xué)習(xí)(歸納/過濾)(四捨五入)完成了! 按下<四舍五入>,就把遺失的資料填補(bǔ)起來了：ABCDEFGHJKL12主食性別配菜H(潛藏空間)Z(預(yù)測值)3客人111111114客人2101005客人3111116客人40000007客人5101008客人610010091:排骨1:男士1:油蛋0:難腿0:女士0:荷苞蛋學(xué)習(xí)(歸納/過濾)(四捨五入)完成了!H(潛藏空間)112主食性別配菜3客人14客人2105客人3116客人40007客人5108客人610091:排骨1:男士1:油蛋0:難腿0:女士12主食性別12主食性別配菜3客人14客人2105客人3116客人40007客人5108客人610091:排骨1:男士1:油蛋00:難腿0:女士0:荷苞蛋10110010Choollet的訪問及交流內(nèi)容。未來發(fā)展之路·總結(jié)一下，我們認(rèn)為未來Al模型將會融合直覺模式識別模組與形式推理模組。未來發(fā)展之路·科技產(chǎn)業(yè)資訊室-Kyle發(fā)表于2020年9月29日人工智慧進(jìn)入第四代人工直覺成為下一步發(fā)展Source:科技政策研究輿資訊中心-上述文章里提到…·AI是有史以來最強(qiáng)大的科技之一，但已經(jīng)歷經(jīng)四次的演變。實(shí)際上，自1950年代問世以來…·第二代是診斷性分析」。·第三代也是最近的這一代AI是預(yù)測性分析」,主要是基于已經(jīng)發(fā)生的事情進(jìn)行預(yù)測將來。·未來人工直覺標(biāo)志著AI將成為真正“智慧(智一步。范例實(shí)現(xiàn)-2最新的發(fā)展.httpslearnopencvcomsuperre上述文章里，作者寫道：·"Whenincreasingthedimensionsofanimage,theextrapixelsneedtobeinterpolatedsomehow.Basicimage提供了幫助，并提供了更好的結(jié)果。)OpenCV的Al插值功能提共多個(gè)*.pb提共多個(gè)*.pb模型檔案masterFSRCNNTensorflow/models/_modelsmodelsmodelstrainedmodels名稱模型，適合于圖像放大3倍時(shí)的插值?！の覀兛梢园堰@個(gè)*.pb檔案，交給OpenVINO的優(yōu)化器，來進(jìn)行模型優(yōu)化的動作。如下圖：優(yōu)化模型：行優(yōu)化動作。將模型優(yōu)化，然后輸出IR檔案·剛才已經(jīng)從TensorFlow匯出*pb檔案了，其路徑名稱步驟-1:進(jìn)入優(yōu)化器的工作區(qū)1.1首先從Wi