AI建模師-素養(yǎng)手冊(15)-理解AI生成(AIGC)-從AE模型出發(fā)

AI建模師手冊第15集理解AI生成--從AE模型出發(fā)By高煥堂/AI建模師俱樂部會長復(fù)習：AE模型AE的預(yù)測與生成AE的補值的原理AE的生成的計算AE的潛藏空間容納經(jīng)驗直覺本文發(fā)表于臺灣AIC產(chǎn)業(yè)聯(lián)盟

技術(shù)分享大會(2022.2.17)2022/2/172022/2/17臺灣AIC(AI+IC)技術(shù)分享大會臺灣AIC產(chǎn)業(yè)聯(lián)盟技術(shù)分享大會.AEC：臺灣產(chǎn)業(yè)發(fā)展之路.2022^2/1759:30-12:00&13:00-16:50時間主題主講人9:30-10:00AiEDA、EdgeAl'AIoT和AIGC的產(chǎn)業(yè)發(fā)展方向與策略嘉賓致詞(keynote)10:00-10:50EDAFull-Custom工具在設(shè)計highperformanceCPU上的用途美國YXTechnologies創(chuàng)辦人顏耀聰博士10:55-11:25AlEDA(machinelearningondigitalplacement)陽明交通大學(xué)陳宏明教授11:30-12:15醫(yī)療Al設(shè)計與應(yīng)用分享AI+SoC/MEMPlacement經(jīng)驗分享謝孝綱教授午餐時間

午餐時間13:00-13:30凱比機器人的AIoT教案開發(fā)技術(shù)姿立AI技術(shù)長鄭仲平13:30-14:15（邊緣）EdgeAI開發(fā)實務(wù)分享逢甲大學(xué)林峰正教授14:20-14:45AI生成+耐能AIDongle開發(fā)技術(shù)銘傳大學(xué)高煥堂教授14:50-15:15TensorFlow+OpenVINO醫(yī)療應(yīng)用銘傳大學(xué)EdgeAI團隊陳冠儒15:20-15:45EdgeX開發(fā)流程&技術(shù)入門銘傳大學(xué)EdgeAI團隊黃佳琪15:50-16:20AIGAN對抗學(xué)習與藝術(shù)創(chuàng)作神櫻AI藝術(shù)總監(jiān)馮彥霖16:20-16:501） 行動AI-Meta公司PytorchLive2） 感謝致詞AIC聯(lián)盟主席高煥堂次報名費濃早鳥報名：免費，於2022/1/20日之前報名之貴賓，且前200位報名者，可享免費優(yōu)待°一般報名：NT$2600元/人。IC設(shè)計KneronKL720AlSoCIC製造（封測）Al應(yīng)用AIOSAl晶片PyTorch+耐能Al芯片

應(yīng)用幵發(fā)技術(shù)IC設(shè)計IC製造（封測）Al晶片Al應(yīng)用AIOS復(fù)習：AE模型(Autoencoder)善用AE模型I從AE的補值(Imputation)說起-補值：尋找一個合理的值來替換缺失的值。(…tofindaplausiblevaluetoreplaceonethatismissing.)善用善用AE模型I善用AE(AutoEncoder)模型善用善用AE模型I善用AE(AutoEncoder)模型-AE模型可以學(xué)習具有缺失特征值的資料，并生成合理的新數(shù)據(jù)來替代它們。-learningfromcorrupteddata.

JAE模型可以學(xué)習具有缺失特征值的資料，并生成合理的新數(shù)據(jù)來替代它們。…themodelisabletolearnfromincompletedataandgeneratenewplausiblevaluesforimputation.X X Encoder H Decoder YeX善用AE模型Encoder是過濾器-Encoder在降維時，也過濾掉不顯著的特征。EncoderDecoderY^XX*Wh+Bh=H

復(fù)習AE模型Decoder是生成器-基于潛藏空間的顯著特征，Decoder生成所期待的面貌。EncoderDecoderY^XH*Wo+Bo=YIIIIEncoder DecoderY X過濾Encoder; \DecoderYeX

過濾生成過濾Encoder; \DecoderYeX善用AE模型I有招今無招今千變?nèi)f化Outputs(=Inputs)InternalrepresentationInputsDecodeEncoderOutputs(=Inputs)InternalrepresentationInputsDecodeEncoderEncoderInputs無招(LatentSpace)生成有招千變?nèi)f化Outputs(nInputs)XYXHEncoderDecoder務(wù)■A■Li■a■2■Internalrepresentation歸納 推論

學(xué)習 預(yù)測善用善用AE模型I AE像瑞士刀善用善用AE模型I AE像瑞士刀Autoencoder:DeepLearningSwissArmyKnife18.11.2020byPawetSobel-當談到在一個充滿機器學(xué)習問題的世界中生存時，有一種算法可能像瑞士刀一樣通用，它是一種自動編碼器。(WhenitcomestosurvivalinaworldfullofmachinelearningproblemsthereisonealgorithmwhichmaybeasversatileasSwissKnife,anditisanautoencoder.)AE的預(yù)測與生成AE的學(xué)習和推論AE模擬人類：從所閱歷的現(xiàn)象（以X表示）中學(xué)習。學(xué)習 預(yù)測AEAE的學(xué)習和推論AEAE的學(xué)習和推論AE像人類：當閱歷多了，就會在心中沉淀、過濾、進而歸納出其內(nèi)涵的規(guī)律或法則。I請看一個范例-這是一個水果店，記錄了3位客人的滿意度（即對各水果的評分值。為典型的3x為典型的3x2x3AE架構(gòu)EncoderMDecoderAEAE的學(xué)習和推論.AE的學(xué)習和推論I首先進行正規(guī)化(Normalization)-例如，將X值傳換成為介于0~1之間的數(shù)值。BcDBcDX(輸入值)否蕉草莓奇異果101010781正規(guī)化(X/10)-現(xiàn)在，請按下〈正規(guī)化〉按鈕，得出:

-同時，也設(shè)定目標值T=X。如下：香蕉草莓奇異果 10J00.10香蕉草莓奇異果 10J00.20.1BCDX（輸入值）正規(guī)化(X/10)H（潛藏空間）學(xué)習H-現(xiàn)在，請按下〈學(xué)習〉，就幵始訓(xùn)練這個AE模型了。

-經(jīng)過約1分鐘，就訓(xùn)練完成了。?也就得出其Encoder（即Wh&Bh），以及Decoder（即Wo&Bo），如下：BCDX（輸入值）香蕉草莓奇異果EALilyMikeJohn正規(guī)化（X/10）FH（潛藏空間）1,6830.528-0,9261.297L0110.364學(xué)習HIJKT（目標值）10J00.20.1L還原0.950J240.0260.0940.0260.7020.8190.1790.093Y（預(yù)測值）141516IBh2.06420.2757-1,322-2223-1.2611.1358-0,2490.4749hBo2.0822-0.0638-1.90.278323986-0.5-0.697-0.584-07-同時，也由X*Wh+Bh=H公式，計算出H值：H（潛藏空間）1.6830.0940.0260.702Wh2.06420.2757Wo2.0822-0.0638-1.9-1,32222230.2783-2.3986-0,5-1.2611.1358Bo-0.697-0.584-0.2Bh-0.2490.4749T（目標值）1-0.9260.8190.1790.093正規(guī)化（X/10）學(xué)習Y（預(yù)測值）0.950J240.026ABCDX（輸入值）乒香蕉草莓奇異果1rFLily10.1011Mike5John1.0110.3646\11丿1.297-同時，也由H*Wo+Bo=Yo公式，以及

Sigmoid（Yo）=Y公式，計算出Y值（預(yù)測值）:B2香蕉草莓奇異果3Lily10.104Mike0.100.75John67AX（輸入值）正規(guī)化（X/10）1213141516Bh2.06420.2757Wo-1,322-2223-1.2611.1358Bo-0.2490.4749FH（潛藏空間）1.6830.528-0,9261.297L0110.364學(xué)習HDE2.0822-0.0638-1.90.278323986-0.5-0.697-0.584-0710J00.20.1T（目標值）0.950.1240.0260.0940.0260.7020.8190.1790.093Y（預(yù)測值）還原AEAE的學(xué)習和推論AEAE的學(xué)習和推論I這AE模型訓(xùn)練完成了-最后，按下〈還原〉。就將Y值乘以10，得到-以上展示了AE模型的訓(xùn)練流程。

Encoder會過濾掉不顯著的特征-再H空間里的群聚情形愈加明顯。過濾 愈相似的資料，AE的學(xué)習和推論I范例：更多筆資料AE的學(xué)習和推論依據(jù)相似性而分群?請您先看看輸入資料，依據(jù)其資料的相似度(Similarity)而觀之，可以明顯地看出來，可分為3群(Cluster)°?例如，其中第0筆和第2筆，相似度較高：16161616AE的學(xué)習和推論I依據(jù)相似性而分群H（潛藏空間）T（目標值）Y（預(yù)測值）Melody包括＜正規(guī)化、學(xué)習和還原〉三個步驟相似性高歸為同一群香蕉草莓奇異果才Lily1020,Mike117X（輸入值）1082.AE的學(xué)習和推論依據(jù)相似性而分群A123LilyMike5JohnelodyJoeB一X（輸入值）香蕉10草莓2奇異果010HA123LilyMike5JohnelodyJoeB一X（輸入值）香蕉10草莓2奇異果010H（潛藏空間）T（目標值）101082011171101Y（預(yù)測值）相似性高歸為第2群1415包括＜正規(guī)化、學(xué)習和還原〉三個步驟AE的學(xué)習和推論I依據(jù)相似性而分群235678910LilyMikeJohnMelodyB一X（輸入值）香蕉10草莓2奇異果0H（潛藏空間）T（目標值）1010Joe101Y（預(yù)測值）單獨歸為第3群I還原〉三個步驟.AE的學(xué)習和推論-然后按下〈學(xué)習〉，就開始訓(xùn)練AI了。得出了：1011121415LilyMikeJohnMelodyJoeB一X（輸入值）香蕉10草莓2學(xué)習EFGHH（潛藏空間）3.2430.482-0.3662J452.5340.748-L1522.6960.6551.097D7810101奇異果0T（目標值）10包括〈正規(guī)化、學(xué)習和還原〉三個步驟LMN0Y（預(yù)測值）10200178200110121K0710118191819181918191919-Al并不讓人們失望，看看上圖的H值，就是5筆輸入數(shù)據(jù)，在這平面上的對應(yīng)點坐標。如下圖：H（潛藏空間）T（目標值）Y（預(yù)測值）草莓奇異果0.482MikeMelody0.6551,097學(xué)習包括<正規(guī)化X（H（潛藏空間）T（目標值）Y（預(yù)測值）草莓奇異果0.482MikeMelody0.6551,097學(xué)習包括<正規(guī)化X（輸入值）否蕉2.14505482,696-0.3662.534-1,152hl-然后按下〈學(xué)習〉，就開始訓(xùn)練AI了。得出了：hlABcDEFGHTJKLMN01X（輸入值）2香蕉草莓奇異果H（潛藏空間）T（目標值）Y（預(yù)測值）3Lily10203.2430.482101Q10204Mike117-0.3662.1451070175John8212.5340.7488218206Melody0110-L1522.696011001107Joe1210.6551,097111121891011學(xué)習121415包括〈正規(guī)化、學(xué)習1617-2群-2 ?-、~/\、-' ——^―2-h0EncoderH（潛藏空間）3.2430.482-0.3662.145EncoderH（潛藏空間）3.2430.482-0.3662.1452.5340.748-1.1522.6960.6551.097-經(jīng)由Encoder過濾之后，各群的主要特征更為明顯，意謂著各群的共同特征更為明顯著。香蕉」草莓奇異果TOC\o"1-5"\h\zLily 10 2 0Mike 1 1 7John 8 2 1Melody 0 1 10Joe 1 2 1

-然后基于H空間里各點的向量（更具群共性），由Decoder來生成其外貌（含有群共性）。hl'1廠、、密'0/-群_2t1/、/J'I'、 /r■ 1-22 h0fLH（潛藏空間）13.2430.482-0.3662.1452.5340.748-1.1522.6960.6551.097Y（預(yù)測值）10 2 00 1 78 2 00 1 101 2 1生成AE生成的原理I Encoder會過濾掉不顯著的特征香蕉I草莓I奇異果Lily1020Mike11John82IliMelodyo110Joe121不顯著特征■AE生成的原理Encoder會過濾掉不顯著的特征香蕉早莓102Mike11John82Melody01Joe12奇異果0|7|1|10I1顯著特征顯著特征AEAE生成的原理AEAE生成的原理IEncoder會過濾掉不顯著的特征-例如，這兩筆的主要（顯著）特征很接近（很相似），在H空間里，更加聚集在一群里。-例如，這兩筆的主要（顯著）特征很接近（很相似），在H空間里，更加聚集在一群里。香蓮草莓奇異果n兩者卜相似性高MelodyMelody 0 1 10Joe 1 2 1AE生成的原理I接續(xù)上述的范例AEAE生成的原理展幵學(xué)習：請按下〈學(xué)習〉，就訓(xùn)練出Encoder和Decoder，并且計算出H和Z值。ABCABCDE1學(xué)習(MissingData)2主食性別配菜3客人11114客人2105客人3116客入40007客人5108客人610091：排骨1:男士1*涵蛋100:雞腿0:女士0:荷苞蛋111213完成了！學(xué)習14（歸納/過濾）15—FGHIJKH（潛藏空間）Z（預(yù)測值）10.0620.90.950.080.810.2000.820.960.90J0.10.820.960.90J0.1Round

（四捨五入）AEAE的經(jīng)驗直覺AEAE的經(jīng)驗直覺按下＜四舍五入〉,就把遺失的數(shù)據(jù)填補起來了:ABCDE1學(xué)習(MissingData)2主食性別配菜3客人1114客人21105客人3116客人40007客人5108客人610091：排骨1:男士1*涵蛋100:雞腿0:女土0:荷苞蛋111213完成了！學(xué)習14（歸納/過濾）15—FGH\UK\、H（潛藏空間）/Z（預(yù)測值）10.06L110.820.96L000.950.01L110.080.810000.820.96L000.820.96L001、 /Round（四捨五入）H（潛藏空間）；後(082,0.96)學(xué)習(MissingData)'客人1客人2主食1性別1配菜1客人3客人4客人5客人61：排骨01：男士01：涵蛋0：艾士0:荷苞蛋hl、一―廣_ j藏$.82,0.96)Z（預(yù)測值）排骨男士酒蛋女士荷苞蛋性客人3Z（預(yù)測值）排骨男士酒蛋女士荷苞蛋性客人3客人4客人5客人6■客人1客人2學(xué)習(MissingData)AE的經(jīng)驗直覺未來發(fā)展之路https:力blog訂林AnInte