99 仿真基于大數(shù)據(jù)的機器學(xué)習(xí)與數(shù)值仿真技術(shù)

1、【仿真】基于大數(shù)據(jù)的機器學(xué)習(xí)與數(shù)值仿真技術(shù)2019-09-04原文本文是清華高校莊茁老師團(tuán)隊在最近第十五屆CAE工程分析年會上的報告，結(jié)合機器學(xué)習(xí)、大數(shù)據(jù)等時下?lián)屖值募夹g(shù)為我們精彩的敘述了在CAE領(lǐng)域的使用場景，值得了解和學(xué)習(xí)。第15屆中國CAE工程分析技術(shù)年會暨首屆中國數(shù)字仿真聯(lián)盟論壇2019.08.17-18基于大數(shù)據(jù)的機器學(xué)習(xí)與數(shù)值仿真技術(shù)莊茁F由小川柳占立高原李想，李樹.王濤.嚴(yán)子銘清華大學(xué)航院SchoolofAerospaceEngineeringjTsinghuaUniversity機器學(xué)習(xí)的發(fā)展過程奠走基礎(chǔ)20世紀(jì)50-60代淺層學(xué)習(xí)階段，感知機(Perceptron),最小二乘

2、法停滯不前20世紀(jì)6040年代重拾希望20世紀(jì)7680年代RumelhirietaL反向傳播算法(Jckpropagation)決策樹算法逐步成型20世紀(jì)犯年代FreundandSellapire,Adaboost法VapnikandCortes支持向量機(Supportveclormachine)饉勃發(fā)展1H|21世紀(jì)初至今HintonandSalakliutdinov,Reihiciugthediniensionalitvofdutawithneuralnetworks.Science20061深度神經(jīng)網(wǎng)絡(luò),D?KN(Depneuralnehvork)2-KITIyV人工智能與機器學(xué)習(xí)Ar

3、tificialintelligence(AE)&MachineLearning(ML)“隨著互聯(lián)網(wǎng).大數(shù)據(jù)、云計算和物聯(lián)網(wǎng)等技術(shù)不斷發(fā)展人工智能正引發(fā)科學(xué)突破的鏈武反應(yīng)，引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革，從而加速培育經(jīng)濟發(fā)展新動能并塑造新型產(chǎn)業(yè)體至，對人類的生活方貳甚至社會結(jié)構(gòu)產(chǎn)生深遠(yuǎn)影響口“莊茁由那川.劉彬.柳占立高原.新清華.201311月訊日為什么需要機器學(xué)習(xí)？為什么需要機器學(xué)習(xí)？人工智能（Af）需要于里論和方法卽新同時與產(chǎn)業(yè)需求蜜不可分，產(chǎn)業(yè)界為AI提供了豐富的真實間題、生動的應(yīng)用場景和大數(shù)據(jù)支持.基于神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)（ML）是人工智能發(fā)展最快的分支*ML研究如何通過計算手段利用既有經(jīng)

4、驗改善系統(tǒng)自身曲性能.在計算機蔡統(tǒng)中，經(jīng)驗VX”數(shù)據(jù)的形武存在。因此ML的主要內(nèi)容，是在計算機上從數(shù)據(jù)產(chǎn)生模型的“學(xué)習(xí)算法c我們只要把經(jīng)驗數(shù)據(jù)提供給學(xué)習(xí)算法，就能基于這些數(shù)據(jù)產(chǎn)生一系列的模型以指導(dǎo)對新問題提供準(zhǔn)確的判斷計鼻力學(xué)是與ML結(jié)合最緊密的專1L共同創(chuàng)造和分析數(shù)據(jù)（MechanisticMachineLearning（MML）機器學(xué)習(xí)/數(shù)值仿真的手段和目標(biāo)j;提取有意義的數(shù)據(jù)i頁巖水力莊裂持證：彌歆裂墳分布J!i儀測與仿真數(shù)據(jù)分鄭反演加積曲造密彥I機器學(xué)習(xí)/秒場貢巖井濫地劉S號做（1仿M*；玉口口|提離尺度軍MD(4rim)-CGC4Qnm)卜減少自由度廠f;提高計算加速比Time:1:

5、1On就取有用的知識：林料設(shè)計結(jié)構(gòu)優(yōu)化系統(tǒng)控制F*pFurif跨尺度理論/計SV實臉；I掲示隱含的內(nèi)在關(guān)至；在科學(xué)與工程中的三種機器學(xué)習(xí)方法機器學(xué)習(xí)方法強化學(xué)習(xí)(Reinforcementlearning)無監(jiān)督學(xué)習(xí)(Unsupervisedlearning)沒有設(shè)定數(shù)據(jù)標(biāo)憩，謹(jǐn)過卷積隠維圖案識別圉案特征，便冥特征更清晰監(jiān)督學(xué)習(xí)(Supervisedlearning)人為設(shè)定數(shù)據(jù)標(biāo)簽溫度模量)建丈輸入與輸岀映射簡化變屋之間前內(nèi)涵目標(biāo)明確博弈，本質(zhì)星數(shù)學(xué)優(yōu)策略是連續(xù)控制：紅方”藍(lán)方，AlphaGo,最優(yōu)控制監(jiān)督學(xué)習(xí)：謹(jǐn)過大量歷史散據(jù)學(xué)習(xí)建立現(xiàn)場模型指導(dǎo)運維人員柞出高效時控制強化學(xué)習(xí)：通過與仿真環(huán)

6、境的交互學(xué)習(xí)普種條件下最優(yōu)策SS,冥現(xiàn)揣到端前控制問題需求導(dǎo)向工程設(shè)計中的正問題和反問題測雖信息+祺差設(shè)計指標(biāo)+精度k正問題：已和輸入和系統(tǒng)求輸岀71J尸反問題一般分為兩類：已知輸入和輸岀求系統(tǒng)；F何J已知輸岀和系統(tǒng)，求輸入4-1對材料或結(jié)構(gòu)設(shè)計問題來說就是已知輸入和輸岀確走系統(tǒng),即根據(jù)工程爲(wèi)求定制化設(shè)計材料或結(jié)構(gòu)88科學(xué)與工程的數(shù)據(jù)生成(Datasourcegeneration)1010大數(shù)據(jù)的來源：生成和創(chuàng)造實驗室和現(xiàn)場實驗大數(shù)據(jù)機器學(xué)習(xí)時間-空間計算機數(shù)值仿真數(shù)據(jù)科學(xué)轉(zhuǎn)導(dǎo).歸納葺推論數(shù)據(jù)科學(xué)個維度：經(jīng)驗積累理論模型計算仿真數(shù)據(jù)驅(qū)動實皈量傳輸訓(xùn)練數(shù)據(jù)實驗數(shù)據(jù)歸納:從已知數(shù)據(jù)學(xué)習(xí)獲得新的理論

7、推論:瑾立理論并得到實驗驗證（至下而上（至上而下）理論數(shù)據(jù)轉(zhuǎn)導(dǎo):從已知數(shù)據(jù)學(xué)習(xí)并訓(xùn)練新的數(shù)據(jù)Datasource:multilengthandtimescales|多尺度分析多相材料.多物理場變量|softchainShiH-kNanoscaleCG-MDPotentialfunctionhardchainMesoscaleParticle/polymerMacroscopicSystemscaleResistancematching,anisotropictransmittingwaveLargedeformationhighstrainrateConstitutivemodel境炸產(chǎn)生的腫

8、擊;喪50OOOQODO0OUQQgoQ&go0DDynamicequivalenttheoryShockwavescatter,Particleresonance,MatrixviscosityDatagenerationandcollevtiuninsystemsDatasource:computationandsimulation頭頂莊力旳程曲線|多尺n建摸計算和仿真數(shù)據(jù)流園耦合模擬沖擊波通過人體頭部第函蝴目同,就得本構(gòu)的存儲模量.損耗模量CG-MD(40nni)宏觀尺度：有現(xiàn)元模型Daragenerationandcollectioninsvstms12系統(tǒng)尺度:沖擊波場*頭盔與頭部納

9、米隅辭基休軟段丿硬段微相分離All-Atom(4nm)衰堿機制：散射夾雜共振，基體黏性 問題：神經(jīng)網(wǎng)絡(luò)應(yīng)用于偏微分方程與有限元，能否基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)求解有限元?0卷積神經(jīng)網(wǎng)絡(luò)(CNN)基本原理卷積神經(jīng)網(wǎng)絡(luò)OOooooqooooooooooooooo輸入層：a中間層：:卷積核：ht-0MO叫-神經(jīng)元的值叫連接神經(jīng)元的權(quán)重巧每個神經(jīng)元偏離率1共或藝數(shù)：同一層網(wǎng)絡(luò)使用相同卷積核力和b2局部接受區(qū)域：平移幾只有小的局部區(qū)域神經(jīng)元連接到下一層神經(jīng)元考慮了數(shù)據(jù)的空間結(jié)構(gòu)，廣泛應(yīng)用于圖像分類和識別。深度神經(jīng)網(wǎng)絡(luò)（DNN）基本原理輔入中間層（IS藏）！輸出標(biāo)簽i深度神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)建立深度學(xué)習(xí)

10、模型的過程即確走神經(jīng)網(wǎng)絡(luò)里所有參數(shù)/齡B=f（-j）=F勺十-aafJ*神經(jīng)元前值險-連接神經(jīng)元的權(quán)重6.-毎個神經(jīng)元偏離率梯度下降法W孌雖re-9L位穆15邂卷積神經(jīng)網(wǎng)絡(luò)（CNN）原理與人臉識別CNN/DNN各層神經(jīng)元感知的信息_硏究貓的視覺皮層細(xì)胞發(fā)現(xiàn)，每個神經(jīng)元僅處理一小塊區(qū)懺視覺圖像,從局部到整體”層層遞進(jìn)，高層神經(jīng)元“感知到更抽象更整體彳前正 # 卷積神經(jīng)網(wǎng)絡(luò)(CNN)與有限元(FEM)Dissanayake,M.W.M.G.,&Phan-Thien,N.(1994).神經(jīng)網(wǎng)絡(luò)(NN)逼近偏微分方程的近似解Takeuchi,J.f&Kosugi,Y.(1994).NN描述和求解電學(xué)有

11、限元問題Lagaris,I.E.rLikas,A.,&Fotiadis,D.I.(1998).NN求解常微分和偏微分方程Ramuhalli,P.fUdpa,L.,&Udpa(S.S.(2005).NN求解微分方程和一般有限元問題能否基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)求解有限元問題？ 彈性力學(xué)有限元基本原理最小勢能原理min（p）cuKuf=0平面應(yīng)變模型:下邊界位移固定上邊界施加水平方向分布力21有限元與卷積神經(jīng)網(wǎng)絡(luò)計算流程圖線彈性有限元卷積神經(jīng)網(wǎng)絡(luò)當(dāng)平均誤差U10足夠小時，認(rèn)為找到了有限元離散方程的數(shù)值解!9驗證算例平面應(yīng)變模型:下邊界位移固定上邊界施加水平方向分布力|驗證算例誤差函對UV選優(yōu)次

12、數(shù)梯滾最速下降法說丄一臥變形構(gòu)型圖（放大）小結(jié)I7-0f)9IJid9471b1113NMMi右邊界位移解對比MGdw上邊界位移翳對比C4_-_水平拉移相對逞差分布（貂）豎宜位移相對逞基分布（）3.神經(jīng)網(wǎng)緒求解方法與GPU幷行計算結(jié)合，提升有限元計算性能1.將線性有限元求解轉(zhuǎn)換為優(yōu)化間題。通過迭代不斷優(yōu)化卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)逐步逼近位移場的數(shù)值解；2-求解邊值問題結(jié)果與傳統(tǒng)有限元方法的數(shù)值解呦合；場景1:基于機器學(xué)習(xí)預(yù)測非均質(zhì)材料等效力學(xué)性質(zhì)(正問題)XLL;ZLLiu;SQCui;CCLua;CFL|;ZZhuttn,CumputerMethodsinAppliedMechnnicsandEn

13、gineering,2019,347:735-75322頁巖的細(xì)觀結(jié)構(gòu)掃描電子顯微橈(亞、1)頁巖SEM33片牢觀頁巖樣品rI-Duiil/mAm頁巖的細(xì)觀結(jié)構(gòu)rtk-nrlD也rwd*IMUUHKNW|BZtik:應(yīng)：_|rm期沁!JIr-+=4.A-ihfiMViiwit1主要組分九硅酸鹽礦物：石英(quartz),KStfeldspar),堇鐵礦(pyrite)碳酸鹽礦物：方解石(calcite),白云石(dolomite)粘土:高$5(kaolinite)f伊利石(川險)，綠泥5(chlorite).蒙脫石(mQntmQrillonite)r有機物：干酪根。占比較(氐2-其他礦物組分

14、主要礦物勺分模量測疋主要礦物組分模量測定納米壓入實驗(BdgsnDposOrganic-ClayaCalciteQuartzIndentationDepth(pm)30硅酸鹽碳酸鹽粘土有機質(zhì)基體模星（GPa）89.674.622.39.212-4壓入?yún)^(qū)域形貌 #o頁巖模量與細(xì)觀結(jié)構(gòu)的關(guān)系“巖模量與細(xì)觀結(jié)構(gòu)的關(guān)系lIlrenQauitzKrmcMrAtiroC3tOtBDM5fn*lltKadfiiteChldil*ApuUl*G,sBcrtrwC/tiors簡化模型SilicateCurbonatcClavrKerogenOthers5相頁巖拌本頁巖SF、I照片典型非均質(zhì)材料E=/（礦物組分分

15、布.礦物組分模量,.）顯式的建立等效模量與細(xì)觀結(jié)構(gòu)的關(guān)系？利用機器學(xué)習(xí)建立映射模型？ 卷積神經(jīng)網(wǎng)絡(luò)預(yù)測頁巖模量通過機器學(xué)習(xí)最抽象的特征：等效模量輸入：貢巖圜片徽小的局部特征較大的局部特征整體樣本的特征低層中間層問層最抽象的特征袴效模蚩整體流程框架整體流程框架頁巖樣奉頁巖樣奉隨機頁巖模型有限元模型有限21礦物組分的匚分布2摸韻+|等效模呈數(shù)據(jù)特征數(shù)痢示簽神經(jīng)網(wǎng)第訓(xùn)練數(shù)據(jù)特征L提取訓(xùn)練輸入真實頁巖徉本預(yù)測預(yù)妲里 $訓(xùn)練和測試結(jié)果范測結(jié)果評怙10,000訓(xùn)|練鐸本數(shù)量2腫交叉驗證樣李數(shù)量I,0.5-如Giaaa宰川討jIhkError交叉驗證盪差收散口W溥犧H型閱和tteratkxi佛一一InooC

16、1JA匸毎一nEnom-CrossValidationError%真實頁君樣本模量預(yù)測12&IQD4D4*IHzlSgarnpfggLjModulus(GPa)gcnoo叟_pe-nEno警歸9a7Ds?30巾20.5平均預(yù)測謀菱:0.97%uncnoo01TestingError%利用隨機重建方法有限元和深度學(xué)習(xí)技術(shù)”發(fā)展了基于頁巖掃描照片的模墾預(yù)測方法“建立起頁巖址觀結(jié)構(gòu)和等效模量之間的映射關(guān)系有效預(yù)測真實頁巖樣本模量 # 北京亦莊散據(jù)機房8號樓示意圍場景2:計算機群數(shù)據(jù)機房節(jié)電方案數(shù)據(jù)中心由兩棟樓組成共站射個機柜，分別是怡89個和2W4個*目標(biāo)：數(shù)據(jù)機房溫度隨服翁器工作員載動態(tài)變f匕動態(tài)

17、調(diào)整冷卻累統(tǒng)節(jié)約昂貴的冷卻成本30北京亦莊云計算數(shù)據(jù)機房仿真環(huán)境機房建模以8號樓的4層B區(qū)機房為例:能效冷通道溫度值*房間尺寸42*133*4.2=2350m3*網(wǎng)格數(shù)1于萬。實際網(wǎng)格數(shù)11,654,280.計算時間仆*建模精細(xì)地再現(xiàn)了機房的空間結(jié)構(gòu)*機柜和空調(diào)布置乃至機房地板下方冷氣池內(nèi)的掛板鰻預(yù)測能量用效率于監(jiān)督學(xué)習(xí)：能量利用效率PUE現(xiàn)場三維模型、物性參數(shù)空涸送風(fēng)率，服務(wù)器負(fù)載值目標(biāo)：基于PUE預(yù)測模型，指導(dǎo)機房運維人員通過仿真實驗找到更優(yōu)能耗比的機房空調(diào)配置運行狀態(tài)量人為控制量輸入Fluent等仿真環(huán)境每5分鐘預(yù)測一次溫度輸出冷通道溫度值空調(diào)出風(fēng)口附近氣流流線圖Z方向截面融云圖MPUE

18、預(yù)測值與實測數(shù)據(jù)機柜溫度分布圖32 # 預(yù)測能量利用效率監(jiān)督學(xué)習(xí)方案結(jié)果：GoogleAlphaGo優(yōu)點：模型簡單，易于訓(xùn)練缺點：無法控制輸岀策略，對數(shù)據(jù)質(zhì)量和數(shù)量要求高谷歌預(yù)測均值PUE=1.12r我們目前的均值PUET.58邂預(yù)測能量用效率強化學(xué)習(xí)現(xiàn)場三醴模型*物性當(dāng)數(shù)強化學(xué)習(xí)的演員評論家算法輸入模擬機房環(huán)境空調(diào)送風(fēng)率艦務(wù)器負(fù)載值A(chǔ)ctionFluent等仿直壞境State,RewardCritic:評估每一組仿胃結(jié)果，對其作出評價；Actors抿據(jù)評價不斷學(xué)習(xí)生成新前仿真條件J輸岀冷通追溫度值亙HE度控制這到數(shù)據(jù)機房要求又保證最高能效比晶終效果：生幅能式的控混系統(tǒng)既保證溫34場景3:基于

19、深度學(xué)習(xí)的聲波超材料設(shè)計問題：能帶結(jié)構(gòu)的禁帶分布i-c-r-l*l一一1_=_2-FunJ-*as二Um-K-M. 研究背景LiuZYet11Science2000.289173J36.Hlsdb/HriuuanACelaAppliedHiywciUtters.201310214410)聲學(xué)超材料的設(shè)計與應(yīng)用XieYB.ra!Nm(ocnrnim20145:5553聲波導(dǎo)VaseurJOA1PAdvance.2011l；041W.聲全息、成像診斷結(jié)構(gòu)及人體安全防護(hù)* * 科學(xué)問題正問題與反問題az三ruuoz正問題;散射體形狀I(lǐng)帶隙髄!帶隙竟度IIIII反問題設(shè)計目標(biāo)根據(jù)結(jié)構(gòu)計算力學(xué)性質(zhì)!帶隙

20、位置A帶隙寬度V設(shè)計方案根據(jù)力學(xué)性質(zhì)設(shè)計結(jié)構(gòu) 關(guān)鍵問題/-I-CE37t1:2PKHZX拓扌卜結(jié)構(gòu)頻率(Normalized)關(guān)鍵問題尸頻帶分布與尺寸.密度*模量和散射體形狀等相關(guān)幾3嚴(yán)歸一化參數(shù)，探究禁帶與散射體形狀的關(guān)系散射體的形狀對禁帶位置*寬度和數(shù)量具有顯著的影響關(guān)鍵：如何量化散射滋形狀和頻帶的固有關(guān)系”aa主流設(shè)計方法聲子晶體設(shè)計方法：拓?fù)鋬?yōu)化單材料+孔隙多優(yōu)化目標(biāo)協(xié)2相材料，遺傳算法由-LCih拓?fù)鋬?yōu)化方法框架-密度法、水平集法、擔(dān)煬法、拓?fù)鋵?dǎo)數(shù)法*遺傳算法f對于一個優(yōu)化任務(wù).依輙on】in甬限元計算-知識無法積塞粧繼承-優(yōu)化為主稱準(zhǔn)調(diào)控和設(shè)計尚存挑戰(zhàn)如何智能，精準(zhǔn)調(diào)控躺*H.W.

21、Dcuf.X.?LSu.Y.S.Wanj.J.Pli爐.D-Appl.Pli洋.liH.W.Don哲XX.Su-VS.Wn.C.Z.Zhang.Street.MullidLip.OfKtitu.(2Q14) 研究思路框架基于數(shù)據(jù)驅(qū)動的設(shè)計思路I2.DesigningI1TrainingAnticipatedbandgnproffological*A*1*拿*DrviguedSamplesMLPDecoderl-RVE樣本建模隨機模型x=廠(0)cos0夾雜包絡(luò)線使用隨機函數(shù)控制X,=7(6)sin形狀更多樣夾雜體積比：0.1-0.6引入車豐富的拓?fù)湫螤?，確保成功提取拓?fù)涮卣魃疃葘W(xué)習(xí)模型生成式網(wǎng)

22、絡(luò)模型（自動編碼器）堀碼器解碼器OutputEncoderDecoder特征提取-數(shù)據(jù)壓縮-圖像降噪TrainingReconstructEAuto-encoderSnmas-翻I函數(shù)關(guān)系代價函數(shù):；Q=0（*%）%+護(hù)-碼|；=半目po（嚀）噸;；P（b）向后傳播:I。（叭）如瓷;AEcostriinclioii提取樣本的抽象拓?fù)涮卣鬏敵鐾負(fù)浣Y(jié)構(gòu)基于指定帶隙生成結(jié)構(gòu)指定帶隙向量;通帶禁帯通帶|5RW通帶頻率(noniMlized)1110000c011址二0(1000011111111-FeannrfAnticijmfedbandgapbMLPDecoderPTopologicalsfruc

23、tures-根據(jù)頻帶輸岀結(jié)構(gòu)f=F(b;OJx=PF(b：eF):0p模型訓(xùn)練與驗證Autocncodcr誤差評估010AutoencoderCom|o.-64ooo.o300.000訓(xùn)練樣本解析函數(shù)和隨機函數(shù)創(chuàng)建充分訓(xùn)練保證車建精度RITSamples02o000OdgiiiAlGenernted2507501000Auto-encoderAutoencodererrorReconsfrnetsamplesx20,000測試樣本十300,000訓(xùn)練樣本-通過不同像素點數(shù)呈計算誤差上叫100%MesuiSOMaxMinSize誤差集中在界面附近0.22%0.070.50ee003300,000

24、，模型訓(xùn)練與驗證MPL交叉驗證誤差評估MLPBandgapDecoderTopologicalKITsnmplrlectorbFEAnOutjJMlyample-囉MLPcnoi-交叉驗證結(jié)果01000Sf006-5004McriiSDMuxMinSireMeau測試誤差評估01：345io0014OC58C.abdXMaaiSDMaxMiuSite0.42%0.254.47o0.07*220410.77e6.72%0.05o991o45設(shè)計誤差在可接受范圍FracturenetworkanddesorptiondistanceFracturenetworkanddesorptiondista

25、nce 案例4：頁巖水力壓裂數(shù)值模擬與現(xiàn)場數(shù)據(jù):預(yù)測裂縫簇間距和采收率挑戰(zhàn)度：多尺度裂縫：10米裂縫簇間距，0.1-1米級子裂縫間距，0.1米彌散裂縫間距物模：露頭物模壓裂試驗不能反映地下30004000m開裂規(guī)律數(shù)模：沒有單一數(shù)值方法可以模擬水力壓裂目前評估采收率30%_如何提高和預(yù)測采收率？ErsictureclusterhierarchicalrefinementTwokaysizes:hmln9SminDatafrom5observationsinUSAin26months,Smin=0.1mFromdesorptionspacingSmin=0.1mtodeductfluidflux

26、Qp)inwellboreresultinginfracturenetworkietT.Clnni.ZdenekPBn2autandYewangSu,PhilosophicalIiunsnction.V2016FormationmechanismofthefracturenetworkFormationmechanismofthefracturenetwork #Kaysize:NumericaldebondingzoneofHFpropagating3亠fMOptimalperforationclusterspacingandSRVbyusingthelimithalf-widthofenvelope(a)Actualdebondingzones,(