TensorFlow +OpenVINO 整合開(kāi)發(fā)CR-A12-鑒往知來(lái)- RNN(循環(huán)神經(jīng)網(wǎng)路)

_1.時(shí)間序列數(shù)據(jù)與RNN3.訓(xùn)練RNN:正向推演4.訓(xùn)練RNN:反向傳播5.RNN醫(yī)療應(yīng)用：搭配NLP6.RNN模型設(shè)計(jì)范例：以血鐵沉積模型為例7.觀摩RNN模型的訓(xùn)練流程9.優(yōu)化模型：使用OpenVINO優(yōu)化器10.測(cè)試模型：使用OpenVINO推論引擎時(shí)間序列數(shù)據(jù)與RNN模型時(shí)間序列數(shù)據(jù)介紹時(shí)間序列資料(數(shù)據(jù))賴的。時(shí)間序列數(shù)據(jù)以學(xué)校宿舍餐廳為例期一到星期五不斷地循環(huán)?！と绻蛱斐耘_，今天就是壽司；如果昨天吃壽司，今天就會(huì)是松餅，非常有規(guī)律。如下圖：以學(xué)校宿舍餐廳為例·每天晚餐都從3種餐點(diǎn)中，選取其一來(lái)提供給學(xué)生們。sushiyesterday以學(xué)校宿舍餐廳為例·如果學(xué)生問(wèn)CRM:每天晚餐預(yù)計(jì)會(huì)提供何種餐點(diǎn)呢?入，還不知道呀。以學(xué)校宿舍餐廳為例·如果學(xué)生問(wèn)NLP:每天晚餐預(yù)計(jì)會(huì)提供何種餐點(diǎn)呢?·NLP回答：今天餐廳沒(méi)開(kāi)張，還沒(méi)有正確答案呀。但是，從過(guò)去幾周的歷史數(shù)據(jù)看來(lái)，似乎twodaysagoyesterdaypizza以學(xué)校宿舍餐廳為例·所以，我猜今天晚餐很可能會(huì)提供夀司餐點(diǎn)。時(shí)間序列數(shù)據(jù)·如果您昨天不在宿舍里吃晚餐，那么您是否就無(wú)法推測(cè)今天晚上將是什么餐點(diǎn)?·當(dāng)然可以的。因?yàn)槟梢岳们疤焱砩系牟忘c(diǎn)資料，來(lái)預(yù)測(cè)昨天晚上的餐點(diǎn)。然后，也就能預(yù)測(cè)今晚的餐點(diǎn)了。·所以，我們不只能利用昨天晚上的餐點(diǎn)來(lái)預(yù)測(cè)今晚的餐點(diǎn)，而且還能利用今晚預(yù)測(cè)的結(jié)果，來(lái)進(jìn)一步的明天、后天的晚餐，等等。yesterdaypizza時(shí)間序列數(shù)據(jù)predictedwafflesforyesterday○sushi時(shí)間序列數(shù)據(jù)昨晚的預(yù)測(cè)，可以推論出今晚的預(yù)測(cè)值A(chǔ)A二AAA×A/~tingwuwang/rnntutorial.pdfhttps;//calvinfeng.gitbookio/machine-learning-notebook/supervised-learning/https;//calvinfeng.gitbookio/machine-learning-notebook/supervised-learning//a-beginners-guide-on-recurrent-neura/-networks-with-pytorch/RNN基本計(jì)算方法RNN基本計(jì)算方法1RNN基本計(jì)算方法11wphohoWwphoW[1,1]t-2WOwphoho[y0]y0WOwphoRNN基本計(jì)算方法W1W1wpHiddenWW000wpHiddenWWWWX21WWWX21WW1W1WwpHidden1W1WW1W1WW1W1W1W1WW=0.81W1WWWWWWW11WWWWW11=0.711RNN基本計(jì)算方法RNN基本計(jì)算方法RNN基本計(jì)算方法Processing)是人工智慧的一項(xiàng)分支，它使電腦能夠理解和解釋人類的語(yǔ)音和文句，更善解人意。集，將資料組織為更具邏輯性的形式，例如將文本量，讓NLP系統(tǒng)更易于探索資料里潛藏的規(guī)律。irregularheartbeats(arrhythmias)."此程式輸出：heartbeats(arrhythmias).']heartbeats(arrhythmias)."2.將分解出來(lái)的Sentences,存入檔案里：此程式誕生一個(gè)檔案：文字文件(1)檔案的內(nèi)容：Myjointsfeelsopain.Ihaveheartflutters,andirregularheartbeats(arrhythmias).RESTARTUsersTomAppDataLocalProgramsP[('I',3),(feelpainhaveMyjoints,1),('so',1),('heartfluttersandirregular('heartbeats(arrhythmias).'littlebitabdominalusually',1),('lack',1),('of',1),('energy.',1),('',#BERT范例程式#設(shè)置預(yù)訓(xùn)練模型的路徑configpath=os.path.join(pretrainedpath,"bertconfig.json')checkpointpath=os.path.join(pretrainedpath,bertmodel.ckpt)vocabpath=os.path.join(pretrainedpath,'vocab.txt)#構(gòu)建字典#(接續(xù)上頁(yè))#載入預(yù)訓(xùn)練模型fromkerasbertimportloadtrainedmodelfromcheckpoint#提取特征predicts=model,predict([np.array([indices]),np.array([segments])][0]BERT模型的使用主要有兩種用途：·當(dāng)作文本特征提取的工具，類似Word2vec模型一樣===RESTART:C:/Users/Tom/AppData/Local/Programs/Python/Python36/txx05.py===[CLS][-0.21009989082813263,0.22673292458057404,-0.13677680492401123,0.03907008469104767,0.7898624539375305]我[0.7921491861343384,0.10040614008903503,0.22747650742530823,-0.09929467737關(guān)[0.17062997817993164,0.13864503800868988,-0.30594873428344727,0.1217014566節(jié)[0.8748294711112976,-0.04525848850607872,-0.02020929753780365,0.8299053907痛[0.5487751960754395,-0.10608281940221786,-1.2462304830551147,-0.0103497654·作為一個(gè)可訓(xùn)練的層，后面可接入客制化的網(wǎng)路，做遷移學(xué)習(xí)BERT可以很好的解決sentence-level的建模問(wèn)任務(wù)，像詩(shī)詞對(duì)句的Fine-tuning應(yīng)用情境·如·醫(yī)療資料挖掘發(fā)展迅速，然而過(guò)去許多醫(yī)療數(shù)據(jù)(如電子病歷資料)仍然以自然語(yǔ)言文本形式存在?！び捎谧匀蝗说膶W(xué)習(xí)能力有限，因此通過(guò)NLP來(lái)輔助匯集醫(yī)療知識(shí)和資料挖掘的工作，然后將知識(shí)提煉出來(lái)，萃取有用資訊，最終形成Al智慧。>##stoい生物NER,是從生物醫(yī)學(xué)文本中識(shí)別出指定類型的名稱，比如基因、蛋白質(zhì)、核糖核酸、去氧核糖核酸、疾病、細(xì)胞、藥物的名稱等。由于生物醫(yī)學(xué)文獻(xiàn)的規(guī)模龐大，各種專有名詞不斷涌現(xiàn)，一個(gè)專有名詞往往有很多同義詞，而且普遍存在大量的縮寫(xiě)詞，人工識(shí)別費(fèi)時(shí)費(fèi)力，因此如何對(duì)命名實(shí)體進(jìn)行識(shí)別就變得尤為重要。命名實(shí)體識(shí)別是文本挖掘系統(tǒng)中的一個(gè)重要的基礎(chǔ)步驟，命名實(shí)體識(shí)別的準(zhǔn)確程度是其他文本挖掘技術(shù)如信息提取或文本分類等的先決條件。6.將剛才<血鐵沉積癥>的Named-Entities(即Words)出現(xiàn)頻率，以及向量，做為Al模型的X空間資料。檔案常用插入CD校閲檢視L23456789關(guān)節(jié)痛201010112000101110001000腹痛010010010111模行了：檔案A123456789常用插入版面配置公式資料校開(kāi)橫視關(guān)節(jié)痛2關(guān)節(jié)痛201010心律不整112000101110體重消失001000腹痛010010疲務(wù)010111完成了!0:無(wú)癥狀來(lái)學(xué)習(xí)人類專家的果因性智慧。程度6項(xiàng)癥狀檔案常用插入版面配置資料校開(kāi)檢視123456789X(癥狀組合)關(guān)節(jié)痛心律不整膚色變化E體重消失0010002:顯著F腹痛010010這個(gè)果因性Al模型，搭配其他Regression因果性Al模型，成為美好的組合：·一個(gè)做因果性思考，另一個(gè)做果因性思考。常?？梢詭椭祟惛唷?輸入(層)特征器官輸血量器官輸血量排鐵劑量H值各器官因輸血而受到影響。輸血方案?！と说钠谕簭墓匪萜湟颍缓筇岢鰜?lái)改善因，就能改變果。于是，人機(jī)共舞模式是：·Al基于單純回歸模型：找出因果性，就能提出風(fēng)險(xiǎn)預(yù)警，來(lái)幫助人類?！と说娜蝿?wù)：基于Al的預(yù)警，從果追溯其真正的因，然后改善因，來(lái)改變果。不一定是真正的<因果性>?！ふ嬲囊蚬裕喝酝耆蕾囉谌祟悓＜?。改善的途徑之一是：的果因性智慧。例如，讓Al像人類專家一樣，從輸血前的ECG心電圖，可以刪除患者心悸是來(lái)自心臟機(jī)能萎縮之因，就能更確定患者心悸，主要是源于輸血之因。樸素的RegressionModel只依賴資料相矣性，并無(wú)法像人類一樣進(jìn)行<果因性>如果縮小上述模的范圍：因輸血而出現(xiàn)的血鐵沉積癥狀，如：心悸、矣節(jié)痛、疲倦、體重消失等。輸血方案。來(lái)改善因，就能改變果。H值練習(xí)一下：增添一個(gè)搭配的Al模型：來(lái)學(xué)習(xí)人類專家6項(xiàng)癥狀檔案常用插入版面配置資料校開(kāi)檢視123456789X(癥狀組合)關(guān)節(jié)痛心律不整膚色變化E體重消失0010002:顯著F腹痛010010癥狀模型-1初期H值輸血量輸血量排鐵劑量程度程度以血鐵沉積為例傷害，尤其是心臟與肝臟，甚至可能造成生命的危險(xiǎn)。一位長(zhǎng)期輸血者的時(shí)序性數(shù)據(jù)，如下：ABCDEFGHIJKLM1X(t-1)X(t)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標(biāo)值)4412210320234567&1234567&ABC2D2E1F0G沉積程度3HX(t)2I0W沉積程度輸血量排ABCDEFGHM1X(t-2)X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標(biāo)值)44122103202345678123456789000初期值12345678913AB44C排鐵DEFGH排鐵wpW412345678913AB4C排鐵D血鐵EF排鐵G血鐵HI0血鐵沉積程度W輸血量輸血量排鐵劑量412345678913AB4C排鐵D血鐵EF排鐵G血鐵HI0血鐵沉積程度血鐵4W輸血量排鐵劑量2C2C2ABH翰血量212342沉積程度翰血量F0G35678翰入層翰入層420W2==->2123456789AB42劑量沉積程度翰血量排鐵血鐵劑量沉積程度翰血量翰入層隠藏層排鐵血鐵2血鐵沉積程度W輸血量排鐵劑量0血鐵血鐵沉積程度ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標(biāo)值)441221032023456789翰入層隠藏層tZerror412000022103血鐵4W輸血量排鐵劑量2123456789AB2311220000.54451F0G3H20wp血鐵沉積程度血鐵沉積程度W輸血量排鐵劑量2血鐵血鐵ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標(biāo)值)441221032023456789翰入層隠藏層tZ4120000221033204W輸血量輸血量排鐵劑量血鐵血鐵沉積程度ABCDEFGHIJKLM1X(t-1)2血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量3T(目標(biāo)值)441221032023456789翰入層隠藏層tZ4120000221033204血鐵W輸血量排鐵劑量此模型的輸入值與目標(biāo)值觀摩RNN模型的訓(xùn)練流程e5Nphoo天字洲到pojtpont.l范例實(shí)現(xiàn)ABCDEFGHIJKLM1X(t-1)23血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量血鐵沉積程度翰血量排鐵劑量T(目標(biāo)值)441221032023456789翰入屑隠藏層tZerror412000022103(t-2)血鐵(t-1)血鐵(t)血鐵沉積程度沉積程度沉積程度(t-3)血鐵(t-2)(t-2)(t-2)血鐵(t-1)(t-1)(t-1)血鐵(t)(t)沉積程度輸血量排鐵劑量沉積程度輸血量排鐵劑量沉積程度輸血量排鐵劑量W(t-2)血鐵(t-1)(t-1)(t-1)血鐵(t)(t)沉積程度輸血量排鐵劑量沉積程度輸血量排鐵劑量沉積程度WW排鐵劑量沉積程度WWW輸血量排鐵劑量沉積程度W(t)(t)輸血量排鐵劑量(t-3)血鐵(t-2)(t-2)沉積程度輸血量沉積程度輸血量沉積程度輸血量排鐵劑量詳細(xì)的權(quán)重(W),表示如下圖：設(shè)定h[]X0x1X2X0x1X2yWimporttensorflowastfclassMinimalRNNCell(Layer):definit(self,__stanel)H層的計(jì)算ph=continuedN0layer=Dense(1,name='result')ALayer=Activation('linear',name='outlaye#createRNNmodelx=準(zhǔn)備#Trainingdatanp,array([[[4,1,2]][2,1,0][0,2,0][2,3,0][[2,1,1],[1,1,0],{3,i,i}}j,np.array([[4][1]2[2]],dtype=np.float32)匯出['result/BiasAdd'])tf.io.writegraph(frozengraph,"C:/pb/","rnnmodel.pb",astext=False)tf.io.writegraph(frozengraph,"C:/pb/","rmnmodel.pbtxt"print(np.round(zo,1))進(jìn)行推論輸出結(jié)果：輸出結(jié)果：優(yōu)化模型：行優(yōu)化動(dòng)作。將模型優(yōu)化，然后輸出IR檔案·剛才已經(jīng)從TensorFlow匯出*pb檔案了