TensorFlow +OpenVINO 整合開發(fā)CR-A01-簡介TensorFlow+OpenVINO整合開發(fā)

的角色mxnet美好的目標Al開發(fā)+布署&運維Al模型開發(fā)與OpenVino的完美結(jié)合Al模型開發(fā)布署&運維mxnet產(chǎn)業(yè)現(xiàn)況mxnet課程特色Al模型開發(fā)與OpenVino的完美結(jié)合Caffe&運維&開發(fā)&開發(fā)Al模型設計雕龍18招RNVmxnetAl模型設計雕龍18招RNVmxnetCaffe基本工作流程訓練模型模型優(yōu)化器轉(zhuǎn)換&優(yōu)化在線推理推理引擎CPU插件GPU插件知乎@孤理Optimizer訓練模型轉(zhuǎn)換&優(yōu)化Optimizer模型優(yōu)化器在線推理推理引擎CPU插件GPU插件Optimizer模型優(yōu)化器推理引擎CPU插件GPU插件FPGA插件Myriad插件Optimizer模型優(yōu)化器在線推理推理引擎OptimizerOptimizerPytorch→ONNXOptimizer訓練好的模型/數(shù)據(jù)標記文件等設計&訓練模型OpenVino提供Optimizer(使用TF/Caffe等)ML模型優(yōu)化·及于CPU/GPU等frameworkUserIntelDeeplearningDevelopmenttoolkit在推理時，針對這些新數(shù)據(jù)來進行預測(推理)InteloDeeplearningDevelopmenttoolkit在推理時，需要輸入新數(shù)據(jù)對輸入新數(shù)據(jù)進行推論前的預處理toolkit開始進行推論toolkit進行推論后數(shù)據(jù)處理輸出結(jié)果frameworkframeworkOptimizer亂，因而您需要一項懂您的工具，例如在您想聽歌的時候，它推薦您喜歡的音樂，當你想去一個陌生地方時，它就為您規(guī)劃一條好路線，這種工具就通幫你過濾你不感興趣(噪聲),精確鎖定你希望得到的有價值的訊息?！ひ簿褪牵恍枰蛻粲忻鞔_需求，會根據(jù)您(客戶)的偏好和行為，來向您呈現(xiàn)您可能會感興趣的物的喜好，以便向您薦一個您很有可能會喜歡的物·以電商購物場景為例，如果能找到一群與您相“鄰居”成員，然后從這一群相似的鄰居的偏好來協(xié)同分析、挖掘出您潛在的興趣?！だ?，下圖里的客戶A和客戶B是鄰居(具有高是從一群鄰居的偏好來協(xié)同分析的，所以稱為：協(xié)同居，然后將鄰居客戶喜歡的物品推薦給該客戶。通稱為：基于用戶的協(xié)同過濾(User-basedCF,簡稱User這種CF能夠提供給他更準確度的估算和推薦。ABABCDEFGH1基於大數(shù)據(jù)分析的CF推薦模式2客戶(User)對産品(Item)的評比資料3400450156021710281119讀取評比資料124142206215222231247301333342407415431446規(guī)劃Al模型ABCDEFGH1J14葡萄草莓西瓜橘子香蕉254513K3214246521751326751678AI推薦(預測評比)9規(guī)劃Al模型ABCEFGHI14葡萄草莓西瓜橘子香蕉25451243K32143246521651143267511778AI推薦(預測評比)9比，并呈現(xiàn)出來：ABCDEFGH1J15葡萄草莓西瓜橘子香蕉25451243K321432465216511432675117789(推薦)推薦表:43322安裝相矢套件·至于安裝步驟，請另參閱相矢的<<安裝指南>>。y4vinoA0101.py-C:\Users\misoo\AppData\Local\Programs\Python\Pytho.一importtensorflowastf00[-0.1,0.1,0.1,-0.1,0.1]],dtype=np.float32)boo=np.array([0.0,0.0,0.0,0.0dtypenpfloatbatchsize=5_#---------------Continued----------------------Ilayerencoder=Dense(H,activation='sigmoid',name='res')decoder=Dense(0,activation='linear',name='result')foriin,range(S):forjinrange(N):dtype='float32',name='examplevar')#-------------Continued-------------------#-DefiningLayers----Ilayer=Input(shape=(N,))encoder=Dense(H,activation='sigmoid',name='res')decoder=Dense(O,activation='linear',name='result')Ilayer=Input(shape=(N.))encoder=Dense(H,activation='sigmoid',decoder=iense(o,activation='1inear',name='res)#----=Dense(=Dense(0,activation='linear',name='result')h1X3y3Xy4Ydefsqdiff=tf.square(Err)returntf.reducemean(sqdiff,axis=-1)#Addingmylosslayercy=myLossLayer()([x,yo])aicfmodel=Model(x,cy)aicfpile(optimizer='rmsprop') Continued-------#----Training---aicfmodel.fit(dx,__tf.io,writegraph(frozengraph,"C:/pb/","AI0101model.pb",astext=False)print("\n----.Y(Prediction)------------")z=aicfmodel.predict(dx)zz=np.round(z*10)#.aicfmodel.fit(dx,aicfmodel.fit(dx,aicfmodel.fit(dx,batchsize=batchsize,verbose=0)45100214451002140265216100327501#-----451002140265216100327501#-----aicfmodel.fit(dx,__此程序輸出(預測評比):---X(Testingdata)[[4.5.1.-1.-1.]EFGH1葡萄草莓西瓜EFGH1葡萄草莓西瓜橘子香蕉4512421432652161143275117[6.5.2.1.7.[1,-1,-1.3.2.-Y(Prediction)-[[4..][.2.[.7.][.2.][7.5,1.1.6.]]dx=dx/10aicfmodel.fit(dx,__#-----Generating*.pbfilessess=K.getsession()sess.run(tf.localvariablesinitializer())frozengraph=tf.graphutil.convertvariablestoconstants(sess,tf.getdefaultgraph(),asgraphdef(),['result/BiasAdd'])tf.io.writegraph(frozengraph,"C:/pb/","AI0101model.pb",astext=False)tf.io.writegraph(frozengraph,"C:/pb/","AI0101model.pbtxt",astext=True)print("\n----X(Testingdata)----------")print(TX)print("\n--:-,Y(Prediction)------------")z=aicfmodel.predict(dx)zz=np.round(z*10)OptimizerPytorch→ONNX入行優(yōu)化動作。使用<<優(yōu)化器>>型進行優(yōu)化。·模型優(yōu)化器支持的深度學習框架有：使用<<優(yōu)化器>>使用<<優(yōu)化器>>BN+Relu),以及內(nèi)存優(yōu)化。RunOptimizerEngine.xml.binOpenVINO"操作范例：延續(xù)剛才的Al推薦模型ABCDEFGHIJ15葡萄草莓西瓜橘子香蕉25451243K321432465216511432675117789(推薦)推薦表:43322操作流程：起步·在上一階段里，已經(jīng)從TensorFlow匯出*pb檔案了，步驟-1:進入優(yōu)化器的工作區(qū)1.3從上述畫面上，點選<以系統(tǒng)管理員身分執(zhí)行>,就會出現(xiàn)命令行窗口：MicrosoftWindows[版本10.0.16299.2166]1.4輸入命令：cd"C:\ProgramFiles(x86)\IntelSWTools\openvino\deploymenttools\modeloptimizer"并且按<Enter>。1.5就進入到模型優(yōu)化器(ModelOptimizer)的工作區(qū)了：管理員：命令提示符MicrosoftWindows[版本10.0.16299.2166]WindowssystemcdPrograProgramFilesIntelSWToolsopenvinodep步驟-2:展開優(yōu)化2.1輸入命令：ProgramFilesIntelSWT●這指示它：剛才從TensorFlow所產(chǎn)生的*.pb檔案是--“C:\\pb\\A0101mode.pb”。●也告訴它：轉(zhuǎn)換出來的IR檔案的儲存路徑(活頁夾),例如指定放在”C:\\pb\\”里。輸入資料的格式是：[1,5]。2.2優(yōu)化完成了●完成時，會出現(xiàn)畫面：SUCCESS]Totalexecutiontime:6.61seconds.It'sbeenawhile,checkforanewversionofIntel(R)DistributionofOpenVINO(com/en-us/openvino-toolkit/choose-download?cid=&source=upgrade&content=20203LTProgramFilesIntelSWTools●此時優(yōu)化器將PB模型文件，成功地轉(zhuǎn)換出IR檔案了?！襁@里所謂的IR檔案，就包括了這3個檔案：入步驟-3:圓滿成功推論引擎推論引擎使用推論引擎(IR)Optimizer使用推論引擎(IR)使用推論引擎(IR)該套件可以將各種開源框架訓練好的模型進行在OpenCV,視頻處理工具包MediaSDK。使用推論引擎(IR)·在做推理的時候，大多數(shù)情況需要前處理和后處理，前處理如通道變換，取均值，要將檢測框等特征迭加至原圖等，都可以使用OpenVINO工具套件里的API接口完使用推論引擎(IR)使用推論引擎(IR)使用推論引擎(IR)使用推論引擎(IR)ABCDEFGH1J15葡萄草莓西瓜橘子香蕉25451243K321432465216511432675117789(推薦)推薦表:43322使用推論引擎(IR)·在上一階段里，已經(jīng)從Optimizer匯出IR檔案了，其路________步驟-1:開始撰寫Python代碼vinoA0101app.py-C:\UsersmisooAppDataLocalProgramsPythonmodelxml="C:\\pb\\A0101model.xml"modelbin="C:\\pb\\A0101model.bin"net=ie.readnetwork(model=modelxml,weights=modelbin)supportedlayers=ie.querynetwork(network=net,devicename="CPU")ie.loadnetwork(net,"CPU")print("IRsuccessfullyloadedintoInferenceEngine,")net=ie.readnetwork(model=modelxml,weights=modelbin)supportedlayers=ie.querynetwork(network=net,devicename="CPU")讀取并加載IR檔步驟-1:開始撰寫Python代碼InputInfoPtr=net.inputinfoInputLayer=next(iter(InputInfoPtr)),