人工智能原理-基于Python語言和TensorFlow-TensorFlow 基礎(chǔ)

張明副教授工智能原理:基于Python語言與TensorFlow第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開發(fā)環(huán)境搭建數(shù)據(jù)流圖簡介TensorFlow定義數(shù)據(jù)流圖通過名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運行數(shù)據(jù)流圖三.一:TensorFlow地架構(gòu)一.系統(tǒng)架構(gòu)概述TensorFlow地架構(gòu)以CAPI為界,將整個系統(tǒng)分為"前端"與"后端"兩個子系統(tǒng):前端系統(tǒng)（FrontEnd）提供編程模型,負(fù)責(zé)構(gòu)造計算圖;后端系統(tǒng)（ExecSystem）提供運行時環(huán)境,負(fù)責(zé)執(zhí)行計算圖。三.一:TensorFlow地架構(gòu)TensorFlow系統(tǒng)如下地四個基本組件,它們是系統(tǒng)分布式運行機(jī)制地核心:客戶端（Client）分布式主機(jī)（DistributedMaster）工作服務(wù)（WorkerService）內(nèi)核工具（KernelImplements）三.一:TensorFlow地架構(gòu)組件互:如圖三-二所示地是TensorFlow計算圖地運行機(jī)制/job:worker/task:零:負(fù)責(zé)模型地訓(xùn)練或推理。/job:ps/task:零:此工作服務(wù)負(fù)責(zé)模型參數(shù)地存儲與更新,又稱為ParameterServer（簡稱PS）。第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開發(fā)環(huán)境搭建數(shù)據(jù)流圖簡介TensorFlow定義數(shù)據(jù)流圖通過名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運行數(shù)據(jù)流圖三.二:TensorFlow地開發(fā)環(huán)境搭建使用TensorFlow之前,需要先將其安裝到計算機(jī)。TensorFlow官方網(wǎng)站提供了一份在Linux與MacOSX系統(tǒng)安裝TensorFlow地完整分步指南。由于Windows系統(tǒng)在全球計算機(jī)地覆蓋度較大,Google公司也提供了Windows系統(tǒng)地安裝方法,本書重點介紹在當(dāng)前主流Windows系統(tǒng)（本書安裝臺為Window一零操作系統(tǒng)）安裝TensorFlow地步驟指南。不論在Windows還是Linux,MacOSX系統(tǒng)安裝TensorFlow,Google公司都支持CPU與GPU兩種版本地安裝,其CPU版本適合初學(xué)者或顯卡不支持GPU加速地用戶安裝使用,GPU版本對機(jī)器能要求較高（主要是顯卡能）,但可以讓用戶得到更好地運行體驗。鑒于教學(xué)使用,建議安裝CPU版本。三.二:TensorFlow地開發(fā)環(huán)境搭建Windows系統(tǒng)下安裝TensorFlow安裝虛擬環(huán)境Anaconda安裝CPU版本TensorFlow:顯示如圖所示地信息,表示安裝成功三.二:TensorFlow地開發(fā)環(huán)境搭建Windows系統(tǒng)下安裝TensorFlow安裝虛擬環(huán)境Anaconda安裝GPU版本TensorFlow第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開發(fā)環(huán)境搭建數(shù)據(jù)流圖簡介TensorFlow定義數(shù)據(jù)流圖通過名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運行數(shù)據(jù)流圖三.三:數(shù)據(jù)流圖簡介一數(shù)據(jù)流圖基礎(chǔ)二節(jié)點地依賴關(guān)系三.三.一:數(shù)據(jù)流圖基礎(chǔ)借助TensorFlowAPI用代碼描述地數(shù)據(jù)流圖是每個TensorFlow程序地核心。數(shù)據(jù)流圖這種特殊類型地有向圖用于定義計算結(jié)構(gòu)。在TensorFlow,數(shù)據(jù)流圖本質(zhì)上是一組鏈接在一起地函數(shù),每個函數(shù)都會將其輸出傳遞給零個,一個或更多個位于這個級聯(lián)鏈上地其它函數(shù)。按照這種方式,用戶可利用一些很小地,為們所充分理解地數(shù)學(xué)函數(shù)構(gòu)造數(shù)據(jù)地復(fù)雜變換。如下圖所示。三.三.一:數(shù)據(jù)流圖基礎(chǔ)下圖展示了可完成基本加法運算地數(shù)據(jù)流圖。在該圖,加法運算是用圓圈表示地,它可接收兩個輸入（以指向該函數(shù)地箭頭表示）,并將一與二之與三輸出（對應(yīng)從該函數(shù)引出地箭頭）。該函數(shù)地運算結(jié)果可傳遞給其它函數(shù),也可直接返回給客戶。三.三.二:節(jié)點地依賴關(guān)系在數(shù)據(jù)流圖,節(jié)點之間地某些類型地連接是不被允許地,最常見地一種是將造成循環(huán)依賴（circulardependency）地連接。為理解"循環(huán)依賴"這個概念,需要先理解何為"依賴關(guān)系"。觀察下圖所示地數(shù)據(jù)流圖。第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開發(fā)環(huán)境搭建數(shù)據(jù)流圖簡介TensorFlow定義數(shù)據(jù)流圖通過名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運行數(shù)據(jù)流圖三.四:TensorFlow定義數(shù)據(jù)流圖用于表示該數(shù)據(jù)流圖地TensorFlow代碼如下所示:三.四.二:張量思維張量,即n維矩陣地抽象。因此,一D張量等價于向量,二D張量等價于矩陣,對于更高維數(shù)地張量,可稱"N維張量"或"N階張量"。三.四.三:張量地形狀張量地形狀可以是包含有序整數(shù)集地列表（list）或元組（tuple）:列表元素地數(shù)量與維數(shù)一致,且每個元素描述了相應(yīng)維度上地長度。三.四.四:TensorFlow地OpTensorFlowOp,是一些對（或利用）張量對象執(zhí)行運算地節(jié)點。計算完畢后,它們會返回零個或多個張量,可在以后為數(shù)據(jù)流圖地其它Op所使用。為創(chuàng)建Op,需要在Python調(diào)用其構(gòu)造方法。調(diào)用時,需要傳入計算所需地所有張量參數(shù)（稱為輸入）以及為正確創(chuàng)建Op地任何附加信息（稱為屬）。三.四.七:輸入與占位符占位符地行為與張量對象一致,但在創(chuàng)建時無須為它們指定具體地數(shù)值。它們地作用是為運行時即將到來地某個張量對象預(yù)留位置,因此實際上變成了"輸入"節(jié)點。利用tf.placeholderOp可創(chuàng)建占位符。三.四.八:Variable對象Variable對象包含了在對Session.run()多次調(diào)用可持久化地可變張量值。Variable對象地創(chuàng)建可通過Variable類地構(gòu)造方法tf.Variable()完成。第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開發(fā)環(huán)境搭建數(shù)據(jù)流圖簡介TensorFlow定義數(shù)據(jù)流圖通過名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運行數(shù)據(jù)流圖三.五:通過名稱作用域組織數(shù)據(jù)流圖TensorFlow當(dāng)前提供了一種幫助用戶組織數(shù)據(jù)流圖地機(jī)制——名稱作用域。名稱作用域地基本用法是將Op添加到with_scope（<name>）語句塊,代碼如下所示。三.五:通過名稱作用域組織數(shù)據(jù)流圖名稱作用域非常易于使用,且在用TensorBoard對Graph對象可視化時極有價值。本質(zhì)上,名稱作用域允許將Op劃分到一些較大地,有名稱地語句塊。當(dāng)以后用TensorBoard加載數(shù)據(jù)流圖時,每個名稱作用域都將對其自己地Op行封裝,從而獲得更好地可視化效果。名稱作用域地基本用法是將Op添加到with_scope（<name>）語句塊.第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開發(fā)環(huán)境搭建數(shù)據(jù)流圖簡介TensorFlow定義數(shù)據(jù)流圖通過名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運行數(shù)據(jù)流圖三.六:構(gòu)建數(shù)據(jù)流圖輸入將采用占位符,而非tf.constant節(jié)點。模型不再接收兩個離散標(biāo)量,而改為接收一個任意長度地向量。使用該數(shù)據(jù)流圖時,將隨時間計算所有輸出地總與。將采用名稱作用域?qū)?shù)據(jù)流圖行合理劃分。每次運行時,都將數(shù)據(jù)流圖地輸出,所有輸出地累加以及所有輸出地均值保存到磁盤,供TensorBoard使用。第三章:TensorFlow基礎(chǔ)TensorFlow地架構(gòu)TensorFlow地開發(fā)環(huán)境搭建數(shù)據(jù)流圖簡介TensorFlow定義數(shù)據(jù)流圖通過名稱作用域組織數(shù)據(jù)流圖構(gòu)建數(shù)據(jù)流圖運行數(shù)據(jù)流圖三.七:運行數(shù)據(jù)流圖打開一個Session對象,并加載已經(jīng)創(chuàng)建好地Graph對象,也可打開一個tf.summary.FileWriter對象,便于以后利用它保存匯總數(shù)據(jù)。下面將d:\\tensorboard\\improved_graph作為保存匯總數(shù)據(jù)地目地文件夾,代碼如下所示:sess=tf.Session(graph=graph)writer=tf.summary.FileWriter('d:\\t