深度學(xué)習(xí)應(yīng)用開(kāi)發(fā) 課件 第2章 TensorFlow2.0介紹

目錄1TensorFlow概述01任務(wù)TensorFlow的優(yōu)點(diǎn)02任務(wù)TensorFlow的幾個(gè)基本概念03任務(wù)1初識(shí)TensorFlow1TensorFlow概述TensorFlow是Google開(kāi)源的基于數(shù)據(jù)流圖的、面向于深度學(xué)習(xí)算法的科學(xué)計(jì)算庫(kù)，命名來(lái)源于本身的運(yùn)行原理，Tensor(張量)表示N維數(shù)組，F(xiàn)low(流)表示基于數(shù)據(jù)流圖的計(jì)算。內(nèi)部數(shù)據(jù)保存在張量(Tensor)對(duì)象上，所有的運(yùn)算操作(Operation,OP)基于張量對(duì)象進(jìn)行。在深度學(xué)習(xí)領(lǐng)域應(yīng)用廣泛，如深度神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)已被應(yīng)用計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、音頻識(shí)別與生物信息學(xué)等領(lǐng)域并獲取了極好的效果。2TensorFlow的優(yōu)點(diǎn)2TensorFlow的優(yōu)點(diǎn)真正的可移植性

引入各種計(jì)算設(shè)備的支持包括CPU/GPU/TPU，以及能夠很好地運(yùn)行在移動(dòng)端，如安卓設(shè)備、ios、樹(shù)莓派等等多語(yǔ)言支持

Tensorflow有一個(gè)合理的c++使用界面，也有一個(gè)易用的python使用界面來(lái)構(gòu)建和執(zhí)行你的graphs，你可以直接寫python/c++程序高度的靈活性與效率

TensorFlow是一個(gè)采用數(shù)據(jù)流圖（dataflowgraphs），用于數(shù)值計(jì)算的開(kāi)源軟件庫(kù)能夠靈活進(jìn)行組裝圖，執(zhí)行圖。隨著開(kāi)發(fā)的進(jìn)展，Tensorflow的效率不斷在提高TensorFlow由谷歌提供支持，谷歌投入了大量精力開(kāi)發(fā)TensorFlow，它希望TensorFlow成為機(jī)器學(xué)習(xí)研究人員和開(kāi)發(fā)人員的通用語(yǔ)言3TensorFlow的幾個(gè)基本概念3TensorFlow的幾個(gè)基本概念計(jì)算圖（graphs）：描述了計(jì)算過(guò)程，Tensorflow用圖來(lái)表示計(jì)算過(guò)程。張量（tensor）：Tensorflow使用tensor表示數(shù)據(jù)，每一個(gè)tensor是一個(gè)多維的數(shù)組。變量（variable）：變量(Variable)是特殊的張量(Tensor)，它的值可以是一個(gè)任何類型和形狀的張量，變量存儲(chǔ)的是持久張量，當(dāng)訓(xùn)練模型時(shí)，用變量來(lái)存儲(chǔ)和更新參數(shù)。占位符：輸入變量的載體。可以理解為定義函數(shù)時(shí)的參數(shù)。操作：圖中的節(jié)點(diǎn)為op，一個(gè)op獲得/輸入0個(gè)或者多個(gè)Tensor，執(zhí)行并計(jì)算，產(chǎn)生0個(gè)或多個(gè)Tensor。會(huì)話（session）：

tensorflow的運(yùn)行需要在會(huì)話里面運(yùn)行。3TensorFlow的幾個(gè)基本概念（1）計(jì)算圖（graphs）：圖是TensorFlow用于表達(dá)計(jì)算任務(wù)的一個(gè)核心概念，Tensorflow用圖來(lái)表示計(jì)算過(guò)程，graph被定義一些操作和張量的集合3TensorFlow的幾個(gè)基本概念（2）張量（tensor）TensorFlow中，張量是計(jì)算圖上的數(shù)據(jù)載體，用張量統(tǒng)一表示所有的數(shù)據(jù)，張量在計(jì)算圖的節(jié)點(diǎn)之間傳遞；張量主要有三種類型：常量tf.constant()、變量tf.Variable()、占位符tf.palceholder()張量可以看做是n維的數(shù)組，數(shù)組的維數(shù)即為張量的階數(shù)：階數(shù)學(xué)實(shí)例Python例子0純量(只有大小)s=4831向量(大小和方向)v=[1.1,2.2,3.3]2矩陣(數(shù)據(jù)表)m=[[1,2,3],[4,5,6],[7,8,9]]33階張量(數(shù)據(jù)立體)t=[[[2],[4],[6]],[[8],[10],[12]],[[14],[16],[18]]]nn階(多維數(shù)組)....

3TensorFlow的幾個(gè)基本概念（3）變量（variable）1、變量是計(jì)算圖中的一種有狀態(tài)節(jié)點(diǎn)，用于在多次執(zhí)行同一計(jì)算圖時(shí)存儲(chǔ)并更新指定參數(shù)，對(duì)應(yīng)了機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法中的模型參數(shù)；作為有狀態(tài)節(jié)點(diǎn)，其輸出由輸入、節(jié)點(diǎn)操作、節(jié)點(diǎn)內(nèi)部已保存的狀態(tài)值共同作用；2、創(chuàng)建變量的方法有三種：使用tf.Variable()函數(shù)直接定義使用TensorFlow內(nèi)置函數(shù)創(chuàng)建使用其他變量初始值來(lái)定義新變量3、調(diào)用語(yǔ)法：tf.Variable(dtype,shape=None,name=None)dtype：數(shù)據(jù)類型shape：數(shù)據(jù)維度name：張量名稱

3TensorFlow的幾個(gè)基本概念（4）占位符（placeholder）用于聲明一個(gè)張量的數(shù)據(jù)格式，告訴系統(tǒng)這里會(huì)有一個(gè)這種格式的張量，但是還沒(méi)有給定具體數(shù)值，具體的數(shù)值要在正式運(yùn)行的時(shí)候填充。占位變量是一種TensorFlow用來(lái)解決讀取大量訓(xùn)練數(shù)據(jù)問(wèn)題的機(jī)制，它允許你現(xiàn)在不用給它賦值，隨著訓(xùn)練的開(kāi)始，再把訓(xùn)練數(shù)據(jù)傳送給訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)。調(diào)用語(yǔ)法：tf.placeholder(dtype,shape=None,name=None)dtype：數(shù)據(jù)類型shape：數(shù)據(jù)維度name：張量名稱

3TensorFlow的幾個(gè)基本概念（5）操作（operation）：簡(jiǎn)稱op，是TensorFlow圖中的節(jié)點(diǎn)，它的輸入和輸出都是Tensor。作用都是完成各種操作，包括算數(shù)操作、矩陣操作、神經(jīng)網(wǎng)絡(luò)構(gòu)建操作等。（6）會(huì)話（session）：Tensorflow會(huì)話，在Tensorflow中是計(jì)算圖的具體執(zhí)行者，與圖進(jìn)行實(shí)際的交互。ThankYOU!目錄1TensorFlow數(shù)學(xué)概念01任務(wù)矩陣的數(shù)學(xué)運(yùn)算02任務(wù)TensorFlow數(shù)學(xué)運(yùn)算03任務(wù)1TensorFlow數(shù)學(xué)概念1TensorFlow數(shù)學(xué)概念數(shù)學(xué)是任何機(jī)器學(xué)習(xí)算法的核心，使用TensorFlow創(chuàng)建應(yīng)用程序之前，了解一些TensorFlow中基本的數(shù)學(xué)概念是很必要的，理解數(shù)學(xué)核心概念，有助于定義機(jī)器學(xué)習(xí)算法的解決方案。TensorFlow中經(jīng)常出現(xiàn)的數(shù)學(xué)概念有：標(biāo)量(scalar)

一個(gè)單獨(dú)的數(shù)向量(vector)

一列數(shù)，即一維數(shù)組矩陣(matrix)

二維數(shù)組張量(tensor)

多維數(shù)組1TensorFlow數(shù)學(xué)概念（1）標(biāo)量標(biāo)量(scalar)

，也稱純量，是只有大小，沒(méi)有方向的量，標(biāo)量也稱為0維張量。比如：一個(gè)常數(shù)，只有數(shù)值大小，沒(méi)有方向。在物理學(xué)中，標(biāo)量是在坐標(biāo)變換的情況下，保持不變的物理量。1TensorFlow數(shù)學(xué)概念（2）向量向量(vector)，也稱矢量，是既有大小，又有方向的量。向量是一列數(shù)，即一維數(shù)組，向量也稱為一維張量。例如，在物理學(xué)中，速度就是一個(gè)向量，1TensorFlow數(shù)學(xué)概念（3）矩陣矩陣(matrix)是一個(gè)二維數(shù)組，數(shù)組元素以行和列的格式排列。矩陣的大小由行長(zhǎng)度和列長(zhǎng)度定義。矩陣也稱為二維張量。由m×n個(gè)數(shù)aij排成的m行n列的數(shù)表稱為m行n列的矩陣，簡(jiǎn)稱m×n矩陣。記作：1TensorFlow數(shù)學(xué)概念（4）張量張量(tensor)

是多維數(shù)組，標(biāo)量、矢量、矩陣都可以用張量表示，只是維度不同。2矩陣的數(shù)學(xué)運(yùn)算2矩陣的數(shù)學(xué)運(yùn)算矩陣的數(shù)學(xué)運(yùn)算包括：矩陣加法、矩陣減法、矩陣乘法、矩陣轉(zhuǎn)置等運(yùn)算。（1）矩陣加法兩個(gè)矩陣具有相同形狀的矩陣可以相加，相加表示將對(duì)應(yīng)位置的元素相加，生成的矩陣與原矩陣形狀相同。例如：2矩陣的數(shù)學(xué)運(yùn)算（2）矩陣減法矩陣減法與矩陣加法操作類似例如：2矩陣的數(shù)學(xué)運(yùn)算（3）矩陣乘法假設(shè)矩陣A(形狀mxn)與B(形狀pxq)相乘，必須n=q，即A的列數(shù)必須與B的行數(shù)相同，得到的結(jié)果是C(形狀mxq)，其中元素的算法如下：2矩陣的數(shù)學(xué)運(yùn)算（4）矩陣轉(zhuǎn)置矩陣轉(zhuǎn)置是指把一個(gè)矩陣的列轉(zhuǎn)置為行得到一個(gè)新矩陣，矩陣A的轉(zhuǎn)置可以表示為：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算TensorFlow中的數(shù)學(xué)運(yùn)算包括加、減、乘、除、冪次方、對(duì)數(shù)、矩陣相乘等運(yùn)算。（1）加減乘除法加、減、乘、除是最基本的數(shù)學(xué)運(yùn)算，分別通過(guò)tf.add()、tf.subtract()、tf.multiply()、tf.divide()函數(shù)實(shí)現(xiàn)，TensorFlow支持+、-、*、/運(yùn)算符，一般推薦直接使用運(yùn)算符來(lái)完成加、減、乘、除運(yùn)算。整除、除法取余也是常見(jiàn)的運(yùn)算之一，分別通過(guò)//和%運(yùn)算符實(shí)現(xiàn)。示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（2）冪次方函數(shù)tf.pow(x,a)可以完成x的a次方運(yùn)算，也可以使用x**a完成，示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（2）冪次方設(shè)置指數(shù)為1/a的形式，既可以實(shí)現(xiàn)x開(kāi)a次方根的運(yùn)算示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（2）冪次方對(duì)于一些常見(jiàn)的平方和平方根運(yùn)算，可以使用tf.square()和tf.sqrt()實(shí)現(xiàn)示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（2）冪次方對(duì)于tf.sqrt()，為實(shí)現(xiàn)開(kāi)二次根運(yùn)算。這里開(kāi)二次根的運(yùn)算，相當(dāng)于指數(shù)為0.5，是一個(gè)小數(shù)，所以底數(shù)也應(yīng)該轉(zhuǎn)換為小數(shù)。示例：3TensorFlow實(shí)現(xiàn)數(shù)學(xué)運(yùn)算（3）矩陣乘法運(yùn)算通過(guò)tf.matmul(a,b)函數(shù)實(shí)現(xiàn)矩陣相乘。矩陣A和B能夠矩陣相乘的條件是，A的倒數(shù)第一個(gè)維度長(zhǎng)度和B的倒數(shù)第二個(gè)維度長(zhǎng)度必須相等。示例：ThankYOU!目錄1數(shù)值型01任務(wù)字符串型02任務(wù)布爾型03任務(wù)1數(shù)值型1數(shù)值型數(shù)值型數(shù)據(jù)是TensorFlow中最常見(jiàn)的數(shù)據(jù)類型，標(biāo)量、向量、矩陣、張量等都屬于數(shù)值型。（1）標(biāo)量標(biāo)量的創(chuàng)建可以使用python語(yǔ)言創(chuàng)建，也可以使用TensorFlow框架創(chuàng)建，TensorFlow使用tf.constant()函數(shù)創(chuàng)建標(biāo)量。示例：1數(shù)值型（2）向量向量是n個(gè)實(shí)數(shù)的有序集合，如[1,2.,3.3]是維度數(shù)為1，shape

=(3,)的向量，TensorFlow使用tf.constant()函數(shù)創(chuàng)建向量，示例：1數(shù)值型（3）矩陣矩陣是n行m列實(shí)數(shù)的有序集合。維度為2，shape為(n,m)，TensorFlow使用tf.constant()函數(shù)創(chuàng)建矩陣，示例：1數(shù)值型（4）張量所有維度大于2的數(shù)組統(tǒng)稱為張量。張量的每個(gè)維度也做軸（Axis），一般維度代表了具體的含義，例如shape為(2,32,32,3)的張量一共有4維，如果表示圖片的數(shù)據(jù)，2代表2張圖片，32代表了高、寬都是32，3代表了RGB共3個(gè)通道。TensorFlow使用tf.constant()函數(shù)創(chuàng)建張量，示例：2字符串型2字符串型除了豐富的數(shù)值類型外，TensorFlow還支持字符串(String)類型的數(shù)據(jù)，TensorFlow通過(guò)tf.constant()函數(shù)傳入字符串對(duì)象即可創(chuàng)建字符串類型的張量，在tf.string模塊中，提供了許多處理字符串?dāng)?shù)據(jù)的函數(shù)，如：大寫化upper()，小寫化lower()，拼接join()，長(zhǎng)度length()，切分split()：3布爾型2布爾型為了方便表達(dá)比較運(yùn)算操作的結(jié)果，TensorFlow還支持布爾類型(bool)的張量。布爾類型的張量只需要傳入Python語(yǔ)言的布爾類型數(shù)據(jù)，轉(zhuǎn)換成TensorFlow內(nèi)部布爾型即可：

ThankYOU!目錄1標(biāo)量的應(yīng)用01任務(wù)向量的應(yīng)用02任務(wù)矩陣的應(yīng)用03任務(wù)多維張量的應(yīng)用04任務(wù)1標(biāo)量的應(yīng)用1標(biāo)量的應(yīng)用在TensorFlow中，每種維度下的張量都有典型的應(yīng)用，不同維度的張量都具有不同的物理意義和用途。標(biāo)量最容易理解，它就是一個(gè)簡(jiǎn)單的數(shù)字，維度數(shù)為0，shape

=()。標(biāo)量的典型用途之一是誤差值的表示、各種測(cè)量指標(biāo)的表示，比如準(zhǔn)確度(Accuracy)、精度(Precision)和召回率(Recall)等。2向量的應(yīng)用2向量的應(yīng)用向量是一種常見(jiàn)的數(shù)據(jù)載體，如在全連接層和卷積神經(jīng)網(wǎng)絡(luò)層中，偏置張量??就使用向量來(lái)表示。如圖所示，每個(gè)全連接層的輸出節(jié)點(diǎn)都添加了一個(gè)偏置值，把所有輸出節(jié)點(diǎn)的偏置表示成向量形式：??=[??1,??2]??。3矩陣的應(yīng)用3矩陣的應(yīng)用矩陣也是非常常見(jiàn)的張量類型，比如全連接層的批量輸入??=[??,??????]，其中??表示輸入樣本的個(gè)數(shù)，即batchsize，??????表示輸入特征的長(zhǎng)度。比如特征長(zhǎng)度為4，一共包含2個(gè)樣本的輸入可以表示為矩陣：x=tf.random.normal([2,4])4多維張量的應(yīng)用4多維張量的應(yīng)用多維張量應(yīng)用最多的是四維張量，對(duì)于含有RGB3個(gè)通道的彩色圖片，每張圖片包含了h行w列像素點(diǎn)，每個(gè)點(diǎn)需要3個(gè)數(shù)值表示RGB通道的顏色強(qiáng)度，因此一張圖片的張量的shape可以表示為(h,w,3)，故b張圖片的張量的shape可表示為[b,h,w,3]。ThankYOU!目錄1案例目標(biāo)01任務(wù)環(huán)境配置02任務(wù)案例實(shí)施04任務(wù)案例分析02任務(wù)03任務(wù)1案例目標(biāo)案例目標(biāo)掌握tensorflow包的調(diào)用方法；掌握使用定義占位符和變量的方法；掌握計(jì)算圖的定義方法；掌握會(huì)話的創(chuàng)建方法；了解損失函數(shù)和優(yōu)化過(guò)程。12案例分析2案例分析案例分析：x、y是二維矩陣，x=[[1.0,3.0],[3.2,4]],y=[[6.0,3.0],[5.2,43.]]，運(yùn)算公式x*W+b=y，求W和b的最優(yōu)值。3環(huán)境配置3環(huán)境配置Windows10jupyternotebooktensorflow2.04案例實(shí)施4案例實(shí)施1、導(dǎo)入庫(kù)開(kāi)發(fā)環(huán)境安裝的是TensorFlow2.0版本，為了與TensorFlow1.0兼容，需要輸入如下代碼導(dǎo)入tensorflow包：4案例實(shí)施2、定義占位符和變量先給輸入數(shù)據(jù)定義占位符，在訓(xùn)練優(yōu)化函數(shù)的過(guò)程中輸入數(shù)據(jù)4案例實(shí)施3、定義計(jì)算圖和損失函數(shù)，使用梯度下降法優(yōu)化4案例實(shí)施4、啟動(dòng)會(huì)話，并初始化全局變量，并為x,y設(shè)置固定的值4案例實(shí)施5、通過(guò)while循環(huán)進(jìn)行迭代訓(xùn)練，并輸出最終求出的W和b的值ThankYOU!目錄1案例目標(biāo)01任務(wù)環(huán)境配置02任務(wù)案例實(shí)施04任務(wù)案例分析02任務(wù)03任