深度學習理論與實踐 習題及答案 第2章

第二章深度學習框架選擇題（1）以下選項中，（A）不是深度學習框架。A.LeNetB.PaddlePaddleC.MXNetD.PyTorch（2）Pytorch框架支持的語言有（D）。A.C++B.PythonC.JavaD.以上都支持3、下列關于TensorFlow的描述中，不正確的是A：TensorFlow的計算圖中每個節(jié)點代表一個操作，如加法、減法等B：TensorFlow的張量是作為非子葉節(jié)點出現的（注：不能作為非子葉節(jié)點出現）C：基于梯度的機器學習算法會受益于TensorFlow的自動求微分能力D：TensorFlow支持C++和Python程序4、下列關于Pytorch的描述中，正確的是A：Pytorch可以視作加入了GPU支持的NumpyB：Pytorch采用靜態(tài)的、命令式的編程語言C：Pytorch的網絡都是有向無環(huán)圖的集合，可以直接定義D：Pytorch的底層代買高度工業(yè)化，不容易看懂（5）下列深度學習框架中，（B）是國產深度學習框架。A.LeNetB.PaddlePaddleC.PyTorchD.Theano填空題（1）PyTorch通過一種_動態(tài)圖__技術，可以讓用戶零延遲地任意改變神經網絡的行為。（2）PyTorch的設計遵循tensor→variable→nn.Module三個由低至高的抽象層次，分別代表_多維數組_，自動求導和神經網絡，而且三個抽象層次之間緊密聯系，可以同時進行修改和操作。3、在TensorFlow的數據流圖中，節(jié)點表示數學操作，線表示節(jié)點間相互聯系的多維數據組（張量）。4、計算圖中，同級節(jié)點的操作彼此獨立，可以并行運行，TensorFlow使用這一特性允許用戶更快地執(zhí)行操作。（5）PaddleInference提供原生推理庫，_PaddleServing_提供方便的服務端部署，PaddleLite則面向輕量級部署。判斷題（1）Pytorch的基本工作流程：所有計算以層的形式表示，網絡層所做的事情就是輸入數據，然后輸出計算結果。（×）2、TensorFlow是一個采用數據流圖用于數據計算的開源軟件庫?！?、TensorFlow中的數據流圖可以形成環(huán)路?！?、Pytorch通過反向自動求導技術實現了神經網絡的零延遲任意改變?！蹋?）作為靈活性的代價，PyTorch早期版本速度表現不如TensorFlow。（√）問答題（1）PyTorch的基本工作流程是怎樣的？以卷積為例，簡述這一過程。PyTorch的基本工作流程是：首先定義一個模型，然后通過訓練循環(huán)進行迭代，每次迭代中，獲取一批數據，執(zhí)行前向傳播計算輸出，計算損失，執(zhí)行反向傳播更新梯度，最后使用優(yōu)化器更新模型參數，如此反復直到模型訓練完成。以卷積神經網絡為例，這包括通過卷積層提取特征，使用激活函數引入非線性，通過池化層降低特征維度，最后通過全連接層進行分類，整個過程是動態(tài)的，支持在運行時改變網絡結構。（2）請簡述PyTorch的數據結構。PyTorch的數據結構主要包括Tensor，它是多維數組的基礎數據類型，用于存儲數值數據；Variable，它是Tensor的擴展，用于自動微分，已在較新版本的PyTorch中被Tensor替代；以及nn.Module，它是構建神經網絡的基類，包含網絡層、損失函數等組件，支持模型定義和參數管理。TensorFlow的核心組件包括哪些部分？它們各自負責什么工作？分布式TensorFlow的核心組件包括：分發(fā)中心、執(zhí)行器、內核應用和最底端的設備層/網絡層。分發(fā)中心從輸入的數據流圖中剪取子圖，將其劃分為操作片段并啟動執(zhí)行器。分發(fā)中心處理數據流圖時會進行預設定的操作優(yōu)化，包括公共子表達式消去、常量折疊等

。執(zhí)行器負責圖操作在進程和設備中的運行、收發(fā)其它執(zhí)行器的結果。分布式TensorFlow擁有參數器以匯總和更新其它執(zhí)行器返回的模型參數。執(zhí)行器在調度本地設備時會選擇進行并行計算和GPU加速

。內核應用負責單一的圖操作，包括數學計算、數組操作、控制流和狀態(tài)管理操作。內核應用使用Eigen執(zhí)行張量的并行計算、cuDNN庫等執(zhí)行GPU加速、gemmlowp執(zhí)行低數值精度計算，此外用戶可以在內核應用中注冊注冊額外的內核以提升基礎操作，例如激勵函數和其梯度計算的運行效率

。單進程版本的TensorFlow沒有分發(fā)中心和執(zhí)行器，而是使用特殊的會話應用聯系本地設備。TensorFlow的C語言API是核心組件和用戶代碼的分界，其它組件/API均通過C語言API與核心組件進行交互。4、如何理解TensorFlow中的流？TensorFlow中的流是指一個計算圖或簡單的一個圖，圖不能形成環(huán)路，圖中的每一個節(jié)點代表一個操作，如加法、減法等。每個操作都會導致新的向量生成。流中的計算圖有如下屬性：

（1）葉子起點或起始節(jié)點始終是張量，這表明操作永遠不會出現在圖的開頭，圖中的每一個操作都應該接受一個張量并產生一個新的張量張量不能作為非葉子節(jié)點出現，這意味著它們應始終作為輸入提供給操作/節(jié)點。計算圖總是以層次順序表達復雜的操作：反向遍歷時，圖形形成子表達式，這些子表達式組合形成最終表達式；正向遍歷時，遇到的定點總是成為下一個定點的依賴關系。圖中的同級節(jié)點操作彼此獨立，使得圖具有并行執(zhí)行性。（5）PyTorch、TensorFlow、PaddlePaddle三種深度學習框架，各自有什么優(yōu)劣？PyTorch：優(yōu)點是動態(tài)圖易于