深度學習案例教程 課件 第1章 深度學習簡介

深度學習簡介第一章01理解深度學習的概念和發(fā)展歷程02了解深度學習在各種應用場景中的應用03掌握深度學習的特點和優(yōu)勢04熟悉深度學習框架、選擇合適的框架進行開發(fā)學習目標CONTENTS05理解機器學習的相關概念01分析思維02創(chuàng)新能力03團隊合作04問題解決能力素質目標CONTENTS05學習意愿和持續(xù)學習人工智能三者關系能夠感知、推理、行動和適應的程序機器學習能夠隨著數(shù)據(jù)量的增加不斷改進性能的算法深度學習利用多層神經(jīng)網(wǎng)絡從大量數(shù)據(jù)中進行學習第一節(jié)

人工智能與機器學習、深度學習的關系

20世紀50年代當時，計算機科學家們開始研究如何創(chuàng)建能夠像人類一樣思考和決策的計算機系統(tǒng)。最初的人工智能系統(tǒng)是基于規(guī)則的。80年代初期基于專家系統(tǒng)的人工智能技術曾經(jīng)一度風靡一時。近年來深度學習技術的出現(xiàn)使得人工智能的發(fā)展又迎來了一個重要的時期。90年代初期人工神經(jīng)網(wǎng)絡和機器學習技術開始受到關注。發(fā)展歷程機器學習在形式上，近似于在數(shù)據(jù)對象中通過統(tǒng)計或推理的方法尋找一個適用特定輸入和預期輸出功能的函數(shù)機器學習的定義機器學習收集數(shù)據(jù)準備數(shù)據(jù)選擇模型訓練模型模型評估參數(shù)設置結果預測機器學習是通過"學習"來改善自己，并因此在執(zhí)行任務時變得越來越熟練。機器學習的過程將被分解為以下7個步驟機器學習是英文名稱MachineLearning(簡稱ML)的直譯。機器學習涉及概率論、統(tǒng)計

學、逼近論、凸分析、算法復雜度理論等多門學科。監(jiān)督學習監(jiān)督學習是利用已知類別的樣本，調整分類器的參數(shù)，訓練得到一個最優(yōu)模型，再利用這個訓練后的模型，將所有的輸入映射為相應的輸出，對輸出進行簡單的判斷，從而實現(xiàn)分類的目的。無監(jiān)督學習無監(jiān)督學習中模型所學習的數(shù)據(jù)都是無標簽的，根據(jù)類別未知的訓練樣本解決模式識別中的各種問題。半監(jiān)督學習半監(jiān)督學習是介于監(jiān)督學習與無監(jiān)督學習之間一種機器學習方式，主要考慮如何利用少量的樣本和大量的未標注樣本進行訓練和分類的問題。機器學習的分類強化學習強化學習就是智能系統(tǒng)從環(huán)境到行為映射的學習,強化學習中由環(huán)境提供的強化信號是對產(chǎn)生動作的好壞作一種評價(通常為標量信號)。深度學習的定義第二節(jié)

深度學習深度學習是高度數(shù)據(jù)依賴型的算法，它的性能通常隨著數(shù)據(jù)量的增加而不斷增強，即它的可擴展性(Scalability)顯著優(yōu)于傳統(tǒng)的機器學習算法。但如果訓練數(shù)據(jù)比較少，深度學習的性能并不見得就比傳統(tǒng)機器學習好。生成型深度結構生成型深度結構旨在模式分析過程中描述觀測數(shù)據(jù)的高階相關特征，或者描述觀測數(shù)據(jù)與其相關類別的聯(lián)合概率分布，這方便了先驗概率和后驗概率的估計，通常使用無監(jiān)督學習處理該結構的學習。判別型深度結構判別型深度結構旨在提供對模式分類的區(qū)分性能力，通常描述數(shù)據(jù)的后驗分布。卷積神經(jīng)網(wǎng)絡是第一個真正成功訓練多層網(wǎng)絡結構的學習算法，它屬于判別型訓練算法?；旌闲蜕疃冉Y構混合型深度結構的目的是對數(shù)據(jù)類型進行判別、分類，該學習過程包含兩個部分：生成部分和區(qū)分部分。深度學習的分類深度前饋網(wǎng)絡深度前饋網(wǎng)絡（DeepFeedforwardNetwork），也被稱為前饋神經(jīng)網(wǎng)絡或多層感知器（MultilayerPerceptron，MLP），是深度學習領域中最基本和最經(jīng)典的模型之一。深度學習的分類卷積神經(jīng)網(wǎng)絡在深度學習中，卷積神經(jīng)網(wǎng)絡（CNN或ConvNet）是一類深度神經(jīng)網(wǎng)絡，最常用于分析視覺圖像。CNN使用多層感知器的變體設計，需要最少的預處理。它們也被稱為移位不變或空間不變人工神經(jīng)網(wǎng)絡（SIANN），基于它們的共享權重架構和平移不變性特征。深度學習的分類遞歸神經(jīng)網(wǎng)絡遞歸神經(jīng)網(wǎng)絡（RNN）是一個特殊的神經(jīng)網(wǎng)絡系列，旨在處理序列數(shù)據(jù)，例如一系列的文本或者股票市場的波動?，F(xiàn)實問題中存在著很多序列型的數(shù)據(jù)，例如文本、語音以及視頻等。深度學習的分類20世紀50年代到70年代初人工智能發(fā)展尚處于推理期，這一時期的機器學習只能稱為感知，即認為只要給機器賦予邏輯推理能力，機器就具有了智能，開始進入推理期。20世紀70年代中期人工智能進入了知識期。20世紀90年代2006年Hinton教授和他的學生Salakhutdinov在《科學》上發(fā)表了一篇有關人工神經(jīng)網(wǎng)絡的論文，提出了無監(jiān)督貪心逐層訓練(LayerwisePre-Training)算法，進入了快速發(fā)展期。加拿大多倫多大學的GeoffreyHinton教授發(fā)明了適用于多層感知機的人工神經(jīng)網(wǎng)絡算法——反向傳播算法(BackPropagation，BP)，進入了學習期。第三節(jié)

深度學習的發(fā)展CNN網(wǎng)絡架構的AlexNet在ImageNet圖像識別備受關注，進入到爆發(fā)期。2012年推理期知識期學習期快速發(fā)展期爆發(fā)期圍繞著人工智能如何理解關于世界的知識，科學家用不同的方法進行了不同的探索和嘗試。在國際上，學者們對機器學習的發(fā)展階段并沒有非常明確的劃分規(guī)則，將機器學習的發(fā)展劃分為推理期、知識期、學習期、快速發(fā)展期和爆發(fā)期。階段模型特點深度學習的發(fā)展應用領域第四節(jié)

深度學習的領域深度學習作為一種重要的人工智能技術，在各個領域都有廣泛的應用。它在計算機視覺領域可以進行圖像識別、目標檢測、人臉識別等任務，為自動駕駛、安防監(jiān)控、醫(yī)學影像分析等提供強大支持；在自然語言處理領域能夠實現(xiàn)機器翻譯、文本生成、情感分析等任務，應用于智能助理、社交媒體分析、智能客服等場景。語音識別行車導航軟件通過語音合成技術為司機指引道路、播報路況，人們甚至可以選擇用自己喜歡的明星的聲音來播報軟件內容。智能家居系統(tǒng)利用語音合成技術能夠實現(xiàn)與用戶的實時交流，人們可以從智能家居的“嘴”中得知家中的一些基本情況，大大提高了生活質量。在智能教學領域，學生能夠利用語音合成技術跟讀單詞、句子，語音輔導軟件的出現(xiàn)大大方便了教學過程，提高了教學質量。語音識別(SpeechRecognition)是一門交叉學科，

近十幾年進步顯著。除了需要數(shù)字信號

處理，

模式識別，概率論等理論知識，深度學習的發(fā)展也使其有了很大幅度的效果提升。語音識別信號處理與特征提取音頻信號中通常包含著非常豐富的特征參數(shù)，不同的特征向量表征著不同的聲學意義，從音頻信號中選擇有效的音頻表征的過程就是語音特征提取。二一四三目標檢測語義分割行人重識別超分辨率重建第五節(jié)

深度學習的應用場景-計算機的視覺目標檢測目標檢測（ObjectDetection）的任務是找出圖像中所有感興趣的目標（物體），確定它們的類別和位置，是計算機視覺領域的核心問題之一。由于各類物體有不同的外觀、形狀和姿態(tài)，加上成像時光照、遮擋等因素的干擾，目標檢測一直是計算機視覺領域最具有挑戰(zhàn)性的問題。第五節(jié)

深度學習的應用場景-計算機的視覺語義分割語義分割(SemanticSegmentation)旨在將圖像中的物體作為可解釋的語義類別，該類別將是DNN學習的特征聚類得到。第五節(jié)

深度學習的應用場景-計算機的視覺超分辨率重建超分辨率重建(SuperResolutionConstruction)的主要任務是通過軟件和硬件的方法，從觀測到的低分辨率圖像重建出高分辨率圖像。第五節(jié)

深度學習的應用場景-計算機的視覺行人重識別行人重識別(PersonRe-identification)也稱行人再識別，是利用計算機視覺技術判斷圖像或者視頻序列中是否存在特定行人的技術。第五節(jié)

深度學習的應用場景-計算機的視覺自然語言第六節(jié)

深度學習的應用場景-自然語言處理自然語言處理(NLP)是計算機科學和人工智能領域的方向之一，它是以一種智能高效的方式對人類創(chuàng)造的文本數(shù)據(jù)進行系統(tǒng)地分析、理解和提取信息的過程，研究能實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。詞法分析詞法分析就是以詞為單位對數(shù)據(jù)進行分析，這是NLP中最基本的工作。常見的詞性標注和拼寫校正任務就屬于詞法分析。句子分析句子分析就是以句子為單位的分析任務。語義分析語義分析就是通過對文本數(shù)據(jù)的分析，生成對應文本數(shù)據(jù)的語義信息的形式化表示，常見任務有詞義消歧等。自然語言的分類信息抽取信息抽取是NLP任務中應用最廣泛的一個，簡單理解就是從非結構化的文本數(shù)據(jù)中抽取出用戶所需的結構化信息。頂層任務頂層任務就是直接面向用戶的任務，比如機器翻譯或文本摘要，它需要多種任務結合生成對應的可以直接讀取的輸出結果。第七節(jié)

深度學習的特點自適應性非線性建模分層抽象表示多樣化的神經(jīng)網(wǎng)絡結構可擴展性數(shù)據(jù)量大調試和驗證計算資源要求高第八節(jié)

深度學習框架

概述深度學習框架是指一類軟件工具，用于構建、訓練和部署深度學習模型。第八節(jié)

深度學習框架

概述2017年1月，F(xiàn)acebook人工智能研究院(FacebookArtificialIntelligenceResearch,FAIR)團隊在GitHub(代碼托管平臺)上開源了PyTorch機器學習庫，并迅速占領GitHub熱度榜榜首。PyTorch的歷史可追溯到2002年，其誕生于紐約大學的Torch。Torch使用了一種不是很“大眾”的語言Lua作為接口。Lua簡潔高效，但由于其過于“小眾”，以至于很多人聽說要掌握Torch必須新學一門語言就望而卻步。2017年10月18日，PyTorch的熱度已然超越了其他2個框架(Caffe、Theano),并且其熱度還在持續(xù)上升中。PyTorch最大的優(yōu)勢是建立的神經(jīng)網(wǎng)絡是動態(tài)的，可以非常容易地輸出每一步的調試結果.相比于其他框架來說，調試起來十分方便。PyTorch框架

特點與優(yōu)勢1.PyTorch可以看作加入了GPU支持的NumPy(Python的一個擴展程序庫)。TensorFlow與