人工智能技術(shù)導(dǎo)論-課件 第4章 人工智能計(jì)算方法

第4章人工智能計(jì)算方法目錄4.1數(shù)據(jù)的運(yùn)算與算法4.2人工智能算法4.3人工智能算法工具學(xué)習(xí)目標(biāo)眾所周知，數(shù)據(jù)、算力和算法是人工智能三大支撐要素，而算法是人工智能的靈魂，是人工智能系統(tǒng)的重要支撐之一。算法的優(yōu)劣將直接影響人工智能的水平高低。理解人工智能算法的概念和特征理解人工智能主流算法的基本原理理解人工智能應(yīng)用算法實(shí)現(xiàn)流程理解人工智能算法工具的用法4.1數(shù)據(jù)的運(yùn)算與算法4.1數(shù)據(jù)的運(yùn)算與算法數(shù)據(jù)作為實(shí)現(xiàn)人工智能的首要因素，是一切智慧學(xué)習(xí)的載體，如果沒有數(shù)據(jù)，任何智慧學(xué)習(xí)都只能是空談。當(dāng)下，無時(shí)無刻不在產(chǎn)生數(shù)據(jù)，可能是文本、圖片、音頻、視頻等形式的數(shù)據(jù)，而這些數(shù)據(jù)需要進(jìn)行大量的特征化、標(biāo)量化、向量化的處理，才能真正被算法所用。而算法是在數(shù)據(jù)變化中產(chǎn)生的，同時(shí)又產(chǎn)生數(shù)據(jù)，是將數(shù)據(jù)從一種形態(tài)轉(zhuǎn)換成另一種形態(tài)的方法。世界上任何一種事物都無法用單一的數(shù)據(jù)或算法進(jìn)行描述。隨著計(jì)算機(jī)的出現(xiàn)，人類又嘗試將之前的數(shù)學(xué)方法用計(jì)算機(jī)的語言表述出來，算法就這么誕生了。4.1.1數(shù)據(jù)的運(yùn)算方法數(shù)據(jù)運(yùn)算就是根據(jù)某種模式針對(duì)數(shù)據(jù)建立起關(guān)系，并進(jìn)行處理的過程，我們認(rèn)識(shí)數(shù)據(jù)的運(yùn)算也是從最基礎(chǔ)的算術(shù)運(yùn)算，到關(guān)系運(yùn)算，再到邏輯運(yùn)算開始的；其中算術(shù)運(yùn)算，比如:加、減、乘、除、乘方、開方、取模等；關(guān)系運(yùn)算，比如:等于、不等于、大于、小于等；邏輯運(yùn)算，比如:與、或、非、恒等、蘊(yùn)含等。隨著數(shù)據(jù)量的不斷增大，基本的數(shù)據(jù)運(yùn)算已經(jīng)不能滿足人類生活的需要，演算難度也逐漸提高，單靠人的大腦去核算壓根就不可能，就這樣陸續(xù)有了表達(dá)式運(yùn)算、函數(shù)運(yùn)算。4.1.2算法定義和特征在數(shù)學(xué)和計(jì)算機(jī)科學(xué)中，算法是有明確定義、有限步驟且計(jì)算機(jī)可執(zhí)行的，通常用于計(jì)算、數(shù)據(jù)處理和自動(dòng)推理的一組指令序列。算法作為一個(gè)復(fù)雜的體系，是數(shù)學(xué)、邏輯學(xué)和計(jì)算機(jī)科學(xué)的集合。算法是針對(duì)待解決問題之解題方案的準(zhǔn)確而完整的描述，即解題步驟，它代表著用系統(tǒng)的方法描述解決問題的。不同問題，算法可能不同。算法和計(jì)算機(jī)有著密切的聯(lián)系，計(jì)算機(jī)解決任何問題都要依賴于算法，只有將解決問題的過程分解為若干明確的步驟，即算法，并用計(jì)算機(jī)能夠接受的“語言”準(zhǔn)確的描述出來，計(jì)算機(jī)才能夠解決問題。就是一系列的計(jì)算步驟，用來將輸入數(shù)據(jù)轉(zhuǎn)化成輸出結(jié)果。4.1.2算法定義和特征算法一定是為了解決某一個(gè)問題產(chǎn)生。一定是可以解決問題的?？照勊惴]有意義。我們舉一個(gè)例子理解算法的概念及特征。案例題目：輸入三個(gè)數(shù)字，然后輸出其中最大的數(shù)字。我們將數(shù)字依次輸入變量A、B、C當(dāng)中，設(shè)變量MAX存放最大數(shù)，算法如下：（1）輸入A、B、C（2）A和B中大的一個(gè)放入MAX中（3）把C與MAX中大的一個(gè)放入MAX中（4）輸出MAX，MAX即為最大數(shù)4.1.2算法定義和特征通過這個(gè)例子，我們也可以看出算法的特性：有窮性，確定性、可行性、有輸入、有輸出。其中：輸入：算法具有0個(gè)或多個(gè)輸入。輸出：算法至少有1個(gè)或多個(gè)輸出。有窮性：算法在有限的步驟之后會(huì)自動(dòng)結(jié)束而不會(huì)無限循環(huán)，并且每-一個(gè)步驟可以在可接受的時(shí)間內(nèi)完成。確定性：算法中的每一步都有確定的含義，不會(huì)出現(xiàn)二義性?？尚行裕核惴ǖ拿恳徊蕉际强尚械?，也就是說每一步都能夠執(zhí)行有限的次數(shù)完。4.1.2算法定義和特征我們可以把所有的算法想象為一本“菜譜”，特定的算法比如菜譜中的的一道“魚香肉絲”的制作流程，只要按照菜譜的要求制作魚香肉絲，那么誰都可以做出一道好吃的魚香肉絲。而這個(gè)做菜的步驟就可以理解為：“解決問題的步驟”。4.1.3算法的實(shí)現(xiàn)過程人們解決問題的一般過程是從觀察、分析問題開始的，然后收集必要的信息，根據(jù)自己已有的知識(shí)和經(jīng)驗(yàn)進(jìn)行判斷和推理，最后按照一定的方法和步驟來解決問題。使用計(jì)算機(jī)解決問題一般要經(jīng)歷三個(gè)階段：第一階段：分析問題確定要用計(jì)算機(jī)做什么；第二階段：尋找解決問題的基本途徑和方法；第三階段：用計(jì)算機(jī)進(jìn)行處理。4.1.3算法的實(shí)現(xiàn)過程算法為了有效解決問題，按照自頂往下的設(shè)計(jì)原則，處理實(shí)際問題的算法設(shè)計(jì)是從理解問題入手自頂往下展開的，這是對(duì)問題的理解和分析逐層深入、逐步細(xì)化的一個(gè)過程。一般步驟是：（1）分析問題，建立模型，并找到相關(guān)模型。（2）設(shè)計(jì)算法，建立初步求解，保證算法能夠正常運(yùn)行。（3）正確性分析，分析算法是否能正確求解問題。（4）效率分析，考慮算法時(shí)間復(fù)雜度、空間復(fù)雜度計(jì)算，進(jìn)行綜合評(píng)估。（5）程序?qū)崿F(xiàn)，應(yīng)用算法解決問題。4.2人工智能算法在人工智能領(lǐng)域里，算法（Algorithm）是指如何解決一類問題的明確規(guī)范。人工智能算法主要用于訓(xùn)練模型；可以執(zhí)行計(jì)算，數(shù)據(jù)處理和自動(dòng)推理任務(wù)；并且還具有可行性、確定性、有窮性和擁有足夠的情報(bào)的特征。例如，要判斷一張圖片中是否存在貓。那我們首先要通過規(guī)則去定義一只貓。4.2人工智能算法觀察上圖中的貓，可以知道貓有一個(gè)圓腦袋，兩個(gè)三角形的耳朵，又胖又長的身體，和一條長尾巴，然后可以定義一套規(guī)則在圖片中尋找貓。這看起來好像是可行的，但是如果遇到的是下圖中這樣的貓?jiān)撛趺崔k？4.2人工智能算法從這個(gè)例子中大家應(yīng)該能看得出來，即使是一只很普通的家養(yǎng)寵物，都可能會(huì)出現(xiàn)無數(shù)種不同的外形。如果我們使用人為定義的規(guī)則去定義這個(gè)動(dòng)物，那么可能需要設(shè)置非常大量的規(guī)則，并且效果也不一定會(huì)很好。僅僅一個(gè)物體就這么復(fù)雜，而現(xiàn)實(shí)中常見的各種物體成千上萬，所以使用人為定義的規(guī)則去做識(shí)別肯定是行不通的。這就需要我們?nèi)斯ぶ悄芩惴▉斫鉀Q這個(gè)問題。4.2.1人工智能算法分類人工智能算法大體上來說可以分類兩類：基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)算法(MachineLearning)和深度學(xué)習(xí)算法(DeepLearning)。4.2.2常用機(jī)器學(xué)習(xí)算法機(jī)器學(xué)習(xí)根據(jù)不同的訓(xùn)練方式，可分為有監(jiān)督學(xué)習(xí)（SupervisedLearning）、無監(jiān)督學(xué)習(xí)（UnsupervisedLearning）、半監(jiān)督學(xué)習(xí)（Semi-supervisedLearning）和強(qiáng)化學(xué)習(xí)（ReinforcementLearning）四大類。4.2.2常用機(jī)器學(xué)習(xí)算法1.有監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)（SupervisedLearning）利用有標(biāo)簽的訓(xùn)練數(shù)據(jù)學(xué)習(xí)得到一個(gè)模型，然后使用這個(gè)模型對(duì)新樣本進(jìn)行預(yù)測。就是需要我們提供大量的學(xué)習(xí)樣本（包括樣本相關(guān)的特征數(shù)據(jù)以及相應(yīng)的標(biāo)簽）。簡而言之就是我們提供樣例“教”計(jì)算機(jī)如何學(xué)習(xí)，通過這些樣本來學(xué)習(xí)相關(guān)的規(guī)律或是模式，然后通過得到的規(guī)律或模式來判斷沒有被打過標(biāo)簽的數(shù)據(jù)是什么樣的數(shù)據(jù)。有監(jiān)督學(xué)習(xí)主要特點(diǎn)是，所有的數(shù)據(jù)都有與之相對(duì)應(yīng)的標(biāo)簽（Label）。圖片是一個(gè)手寫數(shù)字3，所以這張圖片的標(biāo)簽可以設(shè)置為3。4.2.2常用機(jī)器學(xué)習(xí)算法假設(shè)，訓(xùn)練數(shù)據(jù)集給出了3種不同花朵的花瓣長度特征（訓(xùn)練集特征），我們已經(jīng)知道這3朵花的種類A、B、C。那么，對(duì)于一朵未知種類的花，就可以根據(jù)它的花瓣長度（測試樣本特征）來判斷它所屬種類（測試樣本標(biāo)簽）。4.2.2常用機(jī)器學(xué)習(xí)算法最典型的有監(jiān)督學(xué)習(xí)算法包括了分類和回歸。類似于上面那種識(shí)別問題，就是分類。分類方法是一種對(duì)離散型隨機(jī)變量建模或預(yù)測的監(jiān)督學(xué)習(xí)算法。分類問題預(yù)測的是類別，輸出的是離散值，使用案例包括動(dòng)物的種類判斷、植物的種類判斷、各類物品的種類判斷、郵件過濾、金融欺詐、網(wǎng)絡(luò)安全攻擊和預(yù)測雇員異動(dòng)等。而回歸方法是用來預(yù)測一個(gè)具體的數(shù)值輸出，是一種對(duì)數(shù)值型連續(xù)隨機(jī)變量進(jìn)行預(yù)測和建模的監(jiān)督學(xué)習(xí)算法?；貧w問題預(yù)測的是連續(xù)實(shí)數(shù)值。常用在股票價(jià)格預(yù)測，房價(jià)預(yù)測，洪水水位線預(yù)測、天氣預(yù)報(bào)、預(yù)期壽命和健康風(fēng)險(xiǎn)等問題中。4.2.2常用機(jī)器學(xué)習(xí)算法（1）線性回歸線性回歸，就是能夠用一個(gè)直線較為精確地描述數(shù)據(jù)之間的關(guān)系。這樣當(dāng)出現(xiàn)新的數(shù)據(jù)的時(shí)候，就能夠預(yù)測出一個(gè)簡單的值。它是對(duì)大量的觀測數(shù)據(jù)進(jìn)行處理，從而得到比較符合事物內(nèi)部規(guī)律的數(shù)學(xué)表達(dá)式。4.2.2常用機(jī)器學(xué)習(xí)算法（2）邏輯回歸邏輯回歸是基于線性回歸的，它建立模型將數(shù)據(jù)分為不同的類別，并預(yù)測某個(gè)數(shù)據(jù)的類別。邏輯回歸雖然叫做回歸，但是其主要解決分類問題?？捎糜诙诸?，也可以用于多分類問題。Logistic函數(shù)公式如下：Logistic函數(shù)圖像如下：4.2.2常用機(jī)器學(xué)習(xí)算法2.無監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí)（Unsupervisedlearning）實(shí)際是去對(duì)原始資料進(jìn)行分類，以便了解資料內(nèi)部結(jié)構(gòu)。有別于監(jiān)督式學(xué)習(xí)網(wǎng)絡(luò)，無監(jiān)督式學(xué)習(xí)在學(xué)習(xí)時(shí)并不知道其分類結(jié)果是否正確，亦即沒有受到監(jiān)督式增強(qiáng)(告訴它何種學(xué)習(xí)是正確的)。其特點(diǎn)是僅對(duì)此種網(wǎng)絡(luò)提供輸入范例，而它會(huì)自動(dòng)從這些范例中找出其潛在類別規(guī)則。當(dāng)學(xué)習(xí)完畢并經(jīng)測試后，也可以將之應(yīng)用到新的案例上。其特點(diǎn)為輸入數(shù)據(jù)（訓(xùn)練數(shù)據(jù)）不存在明確的標(biāo)識(shí)或結(jié)果。4.2.2常用機(jī)器學(xué)習(xí)算法經(jīng)典的案例：鳶尾花識(shí)別，有未知分類的鳶尾花的測量數(shù)據(jù)，包括萼長，萼寬，瓣長，瓣寬，根據(jù)這些測量數(shù)據(jù)，將類似的測量記錄歸類（同樣花的測量數(shù)據(jù)具有類似的特征），需使用聚類實(shí)現(xiàn)“自動(dòng)”學(xué)習(xí)。4.2.2常用機(jī)器學(xué)習(xí)算法3.半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)（Semi-supervisedLearning）是監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方式，通常可以用于分類以及回歸問題。它的輸入數(shù)據(jù)有部分被標(biāo)識(shí)，部分沒有被標(biāo)識(shí)，這種學(xué)習(xí)模型可以用來進(jìn)行預(yù)測，此類算法首先需試圖對(duì)沒有標(biāo)簽的數(shù)據(jù)進(jìn)行建模，然后再對(duì)帶有標(biāo)簽的數(shù)據(jù)進(jìn)行預(yù)測。4.2.2常用機(jī)器學(xué)習(xí)算法4.強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)（ReinforcementLearning）屬于自動(dòng)進(jìn)行決策，并且可以連續(xù)決策希望一段時(shí)間后獲得最多的累計(jì)獎(jiǎng)勵(lì)。它區(qū)別于先前我們提到的那些方法。強(qiáng)化學(xué)習(xí)算法是一種“游戲”的過程，其目標(biāo)是最大化“游戲獎(jiǎng)勵(lì)”。該算法通過反復(fù)的實(shí)驗(yàn)來嘗試確定不同的“走法”，并查看哪種方式能夠最大化“游戲收益”，屬于把學(xué)習(xí)看作一個(gè)試探評(píng)價(jià)的過程。4.2.3常用深度學(xué)習(xí)算法1.認(rèn)識(shí)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)（NeuralNetwork）最早由心理學(xué)家和神經(jīng)學(xué)家開創(chuàng)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)（動(dòng)物的中樞神經(jīng)系統(tǒng)，特別是大腦）的結(jié)構(gòu)和功能的數(shù)學(xué)模型，由神經(jīng)元、節(jié)點(diǎn)與節(jié)點(diǎn)之間的連接（突觸）所構(gòu)成；用于對(duì)函數(shù)進(jìn)行估計(jì)或近似，屬于模式識(shí)別的算法。和其他機(jī)器學(xué)習(xí)方法一樣，神經(jīng)網(wǎng)絡(luò)已經(jīng)被用于解決各種各樣的問題，例如機(jī)器視覺和語音識(shí)別。4.2.3常用深度學(xué)習(xí)算法單層神經(jīng)網(wǎng)絡(luò)是最基本的神經(jīng)元網(wǎng)絡(luò)形式，由有限個(gè)神經(jīng)元構(gòu)成，所有神經(jīng)元的輸入向量都是同一個(gè)向量。由于每一個(gè)神經(jīng)元都會(huì)產(chǎn)生一個(gè)標(biāo)量結(jié)果，所以單層神經(jīng)元的輸出是一個(gè)向量，向量的維數(shù)等于神經(jīng)元的數(shù)目。4.2.3常用深度學(xué)習(xí)算法多層神經(jīng)網(wǎng)絡(luò)就是由單層神經(jīng)網(wǎng)絡(luò)進(jìn)行疊加之后得到的，所以就形成了層的概念，常見的多層神經(jīng)網(wǎng)絡(luò)有如下結(jié)構(gòu)：輸入層（Inputlayer），眾多神經(jīng)元（Neuron）接受大量輸入消息。輸入的消息稱為輸入向量。輸出層（Outputlayer），消息在神經(jīng)元鏈接中傳輸、分析、權(quán)衡，形成輸出結(jié)果。輸出的消息稱為輸出向量。隱藏層（Hiddenlayer），簡稱“隱層”，是輸入層和輸出層之間眾多神經(jīng)元和鏈接組成的各個(gè)層面。4.2.3常用深度學(xué)習(xí)算法一個(gè)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法就是讓權(quán)重的值調(diào)整到最佳，以使得整個(gè)網(wǎng)絡(luò)的預(yù)測效果最好。4.2.3常用深度學(xué)習(xí)算法2.揭秘深度學(xué)習(xí)實(shí)際上深度學(xué)習(xí)（DeepLearning）的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，但是并不完全等于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)可以說是在傳統(tǒng)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上的升級(jí)，約等于神經(jīng)網(wǎng)絡(luò)。其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)。它可以直接輸入圖像、文字、語音等原始數(shù)據(jù)（進(jìn)行簡單的數(shù)字化處理），進(jìn)行學(xué)習(xí)。4.2.3常用深度學(xué)習(xí)算法深度學(xué)習(xí)類似一個(gè)水流系統(tǒng)，要處理的數(shù)據(jù)是“水流”，深度學(xué)習(xí)網(wǎng)絡(luò)是一個(gè)由管道和閥門組成的“巨大水管網(wǎng)絡(luò)”。4.2.3常用深度學(xué)習(xí)算法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）是一種深度學(xué)習(xí)算法模型，常用來分析圖像、音頻、文本等數(shù)據(jù)，完成分類、識(shí)別和檢測等任務(wù)。簡單的卷積神經(jīng)網(wǎng)絡(luò)（CNN）結(jié)構(gòu)主要由卷積層、降采樣層（也叫池化層）、全連接層以及最后的輸出層構(gòu)成。4.2.3常用深度學(xué)習(xí)算法假設(shè)，要自動(dòng)識(shí)別一張手寫數(shù)字7，會(huì)經(jīng)過哪些計(jì)算呢？4.2.3常用深度學(xué)習(xí)算法假設(shè)，要自動(dòng)識(shí)別一張手寫數(shù)字7，會(huì)經(jīng)過哪些計(jì)算呢？池化過程特征提取和識(shí)別過程4.3人工智能算法工具高效的開發(fā)工具往往能讓算法開發(fā)變得更加精準(zhǔn)有趣，從最早被使用的Scikit-Learn，到后面專門針對(duì)深度學(xué)習(xí)的Theano，再到針對(duì)機(jī)器視覺的Caffe，伴隨著人工智能關(guān)聯(lián)技術(shù)在各行各業(yè)的應(yīng)用深入，越來越多的特色人工智能算法工具也孕育而生，比如谷歌開發(fā)的TensorFlow、Keras、Facebook開發(fā)的Pytorch、百度開發(fā)的PaddlePaddle飛漿、華為開源的MindSpore昇思等。從人工智能算法工具的發(fā)展中，我們可以窺見人工智能成規(guī)模發(fā)展的未來。4.3.1常用開源框架4.3.1常用開源框架1.TensorFlowTensorFlow是谷歌基于DistBelief進(jìn)行研發(fā)的第二代人工智能學(xué)習(xí)系統(tǒng)，其命名來源于本身的運(yùn)行原理。TensorFlow是將復(fù)雜的數(shù)據(jù)結(jié)構(gòu)傳輸至人工智能神經(jīng)網(wǎng)中進(jìn)行分析和處理過程的系統(tǒng)。使用的語言是C++或Python。4.3.1常用開源框架2.KerasKeras是一個(gè)由Python編寫的開源人工神經(jīng)網(wǎng)絡(luò)庫，可以作為Tensorflow、Microsoft-CNTK和Theano的高階應(yīng)用程序接口，進(jìn)行深度學(xué)習(xí)模型的設(shè)計(jì)、調(diào)試、評(píng)估、應(yīng)用和可視化。Keras在代碼結(jié)構(gòu)上由面向?qū)ο蠓椒ň帉?，完全模塊化并具有可擴(kuò)展性。4.3.1常用開源框架3.CaffeCaffe全稱為Convolutional?Architecture?for?Fast?Feature?Embedding，是一個(gè)被廣泛使用的開源深度學(xué)習(xí)框架。Caffe的主要優(yōu)勢包括如下：(1)容易上手，網(wǎng)絡(luò)結(jié)構(gòu)都是以配置文件形式定義，不需要用代碼設(shè)計(jì)網(wǎng)絡(luò)。(2)訓(xùn)練速度快，能夠訓(xùn)練state-of-the-art的模型與大規(guī)模的數(shù)據(jù)。(3)組件模塊化，可以方便地拓展到新的模型和學(xué)習(xí)任務(wù)上。4.3.1常用開源框架4.PyTo