機(jī)器學(xué)習(xí)與大數(shù)據(jù)技術(shù)PPT完整全套教學(xué)課件

機(jī)器學(xué)習(xí)與大數(shù)據(jù)技術(shù)第1章緒論第2章機(jī)器學(xué)習(xí)的理論與方法第3章深度學(xué)習(xí)理論與方法第4章大數(shù)據(jù)處理技術(shù)第5章農(nóng)業(yè)大數(shù)據(jù)與農(nóng)業(yè)智能第6章圖像處理與分析技術(shù)第7章機(jī)器學(xué)習(xí)、大數(shù)據(jù)技術(shù)和圖像處理技術(shù)在農(nóng)業(yè)中的應(yīng)用第8章Python基礎(chǔ)第9章Python數(shù)據(jù)處理與機(jī)器學(xué)習(xí)第一章機(jī)器學(xué)習(xí)大數(shù)據(jù)人工智能常用工具緒論創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1956年達(dá)特茅斯會(huì)議上計(jì)算機(jī)專家約翰·麥卡錫首先提出了“人工智能”的概念。1980年美國卡內(nèi)基梅隆大學(xué)設(shè)計(jì)并實(shí)現(xiàn)了具有知識(shí)庫和推理功能的專家系統(tǒng)。1997年IBM公司的“深藍(lán)”戰(zhàn)勝了國際象棋世界冠軍卡斯帕羅夫。2016年谷歌AlphaGO戰(zhàn)勝了著名的韓國棋手李世石和中國的圍棋天才柯潔。圖1-1AlphaGO戰(zhàn)勝柯潔創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章ElaineRich認(rèn)為人工智能是研究如何利用計(jì)算機(jī)模擬人腦從事推理、規(guī)劃、設(shè)計(jì)和學(xué)習(xí)等思維活動(dòng)，協(xié)助人類解決復(fù)雜的工程問題。Winston認(rèn)為人工智能是那些使知覺、推理和行為成為可能的計(jì)算的研究。StuartRussell則把人工智能定義為：像人一樣思考的系統(tǒng)，像人一樣行動(dòng)的系統(tǒng)。人工智能至今尚沒有一個(gè)統(tǒng)一的定義。專家和學(xué)者們從不同的角度出發(fā)，給出了各自的定義：機(jī)器學(xué)習(xí)的發(fā)展可以追溯到1950年。其發(fā)展過程大體經(jīng)歷了3個(gè)重要時(shí)期，即推理期、知識(shí)期和學(xué)習(xí)期。1970年前稱為推理期，主要標(biāo)志是讓機(jī)器具有簡單的邏輯推理能力。1970年后稱為知識(shí)期，主要標(biāo)志是1965年E.A.Feigenbaum等人研制了世界上首個(gè)專家系統(tǒng)。

80年代至今稱為學(xué)習(xí)期，主要標(biāo)志是讓機(jī)器從樣本中學(xué)習(xí)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1983年，美國加洲理工學(xué)院

J.J.Hopfield

教授提出了著名的Hopfield反饋神經(jīng)網(wǎng)絡(luò)。1986年，D.E.Rumelhat等人提出了BP神經(jīng)網(wǎng)絡(luò)。1995年，美國的Vapnik教授提出了基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)，產(chǎn)生了以支持向量機(jī)為代表的核機(jī)器學(xué)習(xí)方法，如：核聚類和核主成分分析等。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)和人工智能的一個(gè)重要組成部分，來源于人工神經(jīng)網(wǎng)絡(luò)研究和發(fā)展。最早是由加拿大多倫多大學(xué)計(jì)算機(jī)系的教授GeoffreyE.Hinton于2006年提出，Hinton通過pre-training較好地解決了多層網(wǎng)絡(luò)難以訓(xùn)練的問題。深度學(xué)習(xí)近年來在圖像識(shí)別和語音識(shí)別上取得了突破性的進(jìn)展，深度學(xué)習(xí)的成功主要?dú)w功于三大因素，即大數(shù)據(jù)、大模型和大算力，深度學(xué)習(xí)的優(yōu)越性能將人工智能推向了新的高潮。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章數(shù)據(jù)倉庫之父BillInmon早在20世紀(jì)90年代就經(jīng)常提起大數(shù)據(jù)。自2008年9月國際著名的期刊《Nature》出版了大數(shù)據(jù)專刊以來，大數(shù)據(jù)的處理、分析和利用已經(jīng)成為各行各業(yè)和科研人員關(guān)注的焦點(diǎn)。目前，大數(shù)據(jù)幾乎是家喻戶曉，成為當(dāng)今非常熱門的話題。從電視上經(jīng)常可以看到有關(guān)大數(shù)據(jù)的新聞，如：中央電視臺(tái)將大數(shù)據(jù)分析技術(shù)應(yīng)用于新聞報(bào)道中，推出了兩會(huì)大數(shù)據(jù)、春運(yùn)大數(shù)據(jù)和五一大數(shù)據(jù)等相關(guān)欄目。美國政府把大數(shù)據(jù)視為“未來的新石油”，中國政府將大數(shù)據(jù)上升為國家戰(zhàn)略，大數(shù)據(jù)產(chǎn)業(yè)正在逐步地進(jìn)入成熟期。圖1-2兩會(huì)大數(shù)據(jù)欄目創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章

物聯(lián)網(wǎng)(InternetofThings)的概念是由MITAuto-ID中心Ashton教授1999年提出的。其原理是利用各種傳感設(shè)備，如射頻識(shí)別裝置、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等種種裝置與互聯(lián)網(wǎng)結(jié)合起來從而形成的一個(gè)巨大網(wǎng)絡(luò)。國家標(biāo)準(zhǔn)GB7665-87對(duì)傳感器的定義是：“能感受規(guī)定的被測(cè)量并按照一定的規(guī)律轉(zhuǎn)換成可用信號(hào)的器件或裝置，通常由敏感元件和轉(zhuǎn)換元件組成”。通俗的講，物聯(lián)網(wǎng)就是物與物相聯(lián)的互聯(lián)網(wǎng)。目前，各種傳感器廣泛地應(yīng)用到我們的衣食住行等日常生活中，如：濕度傳感器、氣體煙霧傳感器、超聲波傳感器和空氣質(zhì)量傳感器等。傳感器正在朝著微型化、智能化、多功能化和無線網(wǎng)絡(luò)化的方向發(fā)展。和發(fā)達(dá)國家相比，我國自主傳感器核心技術(shù)仍需不斷提高，高端傳感器芯片以進(jìn)口為主，市場(chǎng)競(jìng)爭(zhēng)較為激烈。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)1.1.1概述機(jī)器學(xué)習(xí)簡單地講就是讓機(jī)器模擬人類的學(xué)習(xí)過程，來獲取新的知識(shí)或技能，并通過自身的學(xué)習(xí)完成指定的工作或任務(wù)，目標(biāo)是讓機(jī)器能像人一樣具有學(xué)習(xí)能力。機(jī)器學(xué)習(xí)的本質(zhì)是樣本空間的搜索和模型的泛化能力。目前，機(jī)器學(xué)習(xí)研究的主要內(nèi)容有3類，分別是模式識(shí)別(PatternRecognition)、回歸分析(RegressionAnalysis)和概率密度估計(jì)(ProbabilityDensityEstimation）。模式識(shí)別又稱為模式分類，是利用計(jì)算機(jī)對(duì)物理對(duì)象進(jìn)行分類的過程，目的是在錯(cuò)誤概率最小的情況下，使識(shí)別的結(jié)果與客觀物體盡可能的相一致。顯然模式識(shí)別的方法離不開機(jī)器學(xué)習(xí)?；貧w分析是研究兩個(gè)或兩個(gè)以上的變量和自變量之間的相互依賴關(guān)系，是數(shù)據(jù)分析的重要方法之一。概率密度估計(jì)是機(jī)器學(xué)習(xí)挖掘數(shù)據(jù)規(guī)律的重要方法。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)1.1.2評(píng)價(jià)準(zhǔn)則評(píng)價(jià)指標(biāo)是機(jī)器學(xué)習(xí)非常重要的一個(gè)環(huán)節(jié)。機(jī)器學(xué)習(xí)的任務(wù)不同，評(píng)價(jià)指標(biāo)可能就不同。同一種機(jī)器學(xué)習(xí)算法針對(duì)不同的應(yīng)用，可以采用不同的評(píng)價(jià)指標(biāo)，每個(gè)指標(biāo)的側(cè)重點(diǎn)不一樣。下面介紹常用的機(jī)器學(xué)習(xí)評(píng)價(jià)指標(biāo)。1

準(zhǔn)確率(Accuracy)2召回率(Precision-Recall)3ROC(ReceiverOperatingCharacteristic)曲線4交叉驗(yàn)證（Cross-Validation）5欠擬合與過擬合問題(Under-fittingandOver-fitting)1準(zhǔn)確率(Accuracy)創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)

樣本分類時(shí)，被正確分類的樣本數(shù)與樣本總數(shù)之比稱為準(zhǔn)確率，與準(zhǔn)確率對(duì)應(yīng)的是錯(cuò)誤率，錯(cuò)誤率是錯(cuò)分樣本數(shù)與總樣本數(shù)之比。

顯然，準(zhǔn)確率并沒有反映出不同類別錯(cuò)分樣本的情況。例如：對(duì)于一個(gè)二類分類問題，準(zhǔn)確率并不能反映出第一類和第二類分別錯(cuò)分樣本的個(gè)數(shù)。但是，在實(shí)際應(yīng)用中，因?yàn)椴煌悇e下錯(cuò)分樣本的代價(jià)或成本不同，往往需要知道不同類別錯(cuò)分樣本的情況。例如：在醫(yī)學(xué)影像分類過程中，未患有乳腺癌被錯(cuò)分類為患有乳腺癌癥，與患有乳腺癌被錯(cuò)分類為未患有乳腺癌癥的重要性顯然是不一樣的。另外，數(shù)據(jù)分布不平衡時(shí)，樣本占大多數(shù)的類主導(dǎo)了準(zhǔn)確率的計(jì)算等情況。這就需要求出不同類別的準(zhǔn)確率。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)2召回率(Precision-Recall)

召回率指的是分類正確的正樣本個(gè)數(shù)占所有的正樣本個(gè)數(shù)的比例。它表示的是數(shù)據(jù)集中的正樣本有多少被預(yù)測(cè)正確。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)PositiveRate，F(xiàn)PR）。ROC曲線下方面積（TheAreaUnderTheROCCurve，AUC）是指ROC曲線與x軸、點(diǎn)(1，0)和點(diǎn)(1，1)圍繞的面積。ROC曲線如圖1-1所示。顯然，0<=AUC<=1。假設(shè)閾值以上是陽性，以下是陰性，若隨機(jī)抽取一個(gè)陽性樣本和一個(gè)陰性樣本，分類器正確判斷陽性樣本的值高于陰性樣本的幾率。在圖1-3示例中，有三類分類器，AUC值分為0.8、0.78和0.80，AUC值越大的分類器正確率越高。3ROC(ReceiverOperatingCharacteristic)曲線ROC曲線是分類器的一種性能指標(biāo)，可以實(shí)現(xiàn)不同分類器性能比較。不同的分類器比較時(shí)，畫出的每個(gè)分類器的ROC曲線，將曲線下方面積作為判斷模型好壞的指標(biāo)。ROC曲線的縱軸是“真正例率”（TruePositiveRate，TPR），橫軸是“假正例率”（False圖1-3ROC曲線交叉驗(yàn)證的基本思想：將數(shù)據(jù)分成訓(xùn)練集和測(cè)試集。在訓(xùn)練集上訓(xùn)練模型，然后利用測(cè)試集模擬實(shí)際的數(shù)據(jù)，對(duì)訓(xùn)練模型進(jìn)行調(diào)整或評(píng)價(jià)，最后選擇在驗(yàn)證數(shù)據(jù)上表現(xiàn)最好的模型。交叉驗(yàn)證法的優(yōu)點(diǎn)是可以在一定程度上減小過擬合，還可以從有限的數(shù)據(jù)中獲取盡可能多的有效信息。常用的交叉驗(yàn)證的方法有：（1）K折交叉驗(yàn)證（2）留一交叉驗(yàn)證（LeaveOneOutCrossValidation）創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)4交叉驗(yàn)證（Cross-Validation）創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)（1）K折交叉驗(yàn)證K折交叉驗(yàn)證的基本思想：將數(shù)據(jù)隨機(jī)的劃分為K等份，將其中的K-1份作為訓(xùn)練集，剩余的1份作為測(cè)試集，計(jì)算K組測(cè)試結(jié)果的平均值作為模型精度的估計(jì)，并作為當(dāng)前K折交叉驗(yàn)證下模型的性能指標(biāo)。K折交叉驗(yàn)證實(shí)現(xiàn)了數(shù)據(jù)的重復(fù)利用。一般情況下，K的取值為10。針對(duì)不同的應(yīng)用場(chǎng)景，可以根據(jù)實(shí)際情況確定K值，數(shù)據(jù)量或樣本數(shù)較大時(shí)，K的取值可以大于10。

數(shù)據(jù)量或樣本數(shù)較小時(shí)，K的取值可以小于10。（2）留一交叉驗(yàn)證（LeaveOneOutCrossValidation）留一交叉驗(yàn)證的基本思想：假設(shè)有N個(gè)樣本，將每一個(gè)樣本作為測(cè)試樣本，其它N-1個(gè)樣本作為訓(xùn)練樣本，得到N個(gè)分類器和N個(gè)測(cè)試結(jié)果。用這N個(gè)結(jié)果的平均值來衡量模型的性能。留一交叉驗(yàn)證是K折交叉驗(yàn)證的特例。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)過程中，模型對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力稱為泛化能力(GeneralizationAbility)，是評(píng)估算法性能的重要評(píng)價(jià)指標(biāo)(EvaluationMetrics)。泛化指的是訓(xùn)練模型對(duì)未知樣本的適應(yīng)能力。優(yōu)秀的機(jī)器學(xué)習(xí)模型其泛化能力強(qiáng)。過擬合是由于訓(xùn)練模型中涉及的參數(shù)過多，或參加訓(xùn)練的數(shù)據(jù)量太小等原因，導(dǎo)致了微小的數(shù)據(jù)擾動(dòng)都會(huì)產(chǎn)生較大的變化或影響，造成了模型對(duì)已知數(shù)據(jù)預(yù)測(cè)精度很高，而對(duì)未知數(shù)據(jù)預(yù)測(cè)精度較低的現(xiàn)象，即測(cè)試樣本輸出和期望的值相差較大，也稱為泛化誤差較大。5欠擬合與過擬合問題(Under-fitting

andOver-fitting)通常情況下，解決過擬合問題的方法有兩種：（1）利用正則化來控制模型的復(fù)雜度，改善或減少過度擬合的問題。（2）根據(jù)實(shí)際問題增加足夠的訓(xùn)練數(shù)據(jù)。欠擬合是模型在訓(xùn)練和預(yù)測(cè)時(shí)，其準(zhǔn)確率都較低的現(xiàn)象。產(chǎn)生的原因可能是模型過于簡單，沒有充分的擬合所有的數(shù)據(jù)。解決欠擬合問題的方法是優(yōu)化和改進(jìn)模型，或采用其它的機(jī)器學(xué)習(xí)算法。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)1.1.3分類根據(jù)機(jī)器學(xué)習(xí)算法的學(xué)習(xí)方式，機(jī)器學(xué)習(xí)分為以下三種。1有監(jiān)督學(xué)習(xí)(SupervisedLearning)2無監(jiān)督學(xué)習(xí)(UnsupervisedLearning)3半監(jiān)督學(xué)習(xí)（Semi-SupervisedLearning）創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)有監(jiān)督學(xué)習(xí)是利用一組已知類別的樣本調(diào)整分類器的參數(shù)，使其達(dá)到所要求性能的學(xué)習(xí)過程，也稱為有老師的學(xué)習(xí)。有監(jiān)督學(xué)習(xí)的過程是：首先利用有標(biāo)號(hào)的樣本進(jìn)行訓(xùn)練，構(gòu)建相應(yīng)的學(xué)習(xí)模型。然后，再利用這個(gè)模型對(duì)未知樣本數(shù)據(jù)進(jìn)行分類和預(yù)測(cè)。這個(gè)學(xué)習(xí)過程與人類認(rèn)識(shí)事物的過程非常相似。常用有監(jiān)督學(xué)習(xí)的算法有：貝葉斯分類、決策樹和支持向量機(jī)等。1有監(jiān)督學(xué)習(xí)(SupervisedLearning)創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)無監(jiān)督學(xué)習(xí)是對(duì)無標(biāo)號(hào)樣本的學(xué)習(xí)，以發(fā)現(xiàn)訓(xùn)練樣本集中的結(jié)構(gòu)性知識(shí)的學(xué)習(xí)過程，也稱為無老師的學(xué)習(xí)。無監(jiān)督學(xué)習(xí)事先并不需要知道樣本的類別，而是通過某種方法，按照相似度的大小進(jìn)行分類的過程。它與監(jiān)督學(xué)習(xí)的不同之處，在于事先并沒有任何訓(xùn)練樣本，而是直接對(duì)數(shù)據(jù)進(jìn)行建模。常用無監(jiān)督學(xué)習(xí)的算法有：聚類算法和期望最大化算法。2無監(jiān)督學(xué)習(xí)(UnsupervisedLearning)創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)半監(jiān)督學(xué)習(xí)是有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)相結(jié)合的學(xué)習(xí)，是利用有類標(biāo)號(hào)的數(shù)據(jù)和無類標(biāo)號(hào)的數(shù)據(jù)進(jìn)行學(xué)習(xí)的過程。其特點(diǎn)是利用少量有標(biāo)號(hào)樣本和大量無標(biāo)號(hào)樣本進(jìn)行機(jī)器學(xué)習(xí)。在數(shù)據(jù)采集過程中，采集海量的無標(biāo)號(hào)數(shù)據(jù)相對(duì)容易，而采集海量的有標(biāo)號(hào)樣本則相對(duì)困難，因?yàn)閷?duì)無標(biāo)號(hào)樣本的標(biāo)記工作可能會(huì)耗費(fèi)大量的人力、物力和財(cái)力。例如：利用計(jì)算機(jī)輔助醫(yī)學(xué)圖像分析和判讀的過程中，可以從醫(yī)院獲得海量的醫(yī)學(xué)圖像作為訓(xùn)練數(shù)據(jù)，但如果要求把這些海量圖像中的病灶都標(biāo)注出來，則是不現(xiàn)實(shí)的。現(xiàn)實(shí)世界中通常存在大量的未標(biāo)注樣本，但有標(biāo)記樣本則比較少，因此半監(jiān)督學(xué)習(xí)的研究是非常重要的。3半監(jiān)督學(xué)習(xí)（Semi-SupervisedLearning）創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)1.1.4常用工具1WEKAWEKA是一款常用的、開源的機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘工具，主要功能有：數(shù)據(jù)預(yù)處理、分類、回歸和關(guān)聯(lián)規(guī)則等。WEKA內(nèi)集成了決策樹和貝葉斯分類等眾多機(jī)器學(xué)習(xí)算法，是數(shù)據(jù)分析和挖掘的技術(shù)人員常用的工具之一。2Python語言Python是一種面向?qū)ο蟮木幊陶Z言，由荷蘭人GuidovanRossum于1989年發(fā)明，最早的公開發(fā)行版是在1991年。Python提供了大量的基礎(chǔ)代碼庫，極大地方便了用戶進(jìn)行程序編寫。Python語言在數(shù)據(jù)挖掘和分析、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化等方面發(fā)揮了巨大的作用。目前，Python是最熱門的人工智能和機(jī)器學(xué)習(xí)的編程語言。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)3MatlabMatlab是美國MathWorks公司出品的一款商用軟件，是科研工作者、工程師和大學(xué)生必備的數(shù)據(jù)分析工具之一。主要用于科學(xué)計(jì)算，如數(shù)值計(jì)算、數(shù)據(jù)分析數(shù)據(jù)可視化、數(shù)字圖像處理和數(shù)字信號(hào)處理等，4R語言R語言是一種為統(tǒng)計(jì)計(jì)算和圖形顯示而設(shè)計(jì)的語言環(huán)境，是貝爾實(shí)驗(yàn)室開發(fā)的S語言的一種實(shí)現(xiàn)。它提供了有彈性的、互動(dòng)的環(huán)境分析，也提供了若干統(tǒng)計(jì)程序包，以及一系列統(tǒng)計(jì)和圖形顯示工具，用戶只需根據(jù)統(tǒng)計(jì)模型，指定相應(yīng)的數(shù)據(jù)庫及相關(guān)的參數(shù)，便可靈活機(jī)動(dòng)的進(jìn)行數(shù)據(jù)分析等工作。目前，R語言在數(shù)據(jù)挖掘和分析、機(jī)器學(xué)習(xí)和數(shù)據(jù)可視化方面發(fā)揮了巨大的作用。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)5深度學(xué)習(xí)框架深度學(xué)習(xí)的發(fā)展離不開高性能的框架與硬件的支持。隨著半導(dǎo)體工藝和微電子等技術(shù)的飛速發(fā)展，支持深度學(xué)習(xí)的硬件環(huán)境也在飛速發(fā)展，出現(xiàn)了以多核CPU（CentralProcessingUnit）、高性能圖形處理器GPU（GraphicsProcessingUnit）、APU（AcceleratedProcessingUnit）等處理器為代表的高性能并行計(jì)算系統(tǒng)，為深度學(xué)習(xí)分析和挖掘奠定了硬件基礎(chǔ)。目前，深度學(xué)習(xí)大都在使用GPU在各種框架上進(jìn)行模型訓(xùn)練，深層神經(jīng)網(wǎng)絡(luò)在GPU上運(yùn)算的速度要比CPU快一個(gè)數(shù)量級(jí)。隨著深度學(xué)習(xí)研究和應(yīng)用的不斷深入，各種開源的深度學(xué)習(xí)框架不斷涌現(xiàn)，目前常用的深度學(xué)習(xí)框架有Caffe、TensorFlow、Theano、Torch、CNTK等。下面簡單地介紹幾種常用的深度學(xué)習(xí)框架。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)Caffe是一個(gè)被廣泛使用的開源深度學(xué)習(xí)框架，由加州大學(xué)伯克利的Ph.D.賈揚(yáng)清開發(fā)。Caffe是首個(gè)主流的工業(yè)級(jí)深度學(xué)習(xí)工具，運(yùn)行穩(wěn)定，代碼質(zhì)量高，適用對(duì)穩(wěn)定性要求高的生產(chǎn)環(huán)境。目前在計(jì)算機(jī)視覺領(lǐng)域Caffe依然是最流行的工具包，并且有很多擴(kuò)展。Caffe最開始設(shè)計(jì)時(shí)的目標(biāo)只針對(duì)于圖像，沒有考慮文本、語音等數(shù)據(jù)，因此對(duì)卷積神經(jīng)網(wǎng)絡(luò)的支持非常好，但對(duì)時(shí)間序列RNN、LSTM等支持得不是特別充分。許多的研究人員采用Caffe做人臉識(shí)別、位置檢測(cè)和目標(biāo)追蹤等，很多深度學(xué)習(xí)的論文也都是使用Caffe來實(shí)現(xiàn)其模型的。（1）Caffe創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)Google公司開源的TensorFlow框架是相對(duì)高階的機(jī)器學(xué)習(xí)庫，用戶可以方便地用它設(shè)計(jì)各種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，是理想的深度學(xué)習(xí)開發(fā)平臺(tái)。TensorFlow使用了向量運(yùn)算的符號(hào)圖方法，使得指定新網(wǎng)絡(luò)變得比較容易，但是不支持雙向RNN和3D卷積。TensorFlow移植性高，一份代碼幾乎不經(jīng)過修改就輕松地部署到有任意數(shù)量CPU或GPU的PC、服務(wù)器或者移動(dòng)設(shè)備上。TensorFlow框架針對(duì)生產(chǎn)環(huán)境高度優(yōu)化，產(chǎn)品級(jí)的高質(zhì)量代碼和設(shè)計(jì)可以保證在生產(chǎn)環(huán)境中穩(wěn)定運(yùn)行。（2）TensorFlow創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)Theano由Lab團(tuán)隊(duì)開發(fā)并維護(hù)，是一個(gè)高性能的符號(hào)計(jì)算及深度學(xué)習(xí)庫。Theano因其出現(xiàn)時(shí)間早，一度被認(rèn)為是深度學(xué)習(xí)研究和應(yīng)用的重要標(biāo)準(zhǔn)之一。Theano專門為處理大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練的計(jì)算而設(shè)計(jì)，其核心是一個(gè)數(shù)學(xué)表達(dá)式的編譯器，可以鏈接各種可以加速的庫，將用戶定義的各種計(jì)算編譯為高效的底層代碼。（3）Theano創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)Torch是一個(gè)高效的科學(xué)計(jì)算庫，含有大量的機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺、信號(hào)處理和網(wǎng)絡(luò)的庫算法。Torch對(duì)卷積網(wǎng)絡(luò)的支持非常好，通過很多非官方的擴(kuò)展支持大量的RNN模型。（4）Torch創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.1機(jī)器學(xué)習(xí)框架名稱底層語言操作語言CaffeC++Python，C++，matlabTensorFlowC++，PythonPython，C++TheanoPython，CPythonTorchC，LuaC，Lua，C++KerasPythonPythonMXNetC++，Python等Python，C++CNTKC++C++，PythonCNTK是由微軟公司推出的開源深度學(xué)習(xí)工具包，性能優(yōu)于Caffe、Theano、TensoFlow，支持CPU和GPU兩種模式。各種框架的底層語言和操作語言的比較，詳見表1-1所示。表1-1各種深度學(xué)習(xí)框架的比較（5）CNTK創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.2大數(shù)據(jù)大數(shù)據(jù)迅速發(fā)展成為當(dāng)今科技界和企業(yè)界甚至世界各國政府關(guān)注的熱點(diǎn)?！禢ature》和《Science》等國際頂尖學(xué)術(shù)期刊相繼出版?？接懘髷?shù)據(jù)帶來的機(jī)遇和挑戰(zhàn)。美國政府把大數(shù)據(jù)視為“未來的新石油”，一個(gè)國家擁有數(shù)據(jù)的規(guī)模和運(yùn)用數(shù)據(jù)的能力將成為綜合國力的重要組成部分，對(duì)數(shù)據(jù)的占有和控制將成為國家間和企業(yè)間新的爭(zhēng)奪焦點(diǎn)?！按髷?shù)據(jù)時(shí)代”已然來臨。迄今并沒有公認(rèn)的關(guān)于“大數(shù)據(jù)”的定義。一般認(rèn)為大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。從宏觀世界角度看，大數(shù)據(jù)是融合物理世界、信息空間和人類社會(huì)三元世界的紐帶。從信息產(chǎn)業(yè)角度看，作為新一代信息技術(shù)重要組成部分的大數(shù)據(jù)已成為經(jīng)濟(jì)增長的新引擎。從社會(huì)經(jīng)濟(jì)角度看，大數(shù)據(jù)已成為第二經(jīng)濟(jì)的核心和支撐。第二經(jīng)濟(jì)是指處理器、傳感器、執(zhí)行器等以及運(yùn)行在其上的經(jīng)濟(jì)活動(dòng)。相較于傳統(tǒng)數(shù)據(jù)，人們將大數(shù)據(jù)的特征總結(jié)成4V，即數(shù)據(jù)量大（Volume）、多樣性（Variety）、價(jià)值密度低（Value）和高速度（Velocity）。大數(shù)據(jù)的主要難點(diǎn)并不在于數(shù)據(jù)量大，因?yàn)橥ㄟ^對(duì)計(jì)算機(jī)系統(tǒng)的擴(kuò)展可以在一定程度上緩解數(shù)據(jù)量大帶來的挑戰(zhàn)。大數(shù)據(jù)真正難點(diǎn)來自于數(shù)據(jù)多樣性和高速度。數(shù)據(jù)類型多樣使得系統(tǒng)不僅要處理結(jié)構(gòu)化數(shù)據(jù)，還要處理文本、視頻等非結(jié)構(gòu)化數(shù)據(jù)。在金融分析、航空航天等行業(yè)，數(shù)據(jù)處理速度要求非常高，時(shí)間就是效益。傳統(tǒng)的數(shù)據(jù)處理算法無法滿足快速響應(yīng)的需求，因此迫切需要新型算法的支持。為了應(yīng)對(duì)大數(shù)據(jù)面臨的挑戰(zhàn)，以Google為代表的互聯(lián)網(wǎng)企業(yè)近幾年推出了各種不同類型的大數(shù)據(jù)處理系統(tǒng)，推進(jìn)了深度學(xué)習(xí)、知識(shí)計(jì)算、可視化等技術(shù)在大數(shù)據(jù)背景下的發(fā)展。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.2大數(shù)據(jù)創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.3人工智能人工智能(ArtificialIntelligence，AI)定義為：一門融合了計(jì)算機(jī)科學(xué)、統(tǒng)計(jì)學(xué)、腦神經(jīng)學(xué)和社會(huì)科學(xué)的前沿綜合性學(xué)科。它的目標(biāo)是希望計(jì)算機(jī)擁有像人一樣的智力，可以替代人類實(shí)現(xiàn)識(shí)別、認(rèn)知、分類和決策等多種功能。在發(fā)展過程中，人工智能主要形成了3大學(xué)術(shù)流派，即符號(hào)主義(Symbolicism)、連接主義(Connectionism)和行為主義(Actionism)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.3人工智能符號(hào)主義又稱邏輯主義或計(jì)算機(jī)學(xué)派。符號(hào)主義學(xué)派最早在1956年提出的“人工智能”的概念，這個(gè)學(xué)派的代表人物有紐厄爾(Newell)和西蒙(Simon)等。符號(hào)主義認(rèn)為，人工智能起源于數(shù)學(xué)邏輯，人的過程就是符號(hào)操作的過程，通過了解和分析人的認(rèn)知過程，讓計(jì)算機(jī)來模擬實(shí)現(xiàn)人所具有的相應(yīng)功能。符號(hào)主義的發(fā)展大概經(jīng)歷了2個(gè)階段：推理期（20世紀(jì)50年代–20世紀(jì)70年代），知識(shí)期（20世紀(jì)70年代以后）。在“推理期”，人們基于符號(hào)知識(shí)表示，通過演繹推理技術(shù)取得了很大的成就；在“知識(shí)期”，人們基于符號(hào)表示，通過獲取和利用領(lǐng)域知識(shí)來建立專家系統(tǒng)，在人工智能走向工程應(yīng)用中取得了很大的成功。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.3人工智能連接主義又稱仿生學(xué)派或生理學(xué)派。連接主義認(rèn)為，人工智能源于仿生學(xué)，特別是對(duì)人腦模型的研究，人的思維基元是神經(jīng)元，而不是符號(hào)處理過程。20世紀(jì)60~70年代，連接主義，尤其是對(duì)以感知機(jī)(Perceptron)為代表的腦模型的研究出現(xiàn)過熱潮，由于受到當(dāng)時(shí)的理論模型、生物原型和技術(shù)條件的限制，腦模型研究在20世紀(jì)70年代后期至80年代初期落入低潮。直到Hopfield教授在1982年和1984年發(fā)表2篇重要論文，提出用硬件模擬神經(jīng)網(wǎng)絡(luò)以后，連接主義再次煥發(fā)生機(jī)。1986年，魯梅爾哈特(Rumelhart)等人提出多層網(wǎng)絡(luò)中的反向傳播算法(BP)算法。進(jìn)入21世紀(jì)后，連接主義卷土重來，提出了“深度學(xué)習(xí)”的概念。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.3人工智能行為主義又稱為進(jìn)化主義或控制論學(xué)派。行為主義認(rèn)為，人工智能源于控制論，早在20世紀(jì)40~50年代控制論思想就成為時(shí)代思潮的重要內(nèi)容，對(duì)早期人工智能工作者有較大的影響。早期的研究工作重點(diǎn)是在研究模擬人在控制過程中的智能行為和作用，如：對(duì)自適應(yīng)、自尋優(yōu)、自組織及自學(xué)習(xí)等控制論體系的基礎(chǔ)上，進(jìn)行對(duì)“控制論動(dòng)物”的研制。20世紀(jì)60~70年代，基于上述控制論體系的研究取得了一定的進(jìn)展，為20世紀(jì)80年代出現(xiàn)的智能控制和智能機(jī)器人奠定了基礎(chǔ)。在20世紀(jì)末行為主義以人工智能新學(xué)派的面孔出現(xiàn)，布魯克斯(Brooks)的六足行走機(jī)器人是典型代表，該機(jī)器人是一個(gè)基于感知-動(dòng)作模式模擬昆蟲行為的控制系統(tǒng)，被認(rèn)為是新一代的“控制論動(dòng)物”。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.3人工智能20世紀(jì)80年代，機(jī)器學(xué)習(xí)成為一個(gè)獨(dú)立的科學(xué)領(lǐng)域，各種機(jī)器學(xué)習(xí)技術(shù)百花初綻。E．A．Feigenbaum等人在著名的《人工智能手冊(cè)》中，把機(jī)器學(xué)習(xí)劃分為“機(jī)械學(xué)習(xí)”、“示教學(xué)習(xí)”、“類比學(xué)習(xí)”和“歸納學(xué)習(xí)”。機(jī)械學(xué)習(xí)將外界的輸入信息全部存儲(chǔ)下來，等到需要時(shí)原封不動(dòng)的取出來；示教學(xué)習(xí)和類比學(xué)習(xí)就是“從指令中學(xué)習(xí)”和“通過觀察和發(fā)現(xiàn)學(xué)習(xí)”；歸納學(xué)習(xí)就是從樣例中學(xué)習(xí)。二十世紀(jì)80年代以來研究最多的就是歸納學(xué)習(xí)，它包括：監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等。歸納學(xué)習(xí)有兩大主流：符號(hào)主義學(xué)習(xí)和連接主義學(xué)習(xí)，前者代表算法有決策樹和基于邏輯的學(xué)習(xí)，后者代表算法有基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)。20世紀(jì)90年代中期，統(tǒng)計(jì)學(xué)習(xí)閃亮登場(chǎng)，并迅速占據(jù)主流舞臺(tái)，代表性技術(shù)是支持向量機(jī)以及更一般的“核方法”。我們目前所說的機(jī)器學(xué)習(xí)方法，一般認(rèn)為是統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.3人工智能人工智能的“智能”之處主要體現(xiàn)在計(jì)算智能、感知智能和認(rèn)知智能三個(gè)方面。計(jì)算智能是機(jī)器可以智能化存儲(chǔ)和運(yùn)算的能力；感知智能是使機(jī)器具有像人類一樣的“聽、看、說、認(rèn)”的能力；認(rèn)知能力是使機(jī)器具有思考和理解的能力。推動(dòng)人工智能發(fā)展的三大要素是數(shù)據(jù)資源、核心算法和計(jì)算能力。當(dāng)前人工智能領(lǐng)域技術(shù)主要包括語言識(shí)別、機(jī)器人、自然語言處理、圖像識(shí)別和專家系統(tǒng)等。人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)三者之間是包含關(guān)系，人工智能的研究最早包含了機(jī)器學(xué)習(xí)，或者說機(jī)器學(xué)習(xí)是其核心組成部分，人工智能與機(jī)器學(xué)習(xí)密不可分。目前，人工智能的熱點(diǎn)是深度學(xué)習(xí)，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種方法或技術(shù)。深度學(xué)習(xí)在圖像識(shí)別和語音識(shí)別中識(shí)別精度的大幅提高，加速了人臉識(shí)別、無人駕駛、電影推薦、機(jī)器人問答系統(tǒng)和機(jī)器翻譯等各個(gè)領(lǐng)域的應(yīng)用進(jìn)程逐步形成了“人工智能+”的趨勢(shì)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章1.4圖像處理技術(shù)照片、視頻等各種數(shù)字圖像是機(jī)器學(xué)習(xí)和大數(shù)據(jù)技術(shù)重要的應(yīng)用對(duì)象之一。圖像處理就是對(duì)輸入的原始圖像進(jìn)行某種線性或非線性的變換，使輸出結(jié)果符合某種需求。圖像處理技術(shù)的基本內(nèi)容有：圖像變換、圖像增強(qiáng)、圖像去噪、圖像壓縮、圖像復(fù)原、圖像分割和二值圖像處理，還有常用的小波變換、傅里葉變換和圖等模型等等。圖像的理解與分析是對(duì)原始圖像進(jìn)行特征的選擇和提取，對(duì)原始圖像所包含的知識(shí)或信息進(jìn)行解讀和分析的過程。圖像處理技術(shù)是計(jì)算機(jī)視覺的基礎(chǔ)。計(jì)算機(jī)視覺通過圖像分析，和對(duì)場(chǎng)景的語義表示的提取，讓計(jì)算機(jī)模擬人眼和人腦進(jìn)行工作，計(jì)算機(jī)視覺的發(fā)展離不開機(jī)器學(xué)習(xí)的支持，隨著深度學(xué)習(xí)的不斷發(fā)展，圖像識(shí)別精度的大大提高，計(jì)算機(jī)視覺領(lǐng)域的發(fā)展前景非常廣闊。機(jī)器學(xué)習(xí)與大數(shù)據(jù)技術(shù)第二章回歸分析與最小二乘法聚類遺傳算法蟻群算法機(jī)器學(xué)習(xí)的理論與方法粒子群算法支持向量機(jī)隱馬爾科夫模型人工神經(jīng)網(wǎng)絡(luò)創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章機(jī)器學(xué)習(xí)則是研究機(jī)器模仿人類的學(xué)習(xí)過程，進(jìn)行知識(shí)和技能獲取，是一門涉及到計(jì)算機(jī)科學(xué)與技術(shù)、概率論與統(tǒng)計(jì)學(xué)和認(rèn)知科學(xué)等多個(gè)領(lǐng)域的交叉學(xué)科。學(xué)習(xí)是人類區(qū)別于低級(jí)動(dòng)物，自身所具有的重要智能行為。其應(yīng)用十分廣泛，如：數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、自然語言處理、語音和手寫識(shí)別和機(jī)器人研發(fā)等各個(gè)領(lǐng)域。分類問題：在有監(jiān)督學(xué)習(xí)任務(wù)中，預(yù)測(cè)變量為離散變量。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.1回歸分析與最小二乘法回歸問題：在有監(jiān)督學(xué)習(xí)任務(wù)中，預(yù)測(cè)變量為連續(xù)變量?；貧w分析是一種用于確定兩種或兩種以上變量間相互依賴關(guān)系的統(tǒng)計(jì)分析方法。按照問題所涉及變量的多少，可將回歸分析分為一元回歸分析和多元回歸分析。按照自變量與因變量之間是否存在線性關(guān)系，分為線性回歸分析和非線性回歸分析。如果在某個(gè)回歸分析問題中，只有兩個(gè)變量，一個(gè)自變量和一個(gè)因變量，且自變量與因變量之間的函數(shù)關(guān)系能夠用一條直線來近似表示，那么稱其為一元線性回歸分析。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章2.1回歸分析與最小二乘法回歸分析的基本步驟如下：創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.1回歸分析與最小二乘法分析預(yù)測(cè)目標(biāo)，確定自變量和因變量；建立合適的回歸預(yù)測(cè)模型；

相關(guān)性分析；

檢測(cè)回歸預(yù)測(cè)模型，計(jì)算預(yù)測(cè)的誤差；

計(jì)算并確定預(yù)測(cè)值。最小二乘法又稱為最小平方法，是一種常用的數(shù)學(xué)優(yōu)化方法。最小二乘法的原理是通過最小化誤差平方和尋找與數(shù)據(jù)匹配的最佳函數(shù)。最小二乘法的應(yīng)用十分廣泛，既可以用于參數(shù)估計(jì)，也可以用于曲線擬合，以及一些其他的優(yōu)化問題。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.1回歸分析與最小二乘法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章

對(duì)于一元線性回歸模型，假設(shè)從總體中獲取了組觀察值，其中。那么這組觀察值在二維平面直角坐標(biāo)系中對(duì)應(yīng)的就是平面中的個(gè)點(diǎn)，此時(shí)有無數(shù)條曲線可以擬合這個(gè)點(diǎn)。通常情況下，希望回歸函數(shù)能夠盡可能好地?cái)M合這組值。綜合來看，當(dāng)這條直線位于樣本數(shù)據(jù)的中心位置時(shí)似乎最合理。因此，選擇最佳擬合曲線的標(biāo)準(zhǔn)可確定為：總擬合誤差（即總殘差）最小。對(duì)于總擬合誤差，有三個(gè)標(biāo)準(zhǔn)可供選擇：（1）用“殘差和”表示總擬合誤差，但“殘差和”會(huì)出現(xiàn)相互抵消的問題。（2）用“殘差絕對(duì)值”表示總擬合誤差，但計(jì)算絕對(duì)值相對(duì)來說較為麻煩。（3）用“殘差平方和”表示總擬合誤差。最小二乘法采用的就是“殘差平方和最小”所確定的直線。用“殘差平方和”計(jì)算方便，而且對(duì)異常值會(huì)比較敏感。2.1回歸分析與最小二乘法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章假設(shè)回歸模型（擬合函數(shù)）為：

則樣本的誤差為：

其中為的預(yù)測(cè)值（擬合值），為對(duì)應(yīng)的實(shí)際值。最小二乘法的損失函數(shù)也就是殘差平方和，即：

通過最小化來確定直線方程，即確定和，此時(shí)該問題變成了求函數(shù)的極值的問題。根據(jù)高等數(shù)學(xué)的知識(shí)可知，極值通常是通過令導(dǎo)數(shù)或者偏導(dǎo)數(shù)等于0而得到，因此，求關(guān)于未知參數(shù)和的偏導(dǎo)數(shù)：2.1回歸分析與最小二乘法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章通過令偏導(dǎo)數(shù)為0，可求解函數(shù)的極值點(diǎn)，即：2.1回歸分析與最小二乘法將樣本數(shù)據(jù)代入，即可得到和的具體指。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.2.1簡介作為一種無監(jiān)督機(jī)器學(xué)習(xí)方法，聚類經(jīng)常用于數(shù)據(jù)挖掘和模式識(shí)別。

2.2聚類聚類（ClusterAnalysis）是將數(shù)據(jù)集中的所有樣本根據(jù)相似度的大小進(jìn)行劃分，形成兩個(gè)或多個(gè)類（簇）的過程。簇是數(shù)據(jù)集中相似的樣本集合。聚類沒有訓(xùn)練過程，是一種無標(biāo)準(zhǔn)的學(xué)習(xí)，同時(shí)也是一種無監(jiān)督學(xué)習(xí)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章分類的根本區(qū)別在于：分類是需要有標(biāo)號(hào)的樣本進(jìn)行訓(xùn)練。2.2聚類聚類算法可分為：基于劃分方法的、基于層次方法的、基于密度方法的、基于網(wǎng)格方法的和基于模型方法的聚類?；趯哟蔚木垲愔饕校浩胶獾鳒p聚類法（BIRCH算法）、基于密度的聚類方法（DBSCAN算法）和使用代表點(diǎn)的聚類方法（CURE算法）等；基于劃分的聚類方法主要有：K均值聚類算法（K-means聚類算法）、K中心點(diǎn)算法（K-mediods聚類算法）和隨機(jī)搜索聚類算法（CLARANS聚類算法）等。創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章2.2聚類2.2.2基本原理

聚類的結(jié)果是類內(nèi)樣本的相似度高，類間樣本的相似度低。相似性的度量通常采用樣本間的距離來表示，距離函數(shù)值的大小反應(yīng)相似的程度，相似度越大兩個(gè)樣本間的距離函數(shù)的值越小，相似度越小兩個(gè)樣本間的距離函數(shù)值越大。

聚類是按照相似性大小，將無標(biāo)號(hào)的數(shù)據(jù)集劃分為若干類或簇的過程。常用的距離計(jì)算方法有：創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章

歐氏距離2.2聚類

曼哈頓距離

明氏距離

歐氏距離創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章歐氏距離又叫歐幾里得距離，是最常見的距離表示法。假設(shè)，，則它們之間的距離為：

即兩項(xiàng)間的差是每個(gè)變量值差的平方和再取平方根，目的是計(jì)算其間的整體距離，即不相似性。歐氏距離的優(yōu)點(diǎn)是計(jì)算公式比較簡單，缺點(diǎn)是不能將樣本的不同屬性（即各指標(biāo)或各變量）之間的差別等同看待，在某些特定的應(yīng)用背景中不能滿足要求。一般的聚類大都采用歐氏距離。1.歐式距離（EuclideanDistance）2.2聚類創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章曼哈頓距離也稱為城市街區(qū)距離(CityBlockDistance)，是在歐幾里德空間的固定直角坐標(biāo)系上兩點(diǎn)所形成的線段對(duì)軸產(chǎn)生的投影的距離總和。二維平面兩點(diǎn)與間的曼哈頓距離定義為：

兩個(gè)n維向量與間的曼哈頓距離：

要注意的是，曼哈頓距離依賴坐標(biāo)系統(tǒng)的轉(zhuǎn)度，而非系統(tǒng)在坐標(biāo)軸上的平移或映射。2.曼哈頓距離（ManhattanDistance）2.2聚類創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章明式距離也被稱作閔氏距離，可以理解為N維空間的距離，是歐式距離的擴(kuò)展，兩個(gè)n維變量與間的明氏距離定義為：

其中p是一個(gè)變參數(shù)。根據(jù)變參數(shù)的不同，明氏距離可以表示一類的距離：（1）當(dāng)時(shí)，明氏距離即為曼哈頓距離。（2）當(dāng)時(shí)，明氏距離即為歐式距離。（3）當(dāng)時(shí)，明式距離即為切比雪夫距離。3.明氏距離（MinkowskiDistance）2.2聚類創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章余弦距離，也稱為余弦相似度，是用向量空間中兩個(gè)向量夾角的余弦值作為衡量兩個(gè)個(gè)體間差異的大小的度量。對(duì)于二維空間，其定義為：

假設(shè)向量a、b的坐標(biāo)分別為、。則：設(shè)向量，，推廣到多維：

余弦距離通過測(cè)量兩個(gè)向量內(nèi)積空間夾角的余弦值來度量它們的相似性。余弦值的范圍在[-1，1]之間，值越趨近于1，代表兩個(gè)向量的方向越接近，越相似；越趨近于-1，他們的方向越相反，越不相似；越趨近于0，表示兩個(gè)向量近乎于正交。余弦距離可以用在任何維度的向量比較中，在高維正空間中的采用較多。4.余弦距離

（CosineSimilarity）2.2聚類創(chuàng)新與貢獻(xiàn)研究意義選題背景第一章2.2聚類2.2.3常用聚類算法

常用的幾種聚類算法：

K近鄰算法（KNN）

K均值聚類（K-means）

K中心點(diǎn)聚類（K-mediods）

K近鄰算法是一種常見的有監(jiān)督的聚類算法，也是非參數(shù)分類的重要方法之一。K近鄰的優(yōu)點(diǎn)在于算法原理比較簡單，容易理解和實(shí)現(xiàn)，不需要先驗(yàn)知識(shí)等。缺點(diǎn)在于計(jì)算量較大，在處理孤立點(diǎn)或噪聲方面精度較低。

K中心點(diǎn)聚類算法是對(duì)K均值聚類的改進(jìn)，屬于基于劃分方法的聚類。與K均值聚類算法相比，優(yōu)點(diǎn)是減輕了對(duì)孤立點(diǎn)的敏感性，提高了聚類結(jié)果的準(zhǔn)確率。缺點(diǎn)是算法的復(fù)雜性比K均值聚類算法高。K中心聚類算法與K均值聚類算法最大的區(qū)別在于選擇將簇內(nèi)離平均值最近的對(duì)象作為該簇的中心，而不是將簇內(nèi)各對(duì)象的平均值作為簇的中心。

K均值聚類是劃分方法中經(jīng)典的聚類算法之一。優(yōu)點(diǎn)是算法簡單，聚類效果較好，效率較高，對(duì)于處理大數(shù)據(jù)集有較好的可伸縮性。缺點(diǎn)是K值需要事先指定，受孤立點(diǎn)或噪聲的影響較大，而且由于算法本身是迭代的，最終得到的結(jié)果有可能是局部最優(yōu)而不是全局最優(yōu)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章1.K近鄰算法基本思想2.2聚類K近鄰算法的基本思想是針對(duì)測(cè)試集中的一個(gè)樣本點(diǎn)，在已經(jīng)學(xué)習(xí)并且完成分類的樣本空間中找到k個(gè)距離最近的樣本點(diǎn)，距離的計(jì)算通常采用歐氏距離或明式距離。如果找到的k個(gè)樣本點(diǎn)大多屬于某一個(gè)類別，則可以判定該樣本也屬于這個(gè)類別。

K近鄰算法（KNN）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章K近鄰算法的實(shí)現(xiàn)主要有以下3個(gè)要素：2.2聚類1）數(shù)據(jù)特征的量化。如果數(shù)據(jù)特征中存在非數(shù)值類型，則需要運(yùn)用一定的手段量化成數(shù)值。若樣本中存在顏色這一特征屬性，可將顏色轉(zhuǎn)化成灰度值來計(jì)算距離；或?yàn)榱吮ＷC參數(shù)取值較大時(shí)的影響力覆蓋參數(shù)取值較小時(shí)的影響力，通常需要對(duì)樣本的特征數(shù)值進(jìn)行歸一化處理。2）樣本間距離計(jì)算公式的選擇。常見的距離計(jì)算公式有歐氏距離、曼哈頓距離、明式距離、余弦距離等。不同情況下對(duì)公式的選擇不同，如：樣本變量為連續(xù)型時(shí)，通常采用歐氏距離；樣本變量為非連續(xù)型時(shí)，通常采用明式距離。3）K值的選擇。K為自定義的常數(shù)，K值的選擇對(duì)聚類的結(jié)果有很大的影響。通常采用交叉驗(yàn)證法確定K的取值，且K的取值一般小于訓(xùn)練樣本數(shù)的平方根。

K近鄰算法（KNN）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.K近鄰算法過程2.2聚類K近鄰具體描述如下：1）構(gòu)建訓(xùn)練集和測(cè)試集，使訓(xùn)練集按照已有的標(biāo)準(zhǔn)分成離散型數(shù)值類或連續(xù)型數(shù)值類。2）根據(jù)樣本集為離散型或連續(xù)型選擇適當(dāng)?shù)木嚯x計(jì)算公式，計(jì)算測(cè)試集中的數(shù)據(jù)與各個(gè)訓(xùn)練集數(shù)據(jù)之間的距離，并排序。3）利用交叉驗(yàn)證法確定K的取值，并選擇距離最小的K個(gè)點(diǎn)。4）確定K個(gè)點(diǎn)所在類別的出現(xiàn)頻率，選擇出現(xiàn)頻率最高的類別作為測(cè)試集的預(yù)測(cè)類。

K近鄰算法（KNN）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章1.K均值算法基本思想2.2聚類K均值算法的基本思想是將n個(gè)樣本點(diǎn)劃分或聚類成K個(gè)簇，使得簇內(nèi)具有較高的相似度，而簇間的相似度較低。首先確定所要聚類的最終數(shù)目K，并從樣本中隨機(jī)選擇K個(gè)樣本作為中心；其次將集合中每個(gè)數(shù)據(jù)點(diǎn)被劃分到與其距離最近的簇中心所在的類簇之中，形成K個(gè)聚類的初始分布；然后對(duì)分配完的每一個(gè)類簇內(nèi)對(duì)象計(jì)算平均值，重新確定新的簇中心，繼續(xù)進(jìn)行數(shù)據(jù)分配過程；迭代執(zhí)行若干次，若簇中心不再發(fā)生變化，則完成了將數(shù)據(jù)對(duì)象完全分配至所屬的類簇中，且聚類準(zhǔn)則函數(shù)收斂；否則繼續(xù)執(zhí)行迭代過程，直至聚類準(zhǔn)則函數(shù)收斂。

K均值聚類（K-means）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.K均值算法過程2.2聚類K均值算法具體描述如下：假設(shè)給定的n個(gè)樣本是，每個(gè)，其中樣本間的距離選擇歐氏距離。輸入：n個(gè)樣本和簇的數(shù)目K；輸出：K個(gè)簇，且平方誤差準(zhǔn)則最小。具體步驟：（1）確定所要聚類的最終數(shù)目K，并從樣本中隨機(jī)選擇K個(gè)樣本作為中心，即。

K均值聚類（K-means）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（2）重復(fù)以下過程，直至誤差平方和準(zhǔn)則函數(shù)E收斂至某個(gè)固定值。2.2聚類{對(duì)每個(gè)樣本i，計(jì)算并確定其應(yīng)屬類別：

對(duì)于每一個(gè)類j，重新計(jì)算類的簇中心：

計(jì)算E，并判斷其是否收斂于某個(gè)固定的值。}其中K為確定的值，代表樣本i與K個(gè)類中距離最近的類，取值為，簇中心代表對(duì)屬于同一個(gè)類的樣本中心點(diǎn)的預(yù)測(cè)。聚類準(zhǔn)則函數(shù)用于判斷聚類質(zhì)量的高低，一般采用誤差平方和準(zhǔn)則函數(shù)E的值變化情況判斷是否繼續(xù)進(jìn)行迭代過程，E的值在每次迭代過程中逐漸減小，最終收斂至一個(gè)固定的值，則迭代過程結(jié)束，否則繼續(xù)執(zhí)行迭代過程，直至E收斂。誤差平方和準(zhǔn)則函數(shù)E定義如下：

其中，E是所有樣本點(diǎn)的平方誤差的總和，p是某一樣本點(diǎn)，mi是簇Ci的平均值。

K均值聚類（K-means）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章1.K中心點(diǎn)算法基本思想2.2聚類K中心算法的基本思想是首先確定所要聚類的最終數(shù)目K，并從樣本中隨機(jī)選擇K個(gè)樣本作為中心；其次將集合中每個(gè)數(shù)據(jù)點(diǎn)被劃分到與其距離最近的簇中心所在的類簇之中，形成K個(gè)聚類的初始分布；反復(fù)地利用各簇中的非中心點(diǎn)樣本來替代中心點(diǎn)樣本，并計(jì)算各簇中各中心點(diǎn)樣本與非中心點(diǎn)樣本的距離之和；迭代執(zhí)行若干次，尋找最小距離之和，通過不斷更新各距離值來不斷調(diào)整聚類的結(jié)果。

K中心點(diǎn)聚類（K-mediods）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.K中心點(diǎn)算法過程2.2聚類K中心點(diǎn)算法具體描述如下：假設(shè)給定的n個(gè)樣本是，每個(gè)，其中樣本間的距離選擇歐氏距離。輸入：n個(gè)樣本和簇的數(shù)目K；輸出：K個(gè)簇。

K中心點(diǎn)聚類（K-mediods）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.2聚類具體步驟：（1）確定所要聚類的最終數(shù)目K，并從樣本中隨機(jī)選擇K個(gè)樣本作為中心，即。（2）對(duì)每個(gè)樣本p，計(jì)算并確定其應(yīng)屬類別，使得其歐氏距離M最小。

（3）調(diào)整聚類中心，隨機(jī)選取一個(gè)非簇中心樣本代替，重新分配所有剩余樣本p，使得

（4）若，則=，否則本次迭代中不發(fā)生變化。（5）重復(fù)執(zhí)行以上步驟，直到步驟（3）中不再成立，否則繼續(xù)迭代執(zhí)行（2）。

K中心點(diǎn)聚類（K-mediods）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.3.1簡介遺傳算法（GeneticAlgorithm）也稱為進(jìn)化算法，是Michigan大學(xué)的Holland教授受達(dá)爾文的進(jìn)化論的啟發(fā)，借鑒生物進(jìn)化過程，于1975年提出的一種隨機(jī)啟發(fā)式搜索算法。

2.3遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.3.2基本原理遺傳算法的基本思想是將問題域中的萬能解作為個(gè)體，反復(fù)對(duì)群體進(jìn)行交叉、變異和選擇操作，通過比較每個(gè)個(gè)體的適應(yīng)度值，淘汰差的個(gè)體，最終求得最優(yōu)解或滿意解。遺傳算法具體步驟如下：（1）初始化群體；（2）計(jì)算群體上每個(gè)個(gè)體的適應(yīng)度值；（3）按由個(gè)體適應(yīng)度值所決定的某個(gè)規(guī)則選擇將進(jìn)入下一代的個(gè)體；（4）按概率參數(shù)PXOVER進(jìn)行交叉操作；（5）按概率參數(shù)PMUTATION進(jìn)行突變操作；（6）沒有滿足某種停止條件，則轉(zhuǎn)第(2)步，否則進(jìn)入(7)；（7）輸出種群中適應(yīng)度值最優(yōu)的個(gè)體作為問題的滿意解或最優(yōu)解。程序的停止條件最簡單的有如下兩種：完成了預(yù)先給定的進(jìn)化代數(shù)則停止；種群中的最優(yōu)個(gè)體在連續(xù)若干代沒有改進(jìn)或平均適應(yīng)度在連續(xù)若干代基本沒有改進(jìn)時(shí)停止。2.3遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章圖2-1遺傳算法流程圖2.3遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章遺傳算法的實(shí)現(xiàn)有6個(gè)主要因素：參數(shù)的編碼、初始種群的設(shè)定、適應(yīng)度函數(shù)的設(shè)計(jì)、遺傳操作、算法控制參數(shù)的設(shè)定和約束條件的處理。（1）編碼與解碼編碼是將一個(gè)問題的可行解從其解空間轉(zhuǎn)換到遺傳算法的搜索空間的轉(zhuǎn)化方法。主要的編碼方法有：二進(jìn)制編碼、浮點(diǎn)數(shù)編碼、格雷編碼及多參數(shù)編碼等。估計(jì)編碼的三個(gè)準(zhǔn)則是完備性、健全性和非冗余性。解碼又稱為譯碼，是由遺傳算法解空間向問題空間的轉(zhuǎn)換。（2）選擇選擇是在群體中選擇出生命力較強(qiáng)的個(gè)體產(chǎn)生新的群體的過程，目的是使得群體中個(gè)體的適應(yīng)度接近最優(yōu)解。常見的選擇算子有隨機(jī)競(jìng)爭(zhēng)選擇、輪盤賭選擇、最佳保留選擇、確定式選擇、期望值選擇、均勻排序等。（3）交叉交叉是按某種方式對(duì)兩個(gè)相互配對(duì)的染色體進(jìn)行相互交換部分基因的操作，從而形成兩個(gè)新的個(gè)體。常見的適用于二進(jìn)制編碼與浮點(diǎn)數(shù)編碼的交叉算子有：兩點(diǎn)交叉、多點(diǎn)交叉、算子交叉以及均勻交叉。2.3遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（4）變異變異是指將個(gè)體染色體編碼串中的某些基因位上的基因值用該基因位上的其它等位基因來替換，從而形成新的個(gè)體。常見的適用于二進(jìn)制編碼與浮點(diǎn)數(shù)編碼的變異算子有基本位變異、均勻變異、邊界變異、非均勻變異以及高斯近似變異。（5）適應(yīng)度函數(shù)適應(yīng)度函數(shù)又稱為評(píng)價(jià)函數(shù)，是根據(jù)目標(biāo)函數(shù)確定的、用于區(qū)分群體中個(gè)體好壞的標(biāo)準(zhǔn)。目標(biāo)函數(shù)可正可負(fù)，而適應(yīng)度函數(shù)是非負(fù)的，因此需要在目標(biāo)函數(shù)與適應(yīng)度函數(shù)之間進(jìn)行適當(dāng)?shù)淖儞Q。設(shè)計(jì)適應(yīng)度函數(shù)時(shí)主要遵照以下四條標(biāo)準(zhǔn)：1）函數(shù)滿足連續(xù)、非負(fù)、單值及最大化；2）合理性、一致性；3）計(jì)算量小；4）通用性強(qiáng)。評(píng)價(jià)個(gè)體適應(yīng)度的一般過程是：1）對(duì)個(gè)體編碼串進(jìn)行解碼處理，得到個(gè)體的表現(xiàn)型；2）通過個(gè)體的表現(xiàn)型計(jì)算對(duì)應(yīng)的個(gè)體目標(biāo)函數(shù)值；3）根據(jù)最優(yōu)化問題的類型，將目標(biāo)函數(shù)值按照一定的轉(zhuǎn)換規(guī)則計(jì)算出個(gè)體的適應(yīng)度。2.3遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（6）約束條件處理約束條件處理主要有搜索空間限定法和可行解變換法。搜索空間限定法是通過對(duì)遺傳算法的搜索空間大小加以限制，在搜索空間中表示一個(gè)個(gè)體的點(diǎn)與解空間中表示一個(gè)可行解的點(diǎn)間建立一一對(duì)應(yīng)的關(guān)系?？尚薪庾儞Q法是在個(gè)體基因型向表現(xiàn)型變換的過程中，增加使其滿足約束條件的處理過程，也就是說，尋找個(gè)體基因型與表現(xiàn)型多對(duì)一的變換關(guān)系，擴(kuò)大搜索空間，使得進(jìn)化過程中所產(chǎn)生的個(gè)體可以通過這種變換轉(zhuǎn)化成解空間中滿足約束條件的一個(gè)可行解。2.3遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.3.3

特點(diǎn)與應(yīng)用遺傳算法的特點(diǎn)（1）以決策變量的編碼作為運(yùn)算對(duì)象。借鑒染色體和基因的概念，模仿自然界生物的遺傳和進(jìn)化機(jī)理。（2）使用概率搜索技術(shù)，而不是確定性規(guī)則。（3）直接以適應(yīng)度作為搜索信息，無需借助導(dǎo)數(shù)等其它輔助信息。（4）使用多個(gè)點(diǎn)的搜索信息，具有隱含并行性。2.3遺傳算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章遺傳算法的應(yīng)用2.3遺傳算法遺傳算法不依賴于問題的具體領(lǐng)域，對(duì)問題的種類有很強(qiáng)的魯棒性，所以廣泛應(yīng)用于函數(shù)優(yōu)化、組合優(yōu)化，例如：遺傳算法已經(jīng)在求解旅行商問題、背包問題、裝箱問題、圖形劃分問題等方面得到成功的應(yīng)用。此外，遺傳算法在生產(chǎn)調(diào)度問題、自動(dòng)控制、機(jī)器人學(xué)、圖像處理等方面獲得了廣泛的運(yùn)用。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.4.1簡介

2.4蟻群算法

蟻群算法(AntColonyOptimization，ACO)，最早是由MarcoDorigo等人于1991年提出的，是在圖中尋找優(yōu)化路徑的概率型算法?；舅枷雭碜晕浵佋趯ふ沂澄镞^程中發(fā)現(xiàn)最短路徑的行為。蟻群在尋找食物時(shí)，通過分泌信息素交流覓食信息，從而能在沒有任何提示的情況下找到從食物源到巢穴的最短路徑，并在周圍環(huán)境發(fā)生變化后，自適應(yīng)地搜索新的最佳路徑。蟻群算法的優(yōu)點(diǎn)是算法簡單，實(shí)現(xiàn)容易。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.4.2基本原理

2.4蟻群算法首先介紹蟻群算法中的參數(shù)：設(shè)蟻群中所有螞蟻的數(shù)量為m，所有城市之間的信息素為矩陣pheromon，最短路徑為bestLength，最佳路徑為bestTour。每只螞蟻都有自己的內(nèi)存，內(nèi)存中用一個(gè)禁忌表（Tabu）來存儲(chǔ)該螞蟻已經(jīng)訪問過的城市，表示其在以后的搜索中將不能訪問這些城市，用一個(gè)允許訪問的城市表（Allowed）來存儲(chǔ)該螞蟻還可以訪問的城市，用一個(gè)矩陣（Delta）來存儲(chǔ)它在一個(gè)循環(huán)（或者迭代）中給所經(jīng)過的路徑釋放的信息素；此外還有一些數(shù)據(jù)，運(yùn)行次數(shù)MAX_GEN次，運(yùn)行時(shí)間t，控制參數(shù)，螞蟻行走完全程的總成本或距離（tourLength）等。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章蟻群算法計(jì)算過程如下：圖2-2蟻群算法流程圖2.4蟻群算法（1）初始化（2）選擇節(jié)點(diǎn)（3）更新信息素矩陣（4）檢查終止條件（5）輸出最優(yōu)值創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（1）初始化t=0時(shí)，對(duì)所有參數(shù)進(jìn)行初始化。設(shè)置bestLength為正無窮，bestTour為空，將所有螞蟻的Delt矩陣所有元素初始化為0，Tabu表清空，向Allowed表中加入所有的城市節(jié)點(diǎn)，用隨機(jī)選擇或人工指定的方法它們的起始位置，在Tabu表中加入起始節(jié)點(diǎn)，Allowed表中去掉該起始節(jié)點(diǎn)。2.4蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（2）選擇節(jié)點(diǎn)為每只螞蟻選擇下一個(gè)節(jié)點(diǎn)，該節(jié)點(diǎn)只能從Allowed表中以通過公式（2-1）計(jì)算得到的概率搜索到，每搜到一個(gè)節(jié)點(diǎn)，就將該節(jié)點(diǎn)加入到Tabu表中，并且從Allowed表中刪除該節(jié)點(diǎn)。重復(fù)n-1次該過程，直到所有的城市都遍歷過一次。遍歷完所有節(jié)點(diǎn)后，將起始節(jié)點(diǎn)加入到Tabu表中。此時(shí)Tabu表元素?cái)?shù)量為n+1（n為城市數(shù)量），Allowed表元素?cái)?shù)量為0。接下來按照公式（2-2）計(jì)算每個(gè)螞蟻的Delta矩陣值。最后計(jì)算最佳路徑，比較每個(gè)螞蟻的路徑成本，然后與bestLength比較，若它的路徑成本比bestLength小，則將該值賦予bestLength，并且將其Tabu賦予BestTour并將該城市節(jié)點(diǎn)加到bestTour中。2.4蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（2）選擇節(jié)點(diǎn)其中k表示第k個(gè)螞蟻，表示選擇城市j的概率，表示城市i，j在第t時(shí)刻的信息素濃度，表示從城市i到城市j的可見度，，表示城市i，j之間的成本。表示螞蟻k在城市i與j之間留下的信息素。表示螞蟻k完成一個(gè)循環(huán)所經(jīng)過路徑的總成本，即tourLength，，，Q均為控制參數(shù)。（2-1）（2-2）2.4蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（3）更新信息素矩陣令t=t+n，按照公式（2-3）更新信息素矩陣phermone。其中為t+n時(shí)刻城市i與j之間的信息素濃度，為控制參數(shù)，為城市i與j之間信息素經(jīng)過一個(gè)迭代后的增量。并且有其中由公式計(jì)算得到。（2-3）2.4蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章（4）檢查終止條件如果達(dá)到最大迭代次數(shù)MAX_GEN，則算法終止，轉(zhuǎn)到第（5）步；否則，重新初始化所有螞蟻的Delt矩陣中所有元素為0，Tabu表清空，Allowed表中加入所有的城市節(jié)點(diǎn)，隨機(jī)選擇或人工指定它們的起始位置，在Tabu表中加入起始節(jié)點(diǎn)，Allowed表中去掉該起始節(jié)點(diǎn)，重復(fù)執(zhí)行（2）（3）（4）步。（5）輸出最優(yōu)值2.4蟻群算法創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.4.3特點(diǎn)與應(yīng)用

2.4蟻群算法1.特點(diǎn)（1）自組織：蟻群算法的組織指令來自于系統(tǒng)內(nèi)部的，在獲得空間、時(shí)間或者功能結(jié)構(gòu)過程中，沒有受到外界的影響，即蟻群算法能夠在沒有外界環(huán)境的影響下使系統(tǒng)的熵增加，具有良好的自組織能力。（2）并行化：每只螞蟻個(gè)體搜索最優(yōu)解的過程彼此獨(dú)立，僅通過信息激素進(jìn)行通信，所以蟻群算法可以看作一個(gè)分布式的多agent系統(tǒng)，在問題空間中多個(gè)不同的點(diǎn)位同時(shí)進(jìn)行解的搜索，不僅降低了算法的時(shí)間復(fù)雜性，還可以使算法具有一定的全局搜索能力。（3）正反饋：螞蟻能夠找到最短路徑的過程依賴于路徑上堆積的信息激素，信息激素堆積是一個(gè)正反饋的過程，其反饋方式是在較優(yōu)解的路徑上留下更多的信息激素，而信息激素越多又會(huì)吸引更多的螞蟻，正反饋的過程又引導(dǎo)整個(gè)系統(tǒng)向最優(yōu)解的方向進(jìn)化。（4）魯棒性：蟻群算法對(duì)初始路線要求不高，即最終結(jié)果不依賴初始路線的選擇，在搜索過程中也不需要人為調(diào)整。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.4.3特點(diǎn)與應(yīng)用

2.4蟻群算法1.應(yīng)用近年來隨著對(duì)蟻群算法理論與實(shí)際應(yīng)用研究的不斷深入，蟻群算法被應(yīng)用于求解經(jīng)典的旅行商問題及其他領(lǐng)域的優(yōu)化問題和邊界條件優(yōu)化問題，如生產(chǎn)調(diào)度問題、圖像處理、車輛路徑問題及機(jī)器人路徑規(guī)劃問題等。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.1簡介2.5粒子群算法粒子群算法（ParticleSwarmOptimization，PSO）是一種由Kennedy等學(xué)者從鳥類尋找食物的過程中得到啟發(fā)，于1995年提出的新型群體智能優(yōu)化算法。粒子群算法同遺傳算法以及蟻群算法等群體智能算法類似，都是受生物群體啟發(fā)的優(yōu)化算法。其基本思想來自鳥群在覓食過程中發(fā)現(xiàn)最優(yōu)位置的行為。鳥群在尋找食源的過程中，通過不斷進(jìn)行最優(yōu)位置信息的交流，每只鳥根據(jù)最優(yōu)位置調(diào)整自己的飛行速度和飛行方向，最終找到食源。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.2基本原理

2.5粒子群算法假設(shè)一個(gè)n維的目標(biāo)搜索空間中含有m個(gè)粒子，每個(gè)粒子的位置對(duì)應(yīng)一個(gè)n維向量，第i個(gè)粒子的局部最優(yōu)值為，當(dāng)前種群的最優(yōu)位置為，每個(gè)粒子所對(duì)應(yīng)的運(yùn)動(dòng)速度也是一個(gè)n維的向量。在粒子的運(yùn)動(dòng)過程中，粒子群中的每一個(gè)粒子會(huì)根據(jù)公式（2-4）和（2-5）來更新自己的運(yùn)動(dòng)速度，根據(jù)公式（2-6）更新自己的位置。（2-4）（2-5）（2-6）創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.2基本原理2.5粒子群算法其中，，k為粒子群迭代的次數(shù)（），為隨機(jī)數(shù)函數(shù)，在[0，1]之間隨機(jī)選取。為非負(fù)數(shù)，表示粒子自身的認(rèn)知系數(shù)，表示粒子的社會(huì)認(rèn)知系數(shù)。為最大的運(yùn)動(dòng)速度，為最小的運(yùn)動(dòng)速度，兩者的值通常由用戶根據(jù)經(jīng)驗(yàn)來定義，用來對(duì)運(yùn)動(dòng)速度進(jìn)行調(diào)整。對(duì)于公式（2-7）來說代表前次運(yùn)動(dòng)的速度，它使得粒子在全部的搜素空間中有向各個(gè)方向伸張的趨勢(shì)，表示自身的認(rèn)知過程，它通過粒子自身的運(yùn)動(dòng)來獲得認(rèn)知能力。表示學(xué)習(xí)其他粒子經(jīng)驗(yàn)的過程，該過程是粒子群中每個(gè)粒子相互分享學(xué)習(xí)經(jīng)驗(yàn)的過程。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.2基本原理2.5粒子群算法粒子群算法的實(shí)現(xiàn)步驟如下：(1)對(duì)粒子群的每個(gè)粒子的位置和速度進(jìn)行隨機(jī)的初始化；(2)根據(jù)定義的適應(yīng)度函數(shù)，計(jì)算每個(gè)粒子的適應(yīng)度值；(3)將粒子的適應(yīng)度值與該粒子局部最優(yōu)位置的適應(yīng)度值相比較，求粒子的局部最優(yōu)解；(4)將全局最優(yōu)位置的適應(yīng)度值與每個(gè)粒子的局部位置的適應(yīng)度值相比較，求粒子群的全局最優(yōu)解；(5)根據(jù)公式（2-4）和（2-5）計(jì)算每個(gè)粒子的運(yùn)動(dòng)速度，根據(jù)公式（2-6）計(jì)算每個(gè)粒子的位置；(6)判斷終止條件是否滿足，如果不滿足，返回第（2）步，否則算法結(jié)束。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.5.3特點(diǎn)與應(yīng)用2.5粒子群算法1.特點(diǎn)（1）速度快：粒子群算法沒有交叉和變異運(yùn)算，依靠粒子速度完成搜索，并且在迭代進(jìn)程中只有最優(yōu)的粒子把信息傳遞給其他粒子，搜索速度快。（2）記憶性：粒子群體獲得的歷史最好位置可以被記錄并傳遞給其它粒子的。（3）易于實(shí)現(xiàn)：粒子群算法需要調(diào)整的參數(shù)較少，易于實(shí)現(xiàn)，結(jié)構(gòu)簡單，它采用實(shí)數(shù)編碼，直接由問題的解決定，問題解的變量數(shù)直接作為粒子的維度數(shù)。2.應(yīng)用由于粒子群算法實(shí)現(xiàn)簡單，易于理解，且能夠優(yōu)化一些復(fù)雜的問題，常被用于神經(jīng)網(wǎng)絡(luò)的優(yōu)化、函數(shù)參數(shù)的優(yōu)化、電力系統(tǒng)的優(yōu)化等領(lǐng)域，并且有著較好的效果。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1簡介2.6人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN）簡稱為神經(jīng)網(wǎng)絡(luò)(NN)或連接模型（ConnectionistModel）。智庫百科中人工神經(jīng)網(wǎng)絡(luò)的定義是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)相應(yīng)而進(jìn)行信息處理”。因此，人工神經(jīng)網(wǎng)絡(luò)是基于神經(jīng)網(wǎng)絡(luò)的基本原理，在理解和抽象人腦和外界刺激響應(yīng)機(jī)制的基礎(chǔ)上，以網(wǎng)絡(luò)拓?fù)渲R(shí)為理論基礎(chǔ)，模擬人腦神經(jīng)系統(tǒng)實(shí)現(xiàn)復(fù)雜信息處理機(jī)制的數(shù)學(xué)模型，具有自學(xué)能力、聯(lián)想存儲(chǔ)能力以及高速尋優(yōu)能力。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1簡介2.6人工神經(jīng)網(wǎng)絡(luò)1.人工神經(jīng)網(wǎng)絡(luò)發(fā)展（1）初始階段——啟蒙時(shí)期（2）第二階段——低潮時(shí)期（3）第三階段——復(fù)興時(shí)期（發(fā)展期）（4）第四階段——深度學(xué)習(xí)創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1簡介2.6人工神經(jīng)網(wǎng)絡(luò)（1）初始階段——啟蒙時(shí)期啟蒙時(shí)期也稱為形成時(shí)期，早在20世紀(jì)50年代國外的學(xué)者就開始了對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究工作。1943年，美國生理學(xué)家Mcculloch和數(shù)學(xué)家Pitts發(fā)表文章，提出了第一個(gè)神經(jīng)元模型（M-P模型），開啟了對(duì)人工神經(jīng)網(wǎng)絡(luò)研究的大門。1951年，心理學(xué)家DonalaO.Hebb提出了連接權(quán)值強(qiáng)化的Hebb法則，為構(gòu)造有學(xué)習(xí)功能的的神經(jīng)網(wǎng)絡(luò)模型奠定了基礎(chǔ)。1960年，Widrow和Hoff提出了一種連續(xù)取值的自適應(yīng)線性神經(jīng)元網(wǎng)絡(luò)模型Adaline，提高了分段線性網(wǎng)絡(luò)的訓(xùn)練速度及精度。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1簡介2.6人工神經(jīng)網(wǎng)絡(luò)（2）第二階段——低潮時(shí)期1969年，Minsky和Papert在《Perceptrons》一書，從數(shù)學(xué)的角度證明了簡單的線性感知器的功能是有限的，不能有效地應(yīng)用于多層網(wǎng)絡(luò)，由此對(duì)神經(jīng)網(wǎng)絡(luò)的研究進(jìn)入10年左右的低潮期。盡管在低谷時(shí)期，也產(chǎn)生了許多重要的研究成果，如1972年芬蘭的Kohonen教授提出的自組織映射（SOM）理論，1980年福島邦彥提出的“新認(rèn)知機(jī)”模型等，為日后神經(jīng)網(wǎng)絡(luò)的理論研究奠定了重要的基礎(chǔ)。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1簡介2.6人工神經(jīng)網(wǎng)絡(luò)（3）第三階段——復(fù)興時(shí)期（發(fā)展期）1982年，美國物理學(xué)家Hopfield提出了離散Hopfield神經(jīng)網(wǎng)絡(luò)，并證明了在一定條件下，網(wǎng)絡(luò)可以達(dá)到穩(wěn)定的狀態(tài)，再次掀起了神經(jīng)網(wǎng)絡(luò)研究的一個(gè)熱潮。1983年Kirkpatrick等人認(rèn)識(shí)到可將模擬退火算法運(yùn)用到NP完全組合優(yōu)化問題的求解過程中。Hinton與年輕學(xué)者Sejnowski等于1984年合作提出了大規(guī)模并行網(wǎng)絡(luò)學(xué)習(xí)機(jī)（后來被稱為Boltzmann機(jī)），同時(shí)提出了隱單元的概念。1986年，D.E.Rumelhart在多層神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，提出了多層神經(jīng)網(wǎng)絡(luò)權(quán)值修正的反向傳播學(xué)習(xí)算法——BP算法（Back-Propagation），解決了多層前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問題，證明了多層神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的學(xué)習(xí)能力，可以完成許多學(xué)習(xí)任務(wù)，解決許多實(shí)際問題。1988年，Broomhead和Lowe將徑向基函數(shù)(RadialBasisFunction，RBF)運(yùn)用到人工神經(jīng)網(wǎng)絡(luò)（ANN）的設(shè)計(jì)中，將人工神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)與數(shù)值分析以及線性適應(yīng)濾波聯(lián)系起來。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1簡介2.6人工神經(jīng)網(wǎng)絡(luò)（4）第四階段——深度學(xué)習(xí)2006年，Hinton提出的深度學(xué)習(xí)，是機(jī)器學(xué)習(xí)的一個(gè)新方法，也是神經(jīng)網(wǎng)絡(luò)的最新發(fā)展。深度學(xué)習(xí)算法打破了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)對(duì)層數(shù)的限制，可根據(jù)設(shè)計(jì)者需要選擇網(wǎng)絡(luò)層數(shù)，構(gòu)建含多隱層的機(jī)器學(xué)習(xí)框架模型，對(duì)大規(guī)模數(shù)據(jù)進(jìn)行訓(xùn)練，從而得到更有代表性的特征信息。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.1簡介2.6人工神經(jīng)網(wǎng)絡(luò)1.人工神經(jīng)網(wǎng)絡(luò)研究內(nèi)容神經(jīng)網(wǎng)絡(luò)的研究可分為理論研究和應(yīng)用研究兩個(gè)方面。理論研究主要包括：（1）以神經(jīng)生理與認(rèn)知科學(xué)為基礎(chǔ)，對(duì)人類思維以及智能機(jī)理進(jìn)行研究。（2）借鑒神經(jīng)基礎(chǔ)理論的研究成果，運(yùn)用數(shù)理方法，深入研究網(wǎng)絡(luò)算法，提高穩(wěn)定性、收斂性、容錯(cuò)性、魯棒性等方面的性能，發(fā)展如神經(jīng)網(wǎng)絡(luò)動(dòng)力學(xué)、非線性神經(jīng)場(chǎng)等新的網(wǎng)絡(luò)數(shù)理理論，并且嘗試構(gòu)建功能上更加完善、性能上更具優(yōu)越性的神經(jīng)網(wǎng)絡(luò)模型。應(yīng)用研究主要包括：（1）對(duì)神經(jīng)網(wǎng)絡(luò)的硬件實(shí)現(xiàn)和軟件模擬的研究。（2）神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、信號(hào)處理、專家系統(tǒng)、優(yōu)化組合、知識(shí)工程和機(jī)器人控制等領(lǐng)域的應(yīng)用研究。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6人工神經(jīng)網(wǎng)絡(luò)1.生物神經(jīng)元

在介紹人工神經(jīng)元之前，首先以人腦神經(jīng)元為例介紹生物神經(jīng)元的結(jié)構(gòu)及特點(diǎn)。人腦中大約有1000億個(gè)神經(jīng)元。神經(jīng)元主要由樹突、細(xì)胞體、軸突和突觸組成，基本結(jié)構(gòu)如圖所示。樹突的作用是接受信息，細(xì)胞體的作用是對(duì)接受的信息進(jìn)行處理，軸突的作用是發(fā)出信息。一個(gè)神經(jīng)元的軸突末端與另外一個(gè)神經(jīng)元的樹突緊密接觸形成的部分構(gòu)成突觸，用于保證信息的單向傳遞。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6人工神經(jīng)網(wǎng)絡(luò)1.生物神經(jīng)元

創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6人工神經(jīng)網(wǎng)絡(luò)2.人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

人工神經(jīng)元是受人腦神經(jīng)元結(jié)構(gòu)的啟發(fā)而提出的，結(jié)構(gòu)如下圖所示，一個(gè)神經(jīng)元結(jié)構(gòu)由輸入向量、激活函數(shù)及輸出向量三部分組成。輸入向量與對(duì)應(yīng)的權(quán)值向量分別相乘再取和作為輸入值，在激活函數(shù)的作用下輸出對(duì)應(yīng)，其中b為激活函數(shù)的閾值。創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6人工神經(jīng)網(wǎng)絡(luò)2.人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

創(chuàng)新與貢獻(xiàn)研究意義選題背景第二章2.6.2神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.6人工神經(jīng)網(wǎng)絡(luò)3.常見激活函數(shù)（ActivationFunction）神經(jīng)網(wǎng)絡(luò)由大量的神經(jīng)元連接組成，每個(gè)神經(jīng)元代表一種特定的輸出函數(shù)，稱為激活函數(shù)。激活函數(shù)不是要在神經(jīng)網(wǎng)絡(luò)中發(fā)揮某種激活作用，而是通過某種函數(shù)的形式把生物神經(jīng)元中“激活的神經(jīng)元特征”保留并映射出來。激活函數(shù)具有可微性、單調(diào)性和輸出范圍有限等特點(diǎn)。常用的激活函數(shù)主要有線性函數(shù)、斜面