畢業(yè)設(shè)計(jì)（論文）文獻(xiàn)綜述：機(jī)器學(xué)習(xí)之線性回歸模型建模策略

畢業(yè)設(shè)計(jì)(論文)文獻(xiàn)綜述專(zhuān)業(yè)信息與計(jì)算科學(xué)班級(jí)學(xué)生姓名學(xué)號(hào)題目機(jī)器學(xué)習(xí)之線性回歸模型建模策略指導(dǎo)教師摘要機(jī)器學(xué)習(xí)是繼專(zhuān)家系統(tǒng)之后人工智能應(yīng)用的又一重要研究領(lǐng)域，也是人工智能和智能計(jì)算的核心研究課題之一?，F(xiàn)有的計(jì)算機(jī)系統(tǒng)和人工智能系統(tǒng)沒(méi)有什么學(xué)習(xí)能力，至多也只有非常有限的學(xué)習(xí)能力，因而不能滿(mǎn)足科技和生產(chǎn)提出的新要求。對(duì)機(jī)器學(xué)習(xí)的討論和機(jī)器學(xué)習(xí)研究的進(jìn)展，必將促使人工智能和整個(gè)科學(xué)技術(shù)的進(jìn)一步發(fā)展。本課題研究機(jī)器學(xué)習(xí)中比較基礎(chǔ)的線性回歸模型，以及誤差分析，并將這些算法在某些領(lǐng)域中進(jìn)行應(yīng)用。AbstractMachinelearningisanotherimportantresearchfieldofartificialintelligenceapplicationafterexpertsystem,anditisalsooneofthecoreresearchtopicsofartificialintelligenceandintelligentcomputing.Existingcomputersystemsandartificialintelligencesystemsdonothavetheabilitytolearn,atmost,onlyverylimitedlearningability,andthuscannotmeetthenewrequirementsoftechnologyandproduction.Thediscussionofmachinelearningandtheprogressofmachinelearningresearchwillsurelypromotethefurtherdevelopmentofartificialintelligenceandthewholescienceandtechnology.Thispaperstudiesthelinearregressionmodelinmachinelearning,andtheerroranalysis,andappliesthesealgorithmsinsomefields.第一章引言機(jī)器學(xué)習(xí)是關(guān)于理解與研究學(xué)習(xí)的內(nèi)在機(jī)制、建立能夠通過(guò)學(xué)習(xí)自動(dòng)提高自身水平的計(jì)算機(jī)程序的理論方法的學(xué)科。近年來(lái)機(jī)器學(xué)習(xí)理論在諸多應(yīng)用領(lǐng)域得到成功的應(yīng)用與發(fā)展，已成為計(jì)算機(jī)科學(xué)的基礎(chǔ)及熱點(diǎn)之一。機(jī)器學(xué)習(xí)已經(jīng)有了十分廣泛的應(yīng)用例如搜索引擎、醫(yī)學(xué)診斷、檢測(cè)信用卡欺詐、證券市場(chǎng)分析、DNA序列測(cè)序、語(yǔ)音和手寫(xiě)識(shí)別、戰(zhàn)略游戲和機(jī)器人運(yùn)用。

第二章基本概念2.1機(jī)器學(xué)習(xí)的概念什么叫做機(jī)器學(xué)習(xí)(machinelearning)？至今，還沒(méi)有統(tǒng)一的“機(jī)器學(xué)習(xí)”定義，而且也很難給出一個(gè)公認(rèn)的和準(zhǔn)確的定義。為了便于進(jìn)行討論和估計(jì)學(xué)科的進(jìn)展，有必要對(duì)機(jī)器學(xué)習(xí)給出定義，即使這種定義是不完全的和不充分的。顧名思義，機(jī)器學(xué)習(xí)是研究如何使用機(jī)器來(lái)模擬人類(lèi)學(xué)習(xí)活動(dòng)的一門(mén)學(xué)科。稍為嚴(yán)格的提法是：機(jī)器學(xué)習(xí)是一門(mén)研究機(jī)器獲取新知識(shí)和新技能，并識(shí)別現(xiàn)有知識(shí)的學(xué)問(wèn)。這里所說(shuō)的“機(jī)器”，指的就是計(jì)算機(jī)；現(xiàn)在是電子計(jì)算機(jī)，以后還可能是中子計(jì)算機(jī)、光子計(jì)算機(jī)或神經(jīng)計(jì)算機(jī)等等。2.2線性回歸的概念線性回歸是利用數(shù)理統(tǒng)計(jì)中的回歸分析，來(lái)確定兩種或兩種以上變量間相互依賴(lài)的定量關(guān)系的一種統(tǒng)計(jì)分析方法，運(yùn)用十分廣泛。分析按照自變量和因變量之間的關(guān)系類(lèi)型，可分為線性回歸分析和非線性回歸分析。在統(tǒng)計(jì)學(xué)中，線性回歸(LinearRegression)是利用稱(chēng)為線性回歸方程的最小平方函數(shù)對(duì)一個(gè)或多個(gè)自變量和因變量之間關(guān)系進(jìn)行建模的一種回歸分析。這種函數(shù)是一個(gè)或多個(gè)稱(chēng)為回歸系數(shù)的模型參數(shù)的線性組合。只有一個(gè)自變量的情況稱(chēng)為簡(jiǎn)單回歸,大于一個(gè)自變量情況的叫做多元回歸。（這反過(guò)來(lái)又應(yīng)當(dāng)由多個(gè)相關(guān)的因變量預(yù)測(cè)的多元線性回歸區(qū)別，而不是一個(gè)單一的標(biāo)量變量。）回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱(chēng)為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱(chēng)為多元線性回歸分析。2.3線性回歸的建模在線性回歸中，數(shù)據(jù)使用線性預(yù)測(cè)函數(shù)來(lái)建模，并且未知的模型參數(shù)也是通過(guò)數(shù)據(jù)來(lái)估計(jì)。這些模型被叫做線性模型。最常用的線性回歸建模是給定X值的y的條件均值是X的仿射函數(shù)。不太一般的情況，線性回歸模型可以是一個(gè)中位數(shù)或一些其他的給定X的條件下y的條件分布的分位數(shù)作為X的線性函數(shù)表示。像所有形式的回歸分析一樣，線性回歸也把焦點(diǎn)放在給定X值的y的條件概率分布，而不是X和y的聯(lián)合概率分布（多元分析領(lǐng)域）。線性回歸是回歸分析中第一種經(jīng)過(guò)嚴(yán)格研究并在實(shí)際應(yīng)用中廣泛使用的類(lèi)型。這是因?yàn)榫€性依賴(lài)于其未知參數(shù)的模型比非線性依賴(lài)于其位置參數(shù)的模型更容易擬合，而且產(chǎn)生的估計(jì)的統(tǒng)計(jì)特性也更容易確定。2.4線性回歸的用途線性回歸有很多實(shí)際用途。分為以下兩大類(lèi)：如果目標(biāo)是預(yù)測(cè)或者映射，線性回歸可以用來(lái)對(duì)觀測(cè)數(shù)據(jù)集的和X的值擬合出一個(gè)預(yù)測(cè)模型。當(dāng)完成這樣一個(gè)模型以后，對(duì)于一個(gè)新增的X值，在沒(méi)有給定與它相配對(duì)的y的情況下，可以用這個(gè)擬合過(guò)的模型預(yù)測(cè)出一個(gè)y值。給定一個(gè)變量y和一些變量X1,...,Xp，這些變量有可能與y相關(guān)，線性回歸分析可以用來(lái)量化y與Xj之間相關(guān)性的強(qiáng)度，評(píng)估出與y不相關(guān)的Xj，并識(shí)別出哪些Xj的子集包含了關(guān)于y的冗余信息。線性回歸模型經(jīng)常用最小二乘逼近來(lái)擬合，但他們也可能用別的方法來(lái)擬合，比如用最小化“擬合缺陷”在一些其他規(guī)范里（比如最小絕對(duì)誤差回歸），或者在橋回歸中最小化最小二乘損失函數(shù)的懲罰.相反,最小二乘逼近可以用來(lái)擬合那些非線性的模型.因此，盡管“最小二乘法”和“線性模型”是緊密相連的，但他們是不能劃等號(hào)的。第三章研究背景及意義3.1研究背景及意義全球生態(tài)系統(tǒng)種類(lèi)豐富，干旱地區(qū)是其中不可或缺的種類(lèi)，也是當(dāng)今全世界各國(guó)開(kāi)發(fā)相對(duì)較晚的區(qū)域。因此，為了解決干旱區(qū)當(dāng)前面臨的重要環(huán)境問(wèn)題，以及防范于未然的科學(xué)決策，積極開(kāi)展干旱區(qū)的生態(tài)學(xué)理論與實(shí)踐研究勢(shì)在必行，并且具有極其重要的現(xiàn)實(shí)意義。西北干旱區(qū)是我們國(guó)家三大自然區(qū)域之一，其具有規(guī)模大、高強(qiáng)度開(kāi)發(fā)歷史短的特點(diǎn)，因此，與其他的自然區(qū)域相比較而言，西北干旱區(qū)境內(nèi)蘊(yùn)藏了龐大的尚未開(kāi)發(fā)的自然資源，使其成為我國(guó)未來(lái)經(jīng)濟(jì)建設(shè)中必須得重視的一個(gè)環(huán)節(jié)，同時(shí)也具有著時(shí)代賦予的重大歷史使命[1]。所以，我們要盡可能多的去開(kāi)展干旱地區(qū)的生態(tài)研究，深化課題深度與廣度，在拉動(dòng)經(jīng)濟(jì)發(fā)展的同時(shí)，也要注重當(dāng)?shù)氐纳鷳B(tài)環(huán)境保護(hù)工作的開(kāi)展?；哪貐^(qū)具備典型的溫帶荒漠特點(diǎn)，同時(shí)也屬于相對(duì)脆弱的干旱生態(tài)系統(tǒng)，條件惡劣，生態(tài)環(huán)境差，嚙齒動(dòng)物憑借其種類(lèi)多、繁衍快、個(gè)頭小等多方面優(yōu)勢(shì)，成為荒漠生態(tài)系統(tǒng)中不可或缺的一部分，是食物鏈中必不可少的消費(fèi)者這一環(huán)節(jié)，對(duì)于荒漠地區(qū)的保護(hù)和利用來(lái)說(shuō)，具有不可代替的作用。干擾可以改變生態(tài)系統(tǒng)中各類(lèi)資源的自主分配以及導(dǎo)致重組生態(tài)結(jié)構(gòu)，很多生態(tài)物種的繁衍與人們的干擾有關(guān)，人為的干擾越大，可能引起的破壞性就越大[2]，導(dǎo)致環(huán)境異質(zhì)化。因此，本文主要就是分析西北干旱地區(qū)，在過(guò)牧和輪牧干擾下，嚙齒動(dòng)物生物量與植物因子之間的線性關(guān)系，通過(guò)給定的植物因子數(shù)據(jù)來(lái)預(yù)測(cè)嚙齒動(dòng)物的生物量。機(jī)器學(xué)習(xí)是學(xué)習(xí)和理解內(nèi)在機(jī)制的重要機(jī)制，為計(jì)算機(jī)程序建立理論方法，可以通過(guò)自主學(xué)習(xí)提高計(jì)算水平。近年來(lái)，機(jī)器學(xué)習(xí)理論在許多應(yīng)用中得到了成功應(yīng)用和開(kāi)發(fā)，逐漸成為計(jì)算機(jī)科學(xué)的基礎(chǔ)之一[3]。機(jī)器學(xué)習(xí)有廣泛的應(yīng)用，如醫(yī)學(xué)診斷，搜索引擎，語(yǔ)音和手寫(xiě)識(shí)別，信用卡欺詐檢測(cè)，DNA測(cè)序，證券市場(chǎng)分析，機(jī)器人和戰(zhàn)略游戲使用?；哪畢^(qū)植物因子與動(dòng)物生物量這些數(shù)據(jù)龐大，人工不方便去處理如此繁雜的數(shù)據(jù)，而機(jī)器學(xué)習(xí)在處理大數(shù)據(jù)方面占據(jù)著絕對(duì)的優(yōu)勢(shì)。所以依據(jù)提供的數(shù)據(jù)，通過(guò)機(jī)器學(xué)習(xí)來(lái)建立數(shù)學(xué)模型，剖析荒漠區(qū)不同干擾下植物地上生物量同嚙齒動(dòng)物生物量的線性關(guān)系[2]，并揭示不同干擾下植物生物量與嚙齒動(dòng)物生物量之間的變化趨勢(shì)，通過(guò)這些趨勢(shì)進(jìn)行合理的環(huán)境保護(hù)。3.2國(guó)內(nèi)外研究現(xiàn)狀3.2.1國(guó)外研究現(xiàn)狀二十世紀(jì)時(shí)生態(tài)學(xué)已經(jīng)進(jìn)入了發(fā)展階段,1903年美國(guó)年輕學(xué)者達(dá)文波特首先開(kāi)展了對(duì)動(dòng)物群落生態(tài)學(xué)的研究,但在其后直到五、六十年代,動(dòng)物群落生態(tài)學(xué)仍把種群之間的數(shù)量變動(dòng)問(wèn)題作為研究重心,可是科學(xué)界對(duì)動(dòng)物群落的研究力度不夠[4]。20世紀(jì)70年代和80年代，外國(guó)動(dòng)物社區(qū)的生態(tài)學(xué)取得了一些進(jìn)展[5]，特別是在20世紀(jì)90年代初，美國(guó)生態(tài)學(xué)會(huì)提出了一個(gè)持續(xù)的生物圈計(jì)劃，并在其周?chē)M(jìn)行了大量的動(dòng)物生態(tài)研究[6]。例如：Brown（1977），Rosen-zweig（1969）研究了北美和美國(guó)西北部沙漠地區(qū)嚙齒動(dòng)物群落多樣性與植物多樣性與降水之間的關(guān)系。Hallett（1982）應(yīng)用多種分析方法研究沙漠地區(qū)小型哺乳動(dòng)物的物種競(jìng)爭(zhēng)和棲息地利用，并認(rèn)為這些問(wèn)題在嚙齒動(dòng)物物種的分布中起重要作用。Bowles（1982）采用統(tǒng)計(jì)學(xué)方法來(lái)確定沙漠地區(qū)嚙齒動(dòng)物群落的共存狀態(tài)和個(gè)體大小之間的關(guān)系。他認(rèn)為，個(gè)別小物種在一小部分棲息地中受到種間競(jìng)爭(zhēng)。歐文（1988）利用iltmalns模型研究了嚙齒動(dòng)物和食肉動(dòng)物的多樣性和低生產(chǎn)率，生產(chǎn)率降低時(shí)，其多樣性得到改善[6]。Brown（1985）研究了增加的食物和物種遷移對(duì)社區(qū)結(jié)構(gòu)的影響。限制食物資源和種間競(jìng)爭(zhēng)是影響沙漠地區(qū)嚙齒動(dòng)物社區(qū)的主要因素之一。Borund（1989）研究了沙漠地區(qū)嚙齒動(dòng)物和物種的共存機(jī)制，提出了兩個(gè)機(jī)制：環(huán)境選擇和食物效率的季節(jié)變化。Ktoler（1948）研究了沙漠地區(qū)嚙齒動(dòng)物群落的結(jié)構(gòu)，并認(rèn)為嚙齒動(dòng)物群落處于掠奪或資源的風(fēng)險(xiǎn)。當(dāng)棲息地捕食風(fēng)險(xiǎn)不同時(shí)，捕食可以形成獵物社區(qū)結(jié)構(gòu)，捕食者逃避風(fēng)險(xiǎn)棲息地專(zhuān)業(yè)化減少種間競(jìng)爭(zhēng)，促進(jìn)不同人群的共存。嚙齒動(dòng)物繼承研究是社區(qū)生態(tài)研究的內(nèi)容之一，其理論與實(shí)踐研究對(duì)生態(tài)研究具有重要意義，防治嚙齒動(dòng)物和嚙齒動(dòng)物的防治也很重要。1.2.2國(guó)內(nèi)研究現(xiàn)狀近年來(lái)，中國(guó)生態(tài)工作者對(duì)干旱區(qū)嚙齒動(dòng)物群落進(jìn)行了大量的基礎(chǔ)研究，包括物種組成，結(jié)構(gòu)，動(dòng)植物，均勻度，相對(duì)豐度，物種多樣性，分布群體，相似系數(shù)，利基，社區(qū)優(yōu)勢(shì)等等。比如著名學(xué)者周慶強(qiáng)（1982）研究了中國(guó)內(nèi)蒙古白銀溪萊典型草原的嚙齒動(dòng)物群落的多樣性，空間布局和結(jié)構(gòu)[7]。在本文中，研究了高寒草甸地區(qū)幼蟲(chóng)的多樣性。劉乃發(fā)（1990），吳曉東（1994）利用數(shù)學(xué)模型研究了干旱區(qū)嚙齒動(dòng)物群落結(jié)構(gòu)與環(huán)境的關(guān)系。多樣性和植物高度和覆蓋面，土壤和降水。阿布里米提（1991）研究了新疆干旱區(qū)嚙齒動(dòng)物群落結(jié)構(gòu)特征與干旱地區(qū)環(huán)境因素之間的關(guān)系曾宗勇（1994）研究了北美沙漠嚙齒動(dòng)物群落變化與物種多樣性等特征的關(guān)系。從營(yíng)養(yǎng)，空間和利基的角度來(lái)看，社區(qū)中種間關(guān)系的重要組成部分是競(jìng)爭(zhēng)在有限的營(yíng)養(yǎng)，時(shí)間和空間。競(jìng)爭(zhēng)導(dǎo)致時(shí)間或空間位置的一些分離，一些只是部分分離，有些還沒(méi)有分離。近年來(lái)，生態(tài)學(xué)家對(duì)城市和農(nóng)田嚙齒動(dòng)物群落的繼承進(jìn)行了研究，但對(duì)早期干旱地區(qū)嚙齒類(lèi)動(dòng)物群落繼承的研究較少。只有劉繼科（1979）研究了農(nóng)田嚙齒動(dòng)物群落繼代和生物量變化[7]。郭聰（1992）研究了農(nóng)村嚙齒動(dòng)物群落的繼承趨勢(shì)及其在洞庭丘陵平原的繼承。丁平（1992）研究了人口遷移與養(yǎng)殖小野獸群體的關(guān)系，并討論了小型哺乳動(dòng)物群落和養(yǎng)殖小野獸群落的遷移與傳播之間的關(guān)系[5]。在荒漠地區(qū)的嚙齒動(dòng)物社區(qū)演變，只有張大明（1992）的部分研究工作。1.2.3干旱地區(qū)嚙齒動(dòng)物群落的發(fā)展方向和趨勢(shì)科學(xué)研究的發(fā)展周期是從定性研究到定量研究。近年來(lái)，生態(tài)學(xué)研究表明，嚙齒動(dòng)物種群生態(tài)學(xué)研究成功運(yùn)用了數(shù)學(xué)模型，使嚙齒動(dòng)物的種群生態(tài)越來(lái)越客觀越來(lái)越準(zhǔn)確，促進(jìn)了嚙齒動(dòng)物種群生態(tài)成熟發(fā)育。而嚙齒動(dòng)物社區(qū)生態(tài)晚期的演變，對(duì)理論和方法的了解還不成熟。但隨著動(dòng)物群落生態(tài)學(xué)的發(fā)展，我們的生態(tài)學(xué)家將從定性描述到準(zhǔn)確定量研究，進(jìn)一步研究嚙齒動(dòng)物群落生態(tài)學(xué)的研究，促進(jìn)嚙齒動(dòng)物群落生態(tài)學(xué)的成熟與發(fā)展。諸如feger（1957），梁忠禹（1964），楊春文（1991），米靜川（1990,1993）利用計(jì)算機(jī)技術(shù)和數(shù)學(xué)原理研究干旱地區(qū)嚙齒動(dòng)物群落的結(jié)構(gòu)和多樣性。劉乃法（1994）采用統(tǒng)計(jì)學(xué)方法，通過(guò)電子計(jì)算機(jī)研究了沙漠地區(qū)嚙齒動(dòng)物群落結(jié)構(gòu)與環(huán)境因素的關(guān)系。隨著科學(xué)的發(fā)展，電腦廣泛應(yīng)用于生態(tài)研究。我們的生態(tài)工作者還使用電腦通過(guò)多變量分析中的聚類(lèi)分析和