回歸分析的基本思想

回歸分析的基本思想及其初步應(yīng)用 2020 1 16 鄭平正制作 3 1回歸分析的基本思想及其初步應(yīng)用 一 高二數(shù)學(xué)選修2 3 兩個變量的關(guān)系 不相關(guān) 相關(guān)關(guān)系 函數(shù)關(guān)系 線性相關(guān) 非線性相關(guān) 現(xiàn)實生活中兩個變量間的關(guān)系 相關(guān)關(guān)系 對于兩個變量 當(dāng)自變量取值一定時 因變量的取值帶有一定隨機性的兩個變量之間的關(guān)系 函數(shù)關(guān)系中的兩個變量間是一種確定性關(guān)系相關(guān)關(guān)系是一種非確定性關(guān)系 函數(shù)關(guān)系是一種理想的關(guān)系模型相關(guān)關(guān)系在現(xiàn)實生活中大量存在 是更一般的情況 表示有一組具體的數(shù)據(jù)估計得到的截距和斜率 a b y表示真實值 表示由真實值a b所確定的值 表示由估計值所確定的值 這種方法稱為回歸分析 兩個具有線性相關(guān)關(guān)系的變量的統(tǒng)計分析 1 畫散點圖 2 求回歸直線方程 最小二乘法 3 利用回歸直線方程進行預(yù)報 回歸分析是對具有相關(guān)關(guān)系的兩個變量進行統(tǒng)計分析的一種常用方法 為樣本點的中心 樣本點 2008年5月 中共中央國務(wù)院關(guān)于加強青少年體育 增強青少年體質(zhì)的意見指出城市超重和肥胖青少年的比例明顯增加 身高標(biāo)準(zhǔn)體重 該指標(biāo)對于學(xué)生形成正確的身體形態(tài)觀具有非常直觀的教育作用 身高標(biāo)準(zhǔn)體重 從何而來 我們怎樣去研究 創(chuàng)設(shè)情境 某大學(xué)中隨機選取8名女大學(xué)生 其身高和體重數(shù)據(jù)如下表所示 求根據(jù)女大學(xué)生的身高預(yù)報體重的回歸方程 并預(yù)報一名身高為172cm的女大學(xué)生的體重 解 取身高為解釋變量x 體重為預(yù)報變量y 作散點圖 樣本點呈條狀分布 身高和體重有較好的線性相關(guān)關(guān)系 因此可以用回歸方程來近似的刻畫它們之間的關(guān)系 由 得 故所求回歸方程為 因此 對于身高172cm的女大學(xué)生 由回歸方程可以預(yù)報其體重為 是斜率的估計值 說明身高x每增加1個單位時 體重y就增加0 849個單位 這表明體重與身高具有正的線性相關(guān)關(guān)系 如何描述它們之間線性相關(guān)關(guān)系的強弱 相關(guān)系數(shù) 相關(guān)系數(shù)的性質(zhì) 1 r 1 2 r 越接近于1 相關(guān)程度越強 r 越接近于0 相關(guān)程度越弱 注 b與r同號問題 達到怎樣程度 x y線性相關(guān)呢 它們的相關(guān)程度怎樣呢 r 相關(guān)系數(shù) 正相關(guān) 負(fù)相關(guān) 通常 r 1 0 75 負(fù)相關(guān)很強 r 0 75 1 正相關(guān)很強 r 0 75 0 3 負(fù)相關(guān)一般 r 0 3 0 75 正相關(guān)一般 r 0 25 0 25 相關(guān)性較弱 對r進行顯著性檢驗 r 某大學(xué)中隨機選取8名女大學(xué)生 其身高和體重數(shù)據(jù)如下表所示 求根據(jù)女大學(xué)生的身高預(yù)報體重的回歸方程 并預(yù)報一名身高為172cm的女大學(xué)生的體重 故所求回歸方程為 r 0 798 表明體重與身高有很強的線性相關(guān)性 從而說明我們建立的回歸模型是有意義的 認(rèn)為她的平均體重的估計值是60 316kg 因為所有的樣本點不共線 所以線性函數(shù)模型只能近似地刻畫身高和體重之間的關(guān)系 即 體重不僅受身高的影響 還受其他因素的影響 把這種影響的結(jié)果用e來表示 從而把線性函數(shù)模型修改為線性回歸模型 y bx a e 其中 e包含體重不能由身高的線性函數(shù)解釋的所有部分 線性回歸模型 其中a和b為模型的未知參數(shù) e是y與之間的誤差 通常e為隨機變量 稱為隨機誤差 均值E e 0 方差D e 2 0 線性回歸模型的完整表達式為 線性回歸模型適用范圍比一次函數(shù)的適用范圍大得多 當(dāng)隨機誤差e恒等于0時 線性回歸模型就變成一次函數(shù)模型 即 一次函數(shù)模型是線性回歸模型的特殊形式 線性回歸模型是一次函數(shù)模型的一般形式 隨機誤差是引起預(yù)報值與真實值y之間的誤差的原因之一 其大小取決于隨機誤差的方差 和為截距和斜率的估計值 它們與真實值a和b之間存在誤差是引起預(yù)報值與真實值y之間的誤差的另一個原因 隨機誤差e的主要來源 1 用線性回歸模型近似真實模型 真實模型是客觀存在的 但我們并不知道到底是什么 所引起的誤差 可能存在非線性的函數(shù)能更好的描述y與x之間的關(guān)系 但我們現(xiàn)在卻用線性函數(shù)來表述這種關(guān)系 結(jié)果就產(chǎn)生誤差 這種由于模型近似所引起的誤差包含在e中 2 忽略了某些因素的影響 影響變量y的因素不止變量x一個 可能還有其他因素 但通常它們每一個因素的影響可能都比較小 它們的影響都體現(xiàn)在e中 3 觀測誤差 由于測量工具等原因 得到的y的觀測值一般是有誤差的 這樣的誤差也包含在e中 以上三項誤差越小 則回歸模型的擬合效果越好 在線性回歸模型中 e是用預(yù)報真實值y的誤差 它是一個不可觀測的量 那么該怎樣研究隨機誤差 如何衡量預(yù)報的精度 由于隨機誤差e的均值為0 故采用方差來衡量隨機誤差的大小 假設(shè)1 身高和隨機誤差的不同不會對體重產(chǎn)生任何影響 怎樣研究隨機誤差 例如 編號為6的女大學(xué)生的體重并沒有落在水平直線上 她的體重為61kg 解釋變量 身高 和隨機誤差共同把這名學(xué)生的體重從54 5kg 推 到了61kg 相差6 5kg 所以6 5kg是解釋變量和隨機誤差的組合效應(yīng) 用這種方法可以對所有預(yù)報變量計算組合效應(yīng) 假設(shè)2 隨機誤差對體重沒有影響 也就是說 體重僅受身高的影響 那么散點圖中所有的點將完全落在回歸直線上 怎樣研究隨機誤差 例如 編號為6的女大學(xué)生 計算隨機誤差的效應(yīng) 殘差 為 隨機誤差 e的估計量 樣本點 相應(yīng)的隨機誤差為 隨機誤差的估計值為 稱為相應(yīng)于點的殘差 稱為殘差平方和 殘差分析 在研究兩個變量間的關(guān)系時 首先要根據(jù)散點圖來粗略判斷它們是否是線性相關(guān) 是否可以用線性回歸模型來擬合數(shù)據(jù) 然后 可以通過殘差來判斷模型擬合的效果 判斷原始數(shù)據(jù)中是否存在可疑數(shù)據(jù) 這方面的分析工作稱為殘差分析 以縱坐標(biāo)為殘差 橫坐標(biāo)為編號 作出圖形 殘差圖 來分析殘差特性 問題 如何發(fā)現(xiàn)數(shù)據(jù)中的錯誤 1 我們可以通過分析發(fā)現(xiàn)原始數(shù)據(jù)中的可疑數(shù)據(jù) 判斷建立模型的擬合效果 殘差圖的制作和作用 制作 坐標(biāo)縱軸為殘差變量 橫軸可以有不同的選擇 橫軸為編號 可以考察殘差與編號次序之間的關(guān)系 常用于調(diào)查數(shù)據(jù)錯誤 橫軸為解釋變量 可以考察殘差與解釋變量的關(guān)系 常用于研究模型是否有改進的余地 作用 判斷模型的適用性若模型選擇的正確 殘差圖中的點應(yīng)該分布在以橫軸為中心的帶形區(qū)域 問題 如何發(fā)現(xiàn)數(shù)據(jù)中的錯誤 殘差圖的制作及作用 坐標(biāo)縱軸為殘差變量 橫軸可以有不同的選擇 若模型選擇的正確 殘差圖中的點應(yīng)該分布在以橫軸為心的帶形區(qū)域 對于遠離橫軸的點 要特別注意 身高與體重殘差圖 幾點說明 第一個樣本點和第6個樣本點的殘差比較大 需要確認(rèn)在采集過程中是否有人為的錯誤 如果數(shù)據(jù)采集有錯誤 就予以糾正 然后再重新利用線性回歸模型擬合數(shù)據(jù) 如果數(shù)據(jù)采集沒有錯誤 則需要尋找其他的原因 另外 殘差點比較均勻地落在水平的帶狀區(qū)域中 說明選用的模型計較合適 這樣的帶狀區(qū)域的寬度越窄 說明模型擬合精度越高 回歸方程的預(yù)報精度越高 如何衡量預(yù)報的精度 顯然 R2的值越大 說明殘差平方和越小 也就是說模型擬合效果越好 如果某組數(shù)據(jù)可能采取幾種不同回歸方程進行回歸分析 則可以通過比較R2的值來做出選擇 即選取R2較大的模型作為這組數(shù)據(jù)的模型 從上中可以看出 解析變量對總效應(yīng)約貢獻了64 即R20 64 可以敘述為 身高解析了64 的體重變化 而隨機誤差貢獻了剩余的36 所以 身高對體重的效應(yīng)比隨機誤差的效應(yīng)大得多 問題 如何衡量隨機模型的擬合效果 下面我們用相關(guān)指數(shù)分析一下例1 問題 結(jié)合例1思考 用回歸方程預(yù)報體重時應(yīng)注意什么 用身高預(yù)報體重時應(yīng)注意的問題 1 回歸方程只適用于我們所研究的樣本的總體 2 我們建立的回歸方程一般都有時間性 3 樣本取值的范圍會影響回歸方程的適用范圍 4 不能期望回歸方程得到的預(yù)報值就是預(yù)報變量的精確值 涉及到統(tǒng)計的一些思想 模型適用的總體 模型的時間性 樣本的取值范圍對模型的影響 模型預(yù)報結(jié)果的正確理解 一般地 建立回歸模型的基本步驟為 1 確定研究對象 明確哪個變量是解釋變量 哪個變量是預(yù)報變量 2 畫出確定好的解釋變量和預(yù)報變量的散點圖 觀察它們之間的關(guān)系 如是否存在線性關(guān)系等 3 由經(jīng)驗確定回歸方程的類型 如我們觀察到數(shù)據(jù)呈線性關(guān)系 則選用線性回歸方程y bx a 4 按一定規(guī)則估計回歸方程中的參數(shù) 如最小二乘法 5 得出結(jié)果后分析殘差圖是否有異常 個別數(shù)據(jù)對應(yīng)殘差過大 或殘差呈現(xiàn)不隨機的規(guī)律性 等等 若存在異常 則檢查數(shù)據(jù)是否有誤 或模型是否合適等 問題 歸納建立回歸模型的基本步驟 問題六 若兩個變量呈現(xiàn)非線性關(guān)系 如何解決 分析例2 例2一只紅鈴蟲的產(chǎn)卵數(shù)y和溫度x有關(guān) 現(xiàn)收集了7組觀測數(shù)據(jù)列于表中 1 試建立產(chǎn)卵數(shù)y與溫度x之間的回歸方程 并預(yù)測溫度為28oC時產(chǎn)卵數(shù)目 2 你所建立的模型中溫度在多大程度上解釋了產(chǎn)卵數(shù)的變化 方法一 一元函數(shù)模型 問題六 若兩個變量呈現(xiàn)非線性關(guān)系 如何解決 分析例2 問題六 若兩個變量呈現(xiàn)非線性關(guān)系 如何解決 分析例2 問題六 若兩個變量呈現(xiàn)非線性關(guān)系 如何解決 分析例2 產(chǎn)卵數(shù) 氣溫 變換y bx a非線性關(guān)系線性關(guān)系 對數(shù) 問題六 若兩個變量呈現(xiàn)非線性關(guān)系 如何解決 分析例2 方法三 指數(shù)函數(shù)模型 問題六 若兩個變量呈現(xiàn)非線性關(guān)系 如何解決 分析例2 最好的模型是哪個 顯然 指數(shù)函數(shù)模型最好 問題六 若兩個變量呈現(xiàn)非線性關(guān)系 如何解決 分析例2 課堂知識延伸 我們知道 刑警如果能在案發(fā)現(xiàn)場提取到罪犯的腳印 即將獲得一條重要的破案線索 其原因之一是人類的腳掌長度和身高存在著相關(guān)關(guān)系 可以根據(jù)一個人的腳掌長度來來預(yù)測他的身高 我們還知道 在統(tǒng)計史上 很早就有人收集過人們的身高 前臂長度等數(shù)據(jù) 試圖尋找這些數(shù)據(jù)之間的規(guī)律 在上述兩個小故事的啟發(fā)下 全班同學(xué)請分成一些小組 每組4 6名同學(xué) 在老師的指導(dǎo)下 開展一次數(shù)學(xué)建?；顒?來親自體