智能檢測理論與技術(shù).ppt

第三章 基于回歸分析的智能檢測,Intelligent Detection Theory and Technology,智能檢測理論與技術(shù),第二章內(nèi)容回顧,一、系統(tǒng)類別與模型 二、檢測系統(tǒng)的模型 三、檢測系統(tǒng)靜態(tài)特性 四、檢測系統(tǒng)動態(tài)特性 五、基于過程的智能檢測,第三章 基于回歸分析的智能檢測,回歸分析 回歸分析是一種簡單、實用而且成熟的確定變量間相關(guān)關(guān)系的方法。以最小二乘原理為基礎(chǔ)的回歸技術(shù)常用于線性模型的擬合。 線性關(guān)系 線性回歸 非線性回歸 自變量數(shù)量 一元回歸分析 多元回歸分析,第三章 基于回歸分析的智能檢測,回歸分析,第三章 基于回歸分析的智能檢測,回歸分析 線性化 在實踐中，幾個變量間的關(guān)系并不限于線性關(guān)系，更廣泛地存在著非線性的相關(guān)關(guān)系。在解決非線性回歸的問題中，可以采用下面兩種線性化方法： 通過變量變換的方法，把非線性關(guān)系化成線性關(guān)系。需要確定曲線的函數(shù)類型。 如果實際問題的曲線類型不易判斷時，可采用多項式進(jìn)行逼近。因為任意曲線都可以近似地用多項式表示。 非線性回歸一般都可以轉(zhuǎn)化為線性回歸。,第三章 基于回歸分析的智能檢測,線性回歸 一元線性回歸 兩個變量x、Y (隨機變量)，x確定后，Y 按一定統(tǒng)計規(guī)律取值，有隨機性。Y的數(shù)學(xué)期望E(Y )代替Y，研究E(Y )和x的關(guān)系，近似表示x和Y的關(guān)系。回歸函數(shù)： 一元線性回歸函數(shù)： 其中i為待定系數(shù)，稱為回歸系數(shù)。 則隨機變量Y可以表示為線形部分y和隨機部分的疊加，即: 其中為隨機變量。,第三章 基于回歸分析的智能檢測,線性回歸 多元線性回歸 假設(shè)因變量Y(隨機變量)的均值E(Y )=y可以表示成自變量xi ：1ip 的線性組合，多元線性回歸，即： 其中i為待定系數(shù)，稱為p元線性回歸函數(shù)的回歸系數(shù)。,第三章 基于回歸分析的智能檢測,回歸函數(shù)系數(shù)的估計 一元回歸系數(shù)確定，n 次獨立觀測 設(shè)0和1分別為0和1的估計，則Y關(guān)于x的線性回歸方程表示為 根據(jù)偏差最小準(zhǔn)則，即最小二乘原理有,第三章 基于回歸分析的智能檢測,回歸函數(shù)系數(shù)的估計 最小值存在，可以證明0和1分別為0和1的最小方差無偏估計。,第三章 基于回歸分析的智能檢測,回歸函數(shù)系數(shù)的估計 可以證明0和1分別為0和1的最小方差無偏估計，亦稱最優(yōu)線性無偏估計。 多元線性回歸,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 顯著性檢驗 對于一元線性回歸， 1反映自變量x對隨機變量Y的影響程度， 1大說明影響顯著，有顯著影響說明回歸合理，回歸效果好。如無影響，應(yīng)選擇有影響的自變量重新回歸。 顯著性檢驗方法 F 檢驗法：檢驗自變量和因變量之間是否存在線性關(guān)系。 t 檢驗法：檢驗每個自變量對因變量的影響是否顯著。 相關(guān)系數(shù)檢驗法：復(fù)相關(guān)系數(shù)衡量回歸方程擬合品質(zhì)， 偏相關(guān)系數(shù)評價每個自變量對因變量的作用。,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 F 檢驗法 假設(shè)： 如果H0成立，則不能認(rèn)為X與y有線性相關(guān)關(guān)系。 檢驗統(tǒng)計量：,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 F 檢驗法 式中：,回歸離差平方和，反映回歸值與平均值的偏差，揭示y與X的線性關(guān)系所引起的數(shù)據(jù)波動。 殘差平方和，反映觀測值與回歸值的偏差，揭示試驗誤差和非線性關(guān)系對試驗結(jié)果所引起的數(shù)據(jù)波動。 總離差平方和，反映觀測值與平均值的偏差程度。,第三章 基于回歸分析的智能檢測,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 F 檢驗法,對給定的顯著性水平 （一般取1%或5%），有： - 當(dāng) 時，拒絕 H0，即可認(rèn)為變量y與X 有線性相關(guān)關(guān)系。 - 當(dāng) 時，接受 H0 ，即可認(rèn)為變量y與X沒有線性相關(guān)關(guān)系。 - 一般當(dāng) 時，則認(rèn)為可以用X的線性模型來擬合 y，即模型通過了F 檢驗。,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 t 檢驗法 假設(shè)： 如果H0成立，則不能認(rèn)為xi與y有線性相關(guān)關(guān)系。 檢驗統(tǒng)計量：,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 t 檢驗法,對給定的顯著性水平 （一般取1%或5%），有： - 當(dāng) 時，拒絕 H0，即可認(rèn)為xi對y有影響。 - 當(dāng) 時，接受 H0 ,即可認(rèn)為xi對y無關(guān)重要， 應(yīng)該從回歸方程中剔除。,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 相關(guān)系數(shù)檢驗法 衡量回歸方程的擬合品質(zhì)：定義復(fù)相關(guān)系數(shù)R（ ），R 越接近于1，表明方程擬合得越好。,（R2稱為復(fù)判定系數(shù)）,第三章 基于回歸分析的智能檢測,回歸系數(shù)顯著性檢驗 相關(guān)系數(shù)檢驗法 評價自變量 xj 對因變量 y 的作用：定義偏相關(guān)系數(shù)Vj ， Vj越大，說明 xj 對 y 的作用越顯著。,第三章 基于回歸分析的智能檢測,回歸變量的選擇 回歸效果不顯著的原因： 影響y 的因素除了自變量xi (i =1, 2, , p)之外，還有其他不可忽略的因素; y與自變量xi (i =1, 2, , p)之間的關(guān)系不是線性的; y與自變量xi (i =1, 2, , p)之間無關(guān)。,相關(guān)系數(shù),第三章 基于回歸分析的智能檢測,回歸變量的選擇 回歸變量選擇 選擇恰當(dāng)，獲得最優(yōu)經(jīng)驗回歸函數(shù)，否則，影響回歸函數(shù)質(zhì)量，抵消顯著變量的作用。 選擇原則 包括所有顯著變量； 自變量個數(shù)盡可能少 ，減少計算量。,可以證明，相關(guān)系數(shù)檢驗，F(xiàn)檢驗和t檢驗三種檢驗方法的檢驗效果是一樣的。,第三章 基于回歸分析的智能檢測,回歸分析 變量分析 系統(tǒng)機理分析 系統(tǒng)先驗知識,第三章 基于回歸分析的智能檢測,回歸模型 過程系統(tǒng)回歸模型 系統(tǒng)機理模型 系統(tǒng)先驗知識,第三章 基于回歸分析的智能檢測,回歸建模方法 過程系統(tǒng)回歸建模 系統(tǒng)動力學(xué)模型 系統(tǒng)先驗知識,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 選定回歸變量 回歸變量 顯著性檢驗 建立系統(tǒng)回歸模型 優(yōu)化回歸模型 智能檢測模型估計被測量,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 多元逐步回歸 主元分析法 部分最小二乘法 為了避免矩陣求逆運算，可以采用遞推最小二乘，為了防止數(shù)據(jù)飽和還可以采用帶遺忘因子的最小二乘法。,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 多元逐步回歸 （“最優(yōu)回歸方程”技術(shù)） 多元逐步回歸是從與y有關(guān)的變量中選取對y有顯著影響的變量來建立回歸方程的一種常用算法。 基本思想：對全部自變量按其對因變量影響程度的大小，從大到小依次逐個地引入回歸方程，而且隨時對回歸方程當(dāng)前所含的全部自變量進(jìn)行檢驗，看其對因變量的作用是否顯著。不顯著則立即加以剔除。只有在回歸方程中所含的所有因子對因變量作用都顯著時，才考慮引入新的因子，繼而對它進(jìn)行檢驗。如此往復(fù)輸入、剔除，直至無法引入新變量或剔除老變量為止。,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 主元分析法 在研究工業(yè)過程時，為了全面了解和分析問題，通常記錄了許多與之有關(guān)的變量。這些變量雖然不同程度的反映了過程的部分信息，但某些變量之間可能存在相關(guān)性，即當(dāng)X中存在線性相關(guān)的變量時， 不存在，不能采用多元線性回歸方法。若X的變量接近線性關(guān)系，則多元線性回歸方法計算不穩(wěn)定。為了解決線性回歸時由于數(shù)據(jù)共線性而導(dǎo)致病態(tài)協(xié)方差矩陣不可逆問題，以及在盡可能保持原有信息的基礎(chǔ)上減少變量個數(shù)，簡化建模，可以采用統(tǒng)計學(xué)中的主元分析和主元回歸方法。,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 主元分析法 主元分析法是一種將多個相關(guān)變量轉(zhuǎn)化為少數(shù)幾個相互獨立的變量的有效地分析方法。 基本思想：主元分析的最終目的是在數(shù)據(jù)表中找到能概括原數(shù)據(jù)表中的信息或者能將一個高維空間進(jìn)行降維處理。主元回歸解決了由于輸入變量間的線性相關(guān)而引起的計算問題。同時，由于忽略了那些次要的主元，還起到了抑制測量噪聲對模型系統(tǒng)影響的作用。,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 主元分析法算法步驟 （1）數(shù)據(jù)預(yù)處理，對X、Y按列標(biāo)準(zhǔn)化 （2）求相關(guān)矩陣R （3）求R的特征值和特征向量P （4）根據(jù)特征值從大到小重新排列特征值和特征向量P （5）計算主元貢獻(xiàn)率 （6）計算累積主元貢獻(xiàn)率，當(dāng)其大于85%，記錄主元個數(shù)k （7）計算主元矩陣 （8）計算回歸系數(shù),第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 部分最小二乘法（第二代回歸分析方法） PLS方法將高維數(shù)據(jù)空間投影到低維特征空間，得到相互正交的特征向量，再建立特征向量之間的一元線性回歸關(guān)系。正交特征投影使PLS有效地克服了普通最小二乘回歸的共線性問題。同時PLS方法將多元回歸問題轉(zhuǎn)化為若干個一元回歸，適用于樣本數(shù)較少且變量數(shù)較多的過程建模。與主元回歸相比，PLS在選取特征向量時強調(diào)輸入對輸出的預(yù)測作用，去除了對回歸無益的噪聲，使模型包含最少的變量數(shù)，因此PLS具有更好的魯棒性和預(yù)測穩(wěn)定性。,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 部分最小二乘法（第二代回歸分析方法） 部分最小二乘回歸法可以集多元回歸分析，典型相關(guān)分析和主元分析的基本功能為一體，將建模預(yù)測類型的數(shù)據(jù)分析方法和非模型式的數(shù)據(jù)認(rèn)識分析方法有機的結(jié)合起來。 基本思想：部分最小二乘回歸法與普通多元回歸分析方法在思路上的主要區(qū)別就是它在回歸建模過程中采用了信息綜合與篩選技術(shù)。還有就是它不直接考慮因變量集合與自變量集合的回歸模型，而是在變量系統(tǒng)中提取若干對系統(tǒng)具有最佳解釋能力的新綜合變量。,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 PLS在統(tǒng)計應(yīng)用中的重要性 PLS是一種多因變量對多自變量的回歸建模方法； PLS可以較好地解決許多以往普通多元回歸解決不了的問題： - 更好地解決多重相關(guān)性在系統(tǒng)建模中的不良影響； - 不用受到樣本點數(shù)太少的限制。 PLS實現(xiàn)了多種數(shù)據(jù)分析方法的綜合應(yīng)用。,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 選用減一線粘度的數(shù)據(jù)，有181組數(shù)據(jù)，每組數(shù)據(jù)5個輸入，1個粘度數(shù)據(jù)的輸出。采用多元回歸方法： 減一線粘度的回歸方程可寫作： y= -0.083214x1+ 0.013419x2+ 0.029689x3+ 38.005939x4+ 7.886674x5 其中：x1減壓塔塔頂溫度 ；x2減壓塔塔頂真空度；x3減一線溫度；x4減一線收率； x5常壓塔收率；y減一線粘度,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理,減一線粘度擬合,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 為了衡量回歸效果，計算下面幾個量： 離差平方和: 40.337322 平均標(biāo)準(zhǔn)偏差: 0.472079 復(fù)相關(guān)系數(shù): 0.833725,總偏差平方和T,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 選用減一線粘度的數(shù)據(jù)，有181組數(shù)據(jù)，每組數(shù)據(jù)5個輸入，1個粘度數(shù)據(jù)的輸出。采用主元分析回歸方法： 先將輸入矩陣進(jìn)行標(biāo)準(zhǔn)化處理后，通過非線性迭代部分最小二乘算法（NIPALS）來進(jìn)行主元分析，在5組輸入中提取出4個主元。然后按照主元回歸的方法得到系統(tǒng)模型的參數(shù)。,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理,主元分析法擬合,第三章 基于回歸分析的智能檢測,小結(jié) 多元線性回歸 多元逐步回歸: 將自變量逐個引入。 主元回歸: 部分最小二乘回歸：,第三章 基于回歸分析的智能檢測,基于回歸模型的智能檢測原理 經(jīng)典的回歸分析方法是一種智能檢測建模的基本方法，應(yīng)用范圍相當(dāng)廣泛。以最小二乘原理為基礎(chǔ)的一元和多元線性回歸技術(shù)目前已經(jīng)非常成熟，常用于線性模型的擬合。 對于輔助變量比較少的情況，一般采用多元線性回歸中的逐步回歸技術(shù)以獲得較好的測量模型。對于輔助變量較多的情況，通常需要借助機理分析，首先獲得模型各變量組合的大致框架