近紅外建模與模型評價(jià)

近紅外建模與模型評價(jià)第一頁，共四十六頁，2022年，8月28日聯(lián)系方式倪勇E-mail:MSN:第二頁，共四十六頁，2022年，8月28日校準(zhǔn)=教會儀器近紅外光譜定量分析技術(shù)又稱“黑匣子”分析技術(shù)，是一種間接的測量方法，即通過對樣品光譜和其質(zhì)量參數(shù)進(jìn)行關(guān)聯(lián)，建立預(yù)測模型，然后通過預(yù)測模型和未知質(zhì)量參數(shù)的樣品光譜來預(yù)測樣品的組成和性質(zhì)。近紅外是間接檢測必需校準(zhǔn)必需有參考分析方法第三頁，共四十六頁，2022年，8月28日近紅外技術(shù)應(yīng)用前提條件一般來講，能否應(yīng)用近紅外技術(shù)定量精確檢測某種成分的含量主要由以下三方面的因素決定：被檢測的樣品是否有很好的近紅外光譜反應(yīng)特性，即通常所說的“紅外活性”。儀器自身的特性及相關(guān)的技術(shù)指標(biāo)：檢測過程中光譜的重復(fù)性精度、信噪比以及波長范圍等因素。用于建模定標(biāo)的樣品的化學(xué)值的準(zhǔn)確程度。第四頁，共四十六頁，2022年，8月28日檢測

精度=重復(fù)性準(zhǔn)確度=達(dá)到真值的能力精度高準(zhǔn)確性高精度高準(zhǔn)確性差精度差準(zhǔn)確性差第五頁，共四十六頁，2022年，8月28日不同實(shí)驗(yàn)室比較資料來源:CCFRA合作研究項(xiàng)目,1997第六頁，共四十六頁，2022年，8月28日什么是校準(zhǔn)描述特定近紅外波長光的吸收特性和樣品組成之間的關(guān)系。Y=C0+C1*A1+C2*A2+…+Cn*An第七頁，共四十六頁，2022年，8月28日紅外光譜定量分析流程第八頁，共四十六頁，2022年，8月28日光譜定量分析流程收集樣品加入界外點(diǎn)重新建模檢查分析方法檢修儀器日常分析對模型進(jìn)行評價(jià)建立多元回歸模型選擇驗(yàn)證集選擇校正集對光譜必要的處理測定全波長譜圖測定全部樣品的物化性質(zhì)檢測結(jié)果是否正確儀器及操作是否正確樣品是否為界外點(diǎn)正確不正確不是是正確不正確第九頁，共四十六頁，2022年，8月28日校正模型訓(xùn)練集樣品的選擇盡可能要覆蓋待分析樣品的范圍對于待測的物化性質(zhì)，樣品應(yīng)均勻分布樣品的基底應(yīng)相同（如PH值或水分）若各組分間相互反應(yīng)，要注意光譜采集合采集瞬間的組成變化包括盡可能多的有代表性的樣本樣本變化范圍越大，模型的適用范圍越寬，但分析結(jié)果的精度可能變差；模型適用范圍小時(shí)，分析結(jié)果的精度相對較高，但適用面變窄。第十頁，共四十六頁，2022年，8月28日對樣品物化性質(zhì)的測定對于人工合成樣品，比較簡單對于復(fù)雜的天然產(chǎn)品，必須選用被大家接受權(quán)威的分析方法。模型預(yù)測結(jié)果的準(zhǔn)確性在很大程度上取決于標(biāo)準(zhǔn)測量結(jié)果的準(zhǔn)確性。用多次分析結(jié)果的平均值來降低誤差第十一頁，共四十六頁，2022年，8月28日影響近紅外分析結(jié)果準(zhǔn)確性因素實(shí)驗(yàn)室化學(xué)分析的準(zhǔn)確度代表性樣品的收集光譜的信噪比光譜信息的代表性環(huán)境與樣品前處理模型優(yōu)化的條件包括：譜區(qū)的選擇、光譜預(yù)處理方法和得分因子的維數(shù)等。第十二頁，共四十六頁，2022年，8月28日化學(xué)計(jì)量學(xué)方法在近紅外光譜中應(yīng)用

光譜預(yù)處理和波段的選擇方法:

包括傅立葉變換（Fouriertransform）、卷積(Convolution)、去卷積(Deconvolution)、微分(derivative)處理以及相關(guān)系數(shù)法、遺傳算法(GA)等方法，對光譜進(jìn)行平滑處理和基線校正，以及光譜波長范圍的優(yōu)化。如近期的移動(dòng)窗偏最小二乘回歸法。光譜預(yù)處理和波長優(yōu)選方法在近紅外光譜分析技術(shù)中是相當(dāng)重要的.

第十三頁，共四十六頁，2022年，8月28日主成分分析(PCA)、馬氏距離（MD）、聚類分析（CA）、多元線性回歸(MLR)、偏最小二乘法(PLS)、人工神經(jīng)網(wǎng)絡(luò)(ANN)和拓?fù)?Topological)方法，以及最近提出的支持向量機(jī)（Supportvectormachine）等。目的在于利用這些化學(xué)計(jì)量學(xué)方法建立穩(wěn)定、可靠的定性或定量分析模型，以對近紅外光譜進(jìn)行快速、實(shí)時(shí)的定性定量分析近紅外光譜定性和定量校正方法:

第十四頁，共四十六頁，2022年，8月28日建模常用化學(xué)計(jì)量學(xué)方法多元線性回歸（MultivarateLinearRegression,縮寫為MLR）主成分分析（PrincipleComponentAnalysis,縮寫為PCA）主成分回歸（PrincipleComponentRegression，縮寫為PCR）偏最小二乘法（PartialLeastSquare,縮寫為PLS）拓?fù)鋵W(xué)方法和人工神經(jīng)網(wǎng)絡(luò)方法（ArtificialNeuralNet，縮寫為ANN）等等。第十五頁，共四十六頁，2022年，8月28日化學(xué)計(jì)量學(xué)已經(jīng)成為近紅外光譜分析中的不可或缺的重要組成部分。主成分分析和偏最小二乘是經(jīng)典的化學(xué)計(jì)量學(xué)方法，也是在近紅外光譜分析中最常用的方法。PCA是在近紅外定性和定量分析中都常用的方法，其主要目的是數(shù)據(jù)降維，以消除近紅外光譜信息中相互重疊的部分，是將光譜數(shù)據(jù)向協(xié)方差最大方向投影，得到最大限度反映被測樣品的組成和結(jié)構(gòu)信息的新變量，但由于投影過程與因變量不相關(guān)，一般預(yù)測精度不很高。用PLS建立模型，可以利用全部光譜的信息對樣品進(jìn)行分析，將光譜矩陣的分解和回歸交互進(jìn)行，由于光譜的非線性會導(dǎo)致過擬合，因此在近紅外光譜的應(yīng)用有時(shí)會受到限制。將支持向量機(jī)用于近紅外光譜可有效地改善過擬合現(xiàn)象，而且它允許高維數(shù)據(jù)作為輸入矢量，可以很好地解決溫度等變量引起的光譜非線性變化問題。因此，對于每一種化學(xué)計(jì)量學(xué)方法而言，都有各自的長處和短處，在用于近紅外光譜時(shí)可能受到某些限制。目前已有研究者將這些方法相互結(jié)合，取長補(bǔ)短，再將其應(yīng)用于近紅外光譜分析技術(shù)中?；瘜W(xué)計(jì)量學(xué)方法用于近紅外光譜中，使近紅外的獨(dú)特優(yōu)勢得到了充分發(fā)揮。第十六頁，共四十六頁，2022年，8月28日建模方法研究基于SVM的近紅外定性建模方法

提出了將近紅外光譜技術(shù)（NIR）和基于統(tǒng)計(jì)學(xué)習(xí)理論的支持向量機(jī)（SVM）相結(jié)合，來建立識別合格/劣質(zhì)奶粉的近紅外定性模型。實(shí)驗(yàn)結(jié)果表明應(yīng)用SVM-NIR建立判別奶粉安全定性分析模型的方法是可行的，這將為奶粉安全判別分析提供了一種更為便捷，無損的綠色分析技術(shù)。

SVM分類器第十七頁，共四十六頁，2022年，8月28日NIR建模中的化學(xué)計(jì)量學(xué)方法研究建模方法PLS、SVR、consensusmodeling光譜預(yù)處理背景扣除、數(shù)據(jù)壓縮——

小波變換(WT)變量篩選/波長篩選——WT-UVE、WT-IPOW建模樣本篩選第十八頁，共四十六頁，2022年，8月28日一、小波變換用于數(shù)據(jù)壓縮和背景扣除小波變換內(nèi)積卷積投影濾波數(shù)據(jù)壓縮濾噪、不同分辨率成分提取第十九頁，共四十六頁，2022年，8月28日共識（consensus）算法傳統(tǒng)的多元校正技術(shù)，如PLS、PCR，一般采用單一模型，即首先采用一定的訓(xùn)練集建立一個(gè)最優(yōu)模型然后用于預(yù)測，當(dāng)訓(xùn)練集樣本數(shù)目有限或存在較大誤差時(shí)模型的預(yù)測精度與穩(wěn)定性往往達(dá)不到滿意的效果。共識策略(consensusstrategy)采用同一訓(xùn)練集中的不同子集建立多個(gè)模型同時(shí)進(jìn)行預(yù)測，將多個(gè)預(yù)測結(jié)果通過簡單平均或加權(quán)平均作為最終的預(yù)測結(jié)果，可獲得更高的預(yù)測精度和穩(wěn)定性。第二十頁，共四十六頁，2022年，8月28日快速建模的基本過程1、選取少量樣品（如20個(gè)）建立基礎(chǔ)模型（注意實(shí)時(shí)性、樣品選擇、環(huán)境控制、化學(xué)參考值精度控制等）2、使用基礎(chǔ)模型預(yù)測新的樣品，粗選特異點(diǎn)，補(bǔ)充基礎(chǔ)數(shù)據(jù)庫。3、使用新的數(shù)據(jù)庫建立新的校準(zhǔn)，更新模型，提高精度與適用度。4、使用初期要養(yǎng)成將比對樣品加入基礎(chǔ)數(shù)據(jù)庫中的習(xí)慣。5、本地化模型以100－200個(gè)樣品為宜。第二十一頁，共四十六頁，2022年，8月28日保證模型精度條件實(shí)時(shí)性：很多樣品的某些成分會隨著時(shí)間或環(huán)境變化而發(fā)生改變，如對于最常見的水分含量就受環(huán)境的溫濕度影響。所以要求建模過程盡量保證實(shí)時(shí)性，即將掃描與化學(xué)分析同步進(jìn)行。一些常見的積攢樣品集中建模的方法并不科學(xué)。對于DA7200來說，建立一個(gè)很基礎(chǔ)的模型只需要很少量的樣品，但可以在今后逐步補(bǔ)充新的樣品，這一過程可以在分析驗(yàn)證的同時(shí)自然完成，所以不要認(rèn)為建模是突擊性的短期行為。第二十二頁，共四十六頁，2022年，8月28日樣品篩選：建模用的樣品并不是越多越好，樣品的收集過程也并不是一個(gè)無止境的過程。樣品的化學(xué)值盡量要涵蓋將來要分析的未知樣品的范圍，并且在該范圍內(nèi)分布均勻，樣品的品種本身具有較強(qiáng)的代表性，這樣建立的模型并不一定使用很多的樣品（通常100個(gè)左右），就可以在長時(shí)間內(nèi)保證好的適用度。第二十三頁，共四十六頁，2022年，8月28日化學(xué)結(jié)果的精度保證：對于用戶來說，這一環(huán)節(jié)是建模過程中最重要的一步。因?yàn)榛瘜W(xué)結(jié)果是近紅外檢測的數(shù)據(jù)基礎(chǔ)，所以化學(xué)結(jié)果的精度直接決定近紅外的精度，從過去的經(jīng)驗(yàn)來講，可以采取以下措施控制化學(xué)值：1、建模樣品的化學(xué)值要盡量來自于同一個(gè)化驗(yàn)室，如果必須使用多家實(shí)驗(yàn)室的結(jié)果，也要使用統(tǒng)一標(biāo)準(zhǔn)后的檢驗(yàn)結(jié)果（如實(shí)驗(yàn)室間的集團(tuán)環(huán)比結(jié)果很好或使用標(biāo)準(zhǔn)樣品先統(tǒng)一結(jié)果，消除實(shí)驗(yàn)室間的系統(tǒng)誤差）。第二十四頁，共四十六頁，2022年，8月28日2、實(shí)驗(yàn)室的雙試驗(yàn)結(jié)果應(yīng)當(dāng)滿足國家標(biāo)準(zhǔn)，如果結(jié)果不好，需要進(jìn)行多次檢驗(yàn)以驗(yàn)證結(jié)果。但這并不足以保證檢測結(jié)果的準(zhǔn)確性，一定要做到不同的檢驗(yàn)人員進(jìn)行盲雙試樣檢測的重復(fù)性精度也達(dá)到要求，如果不滿足，則最好選用有經(jīng)驗(yàn)的化驗(yàn)人員獨(dú)立檢驗(yàn)為儀器提供建?；A(chǔ)數(shù)據(jù)。3、為了減少建模的工作量，可以使用初步的模型對樣品進(jìn)行粗選，然后選取代表性強(qiáng)且梯度含量好的樣品進(jìn)一步做化學(xué)法檢測。第二十五頁，共四十六頁，2022年，8月28日4、對于沒有條件的實(shí)驗(yàn)室，可以先收集樣品，然后通過與有條件的實(shí)驗(yàn)室合作建立實(shí)用的檢驗(yàn)?zāi)Ｐ汀?、任何模型都有其適用范圍，萬能的通用模型是不存在的，適用度往往是以犧牲精度為前提的，所以還是建議盡量建立獨(dú)立的適用于本企業(yè)的近紅外模型。第二十六頁，共四十六頁，2022年，8月28日測量條件：測量條件的控制將影響儀器的自身精度，主要包括：檢測環(huán)境條件控制樣品的前處理方法檢測裝樣過程控制等第二十七頁，共四十六頁，2022年，8月28日特別提醒1、好的曲線需要不斷維護(hù)：增加新的樣品以提高適用度。但不需要特別添加普通數(shù)據(jù)，要添加的樣品應(yīng)該是影響模型精度的樣品（截距調(diào)整的節(jié)點(diǎn)），只需要養(yǎng)成將日常比對的有標(biāo)準(zhǔn)化學(xué)值的樣品加入數(shù)據(jù)庫即可。2、要建立一個(gè)基礎(chǔ)收集數(shù)據(jù)庫，最好養(yǎng)成統(tǒng)一命名的習(xí)慣以便后續(xù)查詢。第二十八頁，共四十六頁，2022年，8月28日特別提醒3、樣品的收集周期持續(xù)半年到一年的時(shí)間為宜，這樣不但可以擴(kuò)展曲線范圍，而且可以很好克服環(huán)境變化的影響。多個(gè)品種的樣品要同時(shí)收集。4、對于溫差變化較大的實(shí)驗(yàn)室環(huán)境和檢測液體樣品的情況，需要加入溫度補(bǔ)償樣品以克服溫度的影響。第二十九頁，共四十六頁，2022年，8月28日特別提醒5、對于有條件自己建模的用戶可以建立自己的校準(zhǔn)模型。但如果使用Grams不夠熟練，可以將基礎(chǔ)數(shù)據(jù)庫發(fā)給我們公司，我們將協(xié)助建模，但務(wù)必保證數(shù)據(jù)庫的完整性和條理性。6、在收集幾十個(gè)樣品（30個(gè)以上）后就要建立初級模型，以便從初級模型上就可以看出誤差來源以便解決，以免造成工作上不必要的浪費(fèi)。第三十頁，共四十六頁，2022年，8月28日模型不好！第三十一頁，共四十六頁，2022年，8月28日模型一般！第三十二頁，共四十六頁，2022年，8月28日模型很好第三十三頁，共四十六頁，2022年，8月28日異黃酮曲線第三十四頁，共四十六頁，2022年，8月28日精選49個(gè)樣品建立的液態(tài)賴氨酸發(fā)酵液中賴氨酸含量預(yù)測模型的近紅外值與實(shí)驗(yàn)室值的相關(guān)性R^2=0.999第三十五頁，共四十六頁，2022年，8月28日濃縮磷脂丙酮不溶物近紅外檢測值與實(shí)驗(yàn)室值的相關(guān)性R^2＝0.917第三十六頁，共四十六頁，2022年，8月28日整?；ㄉ暮徒t外預(yù)測值與實(shí)驗(yàn)室值的相關(guān)性R^2=0.985

第三十七頁，共四十六頁，2022年，8月28日小麥蛋白曲線第三十八頁，共四十六頁，2022年，8月28日小麥面筋曲線第三十九頁，共四十六頁，2022年，8月28日準(zhǔn)確度和精確度準(zhǔn)確度表示分析結(jié)果與真實(shí)值之間的接近程度。分析結(jié)果與真實(shí)值之間的差值稱誤差精確度表示各次分析結(jié)果相互接近的程度精確度分為重復(fù)性Repeatability和再現(xiàn)性Reproducibility重復(fù)性表示同一分析人員在同一條件下所得分析結(jié)果的精確度再現(xiàn)性表示不同分析人員或不同實(shí)驗(yàn)室之間在各自的條件下所得到的精確度第四十頁，共四十六頁，2022年，8月28日近紅外與標(biāo)準(zhǔn)方法分析

近紅外分析準(zhǔn)確度無論如何也不會比對定標(biāo)樣品集標(biāo)準(zhǔn)分析法分析的準(zhǔn)確度高…...第四十一頁，共四十六頁，2022年，8月28日標(biāo)準(zhǔn)方法和近紅外方法準(zhǔn)確度近紅外方法的準(zhǔn)確度是實(shí)驗(yàn)室方法準(zhǔn)確度的1.2-1.5倍近紅外方法的精度優(yōu)于