如何建立和評價近紅外模型ppt課件

1、如何建立和評價模型1. 標(biāo)標(biāo)準(zhǔn)方法分析準(zhǔn)方法分析樣樣品品2. 采集光采集光譜譜3. 優(yōu)優(yōu)化、化、 檢驗檢驗和建立模型和建立模型Report Sample #081897-049 Component A81.55%Component B5.38%Component C13.06%1. 測測定未知定未知樣樣品光品光譜譜2. 調(diào)調(diào)用模型用模型3. 預(yù)測結(jié)預(yù)測結(jié)果果ComponentABCUnits%spectrum171.307.0321.67spectrum279.303.0617.64spectrum378.408.3413.26spectrum484.034.3211.65spectrum11

2、85.021.3413.64spectrum1278.343.8517.81q建立模型建立模型q分析分析樣樣品品理理 論論 背背 景景近紅外分析技術(shù)的難點和技術(shù)策略近紅外分析技術(shù)的難點和技術(shù)策略 February 3, 20223近紅外分析是屬于從復(fù)雜、重疊、變動的光譜中來提取弱信息的技術(shù) 應(yīng)用化學(xué)計量學(xué)的方法來建立相應(yīng)的數(shù)學(xué)模型來解決上述困難 建立優(yōu)秀數(shù)學(xué)模型存在的一系列困難 好的儀器 優(yōu)秀的分析軟件 建模經(jīng)驗豐富的人員 代表性的樣品資源 合理應(yīng)用樣品資源技術(shù) 準(zhǔn)確測定化學(xué)值水平 -可靠性、可靠性、穩(wěn)穩(wěn)定性及定性及動態(tài)動態(tài)適適應(yīng)應(yīng)性性 模型還要進(jìn)行不斷檢驗、修正、轉(zhuǎn)移偏最小二乘法的基本思想偏

3、最小二乘法的基本思想分分別別求出求出樣樣品集光品集光譜譜矩矩陣陣和和樣樣品品組組分矩分矩陣陣的主成分矩的主成分矩陣陣， ，將將這這兩個矩兩個矩陣陣相關(guān)相關(guān)聯(lián)聯(lián)，求其，求其線線形關(guān)系，用所建立的形關(guān)系，用所建立的線線形函形函數(shù)來數(shù)來預(yù)測預(yù)測未知未知樣樣品。品。其中的最佳主成分矩其中的最佳主成分矩陣陣的的維維數(shù)采用內(nèi)部交叉數(shù)采用內(nèi)部交叉檢驗檢驗來得出。來得出。優(yōu)優(yōu)點：點：1、充分提取、充分提取樣樣品光品光譜譜的有效信息；的有效信息；2、消除了、消除了線線性相性相關(guān)的關(guān)的問題問題； ；3、考、考慮慮了光了光譜譜矩矩陣陣與與樣樣品成分矩品成分矩陣陣之之間間的內(nèi)在的內(nèi)在聯(lián)聯(lián)系，模型更系，模型更穩(wěn)穩(wěn)??；健

4、；4、適合于復(fù)、適合于復(fù)雜雜分析體系。分析體系。該該方法是世界上近方法是世界上近紅紅外定量分析商品化外定量分析商品化軟軟件中最流行的算法件中最流行的算法在主成分回在主成分回歸歸中，只中，只對對光光譜譜矩矩陣陣作了分解，消除了光作了分解，消除了光譜譜矩矩陣陣中的無中的無 用信息；同用信息；同樣樣， ，濃濃度矩度矩陣陣中也包含了無用信息，也中也包含了無用信息，也應(yīng)應(yīng)作相作相應(yīng)處應(yīng)處理。理。偏最小二乘法：分偏最小二乘法：分別別求出求出樣樣品集光品集光譜譜矩矩陣陣和和樣樣品品組組分矩分矩陣陣的主成分的主成分 矩矩陣陣，將，將這這兩個矩兩個矩陣陣相關(guān)相關(guān)聯(lián)聯(lián)，求其，求其線線形關(guān)系，用所建立的形關(guān)系，用所

5、建立的線線形函數(shù)形函數(shù) 來來預(yù)測預(yù)測未知未知樣樣品。品。 (其中的最佳主成分矩其中的最佳主成分矩陣陣的的維維數(shù)采用內(nèi)部交叉數(shù)采用內(nèi)部交叉檢驗檢驗來得出來得出)第一步，矩陣分解，其模型為：第一步，矩陣分解，其模型為： X=TP+E Y=UQ+F第二步，將第二步，將T和和U作線性回歸作線性回歸 U=TB預(yù)測時，先求出未知樣品預(yù)測時，先求出未知樣品X矩陣的矩陣的T未知，再按下式計算濃度未知，再按下式計算濃度 Y未知未知T未知未知BQ優(yōu)優(yōu)點：點： 充分提取充分提取樣樣品光品光譜譜的有效信息的有效信息消除了消除了線線性相關(guān)的性相關(guān)的問題問題考考慮慮了光了光譜譜矩矩陣陣與與樣樣品成分矩品成分矩陣陣之之間間

6、的內(nèi)在的內(nèi)在聯(lián)聯(lián)系，模型更系，模型更穩(wěn)穩(wěn)健健適合于復(fù)適合于復(fù)雜雜分析體系。分析體系。缺陷：缺陷：計計算速度算速度較較慢，慢，計計算算過過程程較較繁繁瑣瑣，需要多次迭代，需要多次迭代模型建立模型建立過過程復(fù)程復(fù)雜雜， ，較較抽象，抽象，較難較難理解理解世界上近世界上近紅紅外定量分析商外定量分析商品化品化軟軟件中最流行的算法件中最流行的算法怎樣建立好的近紅外定量分析模型？怎樣建立好的近紅外定量分析模型？1、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。 實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。2、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作

7、步驟。、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作步驟。3、選擇或配備代表性建模樣品集。、選擇或配備代表性建模樣品集。4、模型優(yōu)化。、模型優(yōu)化。5、模型驗證內(nèi)部交叉驗證和外部驗證）。、模型驗證內(nèi)部交叉驗證和外部驗證）。確定近紅外定量分析的目標(biāo)準(zhǔn)確度確定近紅外定量分析的目標(biāo)準(zhǔn)確度 近紅外定量分析方法是二級方法，利用化學(xué)計量學(xué)方法將近紅外近紅外定量分析方法是二級方法，利用化學(xué)計量學(xué)方法將近紅外光譜與實驗室分析數(shù)據(jù)進(jìn)行關(guān)聯(lián)，建立近紅外模型對未知樣品進(jìn)行預(yù)測。光譜與實驗室分析數(shù)據(jù)進(jìn)行關(guān)聯(lián)，建立近紅外模型對未知樣品進(jìn)行預(yù)測。 實驗室分析數(shù)據(jù)的準(zhǔn)確度非常重要，完全遵循實驗室分析數(shù)據(jù)的準(zhǔn)確度非常重要

8、，完全遵循“量子傳遞的誤差理量子傳遞的誤差理論。實驗室數(shù)據(jù)越準(zhǔn)確，近紅外模型的準(zhǔn)確度也會越高。論。實驗室數(shù)據(jù)越準(zhǔn)確，近紅外模型的準(zhǔn)確度也會越高。 目標(biāo)準(zhǔn)確度是評價近紅外模型的首要條件。目標(biāo)準(zhǔn)確度是評價近紅外模型的首要條件。確定近紅外定量分析的目標(biāo)準(zhǔn)確度確定近紅外定量分析的目標(biāo)準(zhǔn)確度考察實驗室數(shù)據(jù)：考察實驗室數(shù)據(jù)：方法的可靠性方法的可靠性方法的準(zhǔn)確性方法的準(zhǔn)確性方法的重現(xiàn)性方法的重現(xiàn)性方法的誤差范圍方法的誤差范圍測試中偶然誤差、系統(tǒng)誤差測試中偶然誤差、系統(tǒng)誤差怎樣建立好的近紅外定量分析模型？怎樣建立好的近紅外定量分析模型？1、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。 實

9、驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。2、選擇分析樣品的近紅外附件、光譜掃描的、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作步驟。參數(shù)、規(guī)范操作步驟。3、選擇或配備代表性建模樣品集。、選擇或配備代表性建模樣品集。4、模型優(yōu)化。、模型優(yōu)化。5、模型驗證內(nèi)部交叉驗證和外部驗證）。、模型驗證內(nèi)部交叉驗證和外部驗證）。近紅外光譜儀的選擇近紅外光譜儀的選擇1、理論研究。、理論研究。 要求儀器附件配置齊全、擴展能力強、穩(wěn)定可靠、光譜數(shù)據(jù)格式要求儀器附件配置齊全、擴展能力強、穩(wěn)定可靠、光譜數(shù)據(jù)格式 轉(zhuǎn)換方便。轉(zhuǎn)換方便。2、實際推廣應(yīng)用、實際推廣應(yīng)用 根據(jù)應(yīng)用的現(xiàn)場要求，

10、分析指標(biāo)難、易程度以及應(yīng)用推廣的數(shù)量和根據(jù)應(yīng)用的現(xiàn)場要求，分析指標(biāo)難、易程度以及應(yīng)用推廣的數(shù)量和 范圍對儀器進(jìn)行選擇。范圍對儀器進(jìn)行選擇。 應(yīng)用現(xiàn)場比較復(fù)雜、分析指標(biāo)比較難、應(yīng)用推廣的數(shù)量和范圍比較應(yīng)用現(xiàn)場比較復(fù)雜、分析指標(biāo)比較難、應(yīng)用推廣的數(shù)量和范圍比較 寬，要求儀器的性能指標(biāo)比較高，模型能夠直接傳遞。寬，要求儀器的性能指標(biāo)比較高，模型能夠直接傳遞。 否則，對儀器的要求比較低。否則，對儀器的要求比較低。 近紅外儀器的選擇近紅外儀器的選擇近紅外儀器的選擇多功能研究級儀器多功能研究級儀器大范圍推廣型儀器大范圍推廣型儀器QTA）工業(yè)現(xiàn)場儀器工業(yè)現(xiàn)場儀器專用水分測定儀器專用水分測定儀器實 驗 條 件

11、 的 選 擇根據(jù)儀器的光譜響應(yīng)特征根據(jù)儀器的光譜響應(yīng)特征1、選擇分析樣品的近紅外附件、選擇分析樣品的近紅外附件 液體樣品要選擇不同光程的比色皿：液體樣品要選擇不同光程的比色皿： 顏色深、吸收強的樣品，光程短；顏色淺、吸收弱，光程長。顏色深、吸收強的樣品，光程短；顏色淺、吸收弱，光程長。 固體樣品要根據(jù)粒徑大小、均勻程度選擇：固體樣品要根據(jù)粒徑大小、均勻程度選擇： 粒徑大、不均勻的樣品應(yīng)選擇掃描面積大的樣品附件。粒徑大、不均勻的樣品應(yīng)選擇掃描面積大的樣品附件。 粒徑小、均勻的樣品應(yīng)選擇掃描面積小或大的樣品附件。粒徑小、均勻的樣品應(yīng)選擇掃描面積小或大的樣品附件。2、光譜掃描的參數(shù)、光譜掃描的參數(shù)

12、分辨率、掃描次數(shù)、光譜范圍。分辨率、掃描次數(shù)、光譜范圍。3、規(guī)范操作步驟、規(guī)范操作步驟 特別對固體樣品要保證裝樣的一致性。特別對固體樣品要保證裝樣的一致性。最終目的：得到穩(wěn)定的高質(zhì)量光譜。最終目的：得到穩(wěn)定的高質(zhì)量光譜。不同光程比色皿測定的光譜5mm光程2mm光程實 驗 條 件 的 選 擇根據(jù)儀器的光譜響應(yīng)特征根據(jù)儀器的光譜響應(yīng)特征1、選擇分析樣品的近紅外附件、選擇分析樣品的近紅外附件 液體樣品要選擇不同光程的比色皿：液體樣品要選擇不同光程的比色皿： 顏色深、吸收強的樣品，光程短；顏色淺、吸收弱，光程長。顏色深、吸收強的樣品，光程短；顏色淺、吸收弱，光程長。 固體樣品要根據(jù)粒徑大小、均勻程度選

13、擇：固體樣品要根據(jù)粒徑大小、均勻程度選擇： 粒徑大、不均勻的樣品應(yīng)選擇掃描面積大的樣品附件。粒徑大、不均勻的樣品應(yīng)選擇掃描面積大的樣品附件。 粒徑小、均勻的樣品應(yīng)選擇掃描面積小或大的樣品附件。粒徑小、均勻的樣品應(yīng)選擇掃描面積小或大的樣品附件。2、光譜掃描的參數(shù)、光譜掃描的參數(shù) 分辨率、掃描次數(shù)、光譜范圍。分辨率、掃描次數(shù)、光譜范圍。3、規(guī)范操作步驟、規(guī)范操作步驟 特別對固體樣品要保證裝樣的一致性。特別對固體樣品要保證裝樣的一致性。最終目的：得到穩(wěn)定的高質(zhì)量光譜。最終目的：得到穩(wěn)定的高質(zhì)量光譜。用樣品旋轉(zhuǎn)器和積分球測定不均勻樣品用樣品旋轉(zhuǎn)器和積分球測定不均勻樣品0231Messfenster d

14、er Integrationskugel用樣品旋轉(zhuǎn)器和積分球測定不均勻樣品用樣品旋轉(zhuǎn)器和積分球測定不均勻樣品Accessory Area FactorIntegrating Sphere 1.1 cm2 1Small Spinner 6.8 cm2 6Large Spinner 19.6 cm2 18不均勻樣品測試結(jié)果差異測試光斑直徑測試光斑直徑6mm，樣品旋轉(zhuǎn)杯直徑樣品旋轉(zhuǎn)杯直徑47mm測試光斑直徑測試光斑直徑15mm，樣品旋轉(zhuǎn)杯直徑樣品旋轉(zhuǎn)杯直徑90mm實 驗 條 件 的 選 擇根據(jù)儀器的光譜響應(yīng)特征根據(jù)儀器的光譜響應(yīng)特征1、選擇分析樣品的近紅外附件、選擇分析樣品的近紅外附件 液體樣品要選

15、擇不同光程的比色皿：液體樣品要選擇不同光程的比色皿： 顏色深、吸收強的樣品，光程短；顏色淺、吸收弱，光程長。顏色深、吸收強的樣品，光程短；顏色淺、吸收弱，光程長。 固體樣品要根據(jù)粒徑大小、均勻程度選擇：固體樣品要根據(jù)粒徑大小、均勻程度選擇： 粒徑大、不均勻的樣品應(yīng)選擇掃描面積大的樣品附件。粒徑大、不均勻的樣品應(yīng)選擇掃描面積大的樣品附件。 粒徑小、均勻的樣品應(yīng)選擇掃描面積小或大的樣品附件。粒徑小、均勻的樣品應(yīng)選擇掃描面積小或大的樣品附件。2、光譜掃描的參數(shù)、光譜掃描的參數(shù) 分辨率、掃描次數(shù)、光譜范圍。分辨率、掃描次數(shù)、光譜范圍。3、規(guī)范操作步驟、規(guī)范操作步驟 特別對固體樣品要保證裝樣的一致性。特

16、別對固體樣品要保證裝樣的一致性。最終目的：得到穩(wěn)定的高質(zhì)量光譜。最終目的：得到穩(wěn)定的高質(zhì)量光譜。高分辨率、高質(zhì)量光譜原始光譜原始光譜二階導(dǎo)數(shù)光譜二階導(dǎo)數(shù)光譜怎樣建立好的近紅外定量分析模型？怎樣建立好的近紅外定量分析模型？1、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。 實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。2、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作步驟。、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作步驟。3、選擇或配備代表性建模樣品集。、選擇或配備代表性建模樣品集。4、模型優(yōu)化。、模型優(yōu)化。5、模型驗證內(nèi)部交叉驗證和外部

17、驗證）。、模型驗證內(nèi)部交叉驗證和外部驗證）。樣品集的選擇樣品集的選擇選擇或配備代表性建模樣品集。選擇或配備代表性建模樣品集。 天然樣品和反應(yīng)過程中的樣品，選擇的代表性樣品數(shù)量比較大。天然樣品和反應(yīng)過程中的樣品，選擇的代表性樣品數(shù)量比較大。 成分已知樣品，選擇的代表性樣品數(shù)量比較少。成分已知樣品，選擇的代表性樣品數(shù)量比較少。 可使用化學(xué)計量學(xué)方法對樣品進(jìn)行選擇、設(shè)計?？墒褂没瘜W(xué)計量學(xué)方法對樣品進(jìn)行選擇、設(shè)計。大豆樣品的挑選選）不同含量樣品數(shù)的選擇不同含量樣品數(shù)量選擇不能以現(xiàn)實的樣品變化進(jìn)行選擇，應(yīng)該在所有含量范圍內(nèi)均勻選擇。8.799.39.69.910.2 10.5 10.8 11.1 11.

18、4 11.7Percentage of Constituent# of Samples with Level of Constituenthello!8.799.39.69.910.2 10.5 10.8 11.1 11.4 11.7Percentage of Constituent# of Samples with Level of Constituent完美的分布完美的分布(很少出現(xiàn)的情況很少出現(xiàn)的情況)比較合理的分布比較合理的分布樣品分布飼飼料、食品、煙草、化工、料、食品、煙草、化工、煉煉油等油等產(chǎn)產(chǎn)品的品的樣樣品分布情況品分布情況10Mean25百分比分布百分比分布# of Sampl

19、es with Level of Constituent制制藥藥分布分布10正常正常樣樣品品25百分比分布百分比分布# of Samples with Level of ConstituentPredicted valueReference valueTypicalconcentration range“extreme sample”or good outlierUseful for model updateThe concentration range of the calibration should always be larger than the expected analysis

20、range. bad outlier, need to Identify the causes異常樣品的判斷圖圖表表頁頁：雙：雙擊擊異常點由異常點由紅變紅變黑黑(由黑由黑變紅變紅)，以示剔除，以示剔除(恢復(fù)恢復(fù))NIR prediction Reference value Random errorNIR prediction Reference valueSystematic error系統(tǒng)誤差和隨機誤差怎樣建立好的近紅外定量分析模型？怎樣建立好的近紅外定量分析模型？1、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。 實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確

21、度和精密度確認(rèn)。2、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作步驟。、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作步驟。3、選擇或配備代表性建模樣品集。、選擇或配備代表性建模樣品集。4、模型優(yōu)化。、模型優(yōu)化。5、模型驗證內(nèi)部交叉驗證和外部驗證）。、模型驗證內(nèi)部交叉驗證和外部驗證）。模型優(yōu)化模型優(yōu)化模型優(yōu)化模型優(yōu)化 譜區(qū)范圍的選擇譜區(qū)范圍的選擇 選擇信息量相關(guān)性最大的譜區(qū)。選擇信息量相關(guān)性最大的譜區(qū)。 光譜預(yù)處理方法的選擇光譜預(yù)處理方法的選擇 選擇減小光譜漂移、增加信息量、穩(wěn)定可靠的光譜預(yù)處理方法。選擇減小光譜漂移、增加信息量、穩(wěn)定可靠的光譜預(yù)處理方法。 最佳最佳RankPLS算法

22、）算法） 相同的譜區(qū)范圍，相同的譜區(qū)范圍，RMSECV無顯著性差別，無顯著性差別，Rank小的模型好。小的模型好。模型優(yōu)化條件的選擇：譜區(qū)寬度、模型優(yōu)化條件的選擇：譜區(qū)寬度、Rank大小、預(yù)處理方法大小、預(yù)處理方法最佳最佳Rank的選擇的選擇最佳譜區(qū)的選擇最佳譜區(qū)最佳譜區(qū)最佳譜區(qū)的相關(guān)圖最佳譜區(qū)的相關(guān)圖交叉檢驗的相關(guān)圖交叉檢驗的相關(guān)圖絕對誤差分布圖絕對誤差分布圖0.91.11.31.51.71.90.91.11.31.51.71.9reference value / %NIR value / %矢量歸一化預(yù)處理的矢量歸一化預(yù)處理的PLS模型模型R2=96.63RMSECV=0.05%Rank=

23、2光譜預(yù)處理方法選擇光譜預(yù)處理方法選擇0.91.11.31.51.71.90.91.11.31.51.71.9reference value / %NIR value / %一階導(dǎo)數(shù)預(yù)處理的一階導(dǎo)數(shù)預(yù)處理的PLS模型模型R2=99.68RMSECV=0.02%Rank=2怎樣建立好的近紅外定量分析模型？怎樣建立好的近紅外定量分析模型？1、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。、確定近紅外定量分析的目標(biāo)準(zhǔn)確度。 實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。實驗室標(biāo)準(zhǔn)方法的準(zhǔn)確度和精密度確認(rèn)。2、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作步驟。、選擇分析樣品的近紅外附件、光譜掃描的參數(shù)、規(guī)范操作步驟。3

24、、選擇或配備代表性建模樣品集。、選擇或配備代表性建模樣品集。4、模型優(yōu)化。、模型優(yōu)化。5、模型驗證內(nèi)部交叉驗證和外部驗證）。、模型驗證內(nèi)部交叉驗證和外部驗證）。內(nèi)部交叉檢驗 Differ1Differ2Differ3Differn內(nèi)部交叉檢驗內(nèi)部交叉檢驗(cross validation)外部檢驗Prediction）Differ1Differ2Differ3Differn模型模型檢驗樣品檢驗樣品模型內(nèi)部交叉檢驗?zāi)Ｐ蛢?nèi)部交叉檢驗2221miiyyDifferR21iDifferMRMSECV決定系數(shù)決定系數(shù)均方差均方差同一同一組樣組樣品、同一品、同一組組分，分，R2越大，越大， RPD越大，越大， RMSECV越小。越小。決定于模型決定于模型優(yōu)優(yōu)化的條件、化的條件、實驗實驗室化學(xué)分析水平和近室化學(xué)分析水平和近紅紅外外儀儀器的性能。器的性能。RMSECV最重要，決定最重要，決定預(yù)測樣預(yù)測樣品的品的誤誤差大小。差大小。RPD (Residual Prediction Deviation) =SD/SEPbias如何判定近紅外定量分析是否可行如何判定近紅外定量分析是否可行?RMSEE、 、RMSEC或或SEC C： ：Calibration），）