蘋果糖度近紅外光譜的數(shù)據(jù)預(yù)處理

蘋果糖度近紅外光譜的數(shù)據(jù)預(yù)處理

1光譜數(shù)據(jù)預(yù)處理近年來，近紅外光譜檢測技術(shù)已廣泛應(yīng)用于生物內(nèi)部質(zhì)量的檢測中。但由于近紅外區(qū)的譜帶復(fù)雜、重疊多,生物體光譜中對待測品質(zhì)毫無價(jià)值的信息(包括來自生物體內(nèi)部以及來自外部環(huán)境的干擾信息)必定會對待測品質(zhì)的近紅外預(yù)測產(chǎn)生影響。為了獲得滿意的預(yù)測精度,通常都要先對原始光譜進(jìn)行預(yù)處理,然后再利用多元統(tǒng)計(jì)分析技術(shù)建立預(yù)測模型。在利用近紅外光譜技術(shù)檢測蘋果糖度的研究中發(fā)現(xiàn),用常用的光譜數(shù)據(jù)預(yù)處理方法如塞維茲-戈萊(Savitzky-Golay)卷積、多元散射校正及二階求導(dǎo)等對光譜進(jìn)行預(yù)處理后,雖然糖度模型的預(yù)測精度較高,但模型依然過于復(fù)雜(模型采納的因子數(shù)過多)。為此,嘗試采用兩種能簡化模型的光譜預(yù)處理算法——正交信號校正法(Orthogonalsignalcorrection,OSC)和凈分析物預(yù)處理法(Netanalytepreprocessing,NAP)對蘋果的近紅外原始光譜進(jìn)行預(yù)處理,希望能獲得理想的簡化模型。2算法的總結(jié)2.1fearn算法正交信號校正法由Wold首先提出,隨后Sjoblom、Andersson、Fearn、Westerhuis及Feudale等先后對這種預(yù)處理法作了改進(jìn)與發(fā)展。正交信號校正法的基本思想是:利用數(shù)學(xué)上空間正交的原理,將原始光譜矩陣中與待測品質(zhì)不相關(guān)的部分信息特別是系統(tǒng)噪聲濾除。本研究中采用Fearn的正交信號校正法對蘋果光譜進(jìn)行預(yù)處理:設(shè)蘋果校正集的近紅外原始光譜數(shù)據(jù)矩陣為X(I×J,I為測試集樣本數(shù),J為波長數(shù)),該矩陣中的某一元素xij(i=1,2,…,I;j=1,2,…,J)為第i個(gè)樣本在第j個(gè)波長處的反射率,蘋果糖度實(shí)測值向量為y(I×1)。Fearn算法的關(guān)鍵在于尋求一個(gè)J×A階權(quán)重矩陣WOSC,該矩陣的每一列為權(quán)重向量wl(l=1,2,…,A),也稱為正交信號校正因子,與之相應(yīng)的分向量tl應(yīng)最大程度地反映蘋果原始光譜X中與糖度實(shí)測值向量y正交的那部分變化,即yTtl=0(上標(biāo)“T”表示矩陣或向量的轉(zhuǎn)置)。權(quán)重向量wl(l=1,2,…,A)的求解過程是:1)構(gòu)造一個(gè)與糖度向量y正交的矩陣Z=X[I-XTy(yTXXTy)-1yTX](I為J×J階單位矩陣);2)求出平方矩陣[ZTZ]的前A個(gè)特征向量即為權(quán)重向量wl(l=1,2,…,A)。求出wl后,根據(jù)tl=Xwl及pl=XTtl(tTltl)-1得到J×A階載荷矩陣POSC(該矩陣的每一列為載荷向量pl)。然后將原始光譜矩陣X向權(quán)重空間WOSC作正交投影就可得到經(jīng)A個(gè)正交信號校正因子處理后的光譜矩陣XO,A,即XO,A=X(I-WOSCPΤΟSCTOSC),此式中I為J×J階單位矩陣。預(yù)測集蘋果光譜XUN的正交信號校正按式XUN,O=XUN(I-WOSCPΤΟSCTOSC)進(jìn)行,XUN,O為經(jīng)正交信號校正法預(yù)處理后的預(yù)測集蘋果光譜。2.2近紅外原始光譜矩陣的求解凈分析物預(yù)處理法由Goicoechea等首先提出,該法基于凈分析物信號(NAS)理論,主要用于提取混合物光譜中某一純組分的光譜信息。其基本思想是:利用數(shù)學(xué)上空間正交的原理,將原始光譜矩陣中待測組分的凈分析物信號(NAS)提取出來。蘋果光譜的凈分析物預(yù)處理(NAP)算法如下:同樣設(shè)蘋果校正集的原始光譜矩陣為X(I×J),蘋果糖度實(shí)測值向量為y(I×1)。由于蘋果糖度是反映多種物質(zhì)綜合作用的一項(xiàng)指標(biāo),因此在運(yùn)用凈分析物預(yù)處理法時(shí)將蘋果的近紅外原始光譜矩陣X分為兩部分,其中一部分是與糖度相關(guān)的信息,而另一部分是與糖度不相關(guān)的所有干擾信息(包括來自蘋果內(nèi)部以及來自環(huán)境的干擾信息)的綜合,即X=XSC+X-SC,(1)式中XSC表示蘋果光譜中與糖度相關(guān)的信息,X-SC則表示光譜中糖度之外的所有其它干擾信息的綜合。尋求一個(gè)與X-SC正交的J×J階矩陣FNAP(即X-SCFNAP=0),使(1)式兩邊同乘以FNAP后有XFNAP=XSCFNAP成立,這一步是該算法的關(guān)鍵步驟。矩陣FNAP的求解過程為:1)將原始光譜矩陣X向糖度實(shí)測值向量y作正交投影得到X-SC=[I-y(yTy)-1yT]X(式中I為I×I階單位矩陣);2)求出平方矩陣[(X-SC)TX-SC]的特征向量矩陣U(U為J×A階矩陣,U中的每一列為一個(gè)凈分析物預(yù)處理因子);3)構(gòu)造矩陣FNAP=I-UUT(式中I為J×J階單位矩陣)。然后即可求出經(jīng)A個(gè)凈分析物預(yù)處理因子處理后的光譜X*SC=XFNAP=X(I-UUT),式中X*SC為經(jīng)凈分析物預(yù)處理法處理后得到的光譜矩陣,也即糖度的凈分析物信號矩陣。預(yù)測集蘋果光譜XUN的凈分析物預(yù)處理按式X*UN,SC=XUN[I-UUT]進(jìn)行,X*UN,SC為預(yù)測集蘋果光譜中糖度的凈分析物信號矩陣。分析上面的算法步驟可以發(fā)現(xiàn),兩種算法都經(jīng)過了兩次正交投影的過程,第一次正交投影分別得到Z和X-SC,第二次則得到XO,A和X*SC。3蘋果初始光譜的制備實(shí)驗(yàn)選用市售陜西白水水晶富士39個(gè),從中隨機(jī)地選取28個(gè)作為校正集,余下的11個(gè)作為預(yù)測集,分別編號后置于4℃冰柜中貯藏。光譜檢測實(shí)驗(yàn)在環(huán)境溫度可控的實(shí)驗(yàn)室(實(shí)驗(yàn)環(huán)境溫度控制為26℃)內(nèi)進(jìn)行。實(shí)驗(yàn)前,將冰柜中取出的蘋果置于試驗(yàn)室中12h,以使蘋果整體溫度達(dá)到與環(huán)境溫度的一致;由近紅外光譜儀(Nexus670FT-IR,美國Nicolet公司)在每個(gè)蘋果的最大橫徑上等距離地選取四個(gè)點(diǎn)進(jìn)行光譜掃描,掃描波長范圍為1300～2100nm,波長間隔為0.5nm(即波長數(shù)J=1600);掃描時(shí)光纖探頭與蘋果果皮直接接觸,并盡量避開表面缺陷處;取這四個(gè)點(diǎn)的平均光譜作為整個(gè)蘋果的原始光譜。然后將該蘋果削皮,取可食用部分榨汁,并用手持式糖度計(jì)(WYT0-32型,泉州韋達(dá)計(jì)量儀器廠)測定其糖度值。圖1為校正集28個(gè)蘋果的原始光譜圖。表1列出了所有39個(gè)被測蘋果糖度實(shí)測值的變化范圍、平均值及標(biāo)準(zhǔn)偏差。4結(jié)果與討論4.1凈分析物預(yù)處理法主要特點(diǎn)分別采用正交信號校正法和凈分析物預(yù)處理法對蘋果的原始光譜進(jìn)行預(yù)處理,圖2分別為采用前3個(gè)正交信號校正因子和3個(gè)凈分析物質(zhì)處理因子處理后的校正集蘋果光譜。由圖可以看出,經(jīng)正交信號校正法預(yù)處理后的光譜[圖2(a)]形狀與原始光譜(見圖1)沒有太大的區(qū)別,只是在排列上更為緊密。而經(jīng)凈分析物預(yù)處理法預(yù)處理后的光譜[圖2(b)]形狀則發(fā)生了巨大的變化,光譜曲線變得更加粗糙。同時(shí),在約1400nm、1740nm和1880nm處出現(xiàn)了三個(gè)較為明顯的峰(蘋果的原始光譜是平緩、光滑的曲線)。這是因?yàn)檎恍盘栃Ｕㄖ饕糜跒V除原始光譜中的部分系統(tǒng)噪聲(如光的散射及光程差異等),該法在去噪的過程中仍保留了光譜中的主要信息,因此處理后的光譜形狀與原始光譜形狀相比沒有太大的區(qū)別。而凈分析物預(yù)處理法則主要用于提取光譜中糖度的凈分析物信號。在信號提取過程中,與糖度不相關(guān)的所有信息(包括來自蘋果內(nèi)部的其它成分的信息以及來自外部環(huán)境的干擾信息)被最大程度地從原始光譜中剔除,因此,光譜中只含有糖度信息和少量干擾信息,這就導(dǎo)致光譜形狀發(fā)生了變化,并出現(xiàn)了較為明顯的峰。4.2最佳因子數(shù)主成分?jǐn)?shù)的確定在采用偏最小二乘法(PLS)建立模型前,先按校正集和預(yù)測集分別將經(jīng)過正交信號校正法和凈分析物預(yù)處理法預(yù)處理的蘋果光譜中心化。校正模型的最佳因子數(shù)(主成分?jǐn)?shù))由交互驗(yàn)證法(Cross-Validation)確定,即由最小的預(yù)測殘差平方和(PRESS,物理量用s表示)確定。表2和表3分別列出了經(jīng)正交信號校正法和凈分析物預(yù)處理法預(yù)處理前后,實(shí)驗(yàn)數(shù)據(jù)的偏最小二乘校正結(jié)果(表2、表3中分別列出了采用0～12個(gè)兩種因子預(yù)處理蘋果光譜后的校正結(jié)果)。4.3最佳模型糖度模型的比較對原始光譜進(jìn)行預(yù)處理前,偏最小二乘(PLS)模型已能較好地預(yù)測蘋果的糖度。其校正時(shí)的相關(guān)系數(shù)r2和標(biāo)準(zhǔn)偏差分別為0.92190和0.41473,預(yù)測時(shí)的相關(guān)系數(shù)r2和標(biāo)準(zhǔn)偏差分別為0.86572和0.50473。但該模型采納的最佳因子數(shù)為11,這使得模型顯得過于復(fù)雜。對原始光譜分別進(jìn)行預(yù)處理后建立的偏最小二乘法糖度模型(相應(yīng)稱為OSC/PLS模型和NAP/PLS模型)所采納的最佳因子數(shù)會隨著預(yù)處理過程中所用正交信號校正因子和凈分析物預(yù)處理因子數(shù)的逐個(gè)增加而逐漸減小,甚至可減少至1。最初時(shí),預(yù)處理過程中所用的因子每增加1個(gè),模型所采納的最佳因子就減少1個(gè),采用8個(gè)因子分別對蘋果原始光譜進(jìn)行預(yù)處理后,兩種模型的最佳因子數(shù)都減到3。采用12個(gè)正交信號校正因子和11個(gè)凈分析物預(yù)處理因子時(shí),兩種模型的最佳因子數(shù)均減到了1。此后即使采用更多的因子預(yù)處理光譜,模型的最佳因子個(gè)數(shù)都保持為1(表中未列出)。之所以都能使糖度模型的最佳因子數(shù)減少,是因?yàn)檫@兩種方法在預(yù)處理蘋果原始光譜的過程中,隨著正交信號校正因子或凈分析物預(yù)處理因子的逐漸增加,與糖度不相關(guān)的干擾信息也逐漸減少的緣故。從表2和表3中還可以看出,與原始光譜的偏最小二乘法糖度模型相比較,OSC/PLS糖度模型和NAP/PLS糖度模型的精度都只有很小的波動(dòng)。OSC/PLS糖度模型在采用10個(gè)正交信號校正因子預(yù)處理光譜時(shí)達(dá)到最佳性能,最佳模型采納的偏最小二乘因子數(shù)為2,校正時(shí)的相關(guān)系數(shù)r2和標(biāo)準(zhǔn)偏差分別為0.92644和0.40250,用于預(yù)測時(shí)的相關(guān)系數(shù)r2和標(biāo)準(zhǔn)偏差分別為0.86701和0.50229。而NAP/PLS糖度模型在采用11個(gè)凈分析物預(yù)處理因子預(yù)處理光譜時(shí)達(dá)到最佳性能,最佳模型采納的偏最小二乘因子數(shù)為1,校正時(shí)的相關(guān)系數(shù)和標(biāo)準(zhǔn)偏差分別為0.93089和0.39014,用于預(yù)測時(shí)的相關(guān)系數(shù)r2和標(biāo)準(zhǔn)偏差分別為0.87260和0.49161。可以看出,與原始光譜的糖度模型相比,最佳OSC/PLS糖度模型和最佳NAP/PLS糖度模型都顯得更加簡潔,因此從總體上評價(jià),性能都明顯優(yōu)于原始光譜的糖度模型。而前兩者中,最佳NAP/PLS模型又略優(yōu)于最佳OSC/PLS模型。圖3為以最小預(yù)測殘差平方和值確定模型最佳因子數(shù)的示意圖[為更易看清,圖中采用log(s)值],圖中下部自左至右的“☆”、“○”和“□”處的