基于穩(wěn)健性的非正態(tài)數(shù)據(jù)轉(zhuǎn)換方法研究

基于穩(wěn)健性的非正態(tài)數(shù)據(jù)轉(zhuǎn)換方法研究

地質(zhì)統(tǒng)計(jì)學(xué)作為數(shù)學(xué)地質(zhì)領(lǐng)域的一門(mén)學(xué)科，發(fā)展迅速，具有廣闊的應(yīng)用前景。它在異常評(píng)估、環(huán)境研究、礦床勘探、煤礦劃定、儲(chǔ)量計(jì)算、采礦設(shè)計(jì)、采礦生產(chǎn)和地質(zhì)勘探等方面具有明顯的優(yōu)勢(shì)。通常，基于不同的數(shù)據(jù)分布類(lèi)型采用不同的網(wǎng)格方法。其基本前提是，區(qū)域變量的空間分布必須滿足相對(duì)應(yīng)的假設(shè)（或內(nèi)部）假設(shè)，其內(nèi)容是：如果實(shí)際區(qū)域變量的空間分布偏離給定假設(shè)，分布較大時(shí)，使用一種估算方法可以獲得更令人滿意的結(jié)果。換句話說(shuō)，假設(shè)最小的偏差率，即限制下的最小散射偏差。影響克立格估計(jì)方差(克里格法估計(jì)誤差的方差)的因素除了區(qū)域化變量的偏差分布外,還有特異值、變異函數(shù)、塊體大小和估值搜索參數(shù)選擇等很多因素,在此僅從區(qū)域化變量分布的穩(wěn)健性著手.目前,克立格法因其分布的穩(wěn)健性問(wèn)題而衍生了對(duì)數(shù)正態(tài)克立格法、指示克立格法等多種估計(jì)方法.在實(shí)踐中,不管采用何種方法,分布假設(shè)一般很難得到滿足.因此,如何解決區(qū)域化變量的分布問(wèn)題,以減小估計(jì)誤差、提高估計(jì)精度和克立格估計(jì)的穩(wěn)健性,是本文研究的問(wèn)題.由于正態(tài)分布是應(yīng)用最為廣泛的一種隨機(jī)分布,因此許多學(xué)者和工程師紛紛提出將非正態(tài)數(shù)據(jù)轉(zhuǎn)變成正態(tài)數(shù)據(jù).本文在對(duì)幾種常見(jiàn)的數(shù)據(jù)轉(zhuǎn)換方法進(jìn)行簡(jiǎn)要分析的基礎(chǔ)上,借鑒產(chǎn)品加工質(zhì)量精度控制的方法,引入了一套非正態(tài)數(shù)據(jù)轉(zhuǎn)換方法,并以SPSS和礦業(yè)軟件為工具,通過(guò)實(shí)際案例研究驗(yàn)證了該方法在礦業(yè)領(lǐng)域進(jìn)行數(shù)據(jù)轉(zhuǎn)換的有效性和實(shí)用性.1直接數(shù)據(jù)轉(zhuǎn)換算法非正態(tài)分布的原始數(shù)據(jù)轉(zhuǎn)化為正態(tài)或近似正態(tài)分布的變換,目前相對(duì)有效的主要有兩類(lèi)方法:一是直接數(shù)據(jù)轉(zhuǎn)換方法,該方法通過(guò)各種數(shù)據(jù)轉(zhuǎn)換函數(shù)將非正態(tài)數(shù)據(jù)轉(zhuǎn)變?yōu)檎龖B(tài);二是曲線擬合轉(zhuǎn)換方法,該方法主要利用Pearson曲線族和Johnson分布曲線族對(duì)實(shí)際數(shù)據(jù)的頻率分布進(jìn)行擬合.1.1礦物微量元素含量n或反余弦系參數(shù)轉(zhuǎn)換目前常用的主要方法是把原始數(shù)據(jù)的第i樣品對(duì)應(yīng)變量設(shè)為xi,轉(zhuǎn)換后的對(duì)應(yīng)值設(shè)為yi.(1)平方根轉(zhuǎn)換yi=√xi+cyi=xi+c?????√,主要用于具有泊松分布的離散型分布;(2)倒數(shù)轉(zhuǎn)換yi=1/xi,或進(jìn)行組合變化,平方根后取倒數(shù)yi=1/√xiyi=1/xi??√;(3)平方根后再取反正弦yi=arcsin(√xi/10n)yi=arcsin(xi/10n??????√)(右偏)或反余弦yi=arccos(√xi/10n)cos(xi/10n??????√)(左偏);(4)冪轉(zhuǎn)換yi=xλi-1λˉxλ-1yi=xλi?1λxˉλ?1,其中ˉxxˉ為變量xi均值,參數(shù)λ∈[-1.5,1.0];(5)三參數(shù)對(duì)數(shù)正態(tài)轉(zhuǎn)換yi=ln(xi-c)(c=x2m0-xminxmax2xm0-xmin-xmax,m0yi=ln(xi?c)(c=x2m0?xminxmax2xm0?xmin?xmax,m0為中位數(shù),xmin為大于0的最小值,xmax為比樣品中最大值更大的值;或者,c=x2m0-f1f22xm0-f1-f2?f1和f2為對(duì)應(yīng)于累加概率p和1-p的取樣值,p取5%與20%之間的值.若為右偏,采用yi=ln(c-xi)),大多數(shù)內(nèi)生有色、稀有及貴金屬礦床中的有用組分,以及巖石礦石中微量元素,均具有對(duì)數(shù)正態(tài)分布特征.上述幾種數(shù)據(jù)轉(zhuǎn)換方式的實(shí)質(zhì)是通過(guò)對(duì)數(shù)據(jù)分布的峰度和偏度進(jìn)行調(diào)整,使其逼近正態(tài)性.因此只有當(dāng)數(shù)據(jù)分布接近正態(tài)時(shí),才有可能順利實(shí)現(xiàn);當(dāng)數(shù)據(jù)分布特征不明顯,或呈現(xiàn)其他隨機(jī)分布特征時(shí),數(shù)據(jù)轉(zhuǎn)換效果不明顯.1.2選擇合適的表面活性劑的方法這種估計(jì)方法主要是利用Pearson曲線族和Johnson分布曲線族對(duì)非正態(tài)數(shù)據(jù)分布進(jìn)行擬合.兩種曲線族都覆蓋了一個(gè)范圍很廣的分布,其實(shí)質(zhì)也是一類(lèi)函數(shù)轉(zhuǎn)換方法.應(yīng)用Pearson曲線族擬合非正態(tài)分布主要出現(xiàn)在早期的研究中,大多根據(jù)Pearson分位表來(lái)計(jì)算分位數(shù),盡管計(jì)算上比較簡(jiǎn)單,但只提供了在有限的偏度和峰度范圍內(nèi)的百分位數(shù)估計(jì)值,而且難以獲得任何關(guān)于擬合良好性的信息.Johnson提出了關(guān)于隨機(jī)變量的三個(gè)分布曲線族,都可以很容易地轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布.這些分布分別表示為SB、SL和SU三種轉(zhuǎn)換類(lèi)型,三種類(lèi)型的參數(shù)約束及變量取值范圍如表1所示.Nicholas利用約翰遜曲線對(duì)非正態(tài)數(shù)據(jù)進(jìn)行擬合,不僅能描述Pearson系統(tǒng)各類(lèi)曲線的通用范圍,而且計(jì)算過(guò)程比Pearson更簡(jiǎn)便可靠.因此,本文直接采用Johnson曲線族用于研究.針對(duì)一個(gè)具體的非正態(tài)數(shù)據(jù)應(yīng)用場(chǎng)合,如何根據(jù)樣本選擇合適的Johnson曲線類(lèi)型是首要的問(wèn)題,其步驟如下.選擇一個(gè)合適的z,通過(guò)標(biāo)準(zhǔn)正態(tài)表找出對(duì)應(yīng)于{-sz,-z,z,sz}的分布概率{p-sz,p-z,pz,p-sz},并在實(shí)際樣本數(shù)據(jù)中找出上述分布概率所對(duì)應(yīng)分位數(shù){x-sz,x-z,xz,x-sz},計(jì)算m=xsz-xz,n=x-z-x-3z,p=xz-x-z,求出分位數(shù)比率QR=mn/p2.一般通過(guò)標(biāo)準(zhǔn)正態(tài)分布確定s=3時(shí),只要確定合適的z值就可以確定需要擬合數(shù)據(jù)類(lèi)型,從而計(jì)算出相應(yīng)的參數(shù).其中,各參數(shù)可以通過(guò)以下公式求得.對(duì)于SB曲線:η=z{arcosh[12[(1+pm)(1+pn)]12]}-1?γ=ηarsinh{(pn-pm)[(1+pm)(1+pn)-4]12[2(p2mn-1)]-1},λ=p{[(1+pm)(1+pn)-2]2-4}12(p2mn-1)-1,ε=xz+x-z2-λ2+p(pn-pm)[2(p2mn-1)]-1.對(duì)于SL曲線:η=2zln(m/p)?γ=ηln[m/p-1p(m/p)1/2]?ε=xz-x-z2-p2[m/p+1m/p-1].對(duì)于SU曲線:η=2z{arcosh[12(mp+np)]}-1?γ=ηarsinh{(np-mp)[2(mnp2-1)12]-1}?λ=2p(mnp-1)12[(mp+np-2)(mp+np+2)]12?ε=xz+x-z2+p(np-mp)[2(mp+np-2)]-1.2正態(tài)轉(zhuǎn)換方法本文針對(duì)上述數(shù)據(jù)轉(zhuǎn)換方法提出了如圖1所示的非正態(tài)數(shù)據(jù)的轉(zhuǎn)換流程.下面對(duì)實(shí)施步驟簡(jiǎn)要描述.(1)先對(duì)數(shù)據(jù)進(jìn)行處理,進(jìn)行經(jīng)典統(tǒng)計(jì)分析,然后用擬合優(yōu)度進(jìn)行檢驗(yàn),看其是否符合某一特殊分布(這里的特殊分布是指正態(tài)、對(duì)數(shù)正態(tài)、均勻、指數(shù)和威布爾分布),如果符合則可以直接用常用轉(zhuǎn)換法進(jìn)行正態(tài)轉(zhuǎn)換.(2)如果不符合上述特殊分布,就嘗試用Johnson擬合方法,先計(jì)算分位數(shù)比率QR,然后對(duì)Johnson分布的三種情況予以考慮,并考慮其約束條件,如果滿足相應(yīng)的約束條件,就可以進(jìn)行數(shù)據(jù)正態(tài)轉(zhuǎn)換.(3)正態(tài)轉(zhuǎn)換計(jì)算后,同樣對(duì)其進(jìn)行統(tǒng)計(jì)分析,用擬合優(yōu)度進(jìn)行檢驗(yàn),看其轉(zhuǎn)換后的分布及效果,如果通過(guò)檢驗(yàn)則結(jié)束,否則以轉(zhuǎn)換后的結(jié)果再進(jìn)行第2次轉(zhuǎn)換或考慮進(jìn)行設(shè)置分區(qū)擬合,直至達(dá)到要求.3數(shù)據(jù)庫(kù)的擬合本文針對(duì)某礦320個(gè)鉆孔7730個(gè)金(區(qū)域化變量)的有效化驗(yàn)樣品為依據(jù).經(jīng)細(xì)致檢查,并在進(jìn)行特異品位處理后的數(shù)據(jù)基礎(chǔ)上開(kāi)展研究工作.采用SPSS完成經(jīng)典統(tǒng)計(jì)分析,其均值、中值、最小值、最大值和方差等如圖2所示.對(duì)其進(jìn)行正態(tài)概率圖檢驗(yàn)如圖3所示,表明數(shù)據(jù)呈非正態(tài)分布.對(duì)其進(jìn)行對(duì)數(shù)正態(tài)分布檢驗(yàn)如圖4所示,表明區(qū)域化變量金的數(shù)據(jù)分布趨于對(duì)數(shù)正態(tài)分布,但存在一定偏差.按照本次設(shè)計(jì)的數(shù)據(jù)處理流程及統(tǒng)計(jì)分析結(jié)果,此數(shù)據(jù)可以采用三參數(shù)對(duì)數(shù)正態(tài)轉(zhuǎn)換法及Johnson分布曲線擬合法,在此僅對(duì)Johnson曲線擬合法步驟進(jìn)行詳細(xì)說(shuō)明.首先進(jìn)行Johnson曲線的確定.選定一個(gè)合適的z為0.68,通過(guò)標(biāo)準(zhǔn)正態(tài)表找出對(duì)應(yīng)于{-3z,-z,z,3z}的分布概率為{0.0207,0.2483,0.7517,0.9793},并在實(shí)際樣本數(shù)據(jù)中找出上述分布概率所對(duì)應(yīng)分位數(shù).因?qū)嶋H數(shù)據(jù)樣品非常大,在此直接取樣品累計(jì)概率{2.7%,24.83%,75.17%,97.93%}所對(duì)應(yīng)的值{0.3062,1.1689,4.6147,16.4464}.計(jì)算m=11.832,n=0.863,p=3.446,求出分位數(shù)比率QR=0.8<1.選擇SB曲線來(lái)擬合數(shù)據(jù).計(jì)算對(duì)應(yīng)SB曲線各參數(shù):η=0.946,γ=3.376,λ=83.824,ε=0.034.由圖2的統(tǒng)計(jì)結(jié)果可知,xmin=0.1,xmax=18.2,滿足ε<xi<ε+λ條件.把上述對(duì)應(yīng)參數(shù)代入下式正態(tài)轉(zhuǎn)換方程并進(jìn)行計(jì)算:yi=3.376+0.946ln(xi-0.03483.824+0.034-xi).最后對(duì)計(jì)算結(jié)果yi進(jìn)行統(tǒng)計(jì)分析和采用正態(tài)概率圖進(jìn)行分布檢驗(yàn),如圖5所示,均值、標(biāo)準(zhǔn)差、峰度和偏度均相對(duì)較小.如圖6所示,實(shí)測(cè)值的累計(jì)概率與期望值的累計(jì)概率基本相等(呈直線),且與圖4相比有明顯改善.另對(duì)計(jì)算結(jié)果進(jìn)行擬合優(yōu)度檢驗(yàn).如表2所示,雙尾漸近顯著性水平為0.749,表明與檢驗(yàn)樣本無(wú)顯著差異,因此可以認(rèn)為通過(guò)Johnson的SB曲線轉(zhuǎn)化后的數(shù)據(jù)服從正態(tài)分布.在上述計(jì)算中,在礦業(yè)領(lǐng)域一般可以考慮采用90%的置信度進(jìn)行檢驗(yàn),若不滿足則需要以上述轉(zhuǎn)換結(jié)果作為區(qū)域化變量進(jìn)行二次迭代,直至轉(zhuǎn)換后的數(shù)據(jù)基本服從正態(tài)分布.4實(shí)驗(yàn)半變異函數(shù)模型建立、分析及驗(yàn)證結(jié)果在克立格估計(jì)方法使用中,因?qū)嶋H化驗(yàn)樣品位均為正值,需對(duì)Johnson轉(zhuǎn)換的最終結(jié)果進(jìn)行相應(yīng)平移,再以平移后的數(shù)據(jù)項(xiàng)為區(qū)域化變量.完成相應(yīng)操作后,需再把估計(jì)值按下式再反算回實(shí)際的金品位:X結(jié)果=ε+λexp(z估計(jì)值-γ-Cη)×[1+exp(z估計(jì)值-γ-Cη)]-1,其中,C為平移的常數(shù)值.在此,為檢驗(yàn)進(jìn)行轉(zhuǎn)化后方差的變化效果,分別以常用方法中取對(duì)數(shù)轉(zhuǎn)換后的數(shù)據(jù)和采用Johnson法轉(zhuǎn)換后的數(shù)據(jù)全部加上常數(shù)3為基礎(chǔ),采用GemcomSurpac○R礦業(yè)軟件進(jìn)行實(shí)驗(yàn)半變異函數(shù)模型的建立、分析及驗(yàn)證工作,分析對(duì)應(yīng)理論方差、克立格方差及估計(jì)誤差的變化.實(shí)驗(yàn)半變異函數(shù)模型擬合參數(shù)及交叉驗(yàn)證參數(shù)如圖7和圖8所示,交叉驗(yàn)證結(jié)果如表3所示,克立格估計(jì)誤差分布如圖9和圖10.經(jīng)上述統(tǒng)計(jì)分析可知,轉(zhuǎn)換前區(qū)域化變量的標(biāo)準(zhǔn)差為3.787,采用直接對(duì)數(shù)轉(zhuǎn)換法后區(qū)域化變量的標(biāo)準(zhǔn)方差為0.918,而采用Johnson法轉(zhuǎn)換后,標(biāo)準(zhǔn)方差為0.873;分別按圖7、圖8所示參數(shù)進(jìn)行交叉驗(yàn)證,其中,誤差均值均趨于0;克立格估計(jì)方差分別為0.867、0.773,減小10.8%,與理論方差比值分別為1.029、1.023,趨于1;且置信區(qū)間范圍均大于95%,具體如表3所示.驗(yàn)證結(jié)果對(duì)應(yīng)相應(yīng)數(shù)據(jù)均認(rèn)為變異函數(shù)擬合結(jié)果滿足克立格估