數(shù)據(jù)取對(duì)數(shù)的意義

1、數(shù)據(jù)取對(duì)數(shù)的意義時(shí)間:2013-11-06 01:23瀏覽:2238人平時(shí)在一些數(shù)據(jù)處理中，經(jīng)常會(huì)把原始數(shù)據(jù)取對(duì)數(shù)后進(jìn)一步處理。 之所以這樣做是基于對(duì)數(shù)函數(shù)在其定義域內(nèi)是單調(diào)增函數(shù)，取對(duì)數(shù)后不會(huì)改變數(shù)據(jù)的相對(duì)關(guān)系，取對(duì)數(shù)作用主要有：平時(shí)在一些數(shù)據(jù)處理中，經(jīng)常會(huì)把原始數(shù)據(jù)取對(duì)數(shù)后進(jìn)一步處理。之所以這樣做是基于對(duì)數(shù)函數(shù)在其定義域內(nèi)是單調(diào)增函數(shù)，取對(duì)數(shù)后不會(huì)改變數(shù)據(jù)的相對(duì)關(guān)系，取對(duì)數(shù)作用主要有：1. 縮小數(shù)據(jù)的絕對(duì)數(shù)值，方便計(jì)算。例如，每個(gè)數(shù)據(jù)項(xiàng)的值都很大，許多這樣的值進(jìn)行計(jì)算可能對(duì)超過(guò)常用數(shù)據(jù)類型的取值范圍，這時(shí)取對(duì)數(shù)，就把數(shù)值縮小了，例如TF-IDF計(jì)算時(shí)，由于在大規(guī)模語(yǔ)料庫(kù)中，很多詞的頻率是非

2、常大的數(shù)字。2. 取對(duì)數(shù)后，可以將乘法計(jì)算轉(zhuǎn)換稱加法計(jì)算。3. 某些情況下，在數(shù)據(jù)的整個(gè)值域中的在不同區(qū)間的差異帶來(lái)的影響不同。例如，中文分詞的mmseg算法，計(jì)算語(yǔ)素自由度時(shí)候就取了對(duì)數(shù)，這是因?yàn)椋绻硟蓚€(gè)字的頻率分別都是500，頻率和為1000，另外兩個(gè)字的頻率分別為200和800，如果單純比較頻率和都是相等的，但是取對(duì)數(shù)后，log500=2.69897, log200=2.30103, log800=2.90308 這時(shí)候前者為2log500=5.39794, 后者為log200+log800=5.20411，這時(shí)前者的和更大，取前者。因?yàn)榍懊鎯蓚€(gè)詞頻率都是500,可見(jiàn)都比較常見(jiàn)。后面

3、有個(gè)詞頻是200,說(shuō)明不太常見(jiàn)，所以選擇前者。從log函數(shù)的圖像可以看到，自變量x的值越小，函數(shù)值y的變化越快，還是前面的例子，同樣是相差了300,但log500-log200log800-log500，因?yàn)榍懊嬉粚?duì)的比后面一對(duì)更小。也就是說(shuō)，對(duì)數(shù)值小的部分差異的敏感程度比數(shù)值大的部分的差異敏感程度更高。這也是符合生活常識(shí)的，例如對(duì)于價(jià)格，買個(gè)家電，如果價(jià)格相差幾百元能夠很大程度影響你決策，但是你買汽車時(shí)相差幾百元你會(huì)忽略不計(jì)了。4. 取對(duì)數(shù)之后不會(huì)改變數(shù)據(jù)的性質(zhì)和相關(guān)關(guān)系，但壓縮了變量的尺度，例如800/200=4, 但log800/log200=1.2616，數(shù)據(jù)更加平穩(wěn)，也消弱了模型的共線性、異方差性等。5. 且所得到的數(shù)據(jù)易消除異方差問(wèn)題。6. 在經(jīng)濟(jì)學(xué)中，常取自然對(duì)數(shù)再做回歸，這時(shí)回歸方程為 lnY=a lnX+b ，兩邊同時(shí)對(duì)X求導(dǎo)，1/Y*(DY/DX)=a*1/X, el=(DY/DX)*(X/Y)=(DY*X)/(DX*Y)=(DY/Y)/(DX/X) 這正好是彈性的定義。dlnY/dlnX=(DY/Y)/(DX