機器學(xué)習(xí)特征選擇常用算法

機器學(xué)習(xí)特征選擇常用算法1.綜述(1)什么是特征選擇特征選擇(FeatureSelection)也稱特征子集選擇(FeatureSubsetSelection,FSS)，或?qū)傩赃x擇(AttributeSelection)，是指從全部特征中選取一個特征子集，使構(gòu)造出來的模型更好。(2)為什么要做特征選擇在機器學(xué)習(xí)的實際應(yīng)用中，特征數(shù)量往往較多，其中可能存在不相關(guān)的特征，特征之間也可能存在相互依賴，容易導(dǎo)致如下的后果：特征個數(shù)越多，分析特征、訓(xùn)練模型所需的時間就越長。特征個數(shù)越多，容易引起“維度災(zāi)難”，模型也會越復(fù)雜，其推廣能力會下降。特征選擇能剔除不相關(guān)(irrelevant)或亢余(redundant)的特征，從而達到減少特征個數(shù)，提高模型精確度，減少運行時間的目的。另一方面，選取出真正相關(guān)的特征簡化了模型，使研究人員易于理解數(shù)據(jù)產(chǎn)生的過程。2.特征選擇過程2.1特征選擇的一般過程

特征選擇的一般過程可用圖1表示。首先從特征全集中產(chǎn)生出一個特征子集，然后用評價函數(shù)對該特征子集進行評價，評價的結(jié)果與停止準(zhǔn)則進行比較，若評價結(jié)果比停止準(zhǔn)則好就停止，否則就繼續(xù)產(chǎn)生下一組特征子集，繼續(xù)進行特征選擇。選出來的特征子集一般還要驗證其有效性。綜上所述，特征選擇過程一般包括產(chǎn)生過程，評價函數(shù)，停止準(zhǔn)則，驗證過程，這4個部分。(1)產(chǎn)生過程(GenerationProcedure)

產(chǎn)生過程是搜索特征子集的過程，負責(zé)為評價函數(shù)提供特征子集。搜索特征子集的過程有多種，將在2.2小節(jié)展開介紹。(2)評價函數(shù)(EvaluationFunction)

評價函數(shù)是評價一個特征子集好壞程度的一個準(zhǔn)則。評價函數(shù)將在2.3小節(jié)展開介紹。(3)停止準(zhǔn)則(StoppingCriterion)

停止準(zhǔn)則是與評價函數(shù)相關(guān)的，一般是一個閾值，當(dāng)評價函數(shù)值達到這個閾值后就可停止搜索。(4)驗證過程(ValidationProcedure)

在驗證數(shù)據(jù)集上驗證選出來的特征子集的有效性。

圖1.特征選擇的過程(M.DashandH.Liu1997)2.2產(chǎn)生過程

產(chǎn)生過程是搜索特征子空間的過程。搜索的算法分為完全搜索(Complete)，啟發(fā)式搜索(Heuristic)，隨機搜索(Random)3大類，如圖2所示。

圖2.產(chǎn)生過程算法分類(M.DashandH.Liu1997)下面對常見的搜索算法進行簡單介紹。2.2.1完全搜索

完全搜索分為窮舉搜索(Exhaustive)與非窮舉搜索(Non-Exhaustive)兩類。(1)廣度優(yōu)先搜索(BreadthFirstSearch)

算法描述：廣度優(yōu)先遍歷特征子空間。

算法評價：枚舉了所有的特征組合，屬于窮舉搜索，時間復(fù)雜度是O(2n)，實用性不高。(2)分支限界搜索(BranchandBound)

算法描述：在窮舉搜索的基礎(chǔ)上加入分支限界。例如：若斷定某些分支不可能搜索出比當(dāng)前找到的最優(yōu)解更優(yōu)的解，則可以剪掉這些分支。(3)定向搜索(BeamSearch)

算法描述：首先選擇N個得分最高的特征作為特征子集，將其加入一個限制最大長度的優(yōu)先隊列，每次從隊列中取出得分最高的子集，然后窮舉向該子集加入1個特征后產(chǎn)生的所有特征集，