機(jī)器學(xué)習(xí)面試題目精修訂

機(jī)器學(xué)習(xí)面試題目精修訂機(jī)器學(xué)習(xí)面試題目GEGROUPsystemofficeroom【GEIHUA16H-GEIHUAGEIHUA8Q8-1、 有監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的區(qū)別有監(jiān)督學(xué)習(xí)：對具有標(biāo)記的訓(xùn)練樣本進(jìn)行學(xué)習(xí)，以盡可能對訓(xùn)練樣本集外的數(shù)據(jù)進(jìn)行分類預(yù)測。（LR,SVM,BP：RF,GBDT）無監(jiān)督學(xué)習(xí)：對未標(biāo)記的樣本進(jìn)行訓(xùn)練學(xué)習(xí)，比發(fā)現(xiàn)這些樣本中的結(jié)構(gòu)知識。（KMeans,DL）2、 正則化正則化是針對過擬合而提出的，以為在求解模型最優(yōu)的是一般優(yōu)化最小的經(jīng)驗(yàn)風(fēng)險(xiǎn)，現(xiàn)在在該經(jīng)驗(yàn)風(fēng)險(xiǎn)上加入模型復(fù)雜度這一項(xiàng)（正則化項(xiàng)是模型參數(shù)向量的范數(shù)），并使用一個rate比率來權(quán)衡模型復(fù)雜度與以往經(jīng)驗(yàn)風(fēng)險(xiǎn)的權(quán)重，如果模型復(fù)雜度越高，結(jié)構(gòu)化的經(jīng)驗(yàn)風(fēng)險(xiǎn)會越大，現(xiàn)在的目標(biāo)就變?yōu)榱私Y(jié)構(gòu)經(jīng)驗(yàn)風(fēng)險(xiǎn)的最優(yōu)化，可以防止模型訓(xùn)練過度復(fù)雜，有效的降低過擬合的風(fēng)險(xiǎn)。奧卡姆剃刀原理，能夠很好的解釋已知數(shù)據(jù)并且十分簡單才是最好的模型。過擬合如果一味的去提高訓(xùn)練數(shù)據(jù)的預(yù)測能力，所選模型的復(fù)雜度往往會很高，這種現(xiàn)象稱為過擬合。所表現(xiàn)的就是模型訓(xùn)練時候的誤差很小，但在測試的時候誤差很大。產(chǎn)生的原因過擬合原因：樣本數(shù)據(jù)的問題。樣本數(shù)量太少；抽樣方法錯誤，抽出的樣本數(shù)據(jù)不能有效足夠代表業(yè)務(wù)邏輯或業(yè)務(wù)場景。比如樣本符合正態(tài)分布，卻按均分分布抽樣，或者樣本數(shù)據(jù)不能代表整體數(shù)據(jù)的分布；樣本里的噪音數(shù)據(jù)干擾過大模型問題模型復(fù)雜度高、參數(shù)太多決策樹模型沒有剪枝權(quán)值學(xué)習(xí)迭代次數(shù)足夠多(Overtraining)，擬合了訓(xùn)練數(shù)據(jù)中的噪聲和訓(xùn)練樣例中沒有代表性的特征解決方法樣本數(shù)據(jù)方面。增加樣本數(shù)量，對樣本進(jìn)行降維，添加驗(yàn)證數(shù)據(jù)抽樣方法要符合業(yè)務(wù)場景清洗噪聲數(shù)據(jù)模型或訓(xùn)練問題控制模型復(fù)雜度，優(yōu)先選擇簡單的模型，或者用模型融合技術(shù)。利用先驗(yàn)知識，添加正則項(xiàng)。L1正則更加容易產(chǎn)生稀疏解、L2正則傾向于讓參數(shù)w趨向于0.4、 交叉驗(yàn)證不要過度訓(xùn)練，最優(yōu)化求解時，收斂之前停止迭代。決策樹模型沒有剪枝權(quán)值衰減5、 泛化能力泛化能力是指模型對未知數(shù)據(jù)的預(yù)測能力6、 生成模型和判別模型生成模型：由數(shù)據(jù)學(xué)習(xí)聯(lián)合概率分布P(X,Y)，然后求出條件概率分布P(Y|X)作為預(yù)測的模型，即生成模型：P(Y|X)=P(X,Y)/P(X)。(樸素貝葉斯、Kmeans)生成模型可以還原聯(lián)合概率分布p(X,Y)，并且有較快的學(xué)習(xí)收斂速度，還可以用于隱變量的學(xué)習(xí)判別模型：由數(shù)據(jù)直接學(xué)習(xí)決策函數(shù)Y=f(X)或者條件概率分布P(Y|X)作為預(yù)測的模型，即判別模型。(k近鄰、決策樹、SVM)直接面對預(yù)測，往往準(zhǔn)確率較高，直接對數(shù)據(jù)在各種程度上的抽象，所以可以簡化模型7、 線性分類器與非線性分類器的區(qū)別以及優(yōu)劣如果模型是參數(shù)的線性函數(shù)，并且存在線性分類面，那么就是線性分類器，否則不是。常見的線性分類器有：LR,貝葉斯分類，單層感知機(jī)、線性回歸常見的非線性分類器：決策樹、RF、GBDT、多層感知機(jī)SVM兩種都有（看線性核還是高斯核）線性分類器速度快、編程方便，但是可能擬合效果不會很好非線性分類器編程復(fù)雜，但是效果擬合能力強(qiáng)8、 特征比數(shù)據(jù)量還大時，選擇什么樣的分類器線性分類器，因?yàn)榫S度高的時候，數(shù)據(jù)一般在維度空間里面會比較稀疏，很有可能線性可分對于維度很高的特征，你是選擇線性還是非線性分類器理由同上對于維度極低的特征，你是選擇線性還是非線性分類器非線性分類器，因?yàn)榈途S空間可能很多特征都跑到一起了，導(dǎo)致線性不可分如果Feature的數(shù)量很大，跟樣本數(shù)量差不多，這時候選用LR或者是LinearKernel的SVM如果Feature的數(shù)量比較小，樣本數(shù)量一般，不算大也不算小，選用SVM+GaussianKernel如果Feature的數(shù)量比較小，而樣本數(shù)量很多，需要手工添加一些feature變成第一種情況9、 ill-condition病態(tài)問題訓(xùn)練完的模型測試樣本稍作修改就會得到差別很大的結(jié)果，就是病態(tài)問題（這簡直是不能用?。?0、 L1和L2正則的區(qū)別，如何選擇L1和L2正則他們都是可以防止過擬合，降低模型復(fù)雜度L1是在lossfunction后面加上模型參數(shù)的1范數(shù)（也就是|xi|）L2是在lossfunction后面加上模型參數(shù)的2范數(shù)（也就是sigma（xiA2）），注意L2范數(shù)的定義是sqrt（sigma（xiA2）），在正則項(xiàng)上沒有添加sqrt根號是為了更加容易優(yōu)化L1會產(chǎn)生稀疏的特征L2會產(chǎn)生更多地特征但是都會接近于0L1會趨向于產(chǎn)生少量的特征，而其他的特征都是0，而L2會選擇更多的特征，這些特征都會接近于0。L1在特征選擇時候非常有用，而L2就只是一種規(guī)則化而已。L1求解最小角回歸算法：LARS算法11、 越小的參數(shù)說明模型越簡單過擬合的，擬合會經(jīng)過曲面的每個點(diǎn)，也就是說在較小的區(qū)間里面可能會有較大的曲率，這里的導(dǎo)數(shù)就是很大，線性模型里面的權(quán)值就是導(dǎo)數(shù)，所以越小的參數(shù)說明模型越簡單。12、 為什么一些機(jī)器學(xué)習(xí)模型需要對數(shù)據(jù)進(jìn)行歸一化歸一化化就是要把你需要處理的數(shù)據(jù)經(jīng)過處理后（通過某種算法）限制在你需要的一定范圍內(nèi)。1） 歸一化后加快了梯度下降求最優(yōu)解的速度。等高線變得顯得圓滑，在梯度下降進(jìn)行求解時能較快的收斂。如果不做歸一化，梯度下降過程容易走之字，很難收斂甚至不能收斂2） 把有量綱表達(dá)式變?yōu)闊o量綱表達(dá)式，有可能提高精度。一些分類器需要計(jì)算樣本之間的距離（如歐氏距離），例如KNN。如果一個特征值域范圍非常大，那么距離計(jì)算就主要取決于這個特征，從而與實(shí)際情況相悖（比如這時實(shí)際情況是值域范圍小的特征更重要）3） 邏輯回歸等模型先驗(yàn)假設(shè)數(shù)據(jù)服從正態(tài)分布。哪些機(jī)器學(xué)習(xí)算法不需要做歸一化處理概率模型不需要?dú)w一化，因?yàn)樗鼈儾魂P(guān)心變量的值，而是關(guān)心變量的分布和變量之間的條件概率，如決策樹、〃。而像adaboost、gbdt、xgboost、svm、lr、KNN、KMeans之類的最優(yōu)化問題就需要?dú)w一化。特征向量的歸一化方法線性函數(shù)轉(zhuǎn)換，表達(dá)式如下：y=（x-MinValue）/（MaxValue-MinValue）對數(shù)函數(shù)轉(zhuǎn)換，表達(dá)式如下：y=log10(x)反余切函數(shù)轉(zhuǎn)換，表達(dá)式如下：y=arctan(x)*2/PI減去均值，乘以方差：y=(x-means)/variance標(biāo)準(zhǔn)化與歸一化的區(qū)別簡單來說，標(biāo)準(zhǔn)化是依照特征矩陣的列處理數(shù)據(jù)，其通過求 z-score的方法，將樣本的特征值轉(zhuǎn)換到同一量綱下。歸一化是依照特征矩陣的行處理數(shù)據(jù)，其目的在于樣本向量在點(diǎn)乘運(yùn)算或其他核函數(shù)計(jì)算相似性時，擁有統(tǒng)一的標(biāo)準(zhǔn)，也就是說都轉(zhuǎn)化為〃單位向量”。規(guī)則為l2的歸一化公式如下：13、特征向量的缺失值處理缺失值較多.直接將該特征舍棄掉，否則可能反倒會帶入較大的noise，對結(jié)果造成不良影響。缺失值較少,其余的特征缺失值都在10%以內(nèi)，我們可以采取很多的方式來處理：把NaN直接作為一個特征，假設(shè)用0表示；用均值填充；用隨機(jī)森林等算法預(yù)測填充方法一(na.roughfix)簡單粗暴，對于訓(xùn)練集同一個class下的數(shù)據(jù)，如果是分類變量缺失，用眾數(shù)補(bǔ)上，如果是連續(xù)型變量缺失，用中位數(shù)補(bǔ)。方法二(rfImpute)這個方法計(jì)算量大，至于比方法一好壞不好判斷。先用na.roughfix補(bǔ)上缺失值，然后構(gòu)建森林并計(jì)算proximitymatrix，再回頭看缺失值，如果是分類變量，則用沒有缺失的觀測實(shí)例的proximity中的權(quán)重進(jìn)行投票。如果是連續(xù)型變量，則用proximity矩陣進(jìn)行加權(quán)平均的方法補(bǔ)缺失值。然后迭代4-6次，這個補(bǔ)缺失值的思想和KNN有些類似12。衡量變量重要性的方法有兩種，DecreaseGINI和DecreaseAccuracy:1)DecreaseGINI:對于回歸問題，直接使用argmax(VarVarLeftVarRight)作為評判標(biāo)準(zhǔn)，即當(dāng)前節(jié)點(diǎn)訓(xùn)練集的方差Var減去左節(jié)點(diǎn)的方差VarLeft和右節(jié)點(diǎn)的方差VarRight。2)DecreaseAccuracy:對于一棵樹Tb(x)，我們用OOB樣本可以得到測試誤差1；然后隨機(jī)改變OOB樣本的第j列：保持其他列不變，對第j列進(jìn)行隨機(jī)的上下置換，得到誤差2。至此，我們可以用誤差1-誤差2來刻畫變量j的重要性。基本思想就是，如果一個變量j足夠重要，那么改變它會極大的增加測試誤差；反之，如果改變它測試誤差沒有增大，則說明該變量不是那么的重要。14、 優(yōu)化Kmeans使用kd樹或者balltree(這個樹不懂)將所有的觀測實(shí)例構(gòu)建成一顆kd樹，之前每個聚類中心都是需要和每個觀測點(diǎn)做依次距離計(jì)算，現(xiàn)在這些聚類中心根據(jù)kd樹只需要計(jì)算附近的一個局部區(qū)域即可KMeans初始類簇中心點(diǎn)的選取k-means++算法選擇初始seeds的基本思想就是：初始的聚類中心之間的相互距離要盡可能的遠(yuǎn)。從輸入的數(shù)據(jù)點(diǎn)集合中隨機(jī)選擇一個點(diǎn)作為第一個聚類中心對于數(shù)據(jù)集中的每一個點(diǎn)x，計(jì)算它與最近聚類中心(指已選擇的聚類中心)的距離D(x)選擇一個新的數(shù)據(jù)點(diǎn)作為新的聚類中心，選擇的原則是：D(x)較大的點(diǎn)，被選取作為聚類中心的概率較大重復(fù)2和3直到k個聚類中心被選出來利用這k個初始的聚類中心來運(yùn)行標(biāo)準(zhǔn)的k-means算法15、 解釋對偶的概念一個優(yōu)化問題可以從兩個角度進(jìn)行考察，一個是primal問題，一個是dual問題，就是對偶問題，一般情況下對偶問題給出主問題最優(yōu)值的下界，在強(qiáng)對偶性成立的情況下由對偶問題可以得到主問題的最優(yōu)下界，對偶問題是凸優(yōu)化問題，可以進(jìn)行較好的求解，SVM中就是將primal問題轉(zhuǎn)換為dual問題進(jìn)行求解，從而進(jìn)一步引入核函數(shù)的思想。16、 如何進(jìn)行特征選擇特征選擇是一個重要的數(shù)據(jù)預(yù)處理過程，主要有兩個原因：一是減少特征數(shù)量、降維，使模型泛化能力更強(qiáng)，減少過擬合;二是增強(qiáng)對特征和特征值之間的理解常見的特征選擇方式：去除方差較小的特征正則化。1正則化能夠生成稀疏的模型。L2正則化的表現(xiàn)更加穩(wěn)定，由于有用的特征往往對應(yīng)系數(shù)非零。隨機(jī)森林，對于分類問題，通常采用基尼不純度或者信息增益，對于回歸問題，通常采用的是方差或者最小二乘擬合。一般不需要featureengineering.調(diào)參等繁瑣的步驟。它的兩個主要問題，1是重要的特征有可能得分很低（關(guān)聯(lián)特征問題），2是這種方法對特征變量類別多的特征越有利（偏向問題）。穩(wěn)定性選擇。是一種基于二次抽樣和選擇算法相結(jié)合較新的方法，選擇算法可以是回歸、SVM或其他類似的方法。它的主要思想是在不同的數(shù)據(jù)子集和特征子集上運(yùn)行特征選擇算法，不斷的重復(fù)，最終匯總特征選擇結(jié)果，比如可以統(tǒng)計(jì)某個特征被認(rèn)為是重要特征的頻率（被選為重要特征的次數(shù)除以它所在的子集被測試的次數(shù)）。理想情況下，重要特征的得分會接近100%。稍微弱一點(diǎn)的特征得分會是非0的數(shù)，而最無用的特征得分將會接近于0。17、數(shù)據(jù)預(yù)處理缺失值，填充缺失值fillna:離散：None,連續(xù)：均值。缺失值太多，則直接去除該列連續(xù)值：離散化。有的模型（如決策樹）需要離散值對定量特征二值化。核心在于設(shè)定一個閾值，大于閾值的賦值為1,小于等于閾值的賦值為0。如圖像操作皮爾遜相關(guān)系數(shù)，去除高度相關(guān)的列#correlationmatrixcorrmat=df_train.corr（）f,ax=plt.subplots(figsize=(12,9))sns.heatmap(corrmat,vmax=.8,square二True);去除噪聲點(diǎn)。通過matplotlib.scatter函數(shù)圖示某一特征與預(yù)測特征的點(diǎn)分布圖，明顯看出噪聲點(diǎn)，去除即可#bivariateanalysissaleprice/grlivareavar='GrLivArea'data=pd.concat([df_train['SalePrice'],df_train[var]],axis=1)二(0,800000));df_train.sort_values(by='GrLivArea',ascending=False)[:2]df_train=df_train.drop(df_train[df_train['Id']==1299].index)df_train=df_train.drop(df_train[df_train['Id']==524].index)標(biāo)簽編碼，把字符類別特征編碼成數(shù)值類型，如紅綠藍(lán)編碼為0、1、2歸一化。將數(shù)據(jù)按比例縮放，使這些數(shù)據(jù)落入到一個較小的特定的區(qū)間之內(nèi)。最小最大縮放：當(dāng)使用基于距離的算法時，我們必須嘗試將數(shù)據(jù)縮放，這樣較不重要的特征不會因?yàn)樽陨磔^大的范圍而主導(dǎo)目標(biāo)函數(shù)。如KNN。在邏輯回歸中，每個特征都被分配了權(quán)重或系數(shù)(Wi)。如果某個特征有相對來說比較大的范圍，而且其在目標(biāo)函數(shù)中無關(guān)緊要，那么邏輯回歸模型自己就會分配一個非常小的值給它的系數(shù)，從而中和該特定特征的影響優(yōu)勢，而基于距離的方法，如KNN,沒有這樣的內(nèi)置策略，因此需要縮放。Z-score標(biāo)準(zhǔn)化：很多的機(jī)器學(xué)習(xí)技巧/模型(例如L1,L2正則項(xiàng)，向量空間模型-VectorSpaceModel，歐幾里得距離測量的KNN、k-均值、SVM、感知器、神經(jīng)網(wǎng)絡(luò)、線性判別分析、主成分分析)都基于這樣的假設(shè)：所有的屬性取值都差不多是以0為均值且取值范圍相近的，標(biāo)準(zhǔn)化數(shù)據(jù)幫助我們提高預(yù)測模型的精度。備注：在縮放和標(biāo)準(zhǔn)化中二選一是個令人困惑的選擇，你必須對數(shù)據(jù)和要使用的學(xué)習(xí)模型有更深入的理解，才能做出決定。對于初學(xué)者，你可以兩種方法都嘗試下并通過交叉驗(yàn)證精度來做出選擇。18、 什么是偏差與方差泛化誤差可以分解成偏差的平方加上方差加上噪聲。偏差度量了學(xué)習(xí)算法的期望預(yù)測和真實(shí)結(jié)果的偏離程度，刻畫了學(xué)習(xí)算法本身的擬合能力，方差度量了同樣大小的訓(xùn)練集的變動所導(dǎo)致的學(xué)習(xí)性能的變化，刻畫了數(shù)據(jù)擾動所造成的影響，噪聲表達(dá)了當(dāng)前任務(wù)上任何學(xué)習(xí)算法所能達(dá)到的期望泛化誤差下界，刻畫了問題本身的難度。偏差和方差一般稱為bias和variance，一般訓(xùn)練程度越強(qiáng)，偏差越小，方差越大，泛化誤差一般在中間有一個最小值，如果偏差較大，方差較小，此時一般稱為欠擬合，而偏差較小，方差較大稱為過擬合。偏差：方差：解決bias和Variance問題的方法：交叉驗(yàn)證Highbias解決方案:Boosting、復(fù)雜模型（非線性模型、增加神經(jīng)網(wǎng)絡(luò)中的層）、更多特征HighVariance解決方案：agging、簡化模型、降維19、 采用EM算法求解的模型有哪些，為什么不用牛頓法或梯度下降法用EM算法求解的模型一般有GMM或者協(xié)同過濾，k-means其實(shí)也屬于EM。EM算法一定會收斂，但是可能收斂到局部最優(yōu)。由于求和的項(xiàng)數(shù)將隨著隱變量的數(shù)目指數(shù)上升，會給梯度計(jì)算帶來麻煩。20、 SVM、LR、決策樹的對比模型復(fù)雜度：SVM支持核函數(shù)，可處理線性非線性問題;LR模型簡單，訓(xùn)練速度快，適合處理線性問題;決策樹容易過擬合，需要進(jìn)行剪枝損失函數(shù)：SVMhingeloss;LRL2正則化;adaboost指數(shù)損失數(shù)據(jù)敏感度：SVM添加容忍度對outlier不敏感，只關(guān)心支持向量，且需要先做歸一化;LR對遠(yuǎn)點(diǎn)敏感數(shù)據(jù)量：數(shù)據(jù)量大就用LR，數(shù)據(jù)量小且特征少就用SVM非線性21、GBDT和隨機(jī)森林的區(qū)別隨機(jī)森林采用的是bagging的思想，bagging又稱為bootstrapaggreagation，通過在訓(xùn)練樣本集中進(jìn)行有放回的采樣得到多個采樣集，基于每個采樣集訓(xùn)練出一個基學(xué)習(xí)器，再將基學(xué)習(xí)器結(jié)合。隨機(jī)森林在對決策樹進(jìn)行bagging的基礎(chǔ)上，在決策樹的訓(xùn)練過程中弓1入了隨機(jī)屬性選擇。傳統(tǒng)決策樹在選擇劃分屬性的時候是在當(dāng)前節(jié)點(diǎn)屬性集合中選擇最優(yōu)屬性，而隨機(jī)森林則是對結(jié)點(diǎn)先隨機(jī)選擇包含k個屬性的子集，再選擇最有屬性，k作為一個參數(shù)控制了隨機(jī)性的引入程度。另外，GBDT訓(xùn)練是基于Boosting思想，每一迭代中根據(jù)錯誤更新樣本權(quán)重，因此是串行生成的序列化方法，而隨機(jī)森林是bagging的思想，因此是并行化方法。22、xgboost怎么給特征評分在訓(xùn)練的過程中，通過Gini指數(shù)選擇分離點(diǎn)的特征，一個特征被選中的次數(shù)越多，那么該特征評分越高。[python]viewplaincopyprint?#featureimportanceprint(model.feature_importances_)#plotpyplot.bar(range(len(model.feature_importances_)),model.feature_importances_)pyplot.show()==========#plotfeatureimportanceplot_importance(model)pyplot.show()featureimportanceprint(model.feature_importances_)plotpyplot.bar(range(len(model.feature_importances_)),model.feature_i