機(jī)器學(xué)習(xí)---線性回歸與更多

機(jī)器學(xué)習(xí)——線性回歸與更多內(nèi)容綱要何為線性回歸123能力提升在于實(shí)踐456損失函數(shù)正規(guī)方程解梯度與梯度下降多項(xiàng)式回歸，欠擬合，過擬合正則化7回歸的評估方法升級實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革全面推動學(xué)習(xí)者能力提升Chapter機(jī)器學(xué)習(xí)

——線性回歸與更多何為線性回歸何為線性回歸車輛重量油耗(L/100KM)163810.8172411.513327.4192013.6356020.9237018.31570???特征(Feature)標(biāo)簽(Label)監(jiān)督學(xué)習(xí)-回歸預(yù)測(Prediction)何為線性回歸車輛重量油耗5101520樣本空間中對樣本規(guī)律的線性總結(jié)何為線性回歸車輛重量（x)油耗(h(x))5101520你曾經(jīng)熟悉的數(shù)學(xué)表達(dá)你將記住的數(shù)學(xué)表達(dá)何為線性回歸車輛重量(x1)油耗(h(x))5101520排量(x2)何為線性回歸ifn=1一元線性回歸回歸直線ifn>1多元線性回歸回歸平面/超平面全面推動學(xué)習(xí)者能力提升升級實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——線性回歸與更多損失函數(shù)損失函數(shù)找到合適的θ，使得回歸方程能最好的總結(jié)數(shù)據(jù)的線性規(guī)律正規(guī)方程梯度下降損失函數(shù)“大海航行中的指南針”損失函數(shù)車輛重量（x1)油耗(h(x))5101520實(shí)際值(y)預(yù)測值(h(x))“誤差”損失函數(shù)orx=0不可導(dǎo)損失函數(shù)是一個(gè)只關(guān)于θ的函數(shù)，θ的值在回歸直線方程中決定回歸直線的形狀。而J(θ)代表著回歸直線的總體誤差，衡量著回歸直線表現(xiàn)的好壞在損失函數(shù)J(θ)最小時(shí)，回歸直線的總體誤差最小，回歸直線表現(xiàn)即為最好所以求最佳回歸直線對應(yīng)的θ值的問題被轉(zhuǎn)化為求J(θ)的最值數(shù)據(jù)集中的已知數(shù)據(jù)損失函數(shù)正規(guī)方程梯度下降全面推動學(xué)習(xí)者能力提升升級實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——線性回歸與更多正規(guī)方程正規(guī)方程正規(guī)方程X-1000個(gè)樣本W(wǎng)orksfineX-100000個(gè)樣本巨量矩陣運(yùn)算不滿秩，無法使用全面推動學(xué)習(xí)者能力提升升級實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——線性回歸與更多梯度下降梯度下降機(jī)器學(xué)習(xí)/深度學(xué)習(xí)中最重要的優(yōu)化/求解方法梯度下降機(jī)器學(xué)習(xí)/深度學(xué)習(xí)中最重要的優(yōu)化/求解方法梯度下降學(xué)習(xí)率梯度梯度下降學(xué)習(xí)率過小梯度下降學(xué)習(xí)率過大if計(jì)算5次迭代下降過后的θ初始值隨意選擇

梯度下降1Chapter梯度下降學(xué)習(xí)率梯度梯度下降全面推動學(xué)習(xí)者能力提升升級實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——線性回歸與更多多項(xiàng)式回歸，欠擬合，過擬合多項(xiàng)式回歸，欠擬合，過擬合xh(x)xh(x)線性回歸多項(xiàng)式回歸多項(xiàng)式回歸，欠擬合，過擬合xh(x)xh(x)線性回歸多項(xiàng)式回歸多項(xiàng)式回歸，欠擬合，過擬合多項(xiàng)式回歸多項(xiàng)式回歸，欠擬合，過擬合xh(x)過擬合是對樣本機(jī)械本的記憶并沒有總結(jié)出樣本的一般規(guī)律記憶而不是學(xué)習(xí)過擬合(overfitting)多項(xiàng)式回歸，欠擬合，過擬合xh(x)欠擬合是對樣本規(guī)律的總結(jié)的欠缺沒有學(xué)習(xí)到位欠擬合(underfitting)多項(xiàng)式回歸，欠擬合，過擬合xh(x)過擬合欠擬合理想擬合過擬合(overfitting)“火候過大，東西燒焦了”訓(xùn)練集上效果爆表，測試和使用中一落千丈欠擬合(underfitting)“火候不夠，東西還沒熟”無論在訓(xùn)練集，測試集還是使用上，效果都很差全面推動學(xué)習(xí)者能力提升升級實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革正則化正則化在搭建模型當(dāng)中，我們希望避免哪一種情況？過擬合(overfitting)欠擬合(overfitting)更換模型/繼續(xù)訓(xùn)練正則化正則化xh(x)過擬合是對樣本機(jī)械本的記憶并沒有總結(jié)出樣本的一般規(guī)律記憶而不是學(xué)習(xí)過擬合(overfitting)正則化xh(x)xh(x)令高次項(xiàng)對應(yīng)的θ盡可能小正則化嶺回歸RidgeRegressionL2正則LASSO回歸leastabsoluteshrinkageandselectionoperatorL1正則正則化嶺回歸L2正則項(xiàng)正則化LASSOL1正則項(xiàng)正則化正則化嶺回歸L2正則LASSO回歸L1正則盡可能的讓所有的特征θ值更小進(jìn)而減小損失函數(shù)使得某些不重要的特征對應(yīng)的θ趨向于0進(jìn)而減小損失函數(shù)全面推動學(xué)習(xí)者能力提升升級實(shí)踐教學(xué)激發(fā)技術(shù)創(chuàng)新助力產(chǎn)業(yè)變革機(jī)器學(xué)習(xí)

——