第3章-線性回歸

MACHINELEARNING機器學習第3章線性回歸3.1線性回歸算法3.2

波士頓房產(chǎn)價格分析3.3回歸模型的評價方法of4123.4多元線性回歸第3章線性回歸of413可解決回歸問題思想簡單，實現(xiàn)容易許多強大的非線性模型的基礎(chǔ)結(jié)果具有很好的可解釋性蘊含機器學習中的很多重要思想3.1線性回歸算法第3章線性回歸of414線性回歸算法以一個坐標系里一個維度為結(jié)果，其他維度為特征（如二維平面坐標系中橫軸為特征，縱軸為結(jié)果），無數(shù)的訓練集放在坐標系中，發(fā)現(xiàn)他們是圍繞著一條執(zhí)行分布。線性回歸算法的期望，就是尋找一條直線，最大程度的“擬合”樣本特征和樣本輸出標記的關(guān)系。3.1線性回歸算法線性回歸算法原理第3章線性回歸of415線性回歸算法首先確定擬合樣本特征函數(shù)，然后再確定擬合特征函數(shù)與樣本之間距離的損失函數(shù)，最后通過數(shù)學方法推導使損失函數(shù)值最小的算法參數(shù)數(shù)學式子。3.1線性回歸算法線性回歸算法原理第3章線性回歸of416擬合樣本數(shù)據(jù)的直線方程損失函數(shù)

因為需要使用求導的方法，找到使損失函數(shù)值最小的算法參數(shù)（直線方程中的a和b）數(shù)學式子，所以損失函數(shù)需要可導。損失函數(shù)不使用絕對值的方式，由于絕對值函數(shù)存在不可導的點。損失函數(shù)不使用直接相減的方式，由于差值有正有負，會抵消。3.1線性回歸算法線性回歸算法原理第3章線性回歸of417使用典型的最小二乘法可推導出a和b的式子損失函數(shù)是計算期望值和預(yù)測值的差值，期望其差值（也就是損失）越來越小，而效用函數(shù)則是描述擬合度，期望契合度越來越好3.1線性回歸算法線性回歸算法原理第3章線性回歸of4183.1線性回歸算法線性回歸的最小二乘法推導過程第3章線性回歸of4193.1線性回歸算法線性回歸的最小二乘法推導過程第3章線性回歸of41103.1線性回歸算法線性回歸的最小二乘法推導過程第3章線性回歸of41113.1線性回歸算法線性回歸的最小二乘法推導過程第3章線性回歸of41123.1線性回歸算法線性回歸的最小二乘法推導過程第3章線性回歸of41133.1線性回歸算法線性回歸的最小二乘法推導過程第3章線性回歸of41143.1線性回歸算法線性回歸的最小二乘法推導過程—向量化第3章線性回歸of41153.1線性回歸算法線性回歸的最小二乘法推導過程—向量化第3章線性回歸of41163.2波士頓房產(chǎn)價格分析第3章線性回歸of41173.3回歸模型的評價方法MSEMeanSquareError均方誤差第3章線性回歸of41183.3回歸模型的評價方法RMSERootMeanSquardError均方根誤差第3章線性回歸of41193.3回歸模型的評價方法MAEMeanAbsoluteError平均絕對誤差第3章線性回歸of41203.3回歸模型的評價方法RSquared第3章線性回歸of41213.4多元線性回歸多元線性回歸推導第3章線性回歸of41223.4多元線性回歸多元線性回歸推導第3章線性回歸of41233.4多元線性回歸多元線性回歸推導第3章線性回歸of41243.4多元線性回歸多元線性回歸推導第3