機器學習知識框架分享

1、機器學習知識框架演講人2021-12-2301閾值函數(shù)閾值函數(shù)Sigmoid函數(shù)子主題02損失函數(shù)損失函數(shù)負的Log似然函數(shù)（NLL）子主題03數(shù)理統(tǒng)計似然估計極大似然估計？04優(yōu)化算法優(yōu)化算法梯度下降法（GD） 初始點下降方向步長凸優(yōu)化問題05概覽概念概覽機器學習是從數(shù)據(jù)中學習和提取有用的信息，不斷提升機器的性能算法分類（Classification）回歸（Regression）監(jiān)督學習(Supervised Learning) 增強學習(Reinforcement Learning)聚類（Clustering）無監(jiān)督學習(Unsupervised Learning) 半監(jiān)督學習(Semi-

2、Supervised Learning)06監(jiān)督學習監(jiān)督學習分類算法 回歸算法監(jiān)督學習分類算法 Logistic RegressionSoftmax RegressionFactorization MachineBP神經(jīng)網(wǎng)絡(luò)隨機森林（Random Forest）支持向量機010203040506分類算法 KNN算法監(jiān)督學習Logistic RegressionLogistic Regression模型監(jiān)督學習回歸算法01線性回歸算法02邏輯回歸算法03Softmax Regression算法04嶺回歸和Lasso回歸05CART樹回歸線性回歸算法目標函數(shù)（模型）01線性回歸函數(shù)損失函數(shù)02求誤

3、差平方和最小優(yōu)化算法03隨機梯度下降最小二乘法邏輯回歸算法目標函數(shù)（模型）極大似然估計對數(shù)似然損失函數(shù)邏輯回歸算法優(yōu)化算法隨機梯度下降01牛頓法02L-BFGS03Softmax Regression算法目標函數(shù)01損失函數(shù)02優(yōu)化算法0307酉函數(shù)酉函數(shù) 08梯度梯度 09微積分微積分求偏導泰勒級數(shù)10模型訓練思考方式模型訓練思考方式 確定問題1 設(shè)計目標函數(shù)（模型）3梯度下降算法隨機梯度下降設(shè)計優(yōu)化方法5 特征工程2均方誤差（MSE）子主題子主題設(shè)計損失函數(shù)411凸函數(shù)凸函數(shù) 12L1/L2正則化L1/L2正則化13決策樹算法決策樹算法單棵樹子主題子主題集成學習bagging算法 隨機森林boosting算法14數(shù)學基礎(chǔ)數(shù)學基礎(chǔ)51234矩估計 中心極值定理 微積分導數(shù)/偏導數(shù)概率論基礎(chǔ) 協(xié)方差 15特征工程特征工程16無監(jiān)督學習無監(jiān)督學習聚類算法01K-means02Mean Shift03DBSCAN04Lable Propagation17推薦算法推薦算法基于矩陣分解的推薦算法