機器學習基礎(chǔ)

匯報人：AA2024-01-26機器學習基礎(chǔ)目錄機器學習概述監(jiān)督學習非監(jiān)督學習神經(jīng)網(wǎng)絡(luò)與深度學習特征工程與數(shù)據(jù)預(yù)處理模型評估與優(yōu)化方法總結(jié)與展望01機器學習概述機器學習是一種通過訓練數(shù)據(jù)自動發(fā)現(xiàn)規(guī)律，并應(yīng)用于新數(shù)據(jù)的算法和模型。定義機器學習經(jīng)歷了從符號學習到統(tǒng)計學習再到深度學習的演變，不斷推動著人工智能領(lǐng)域的發(fā)展。發(fā)展歷程定義與發(fā)展歷程計算機視覺自然語言處理語音識別推薦系統(tǒng)機器學習應(yīng)用領(lǐng)域01020304通過圖像識別、目標檢測等技術(shù)，實現(xiàn)圖像和視頻的自動分析和理解。運用文本挖掘、情感分析等技術(shù)，處理和理解人類自然語言。將語音信號轉(zhuǎn)換為文本或命令，實現(xiàn)人機交互和語音助手等功能。根據(jù)用戶歷史行為和興趣，為用戶推薦相關(guān)產(chǎn)品或內(nèi)容。監(jiān)督學習無監(jiān)督學習半監(jiān)督學習強化學習機器學習算法分類通過已知輸入和輸出數(shù)據(jù)進行訓練，預(yù)測新數(shù)據(jù)的輸出。利用部分有標簽數(shù)據(jù)和大量無標簽數(shù)據(jù)進行訓練，提高學習性能。從無標簽數(shù)據(jù)中學習數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特征。智能體通過與環(huán)境交互，學習達到目標的最佳策略。02監(jiān)督學習

線性回歸與邏輯回歸線性回歸一種通過最小化預(yù)測值與實際值之間的均方誤差來擬合數(shù)據(jù)的統(tǒng)計方法。它假設(shè)因變量和自變量之間存在線性關(guān)系。邏輯回歸一種用于解決二分類問題的統(tǒng)計方法。它使用邏輯函數(shù)將線性回歸的輸出映射到[0,1]區(qū)間，表示某個樣本屬于正類的概率。損失函數(shù)與優(yōu)化在線性回歸和邏輯回歸中，通常使用均方誤差或交叉熵作為損失函數(shù)，并使用梯度下降等優(yōu)化算法來最小化損失函數(shù)。SVM是一種分類器，其基本思想是在特征空間中尋找一個超平面，使得該超平面能夠最大化地將不同類別的樣本分開。原理為了解決非線性問題，SVM引入了核函數(shù)的概念，將樣本映射到一個更高維的特征空間，然后在這個空間中尋找超平面。核函數(shù)為了處理一些無法被超平面完全分開的樣本，SVM引入了軟間隔的概念，并通過正則化來平衡模型的復(fù)雜度和經(jīng)驗風險。軟間隔與正則化支持向量機（SVM）一種基于樹形結(jié)構(gòu)的分類或回歸方法。它通過遞歸地將數(shù)據(jù)集劃分為若干個子集，每個子集對應(yīng)一個決策樹的節(jié)點，最終形成一個樹狀結(jié)構(gòu)。決策樹一種基于決策樹的集成學習方法。它通過構(gòu)建多個決策樹并結(jié)合它們的輸出來提高模型的泛化能力。隨機森林在構(gòu)建決策樹時，通常需要進行特征選擇以選擇最優(yōu)的劃分屬性。同時，為了避免過擬合，還需要進行剪枝操作。特征選擇與剪枝決策樹與隨機森林評估指標與模型選擇評估指標在監(jiān)督學習中，常用的評估指標包括準確率、精確率、召回率、F1分數(shù)等。這些指標可以幫助我們評估模型的性能并選擇最優(yōu)的模型。模型選擇在選擇模型時，除了考慮模型的性能外，還需要考慮模型的復(fù)雜度、訓練時間、可解釋性等因素。同時，還可以使用交叉驗證等方法來評估模型的泛化能力。03非監(jiān)督學習03DBSCAN聚類基于密度的聚類方法，能夠發(fā)現(xiàn)任意形狀的簇，并且能夠識別噪聲點。01K-means聚類通過迭代將數(shù)據(jù)劃分為K個簇，使得每個簇內(nèi)的數(shù)據(jù)點盡可能相似，而不同簇之間的數(shù)據(jù)點盡可能不同。02層次聚類通過構(gòu)建嵌套的簇層次結(jié)構(gòu)來進行聚類，可以根據(jù)需要選擇不同的層次進行劃分。聚類分析算法123通過線性變換將原始數(shù)據(jù)變換為一組各維度線性無關(guān)的表示，可用于高維數(shù)據(jù)的降維。PCA原理對數(shù)據(jù)進行標準化處理，計算協(xié)方差矩陣，求解協(xié)方差矩陣的特征值和特征向量，選擇主要的主成分進行降維。PCA步驟可用于數(shù)據(jù)可視化、噪聲過濾、特征提取等方面。PCA應(yīng)用降維技術(shù)：主成分分析（PCA）通過假設(shè)數(shù)據(jù)服從某種分布，然后根據(jù)分布的偏差來識別異常點?；诮y(tǒng)計的異常檢測通過計算數(shù)據(jù)點與其他點的距離來識別異常點，通常異常點會遠離其他點?；诰嚯x的異常檢測通過考察數(shù)據(jù)點周圍的密度來識別異常點，異常點通常位于低密度區(qū)域?；诿芏鹊漠惓z測利用聚類算法將數(shù)據(jù)劃分為不同的簇，然后識別不屬于任何簇的異常點?；诰垲惖漠惓z測異常檢測算法04神經(jīng)網(wǎng)絡(luò)與深度學習前饋神經(jīng)網(wǎng)絡(luò)是一種最簡單的神經(jīng)網(wǎng)絡(luò)，信息單向傳遞，從輸入層經(jīng)過隱藏層到達輸出層，不存在反向傳播。定義通常由輸入層、一個或多個隱藏層、輸出層組成，每層的神經(jīng)元與下一層的神經(jīng)元全連接，同一層內(nèi)的神經(jīng)元無連接。結(jié)構(gòu)適用于分類、回歸等任務(wù)，如手寫數(shù)字識別、圖像分類等。應(yīng)用前饋神經(jīng)網(wǎng)絡(luò)（FNN）定義01卷積神經(jīng)網(wǎng)絡(luò)是一種專門用于處理具有類似網(wǎng)格結(jié)構(gòu)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，如圖像、語音信號等。結(jié)構(gòu)02主要由卷積層、池化層、全連接層組成，通過卷積操作提取輸入數(shù)據(jù)的局部特征，通過池化操作降低數(shù)據(jù)維度，最后通過全連接層進行分類或回歸。應(yīng)用03廣泛應(yīng)用于圖像識別、語音識別、自然語言處理等領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)（CNN）定義循環(huán)神經(jīng)網(wǎng)絡(luò)是一種具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)，能夠處理序列數(shù)據(jù)，如文本、語音、視頻等。結(jié)構(gòu)RNN的基本結(jié)構(gòu)包括輸入層、隱藏層和輸出層，隱藏層的輸出不僅與當前時刻的輸入有關(guān)，還與上一時刻隱藏層的輸出有關(guān)。應(yīng)用適用于序列建模任務(wù)，如機器翻譯、語音識別、文本生成等。循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）優(yōu)化算法與訓練技巧用于優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)，常見的優(yōu)化算法有梯度下降法、隨機梯度下降法、Adam等。訓練技巧包括正則化、批歸一化、學習率衰減等，用于提高神經(jīng)網(wǎng)絡(luò)的泛化能力和訓練速度。調(diào)參技巧通過調(diào)整超參數(shù)如學習率、批大小、迭代次數(shù)等來優(yōu)化模型性能。同時，使用交叉驗證、網(wǎng)格搜索等方法可以幫助找到最佳的超參數(shù)組合。優(yōu)化算法05特征工程與數(shù)據(jù)預(yù)處理文本特征提取包括詞袋模型、TF-IDF、Word2Vec等方法，用于將文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值特征向量。圖像特征提取利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）等深度學習模型，提取圖像中的局部和全局特征。語音特征提取通過語音信號處理技術(shù)，如MFCC、LPC等，提取語音信號中的聲學特征。特征提取方法缺失值處理根據(jù)數(shù)據(jù)的分布和特性，選擇填充缺失值的方法，如均值填充、中位數(shù)填充、插值等。異常值處理利用統(tǒng)計方法或機器學習模型，識別并處理數(shù)據(jù)中的異常值，如刪除、替換或保留。數(shù)據(jù)轉(zhuǎn)換通過標準化、歸一化等方法，將數(shù)據(jù)轉(zhuǎn)換為適合機器學習模型的數(shù)值范圍。數(shù)據(jù)清洗和轉(zhuǎn)換技巧根據(jù)特征與目標變量的相關(guān)性或重要性，選擇對模型預(yù)測性能有顯著影響的特征子集。利用主成分分析（PCA）、線性判別分析（LDA）等方法，將高維特征空間降維到低維空間，減少計算復(fù)雜度和過擬合風險。特征選擇和降維技術(shù)降維技術(shù)特征選擇06模型評估與優(yōu)化方法過擬合與欠擬合問題針對過擬合，可以采用增加數(shù)據(jù)量、降低模型復(fù)雜度、正則化等方法；針對欠擬合，可以采用增加特征、增加模型復(fù)雜度等方法。解決方法模型在訓練數(shù)據(jù)上表現(xiàn)很好，但在測試數(shù)據(jù)上表現(xiàn)較差，因為模型過于復(fù)雜，把訓練數(shù)據(jù)中的噪聲也學習了進來。過擬合模型在訓練數(shù)據(jù)上表現(xiàn)不好，且在測試數(shù)據(jù)上表現(xiàn)也不好，因為模型過于簡單，無法捕捉到數(shù)據(jù)中的復(fù)雜模式。欠擬合L2正則化（Ridge回歸）在損失函數(shù)中加入權(quán)重系數(shù)的平方和，使得模型傾向于選擇更小的權(quán)重，達到防止過擬合的效果。彈性網(wǎng)正則化同時結(jié)合L1和L2正則化，既可以進行特征選擇，又可以防止過擬合。L1正則化（Lasso回歸）在損失函數(shù)中加入權(quán)重系數(shù)的絕對值之和，使得模型傾向于選擇更少的特征，達到特征選擇的效果。正則化方法：L1、L2正則化等交叉驗證策略將原始數(shù)據(jù)集分成k個子集，每次使用k-1個子集作為訓練集，剩余的一個子集作為測試集，重復(fù)k次，得到k個測試結(jié)果的均值作為模型性能的評估指標。網(wǎng)格搜索調(diào)優(yōu)通過遍歷指定的參數(shù)網(wǎng)格，尋找最優(yōu)的參數(shù)組合。在交叉驗證的基礎(chǔ)上，對每個參數(shù)組合進行性能評估，選擇性能最好的參數(shù)組合作為模型的最終參數(shù)。自動化調(diào)參工具如GridSearchCV、RandomizedSearchCV等，可以自動進行參數(shù)搜索和交叉驗證，提高調(diào)參效率。010203交叉驗證策略及網(wǎng)格搜索調(diào)優(yōu)07總結(jié)與展望可解釋性與可信任性隨著機器學習應(yīng)用的廣泛普及，模型的可解釋性和可信任性將越來越受到關(guān)注，以提高人們對機器學習模型的信任度和接受度。自動化機器學習未來機器學習將更加注重自動化，包括自動特征選擇、模型選擇和調(diào)參等，以降低機器學習應(yīng)用的門檻和提高效率。深度學習優(yōu)化深度學習作為機器學習的重要分支，未來將繼續(xù)在模型結(jié)構(gòu)、優(yōu)化算法和訓練技巧等方面進行優(yōu)化，以提高模型的性能和泛化能力。強化學習應(yīng)用拓展強化學習在處理序列決策問題中具有獨特優(yōu)勢，未來將在更多領(lǐng)域得到應(yīng)用，如機器人控制、自然語言處理等。機器學習發(fā)展趨勢挑戰(zhàn)及未來研究方向數(shù)據(jù)質(zhì)量與標注問題當前機器學習模型對數(shù)據(jù)質(zhì)量和標注的依賴程度較高，如何解決數(shù)據(jù)質(zhì)量差、標注不準確等問題是未來研究的