人工智能安全：原理與實踐 課件 第8章 梯度下降算法的安全應(yīng)用

第8章梯度下降算法的安全應(yīng)用8.1梯度下降算法原理簡介本章介紹

梯度下降（GradientDescent）算法是機器學(xué)習(xí)中最常用的優(yōu)化方法之一。它的作用是通過迭代尋找函數(shù)的最大值或最小值。本章介紹了梯度下降算法的原理、優(yōu)化方法、常見問題以及實際應(yīng)用。在編程實踐部分介紹了一個基于梯度下降的模型逆向（ModelInversion）攻擊。1.梯度下降算法概述在機器學(xué)習(xí)中，通常用梯度下降算法最小化代價函數(shù)（CostFunction），這樣就可以得到模型的最優(yōu)參數(shù)。梯度下降算法原理如圖所示。1.梯度下降算法概述梯度下降算法的核心思想很簡單，它的原理是在每一步迭代過程中，沿著函數(shù)梯度方向移動一定的距離，進(jìn)而達(dá)到找到最小值的目的。梯度下降算法的一般步驟如下：（1）初始化參數(shù)（2）計算代價函數(shù)（3）計算梯度（4）更新參數(shù)（5）重復(fù)步驟2-42.梯度下降算法優(yōu)化方法雖然梯度下降算法很簡單，但是在實際應(yīng)用中，為了提高算法的效率和穩(wěn)定性，通常需要對其進(jìn)行優(yōu)化。下面介紹幾種常見的梯度下降算法優(yōu)化方法。（1）批量梯度下降算法（BatchGradientDescent）（2）隨機梯度下降算法（StochasticGradientDescent）（3）小批量梯度下降算法（Mini-BatchGradientDescent）（4）動量梯度下降算法（MomentumGradientDescent）（5）自適應(yīng)學(xué)習(xí)率梯度下降算法（AdaptiveLearningRateGradientDescent）3.梯度下降算法的應(yīng)用梯度下降算法在人工智能機器學(xué)習(xí)中有著廣泛的應(yīng)用，下面介紹幾個常見的應(yīng)用場景。(1)線性回歸(2)邏輯回歸(3)神經(jīng)網(wǎng)絡(luò)(4)深度學(xué)習(xí)深度學(xué)習(xí)通常使用隨機梯度下降算法或小批量梯度下降算法來進(jìn)行訓(xùn)練。在深度學(xué)習(xí)中，梯度下降算法的性能對于模型的精度和速度都有著至關(guān)重要的影響。小結(jié)本小節(jié)詳細(xì)介紹梯度下降算法的技術(shù)原理、優(yōu)化方法以及其典型的應(yīng)用場景。祝同學(xué)們學(xué)習(xí)進(jìn)步！致謝李劍博士，教授，博士生導(dǎo)師網(wǎng)絡(luò)空間安全學(xué)院lijian@January23,2025第8章梯度下降算法的安全應(yīng)用實踐8-1基于梯度下降的模型逆向攻擊本章介紹模型逆向是一種針對機器學(xué)習(xí)模型的隱私攻擊，目的是從模型的輸出推斷回其輸入數(shù)據(jù)，或者從模型中提取關(guān)于輸入數(shù)據(jù)的信息。1.模型逆向攻擊簡介

敏感數(shù)據(jù)上訓(xùn)練的模型可能會意外地泄露關(guān)于其訓(xùn)練數(shù)據(jù)的信息。通過模型逆向，研究人員可以評估模型可能泄露的信息量，從而設(shè)計更好的數(shù)據(jù)保護(hù)策略和模型結(jié)構(gòu)。另外在數(shù)據(jù)受限的情況下，模型逆向可以用來生成新的數(shù)據(jù)實例，這些數(shù)據(jù)實例可以用于進(jìn)一步的訓(xùn)練和增強模型的性能。模型逆向攻擊如圖所示。1.模型逆向攻擊簡介常見的模型逆向攻擊分類如下：（1）特征推導(dǎo)攻擊（FeatureInferenceAttacks）：（2）數(shù)據(jù)重建攻擊（DataReconstructionAttacks）：2.實踐目的本節(jié)實踐內(nèi)容“基于梯度下降的模型逆向攻擊”的目的如下：（1）理解機器學(xué)習(xí)隱私問題（2）熟悉基于梯度下降的模型逆向攻擊及實現(xiàn)（3）體驗對抗性思維3.常見的模型逆向攻擊方法常見的模型逆向攻擊方法如下：1.梯度下降法（GradientDescentMethods）：使用梯度下降優(yōu)化產(chǎn)生的輸出，使其更接近目標(biāo)樣本，從而推導(dǎo)出訓(xùn)練數(shù)據(jù)。2.生成式模型（GenerativeModels）：使用生成式對抗網(wǎng)絡(luò)（GANs）等技術(shù)生成可能的訓(xùn)練樣本。3.特征匹配（FeatureMatching）：通過比較模型各層中間激活值與已知樣本，嘗試生成匹配訓(xùn)練數(shù)據(jù)特征的新樣本。

基于梯度下降的模型逆向攻擊（ModelInversionAttackusingGradientDescent）是一種通過優(yōu)化過程，逐步調(diào)整輸入數(shù)據(jù)（通常是初始猜測或隨機噪聲），使得其輸出與目標(biāo)模型給出的輸出盡可能一致，從而間接推測出來原始訓(xùn)練數(shù)據(jù)的一種攻擊方法。4.實踐方法和流程本實踐內(nèi)容“基于梯度下降的模型逆向攻擊”實現(xiàn)流程如下：確定目標(biāo)輸出初始化輸入計算損失求梯度更新輸入迭代優(yōu)化5.實踐內(nèi)容使用基于梯度下降的模型逆向攻擊，重建目標(biāo)MLP模型的人臉訓(xùn)練圖像。數(shù)據(jù)集：本地pgm圖像數(shù)據(jù)集，一共有40個類別，每個類別下有十張圖片，每個類別對應(yīng)一個人的各種人臉隱私信息。這些內(nèi)容都在本書提供的網(wǎng)站上下載。6.實踐環(huán)境 Python版本：3.10.0或以上版本 深度學(xué)習(xí)框架：Pytorch1.7.0

運行平臺：PyCharm

其他庫版本：numpy1.24.3，scikit-learn1.2.2，matplotlib3.7.1、pandas1.5.3、torchvision0.15.2、click7.1.27.實踐過程1.模型及訓(xùn)練設(shè)置隨機種子，torch.manual_seed(SEED)，如果使用cuda還需要設(shè)置torch.cuda.manual_seed(SEED)，以確保實驗結(jié)果的可重復(fù)性。7.實踐過程

定義目標(biāo)模型，案例里設(shè)置為一個簡單的兩層神經(jīng)網(wǎng)絡(luò)，它有一個輸入層和一個輸出層。輸入層將輸入向量轉(zhuǎn)換到一個3000維的較大空間，然后通過sigmoid激活函數(shù)，最后通過輸出層映射到目標(biāo)類別的數(shù)量。7.實踐過程下面是評估函數(shù)的實現(xiàn)。7.實踐過程2．模型逆向攻擊mi_face函數(shù)主要通過梯度下降的方式執(zhí)行模型逆向攻擊，從一個預(yù)訓(xùn)練的深度學(xué)習(xí)模型（及參數(shù)中的model）中重構(gòu)特定類別的代表性圖像。該函數(shù)的設(shè)計基于優(yōu)化過程，通過調(diào)整輸入圖像使得模型輸出的分類結(jié)果接近目標(biāo)分類。下面是mi_face的實現(xiàn)。8.實踐結(jié)果1.在預(yù)訓(xùn)練目標(biāo)模型或者重新訓(xùn)練目標(biāo)模型的場景下實現(xiàn)完整的模型逆向攻擊，使用50次迭代