普通最小二乘法推導(dǎo)過(guò)程

普通最小二乘法推導(dǎo)過(guò)程

普通最小二乘法是一種回歸分析方法，它能夠通過(guò)最小化預(yù)測(cè)值與實(shí)際值之間的殘差平方和，來(lái)確定自變量與因變量之間的關(guān)系。下面是普通最小二乘法的推導(dǎo)過(guò)程。

1.模型

普通最小二乘法的模型通常在樣本觀測(cè)值的基礎(chǔ)上，建立一個(gè)函數(shù)表示因變量與自變量之間的關(guān)系，如下式所示：

$$

y_{i}=\beta_{0}+\beta_{1}x_{i1}+\beta_{2}x_{i2}+\ldots+\beta_{k}x_{ik}+\varepsilon_{i}

$$

其中，$y_{i}$代表第$i$個(gè)觀測(cè)值的因變量值，$\beta_{0}$表示常數(shù)項(xiàng)，$\beta_{1},\ldots,\beta_{k}$表示自變量的系數(shù)，$x_{i1},\ldots,x_{ik}$是第$i$個(gè)觀測(cè)值的自變量，$\varepsilon_{i}$表示第$i$個(gè)觀測(cè)值的隨機(jī)誤差項(xiàng)。

2.殘差

為了衡量實(shí)際值與預(yù)測(cè)值之間的差異，我們需要計(jì)算每個(gè)觀測(cè)值的殘差。殘差是實(shí)際值與預(yù)測(cè)值之間的差異，可以通過(guò)以下公式計(jì)算：

$$

e_{i}=y_{i}-\hat{y}_{i}=y_{i}-\left(\hat{\beta}_{0}+\hat{\beta}_{1}x_{i1}+\hat{\beta}_{2}x_{i2}+\ldots+\hat{\beta}_{k}x_{ik}\right)

$$

其中，$e_{i}$表示第$i$個(gè)觀測(cè)值的殘差，$y_{i}$與$x_{i1},\ldots,x_{ik}$的意義同上，$\hat{y}_{i}$為第$i$個(gè)觀測(cè)值的預(yù)測(cè)值，$\hat{\beta}$為回歸系數(shù)的估計(jì)值。

3.最小二乘估計(jì)

普通最小二乘法的核心思想是最小化殘差平方和，即：

$$

\operatorname{minimize}\sum_{i=1}^{n}e_{i}^{2}=\sum_{i=1}^{n}\left(y_{i}-\beta_{0}-\beta_{1}x_{i1}-\ldots-\beta_{k}x_{ik}\right)^{2}

$$

將目標(biāo)函數(shù)對(duì)回歸系數(shù)求偏導(dǎo)并令其等于零可得：

$$

\left\{\begin{array}{c}

\frac{\partial\operatorname{SSE}}{\partial\beta_{0}}=0\\

\frac{\partial\operatorname{SSE}}{\partial\beta_{1}}=0\\

\ldots\\

\frac{\partial\operatorname{SSE}}{\partial\beta_{k}}=0

\end{array}\right.

$$

其中，$\operatorname{SSE}$表示殘差平方和。解上述方程組可得回歸系數(shù)的估計(jì)值：

$$

\hat{\beta}=\left(\mathbf{X}^{\mathrm{T}}\mathbf{X}\right)^{-1}\mathbf{X}^{\mathrm{T}}\mathbf{y}

$$

其中，$\mathbf{X}$是自變量矩陣，$\mathbf{y}$是因變量向量。

4.驗(yàn)證模型

最后，我們需要對(duì)模型進(jìn)行驗(yàn)證，以評(píng)估其擬合優(yōu)度。通常使用$R^{2}$來(lái)評(píng)估模型的擬合優(yōu)度，其計(jì)算方法如下：

$$

R^{2}=1-\frac{\sum_{i=1}^{n}e_{i}^{2}}{\sum_{i=1}^{n}\left(y_{i}-\overline{y}\right)^{2}}

$$

其中，$\overline{y}$為因變量的平均值。$R^{2}$的取值范圍為0到1，值越接近1，說(shuō)明模型對(duì)數(shù)據(jù)的擬合越好。

總之，普通最小