一、问题描述#

给定 $n$ 组数据点 $(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)$，希望用一个线性函数

来拟合这些数据点。目标是找到参数 $a$ 和 $b$，使得拟合直线与观测数据之间的误差平方和最小。

二、残差平方和#

对于每一个数据点 $i$，其观测值为 $y_i$，拟合值为 $\hat{y}_i = a x_i + b$。因此，残差为

残差平方和 $S$ 定义为：

我们的目标是最小化 $S(a, b)$。

三、求最优参数#

令 $S(a, b)$ 关于 $a$ 和 $b$ 的偏导数为零，得到极值点。

四、联立方程#

将上面的两个式子整理如下：

令

• $S_x = \sum_{i=1}^{n} x_i$
• $S_y = \sum_{i=1}^{n} y_i$
• $S_{xx} = \sum_{i=1}^{n} x_i^2$
• $S_{xy} = \sum_{i=1}^{n} x_i y_i$

上式变为：

五、求解 $a$ 和 $b$#

第一步，先用第二个方程解出 $b$：

把 $b$ 代入第一个方程：

再代入 $b$ 的表达式：

六、均值符号下的表达式#

设

• $\overline{x} = \frac{1}{n} \sum_{i=1}^{n} x_i$
• $\overline{y} = \frac{1}{n} \sum_{i=1}^{n} y_i$

则有

由于 $S(a, b)$ 是关于 $a$ 和 $b$ 的二次函数，且系数矩阵为正定（$S_{xx} - S_x^2/n > 0$，只要 $x_i$ 不全相等），因此该极值点为唯一全局最小值，即最小二乘解。