最小二乘

使用最小二乘回归拟合一条直线到数据集 \(\begin{matrix}x&&2&&4&&6&&7&&10&&11&&14&&17&&20\\ y&&4&&5&&6&&5&&8&&8&&6&&9&&12\end{matrix}\)。

最小二乘回归的目标是找到最佳拟合直线，使得拟合直线的平方误差最小化。我们假设直线的方程为 \(y = mx + b\)，其中 \(m\) 是斜率，\(b\) 是截距。

首先，计算数据集的平均值：
\(\bar{x} = \frac{2 + 4 + 6 + 7 + 10 + 11 + 14 + 17 + 20}{9} = 10\)

\(\bar{y} = \frac{4 + 5 + 6 + 5 + 8 + 8 + 6 + 9 + 12}{9} = 7\)

然后，计算最小二乘回归的参数：
\(m = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n}(x_i - \bar{x})^2}\)

\(b = \bar{y} - m\bar{x}\)

将数据集中的值代入上述公式进行计算，可以得到：
\(m = \frac{(2-10)(4-7) + (4-10)(5-7) + (6-10)(6-7) + (7-10)(5-7) + (10-10)(8-7) + (11-10)(8-7) + (14-10)(6-7) + (17-10)(9-7) + (20-10)(12-7)}{(2-10)^2 + (4-10)^2 + (6-10)^2 + (7-10)^2 + (10-10)^2 + (11-10)^2 + (14-10)^2 + (17-10)^2 + (20-10)^2} = \frac{15}{31} \approx 0.484\)

\(b = 7 - 0.484 \times 10 = 2.16\)

因此，最佳拟合直线的方程为 \(y = 0.484x + 2.16\)。