2025-10-11？

线性回归我啥也不会

• 决定系数 \(R^2\)

  有一列 sample，标签 \(y_i\)，均值 \(\overline y\) ，我们的预测 \(\hat y_i\)

  \(R^2 = 1-\dfrac{\sum (y_i - \hat y_i)^2}{\sum (y_i -\overline y)^2}\)

  上面表示预测和真实标签的差异，下面表示真实标签自己有多强的不稳定性。

  \(R^2\) 数值可以用来衡量拟合效果。不知道经验值啥样。

• 残差项 \(\epsilon\) 的一些研究。

  理论假设 \(\epsilon \sim N(0,\sigma^2)\)，那么这时候对 \(\epsilon\) 进行采样，用采样方差估计原方差（bessel 修正一下）就可以得到一个 \(\sigma^2\) 的估计值。

  为什么不需要对 \(0\) 再做一个估计呢？我们考虑均值的定义，如果 \(\frac 1n\sum_{i=1}^n \epsilon_i \neq 0\)，那么我们应当将 \(\frac 1n\sum_{i=1}^n \epsilon_i\) 加到 \(\beta_0\) 里面，也就是回归的常系数项。

• 现在有一个随机向量 \(z\) 和一个确定的矩阵 \(A\)，\(\text{Var}(Az) = A\ \text{Var}(z)A^T\)

  这里的 Var 表示的是 方差-协方差矩阵。也就是说对这个矩阵取对角线得到每个随机变量的方差。

  证明好像就考虑 \(\text{Var}(z) = E[(z - \overline z)(z - \overline z)^T]\) 即可。

• 求 slope estimator \(\hat\beta_i\) 的 sampling variance

  有了上面一些知识，直接推导即可。我们已知 \(\hat\beta = (X^TX)^{-1}X^Ty, y = \beta X + epsilon\)，代入有 \(\hat\beta = (X^TX)^{-1}X^T(\beta X + \epsilon)\)

  我们重新回顾一下线性回归的符号定义——\(\beta,X\) 是确定值。设 \(A = (X^TX)^{-1}X^T\)，于是 \(Var(\hat\beta) = Var(A\epsilon)\)，代入上面的公式化简。