LS算法 最小二乘法（Ｌｅａｓｔ Ｓｑｕａｒｅｓ， ＬＳ）对线性时不变系统响应的估计应用

解决最小二乘问题

让我们简要回顾一下构建回归问题最小二乘解的其他方法。

在回归问题中，您有一个n  x  m数据矩阵X和一个n  x 1 观测响应向量y。

当n > m 时，这是一个超定系统，通常没有精确解。因此，目标是找到 回归系数b的m x 1 向量，以便预测值 ( X b ) 尽可能接近观察值。

如果b是最小二乘解，则b最小化向量范数 || X b - y || ² , 其中 || v || ²是向量分量的平方和。

使用微积分，您可以证明解向量b满足正规方程 (X`X)b = X`y。

当叉积矩阵X`X是非奇异的时，正规方程有唯一解。大多数最小二乘回归数值算法都从正规方程开始，这些方程具有可以利用的良好数值特性。

线性时不变系统（时域分析）

对于线性时不变系统，时域输入输出分别是: x[n]与y[n]，

并设x[n]经过系统响应h[n]输出y[n],使用最小二乘估计求解h[n],

期望输出y[n]=covn(x[n],h[n])+wnoise

h最小化向量范数 || X*h - y || ²  X为x[n]的卷积矩阵

解为(X`X)h = X`y