自适应滤波的均方误差性能曲面对滤波器（线性）的权系数的导数

为什么\(w^T(n)Rw(n)\)对\(w(n)\)求导是\(2Rw(n)\)

在自适应滤波这里，主要通过滤波输出的信号与参考信号的误差来进行对滤波器的参数进行调整，参考信号为\(d(n)\)，滤波器输入信号为\(x(n)\)，滤波器参数为\(w(n)\)，则滤波器输出为\(y(n)=w^T(n)x(n)\)，因此误差\(e(n)=d(n)-w^T(n)x(n)\)，滤波器将按照\(\xi(n)=E[e^2(n)]\)使其最小来调整滤波器的参数\(w(n)\)。\(x(n)、w(n)\)是Lx1矩阵。

\[\xi(n)=E[(d(n)-w^T(n)x(n))^2]=E[d^2(n)-2d(n)w^T(n)x(n)+(w^T(n)x(n))^2]=E[d^2(n)]-2E[d(n)x^T(n)]w(n)+w^T(n)E[x(n)x^T(n)]w(n) \]

由于\(w^T(n)x(n)=x^T(n)w(n)\)，所以\((w^T(n)x(n))^2=w^T(n)x(n)x^T(n)w(n)\)。
主要考虑\(w^T(n)E[x(n)x^T(n)]w(n)=w^T(n)Rw(n)\)，\(R\)为\(x(n)\)的自相关矩阵，有一个很重要的特性：对称性。

\[R=\begin{bmatrix} E(x_0(n)x_0(n)) & E(x_0(n)x_1(n)) & ... & E(x_0(n)x_L(n)) \\ E(x_1(n)x_0(n)) & E(x_1(n)x_1(n)) & ... & E(x_1(n)x_L(n)) \\ \vdots & \vdots & \vdots & \vdots \\ E(x_L(n)x_0(n)) & E(x_L(n)x_1(n)) & ... & E(x_L(n)x_L(n)) \end{bmatrix} \]

计算\(w^T(n)Rw(n)\)对\(w(n)\)求导，可以先计算出\(w^T(n)R\)，得到一个行向量，L维。先记作\(Z=\{z_1,z_2,...,z_L\}\)，其中

\[z_j=\sum^{i=L}_{i=1}w_iR_{ij} \]

每一个\(z_j\)都是由\(w(n)\)与某一列\(R\)相乘得到。再计算\(Zw(n)\)，行矩阵乘以列矩阵，得到一个数

\[\sum^{j=L}_{j=1}z_jw_j=\sum^{j=L}_{j=1}(\sum^{i=L}_{i=1}w_iR_{ij})w_j \]

要计算\(w^T(n)Rw(n)\)对\(w(n)\)求导，其实就是算\(w^T(n)Rw(n)\)对每一个\(w\)的分量进行求导，考虑对任意一个\(w_m，m=1,2,3,...,L\)，

\[\sum^{j=L}_{j=1}(\sum^{i=L}_{i=1}w_iR_{ij})w_j=\sum_{j=m}(\sum^{i=L}_{i=1}w_iR_{ij})w_j+\sum_{j{\neq}m}(\sum^{i=L}_{i=1}w_iR_{ij})w_j=(\sum^{i=L}_{i=1}w_iR_{im})w_m+\sum_{j{\neq}m}(\sum^{i=L}_{i=1}w_iR_{ij})w_j \]

前一项对\(w_m\)求导，得到

\[2R_{mm}w_m+\sum_{i{\neq}m}w_iR_{im} \]

第二项\(\sum_{j{\neq}m}(\sum^{i=L}_{i=1}w_iR_{ij})w_j\)对\(w_m\)求导，只有\(i=m\)时，才会有含有\(w_m\)的项，其余为常数项（因为\(i{\neq}m\)后，得到的项不含有\(w_m\)，在求导时看作常数），得到

\[\sum_{j{\neq}m}R_{mj}w_j \]

这两项的导数合并起来，可以得到：

\[2R_{mm}w_m+\sum_{i{\neq}m}w_iR_{im}+\sum_{j{\neq}m}R_{mj}w_j \]

又因为\(R\)是对称的，所以\(R_{ij}=R_{ji}\)。因此上式中，第二项和第三项是相等的，因此可以写成：

\[2R_{mm}w_m+2\sum_{i{\neq}m}w_iR_{im} \]

进而合并写成：

\[2\sum^{i=L}_{i=1}w_iR_{im} \]

可以看出\(w^T(n)Rw(n)\)对\(w_m\)求导，是\(R\)的第\(m\)行与\(w(n)\)相乘求和的两倍，因此：

\[w^T(n)Rw(n)对w(n)求导是2Rw(n) \]

可以看出只有\(R\)是对称的情况下才能得到此结论。

补充：在写的过程中发现可以用规律化的数学语言表示，而当初在纸上思考推导时是用几个例子帮助理解的，说明在记录的过程中又有了新的收获。发现过很多次，其实在把自己弄懂的东西讲给别人听或者整理复述出来的时候往往会加深理解。尽量多做记录吧。