广义逆的来源
广义逆公式由来,原始公式是这样
\(XW=Y\)
X 代表我们的样本矩阵,W 是我们要求的权重,Y 是标签,那么直观想法就是两边同乘一个X的逆变成下面的公式
\({{X}^{-1}}XW={{X}^{-1}}Y\quad \ \Rightarrow \quad IW={{X}^{-1}}Y\quad \ \Rightarrow \quad W={{X}^{-1}}Y\)
这个想法是极好的,但是面临一个问题,即我们的样本矩阵可能是不满秩的(逆不存在),因为我们都知道X的大小不是方阵,是样本数量N×特征数量m大小的。N一般远大于m,那么怎么办呢?
哎,我就想到,我X不是个方阵,我先两边左乘做成一个X的转置,变成
\({{X}^{T}}XW={{X}^{T}}Y\)
\({{X}^{T}}X\)肯定就是方阵,还是满秩的,这样一来我就可以使用两边同时左乘逆了,即
\({{({{X}^{T}}X)}^{-1}}{{X}^{T}}XW={{({{X}^{T}}X)}^{-1}}{{X}^{T}}Y\ \Rightarrow \quad W={{({{X}^{T}}X)}^{-1}}{{X}^{T}}Y\)
这样就能算出权重W了,其中\({{({{X}^{T}}X)}^{-1}}{{X}^{T}}\)就叫X 的广义逆。
为什么要叫广义逆呢,我觉得是因为从第一个公式的角度出发,我有一个这样的关系,我要求权重 W ,我只要左乘一个 X 的广义逆就可以得到了。
这样就和 X 是满秩的情况统一了,你满秩,我就直接左乘你的逆,你不满秩,我就直接左乘你的广义逆。