关于Kernel的思考
学习播客_KLDA（推导得很通俗，下面的推导就是源于此篇博客）
第一部分：按照自己的理解，模仿抄！学习播客来完成一下KLDA的推导。
第二部分：对于Kernel的思考
KLDA：顾名思义，就是把Kernel运用到了LDA上，下面直接推导公式。（原始空间数据$x$，映射之后数据$\phi(x)$）
(1)$J(w) = \frac{wTS_bw}{sTS_ww}$ ( we will calculate the $w$ to maximum this formula, and then we finished LDA )
(2)$S_b = (\mu_1-\mu_2)(\mu_1-\mu_2)^T$
(3)$S_w = \sum\limits_{i=1}^{2} \sum\limits_{j=1}^{n_i}x_{ij}$ ( $x_{ij}$ means $x$$\in$$X_i$, and it's the jth element )
(4)$\mu_i = \frac{1}{n} \sum\limits_{i=1}^{n} x_i$
(5)$w=\sum\limits_{i=1}^{n} \alpha\phi(x_i)$
Kernel：$K(x,x_i) = (\phi(x)·\phi(x_i))$ ( which has a specific formula )
问题出现了，我们需要的是最大化(1)来完成LDA，那么就涉及到$w$的计算，而在线性的LDA中，我们已经得出了$w$的结果，即：$S_w^{-1}S_b$。现在，我们希望通过核函数来解决，将线性不可分（可以非线性可分）的低维数据，映射到高维空间从而实现线性可分。那么核函数有什么用？我们观察一下核函数：
Kernel：$K(x,x_i) = (\phi(x)·\phi(x_i))$，这个式子的本质不就是计算$\phi(x)$·$\phi(x_i)$么？那么只要求出映射变化$\phi$，就可以轻松解决这个问题。紧接着出现了新的问题，如何求出$\phi$?答案是——很难，或者说没有价值。因为我们是将低维的数据升维，而很多数据的维度本来就远远高于3维，然后再生个维，$\phi$的维度可以说是非常的高，计算将会耗费大量的时间，而我们回顾我们定义的核函数，我们发现它是显示的，你套用哪个，公式就是哪个，而$\phi$是隐式的。那我们是不是可以通过避开求解$\phi$，而只求$K(x,x_i)$的值，来做同样的事情？答案是肯定的。
那么，如何求解？我们知道$K(x,x_i)$求的是内积，观察(1)至(5)，想要凑出形如$x·x_i$的项，只有结合(4)(5)了，结合之后：
$$w^T\mu = \sum\limits_{i=1}^{n} \alpha\phi(x_i) * \frac{1}{n} \sum\limits_{i=1}^{n} x_i = \alpha^TM_i$$ ( where $M=K(x,x_i)$, means $M_i$ is a matrix which has the elements of caculation after K )
接下来呢？看看我们的目标)$J(w) = \frac{wTS_bw}{sTS_ww}$，再观察$\mu_i = \frac{1}{n} \sum\limits_{i=1}^{n} x_i$，是不是乘进去就有了我们上一步得到的$w^T\mu$？那我们的目标，就可以进一步表示成：分子/分母！
分子部分：$w^TS_bw$ -> $\alpha^TM\alpha$，为什么就剩下一个$\alpha$？因为两个隐式映射$\phi$被我们揉进了核函数K，这里的M和上面的M意思相同。
分母部分：分母就是暴力乘进去，乘开在这里仅看其中一个类
$$ w^T \sum\limits_{i=1}^{n} \phi(x_i)-\mu w $$ $\Longrightarrow$
$$\sum\limits_{i=1}^{n} (wT\phi(x_i)w-wT \mu w)$$ $\Longrightarrow$
$$\sum\limits_{i=1}^{n} wT\phi(x_i)w-wT \frac{1}{n} \sum\limits_{i=1}^{n} \phi(x_i) w$$ ( where $w = \sum\limits_{i=1}^{n} \alpha\phi(x_i)$)
然后剩下的就可以用核函数的形式表示了，以便看得较为简洁（同理，揉进去），分母即为：$\alpha^TN\alpha$，这里的N就是把除了$\alpha$的部分做一个变量代换，保持美观整洁。
此时，我们发现，映射变化$\phi$，早就不出现在式子中了，取而代之的是有着明确公式的核函数K（M，N中都含有K），这就是为何说求$\phi$其实没有价值的原因，因为它难算还会被替代，如果好算肯定就算它了。那么我们的目标呢？
$$J(w)=\frac{wTS_bw}{wTS_ww}$$ $\Longrightarrow$
$$J(\alpha)=\frac{\alpha^T M \alpha}{\alpha^T N \alpha}$$ ( the answer $\alpha=$ the eig_vector of $N^{-1}M$ who has the maximum eig_value )
关于核函数的思考：核函数，我更喜欢它的另一个名字：核技巧，感觉这个更像核做的事情。因为函数的映射其实不是核做的，是隐式的$\phi$做的，而又因为$\phi$的维数可以巨高，导致我们没有办法或者不值得去计算它，从而我们考虑将目标求值变形，构造出$(\phi(x)·\phi(x_i))$项，进而运用核技巧完成操作。现在疑惑在于，核技巧之多，如何选择？将在思考后补上。
