摘要:
牛顿法与梯度下降法 梯度下降法 梯度下降法非常常用,其利用的是一阶导数,进行逼近,具体的更新方法如下: $$ x_{n+1} = x_n \alpha f'(x_n) $$ 其中$\alpha$为学习速率。 牛顿法 牛顿利用到了二阶导数的信息,其推导需要利用到泰勒的二阶展开,具体如下: $$f(x+ 阅读全文
摘要:
主成分分析 PCA 协方差矩阵 假设我们有 $$ X = \begin{pmatrix}X_1\\X_2\\\vdots\\X_m\end{pmatrix}\in\mathbb{R}^{m\times n} $$ 那么协方差矩阵 $$ C_x= \dfrac{1}{n 1}XX^T = \dfrac 阅读全文