Fate0729

摘要： EM算法是一种迭代算法，传说中的上帝算法，俗人可望不可及。用以含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计 EM算法定义 输入：观测变量数据X，隐变量数据Z,联合分布$P(X,Z|\theta)$ 输出：模型参数$\theta$ (1)选择初始模型参数$\theta^{(0)}$，开始 阅读全文

摘要： 目前最流行的5种优化器：Momentum(动量优化)、NAG(Nesterov梯度加速)、AdaGrad、RMSProp、Adam，所有的优化算法都是在原始梯度下降算法的基础上增加惯性和环境感知因素进行持续优化 Momentum优化 momentum优化的一个简单思想：考虑物体运动惯性，想象一个保龄 阅读全文

摘要： PCA最小平方误差理论推导 PCA求解其实是寻找最佳投影方向，即多个方向的标准正交基构成一个超平面。 理论思想：在高维空间中，我们实际上是要找到一个d维超平面，使得数据点到这个超平面的距离平方和最小 假设$x_k$表示p维空间的k个点，$z_k$表示$x_k$在超平面D上的投影向量，$W = {w_ 阅读全文

摘要： 样本方差推导 样本方差公式$$S = \frac{1}{n 1}\sum_{i=1}^n(x_i \mu_i)^2$$ 扩展开来得到$$S = \frac{1}{n 1}[(X \frac{1}{n}X^TI_nI_n^T)^T(X \frac{1}{n}X^TI_nI_n^T)]$$ $$S = 阅读全文

摘要： 激活函数 各激活函数曲线对比 常用激活函数： tf.sigmoid() tf.tanh() tf.nn.relu() tf.nn.softplus() tf.nn.softmax() tf.nn.dropout() tf.nn.elu() 各激活函数优缺点 sigmoid函数 优点：在于输出映射在（ 阅读全文