狂徒归来

摘要： 深度学习中常用的优化器简介 SGD mini batch SGD 是最基础的优化方法，是后续改良方法的基础。下式给出SGD的更新公式 $$ \theta_t = \theta_{t 1} \alpha\nabla_\theta J(\theta) $$ 其中$\alpha$是学习速率。 SGD wi 阅读全文

摘要： GloVe 模型介绍 下面的内容主要来自https://blog.csdn.net/u014665013/article/details/79642083 GloVe的推导 GloVe是基于共现信息来获得词的分布表示的，所以需要统计词的共现对信息。在设定的窗口内，统计中心词$k$与其上下文词$i$的 阅读全文

摘要： GBDT & XGBoost 回归树 单棵回归树可以表示成如下的数学形式 $$ f(x) = \sum_j^Tw_j\mathbf{I}(x\in R_j) $$ 其中$T$为叶节点的个数，$\mathbf{I}$为指示函数。 回归树的参数学习 当给定树的结构的时候，即知道哪些点划分到哪些叶节点后， 阅读全文

摘要： 对数线性模型与线性链条件随机场 对数线性模型 我们从书本上知道线性链条件随机场就是对数线性模型，逻辑回归也是对数线性模型。对数线性模型的一般形式如下所示: $$ p(y|x;w)=\dfrac{\exp\sum_{j=1}^Jw_jF_j(x, y)}{Z(x, w)} $$ 其中$x,y$分别是输 阅读全文

摘要： 25匹马，5个跑道，每个跑道最多能有1匹马进行比赛，最少比多少次能比出前3名？前5名？ 最近在做笔试的题目时，遇到了这种类型的题目，今天来分析一下解题的思路： 由于有25匹马，5个跑道，每个跑道最多只能有一匹马进行奔跑，那么我们可以将25匹马均分成5组，各组内进行一次较量，假设每组得到的结果由快道慢 阅读全文

摘要： LR & SVM 的区别 相同点 1. LR和SVM都是分类算法。 2. 如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 3. LR和SVM都是监督学习算法。 4. LR和SVM都是判别模型。 不同点 1. 损失函数不一样 2. 支持向量机只考虑局部的边界线附近 阅读全文

摘要： EM算法推导 网上和书上有关于EM算法的推导，都比较复杂，不便于记忆，这里给出一个更加简短的推导，用于备忘。 在不包含隐变量的情况下，我们求最大似然的时候只需要进行求导使导函数等于0，求出参数即可。但是包含隐变量，直接求导就变得异常复杂，此时需要EM算法，首先求出隐变量的期望值（E步），然后，把隐变 阅读全文

摘要： K means算法的优缺点 优点：原理简单，实现容易 缺点： 1. 收敛较慢 2. 算法时间复杂度比较高 $O(nkt)$ 3. 不能发现非凸形状的簇 4. 需要事先确定超参数K 5. 对噪声和离群点敏感 6. 结果不一定是全局最优，只能保证局部最优 阅读全文

摘要： 自助采样包含训练集里63.2%的样本? 在学习随机森林的时候，经常会看到这么一句话“ 自助采样法给bagging带来的好处就是:由于每个学习器只是使用了% 63.2 的数据,剩下的约%36.8的样本可以用作验证集来对泛化性能进行“包外估计”。 “ 那么这个63.2%是怎么来的呢？假设我们有n个样本， 阅读全文

摘要： 指数加权移动平均 以下内容来自 https://zhuanlan.zhihu.com/p/32335746，纯用作记录 指数加权移动平均(Exponentially Weighted Moving Average)，他是一种常用的序列处理方式。在$t$时刻，移动平均值公式是 $$ v_t = \be 阅读全文