摘要：主要内容： 实现方法 Python实现FM算法 libFM 一、实现方法 1、FM模型函数 变换为线性复杂度的计算公式： 2、FM优化目标 根据不同的应用，FM可以采用不同的损失函数loss function来作为优化目标，如回归Regression：y^(x)直接作为预测值，损失函数可以采用least square error；二值分类Binary Classification：y^... 阅读全文

摘要：主要内容： 动机 FM算法模型 FM算法VS 其他算法 一、动机 在传统的线性模型如LR中，每个特征都是独立的，如果需要考虑特征与特征直接的交互作用，可能需要人工对特征进行交叉组合；非线性SVM可以对特征进行kernel映射，但是在特征高度稀疏的情况下，并不能很好地进行学习；现在也有很多分解模型Factorization model如矩阵分解MF、SVD++等，这些模型可以学习到特征之间的交互... 阅读全文

摘要：混合高斯模型（Mixtures of Gaussians）和EM算法 主要内容： 1、 概率论预备知识 2、 单高斯模型 3、 混合高斯模型 4、 EM算法 5、 K-means聚类算法 一、概率论预备知识 1、 数学期望/均值、方差/标准差 设离散型随机变量X的分布律为 则称为X的数学期望或均值 设连续型随机变量X的概率密度函数（pdf）... 阅读全文