随笔档案「2016年12月10日」：基础模型08-HMM/MEMM/CRF/LSTM+CRF ... - _1024

摘要：这篇准备讲HMM/MEMM/CRF/LSTM+CRF在分词、序列标注、NER任务上的应用。重点讲一下LSTM+CRF中的CRF源码理解。阅读全文

posted @ 2016-12-10 22:55 _1024 阅读(209) 评论(0) 推荐(0)

数学基础03-信息论基础(信息熵、条件熵、互信息/信息增益、联合熵、相对熵/KL散度、交叉熵)

摘要：机器学习中，信息论中的各种熵在多次出现(最大熵模型、CRF、广义线性模型中以及分类问题中损失中的交叉熵，t-SNE、GAN中使用的KL散度等)，这里做一个简单总结。 1、信息量定义单个事件的不确定性的大小。数学形式 $log\frac{1}{p(x)}=-logp(x)$ 特点不确定性越大，阅读全文

posted @ 2016-12-10 22:54 _1024 阅读(917) 评论(0) 推荐(0)

基础模型07-EM(其实是一种算法)

摘要： 1、EM的基础算法直接给出计算公式，就不推导了。说明EM的使用场景 2、EM的应用 2.1、EM在GMM中的应用 2.2、EM在混合贝叶斯中的应用 2.3、EM在pLSA中的应用 2.4、EM在HMM中的应用阅读全文

posted @ 2016-12-10 22:53 _1024 阅读(158) 评论(0) 推荐(0)

基础模型06-决策树

摘要：这个的确是很基础啦。但是写起来也很累的啊。阅读全文

posted @ 2016-12-10 22:52 _1024 阅读(140) 评论(0) 推荐(0)

应用领域04-NLP

摘要：这个Topic内容讲NLP常见技术 1、分词/序列标注/NER 2、新词发现左右上熵 3、词向量 4、关键词/标签等 5、语义相关性 DSSM等 5、文本分类技术 fastText/TextCNN等 6、搜索中的NLP 6.1、Query Rewrite 阅读全文

posted @ 2016-12-10 22:51 _1024 阅读(166) 评论(0) 推荐(0)

应用领域03-计算广告

摘要： 1、CTR预估相关 1.1、CTR预估 1）预估算法：LR/FM/FFM/GBDT/Wide&Deep/PNN/FNN/deepFM/ 2) 评估：AUC/uAUC/gAUC, NEC(解决auc只考察序关系，不考虑绝对值的问题) 1.2、CTR平滑方法 1）贝叶斯平滑 2）指数平滑 3）威尔逊区间阅读全文

posted @ 2016-12-10 22:49 _1024 阅读(158) 评论(0) 推荐(0)

应用领域02-推荐系统

摘要： 1、推荐系统基础推荐系统包含两个部分：用户集合和物品集合。推荐系统的目标就是要把物品推荐给合适的用户。推荐系统的核心可以理解为一个打分系统，其目标是要计算出每个用户对每个物品的评分。从而给予推荐。为了实现这一目标，推荐系统大致采用了以下技术： 1.1、基于人口统计学/规则推荐这个主要是基于人阅读全文

posted @ 2016-12-10 22:48 _1024 阅读(149) 评论(0) 推荐(0)

应用领域01-Learning To Rank

摘要：这篇讲各种L2R算法。 1、Point-Wise 2、Pair-Wise Tips：为什么CTR预估中没有Pair-Wise算法 3、List-wise 阅读全文

posted @ 2016-12-10 22:47 _1024 阅读(90) 评论(0) 推荐(0)

机器学习基础09：聚类

摘要：这里面讲一些基础聚类算法阅读全文

posted @ 2016-12-10 22:46 _1024 阅读(113) 评论(0) 推荐(0)

机器学习基础09：时间序列

摘要：时间序列阅读全文

posted @ 2016-12-10 22:45 _1024 阅读(200) 评论(0) 推荐(0)

机器学习基础09：知识图谱

摘要：这是一个非常大的topic啊阅读全文

posted @ 2016-12-10 22:45 _1024 阅读(141) 评论(0) 推荐(0)

深度学习03-RNN

摘要： 1、原始RNN 2、LSTM+CRF 3、LSTM/GRU 4、seq2seq 阅读全文

posted @ 2016-12-10 22:44 _1024 阅读(126) 评论(0) 推荐(0)

深度学习01-DNN

摘要：这篇讲DNN的基础，然后准备讲一讲DNN中的常见问题。 1、MLP 2、BP 3、梯度消失/爆炸问题 4、激活函数sigmoid/tanh/ReLu 5、初始化 6、BN 7、DropOut 阅读全文

posted @ 2016-12-10 22:43 _1024 阅读(106) 评论(0) 推荐(0)

深度学习02-CNN

摘要：机器学习基础07：DNN 阅读全文

posted @ 2016-12-10 22:43 _1024 阅读(122) 评论(0) 推荐(0)

模型集成04-GMM

摘要：机器学习基础06：GMM 阅读全文

posted @ 2016-12-10 22:42 _1024 阅读(122) 评论(0) 推荐(0)

模型集成03-RF/GBDT/GBDT+LR

摘要：机器学习基础06：RF 阅读全文

posted @ 2016-12-10 22:41 _1024 阅读(119) 评论(0) 推荐(0)

模型集成01-Bagging/Boosting/Stacking

摘要： 1、常用的集成学习方式目前来看，常用的集成学习可以分为三类：Bagging、Boosting、Stacking。其中： Bagging使用相同的数据集和相同类型的基决策器。不同的基决策器，并行地通过自举采样，分别训练一个决策器，然后对分类结果进行投票，从而获得最终结果。以RF为代表。 Boosti 阅读全文

posted @ 2016-12-10 22:40 _1024 阅读(170) 评论(0) 推荐(0)

模型集成02-AdaBoost

摘要：这个topic内容不多，一点基础概念吧。阅读全文

posted @ 2016-12-10 22:40 _1024 阅读(110) 评论(0) 推荐(0)

基础模型05-贝叶斯模型

摘要： 1、NB 2、平滑方法 3、NB在文本分类中的应用和分析 4、DBN 阅读全文

posted @ 2016-12-10 22:39 _1024 阅读(129) 评论(0) 推荐(0)

基础模型04-FM/FFM

摘要：信息增益 1.为什么选择信息增益最大的特征？信息增益=信息熵-条件熵；信息增益越大，表面条件熵越小，条件熵越小，表明不确定性越小；也就是说，此条件的辨识度越高。阅读全文

posted @ 2016-12-10 22:38 _1024 阅读(137) 评论(0) 推荐(0)

基础模型03-SVM

摘要： 1、SVM形式 2、线性SVM及其求解 3、近似线性可分SVM的求解 3.1、KKT条件 3.2、SMO算法 4、线性不可分SVM算法 4.1、核方法阅读全文

posted @ 2016-12-10 22:36 _1024 阅读(101) 评论(0) 推荐(0)

基础模型02-LR+ME+SOFTMAX+GLM

摘要： 1、LR 1.1、LR的用处和求解 1.2、LR的两种解释 1）直观解释 2）基于ME的解释 2、ME 3、SOFTMAX 4、GLM，广义线性模型相关理论阅读全文

posted @ 2016-12-10 22:36 _1024 阅读(120) 评论(0) 推荐(0)

基础模型01-感知机

摘要： 1、感知机基础 2、感知机求解 2.1、感知机在原空间的求解 2.2、感知机在对偶空间的求解 3、感知机和MLP、SVM的进化关系 3.2、感知机对偶求解和SVM对偶求解的关系阅读全文

posted @ 2016-12-10 22:34 _1024 阅读(130) 评论(0) 推荐(0)

ML基础04-数据降维和可视化

摘要：太累了，实在是不想写了，以后补吧 1、数据降维 1.1、什么是数据降维 1.2、什么时候需要数据降维 2、线性降维 2.1、PCA 2.2、LDA 2.3、总结 3、流形学习 3.1、什么是流形学习 3.2、ISOMap 3.3、LLE 4、t-SNE和可视化 5、DeepAE 6、总结阅读全文

posted @ 2016-12-10 22:24 _1024 阅读(192) 评论(0) 推荐(0)

ML基础03-特征工程

摘要： 1、特征工程是什么有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见对数据和特征的处理是机器学习的基石，也就是我所理解的特征工程。特征工程本质上是一个工程问题，机器学习的脏活累活。却也是不可获取至关重要的工作。业界广为流传的一张特征工程思维导图如阅读全文

posted @ 2016-12-10 20:54 _1024 阅读(275) 评论(0) 推荐(0)

ML基础02-模型选择

摘要： 0、模型选择对于不同的业务场景，需要不同的策略来处理问题。没有一个算法可以处理好所有问题，并取得最好的效果。这样就是没有免费午餐原理。因此，对于不同业务，不同的应用场景，需要选择不同的模型来解决实际问题。对于模型的选择，可以分为两个层面： 1、对于一个既定算法，如何让这个算法达到最优？ 2、对阅读全文

posted @ 2016-12-10 20:53 _1024 阅读(689) 评论(0) 推荐(0)

ML基础01-概论

摘要： 0.前言学习机器学习有几年时间了，开始一直是零零碎碎断断续续学一些东西，断续琐碎；后面慢慢地把各个点串起来，形成了体系。早有打算整理出来，但是总觉得有些地方理解欠佳，不敢轻易动笔。最近把各个部分都思考了一下，感觉应该问题不大了，遂准备着手整理成一系列文章。记录自己对机器学习的一些理解，以备忘。也阅读全文

posted @ 2016-12-10 20:48 _1024 阅读(162) 评论(0) 推荐(0)