2016 年 12月 10 日随笔档案 - _1024

摘要：这篇准备讲HMM/MEMM/CRF/LSTM+CRF在分词、序列标注、NER任务上的应用。重点讲一下LSTM+CRF中的CRF源码理解。阅读全文

posted @ 2016-12-10 22:55 _1024 阅读(206) 评论(0) 推荐(0)

数学基础03-信息论基础(信息熵、条件熵、互信息/信息增益、联合熵、相对熵/KL散度、交叉熵)

摘要：机器学习中，信息论中的各种熵在多次出现(最大熵模型、CRF、广义线性模型中以及分类问题中损失中的交叉熵，t-SNE、GAN中使用的KL散度等)，这里做一个简单总结。 1、信息量定义单个事件的不确定性的大小。数学形式 $log\frac{1}{p(x)}=-logp(x)$ 特点不确定性越大，阅读全文

posted @ 2016-12-10 22:54 _1024 阅读(903) 评论(0) 推荐(0)

基础模型07-EM(其实是一种算法)

摘要： 1、EM的基础算法直接给出计算公式，就不推导了。说明EM的使用场景 2、EM的应用 2.1、EM在GMM中的应用 2.2、EM在混合贝叶斯中的应用 2.3、EM在pLSA中的应用 2.4、EM在HMM中的应用阅读全文

posted @ 2016-12-10 22:53 _1024 阅读(153) 评论(0) 推荐(0)

基础模型06-决策树

摘要：这个的确是很基础啦。但是写起来也很累的啊。阅读全文

posted @ 2016-12-10 22:52 _1024 阅读(139) 评论(0) 推荐(0)

应用领域04-NLP

摘要：这个Topic内容讲NLP常见技术 1、分词/序列标注/NER 2、新词发现左右上熵 3、词向量 4、关键词/标签等 5、语义相关性 DSSM等 5、文本分类技术 fastText/TextCNN等 6、搜索中的NLP 6.1、Query Rewrite 阅读全文

posted @ 2016-12-10 22:51 _1024 阅读(161) 评论(0) 推荐(0)

应用领域03-计算广告

摘要： 1、CTR预估相关 1.1、CTR预估 1）预估算法：LR/FM/FFM/GBDT/Wide&Deep/PNN/FNN/deepFM/ 2) 评估：AUC/uAUC/gAUC, NEC(解决auc只考察序关系，不考虑绝对值的问题) 1.2、CTR平滑方法 1）贝叶斯平滑 2）指数平滑 3）威尔逊区间阅读全文

posted @ 2016-12-10 22:49 _1024 阅读(154) 评论(0) 推荐(0)

应用领域02-推荐系统

摘要： 1、推荐系统基础推荐系统包含两个部分：用户集合和物品集合。推荐系统的目标就是要把物品推荐给合适的用户。推荐系统的核心可以理解为一个打分系统，其目标是要计算出每个用户对每个物品的评分。从而给予推荐。为了实现这一目标，推荐系统大致采用了以下技术： 1.1、基于人口统计学/规则推荐这个主要是基于人阅读全文

posted @ 2016-12-10 22:48 _1024 阅读(137) 评论(0) 推荐(0)

应用领域01-Learning To Rank

摘要：这篇讲各种L2R算法。 1、Point-Wise 2、Pair-Wise Tips：为什么CTR预估中没有Pair-Wise算法 3、List-wise 阅读全文

posted @ 2016-12-10 22:47 _1024 阅读(88) 评论(0) 推荐(0)

机器学习基础09：聚类

摘要：这里面讲一些基础聚类算法阅读全文

posted @ 2016-12-10 22:46 _1024 阅读(109) 评论(0) 推荐(0)

强化学习基础

摘要：强化学习备忘录几个基础问题: 1、RL中，哪些方法是Model-Based的，哪些方法是Model-Free的? 2、DRL中，哪些方法可以用在连续策略空间和有限(离散)动作空间上(DQN, DDQN, A3C等)? 哪些方法可以用在连续策略空间和连续动作空间上(DDPG(Google), TRP 阅读全文

posted @ 2016-12-10 22:46 _1024 阅读(157) 评论(0) 推荐(0)

机器学习基础09：时间序列

摘要：时间序列阅读全文

posted @ 2016-12-10 22:45 _1024 阅读(196) 评论(0) 推荐(0)

机器学习基础09：知识图谱

摘要：这是一个非常大的topic啊阅读全文

posted @ 2016-12-10 22:45 _1024 阅读(139) 评论(0) 推荐(0)

深度学习03-RNN

摘要： 1、原始RNN 2、LSTM+CRF 3、LSTM/GRU 4、seq2seq 阅读全文

posted @ 2016-12-10 22:44 _1024 阅读(123) 评论(0) 推荐(0)

深度学习02-CNN

摘要：机器学习基础07：DNN 阅读全文

posted @ 2016-12-10 22:43 _1024 阅读(120) 评论(0) 推荐(0)

深度学习01-DNN

摘要：这篇讲DNN的基础，然后准备讲一讲DNN中的常见问题。 1、MLP 2、BP 3、梯度消失/爆炸问题 4、激活函数sigmoid/tanh/ReLu 5、初始化 6、BN 7、DropOut 阅读全文

posted @ 2016-12-10 22:43 _1024 阅读(104) 评论(0) 推荐(0)

模型集成04-GMM

摘要：机器学习基础06：GMM 阅读全文

posted @ 2016-12-10 22:42 _1024 阅读(119) 评论(0) 推荐(0)

模型集成03-RF/GBDT/GBDT+LR

摘要：机器学习基础06：RF 阅读全文

posted @ 2016-12-10 22:41 _1024 阅读(113) 评论(0) 推荐(0)

模型集成02-AdaBoost

摘要：这个topic内容不多，一点基础概念吧。阅读全文

posted @ 2016-12-10 22:40 _1024 阅读(109) 评论(0) 推荐(0)

模型集成01-Bagging/Boosting/Stacking

摘要： 1、常用的集成学习方式目前来看，常用的集成学习可以分为三类：Bagging、Boosting、Stacking。其中： Bagging使用相同的数据集和相同类型的基决策器。不同的基决策器，并行地通过自举采样，分别训练一个决策器，然后对分类结果进行投票，从而获得最终结果。以RF为代表。 Boosti 阅读全文

posted @ 2016-12-10 22:40 _1024 阅读(161) 评论(0) 推荐(0)

基础模型05-贝叶斯模型

摘要： 1、NB 2、平滑方法 3、NB在文本分类中的应用和分析 4、DBN 阅读全文

posted @ 2016-12-10 22:39 _1024 阅读(125) 评论(0) 推荐(0)

2016年12月10日