xd_xumaomao

摘要： 生成模型如何生成样本 我们现在有一些样本（如图片），想生成更多的样本（图片），应该怎么做呢？最直接的想法是去学习样本的分布 p(X) ，从这个分布 p(X) 采样就可以了，但是真实的样本分布往往是九曲回肠的，很难通过有限的样本直接学出来 那么可以换个思路，不直接学习分布，而是学习分布的映射，即训练一 阅读全文

摘要： https://kexue.fm/archives/4439/comment-page-2 阅读全文

摘要： 背景 GPT-3 虽然在各大 NLP 任务以及文本生成的能力上令人惊艳，但是他仍然还是会生成一些带有偏见的，不真实的，有害的造成负面社会影响的信息，而且很多时候，他并不按人类喜欢的表达方式去说话。在这个背景下，OpenAI 提出了一个概念“Alignment”，意思是模型输出与人类真实意图对齐，符合 阅读全文

摘要： GPT系列模型发布时间 GPT1 论文：GPT: Improving Language Understanding by Generative Pre-Training 背景 让我们把视角回到 2018 年，那个时候 NLP 在深度学习上基本还处于 word2vec 以及为不同任务做定制化深度模型的 阅读全文

摘要： BERT模型介绍 BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Representation，即：文本的语义表示，然后将文本 阅读全文

摘要： 背景 CTR、CVR模型建模的是预估看过广告之后的点击率和转化率，称为响应模型（response model），建模的是相关性，但是缺点是没法区分这个点击转化中有多少是广告带来 Uplift Model是估计用户因为广告而购买的概率，这是一个因果推断的问题，建模的是营销带来的增量 Reponse m 阅读全文

摘要： 推荐系统中的EE问题—浅谈Bandit模型 阅读全文

摘要： 1. 学习精排的序 为了保证推荐系统全链路的一致性，在召回阶段常常会学习精排的序，即把精排排在前面的item作为正样本，排在后面的item作为副样本，还可以补充一部分未来进精排的item作为easy负样本。 这里也可以采用point-wise和pair-wise两种建模方式，如果采用pair-wis 阅读全文

摘要： 背景 推荐系统已经迈入了深度学习时代，模型结构比较复杂，下面介绍在深度学习背景下常用的特征选择方法 1. 根据特征在正负样本上分布的差异 直观感觉上一个特征越重要，那么它在正负样本的分布差异应该是越大的，基于此我们可以用KL散度来表示特征重要性，但是KL散度是非对称，我们可以采用JS散度来表达特征重 阅读全文

摘要： 背景 如上图所示，结点6和7是相邻结点，他们应该是相似结点，结点5和6虽然不是相邻结点，但是它们有共同的相邻的结点，因此它们也应该是相似结点。 基于词观察，LINE算法提出了一阶相似性算法和二阶相似性算法 First-order 我们首先如如下公式来计算结点i和j的联合概率分布： 其中ui，uj​分 阅读全文