摘要: 这里对WWW 2017文章《Beyond Globally Optimal: Focused Learning for Improved Recommendations》进行一个简单的分析解读。 文章亮点: 作者群来自Google和Pinterest 第一次系统性的解释了为什么用全局模型可能会在局部阅读全文
posted @ 2018-01-20 21:16 笨兔勿应 阅读(56) 评论(0) 编辑
摘要: 《Learning Visual Clothing Style with Heterogeneous Dyadic Co-occurrences》论文阅读 Introduction 在推荐场景中,相似商品的i2i推荐一直是重要的基础数据,但只是推荐相似商品还是不够的,用户除了对相似商品的需求外还有对阅读全文
posted @ 2018-01-19 17:58 笨兔勿应 阅读(104) 评论(0) 编辑
摘要: 论文地址:Deep Interest Network for Click-Through Rate ... 这篇论文来自阿里妈妈的精准定向检索及基础算法团队。文章提出的Deep Interest Network (DIN),实现了推荐系统CTR预估模型中,对用户历史行为数据的进一步挖掘。同时,文章中阅读全文
posted @ 2018-01-16 11:39 笨兔勿应 阅读(111) 评论(0) 编辑
摘要: 前置点评: 这篇文章比较朴素,创新性不高,基本是参照了google的word2vec方法,应用到推荐场景的i2i相似度计算中,但实际效果看还有有提升的。主要做法是把item视为word,用户的行为序列视为一个集合,item间的共现为正样本,并按照item的频率分布进行负样本采样,缺点是相似度的计算还阅读全文
posted @ 2018-01-11 23:41 笨兔勿应 阅读(57) 评论(0) 编辑
摘要: 虽然国内必须翻墙才能登录YouTube,但想必大家都知道这个网站。基本上算是世界范围内视频领域的最大的网站了,坐拥10亿量级的用户,网站内的视频推荐自然是一个非常重要的功能。本文就focus在YouTube视频推荐的DNN算法,文中不但详细介绍了Youtube推荐算法和架构细节,还给了不少pract阅读全文
posted @ 2018-01-10 23:53 笨兔勿应 阅读(165) 评论(0) 编辑
摘要: 一、相关理论 本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章:《Learning to Compare Image Patches via Convolutional Neural Networks》,本篇文章对经典的算法Siamese Networks 做了改进。学习这篇pape阅读全文
posted @ 2018-01-08 12:25 笨兔勿应 阅读(103) 评论(0) 编辑
摘要: 提起siamese network一般都会引用这两篇文章: 《Learning a similarity metric discriminatively, with application to face verification》和《 Hamming Distance Metric Learnin阅读全文
posted @ 2018-01-03 23:26 笨兔勿应 阅读(115) 评论(0) 编辑
摘要: 在写完《Quora是如何做推荐的》一文之后,我在思考一个问题:伴随着Quora、知乎这样的知识分享型社区的兴起,涌现了一大批各个领域的专家用户,这会对推荐系统带来哪些可能的变化呢?恰好今天在读马尔科姆·格拉德威尔的《眨眼之间》这本书的时候,看到了这么一段, 当我们在某一方面修炼到登堂入室的程度时,我阅读全文
posted @ 2017-12-26 10:14 笨兔勿应 阅读(16) 评论(0) 编辑
摘要: 近些年,深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说,深度学习在推荐系统领域的研究与应用还处于早期阶段。 携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用,并在国际人工智能顶级会议AAAI 2017上发表了相应的研究成果《A Hybrid Collab阅读全文
posted @ 2017-12-20 08:14 笨兔勿应 阅读(234) 评论(0) 编辑
摘要: 最近看了京东算法团队最新发表的一篇点击率预估模型的paper Telepath: Understanding Users from a Human Vision Perspective in Large-Scale Recommender Systems,在这里分享一下。 这篇paper的创新点主要阅读全文
posted @ 2017-12-19 00:52 笨兔勿应 阅读(329) 评论(0) 编辑
摘要: 原论文在UMAP'16。文章并没有太高深的模型,比较接地气;但其观点与结论很独到,并且在工业界具有很强的实际操作价值。 针对推荐系统的研究大多关注在挖掘用户并不知道但是却与其兴趣相关的物品。不过每个推荐系统所在的领域都有其各自的特点,本文所讨论的是电商领域的推荐系统,在电商领域中,给用户适当地推荐其阅读全文
posted @ 2017-12-17 14:35 笨兔勿应 阅读(211) 评论(0) 编辑
摘要: 最近在个性化推荐系统的优化过程中遇到一些问题,大致描述如下:目前在我们的推荐系统中,各个推荐策略召回的item相对较为固定,这样就会导致一些问题,用户在多个推荐场景(如果多个推荐场景下使用了相同的召回策略)、多次请求时得到的结果也较为固定,对流量的利用效率会有所降低;尤其对于行为较少的用户,用来作为阅读全文
posted @ 2017-10-27 18:41 笨兔勿应 阅读(349) 评论(0) 编辑
摘要: 搜索引擎的点击日志提供了很多有价值的query-doc相关性信息,但是这些信息是有偏的,因为对于用户没有点击过的doc,我们无法确定其是否真实地被用户浏览过。即日志中记录的展现信息与实际的展现信息之间是存在一定的差距的,日志中记录的展现doc在实际上用户并不一定真的看到,排序的位置对用户是否看到 &阅读全文
posted @ 2017-04-20 14:37 笨兔勿应 阅读(176) 评论(0) 编辑
摘要: 1. 概率排序原理 以往的向量空间模型是将query和文档使用向量表示然后计算其内容相似性来进行相关性估计的,而概率检索模型是一种直接对用户需求进行相关性的建模方法,一个query进来,将所有的文档分为两类 -- 相关文档、不相关文档,这样就转为了一个相关性的分类问题。 对于某个文档D来说,P(R|阅读全文
posted @ 2017-04-18 22:58 笨兔勿应 阅读(343) 评论(0) 编辑
摘要: 之前的博客中已经介绍了Ranking Relevance的一些基本情况(Click Behavior,和Text Match):http://www.cnblogs.com/bentuwuying/p/6714064.html,这里就不再赘述了。针对之前在计算Ranking Relevance的过程阅读全文
posted @ 2017-04-15 16:35 笨兔勿应 阅读(278) 评论(0) 编辑
摘要: Ranking Relevance是搜索排序算法的各个影响因子中相当重要的一个部分。对于Ranking Relevance的计算,过去的技术往往分为两个大的方向:Click Behavior和Text Match。 1. Click Behavior类的feature 主要是利用用户的点击行为来计算阅读全文
posted @ 2017-04-15 14:04 笨兔勿应 阅读(141) 评论(0) 编辑
摘要: Ranklib是一套优秀的Learning to Rank领域的开源实现,其中有实现了MART,RankNet,RankBoost,LambdaMart,Random Forest等模型。其中由微软发布的LambdaMART是IR业内常用的Learning to Rank模型,本文主要介绍Rankl阅读全文
posted @ 2017-04-14 09:16 笨兔勿应 阅读(545) 评论(0) 编辑
摘要: 之前的博客:http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理,也讲到了Learning to Rank的几类常用的方法:pointwise,pairwise,listwise。前面已经介绍了pai阅读全文
posted @ 2017-04-11 09:23 笨兔勿应 阅读(1959) 评论(0) 编辑
摘要: 之前的博客:http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理,也讲到了Learning to Rank的几类常用的方法:pointwise,pairwise,listwise。前面已经介绍了pai阅读全文
posted @ 2017-04-09 14:58 笨兔勿应 阅读(2207) 评论(0) 编辑
摘要: 之前的博客:http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理,也讲到了Learning to Rank的几类常用的方法:pointwise,pairwise,listwise。这篇博客就很多公司在阅读全文
posted @ 2017-04-09 11:32 笨兔勿应 阅读(1983) 评论(0) 编辑
摘要: Learning to Rank是采用机器学习算法,通过训练模型来解决排序问题,在Information Retrieval,Natural Language Processing,Data Mining等领域有着很多应用。 1. 排序问题 如图 Fig.1 所示,在信息检索中,给定一个query,阅读全文
posted @ 2017-04-08 16:54 笨兔勿应 阅读(1677) 评论(0) 编辑
摘要: 转:http://www.cnblogs.com/jasonfreak/p/5720137.html 目录 1 Random Forest和Gradient Tree Boosting参数详解2 如何调参? 2.1 调参的目标:偏差和方差的协调 2.2 参数对整体模型性能的影响 2.3 一个朴实的方阅读全文
posted @ 2017-04-06 09:06 笨兔勿应 阅读(111) 评论(0) 编辑
摘要: 转:http://www.cnblogs.com/jasonfreak/p/5657196.html 目录 1 前言2 集成学习是什么?3 偏差和方差 3.1 模型的偏差和方差是什么? 3.2 bagging的偏差和方差 3.3 boosting的偏差和方差 3.4 模型的独立性 3.5 小结4 G阅读全文
posted @ 2017-04-06 08:54 笨兔勿应 阅读(117) 评论(0) 编辑
摘要: 一. GBDT的经典paper:《Greedy Function Approximation:A Gradient Boosting Machine》 Abstract Function approximation是从function space方面进行numerical optimization,阅读全文
posted @ 2017-04-05 20:58 笨兔勿应 阅读(2573) 评论(0) 编辑
摘要: 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。集成学习通过将多个学习器进行结合,常可以获得比单一学习器显著优越的泛化性能。这对“弱学习器”尤为明显,因此集成学习的很多理论研究都是针对弱学习器进行的。 要获得好的集成,个体学习器应该“好而不同”,即个体学习器要有阅读全文
posted @ 2017-04-03 00:26 笨兔勿应 阅读(263) 评论(0) 编辑
摘要: “偏差-方差分解”(bias-variance decomposition) 是解释学习算法泛化性能的一种重要工具。 偏差-方差分解试图对学习算法的期望泛化错误率进行拆解。我们知道,算法在不同训练集上学得的结果很可能不同,即便这些训练集是来自同一个分布。对测试样本x,令yD为x在数据集中的标记,y为阅读全文
posted @ 2017-04-01 09:29 笨兔勿应 阅读(513) 评论(0) 编辑
摘要: 决策树(decision tree)是一类常见的机器学习方法,目的是为了产生一棵泛化能力强,即处理未见示例能力强的决策树。 决策树的生成是一个递归的过程。在决策树的基本算法中,有三种情况会导致递归返回:(1)当前节点包含的样本全属于同一类别,无需划分;(2)当前属性集为空,或是所有样本在所有属性上取阅读全文
posted @ 2017-03-30 08:55 笨兔勿应 阅读(361) 评论(0) 编辑
摘要: 之前一篇博客中介绍了Logistics Regression的理论原理:http://www.cnblogs.com/bentuwuying/p/6616680.html。 在大大小小的面试过程中,经常会有这个问题:“请说一下逻辑回归(LR)和支持向量机(SVM)之间的相同点和不同点”。现在整理一下阅读全文
posted @ 2017-03-25 12:19 笨兔勿应 阅读(683) 评论(0) 编辑
摘要: 简述: 1. LR 本质上是对正例负例的对数几率做线性回归,因为对数几率叫做logit,做的操作是线性回归,所以该模型叫做Logistic Regression。 2. LR 的输出可以看做是一种可能性,输出越大则为正例的可能性越大,但是这个概率不是正例的概率,是正例负例的对数几率。 3. LR的l阅读全文
posted @ 2017-03-25 12:16 笨兔勿应 阅读(993) 评论(0) 编辑
摘要: 之前学习了SVM的原理(见http://www.cnblogs.com/bentuwuying/p/6444249.html),以及SMO算法的理论基础(见http://www.cnblogs.com/bentuwuying/p/6444516.html)。最近又学习了SVM的实现:LibSVM(版阅读全文
posted @ 2017-03-19 09:29 笨兔勿应 阅读(278) 评论(1) 编辑
摘要: 1. 前言 前面博客介绍了CTR预估中的贝叶斯平滑方法的原理http://www.cnblogs.com/bentuwuying/p/6389222.html。 这篇博客主要是介绍如何对贝叶斯平滑的参数进行估计,以及具体的代码实现。 首先,我们回顾一下前文中介绍的似然函数,也就是我们需要进行最大化的阅读全文
posted @ 2017-03-04 12:21 笨兔勿应 阅读(895) 评论(0) 编辑
摘要: 1. 前言 最近又重新复习了一遍支持向量机(SVM)。其实个人感觉SVM整体可以分成三个部分: 1. SVM理论本身:包括最大间隔超平面(Maximum Margin Classifier),拉格朗日对偶(Lagrange Duality),支持向量(Support Vector),核函数(Kern阅读全文
posted @ 2017-02-26 17:47 笨兔勿应 阅读(1216) 评论(2) 编辑
摘要: 如下所示,是我在看《这就是搜索引擎》这本书之后,画的一个框架图:阅读全文
posted @ 2017-02-26 14:14 笨兔勿应 阅读(75) 评论(0) 编辑
摘要: 首先,对于支持向量机(SVM)的简单总结: 1. Maximum Margin Classifier 2. Lagrange Duality 3. Support Vector 4. Kernel 5. Outliers 6. Sequential Minimal Optimization 详细的理阅读全文
posted @ 2017-02-26 13:36 笨兔勿应 阅读(439) 评论(0) 编辑
摘要: 1. 背景介绍 最优化求解问题可能是我们在工作中遇到的最多的一类问题了:从已有的数据中提炼出最适合的模型参数,从而对未知的数据进行预测。当我们面对高维高数据量的场景时,常见的批量处理的方式已经显得力不从心,需要有在线处理的方法来解决此类问题。 在CTR预估中,经常会用到经典的逻辑回归(LR),而对L阅读全文
posted @ 2017-02-12 15:47 笨兔勿应 阅读(584) 评论(0) 编辑
摘要: 1. 背景介绍 广告形式: 互联网广告可以分为以下三种: 1)展示广告(display ad) 2)搜索广告(sponsored search ad) 3)上下文广告(contextual ad) 竞价模式: 对于在线广告,主要有以下几种竞价模式: 1)pay-per-impression(按展示付阅读全文
posted @ 2017-02-11 15:26 笨兔勿应 阅读(4287) 评论(2) 编辑
摘要: 《A Practical Guide to Support Vector Classi cation》是一篇libSVM使用入门教程以及一些实用技巧。 1. Basic Kernels: (1)linear (2)polynomial (3)radial basis function (4)sigm阅读全文
posted @ 2017-02-02 20:25 笨兔勿应 阅读(138) 评论(0) 编辑
摘要: ABSTRACT 这篇paper中作者结合GBDT和LR,取得了很好的效果,比单个模型的效果高出3%。随后作者研究了对整体预测系统产生影响的几个因素,发现Feature(能挖掘出用户和广告的历史信息)+Model(GBDT+LR)的贡献程度最大,而其他因素(数据实时性,模型学习速率,数据采样)的影响阅读全文
posted @ 2017-01-09 10:29 笨兔勿应 阅读(1328) 评论(0) 编辑
摘要: 读了一篇paper,MSRA的Wei Wu的一篇《Learning Query and Document Similarities from Click-through Bipartite Graph with Metadata》。是关于Ranking Relevence方面的文章。下面简单讲下我对阅读全文
posted @ 2017-01-08 16:15 笨兔勿应 阅读(155) 评论(0) 编辑
摘要: 在Click Model中进行参数预估的方法有两种:最大似然(MLE)和期望最大(EM)。至于每个click model使用哪种参数预估的方法取决于此model中的随机变量的特性。如果model中的随机变量都是可以observed,那么无疑使用MLE,而如果model中含有某些hidden vari阅读全文
posted @ 2017-01-01 22:36 笨兔勿应 阅读(194) 评论(0) 编辑