摘要: 之所以起这个名字是因为对应之前的搭配推荐模型,如之前的博客 基于图像信息的搭配商品推荐 中所述,可以看做是基于单因素对搭配进行建模,即认为搭配的商品应该在单因素--风格上相似,然后在对商品映射后的latent space即风格空间中,搭配的商品的距离会更接近。 然后更进一步很自然的想法就是: 1)相阅读全文
posted @ 2018-07-22 01:24 笨兔勿应 阅读(107) 评论(0) 编辑
摘要: 在学习tensorflow的过程中,有很多小伙伴反映读取数据这一块很难理解。确实这一块官方的教程比较简略,网上也找不到什么合适的学习材料。今天这篇文章就以图片的形式,用最简单的语言,为大家详细解释一下tensorflow的数据读取机制,文章的最后还会给出实战代码以供参考。 一、tensorflow读阅读全文
posted @ 2018-05-07 20:57 笨兔勿应 阅读(71) 评论(0) 编辑
摘要: 本文整理了TensorFlow中的数据读取方法,在TensorFlow中主要有三种方法读取数据: 1. 供给数据(Feeding):在TensorFlow程序运行的每一步, 让Python代码来供给数据。 2. 预加载数据(Preloaded data):在TensorFlow图中定义常量或变量来保阅读全文
posted @ 2018-05-07 20:54 笨兔勿应 阅读(694) 评论(0) 编辑
摘要: 之前的博文已经介绍了CNN的基本原理,本文将大概总结一下最近CNN在NLP中的句子建模(或者句子表示)方面的应用情况,主要阅读了以下的文献: Kim Y. Convolutional neural networks for sentence classification[J]. arXiv prep阅读全文
posted @ 2018-02-27 17:30 笨兔勿应 阅读(516) 评论(0) 编辑
摘要: 最近关注了一些Deep Learning在Information Retrieval领域的应用,得益于Deep Model在对文本的表达上展现的优势(比如RNN和CNN),我相信在IR的领域引入Deep Model也会取得很好的效果。 IR的范围可能会很广,比如传统的Search Engine(qu阅读全文
posted @ 2018-02-26 21:12 笨兔勿应 阅读(214) 评论(0) 编辑
摘要: When we hear about Convolutional Neural Network (CNNs), we typically think of Computer Vision. CNNs were responsible for major breakthroughs in Image 阅读全文
posted @ 2018-02-19 23:23 笨兔勿应 阅读(81) 评论(2) 编辑
摘要: 语言模型 所谓的语言模型,即是指在得知前面的若干个单词的时候,下一个位置上出现的某个单词的概率。 最朴素的方法是N-gram语言模型,即当前位置只和前面N个位置的单词相关。如此,问题便是,N小了,语言模型的表达能力不够。N大了,遇到稀疏性问题,无法有效的表征上下文。 LSTM模型一般会将单词embe阅读全文
posted @ 2018-02-19 21:39 笨兔勿应 阅读(299) 评论(0) 编辑
摘要: 这里对WWW 2017文章《Beyond Globally Optimal: Focused Learning for Improved Recommendations》进行一个简单的分析解读。 文章亮点: 作者群来自Google和Pinterest 第一次系统性的解释了为什么用全局模型可能会在局部阅读全文
posted @ 2018-01-20 21:16 笨兔勿应 阅读(121) 评论(0) 编辑
摘要: 《Learning Visual Clothing Style with Heterogeneous Dyadic Co-occurrences》论文阅读 Introduction 在推荐场景中,相似商品的i2i推荐一直是重要的基础数据,但只是推荐相似商品还是不够的,用户除了对相似商品的需求外还有对阅读全文
posted @ 2018-01-19 17:58 笨兔勿应 阅读(205) 评论(0) 编辑
摘要: 论文地址:Deep Interest Network for Click-Through Rate ... 这篇论文来自阿里妈妈的精准定向检索及基础算法团队。文章提出的Deep Interest Network (DIN),实现了推荐系统CTR预估模型中,对用户历史行为数据的进一步挖掘。同时,文章中阅读全文
posted @ 2018-01-16 11:39 笨兔勿应 阅读(692) 评论(0) 编辑
摘要: 前置点评: 这篇文章比较朴素,创新性不高,基本是参照了google的word2vec方法,应用到推荐场景的i2i相似度计算中,但实际效果看还有有提升的。主要做法是把item视为word,用户的行为序列视为一个集合,item间的共现为正样本,并按照item的频率分布进行负样本采样,缺点是相似度的计算还阅读全文
posted @ 2018-01-11 23:41 笨兔勿应 阅读(198) 评论(0) 编辑
摘要: 虽然国内必须翻墙才能登录YouTube,但想必大家都知道这个网站。基本上算是世界范围内视频领域的最大的网站了,坐拥10亿量级的用户,网站内的视频推荐自然是一个非常重要的功能。本文就focus在YouTube视频推荐的DNN算法,文中不但详细介绍了Youtube推荐算法和架构细节,还给了不少pract阅读全文
posted @ 2018-01-10 23:53 笨兔勿应 阅读(794) 评论(0) 编辑
摘要: 一、相关理论 本篇博文主要讲解2015年CVPR的一篇关于图像相似度计算的文章:《Learning to Compare Image Patches via Convolutional Neural Networks》,本篇文章对经典的算法Siamese Networks 做了改进。学习这篇pape阅读全文
posted @ 2018-01-08 12:25 笨兔勿应 阅读(219) 评论(0) 编辑
摘要: 提起siamese network一般都会引用这两篇文章: 《Learning a similarity metric discriminatively, with application to face verification》和《 Hamming Distance Metric Learnin阅读全文
posted @ 2018-01-03 23:26 笨兔勿应 阅读(1031) 评论(0) 编辑
摘要: 在写完《Quora是如何做推荐的》一文之后,我在思考一个问题:伴随着Quora、知乎这样的知识分享型社区的兴起,涌现了一大批各个领域的专家用户,这会对推荐系统带来哪些可能的变化呢?恰好今天在读马尔科姆·格拉德威尔的《眨眼之间》这本书的时候,看到了这么一段, 当我们在某一方面修炼到登堂入室的程度时,我阅读全文
posted @ 2017-12-26 10:14 笨兔勿应 阅读(53) 评论(0) 编辑
摘要: 近些年,深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说,深度学习在推荐系统领域的研究与应用还处于早期阶段。 携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用,并在国际人工智能顶级会议AAAI 2017上发表了相应的研究成果《A Hybrid Collab阅读全文
posted @ 2017-12-20 08:14 笨兔勿应 阅读(411) 评论(0) 编辑
摘要: 最近看了京东算法团队最新发表的一篇点击率预估模型的paper Telepath: Understanding Users from a Human Vision Perspective in Large-Scale Recommender Systems,在这里分享一下。 这篇paper的创新点主要阅读全文
posted @ 2017-12-19 00:52 笨兔勿应 阅读(655) 评论(0) 编辑
摘要: 原论文在UMAP'16。文章并没有太高深的模型,比较接地气;但其观点与结论很独到,并且在工业界具有很强的实际操作价值。 针对推荐系统的研究大多关注在挖掘用户并不知道但是却与其兴趣相关的物品。不过每个推荐系统所在的领域都有其各自的特点,本文所讨论的是电商领域的推荐系统,在电商领域中,给用户适当地推荐其阅读全文
posted @ 2017-12-17 14:35 笨兔勿应 阅读(298) 评论(0) 编辑
摘要: 最近在个性化推荐系统的优化过程中遇到一些问题,大致描述如下:目前在我们的推荐系统中,各个推荐策略召回的item相对较为固定,这样就会导致一些问题,用户在多个推荐场景(如果多个推荐场景下使用了相同的召回策略)、多次请求时得到的结果也较为固定,对流量的利用效率会有所降低;尤其对于行为较少的用户,用来作为阅读全文
posted @ 2017-10-27 18:41 笨兔勿应 阅读(575) 评论(0) 编辑
摘要: 搜索引擎的点击日志提供了很多有价值的query-doc相关性信息,但是这些信息是有偏的,因为对于用户没有点击过的doc,我们无法确定其是否真实地被用户浏览过。即日志中记录的展现信息与实际的展现信息之间是存在一定的差距的,日志中记录的展现doc在实际上用户并不一定真的看到,排序的位置对用户是否看到 &阅读全文
posted @ 2017-04-20 14:37 笨兔勿应 阅读(344) 评论(0) 编辑
摘要: 1. 概率排序原理 以往的向量空间模型是将query和文档使用向量表示然后计算其内容相似性来进行相关性估计的,而概率检索模型是一种直接对用户需求进行相关性的建模方法,一个query进来,将所有的文档分为两类 -- 相关文档、不相关文档,这样就转为了一个相关性的分类问题。 对于某个文档D来说,P(R|阅读全文
posted @ 2017-04-18 22:58 笨兔勿应 阅读(598) 评论(0) 编辑
摘要: 之前的博客中已经介绍了Ranking Relevance的一些基本情况(Click Behavior,和Text Match):http://www.cnblogs.com/bentuwuying/p/6714064.html,这里就不再赘述了。针对之前在计算Ranking Relevance的过程阅读全文
posted @ 2017-04-15 16:35 笨兔勿应 阅读(534) 评论(0) 编辑
摘要: Ranking Relevance是搜索排序算法的各个影响因子中相当重要的一个部分。对于Ranking Relevance的计算,过去的技术往往分为两个大的方向:Click Behavior和Text Match。 1. Click Behavior类的feature 主要是利用用户的点击行为来计算阅读全文
posted @ 2017-04-15 14:04 笨兔勿应 阅读(295) 评论(0) 编辑
摘要: Ranklib是一套优秀的Learning to Rank领域的开源实现,其中有实现了MART,RankNet,RankBoost,LambdaMart,Random Forest等模型。其中由微软发布的LambdaMART是IR业内常用的Learning to Rank模型,本文主要介绍Rankl阅读全文
posted @ 2017-04-14 09:16 笨兔勿应 阅读(1495) 评论(2) 编辑
摘要: 之前的博客:http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理,也讲到了Learning to Rank的几类常用的方法:pointwise,pairwise,listwise。前面已经介绍了pai阅读全文
posted @ 2017-04-11 09:23 笨兔勿应 阅读(3792) 评论(0) 编辑
摘要: 之前的博客:http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理,也讲到了Learning to Rank的几类常用的方法:pointwise,pairwise,listwise。前面已经介绍了pai阅读全文
posted @ 2017-04-09 14:58 笨兔勿应 阅读(4554) 评论(0) 编辑
摘要: 之前的博客:http://www.cnblogs.com/bentuwuying/p/6681943.html中简单介绍了Learning to Rank的基本原理,也讲到了Learning to Rank的几类常用的方法:pointwise,pairwise,listwise。这篇博客就很多公司在阅读全文
posted @ 2017-04-09 11:32 笨兔勿应 阅读(4548) 评论(3) 编辑
摘要: Learning to Rank是采用机器学习算法,通过训练模型来解决排序问题,在Information Retrieval,Natural Language Processing,Data Mining等领域有着很多应用。 1. 排序问题 如图 Fig.1 所示,在信息检索中,给定一个query,阅读全文
posted @ 2017-04-08 16:54 笨兔勿应 阅读(5078) 评论(0) 编辑
摘要: 转:http://www.cnblogs.com/jasonfreak/p/5720137.html 目录 1 Random Forest和Gradient Tree Boosting参数详解2 如何调参? 2.1 调参的目标:偏差和方差的协调 2.2 参数对整体模型性能的影响 2.3 一个朴实的方阅读全文
posted @ 2017-04-06 09:06 笨兔勿应 阅读(136) 评论(0) 编辑
摘要: 转:http://www.cnblogs.com/jasonfreak/p/5657196.html 目录 1 前言2 集成学习是什么?3 偏差和方差 3.1 模型的偏差和方差是什么? 3.2 bagging的偏差和方差 3.3 boosting的偏差和方差 3.4 模型的独立性 3.5 小结4 G阅读全文
posted @ 2017-04-06 08:54 笨兔勿应 阅读(164) 评论(0) 编辑
摘要: 一. GBDT的经典paper:《Greedy Function Approximation:A Gradient Boosting Machine》 Abstract Function approximation是从function space方面进行numerical optimization,阅读全文
posted @ 2017-04-05 20:58 笨兔勿应 阅读(5611) 评论(0) 编辑
摘要: 集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务。集成学习通过将多个学习器进行结合,常可以获得比单一学习器显著优越的泛化性能。这对“弱学习器”尤为明显,因此集成学习的很多理论研究都是针对弱学习器进行的。 要获得好的集成,个体学习器应该“好而不同”,即个体学习器要有阅读全文
posted @ 2017-04-03 00:26 笨兔勿应 阅读(579) 评论(0) 编辑
摘要: “偏差-方差分解”(bias-variance decomposition) 是解释学习算法泛化性能的一种重要工具。 偏差-方差分解试图对学习算法的期望泛化错误率进行拆解。我们知道,算法在不同训练集上学得的结果很可能不同,即便这些训练集是来自同一个分布。对测试样本x,令yD为x在数据集中的标记,y为阅读全文
posted @ 2017-04-01 09:29 笨兔勿应 阅读(885) 评论(0) 编辑
摘要: 决策树(decision tree)是一类常见的机器学习方法,目的是为了产生一棵泛化能力强,即处理未见示例能力强的决策树。 决策树的生成是一个递归的过程。在决策树的基本算法中,有三种情况会导致递归返回:(1)当前节点包含的样本全属于同一类别,无需划分;(2)当前属性集为空,或是所有样本在所有属性上取阅读全文
posted @ 2017-03-30 08:55 笨兔勿应 阅读(2630) 评论(0) 编辑
摘要: 之前一篇博客中介绍了Logistics Regression的理论原理:http://www.cnblogs.com/bentuwuying/p/6616680.html。 在大大小小的面试过程中,经常会有这个问题:“请说一下逻辑回归(LR)和支持向量机(SVM)之间的相同点和不同点”。现在整理一下阅读全文
posted @ 2017-03-25 12:19 笨兔勿应 阅读(1563) 评论(1) 编辑
摘要: 简述: 1. LR 本质上是对正例负例的对数几率做线性回归,因为对数几率叫做logit,做的操作是线性回归,所以该模型叫做Logistic Regression。 2. LR 的输出可以看做是一种可能性,输出越大则为正例的可能性越大,但是这个概率不是正例的概率,是正例负例的对数几率。 3. LR的l阅读全文
posted @ 2017-03-25 12:16 笨兔勿应 阅读(2225) 评论(0) 编辑
摘要: 之前学习了SVM的原理(见http://www.cnblogs.com/bentuwuying/p/6444249.html),以及SMO算法的理论基础(见http://www.cnblogs.com/bentuwuying/p/6444516.html)。最近又学习了SVM的实现:LibSVM(版阅读全文
posted @ 2017-03-19 09:29 笨兔勿应 阅读(565) 评论(1) 编辑
摘要: 1. 前言 前面博客介绍了CTR预估中的贝叶斯平滑方法的原理http://www.cnblogs.com/bentuwuying/p/6389222.html。 这篇博客主要是介绍如何对贝叶斯平滑的参数进行估计,以及具体的代码实现。 首先,我们回顾一下前文中介绍的似然函数,也就是我们需要进行最大化的阅读全文
posted @ 2017-03-04 12:21 笨兔勿应 阅读(1484) 评论(0) 编辑
摘要: 1. 前言 最近又重新复习了一遍支持向量机(SVM)。其实个人感觉SVM整体可以分成三个部分: 1. SVM理论本身:包括最大间隔超平面(Maximum Margin Classifier),拉格朗日对偶(Lagrange Duality),支持向量(Support Vector),核函数(Kern阅读全文
posted @ 2017-02-26 17:47 笨兔勿应 阅读(3216) 评论(2) 编辑
摘要: 如下所示,是我在看《这就是搜索引擎》这本书之后,画的一个框架图:阅读全文
posted @ 2017-02-26 14:14 笨兔勿应 阅读(137) 评论(0) 编辑