正文内容加载中...
posted @ 2015-05-25 22:55 仙守 阅读(1903) 评论(0) 推荐(1) 编辑
摘要: 1 什么是粗排 粗排英文叫pre-ranking,即在排序之前的部分,主要是通过召回获取了足够多的候选物料集,这时候虽然可以一股脑的全堆给后面的排序,但是假如候选集过大,排序模型过于复杂,那么排序阶段会耗时过长;这时候可以增加一个粗排,用来做进一步的筛选,将数据量进一步降下去。 粗排的进展还是较慢的 阅读全文
posted @ 2022-09-26 15:35 仙守 阅读(1) 评论(0) 推荐(0) 编辑
摘要: 1 引言 在很多公司中是spark处理大量数据,然后塞入redis(如一堆特征数据),但是下游可能存在需要python读取该redis然后获取其中的数据(利用tf进行建模),但是jedis中的客户端分片机制在其他python的客户端sdk中都好像未复现, 2 python客户端调研 如python连 阅读全文
posted @ 2022-07-20 10:02 仙守 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 引言 DSSM,业内也叫做双塔模型,2013年微软发出来是为了解决NLP领域中计算语义相似度任务,即如何让搜索引擎在大规模web文件中基于query给出最相似的docment。因为语义匹配本身是一种排序问题,和推荐场景不谋而合,所以 DSSM 模型被自然的引入到推荐领域中。因为效果不错并且对工业界十 阅读全文
posted @ 2022-07-07 15:05 仙守 阅读(66) 评论(0) 推荐(0) 编辑
摘要: 引言 youtube作为全球最大的视频内容网站,无时无刻都上传成百上千的事情,目前应该也有千亿个视频了,2016年,youtube决定接着用DL做点事情,之前都是基于MF,或者协同过滤做事情。2016年的时候,全球还很少将DL应用在推荐领域,youtubeDNN也是十分经典的召回和排序模型. 上图就 阅读全文
posted @ 2022-06-30 09:54 仙守 阅读(78) 评论(0) 推荐(0) 编辑
摘要: 引言 其实最开始推荐系统根本就没召回,直接基于物料池进行排序就行,但是如果物料池变得超大,为了技术和业务发展,每个样本的特征越来越复杂,如果直接精排是没法工程的,所以增加召回,即用更简单的模型更少的特征或者直接规则对候选集快速筛选,减少排序阶段的耗时;同时召回的加入也能让业务更加丰富,如想对这个人增 阅读全文
posted @ 2022-06-16 10:29 仙守 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 引言 推荐系统中的推荐是建立在海量数据挖掘基础上的,主要是给用户提供个性化的信息服务和决策支持,其主要作用是: 降低信息过载 发掘长尾 提高转化率 按照现在说法,推荐系统其实就是人,货,场中的场。主要就是将不同的信息推荐给不同的人,分为: 个性化,千人千面,精准到个人一面 非个性化,如热门推荐,编辑 阅读全文
posted @ 2022-06-15 11:05 仙守 阅读(56) 评论(0) 推荐(0) 编辑
摘要: 引言 din是阿里妈妈17年的论文,其中在之前embedding&mlp基础上增加了attention,主要思想是:embedding&mlp结构中,并未考虑到用户历史商品的针对性,举个例子: 用户a历史商品中主要都是衣服; 用户b历史商品中主要都是电子书 可以得出,用户a,如果给他呈现的推荐商品是 阅读全文
posted @ 2022-06-14 11:09 仙守 阅读(54) 评论(0) 推荐(0) 编辑
摘要: 隐私集合求交,PSI,即private set intersection, 看到一篇讲解psi很细致的文章,想着搭配流程图会更容易理解 0 引言 隐私集合求交,就是在双方不泄露任何额外信息基础上,得到双方的数据交集。也就是双方PSI之后,只知道哪些数据对方也有,除此之外一无所知。对于PSI,我们可以 阅读全文
posted @ 2022-06-01 17:05 仙守 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 0 引言 transformer这个框架现在可谓是遍地开花,继最开始的AE,CNN,RNN,到现在的transformer,该框架从nlp席卷CV,乃至ASR领域。 本文以The Illustrated Transformer【译】和The Annotated Transformer为来源,主要从总 阅读全文
posted @ 2022-04-21 17:42 仙守 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 0 背景 隐私计算分为: 联邦学习 多方安全计算 可信执行技术 联邦学习主要在于解决不同数据孤岛之间的信息共享问题,在数据不出本地的基础上,完成更上层的信息共享。联邦学习中的横向联邦学习,其形式有点类似分布式机器学习,但是本质不是同一个东西。 但是联邦学习领域存在一个定义不同的现象,就是: 老外,比 阅读全文
posted @ 2022-03-24 18:00 仙守 阅读(355) 评论(0) 推荐(0) 编辑