摘要: 多展位信息的共享 阅读全文
posted @ 2021-06-14 11:58 Earendil 阅读(41) 评论(0) 推荐(0) 编辑
摘要: 这个选择偏差(selection bias)主要是以信息流推荐为例来说的。在这里说的是由于展示位置等因素,虽然这个内容用户不一定很喜欢,但是还是点击了。去除选择偏差,就是考虑用户的点击互动行为多大程度是受展示位置的影响。一般来说信息流场景下,第一条的点击率,互动率是要高于之后的位置。统计发现,前三、 阅读全文
posted @ 2020-04-15 17:02 Earendil 阅读(2138) 评论(0) 推荐(0) 编辑
摘要: 目前在做短视频推荐,干了一段时间做些总结。 1、多目标模型 目前rank和recall 所使用的神经网络模型大体结构都是deep&wide+多目标。目前实现多目标的时候会使用底层参数共享,共享的参数有些是仅限于底层的embedding层,有些会包含一些MLP层。 参数共享可以使模型在预测户互动行为也 阅读全文
posted @ 2019-11-17 21:41 Earendil 阅读(276) 评论(0) 推荐(0) 编辑
摘要: 原文地址: https://plushunter.github.io/2018/02/26/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86%E7%B3%BB%E5%88%97%EF%BC%887%EF%BC%89%EF%BC%9AText 阅读全文
posted @ 2019-06-12 11:47 Earendil 阅读(4385) 评论(0) 推荐(1) 编辑
摘要: 用户的关注关系本身就是一个图结构,要从用户关注关系生成用户的embedding表示,其实就是做graph的emebding表示。 deepwalk+word2vec 比较简单,效果也还可以。这种方法再此不再介绍。 接下里记下我对line算法的一些理解。 先说line算法要解决的问题。 1、需要能够表 阅读全文
posted @ 2019-05-06 14:25 Earendil 阅读(5166) 评论(2) 推荐(1) 编辑
摘要: 看了网上的一些用tf实现的FM,很多都没有考虑FM实际使用中数据样本稀疏的问题。 我在实现的时候使用 embedding_lookup_sparse来解决这个问题。 对于二阶部分,由于embedding_lookup_sparse没法计算 和的平方 和 平方的和,我参考embedding_looku 阅读全文
posted @ 2019-04-26 10:44 Earendil 阅读(2284) 评论(1) 推荐(1) 编辑
摘要: Angel是腾讯开源的一个分布式机器学习框架。是一个PS模式的分布式机器学习框架。 https://github.com/Angel-ML/angel 这是github地址。 我了解的分布式机器学习概述: 对于分布式机器学习,有些简单的了解,听过一些概念。最近正在看《分布式机器学习 算法、理论与实践 阅读全文
posted @ 2019-03-08 15:42 Earendil 阅读(1159) 评论(0) 推荐(0) 编辑
摘要: 参考网上博客阅读了bert的代码,记个笔记。代码是 bert_modeling.py 参考的博客地址: https://blog.csdn.net/weixin_39470744/article/details/84401339 https://www.jianshu.com/p/2a3872148 阅读全文
posted @ 2019-03-03 14:44 Earendil 阅读(1664) 评论(1) 推荐(1) 编辑
摘要: 首先是Bert的论文和 attention is all you need的论文 然后是:将nlp预训练 迁移学习的发展从word2vec 到elmo bert https://mp.weixin.qq.com/s/Rd3-ypRYiJObi-e2JDeOjQ https://mp.weixin.q 阅读全文
posted @ 2019-03-01 15:24 Earendil 阅读(275) 评论(0) 推荐(0) 编辑
摘要: 参考的教程: https://www.tensorflow.org/guide/summaries_and_tensorboard 遇到的错误: File "/usr/local/lib/python3.5/dist-packages/tensorboard/util.py", line 50, i 阅读全文
posted @ 2019-02-14 17:18 Earendil 阅读(384) 评论(0) 推荐(0) 编辑