摘要: 在推荐系统的精排模块,多任务学习的模型结构已成业界的主流,获得了广阔的应用。多任务学习(multi-task learning),本质上是希望使用一个模型完成多个任务的建模。在推荐系统中,多任务学习一般即指多目标学习(multi-label learning),不同目标输入相同的feature进行联合训练,是迁移学习的一种。 阅读全文
posted @ 2022-06-27 19:10 Junwei_Kuang 阅读(1500) 评论(0) 推荐(0) 编辑
摘要: 召回是工业级推荐系统的第一个阶段,负责从大规模物料库中快速筛选出小规模的候选项目,这时候运行速度和召回率指标更加重要,精确率指标次要。目前,使用基于深度学习的双塔模型来做召回是主流方法。 本文将介绍两种双塔模型,经典双塔模性 DSSM 和 YouTubeDNN。 阅读全文
posted @ 2022-06-20 10:35 Junwei_Kuang 阅读(1813) 评论(0) 推荐(1) 编辑
摘要: 精排是推荐系统中最重要的环节,也是离用户最近的环节,而 CTR 是评价精排模型性能的重要指标。 本文将介绍提高 CTR 预测的两个经典精排模型 DIN 和 DeepFM,并使用 Torch-RecHub 框架来完成这两个模型的训练和测试。 阅读全文
posted @ 2022-06-19 16:14 Junwei_Kuang 阅读(1977) 评论(0) 推荐(1) 编辑
摘要: 推荐系统是缓解互联网等环境下信息过载问题的重要方法之一,在电商、电影和音乐等很多消费场景发挥了重要价值。然而,随着业务场景的不断更新和提出新的要求,推荐系统的设计也必须要不断改进。作为研究者或者工程师,有必要掌握一套好的工具来实现和改进推荐系统相关的架构和模型,提升科研和工作效率。 Torch-RecHub 是一个轻量级的pytorch推荐模型框架,易用易拓展,聚焦复现业界实用的推荐模型,以及泛生态化的推荐场景,是值得学习和掌握的。而且,Torch-RecHub 有优秀的团队一直在维护和改进,并且有良好的社群可以学习和讨论。 阅读全文
posted @ 2022-06-13 15:49 Junwei_Kuang 阅读(1084) 评论(0) 推荐(0) 编辑
摘要: 随着深度神经网络做的的发展,网络的结构越来越复杂,我们也很难确定每一层的输入结构,输出结构以及参数等信息,这样导致我们很难在短时间内完成debug。因此掌握一个可以用来可视化网络结构的工具是十分有必要的。 阅读全文
posted @ 2022-05-27 21:53 Junwei_Kuang 阅读(169) 评论(0) 推荐(0) 编辑
摘要: PyTorch进阶训练技巧,包括自定义损失函数、动态调整学习率、模型微调、数据增强和使用 argparse 调参等。 阅读全文
posted @ 2022-05-23 14:01 Junwei_Kuang 阅读(343) 评论(0) 推荐(0) 编辑
摘要: 我们将首先介绍三种基本的模型定义方式、然后介绍怎么使用模型快更快地搭建复杂网络(从零开始)。为了降低工作量和利用他人的研究成果,我们可以去修改现有的模型(可能非常大)来解决我们自己的问题。最后,我们介绍了模型的保存与读取,这在训练大规模模型时是非常有必要的。 阅读全文
posted @ 2022-05-21 11:14 Junwei_Kuang 阅读(436) 评论(0) 推荐(0) 编辑
摘要: 通过真实的实战案例(本文将介绍两个图片多分类问题),我们可以高效地将 PyTorch 入门知识串起来,有助于加深理解、为后续的进阶学习打好基础。 阅读全文
posted @ 2022-05-20 14:41 Junwei_Kuang 阅读(1097) 评论(2) 推荐(0) 编辑
摘要: 深度学习是机器学习的子集,工作流程是类似的,但在代码实现上有较大的差异:1、深度学习所需的样本量很大,一次加载全部数据运行可能会超出内存容量而无法实现 → 使用**批(Batch)处理**每次载入固定数量的样本送入模型,这种方式还能提高模型的性能。2、深度神经网络层数往往较多,同时会有一些用于实现特定功能的层,模型结构多样化 → “逐层”搭建,或者预先定义好可以实现特定功能的模块,再把这些模块组装起来。这种**“定制化”**方式对代码实现提出了新的要求。3、由于模型设定的灵活性,因此损失函数和优化器要能够保证**反向传播**能够在用户自行定义的模型结构上实现。4、在代码实现中,需要把模型和数据 “放到” **GPU**上去做运算,同时还需要保证损失函数和优化器能够在GPU上工作。 阅读全文
posted @ 2022-05-18 09:32 Junwei_Kuang 阅读(231) 评论(0) 推荐(0) 编辑
摘要: 张量(Tensor) 几何代数中定义的张量是基于向量和矩阵的推广:0维张量是一个数字,1维张量称为“向量”,2维张量称为矩阵,3维张量可以是彩色图片(RGB)等。张量是现代机器学习的基础。 (width, height, channel) = 3D; (sample_size, width, hei 阅读全文
posted @ 2022-05-17 14:27 Junwei_Kuang 阅读(554) 评论(0) 推荐(0) 编辑