上一页 1 2 3 4 5 6 7 8 ··· 25 下一页
摘要: 一、设计哲学 pytorch-lightning 是建立在pytorch之上的高层次模型接口。 pytorch-lightning 之于 pytorch,就如同keras之于 tensorflow。 通过使用 pytorch-lightning,用户无需编写自定义训练循环就可以非常简洁地在CPU、单 阅读全文
posted @ 2021-02-19 17:26 光彩照人 阅读(922) 评论(0) 推荐(0) 编辑
摘要: 转自:https://zhuanlan.zhihu.com/p/104307718 背景 在推荐、搜索、广告等领域,CTR(click-through rate)预估是一项非常核心的技术,这里引用阿里妈妈资深算法专家朱小强大佬的一句话:“它(CTR预估)是镶嵌在互联网技术上的明珠”。 本篇文章主要是 阅读全文
posted @ 2021-02-03 16:20 光彩照人 阅读(525) 评论(0) 推荐(0) 编辑
摘要: 一、torch.nn.Embedding 模块可以看做一个字典,字典中每个索引对应一个词和词的embedding形式。利用这个模块,可以给词做embedding的初始化操作 torch.nn.Embedding(num_embeddings, embedding_dim, padding_idx=N 阅读全文
posted @ 2021-01-31 18:31 光彩照人 阅读(489) 评论(0) 推荐(0) 编辑
摘要: torch.utils.data.Dataset与torch.utils.data.DataLoader的理解 pytorch提供了一个数据读取的方法,其由两个类构成:torch.utils.data.Dataset和DataLoader 我们要自定义自己数据读取的方法,就需要继承torch.uti 阅读全文
posted @ 2021-01-31 10:40 光彩照人 阅读(405) 评论(0) 推荐(0) 编辑
摘要: 常见的id类特征有用户特征user_id,物品特征item_id等,通常来说这类特征都是人为按顺序编码的特征,并不能反映用户或者物品的自然属性特征。但是在很多推荐相关的文章,都有提到使用这类特征,而且似乎还非常重要,并且除了推荐系统,在计算广告、反欺诈风控模型里都有成功的案例。这是为什么呢? 一、I 阅读全文
posted @ 2021-01-30 21:15 光彩照人 阅读(3574) 评论(0) 推荐(1) 编辑
摘要: 一、概述: GRU(Gate Recurrent Unit)是LSTM网络的一种效果很好的变体,它较LSTM网络的结构更加简单,而且效果也很好,因此也是当前非常流形的一种网络。GRU既然是LSTM的变体,因此也是可以解决RNN网络中的长依赖问题。 在LSTM中引入了三个门函数:输入门、遗忘门和输出门 阅读全文
posted @ 2020-08-23 15:24 光彩照人 阅读(7121) 评论(0) 推荐(0) 编辑
摘要: 本文通过让LSTM学习字母表,来预测下一个字母,详细的请参考: https://blog.csdn.net/zwqjoy/article/details/80493341 https://machinelearningmastery.com/understanding-stateful-lstm-r 阅读全文
posted @ 2020-08-01 15:50 光彩照人 阅读(1377) 评论(0) 推荐(0) 编辑
摘要: 一、Sateful参数介绍 在Keras调用LSTM的参数中,有一个stateful参数,默认是False,也就是无状态模式stateless,为True的话就是有状态模式stateful,所以这里我们就归为两种模式: 有状态模型(stateful LSTM) 无状态模型(stateless LST 阅读全文
posted @ 2020-07-28 21:07 光彩照人 阅读(2325) 评论(0) 推荐(0) 编辑
摘要: 一、LSTM原理介绍 RNN虽然理论上也能循环处理长序列,但是由于其结构简单,单元里面只是一个基于tanh激活函数的前馈网络在循环,对于长序列中的哪些信息需要记忆、哪些序列需要忘记,RNN是无法处理的。序列越长,较早的信息就应该忘记,由新的信息来代替,因为上下文语境意境发生了变化,既然RNN无法处理 阅读全文
posted @ 2020-07-28 21:06 光彩照人 阅读(1835) 评论(0) 推荐(0) 编辑
摘要: 一、背景介绍 BERT和RoBERTa在文本语义相似度等句子对的回归任务上,已经达到了SOTA的结果。但是,它们都需要把两个句子同时喂到网络中,这样会导致巨大的计算开销:从10000个句子中找出最相似的句子对,大概需要5000万(C100002=49,995,000)个推理计算,在V100GPU上耗 阅读全文
posted @ 2020-05-12 10:01 光彩照人 阅读(14029) 评论(1) 推荐(1) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 25 下一页