上一页 1 2 3 4 5 6 7 ··· 25 下一页
摘要: 赛题分析 统计信息 样本预览 建模思路 抽取模型 抽取模型的思路是先通过规则将原始的生成式语料转化为序列标注式语料。(将文本转换为文本向量) 基于深度学习的抽取式摘要,是有监督的文本摘要,可以建模为序列标注任务或句子排序任务。 建模为序列标注任务,就是为原文中的每一个句子打一个二分类标签(0 或 1 阅读全文
posted @ 2023-08-24 15:01 wangssd 阅读(86) 评论(0) 推荐(0)
摘要: RNN模型: 激活函数采用tanh() LSTM(长短期记忆网络) LSTM通过增加三个门,激活函数sigmoid输出0到1之间的数值,0表示不允许通过,1表示允许通过。 通过门来增加前后序列间的关联关系。 输入门、输出门、遗忘门(长记忆、短记忆) GRU(Gated Recurrent Unit, 阅读全文
posted @ 2023-08-24 11:45 wangssd 阅读(87) 评论(0) 推荐(0)
摘要: 原文:https://blog.csdn.net/in546/article/details/119621649 激活函数激活函数是用来加入非线性因素的,因为线性模型的表达能力不够。引入非线性激活函数,可使深层神经网络的表达能力更加强大。 激活函数应满足: 非线性: 激活函数非线性时,多层神经网络可 阅读全文
posted @ 2023-08-24 11:39 wangssd 阅读(107) 评论(0) 推荐(0)
摘要: 序列标注(Sequence Tagging)是NLP中最基础的任务(输入序列和输出序列长度相等),应用十分广泛,如分词、词性标注(POS tagging)、命名实体识别(Named Entity Recognition,NER)、关键词抽取、语义角色标注(Semantic Role Labeling 阅读全文
posted @ 2023-08-24 11:10 wangssd 阅读(349) 评论(0) 推荐(0)
摘要: Seq2Seq,就是指一般的序列到序列的转换任务,比如机器翻译、自动文摘等等,这种任务的特点是输入序列和输出序列是不对齐的,如果对齐的话,那么我们称之为序列标注,序列标注任务也可以理解为序列到序列的转换。 左边是输入的 encoder,它负责把输入(可能是变长的)编码为一个固定大小的向量,这个可选择 阅读全文
posted @ 2023-08-24 10:33 wangssd 阅读(156) 评论(0) 推荐(0)
摘要: BERT的全称是Bidirectional Encoder Representation from Transformers,是Google2018年提出的预训练模型,即双向Transformer的Encoder,因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上 阅读全文
posted @ 2023-08-23 16:56 wangssd 阅读(347) 评论(0) 推荐(0)
摘要: masked mutil-head attetion mask 表示掩码,它对某些值进行掩盖,使其在参数更新时不产生效果。Transformer 模型里面涉及两种 mask,分别是 padding mask 和 sequence mask。其中,padding mask 在所有的 scaled do 阅读全文
posted @ 2023-08-23 15:47 wangssd 阅读(164) 评论(0) 推荐(0)
摘要: Bag-of-words模型,BOW模型(词袋模型)假定对于一个文档,忽略它的单词顺序和语法、句法等要素,将其仅仅看作是若干个词汇的集合,文档中每个词汇的出现都是独立的,不依赖于其它词汇是否出现。也就是说,文档中任意一个位置出现的任何单词,都不受该文档语意影响而独立选择的。 基于词袋模型的文本离散化 阅读全文
posted @ 2023-08-23 11:20 wangssd 阅读(346) 评论(0) 推荐(0)
摘要: 模型算法(最难,模型结构与训练方法) 数据(最耗时,数据与模型效果之间的关系) 算力(GPU显卡+模型量化) 模型参数量、训练数据量: 模型参数量决定 整个模型的理论效果 训练数据量决定 整个模型的实际效果 多模态:用于表示某种信息的模式(图片、文字、语音、视频) 通过各种预训练模型将信息的不同模式 阅读全文
posted @ 2023-08-20 12:13 wangssd 阅读(2881) 评论(0) 推荐(0)
摘要: 链接:https://www.zhihu.com/question/585468191/answer/2905219147 optim.SGD是PyTorch中的一个优化器,其实现了随机梯度下降(Stochastic Gradient Descent,SGD)算法。在深度学习中,我们通常使用优化器来 阅读全文
posted @ 2023-08-15 14:48 wangssd 阅读(458) 评论(0) 推荐(0)
上一页 1 2 3 4 5 6 7 ··· 25 下一页