随笔分类 - 论文笔记
平时看论文做的笔记
摘要：1 概述 这是一篇发表在ICDM 2020的文章，代码已开源。论文主要研究如何使用动态的图结构表示的协同信息生成用户和物品的向量，然后用于后续的推荐。 文章指出，在真实的推荐场景，用户的兴趣是随时间不断变化的。然而，基于序列的模型无法直接使用用户和物品的系统信息。比如，这些模型主要是在建模物品之间的
阅读全文
摘要：论文：《MZNT: Memory Augmented Zero Shot Fine grained Named Entity Typing》 一、概述 命名实体分类(Named entity typing, NET)旨在推断文本中实体指称的语义类型。比如给定句子"John plays piano o
阅读全文
摘要：论文：《DPGN: Distribution Propagation Graph Network for Few shot Learning》，CVPR2020 代码：https://github.com/megvii research/DPGN 一、概述 在给定少量标注数据(support集)的情
阅读全文
摘要：论文：《Enhancing VAEs for Collaborative Filtering: Flexible Priors & Gating Mechanisms》，RecSys2019 代码：https://github.com/psywaves/EVCF 一、概述 目前出现了很多将深度学习与
阅读全文
摘要：论文：《Memory based Graph Networks》，ICLR2020 代码：https://github.com/amirkhas/GraphMemoryNet 概述 图神经网络(GNNs)是一类深度模型，可处理任意拓扑结构的数据。比如社交网络、知识图谱、分子结构等。GNNs通常被用来
阅读全文
摘要：论文信息： "论文" 概述 多类别分类要为每个样本分配一个标签，其中标签类别多于两个。比如对于一条微博，如果要对其主题分类，类别标签可能有娱乐、体育、军事、教育等。 现有的文本分类方法主要使用神经网络。一般在最后一层使用Softmax计算文本属于每个类别的概率。但是这种方法独立地考虑每个类别，忽略了
阅读全文
摘要：论文信息： "论文" ， "代码" 概述 随着深度学习的发展，许多大型的神经网络被提出并且获得了非常好的效果。尤其在NLP领域，预训练加微调几乎已经成为了一种新的范式。超大的参数量使得这些模型所向披靡，但同样也使得它们需要消耗大量计算资源。 有一系列模型压缩的方法被提出以解决这个问题，其中最著名的就
阅读全文
摘要：论文信息： "论文" ， "代码" ，Knowledge Based Systems 2018. 概述 传统的情感分析方法主要用于对文本的情感极性（例如，积极，消极和中立）或情感类别（例如，喜怒哀乐）进行分类。但是，这些方法都是粗粒度的，可能会忽略不同文本之间的细微情感差异。为了解决这个问题，研究者
阅读全文
摘要：论文信息： "论文" ，EMNLP2019 概述 上下文感知词嵌入已经被成功应用于命名实体识别、文档分类等NLP任务。其中多语言版BERT也基于XNLI数据集(Conneau et al., 2018)在“zero shot”或者“zero resource”的跨语言分类任务中展示了强大能力。这里所
阅读全文
摘要：论文信息： "论文" 1. 概述 分布式表示在诸多自然语言处理系统中应用十分广泛，比如wrod2vec中每个单词被转换为一个全局向量。但这种方式忽略了单词的上下文信息，同一单词在不同的上下文中表示相同。因此近年来上下文嵌入方法风生水起，获得了快速发展和普遍关注。该论文就是对这些上下文嵌入方法的一篇综
阅读全文
摘要：论文信息： "论文" ,AAAI2020 概述 关系抽取旨在从非结构化文本中抽取结构化的三元组，比如从文本“ Barack Obama was born in the United States”中识别实体"Barack Obama"和"United States"的关系是"born in"，从而得
阅读全文
摘要：论文信息： "论文" , "代码" , ICLR2020. 概述 文本序列转换(transduction)将给定的文本序列从一个领域域转换为另一个领域，比如机器翻译。但这通常需要平行语料的支撑，因此不需要平行语料的无监督序列转换方法逐渐受到研究者们的关注。 最近的无监督文本风格迁移工作主要有两种做法
阅读全文
摘要：论文信息： "地址" ， "代码" ，CVPR2020. 概述 循环神经网络在处理变长数据时非常有效，并且和CNN搭配之后，也能够用于计算机视觉任务，比如图片注释和图片多标签分类。多标签分类任务需要为图片分配若干个标签或概念，比如物体类别，颜色，材料等。由于标签类别多，模型需要学习标签之间的依赖关系
阅读全文
摘要：论文信息： "地址" , "代码" 概述 许多最新的对话生成方法都遵循数据驱动的范式：通过大量查询 响应对训练后，使模型模仿人类对话。因此，数据驱动方法严重依赖于用于训练的问答对。 但是，由于人类对话的主观性和开放性，训练对话的复杂性差异很大。它们中有些容易学习，有些过于复杂，甚至可能还含有噪声。问
阅读全文
摘要：概述 在过去的几年中，神经网络在各个领域产生了重大影响。然而，神经网络易于应用却难以训练，它可以看作是一个随机初始化的模型在大型数据集上做暴力搜索的过程。研究者们必须小心进行模型设计、算法设计以及相应的超参数选择。无免费午餐理论也说明了没有一套方法是能够解决所有问题的。 超参数是那些无法在模型训练过
阅读全文
摘要：论文信息： "论文地址" 概述 神经机器翻译(NMT)获得了巨大成功，在部分领域几乎达到了人类水平，但这些模型主要是在句子级别的平行语料上进行训练和评估的。文档级别的机器翻译需要捕获上下文进行精确翻译，越来越受到研究者们的关注。 一种直接的解决方案是孤立地翻译文档中的每一个句子，但这样会带来不一致问
阅读全文
摘要：深度学习/神经网络虽然在各个领域取得了很大进展，但经常面临梯度爆炸和梯度消失问题。对于Transformer这种大型网络更是。ReZero是本文提出的用于训练更深神经网络的框架。总的来说，ReZero能够使网络具有更深的层次以及更快的收敛速度。 ReZero 研究者们通常通过三项技术解决梯度消失与梯
阅读全文
摘要：介绍 现如今图神经网络取得了很大进展，最典型的两个模型是GCN模型和GAT模型，然而现有的图神经模型仍然存在以下两个问题： 1. 边特征未被有效考虑。比如GAT只考虑两个节点之间是否有边(binary indicator)，GCN的边特征只能是一个实数(one dimensional real va
阅读全文
摘要：本文是arxiv上一篇较短的文章，之所以看是因为其标题中半监督和文本分类吸引了我。不过看完之后觉得所做的工作比较少，但想法其实也挺不错。 大多数的半监督方法都选择将小扰动施加到输入向量或其表示中，这种方式在计算机视觉上比较成功，但对于离散型的文本却不适合。为了将这个方法应用于文本输入，本文将神经网络
阅读全文
摘要：这是一篇发表在ICLR2019上的论文，并且还是ICLR2019的Best paper之一。该论文提出了能够学习树结构信息的 ON LSTM 模型，这篇论文的开源代码可以在 "GitHub" 找到。 自然语言都是层次结构的，小的单元（如词组）堆叠成大的单元（如子句）。当一个大的成分结束时，其内部的所
阅读全文
浙公网安备 33010602011771号