摘要：
使用博客园已经大半年了，我也进入了研一的下学期。 我不是一个很聪明的人，甚至有点懒惰，自从考研失败后，我一度怀疑自己到底有什么用呢？ 程序员这个工作，好像培训班出来的也可以做，我又何必去浪费三年去学习呢？ 如果是为了搞算法，但我调剂到一个普通的211，又有什么优势呢？ 但是，回首这半年，我开始有意识 阅读全文
摘要：
论文地址 NLP的数据增强可以防止过拟合，为深度学习系统注入先验知识提供了最简单的方法，并为这些模型的泛化能力提供了一个视角。 背景 对图像进行语义保留增强很容易，但在文本领域要做到这一点要困难得多。 对迁移学习、自监督学习等很大的意义 文本数据增强的主题 加强决策边界:数据增强通过扰动数据(删除或 阅读全文
摘要：
参考1、参考2 关于KGQA和KBQA的关系 综述 该长文沿用短文的叙述角度，将复杂知识图谱问答方法总结为基于语义解析 (Semantic Parsing-based; SP-based) 的方法和基于信息检索 (Information Retrival-based; IR-based) 的方法。从 阅读全文
摘要：
最近老板让我去读对比学习的论文，我断断续续读了一些。在这里对读到的文章做一下整理，因为考试和假期这些论文也是比较久之前读的了，难免有所不足，请见谅。 EMNLP 2021-SimCSE: Simple Contrastive Learning of Sentence Embeddings 这篇文章大 阅读全文
摘要：
池化层在NLP应用 想看CS224N NLP with Deep Learning（十一）：NLP中的CNN 池化的作用则是对特征进行“总结”,即对特征进行压缩，提取主要特征。NLP中最常用的池化操作是max-over-time Pooling，即用特征在所有时间步的最大值来代表特征，还可参考此 M 阅读全文
摘要：
Bert实际上就是通过叠加多层transformer的encoder(transformer的介绍可以看我的这篇文章)通过两个任务进行训练的得到的。本文参考自BERT 的 PyTorch 实现,BERT 详解.主要结合自己对代码的一些理解融合成一篇以供学习。同时DaNing大佬的博客写的比我好的多， 阅读全文
摘要：
主要用于记录一些比较常用的函数，便于查找。未记录的可查看PYTORCH TUTORIALS，PyTorch中文文档 torch.unsqueeze 主要用于在某一位置添加一个维度 x = torch.tensor([1, 2, 3, 4]) torch.unsqueeze(x, 0) torch.u 阅读全文
摘要：
transformer是谷歌2017年发表的 attention is all you need 中提到的seq2seq模型，我们常用的Bert和GPT等都是基于transformer衍生的。本文主要参考了wmathor大佬的Transformer 详解和Transformer 的 PyTorch 阅读全文
摘要：
本篇论文美团已经给出了很详细的解读 论文：https://arxiv.org/abs/2105.11741 代码：https://github.com/yym6472/ConSERT 本文的想法思路也是一样即对比学习，主要创新点就是试了一些数据增强如对抗攻击、打乱词序、裁剪、dropout等等。通过 阅读全文
摘要：
论文 代码 对于这篇经典论文的讲解已经有很多，这里推荐两个感觉讲的很清楚的讲解1、讲解2，相信看了这两篇论文后对整体的内容已经大致清楚，但是对于SimCSE如何减少各向异性的证明可能还会比较模糊（公式太多了/(ㄒoㄒ)/~~）。因此本文将会这部分进行比较详细的说明。参考自参考1、参考2 ##各向异性 阅读全文