随笔分类 -  NLP相关

1
FairytaleQA阅读笔记
摘要：原文地址 Fantastic Questions and Where to Find Them: FairytaleQA -- An Authentic Dataset for Narrative Comprehension ACL 2022主会长文 Abstract 动机：现有QA数据集较少考察细 阅读全文
posted @ 2022-08-31 17:34 永远是个小孩子 阅读(410) 评论(0) 推荐(0)
概率校准calibration相关
摘要：calibration的概念、动机、原理 https://zhuanlan.zhihu.com/p/90479183 https://zhuanlan.zhihu.com/p/101766505 https://blog.csdn.net/xixiaoyaoww/article/details/11 阅读全文
posted @ 2021-11-29 16:36 永远是个小孩子 阅读(210) 评论(0) 推荐(0)
python包xgboost安装和简单使用
摘要：先转载过来，我有时间再慢慢看 https://blog.csdn.net/rosefun96/article/details/78876569?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandin 阅读全文
posted @ 2021-11-28 19:45 永远是个小孩子 阅读(139) 评论(0) 推荐(0)
What do Models Learn from Question Answering Datasets?论文阅读笔记
摘要：论文原文链接：2004.03490.pdf (arxiv.org) 来源：EMNLP2020，亚马逊的一篇工作 使用的数据集：SQuAD2.0、TriviaQA、Natural Questions、QuAC、NewsQA Abstract 目标：investigate if models are l 阅读全文
posted @ 2021-10-20 18:36 永远是个小孩子 阅读(436) 评论(0) 推荐(0)
Beat the AI：Investigating Adversarial Human Annotation for Reading Comprehension论文阅读笔记
摘要：论文原文链接：[2002.00293] Beat the AI: Investigating Adversarial Human Annotation for Reading Comprehension (arxiv.org) 来源：TACL2020 使用到的数据集：SQuAD1.1、DROP、Na 阅读全文
posted @ 2021-10-10 13:53 永远是个小孩子 阅读(109) 评论(0) 推荐(0)
Sentence-selector：Efficient and Robust Question Answering from Minimal Context over Documents论文阅读笔记
摘要：论文原文链接：[1805.08092] Efficient and Robust Question Answering from Minimal Context over Documents (arxiv.org) 来源：ACL2018 动机 以前的阅读理解模型在文档长度比较长的时候运算复杂度高，而 阅读全文
posted @ 2021-09-16 18:47 永远是个小孩子 阅读(120) 评论(0) 推荐(0)
ACL2020 Best Paper阅读及理解
摘要：转载自博客： https://wmathor.com/index.php/archives/1454/，原博客更加完整而且排版更加令人舒服。 Checklist 论文：Beyond Accuracy:Behavioral Testing of NLP Models with Checklist 之前 阅读全文
posted @ 2021-07-29 12:57 永远是个小孩子 阅读(356) 评论(0) 推荐(0)
Retrospective Reader论文及原理
摘要：论文：Retrospective Reader for Machine Reading Comprehension，是上海交大的一篇论文 阅读及复现这篇论文的契机是因为它是SQuAD2.0榜单前几名中唯一一个有论文的。 摘要 机器阅读理解（MRC）要求机器基于给定的文段提取出问题的答案，不仅需要找到 阅读全文
posted @ 2021-07-29 11:56 永远是个小孩子 阅读(336) 评论(0) 推荐(0)
BERT相关变体原理理解
摘要：具体顺序不是按照模型出现的顺序，而是按照我在组会上讲的顺序。会在每个模型的一开头列出参考的博客以及论文。 主要写的是自己的理解，但是推荐一个有趣的博客：BERT and it's family RNN结构，双向LSTM，Transformer， BERT对比分析 RoBERTa 论文：RoBERTa 阅读全文
posted @ 2021-07-29 01:26 永远是个小孩子 阅读(617) 评论(0) 推荐(0)
BERT原理理解
摘要：参考博客 https://wmathor.com/index.php/archives/1456/ https://blog.csdn.net/sunhua93/article/details/102764783，非常详细 预训练模型 用巨大的数据来训练一个泛化能力很强的模型，当我们需要在特定场景使 阅读全文
posted @ 2021-07-28 23:30 永远是个小孩子 阅读(1141) 评论(0) 推荐(0)
Transformer原理理解
摘要：参考博客 https://wmathor.com/index.php/archives/1438/，大佬讲的非常清晰！！！博客排版也非常值得学习。 https://zhuanlan.zhihu.com/p/85612521，Transformer三部曲，也解释了attention机制 http:// 阅读全文
posted @ 2021-07-28 22:29 永远是个小孩子 阅读(4206) 评论(0) 推荐(1)
LSTM原理理解
摘要：参考博客 https://zybuluo.com/hanbingtao/note/581764，LSTM的超详细解释 https://blog.csdn.net/qq_36696494/article/details/89028956，RNN、LSTM一起的详解，例子很详细。 长短时记忆网络（LST 阅读全文
posted @ 2021-07-28 20:42 永远是个小孩子 阅读(1259) 评论(0) 推荐(0)
RNN原理理解
摘要：参考博客 https://zybuluo.com/hanbingtao/note/541458 语言模型 语言模型：语言模型是对一种语言的特征进行建模，例如给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。让神经网络输出概率：softmax层作为输出层。 N-Gram：假设一个词出现的概率 阅读全文
posted @ 2021-07-28 18:00 永远是个小孩子 阅读(1020) 评论(0) 推荐(0)
CNN原理理解
摘要：参考博客 https://www.zybuluo.com/hanbingtao/note/485480 卷积神经网络 卷积神经网络(Convolutional Neural Network, CNN)，示例图如下： 一个CNN由卷积层、池化层（pooling）和全连接层组成。它的常用架构模式是前面是 阅读全文
posted @ 2021-07-28 16:53 永远是个小孩子 阅读(912) 评论(0) 推荐(0)
深度学习神经网络模型原理基础
摘要：参考博客 https://www.zybuluo.com/hanbingtao/note/433855，零基础入门，讲的非常详细易懂 https://blog.csdn.net/qq_38150441/article/details/80533891，随机梯度下降 https://zhuanlan. 阅读全文
posted @ 2021-07-28 00:00 永远是个小孩子 阅读(707) 评论(0) 推荐(0)
提分杀器：模型集成（Ensemble）
摘要：参考博客 https://blog.csdn.net/dugudaibo/article/details/79145417 https://blog.csdn.net/weixin_42280517/article/details/82386749?utm_medium=distribute.pc_ 阅读全文
posted @ 2021-07-27 21:17 永远是个小孩子 阅读(839) 评论(0) 推荐(0)
NLP常用损失函数
摘要：参考博客 https://blog.csdn.net/WinterShiver/article/details/103021569 https://zhuanlan.zhihu.com/p/58883095 https://blog.csdn.net/jclian91/article/details 阅读全文
posted @ 2021-07-27 13:36 永远是个小孩子 阅读(748) 评论(0) 推荐(0)
NLP常用激活函数
摘要：参考博客 https://blog.csdn.net/weixin_41417982/article/details/81437088 https://blog.csdn.net/muyao987/article/details/106829342 激活函数的作用 激活函数将线性变换转换为非线性的。 阅读全文
posted @ 2021-07-25 21:56 永远是个小孩子 阅读(294) 评论(0) 推荐(0)
NLP评价性能指标
摘要：基于综述Survey on deep learning with class imbalance，以及网上找到的一些博客，总结一下NLP任务中的常用性能指标，主要以分类任务为准。 目录 混淆矩阵 准确率和错误率 正确率、召回率、选择率 F1值、G-Mean、Balanced Accuracy ROC 阅读全文
posted @ 2021-07-25 21:06 永远是个小孩子 阅读(1483) 评论(0) 推荐(1)
对抗训练
摘要：参考博客 有pytorch的实现，开箱即食：https://zhuanlan.zhihu.com/p/91269728 原理的说明更容易理解，而且覆盖的对抗训练方法更多更广更新：https://zhuanlan.zhihu.com/p/103593948 本博客主要是基于自己的理解过程，结合一下上面 阅读全文
posted @ 2021-05-04 13:16 永远是个小孩子

1