摘要: NLP 领域首次将 attention 机制应用到 CNN 中,CNN 擅长提取输入的鲁棒和抽象特征。这项工作提出了一个基于注意力的卷积神经网络ABCNN,该网络可以通过考虑两个句子之间的相互依赖性来建模一个句子对。 另外,ABCNN 是一种通用体系结构,可以处理各种各样的句子对建模任务。 1. B 阅读全文
posted @ 2021-02-10 16:24 GNEPIUHUX 阅读(197) 评论(0) 推荐(0) 编辑
摘要: Abstract 本文提出的 multiway attention networks 在 matching-aggregation 框架下使用了多个 attention 函数匹配句子对。聚合每个 attention 函数的匹配信息形成最终的表示用于预测。实验结果表明该方法提高了 Quora Ques 阅读全文
posted @ 2021-02-10 00:11 GNEPIUHUX 阅读(128) 评论(0) 推荐(0) 编辑
摘要: Abstract 深度语义匹配是各种自然语言处理应用中关键的一环,比如说问答 (QA),需要将输入的 query 和 QA 语料库中每一个候选的问题进行相关性比较。在开放域的场景下,question-query pair 中的 word tokens 往往比较丰富,同一个词在不同的领域下可能有不同的 阅读全文
posted @ 2021-02-09 17:05 GNEPIUHUX 阅读(537) 评论(0) 推荐(0) 编辑
摘要: 相关术语解释: 正例 负例 预测正 真正例 (true positive, TP) 假正例 (false positive, FP) 预测负 假负例 (false negative, FN) 真负例 (true negative, TN) 真正例率 (true positive ratio) :\( 阅读全文
posted @ 2021-02-01 11:47 GNEPIUHUX 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 1. Abstract 句子匹配被广泛应用于各种自然语言任务,例如:自然语言推理 (natural language inference,NLI)、释义识别 (paraphrase identification) 以及问答 (question answering)。这些任务都要求模型能够很好地对句子 阅读全文
posted @ 2021-02-01 10:45 GNEPIUHUX 阅读(159) 评论(0) 推荐(0) 编辑
摘要: Abstract 短文本匹配是指使用 NLP 模型预测两个文本的语义相关性,很多领域内都有它的身影,比如:信息检索(information retrieval)、问答系统(question answering system)、对话系统(dialogue system)。本文将回顾近年来基于神经网络的 阅读全文
posted @ 2021-01-16 14:38 GNEPIUHUX 阅读(1969) 评论(0) 推荐(0) 编辑
摘要: 1. 循环神经网络 (Recurrent Neural Networks) 人类不会每秒都从头思考,当你读到这篇文章时,你会基于你对以前见过的词语的理解来理解这篇文章,而不是丢掉以前的认知来从头思考。这说明你的思想已经持久化了。 传统的神经网络不能实现这个目标,这似乎是它的主要缺点。例如,您想对电影 阅读全文
posted @ 2021-01-15 11:05 GNEPIUHUX 阅读(293) 评论(0) 推荐(0) 编辑
摘要: 为什么选择腾讯云轻量应用服务器,因为可以白嫖一个月 😂 创建实例后绑定本机的 ssh 公共密钥,一般的保存路径是 ~/.ssh/id_rsa.pub。当然你也可以在腾讯云控制台创建一个新的密钥,这里为了方便直接绑定了本地的 配置 fpr 腾讯云服务器配置启动 fpr 下载,https://gith 阅读全文
posted @ 2020-12-18 19:08 GNEPIUHUX 阅读(1428) 评论(0) 推荐(0) 编辑
摘要: 问题起源于为了完成一个多任务的训练,自己写了个 BatchSampler,如下: class MultiTaskBatchSampler(BatchSampler): def __init__(self, datasets: MultiTaskDataset, batch_size: int, sh 阅读全文
posted @ 2020-12-11 17:42 GNEPIUHUX 阅读(129) 评论(0) 推荐(0) 编辑
摘要: 看到一个使用 tf 实现的 precision、recall 和 f1,仔细看发现这个实现里 micro-precision、micro-recall、micro-f1 相等,以前从没认真想过这个问题,但是仔细一想还真是这样,于是赶紧用 google 搜了一下,发现还有篇博客介绍了并举例子验证。 三 阅读全文
posted @ 2020-06-11 16:55 GNEPIUHUX 阅读(1519) 评论(0) 推荐(0) 编辑