09 2021 档案

[转] 关于Multi-head的为什么
摘要：参考资料和说明都挺清楚的： 一.Attention is all you need论文中讲模型分为多个头，形成多个子空间，每个头关注不同方面的信息。如果Multi-Head作用是关注句子的不同方面，那么不同的head就应该关注不同的Token；当然也有可能是关注的pattern相同，但是关注的内容不 阅读全文
posted @ 2021-09-22 17:00 凌波微步_Arborday 阅读(1083) 评论(0) 推荐(0)
[转] GPT、GPT-2到GPT-3概览
摘要：算是写的非常清楚的GPT个版本的介绍了 从GPT三个版本的论文名也能看出各版本模型的重点： GPT1：Imporoving Language Understanding By Generative Pre-training 强调预训练 GPT2：Lanuage Models Are Unsuperv 阅读全文
posted @ 2021-09-17 10:06 凌波微步_Arborday 阅读(4719) 评论(0) 推荐(0)
[转] RoBERTa介绍
摘要：from: https://zhuanlan.zhihu.com/p/103205929 这篇博客最好的地方是题图： 正文： RoBERTa 论文原文：Roberta 项目主页中文, 作者表示，在本项目中，没有实现 dynamic mask。 英文项目主页 从模型上来说，RoBERTa基本没有什么太 阅读全文
posted @ 2021-09-15 16:13 凌波微步_Arborday 阅读(501) 评论(0) 推荐(0)
[转] ELMo原理解析及简单上手使用
摘要：from: https://zhuanlan.zhihu.com/p/51679783 2018年3月份，ELMo[1][2]出世，该paper是NAACL18 Best Paper。在之前2013年的word2vec及2014年的GloVe的工作中，每个词对应一个vector，对于多义词无能为力。 阅读全文
posted @ 2021-09-15 13:42 凌波微步_Arborday 阅读(920) 评论(0) 推荐(0)
[转] 图解attention实现细节
摘要：小图画的明儿白儿的 from:https://zhuanlan.zhihu.com/p/44731789 上图是attention模型的总体结构，包含了模型所有节点及流程（因为有循环结构，流程不是特别清楚，下文会详细解释）；模型总体分为两个部分：编码部分和解码部分，分别是上图的左边和右边图示；以下选 阅读全文
posted @ 2021-09-13 22:11 凌波微步_Arborday 阅读(897) 评论(0) 推荐(0)
[转] 理解python闭包
摘要：from: https://www.cnblogs.com/yssjun/p/9887239.html 闭包并不只是一个python中的概念，在函数式编程语言中应用较为广泛。理解python中的闭包一方面是能够正确的使用闭包，另一方面可以好好体会和思考闭包的设计思想。 1.概念介绍 首先看一下维基上 阅读全文
posted @ 2021-09-12 15:35 凌波微步_Arborday 阅读(96) 评论(0) 推荐(0)