2022年7月12日
19 Transformer 解码器的两个为什么（为什么做掩码、为什么用编码器-解码器注意力）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:59 B站-水论文的程序猿 阅读(6077) 评论(0) 推荐(0)
17 Transformer 的解码器（Decoders）——我要生成一个又一个单词
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:58 B站-水论文的程序猿 阅读(5619) 评论(0) 推荐(1)
18 Transformer 的动态流程
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:58 B站-水论文的程序猿 阅读(3291) 评论(0) 推荐(0)
15 Transformer 框架概述
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:57 B站-水论文的程序猿 阅读(8670) 评论(0) 推荐(0)
16 Transformer 的编码器（Encodes）——我在做更优秀的词向量
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:57 B站-水论文的程序猿 阅读(5974) 评论(0) 推荐(0)
1401 位置编码公式详细理解补充
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:56 B站-水论文的程序猿 阅读(3143) 评论(0) 推荐(2)
14 Positional Encoding （为什么 Self-Attention 需要位置编码）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:55 B站-水论文的程序猿 阅读(4635) 评论(0) 推荐(5)
13 Multi-Head Self-Attention（从空间角度解释为什么做多头）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:54 B站-水论文的程序猿 阅读(7307) 评论(0) 推荐(0)
11 Self-Attention相比较 RNN和LSTM的优缺点
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:53 B站-水论文的程序猿 阅读(5874) 评论(0) 推荐(2)
12 Masked Self-Attention（掩码自注意力机制）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:53 B站-水论文的程序猿 阅读(7709) 评论(0) 推荐(0)
10 Self-Attention（自注意力机制）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:52 B站-水论文的程序猿 阅读(13895) 评论(2) 推荐(3)
08 ELMo模型（双向LSTM模型解决词向量多义问题）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:51 B站-水论文的程序猿 阅读(5323) 评论(1) 推荐(3)
09 什么是注意力机制（Attention ）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:51 B站-水论文的程序猿 阅读(16633) 评论(1) 推荐(6)
07 预训练语言模型的下游任务改造简介（如何使用词向量）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:50 B站-水论文的程序猿 阅读(3156) 评论(0) 推荐(0)
06 Word2Vec模型（第一个专门做词向量的模型，CBOW和Skip-gram）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:29 B站-水论文的程序猿 阅读(6031) 评论(0) 推荐(0)
04 统计语言模型（n元语言模型）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:28 B站-水论文的程序猿 阅读(4415) 评论(1) 推荐(1)
05 神经网络语言模型（独热编码+词向量的起源）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:28 B站-水论文的程序猿 阅读(5557) 评论(0) 推荐(0)
03 什么是预训练（Transformer 前奏）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:27 B站-水论文的程序猿 阅读(6679) 评论(0) 推荐(5)
00 预训练语言模型的前世今生（全文 24854 个词）
摘要： 本文的主题是预训练语言模型的前世今生，会大致说下 NLP 中的预训练技术是一步一步如何发展到 Bert 模型的，从中可以很自然地看到 Bert 的思路是如何逐渐形成的，Bert 的历史沿革是什么，继承了什么，创新了什么，为什么效果那么好，主要原因是什么，以及为何说模型创新不算太大，为何说 Bert 是近年来 NLP 重大进展的集大成者。 预训练语言模型的发展并不是一蹴而就的，而是伴随着诸如词嵌入、序列到序列模型及 Attention 的发展而产生的。 阅读全文
posted @ 2022-07-12 16:26 B站-水论文的程序猿 阅读(81671) 评论(5) 推荐(33)
007 Python、Anaconda、pip、Pycharm、Jupyter都是啥？
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:10 B站-水论文的程序猿 阅读(699) 评论(0) 推荐(1)