2022年7月12日
19 Transformer 解码器的两个为什么（为什么做掩码、为什么用编码器-解码器注意力）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:59 B站-水论文的程序猿 阅读(3633) 评论(0) 推荐(0) 编辑
17 Transformer 的解码器（Decoders）——我要生成一个又一个单词
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:58 B站-水论文的程序猿 阅读(3454) 评论(0) 推荐(1) 编辑
18 Transformer 的动态流程
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:58 B站-水论文的程序猿 阅读(1916) 评论(0) 推荐(0) 编辑
15 Transformer 框架概述
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:57 B站-水论文的程序猿 阅读(5118) 评论(0) 推荐(0) 编辑
16 Transformer 的编码器（Encodes）——我在做更优秀的词向量
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:57 B站-水论文的程序猿 阅读(3822) 评论(0) 推荐(0) 编辑
1401 位置编码公式详细理解补充
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:56 B站-水论文的程序猿 阅读(1898) 评论(0) 推荐(1) 编辑
14 Positional Encoding （为什么 Self-Attention 需要位置编码）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:55 B站-水论文的程序猿 阅读(2735) 评论(0) 推荐(4) 编辑
13 Multi-Head Self-Attention（从空间角度解释为什么做多头）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:54 B站-水论文的程序猿 阅读(4467) 评论(0) 推荐(0) 编辑
11 Self-Attention相比较 RNN和LSTM的优缺点
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:53 B站-水论文的程序猿 阅读(3548) 评论(0) 推荐(2) 编辑
12 Masked Self-Attention（掩码自注意力机制）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:53 B站-水论文的程序猿 阅读(5044) 评论(0) 推荐(0) 编辑
10 Self-Attention（自注意力机制）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:52 B站-水论文的程序猿 阅读(8355) 评论(1) 推荐(2) 编辑
08 ELMo模型（双向LSTM模型解决词向量多义问题）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:51 B站-水论文的程序猿 阅读(2976) 评论(1) 推荐(3) 编辑
09 什么是注意力机制（Attention ）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:51 B站-水论文的程序猿 阅读(10121) 评论(1) 推荐(5) 编辑
07 预训练语言模型的下游任务改造简介（如何使用词向量）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:50 B站-水论文的程序猿 阅读(1804) 评论(0) 推荐(0) 编辑
06 Word2Vec模型（第一个专门做词向量的模型，CBOW和Skip-gram）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:29 B站-水论文的程序猿 阅读(3349) 评论(0) 推荐(0) 编辑
04 统计语言模型（n元语言模型）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:28 B站-水论文的程序猿 阅读(2339) 评论(1) 推荐(1) 编辑
05 神经网络语言模型（独热编码+词向量的起源）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:28 B站-水论文的程序猿 阅读(3051) 评论(0) 推荐(0) 编辑
03 什么是预训练（Transformer 前奏）
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 阅读全文
posted @ 2022-07-12 16:27 B站-水论文的程序猿 阅读(3771) 评论(0) 推荐(4) 编辑
00 预训练语言模型的前世今生（全文 24854 个词）
摘要： 本文的主题是预训练语言模型的前世今生，会大致说下 NLP 中的预训练技术是一步一步如何发展到 Bert 模型的，从中可以很自然地看到 Bert 的思路是如何逐渐形成的，Bert 的历史沿革是什么，继承了什么，创新了什么，为什么效果那么好，主要原因是什么，以及为何说模型创新不算太大，为何说 Bert 是近年来 NLP 重大进展的集大成者。 预训练语言模型的发展并不是一蹴而就的，而是伴随着诸如词嵌入、序列到序列模型及 Attention 的发展而产生的。 阅读全文
posted @ 2022-07-12 16:26 B站-水论文的程序猿 阅读(43905) 评论(4) 推荐(20) 编辑
007 Python、Anaconda、pip、Pycharm、Jupyter都是啥？
摘要： 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/shui-water--paper 配套博客链接：ht 阅读全文
posted @ 2022-07-12 16:10 B站-水论文的程序猿 阅读(483) 评论(0) 推荐(1) 编辑