摘要：BERT 在自然语言处理（NLP）领域刷新了 11 个任务的记录，万众瞩目，成为异常火热的一个预训练语言模型。 今天我们就来详细讲解下 BERT 这个预训练语言模型，虽然 BERT 刷新了各个任务的记录，但是 BERT 并不是一个具有极大创新的算法，更多的是一个集大成者，把 BERT 之前各个语言模型的优点集于一身，并作出了适当的改进，而拥有了如今无与伦比的能力。 阅读全文

摘要：我为什么要做这件事呢？现存的python，机器学习视频都是为了培养人工智能算法工程师，各种高大上，各种看不懂，而有一批和我这样的同学，只想水一篇论文毕业，然后考公考编。因此，我的目标定位就是通过最快速的方法让大家具备水论文的一些必备基础。然后呢，transformer 和bert开课了，先润润嗓子，为正菜做准备。 博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看 配套 github 链接：https://github.com/nickchen121/Pre-training-language-model 配套博客链接：https://www.cnblogs.com/nickchen121/p/15105048.html 阅读全文

摘要：本篇文章的知识点顺序是按照 Transformer 的架构，从下往上，从 encoders 到 decoders 的顺序编写的，可能不利于新手的理解，但是非常全面，可以参考其他的文章一起阅读，效果更佳！ 一、Transformer引入 来源于机器翻译： Transformer 分为两个部分——编码器 阅读全文

摘要：RNN做机器翻译有它自身的弱点，Attention正是为了克服这个弱点而出现的。所以，要理解Attention，就要搞明白两件事： RNN在做机器翻译时有什么弱点 Attention是如何克服这个弱点的 本文试图从解答这两个问题的角度来理解Attention机制。 一、RNN做机器翻译的经典思路 e 阅读全文