摘要： 池化层在NLP应用 想看CS224N NLP with Deep Learning（十一）：NLP中的CNN 池化的作用则是对特征进行“总结”,即对特征进行压缩，提取主要特征。NLP中最常用的池化操作是max-over-time Pooling，即用特征在所有时间步的最大值来代表特征，还可参考此 M 阅读全文

摘要： Bert实际上就是通过叠加多层transformer的encoder(transformer的介绍可以看我的这篇文章)通过两个任务进行训练的得到的。本文参考自BERT 的 PyTorch 实现,BERT 详解.主要结合自己对代码的一些理解融合成一篇以供学习。同时DaNing大佬的博客写的比我好的多， 阅读全文