苑无违的博客

摘要： einsum函数说明 pytorch文档说明：$torch.einsum(equation, **operands)$ 使用基于爱因斯坦求和约定的符号，将输入operands的元素沿指定的维数求和。einsum允许计算许多常见的多维线性代数阵列运算，方法是基于爱因斯坦求和约定以简写格式表示它们。主要 阅读全文

摘要： 梯度裁剪（Gradient Clipping） 在训练比较深或者循环神经网络模型的过程中，我们有可能发生梯度爆炸的情况，这样会导致我们模型训练无法收敛。 我们可以采取一个简单的策略来避免梯度的爆炸，那就是梯度截断 Clip, 将梯度约束在某一个区间之内，在训练的过程中，在优化器更新之前进行梯度截断操 阅读全文

摘要： 模型结构演进 本文以演进方向和目的为线索梳理了一些我常见到但不是很熟悉的预训练语言模型，首先来看看“完全版的BERT”：**RoBERTa: A Robustly Optimized BERT Pretraining Approach（2019）**可看成是完全体的BERT，主要3方面改进，首先采用 阅读全文