enhaofrank

摘要： BERT、RoBerta、ERNIE模型对比和改进点总结 1、BERT总结 首先BERT是transformers的encoder部分，BERT有两大训练任务分别是： mask lm：给定一句话，随机抹去这句话中的一个或几个词，要求根据剩余词汇预测被抹去的几个词分别是什么。 next sentenc 阅读全文

摘要： 数据增强技术已经是图像领域的标配，通过对图像的翻转、旋转、镜像、高斯白噪声等技巧实现数据增强。 一个是加噪，另一个是回译，均为有监督方法。加噪即为在原数据的基础上通过替换词、删除词等方式创造和原数据相类似的新数据。回译则是将原有数据翻译为其他语言再翻译回原语言，由于语言逻辑顺序等的不同，回译的方法也 阅读全文