2022年8月15日
Albert理论详解：用矩阵分解与跨层参数共享减少参数量
摘要： 1.介绍 Albert是Bert的一个变种，它在Bert的基础上减少了参数量，使整个模型更加的“轻量化”，同时也保持了Bert的性能，但值得注意的是，Albert虽然显著地减少了参数量，但并没有显著地减少计算时间复杂度，换言之，Albert的预测速度不一定比普通的更快，甚至可能会减慢训练的速度。（A 阅读全文
posted @ 2022-08-15 14:06 几块红布 阅读(1308) 评论(0) 推荐(0)