我的随笔

[转] RNN 中为什么要采用 tanh，而不是 ReLU 作为激活函数？

凌波微步_Arborday 2021-07-01 10:29 阅读:2065 评论:0 推荐:0

[转] 深度学习中的optimizer

凌波微步_Arborday 2021-06-24 23:25 阅读:64 评论:0 推荐:0

[转] Position embedding相关

凌波微步_Arborday 2021-06-22 17:30 阅读:117 评论:0 推荐:0

bert中的为什么

凌波微步_Arborday 2021-06-22 17:16 阅读:40 评论:0 推荐:0

[转] 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

凌波微步_Arborday 2021-06-21 07:22 阅读:174 评论:0 推荐:0

［转］深度学习中的各种Norm

凌波微步_Arborday 2021-06-20 16:02 阅读:172 评论:0 推荐:0

[转] Transformer中warm-up和LayerNorm的重要性探究

凌波微步_Arborday 2021-06-20 11:18 阅读:1093 评论:0 推荐:0

[转] 为什么分类问题的损失函数采用交叉熵而不是均方误差MSE？

凌波微步_Arborday 2021-06-14 15:48 阅读:2121 评论:0 推荐:0

[转] 伯努利分布 v.s 二项分布

凌波微步_Arborday 2021-06-14 15:02 阅读:298 评论:0 推荐:0

[转] 交叉熵 again

凌波微步_Arborday 2021-06-14 11:37 阅读:65 评论:0 推荐:0