摘要： 激活函数总结 1 统一数学表达 Hadamard product或element-wise product 多见\(\odot\)或\(\circ\)。在GLU论文中：\(\otimes\) is the element-wise product between matrices. ⭐由于在数学上\ 阅读全文

摘要： 优化算法——SGD、Momentum、Adagrad、RMSprop、Adam、AdamW 统一数学表达：设损失函数为\(\mathcal{L}(\theta)\)，学习率为\(\eta\)。 每次迭代仅使用一个随机小批量（mini-batch）数据计算梯度。 从训练集中采样包含小批量\(m\)个样 阅读全文