摘要：
self-attetion 1. 输入 \[ X = EmbeddingLookup(X) + PositionalEncoding \\ X.shape == (batch\_size, seq\_len, embedding\_dim) \] 2. 计算Q，K，V \[ Q = Linear(X 阅读全文
摘要：
encoding Sinusoidal Position Encoding \[ \begin{aligned} P E_{(p o s, 2 i)} &=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d_{\text {model}}}}}\right) \\ 阅读全文
摘要：
工作流程 dropout用于解决过拟合，通过在每个batch中删除某些节点(cell)进行训练，从而提高模型训练的效果。 通过随机化一个伯努利分布，然后于输入y进行乘法，将对应位置的cell置零。然后y再去做下一层的前向传播。 \[ \begin{aligned} r_{j}^{(l)} & \si 阅读全文