摘要:self-attetion 1. 输入 \[ X = EmbeddingLookup(X) + PositionalEncoding \\ X.shape == (batch\_size, seq\_len, embedding\_dim) \] 2. 计算Q,K,V \[ Q = Linear(X 阅读全文
posted @ 2020-07-29 23:18 twilight0402 阅读(9) 评论(0) 推荐(0) 编辑
摘要:encoding Sinusoidal Position Encoding \[ \begin{aligned} P E_{(p o s, 2 i)} &=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d_{\text {model}}}}}\right) \\ 阅读全文
posted @ 2020-07-29 18:16 twilight0402 阅读(7) 评论(0) 推荐(0) 编辑
摘要:工作流程 dropout用于解决过拟合,通过在每个batch中删除某些节点(cell)进行训练,从而提高模型训练的效果。 通过随机化一个伯努利分布,然后于输入y进行乘法,将对应位置的cell置零。然后y再去做下一层的前向传播。 \[ \begin{aligned} r_{j}^{(l)} & \si 阅读全文
posted @ 2020-07-29 12:03 twilight0402 阅读(5) 评论(0) 推荐(0) 编辑