05 2022 档案

self-attention笔记
摘要：传统rnn模型 计算公式 $h_{i} = tanh(W_{xh}x + W_{hh}h_{i-1} +b_{h})$ $y = sigmoid(W_{hy}h_{i}+b_{y})$ 其中W_{xh}和W_{hh}会合并成W_{h}: $h_{i} = tanh(W_{h}[x,h_{i-1}] 阅读全文
posted @ 2022-05-10 11:56 slantingsun 阅读(59) 评论(0) 推荐(0)