mantch  

2019年8月31日

Attention机制的精要总结，附：中英文机器翻译的实现！
摘要： 1. 什么是Attention机制 在“编码器—解码器（seq2seq）”⼀节⾥，解码器在各个时间步依赖相同的背景变量来获取输⼊序列信息。当编码器为循环神经⽹络时，背景变量来⾃它最终时间步的隐藏状态。 现在，让我们再次思考那⼀节提到的翻译例⼦：输⼊为英语序列“They”“are”“watching”“.”，输出为法语序列“Ils”“regardent”“.”。不难想到，解码器在⽣成输出序列中的每⼀... 阅读全文
posted @ 2019-08-31 18:48 mantch 阅读(1626) 评论(0) 推荐(0) 编辑
 
Copyright © 2024 mantch
Powered by .NET 8.0 on Kubernetes
博客园