组合神经优化涉及的一些知识

1、sequence to sequence 

https://zhuanlan.zhihu.com/p/27608348

最基础的Seq2Seq模型包含了三个部分,即Encoder、Decoder以及连接两者的中间状态向量,Encoder通过学习输入,将其编码成一个固定大小的状态向量S,继而将S传给Decoder,Decoder再通过对状态向量S的学习来进行输出。

2 、注意力机制(attention mechanism)(由sequence to sequence。encoder-decoder机制演变而来)

https://lilianweng.github.io/lil-log/2018/06/24/attention-attention.html

https://blog.csdn.net/tg229dvt5i93mxaq5a6u/article/details/78422216       **********

3、Pointer network(attention演变而来)

https://www.translatoruser-int.com/translate?&to=en&csId=fa917e53-e092-4c2a-88c3-450a2fe4bf4e&usId=b194361b-a786-4ca1-8312-8f822f2a00ec&ref=SERP&refd=www.translatetheweb.com&dl=en&ac=true&dt=2019%2F4%2F5%207%3A34&h=tp_EBh-JusBVJ3VQQXUfwlwgBWO7LSlR&a=https%3A%2F%2Fmedium.com%2F%40devnag%2Fpointer-networks-in-tensorflow-with-sample-code-14645063f264

posted @ 2019-04-05 16:28  LIN_KID  阅读(700)  评论(0编辑  收藏  举报