CMU Deep Learning 2018 by Bhiksha Raj 学习记录(18) Sequence to Sequence models: Attention Models

 https://www.youtube.com/watch?v=oiNFCbD_4Tk

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

<eos>

end of section

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

a common trick

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

image to seq problem

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

mistake might happen. look at the fig(1,0) 

 

 

 

 

 

 

 

 

 

 

 

 

 

could lose info by only taking the red box into consideration.

 

 

the new framework still has a problem

 

 

 

 

 

 

 

 

 

 

softmax???