alex_bn_lee

摘要： 参考：台湾大学 李宏毅 attention based model 参考：台湾大学 李宏毅 attention based model - PDF 文档 参考：深度学习中的注意力模型（2017版） 参考：自然语言处理中的Attention Model：是什么及为什么 参考：深度学习之Attentio 阅读全文

摘要： 一维 CNN 分别处理每个输入序列段，所以它对时间步的顺序不敏感（这里所说的顺序的范围要大于局部尺度，即大于卷积窗口的大小），这一点与 RNN 不同。 要想结合 CNN 的速度和轻量与 RNN 的顺序敏感性，一种方法是在 RNN 前面使用一维 CNN 作为预处理步骤。对于那些非常长，以至于 RNN  阅读全文

摘要： 参考：卷积层 —— Conv1D层 1. Conv1D 层 1.1 语法 keras.layers.convolutional.Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_rate=1, activation=N 阅读全文

摘要： 参考：Bidirectional 层 进阶版包含以下技术： Recurrent dropout（循环 dropout）, a specific, built-in way to use dropout to fight overfitting in recurrent layers. 使用 drop 阅读全文