emanlee - 博客园

2023年2月18日

摘要：相对于传统的规整的网络布局，Encoder Decoder 模型显得比较随性，不受约束，可能也正式这种自由，使得该模型在实际中发挥巨大的作用。模型结构突破了传统的固定大小输入问题的框架，将经典深度神经网络模型运用于翻译、文本自动摘要、智能问答等情景中，并且在实际应用中有着不俗的表现。Encoder 阅读全文

posted @ 2023-02-18 22:48 emanlee 阅读(260) 评论(0) 推荐(0)

Encoder-Decoder框架 1

摘要： Encoder-Decoder框架概述 Encoder-Decoder 并不是一个具体的模型，而是一个通用的框架。 Encoder 和 Decoder 部分可以是任意文字，语音，图像，视频数据。模型可以是 CNN，RNN，LSTM，GRU，Attention 等等。编码，就是将输入序列转化转化阅读全文

posted @ 2023-02-18 22:48 emanlee 阅读(396) 评论(0) 推荐(0)

self-attention 自注意力机制 2, 多头自注意力机制

摘要： https://blog.csdn.net/Michale_L/article/details/126549946 GOOD 三、Self-Attention详解针对输入是一组向量，输出也是一组向量，输入长度为N（N可变化）的向量，输出同样为长度为N 的向量。3.1 单个输出对于每一个输入向量a，阅读全文

posted @ 2023-02-18 22:47 emanlee 阅读(815) 评论(0) 推荐(0)

注意力机制（3）

摘要：链接：https://www.zhihu.com/question/68482809/answer/264632289 作者：张俊林前导知识：RNN， LSTM，CNN 深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，核心目标也是从众多信息中选择出对当前任务目标更关键的信息。要阅读全文

posted @ 2023-02-18 22:47 emanlee 阅读(160) 评论(0) 推荐(0)

2023年2月17日

深入理解SE模块 Squeeze-and-Excite SqueezeExcite SE块（深度学习，神经网络）

摘要：通道注意力机制(Squeeze-and-Excitation) Squeeze and Excite https://github.com/titu1994/keras-squeeze-excite-network Convolutional Neural Networks (CNN) are wo 阅读全文

posted @ 2023-02-17 13:08 emanlee 阅读(3033) 评论(0) 推荐(2)

注意力机制（1）

摘要：注意力机制 nice 注意力机制在自然语言处理领域十分火热，克服了以往seq2seq翻译定位不准的问题，加强了词的前后联系，能够根据当前的语境，合理分配候选词的权重，提升翻译的准确率。注意力机制的原理便是寻找当前语境（当前状态）与各个候选词之间的匹配度，计算各个候选词的得分，最终选取合成最佳的词汇阅读全文

posted @ 2023-02-17 12:53 emanlee 阅读(593) 评论(0) 推荐(0)

self-attention自注意力机制

摘要： Self-Attention（自注意力）前导知识：自然语言处理，Transformer。 4.Self-attention自注意力机制自注意力机制是注意力机制的变体，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。自注意力机制在文本中的应用，主要是通过计算单词间的互相影响，来解决长阅读全文

posted @ 2023-02-17 12:45 emanlee 阅读(3170) 评论(0) 推荐(0)

2023年2月16日

RNN 循环神经网络 tensorflow keras

摘要： RNN 循环神经网络，转自 https://blog.csdn.net/weixin_46969441/article/details/121584330 循环神经网络循环核：参数时间共享，循环层提取时间信息。下图是一个记忆体：存储每个时刻状态的信息设定记忆体个数改变记忆体容量当记阅读全文

posted @ 2023-02-16 21:56 emanlee 阅读(248) 评论(0) 推荐(0)

np.random.seed np.random.shuffle 组合使用

摘要： import numpy as np num_train = 10 indices = list(range(num_train)) print(indices) print(len(indices)) np.random.seed(2) np.random.shuffle(indices) pri 阅读全文

posted @ 2023-02-16 20:46 emanlee 阅读(189) 评论(0) 推荐(0)

NotImplementedError: Cannot convert a symbolic Tensor (sequential_1/simple_rnn_1/strided_slice:0) to a numpy array.

摘要： model.fit NotImplementedError: Cannot convert a symbolic Tensor to a numpy array. Epoch 1/100 NotImplementedError Traceback (most recent call last) Ce 阅读全文

posted @ 2023-02-16 20:01 emanlee 阅读(903) 评论(0) 推荐(0)