循环神经网络RNN

递归神经网络（RNN）与长短期记忆网络（LSTM）概述

一、RNN的定义与优势

• RNN本质是传统神经网络的改进版本，并非复杂算法。
• 传统神经网络局限：处理时间序列数据时，各步操作相互独立，无法考虑数据间的时序相关性。
• RNN优势：通过隐藏层回路结构，前一时刻的中间结果会影响后一时刻的运算 ，能学习时间序列数据相关性，在自然语言处理等领域应用广泛。例如在自然语言中，考虑前文能使预测结果更准确。

二、RNN的架构与运行机制

• 架构特点：隐藏层存在回路，与传统神经网络不同。
• 运行过程：
  • 输入数据序列如x0、x1、x2等，x0经过隐藏层产生中间结果h0。
  • x1输入时，h0与x1共同参与隐藏层运算，得到h1，以此类推。
  • 通常选取最后一层输出结果作为最终输出，前面层结果作为中间结果 。

三、RNN处理数据的方式

• 数据预处理：输入数据（如文本单词）无法直接与矩阵计算，需进行编码。
• 编码方式：常用word vector将单词转换为向量，并按时间顺序排列，用于模型训练。

四、LSTM出现的原因

• RNN的问题：记忆能力过强，处理长序列数据时，会记住所有信息，导致记忆不精确，产生误差和错误，影响最终结果准确性。
• 改进需求：需要新模型合理处理信息，避免记忆过多无用信息。

五、LSTM的核心机制

• 参数与单元：在RNN基础上引入持续维护更新的控制参数c，用于决定信息的保留或遗忘，结合门单元进行计算。
• 信息处理：计算结果与前一轮结果对比，判断丢弃信息，实现对信息的过滤，控制模型复杂度，有效处理长序列数据 。