基于蝴蝶算法优化卷积神经网络结合长短期记忆网络与注意力机制(CNN-LSTM-Attention)的风电场发电功率预测 - 教程

基于蝴蝶算法优化卷积神经网络结合长短期记忆网络与注意力机制(CNN-LSTM-Attention)的风电场发电功率预测

文章目录

• 基于蝴蝶算法优化卷积神经网络结合长短期记忆网络与注意力机制(CNN-LSTM-Attention)的风电场发电功率预测
• • 1.CNN原理
  • 2.LSTM原理
  • 3.注意力机制
  • 4.CNN-LSTM-Attention
  • 5.风电功率预测
  • 5.1 内容集
  • 6.基于蝴蝶算法优化的CNN-LSTM-Attention
  • 7.实验结果
  • 8.Matlab代码

1.CNN原理

卷积神经网络（Convolutional Neural Network，CNN）是一种广泛应用于图像和视频处理任务的神经网络模型[13]。 CNN 模型通常由多个卷积层、激活函数、池化层和全连接层组成，通过反向传播算法进行训练。在训练过程中，CNN 利用调整权重参数来最小化损失函数，以使模型能够更好地预测目标。CNN 模型的网络结构如图 1 所示。

图 1 CNN 模型的网络结构

卷积计算方法：
$$Y_i=f\left({\mathrm{X}}_i\otimes w_i+b_b\right)\text{\hspace{1em}(1)}$$

式中，$\otimes$为卷积操作；${\mathrm{X}}_i$为卷积计算的序列；$w_i$为卷积核的权重；$b_b$表示偏移量；$f(\cdot )$为激活函数。

2.LSTM原理

LSTM 模型首要引入了"门"的机制，其中包含三个门：遗忘门、输入门和输出门。通过这些门的组合，LSTM 能 够在序列中有效地存储和检索信息，从而更好地捕捉长期依赖关系。其结构如图 1 所示。

图 1 LSTM 模型的网络结构

当前状态与上一时刻状态关系为

$$\begin{array}{rl}& f_t=\sigma \left(W_f\bullet \left[h_{t-1},x_t\right]+b_f\right)\\ & i_t=\sigma \left(W_i\bullet \left[h_{t-1},x_t\right]+b_i\right)\\ & {\tilde{C}}_t=\tanh \left(W_c\bullet \left[h_{t-1},x_t\right]+b_c\right)\\ & o_t=\sigma \left(W_o\bullet \left[h_{t-1},x_t\right]+b_o\right)\end{array}$$

式中：$\sigma$为 sigmod 激活函数；$\tanh$为双曲正切激活函数；$h_{t-1}$ 为 $\mathrm{t}-1$时刻的输出；$f_t,i_t,{\tilde{C}}_t,o_t$分别为 ：t时刻下遗忘门限，输入门限，状态矩阵，输出门限；$W_f,W_i,W_c,Wo$分别为各对应层的权重t；$b_f,b_i,b_c,b_o$分别为各对应层的偏置系数。

最终，新的状态表示为

$$C_t=f_t\times c_{t-1}+i_t\times {\tilde{C}}_t$$

3.注意力机制

注意力机制能对不同的输入特征赋予不同的权重，以增强重要特征，避免无关信息对最终结果造成影响。具体地，首先使用打分函数$S_t$，其表达式为

$$s_t=\tanh \left(W_{\mathrm{h}}{h}_t+b_{\mathrm{h}}\right)$$

式中：$W_{\mathrm{y}}$为 Attention 的权重；$b_{\mathrm{y}}$为 Attention 的偏差；$v$为注意力值；$h_t^{\ast }$为 t 时刻 Attention 层的输出；${\alpha }_t$为权重系数。

4.CNN-LSTM-Attention

利用卷积神经网络作为特征提取层，然后结合LSTM 与注意力机制进行预测

5.风电功率预测

5.1 数据集

数据集为2019年风电功率数据，数据集如下：

时间	测风塔10m风速(m/s)	测风塔30m风速(m/s)	测风塔50m风速(m/s)	测风塔70m风速(m/s)	轮毂高度风速(m/s)	测风塔10m风向(°)	测风塔30m风向(°)	测风塔50m风向(°)	测风塔70m风向(°)	轮毂高度风向(°)	温度(°)	气压(hPa)	湿度(%)	实际发电功率（mw）
2019-01-01 00:00:00	0.223	0	0	0.818	0.818	166.816	177.355	6.224	210.836	210.836	-13.154	898.71	53.497	0.979591

数据特征除时间意外，一共包含14维特征

我们利用Windowsize = 5天的数据预测下一天的数据， 于是5天的数据一共包含14*5=70维度，预测输出1维资料，即实际发电功率（mw）。实际应用中，Windowsize的大小可根据实际情况进行修改。

6.基于蝴蝶算法优化的CNN-LSTM-Attention

蝴蝶算法原理请参考：https://blog.csdn.net/u011835903/article/details/107855860
由前文可知，CNN-LSTM-Attentio的参数设置具有满目性。本文利用蝴蝶算法对LSTM的参数（学习率，LSTM神经元个数，正则化参数）和注意力机制键值进行优化。适应度函数设计为训练集的MAPE平均百分比误差：
$$fitness=argmin(MAPEpridect)$$

适应度函数选取训练后的MAPE误差。MAPE误差越小表明预测的数据与原始数据重合度越高。最终优化的输出为最佳学习率，LSTM神经元个数，正则化参数，注意力机制键值。然后利用最佳学习率，LSTM神经元个数，正则化参数，注意力机制键值训练后的网络对测试数据集进行测试。

7.实验结果

8.Matlab代码