【文献阅读】基于通道注意力和自注意力的EEG情感识别

基于通道注意力和自注意力的EEG情感识别

原文标题：EEG-Based Emotion Recognition via Channel-Wise Attention and Self Attention

1 Introduction

1.1 背景

• MachineLearing：手动提取特征
  • SVM、SVM+KNN
• DeepLearning：1）可以做分类器；2）end-to-end, which does not require handcrafted features from EEG signals.
  • LSTM-RNN
  • 问题：It still remains challenging to extract more discriminative features for EEG emotion recognition（别人做的还不够好）

1.2 提出的方法 - 受 CRNN 启发

• CNN: extract the spatial information
• LSTM: extract temporal information
• Framework: using two attention mechanisms to extract more discriminative spatiotemporal information.
  1. channel-wise attention mechanism [28]
     • 解决的问题：traditional methods that need first select the relevant channels artificially
     • 作用/途径：transforms channels to a probability distribution as weights and recodes the EEG signals based on the transformed weights
     • CNN可以通过recoded signals提取spatial information。
     • 实验结果证明：计算出的较大权重的通道与情感更相关，因此在基于EEG的情感识别中更重要
  2. extended self-attention mechanism [29]
     • 解决的问题：RNN ... ignores the importance ofdifferent EEG samples
     • 作用/途径：使RNN ... update the weight according to the similarity of EEG signals.
     • 也可以用于LSTM … to utilize long-range dependencies
     • 实验结果表面：扩展自注意机制通过对样本间相似性进行概率评分，将注意力集中在更重要的脑电样本上。
  3. （自己和自己的）实验结果表明：通道注意力略优于扩展自注意力。

1.3 主要贡献

1. Framework
2. DEAP 和 DREAMER 数据集

2 相关工作

2.1 EEG Emotion Recognition 一般流程

1. Test protocol：在音乐、电影的刺激下记录受试者的主管和客观数据
2. EEG recordings：记录受试者的脑电数据以及受试者对自己情绪状态的评分
3. Preprocessing：去除肌电和伪影
4. Feature extraction
5. 分类

2.2 Channel-Wise Attention

• 同1.2
• 压缩全局空间信息并生成通道统计数据

2.3 Self Attention

• 在EEG分类任务中，为了增加样本数据，一个trail经常被分割成多个输入样本；忽略了不同样本间的重要性。

3 提出的方法

3.1 ACRNN框架

• 利用原始EEG中丰富的时间和空间信息

3.2 预处理

• 1）去除基线信号；
  • \(\mathbf{X_{\text{Recode}}}=[\mathbf{X}_{\text{Baseline}}, \mathbf{X}_{\text{Trail}}]\in \mathbb{R}^{M\times N}\)，其中。采样频率：\(H\) Hz；持续时间：\(T_1\)；EEG电极数：\(M\)；时间样本数：\(N\)
  • 持续时间(Duration)：\(T_1\)；基线持续时间：\(T_2\)；trail时间：\(T_3\)。\(\therefore T_1=T_2+T_3\)
  • \({\mathbf{\overline{X}_B}}=\frac{\sum^{T_2}_{i=1}X_i}{T_2}\)
  • 处理后的基线：\(X^{'}_j=X_j-\overline{X_B}\)
• 2）滑动窗口
  • 3s的滑动窗口，\(T/H=3\) （Generally, a human emotional state lasts from1s to 12s, and previous studies have shown that a 3-s sliding window can achieve good classification accuracy [44].）

3.3 Construction

3.3.1 Channel-Wise Attention

• 传统方法：通道选择，需要人工选取通道
• 将注意力机制以通道方式应用到EEG信号中（图3），使用 adaptive channel-wise mechanism；为了减小模型复杂程度和可解释性，使用2个带有偏置的FC，使用tanh激活，用softmax计算权重

3.3.2 Extended Self-Attention

• 虽然这里的训练样本和测试样本在时间上是不同的，也不是连续的，但是经过空间特征提取模块后的编码样本中包含了空间信息，同时，输入门权值被组织起来学习空间信息，而遗忘权值映射被组织起来学习更多的时间信息，输入门和遗忘门相互竞争将新的信息输入到细胞中或保留当前的时间信息。因此，LSTM网络可以提取时空特征。
• 扩展注意力是加性注意力在多维特征层面的自然延伸，通过计算每个样本内不同点的相似度，可以更好地描述特定意义。

4 实验

4.1 数据集

4.2 细节

• 10倍交叉验证，1个子集作为test，其余9个作为train，重复10次。
• Accuracy的平均值来评估模型
• lr=1e-4，droupout=0.5，Adam

4.3 对比

• 自己和自己：4个
• 机器学习：支持向量机和决策树
• 深度学习：
  • Conti-CNN can combine the features of multiple bands to improve recognition accuracy [24]
  • GCNN can adopt different entropy (DE) feature as inputs, and use the spectral graph filtering to extract features and recognize emotion [25]
  • CRAM can utilize a CNN to encode the high-level representation of EEG signals and a recurrent attention mechanism to explore the temporal dynamics [48]

5 总结

别人做的还不够好，我们提出了一种更好的架构，在两个数据集上获得了更高的准确率。