【文献阅读】一种新型的EEG情绪识别的双半球差异模型

一种新型的EEG情绪识别的双半球差异模型

原文标题：A Novel Bi-Hemispheric Discrepancy Model for EEG Emotion Recognition

1 Introduction

1.1 背景

• 大量文献都集中在从语音和面部表情数据中学习情感成分上；但在神经学上，人类的情绪起源于大脑的各种皮层区域
• 现存的 EEG 情绪识别方法聚焦于两个基础的挑战：1）如何提取与情绪相关的判别特征；2）如何正确地进行特征分类

1.2 2 issues

• 如何提取到情绪特有的特征。
  • 典型例子：机器学习的手工特征提取：在EEG情绪识别任务中并没有充分利用特定的情绪相关信息。换句话说，如果我们能够将EEG情绪信号的独特特征整合到机器学习算法中，以提取更好的情绪相关特征，那将更有前景和成效。
  • 利用左右脑半球的不同情绪反应：The discrepancy property of two brain hemispheres is just a kind of emotion-specific information
• 如何提高泛化能力
  • 原因：EEG情绪信号通常由许多神经过程组成，因此它呈现出高度异质和非平稳的行为
  • 典型例子：cross-subject task 里由于 train data 与 test data 来自不同的 subject，存在潜在的 data distribution shift，to narrow down the shift 可以提高泛化能力
  • 利用深度学习算法：domain adversarial neural network (DANN) 使用域鉴别器来缓解源域和目标域之间特征分布的差异的域鉴别器在处理域自适应问题方面显示出了其能力。这将有助于将该技术应用于跨域EEG情绪识别问题。

1.3 解决办法

• 提出了一种新型神经网络 bi-hemispheric discrepancy model (BiHDM)：1）学习EEG情绪信号中的双半球差异信息；2）尝试减少源域和目标域之间的潜在 domain gaps ，以提高EEG情绪识别模型的泛化能力。

• 1）如何在不同半球提取特征并尝试测量他们之间的差异

  ​ EEG 数据 由根据不同大脑部位而预先定义的电极 提取；

  ​ 在每个半球的特征学习过程中，利用水平和垂直遍历的RNN构建一个完整的位置关系，并为所有EEG电极生成有区别的深度特征，以保留EEG数据的内在结构信息；

  ​ 在获得每个电极的这些深层特征后，我们可以通过对成对的对称电极执行特定的成对操作来提取两个半球之间的不对称差异信息。

• 2）确保提取的EEG特征对 domain gaps 具有鲁棒性

  可以通过利用与 classifier 协同工作的 domain discriminator 来产生 emotion related but domain-invariant 的数据表示来实现这一点。

1.4 结果

• milestone：第一项利用深度学习模型的双半球差异关系来提高EEG情绪识别的工作。
• 实验结果验证了左右半球之间这种差异信息的区分性和有效性。
• further work
  • 试图确定哪些电极与情绪识别的关联更紧密；
  • 探索如何在保持识别性能的同时选择少量电极；
  • 研究哪个半球与情绪识别更相关。

2 Related Work

2.1 现有的考虑两半球情绪表达差异的方法

• Hinrikus 等 [22] 使用 EEG 频谱不对称指数进行抑郁症检测。
• Lin 等 [4] 研究了情绪状态与大脑活动之间的关系，提取了 PSD, differential asymmetry power, and rational asymmetry power 作为特征。
• Zheng 等 [5] 选择了六个对称的颞叶电极作为关键通道，并提出了一个名为EmotionMeter 的网络来对 EEG 情绪信号建模。
• Li 等 [23] 提出了一种名为 BiDANN 的新型神经网络，该网络分别提取了两个大脑半球特征，并达到了最先进分类性能。

2.2 其他现有的 EEG 情绪识别方法

• Machine Learning
  • 郑 [10] 提出了一种GSCCA方法，用于同时进行EEG通道选择和情绪识别。
  • Li 等 [24] 提出了一种图正则化稀疏线性回归（GRSLR）方法来处理EEG情绪识别。
• Deep Learning
  • 郑和鲁 [12] 提出使用DBN进行EEG情绪分类。
  • Zhang 等 [25] 采用了一个 multidirectionalRNN层 to capture long-range contextual cues by traversing the spatial regions of each temporal slice along different directions
  • Song 等 [26] 使用动态图卷积神经网络（DGCNN）对多通道EEG特征进行建模，他们还提出了一种新的注意力长短期记忆（A-LSTM）[27]，增强了有用序列对提取脑电信号的有效性
• 问题：这些现有的方法只对 EEG 信号和情绪类标签之间的关系进行建模以获得深层特征；
• 解决：更重要的是要捕捉情绪特定的信息，这提高EEG的情绪识别能力。我们将在实验研究中将提出的方法与上述方法进行比较。

3 Construction

• 第一，活得所有电极数据的深层表征。
• 第二，对两个半球上识别的成对电极之间的关系进行表征，从而为最后的分类生成更具辨别力和更高水平的差异特征。
• 第三，利用 classifier 和 discriminator 协同诱导上述过程，生成 emotion related but domain-invariant 的特征。

3.1 Obtaining the Deep Representation for Each Electrode

• 原理：由于所有电极的尺寸相同，EEG信号可以被视为一组序列。因此，EEG数据可以输入到RNN模块中，以提取包含空间关系信息的high-level deep features，其中包含时空信息。
• 应用：使用两个独立的 RNN 模块分别提取左右半球 EEG 电极的深度特征。
• 为了考虑反映大脑区域之间关系的EEG数据的内在结构信息，对于每个半球EEG数据，we build the RNN module traversing the spatial regions under two predefined stacks，这两个堆栈是相对于水平和垂直方向确定的，因此这两个 directional RNN是互补的，可以构建电极位置的完整关系。

3.2 Interaction Between the Paired Electrodes on Two Hemispheres

• 成对操作：减法、除法和内积
• 原理：成对电极的维度在深度特征 \(\mathbf{\hat{S}_t^h}\) 和 \(\mathbf{\hat{S}_t^v}\) 里是相同的，可以被认为是虚拟序列
• 使用另一个RNN来提取深度表征

3.3 分类

3.4 优化

4 实验

4.1 实验设置

• 训练集：SEED、SEED-IV、MPED
• 两类实验：subject-dependent， subject-independent
• 输入维度
• 超参数

4.2 实验结果

4.2.1 Subject-Dependent

4.2.2 Subject-Dependent

4.2.3 Ablation

• 为了进一步验证BiHDM获得的不对称信息在性能改进中起着主导作用，而不是域自适应策略：E消除 discriminator，性能优于大多数算法

4.3 讨论

• Confusion Matrices between Subject-Dependent & Subject-Dependent

  • SEED：人群中 happy 的表现更相似
  • MPED：funny 和 neutral 相似，sad 在 Subject-Dependent 下降

• 减法运算在三个成对运算中实现了最佳性能。我们将此归因于减法运算直接测量两个半球之间的差异，而其他两个运算则以不太直接的方式描述差异。

  • 未来：探索更多的成对操作，如非线性核函数。

• 双向RNN提取空间信息的效果：使用单向RNN作对比实验，发现双向RNN提取空间信息的效果更好

• EEG 电极活动：额叶和颞叶更重要

• 更少地电极：

  • 基于较少电极获得的识别结果可能与基于所有31对电极的识别结果相当，特别是在SEED数据集上。

    这也证实了额叶和颞叶的不对称性确实比其他大脑区域对EEG情绪识别的贡献更大，这与图8和图9的观察结果一致。因此，在EEG情绪识别系统中使用更少的电极是可能的。

  • 比较这两个重要的大脑区域，我们可以看到基于颞叶电极的结果优于基于额叶的结果。在EEG情绪识别中，颞叶似乎比额叶更与情绪表达相关

• 一个脑半球：

  • 左半球在EEG情绪识别方面优于右半球
  • 结论：较少数量的电极获得的差异信息也可以包含足够的情感识别区分，这从另一个角度证实了差异信息的有效性