【文献阅读】一种用于脑电情绪识别的多维图卷积网络

一种用于脑电情绪识别的多维图卷积网络

原文标题：A Multi-Dimensional Graph Convolution Network for EEG Emotion Recognition

1 Introduction

1.1 背景

• 情感、生理信号、valence-arousal、EEG信号提取设备、EEG情感识别过程（预处理、特征提取、分类），

1.2 问题

1. 大多数方法注重于 subject-dependent 但没有在实验中考虑 subject-independent。
2. emotion classification 的准确率远低于 image classification；因此将深度学习方法应用于 emotion classification 将会更有前景。
3. EEG信号有很多特征，很多方法只使用了一部分特征，忽略了 features fusion。
4. 很多方法没有考虑通道与情感的联系。

1.3 MD-GCN

• 特点：从非欧数据里直接提取特征并预处理 spatial structured 的信号。
• 数据集：在SEED和SEED-IV中实验和评估。
• 过程：
  • 邻接矩阵：1）空间距离矩阵\(A^S\)：通过欧式距离计算；2）relational communication matrix \(A^C\)。
  • inception network：1）提取特征；2）融合不同尺度特征。
  • GCN学习不同通道的关系，即学习空间信息。
  • 特征维度减小和情感分类。
• 验证：
  • 使用不同邻接矩阵进行比较实验
  • 分析和讨论了不同通道的关系。

2 Related Work

3 Construction

3.1 EEG信号的图表示

\(G=\{V,E,A\}\)，其中 \(A\in \mathbb{R}^{N\times N}\) 表示两个通道间的联系关系（一般包括距离关系，还有其他关系），\(A_{ij}\) 表示 \(i\)th 通道与 \(j\)th 通道之间的关系的重要程度。

显然，问题在于构造 \(A\)。

3.2 GCN基础

图卷积网络(Graph Convolutional Networks, GCN)详细介绍-CSDN博客

(14 封私信) 如何理解 Graph Convolutional Network（GCN）？ - 知乎

\(X=AH\).

\(A\) 可以理解为邻接矩阵。由于邻接矩阵定义，其对角线为0，意味着不包含节点本身的信息。

因此 \(\tilde{A} = A+I\)，将节点自身的信息加上。

此时的问题是 \(\tilde{A}\) 会很大或很小，容易梯度爆炸或梯度消失，因此乘上度矩阵的逆进行标准化 \(\tilde{D}^{-1}\)。 \(\tilde{D}=D+I\)。

\[\begin{align} X &= \tilde{D}^{-1} \tilde{A}H\\ X_i &= \sum_{k=1} \tilde{D}_{ik}^{-1} \sum_{j=1} \tilde{A}_{kj} H_j \\ &= \sum_{j=1} \tilde{D}_{ii}^{-1} \tilde{A}_{ij} H_j \\ &= \sum_{j=1} \frac{\tilde{A}_{ij}}{\tilde{D}_{ii}} H_j \\ &= \sum_{j=1} \frac{\tilde{A}_{ij}}{\sum_{k=1}^N \tilde{A}_{ik}} H_j \end{align} \]

此时的问题是只对行进行标准化没有对列进行标准化。

\[\begin{aligned} X_i &= (\tilde{D}^{-0.5}\tilde{A})_i\tilde{D}^{-0.5}H \\ &= (\sum_k \tilde{D}_{ik}^{-0.5} \tilde{A}_{k})\tilde{D}^{-0.5} H \\ &= \tilde{D}_{ii}^{-0.5} \sum_j \tilde{A}_{ij} \sum_k \tilde{D}_{jk}^{-0.5} H_j \\ &= \tilde{D}_{ii}^{-0.5} \sum_j \tilde{A}_{ij} \tilde{D}_{jj}^{-0.5} H_j \\ &= \sum_j \frac{\tilde{A}_{ij}}{\sqrt{\tilde{D}_{ii} \tilde{D}_{jj}}} H_j \end{aligned} \]

这样既对列做了标准化，又使用了加权平均。

因此 \(H^{(l+1)}=\sigma(\tilde{D}^{-0.5}\tilde{A}\tilde{D}^{-0.5}H^{(l)}W^{(l)})\).

3.3 EEG图的关系矩阵（\(A\)）

\(A_{ij}=\frac{1}{2}A_{ij}^S+A_{ij}^{C}\).

10-20标准将3D电极坐标映射到单位球面，物理距离越远， 关系越弱，\(A_{ij}^S\) 越大；

\[A_{ij}^S=\arccos(\frac{x_ix_j+y_iy_j+z_iz_j}{r^2}) = \arccos(\cos\theta) = \theta \]

基于先前的研究，\(A^C\) 中9个电极被初始化为 2，靠近中间部位被初始化为 1。

\(A^S\) 和 \(A^C\) 均标准化到 \([0,1]\)。

3.4 MD-GCN = Inception + GCN

• 输入：由 \(\delta, \theta, \alpha, \beta, \gamma\) 五个频带提取的DE。
• Inception：4分支；多个Conv以减小参数和提高计算效率。
• 一层 GCN
• 使用了早停和L2正则化（weight_decay）

4 Experiment

4.1 SEED 和 SEED-IV

4.2 Subject-Independet

• 交叉验证
• 留一实验

5 结论

• 基于 GCN 提出了一种跨受试者的 EEG 情绪识别模型：
  • 基于 prior knowledge 和物理空间距离预定义邻接矩阵。
  • 使用 Inception 在不同尺度融合特征，然后利用 GCN 学习通道之间的空间关系。
• 1）实验表明提出的预定义邻接矩阵很好地表明了通道之间的内在关系；2）在两个数据集上取得了很好的效果
• 未来工作：1）使用 soft clustering 预处理数据；2）调整模型使其更通用（universal）以分析更多任务。

6 我的结论/问题

• 邻接矩阵依赖于 prior knowledge。
• 仅用差分熵一种特征，可尝试多特征融合（如 DE + PSD）。
• 只用 1 层 GCN（好像也没有做多层的实验）。