【文献阅读】脑基础模型：神经信号处理和脑发现进展综述

脑基础模型：神经信号处理和脑发现进展综述

原文标题：Brain Foundation Models: A Survey on Advancements in Neural Signal Processing and Brain Discovery

1 概述

• 综述文章：关于脑基础模型

作者：IEEE成员

期刊：尚未正式发表在具体的期刊上；2025

主要贡献：

• 首次提供了BFM的正式定义和理论框架，并描述了BFM与传统FM的不同之处，强调了与神经信号相关的专门数据结构和目标。
• 综合了最新的架构创新，并为其应用提供了新的视角。分析展示了BFM如何通过实现跨场景和任务的鲁棒泛化来扩展大脑解码的边界，以及通过分别构建数字双胞胎大脑来实现大脑模拟和发现。
• 提供了一个前瞻性的路线图，突出了开放的研究挑战，包括数据集成和质量、新颖的培训策略、多模式架构设计、可解释性以及必须解决的伦理和监管考虑，以充分实现BFM的价值。

2 背景

挑战：

• Machine Learning：

  1）依赖手工制作的特征，对记录设置中数据质量变化的敏感性；

  2）对大脑活动的非线性和动态特性建模的能力有限。

• Deep Learning：

  1）早期的深度学习模型受到其相对狭窄的专业化的限制：研究人员经常不得不针对特定任务（如语音诱发的EEG解码和运动图像）调整或构建网络架构，这限制了它们在不同范式和数据类型中的适用性；

  2）这种以任务为中心的设计阻碍了对在异构条件下收集的数据的泛化，包括不同的传感器设置、受试者群体和刺激方案。

• Foundation Model：尽管 FM 在 NLP 和 CV 领域取得了巨大成功，在精神状态分类、运动图像和神经退行性疾病诊断等任务显现改进前景，但不适用于直接将 FMs 应用于脑电领域：

  1）与文本或图像相比，神经信号表现出更大的时空复杂性，并且通常具有较低的信噪比；

  2）此外，记录可能因个人而异，并且通常受到严格的道德约束，包括患者隐私和机构审查协议；

  3）有效的大脑研究和临床翻译需要同时支持解码、诊断和动态网络建模，这是一种超越大多数现有功能模块重点的综合方法

研究方向：

• BFM 旨在整合大规模的神经信号数据集 \(\Leftrightarrow\) 通常依赖于大量文本或图像语料库的通用功能 FM

• 遵循的规则：

  1）根据神经数据的动态进行预训练；

  2）在不同的场景、任务和模式下实现零样本或少样本泛化，反映神经科学中大脑状态和实验条件的广泛变化；

  3）嵌入解决人类神经记录敏感性质的伦理人工智能机制，如保护数据隐私的联邦学习框架和严格的匿名协议

3 BFM 概念

3.1 定义与架构

• 定义：指使用深度学习和神经网络技术对大规模神经数据进行预训练而构建的基础模型，旨在解码或模拟大脑活动。这些模型旨在捕捉和理解神经信号中的复杂模式，从而推进神经科学探索，实现脑部疾病的诊断和治疗。BFM整合了多模态脑信号处理（如EEG和fMRI）、生物学原理和人工智能技术，从大规模数据和多维特征中提取深度神经活动模式。这允许对大脑功能进行多角度和精确的解释。

• 分类：

  1）仅预训练：这些模型是通过对大规模脑信号数据集进行预训练来构建的，以开发强大的特征提取能力，可应用于一般的脑活动分析和疾病筛查。经过预训练后，这些模型已准备好部署，无需进一步微调。

  2）微调预训练：这些模型在广泛的大脑信号数据上进行预训练，然后针对特定应用进行微调。这种方法用于脑部疾病诊断、认知状态评估和其他专业应用等任务。

  3）预训练与大脑发现的可解释性：这些模型将预训练与扰动分析等可解释性技术相结合，以模拟和探索大脑活动中的关键生物学机制。这种方法的目标不仅是提供高精度的诊断支持，而且通过分析大脑功能的神经基础来推动大脑的发现。

• 架构：

  • 大规模神经数据：BFM框架的核心是利用大规模神经信号数据集，包括EEG、fMRI和其他大脑活动记录。这些数据集至关重要，因为它们提供了必要的多样性和体积，使模型能够学习大脑功能的广义表示。这些数据通常跨越数千名受试者和数小时的大脑活动，帮助模型识别适用于广泛大脑状态和条件的普遍模式。更大、更多样化的数据集提高了BFM在实验条件下的泛化能力，这对现实世界的应用至关重要。
  • 有或没有微调的预训练：
    • 预训练与微调：这些模型基于广泛的大脑信号数据进行预训练，然后针对特定应用进行微调。对于脑部疾病诊断、认知状态评估或特定任务的BCI应用（如运动图像或情绪检测）等任务，微调通常是必不可少的。它通过使模型适应每个任务的细微差别来提高性能。
    • 无需微调的预训练：对于某些BFM来说，仅进行预训练就足够了，可以直接应用而无需微调。这些模型利用上下文学习，通过推理过程中的暴露来适应新的场景或数据。在这种情况下，该模型利用其可推广的知识有效地执行任务，而无需额外的特定任务培训
  • 可解释性分析：可解释性技术，如扰动分析、注意力机制和显著性映射，使研究人员能够调查大脑的哪些部分对模型的预测贡献最大。这在大脑发现应用中尤其有价值，其目标是了解驱动认知过程或疾病状态的潜在神经机制。通过模拟和扰动模型训练期间创建的数字大脑，研究人员可以深入了解生物大脑的功能，并探索大脑动力学和疾病机制的未知方面。

3.2 与常规/传统 FMs 的对比

• BFM是专门为处理神经数据的复杂性而设计的，能够进行精确分析并促进神经科学的发现。这些模型能够跨不同的场景、任务或模式进行稳健的泛化，从而在推进大脑研究方面发挥着至关重要的作用。此外，神经数据的预训练突显了BFM在推进大脑研究方面的独特作用。

  • BFM在推进神经科学研究和应用方面面临的独特挑战和机遇：

    1）BFM是专门为处理高噪声、非平稳的神经信号数据而设计的，如EEG和fMRI记录。他们专注于提取通用的神经表示，以在神经科学约束的范围内实现空间和时间建模。

    2）遵循关于神经数据隐私和临床安全的标准化伦理约束是BFM的另一个研究方向。

• 传统的功能模块，如LLM和视觉功能模块，擅长处理文本和图像，推动了语言和视觉应用的进步。

  • 现有的FMs ，主要应用于自然语言处理、计算机视觉和多模态任务，以处理文本语料库、图像数据集和多模态数据集，通过在大规模文本或视觉语料库上进行广泛的预训练，在各自的领域内表现出了显著的能力：

    1）BERT采用双向上下文化来学习深层语言表示，

    2）GPT采用自回归语言建模来生成连贯的文本，并表现出强大的零样本学习能力。

    3）SAM擅长通过基于提示的交互进行通用图像分割。

3.3 现有的 BFMs 方法

3.3.1 数据处理

• 目的：侧重于解决神经记录中的结构不一致性，例如异构通道配置和数据集之间信号长度的变化，确保下游建模的兼容性和稳定性。对于BFM来说，确保不同神经数据集的一致性是至关重要的。

• 挑战：通道配置的结构异质性和数据集之间信号长度的不一致性。

  • 由于缺乏标准化的电极放置，大脑信号数据表现出明显的空间不一致性。捕获神经活动的电极/通道在数量、空间分布和记录特征上因研究而异。由于每个通道编码不同的神经生理学信息，简单的插值或重采样可能会扭曲关键的神经特征，使跨数据集集成变得复杂。
    • 例如，DEAP 数据集使用 Biosemi-32 通道系统，而 SEED 数据集使用 Neuroscan-62 通道系统，通道计数和电极放置存在差异。
  • 此外，信号长度的不一致性源于实验范式的变化，因为不同的认知和生理过程在不同的时间尺度上展开。过长或过短的记录窗口都不能准确捕捉神经活动。例如：
    • 稳态视觉诱发电位（SSVEP）在毫秒内引发反应，需要短暂的记录；
    • 运动想象任务（MI）需要几秒钟的信号持续时间；
    • 睡眠研究进一步扩展了这一点，跨越了几个小时来捕捉完整的睡眠周期；
    • 与情绪相关的研究不仅涉及长时间的信号采集，还表现出不同的时间特征，包括稳定状态、瞬态波动和不同时间尺度上的持续影响。

• 解决办法：采用离散信号分割方法来解决数据结构中的不一致问题：

3.3.1.1 离散信号分割方法

• 输入数据的数据结构：

\[x=\{x_{c,k}\in\mathbb{R}^w|c=1,2,...,C;k=1,2,...,\lfloor\frac{T-w}{s}\rfloor+1\} \]

• 核心原理：是将连续的大脑信号划分为标准化的时间段，确保模型的输入结构统一。

• 优势：这种分割策略使BFM能够通过独立分割每个通道来处理通道的可变性，同时统一任务间的信号持续时间。

• 劣势：在离散信号分割标准化数据格式的同时，不可避免地会导致位置信息的丢失。分割的片段在神经信号中缺乏其原始的时空背景，这使得模型难以捕捉跨时间和跨区域的动态变化。

• 解决方法：为了补偿这种时空信息的损失，引入了位置编码来帮助模型正确解释信号段在时间和信道维度上的相对位置（应该也是受语言模型的启发）。

  • 固定位置编码：使用标准正弦函数来提供时间信息，而不需要可训练的参数。

    • Brain-JEPA 采用了一种基于大脑区域梯度定位的位置嵌入矩阵和一种使用正弦和余弦函数进行时间定位的时间编码矩阵。

  • 可学习位置编码：使用可训练的参数来学习最佳的位置表示，使模型能够适应不同的数据集并捕获特定的时空模式。

    • Brant 定义了一个可学习的位置编码矩阵 \(W_{pos}\in\mathbb{R}^{L\times D}\) 来捕捉补丁的时间顺序，其中 \(L\) 表示位置标记的数量，\(D\) 表示特征维度。这种编码被添加到投影输入中，使模型能够有效地学习序列依赖关系。
    • LaBraM 通过引入可学习的时间编码矩阵 \(W_{temp}\in\mathbb{R}^{L\times D}\)和空间编码矩阵 \(W_{spat}\in\mathbb{R}^{|C|\times D}\)扩展了这种方法。

• 治标不治本：尽管取得了初步进展，但当前BFM中数据处理策略的探索仍处于早期阶段，还有很大的改进空间。虽然现有的方法在标准化大规模建模的神经数据方面表现出了有效性，但它们在处理时间结构和大脑区域配置的变化方面仍然面临着根本挑战，限制了它们在不同实验范式和个体之间的适应性。

  挑战：

  1）固定时间窗口策略，该策略难以适应不同实验范式的不同时间结构：

  • 预定义的窗口长度往往无法捕捉到神经活动的动态：在事件相关电位分析中，过长的窗口会引入噪声，稀释关键模式，而在持续注意力任务中，过短的窗口会截断基本信息，破坏神经连续性。
  • 个体间的变异性进一步使这个问题复杂化，因为受试者表现出不同的神经反应潜伏期和处理速度：静态窗口长度与神经信号固有可变性之间的不匹配引入了偏差，最终限制了当前BFM的适应性和鲁棒性。

  2）在处理数据集中不一致的大脑区域计数上：

  • 大脑记录存在自然变异性，僵化的标准化策略限制了它们捕捉功能连接模式和特定区域动态的能力：现有的方法要么采用记录区域的交集，如 CBraMod，牺牲信息以实现兼容性，要么采用联合，如EEGPT，增加计算复杂性。
  • 将大脑区域视为离散通道会妨碍具有生物学意义的学习，因为当前的模型缺乏编码结构关系的明确约束。这强调了对更灵活的表示的需求，这种表示可以动态地适应不同的大脑区域配置，同时保留基本的生理信息。

3.3.2 训练策略

• 目的/含义：是BFM的一个基本组成部分，定义了BFM如何从大脑信号（复杂的神经信号）中学习有意义的表征，主要是通过基于重建和对比学习，每种学习都捕捉到了神经活动的不同方面。鉴于大脑数据带来的挑战，如高可变性、个体差异和任务依赖性动态，有效的训练范式对于使BFM能够在不同的实验条件下进行泛化至关重要。现有的BFM主要采用两种广泛的训练方法：基于重建的学习和对比学习。

3.3.2.1 基于重构的自监督学习（SSL）

• 核心原理：是掩盖或破坏输入信号的一部分，并要求模型恢复缺失的部分，从而学习数据的内在结构。这种方法在脑信号建模中得到了广泛的应用，因为它有效地从时间序列中提取了局部和全局特征，增强了模型对神经活动的理解。

• 基于重建的方法一般可分为两类（Transformer都使用了）

  1）掩码预测：对信号的一部分进行随机掩蔽，并训练模型仅基于可见部分重建缺失的信息。

  • 目的：旨在从不完整的输入数据中学习全局表示。
  • 优势：从神经科学的角度来看，这种方法符合大脑的冗余编码原理，其中某些区域的神经活动通常可以从周围的信息中推断出来。例如，EEG信号表现出很强的时间相关性，允许从剩余数据中重建掩蔽的时间段或通道。此外，大脑采用冗余表示机制，其中多个大脑区域协同编码相同的认知或运动状态。该属性使掩码学习策略能够捕获神经活动中的潜在功能模式。
  • 例子：
    • BrainBERT 采用时频掩蔽策略，其中通过短时傅里叶变换或 Superlet 变换获得随机选择的 EEG 频谱图段，并随后对其进行重建。它采用基于Transformer的架构，利用自我关注机制从未屏蔽的区域中提取上下文信息，并预测缺失的光谱特征。
    • Brain-JEPA 通过引入时空关节掩蔽进一步完善了这种掩蔽策略。与随机屏蔽特定时频点的 BrainBERT 不同，Brain-JEPA 在 fMRI 数据上采用了跨区域、跨时间和双屏蔽策略，确保模型在各种屏蔽条件下有效泛化。此外，其不是直接重建原始信号，而是预测潜在表示空间中的特征，这种设计可以减轻噪声干扰并提高学习表示的稳定性。

  2）自回归：该模型仅限于使用历史数据来预测未来的神经信号，

  • 优势：

    1）这与大脑的时间积分机制相一致，其中当前的神经状态在很大程度上取决于之前的活动。

    2）例如，跨大脑区域的信号传输通常遵循固有的时间延迟，特定的神经功能在多个时间尺度上表现出一致性。因此，自回归模型可以有效地捕捉大脑活动的动态演变，并学习神经信号的长期依赖性。

    3）强调对长期依赖性进行建模，这对于理解大脑中的因果关系和信息流至关重要。

  • 例子：

    • BrainLM 对 fMRI 数据采用了基于 Transformer 的自回归框架，该模型根据过去的神经活动顺序预测未来的时间步长。这种训练策略使模型能够有效地学习长期时间依赖性，提高其表示大脑动力学的能力。
    • NeuroLM 更进一步改进了这个方法利用通道自回归机制，整合 EEG 通道间的信息以增强联合建模。此外，它还结合了因果自回归框架，在预测过程中强制执行方向约束，从而提高了模型以更高保真度捕获 EEG 时间模式的能力。

3.3.2.2 基于对比学习的训练策略

• 目的：通过拉近相似样本而拉开不相似样本来构建正负样本对，以学习更多的判别表征。

• 对比学习方法一般可分为两类：

  1）脑内模态对比学习：脑数据中的对比学习，包括同一模态内或不同脑模态之间的比较，以整合多源神经信号并构建更全面的神经活动表示。

  • 核心思想是在同一模态内建立对比表征，同时捕捉不同脑模态之间的共享表征，使模型能够学习稳定和全面的神经活动模式。

  • 来源：

    • 一方面，在同一模态中，尽管个体的生理和心理状态存在差异，但神经活动模式在同一任务下表现出时间连续性和空间一致性。

      例如，虽然EEG波动受到神经振荡的影响，但相邻的时间段仍然遵循特定的时间依赖性，反映了局部神经网络的稳定功能组织。MBrain 从通道的不同时间段构建对比样本，以提高时间稳定性，而EEGPT应用基于扰动的对比学习，引入时间抖动、频率偏移和通道置换，以生成语义一致但结构不同的EEG样本。

    • 另一方面，尽管采集方法、时空分辨率和噪声特征存在差异，但由于跨模态功能组织，不同脑模式之间存在共享的神经动力学关系。

      例如，EEG 捕捉快速的皮质电活动，而 fMRI 反映较慢的神经血管过程，但高频EEG振荡（如伽马波）在认知任务中通常与fMRI BOLD 信号相关。通过对齐 EEG 和fMRI的表示，该模型可以提取共享信息并建立一致的神经映射。Brant-X[22]引入了一种两级对齐机制，将 EEG 与其他生理信号（ECG、EOG、EMG）进行对比。

      补丁级对齐确保局部生理信号映射到共享表示空间，而序列级比对则加强了长期神经动力学的一致性，增强了跨模态表示学习。

  2）脑异质模态对比学习：脑数据和异质模态（如文本或图像）之间的对比学习，以替代模态表示神经信息并增强其可解释性。

  优势：

  • 使大脑信号能够超越预定义的标签，以更丰富的模态（如文本或图像）表达。在传统的监督学习中，模型在固定的任务框架内对大脑数据进行分类，需要明确的任务标签。相比之下，对比学习消除了这一限制，使模型不仅能够编码神经信号，而且能够捕获更丰富的任务相关上下文信息。

    通过跨模态映射，模型直接从大脑信号中学习任务表示，而不局限于孤立的任务分类。这意味着，模型可以将大脑活动与刺激内容（例如视觉场景或文本描述）相关联，以推断任务本身，而不是简单地区分“运动图像”或“情绪识别”任务中的标签，从而产生语义更丰富的神经表征。

  • 例子：

    Kong等人 使用对比学习框架将 fMRI 信号与视觉图像对齐。通过采用 CLIP 模型，他们优化了 fMRI 表示以匹配相应的视觉特征，使该模型不仅可以识别神经激活模式，还可以推断受试者感知的视觉刺激，从而对看不见的个体进行泛化。

    NeuroLM 采用跨模态对比策略，将EEG信号与文本表示对齐。在第一阶段，鉴别器评估 EEG 文本对齐，通过对比损失优化跨模态对应。在第二阶段，多任务指令调优进一步优化了这种对齐，使 NeuroLM 能够跨不同的 BCI 任务进行泛化，并增强其对不同神经解码场景的适应性。

3.3.2.3 挑战

BFM仍然是人工智能技术的直接改造，而不是为神经信号量身定制的模型，最终限制了它们的生物可解释性和现实世界的适用性。

1）尽管SSL在其他人工智能领域非常有效，且已成为BFM的主要训练范式，但它对BFM的实际好处仍然不确定，需要进一步验证。

在NLP和CV中，SSL受益于结构化数据和丰富的语义信息，例如，BERT 捕获单词共现模式，而CLIP 将图像与文本对齐。

大脑信号表现出高噪声、低再现性和显著的个体变异性，这使得传统的SSL对神经信号建模具有挑战性。

• 神经活动模式是不稳定的，即使对于同一任务，个体之间的差异也很大，因此很难建立一致的表示空间。
• EEG和fMRI缺乏层次结构，这意味着掩模重建和对比学习可能很难捕捉到可概括的特征。

2）大多数BFM严重依赖于微调，无法实现真正的跨任务泛化。

SSL的基本目标是开发通用的神经表示，可以在没有大规模标记数据的情况下跨任务应用。然而，几乎所有现有的BFM都需要进行广泛的微调，以获得具有竞争力的性能。

值得注意的是，NeuroLM是唯一没有微调的BFM，它采用多任务指令调优来提高跨任务适应性，但其性能仍明显低于微调模型。这表明，虽然SSL提供了统一的预训练框架，但当前的BFM仍然缺乏零样本泛化，这使得它们与GPT等大规模NLP模型相比通用性较差

3）BFM训练策略主要基于NLP和CV，缺乏针对神经科学的优化。

掩码预测和对比学习等技术无法解释大脑活动中固有的功能连接、层次结构和生物约束。

例如，BERT利用词序和语法进行掩码令牌恢复，而EEG信号依赖于复杂的时间依赖性，这使得简单的掩码可能无效。同样，在对比学习中，CV模型假设同一类别的样本具有相似的表征，但在大脑数据中，即使是执行相同任务的个体也可能表现出高度不同的神经活动模式。

3.4 大规模数据和多模态融合

在BFM中，核心挑战之一是管理不同任务中使用的数据的多样性和复杂性。神经数据，如EEG、fMRI、脑磁图（MEG）和功能性近红外光谱（fNIRS），有各种格式，提供了对大脑活动的不同见解，并且在数据特征方面往往存在显著差异。EEG信号捕捉高频时间动力学，这对于分析实时认知过程非常有用，而fMRI提供了有关大脑结构和功能的丰富空间信息。这些数据模式以及其他神经成像技术分别代表了大脑活动的不同方面，为BFM中的数据集成创造了机遇和挑战。

数据来源的多样性因收集数据的不同实验条件而进一步加剧。在脑部疾病诊断、神经康复或认知状态监测等任务中，该模型可能会遇到来自不同个人、硬件和环境设置的数据。这些因素中的每一个都会引入变异性，例如fMRI中的个体大脑解剖差异或EEG信号模式的受试者间差异。为了使模型在这些变化中有效地推广，它必须能够以一种保持任务特定相关性的方式从多样化和异构的数据中学习，同时最大限度地减少数据不一致造成的偏差。

因此，BFM必须具有足够的鲁棒性，能够处理跨越不同大脑信号和实验条件的大规模多源数据集，从而促进发现可推广的模式的同时适应个体间神经活动的差异性。这种高效处理不同数据集的能力对于该模型在广泛的神经科学应用中取得成功至关重要，从诊断脑部疾病到开发个性化的认知增强策略

鉴于大脑数据的多模态特性，多模态融合是BFM设计和训练的基本组成部分。整合多种数据类型，如EEG和fMRI，使模型能够利用每种模态的互补优势。然而，融合过程带来了重大挑战，特别是由于时间和空间分辨率的差异，以及不同模式的数据格式和维度的差异。

在多模态融合中，目标是整合来自各种模态的数据，以便模型能够利用每个来源提供的独特信息。例如，EEG提供高时间分辨率，捕捉随时间变化的大脑活动波动，而fMRI提供大脑活动的空间详细图。为了有效地利用这两者，BFM必须采用融合技术，将这些不同的信号同步并组合成一个有凝聚力的表示，在多个任务中提供信息。

4 BFMs 典型应用

• 分为大脑解码和大脑发现。这些应用利用了BFM在解码大脑活动和探索大脑功能潜在机制方面的优势。每个类别都利用不同的BFM配置，从单独的预训练到预训练与可解释性分析的结合，以解决神经信号处理中的具体挑战。这些方法为在临床和研究环境中理解和操纵神经数据提供了一个强大的框架。

4.1 大脑解码

• 定义：指使用BFM来解释神经信号，并从大脑活动中解码心理状态、意图或认知过程。这一过程对于从脑机接口到脑部疾病诊断的各种应用至关重要。BFM在这个领域特别有价值，因为它们能够跨不同的任务、模式和场景进行泛化，从而为解释神经信号提供了更稳健和适应性更强的模型。它们的灵活性使其对于推进大脑研究和改善临床和现实应用至关重要。
• 应用：Tab.II.

1）只预训练：在没有特定任务适应的情况下，在大型、多样化的神经信号数据集上训练BFM，模型虚席大量的表示以捕捉在各种背景、场景和实验条件下共享的大脑活动的核心部分。这使得它非常适用于跨场景任务，在这些任务中，神经数据可能会在各种条件下变化，例如：

• 跨多种场景的癫痫检测：在癫痫诊断中，BFM对来自不同癫痫发作场景的EEG数据进行了预训练，例如不同的癫痫发作类型、环境条件和患者群体，可以概括不同的癫痫表现。通过利用这些通用特征，预训练模型可以有效地识别新数据集中的癫痫发作，这些数据集可能在受试者、记录设置或癫痫发作类型上有所不同。这种能力对于开发用于临床的实时癫痫发作检测系统至关重要。
• 大范围语音BCI数据解码：对于语音诱发的BCI系统，BFM对从不同受试者、语音任务和感官中捕获的各种语音相关大脑数据进行了预训练，模式可以在多种场景下更有效地解码语音意图。无论数据来自语音图像、无声语音还是实际语音，预训练模型都可以处理这种可变性并解码与语音相关的心理状态。该应用程序对于提高言语障碍者通信设备的可访问性至关重要。

2）预训练+微调：将预训练模型的强大功能与特定任务的自适应相结合。在对大规模数据集进行预训练后，BFM会针对特定任务进行微调，从而提高其在专业应用中的性能。这种方法在跨任务场景中特别有效，在这种场景中，同一模型需要适应多种不同类型的BCI任务。这种灵活性对于需要模型跨一系列BCI范式工作的应用程序是有利的，例如：

• 跨任务BCI应用：基于不同神经数据预训练的模型可以针对各种BCI任务进行微调。例如，单个模型可以适用于运动想象、认知工作量评估和情绪识别。这使得一个统一的框架能够处理多个BCI应用程序，而无需特定任务的模型设计，使模型更加通用，并减少开发时间和成本。
• 通用疾病诊断：对一般神经信号数据进行预训练，然后对特定疾病（如PTSD、焦虑和神经质）进行微调，使BFM能够识别疾病诊断和进展的生物标志物。这种方法对于开发适用于广泛患者的诊断工具特别有用，减少了收集大量特定任务训练数据的需要。通过利用预训练的广义知识，微调模型可以基于神经数据为各种疾病提供准确可靠的预测。

4.2 大脑模拟与发现

• 目的/意义：主要目标是构建一个数字大脑，一个可以研究和分析的生物大脑的模拟，以发现以前未知的神经功能。通过构建模拟生物大脑活动的数字大脑模型，模型使研究人员能够探索和解释各种神经网络在认知过程和疾病进展中是如何相互作用的，该领域对于模拟和理解大脑的潜在生物机制、揭示大脑功能的基本方面至关重要。

通过使用可解释性技术，如扰动分析或注意力机制，研究人员可以分析数字大脑，并深入了解生物大脑在各种条件下的运作方式。这种方法在探索人脑的复杂动力学和揭示难以直接研究的机制方面尤其有价值。主要应用包括：

• 数字大脑构建：利用BFM，研究人员可以构建一个数字大脑，这是一个模拟生物大脑功能的计算模型。该模型可以模拟不同大脑区域和网络的神经过程。通过分析，研究人员可以探索神经回路如何运作，不同区域如何相互交流，以及大脑在认知任务中如何处理信息。这些模拟能够发现仅通过直接测量可能无法观察到的新神经机制。
• 探索大脑功能和疾病机制：数字大脑为研究健康和患病状态下的大脑功能提供了一个平台。例如，扰动分析可以模拟大脑活动的中断，例如由阿尔茨海默氏症或帕金森氏症等神经退行性疾病引起的中断。通过分析这些中断如何影响数字大脑中的神经网络，研究人员可以更深入地了解疾病进展，并确定潜在的生物标志物或早期干预的治疗靶点。
• 理解认知过程：通过使用数字大脑模型，BFM可用于模拟复杂的认知过程，如记忆、决策和学习。研究人员可以探索不同的大脑区域和网络如何相互作用以执行这些任务，揭示认知的潜在神经机制。这种方法还可以帮助识别涉及特定认知障碍的大脑区域，从而获得更好的诊断工具和更有针对性的治疗方法。
• 揭示生物大脑中的未知机制：通过研究数字大脑，研究人员可以发现在生物系统中难以直接观察到的大脑功能的新见解。例如，可解释性方法可用于识别哪些大脑区域或网络在各种认知功能或情绪反应中起着关键作用。这些发现可能揭示有助于行为和认知的未知神经机制，为心理健康、学习过程和大脑可塑性的研究提供新的途径。

5 研究方向与挑战

5.1 数据

研究方向：BFM最关键的方面之一是数据可用性、多样性和质量。未来的研究应1）侧重于纳入广泛的大脑数据类型，包括用于捕获动态大脑活动的fMRI、用于高时间分辨率神经信号的EEG和脑磁图（MEG）、用于绘制白质连接的弥散张量成像（DTI）和用于解剖见解的结构MRI；2）整合遗传信息、临床报告和行为评估可以提高模型全面理解神经系统疾病和认知功能的能力；3）为了克服数据有限的挑战，生成模型（如GAN和扩散模型）可用于合成真实的大脑数据，填补代表性不足的人群或罕见疾病病例的空白；4）隐私问题阻碍了大规模数据共享，使联邦学习成为一种有前景的方法，可以在保持患者机密性的同时实现跨机构的分散培训。

挑战：1）由于成像协议、扫描仪设置和受试者人口统计数据的变化，数据稀缺和不一致，导致数据集之间的高度可变性，限制了模型的泛化；2）缺乏标准化的预处理流程，使其难以协调来自不同来源的数据，降低BFM训练的可重复性；3）伦理和法律约束，如GDPR、HIPAA和制度政策，限制了对大脑数据的访问，阻碍了大规模的协作学习。

5.2 架构创新与骨干选择

研究方向：骨干架构的选择对于捕捉大脑数据中的时空模式至关重要，因为不同的大脑模式在表征学习中提出了独特的挑战。CNN在处理结构MRI和fMRI中的空间模式方面是有效的，但在长程依赖性方面存在困难。图神经网络（GNN）利用大脑连接结构，使其非常适合对功能和结构网络进行建模。LSTM和Transformers在处理EEG和MEG数据中的时间依赖性方面表现出色，其中顺序信息是关键，但它们对体积脑数据的适用性仍未得到充分探索。未来的研究应侧重于开发混合架构，结合这些模型的优势，同时结合生物先验、大脑连接和功能网络。

挑战：1）没有一种单一的架构是针对所有大脑模式普遍优化的，因为EEG和fMRI具有截然不同的数据属性，需要专门的处理技术；2）Transformer和大规模模型的计算复杂性使得训练和部署资源密集，需要改进模型压缩和修剪以提高可扩展性；3）将神经科学领域知识纳入深度学习架构仍然很困难，因为传统的人工智能模型通常是纯数据驱动的，缺乏对神经生物学约束的明确整合，如分层大脑组织或神经活动中的因果关系。

5.3 训练策略与效率

研究方向：有效地训练BFM需要新的学习范式，可以利用大量未标记的大脑数据，同时确保生物学的一致性。SSL可以帮助提取有意义的表示，而不依赖于昂贵的专家注释，而对比学习可以通过学习大脑状态之间的相似性和差异性来增强特征区分。元学习和迁移学习还可以通过使BFM能够以最少的再训练快速适应新的数据集或任务来提高泛化能力未来研究的一个关键方向是开发多模态训练策略，将EEG（高时间分辨率）、fMRI（空间脑活动）、MEG、MRI和遗传数据等不同数据类型整合到一个统一的框架中。此外，多模态融合需要处理空间和时间分辨率的差异，并对齐异构数据分布。为了使BFM具有可扩展性和可访问性，降低培训成本至关重要。知识提取、模型量化和高效硬件利用（例如，使用TPU或分布式计算）等技术可以帮助优化资源使用。

挑战：1）高质量标记数据的可用性有限，训练BFM高度依赖SSL，这需要细致的设计；2）融合多模态数据的复杂性，因为EEG和MRI提供了根本不同类型的信息；3）计算成本高，需要高效的培训框架来平衡准确性、可扩展性和可访问性，以实现更广泛的研究采用。

5.4 BFMs 的使用

研究方向：BFM有可能通过实现早期疾病检测、认知评估和BCI来改变神经科学和医学。未来的研究应侧重于改进微调技术，以有效地使预训练模型适应特定的临床和认知任务，最大限度地减少对大型标记数据集的需求。此外，将LLM与BFM集成可以创建能够解释复杂大脑数据的交互式神经AI系统，帮助研究人员和临床医生进行诊断、治疗计划和个性化医疗。

挑战：1）领域适应和泛化，因为BFM必须在不同的人群、成像方式和任务中可靠地执行；2）推理速度限制，特别是对于需要超低延迟用于神经反馈应用的实时BCI；3）可信度和可解释性，因为医学采用取决于与既定神经科学原则一致的透明、可解释的人工智能决策。

5.5 可解释性

研究方向：解释BFM对于临床信任、神经科学洞察力和现实世界应用中的伦理部署至关重要。未来的研究应侧重于可解释的人工智能（XAI）技术，使模型决策更加透明和可解释。注意力图、显著性技术和基于概念的可解释性等方法可以帮助识别哪些大脑区域对特定的预测有贡献。此外，神经符号AI将深度学习与神经科学规则相结合，可以通过将模型输出与已知的大脑功能对齐来提高可解释性。将多模态大语言模型（MLLM）与BFM集成是另一个有前景的方向。MLLM可以为模型预测生成文本解释，帮助神经科学家和临床医生更直观地理解大脑模式。将大脑活动模式与自然语言描述联系起来的可视化工具可能会增强人类在研究和临床环境中的人工智能协作。

挑战：1）深度学习模型的黑箱性质使得很难解释BFM是如何得出预测的；2）大脑AI模型缺乏标准化的可解释性指标，阻碍了跨研究的可靠评估；3）可能产生误导性解释，人工智能生成的见解可能与既定的神经科学原理不一致，需要仔细验证。

5.6 伦理、规范化与标准化

研究方向：随着BFM走向现实世界的部署，确保人工智能的道德实践、公平性和监管合规性对于它们在神经科学和医疗保健领域的接受至关重要。未来的研究应侧重于制定标准化的基准和评估框架，以确保不同数据集、人群和临床应用的透明度、可重复性和稳健性。建立明确的验证协议对于获得医疗专业人员和监管机构的信任至关重要。

挑战：1）监管障碍，如遵守FDA、GDPR和HIPAA，这些法规对数据隐私和安全提出了严格的要求；2）大脑模型中的潜在偏差，因为训练数据可能低估了某些人口统计数据，导致临床决策的差异；3）缺乏标准化的评估框架，难以评估各机构的模型绩效，并推迟了现实世界的采用。

---