浙江大学团队Nature子刊研究 | NOKOV度量动作捕捉助力实现脑机接口手写识别准确率提升约70%

导语

近日，浙江大学郝耀耀老师研究团队在《Nature Communications》发表研究，首次系统揭示手写运动在大脑中的多维编码机制。研究通过引入NOKOV度量动作捕捉系统构建高精度三维运动数据，结合力学与肌电信息，首次系统揭示了大脑运动皮层对手写运动的多维编码机制，实现脑机接口手写识别准确率提升约70%。这项研究不仅刷新了对运动控制的认知，更提供了一套全新的解码范式，为下一代高性能手写BCI奠定了理论基础。

 

一、问题背景：为什么传统手写脑机接口难以突破？

在实际脑机接口（BCI）研究中，研究人员长期依赖二维轨迹（x, y）进行建模。但在真实实验过程中，这种方法很快暴露出明显问题：

• 无法刻画“抬笔动作”（缺失Z轴）
• 无法反映握笔过程中的力变化
• 无法捕捉肌肉控制信息（EMG）

实验现象表明：即使二维轨迹相似，不同书写动作在神经层面依然存在显著差异

因此，本研究提出一个关键问题：

大脑编码的到底是“轨迹”，还是“多维运动状态”？

二、研究方法：多维运动建模 + 神经解码框架

2.1 核心研究思路

在实际实验设计中，研究团队采用如下策略：

• 使用健康受试者的真实书写数据作为模板
• 通过高精度采集系统记录完整运动过程
• 将瘫痪患者的神经信号映射到该多维空间中进行解码

该方法本质上解决了：

“没有真实运动标签，神经信号无法有效训练”的核心难题

2.2 实验基础：多维数据采集系统

在实验搭建过程中，研究团队构建了一套多模态同步采集系统：

数据类型	采集设备	实验作用
三维速度（Vx, Vy, Vz）	NOKOV度量动作捕捉系统	提供高精度运动轨迹（核心ground truth）
握笔力与压力	薄膜压力传感器	描述力学变化
肌电信号（EMG）	Myo臂环	反映肌肉控制

在实际实验过程中，NOKOV度量动作捕捉系统用于连续记录笔尖三维运动轨迹，为后续神经解码提供高精度时间同步数据。

多次实验表明：

三维运动数据的精度与稳定性，直接决定了后续解码模型的上限

三、核心技术方法体系

研究采用多层解码架构：

• 神经编码定量分析：LNP模型
• 线性解码（对比验证）：卡尔曼滤波（KF）
• 非线性解码（最终输出）：LSTM网络
• 字符匹配：动态时间规整（DTW）
• 统计检验（贯穿全程）- 配对Wilcoxon符号秩检验

在实际对比中发现：

非线性模型（LSTM）在复杂多维运动解码中明显优于线性方法

四、关键实验结果

4.1 单模型 vs 双模型（结构优化）

在多次实验对比中：

• 笔画相似度：0.63 → 0.69
• 抬笔相似度：0.72 → 0.86
• p < 0.0001

结论：笔画与抬笔在神经编码上存在本质差异，必须分离建模

4.2 二维 vs 多维编码（核心突破）

在真实实验数据分析中：

笔画阶段

加入：

• 握笔力
• 压力
• EMG

编码性能显著提升（p<0.0001）

抬笔阶段

加入Z轴速度（Vz）后：

性能显著提升

4.3 特征消融实验（机制验证）

实验逐一移除关键变量：

• 删除EMG → 性能显著下降
• 删除三维速度 → 显著下降
• 删除Vz → 仅影响抬笔

说明：不同运动维度在不同书写阶段承担不同功能角色

4.4 解码准确率提升（最终效果）

模型	准确率
二维解码	29.22% ± 19.87%
多维解码	显著提升
三维速度 + 压力	49.96% ± 19.48%

整体识别率提升约70%

五、关键结论：动作捕捉正在成为脑机接口基础设施

结合实验结果可以得出一个重要趋势：

高精度动作捕捉系统（如NOKOV度量动作捕捉系统）正在成为脑机接口多维解码研究中的基础设施之一

在本研究中，NOKOV度量动作捕捉系统的作用包括：

• 提供高精度三维运动ground truth
• 支撑多维运动建模
• 提升神经信号与运动之间的映射精度
• 提高最终字符识别准确率

NOKOV度量动捕系统用于采集手写三维运动数据，构建神经解码所需的多维 ground truth，提升BCI手写建模与识别能力。

六、应用价值：从实验室走向实际应用

该研究方法具备广泛应用前景：

• 脑机接口输入系统（无接触打字）
• 神经康复训练
• 假肢控制
• 运动想象解码
• XR交互输入

多维运动建模将成为未来人机交互的重要基础能力

七、FAQ

Q1：脑机接口为什么需要动作捕捉？

因为神经信号训练需要真实运动标签，NOKOV度量动作捕捉提供高精度三维数据，是解码模型的基础。

Q2：二维轨迹为什么不够？

二位轨迹无法描述抬笔（Z轴）、压力和肌电信息等多维运动数据，导致关键运动信息缺失。

Q3：这项研究意味着什么？

多维运动建模 + 高精度动作捕捉 = 下一代脑机接口核心范式

可以总结为三个重要趋势：

1. 脑机接口正在从“二维轨迹”走向“多维运动建模” 
2. 动作捕捉系统正在成为神经工程的基础设施 
3. 手写BCI有望进入实际应用阶段（输入、康复、假肢控制等）

八、 引用格式及通讯作者简介

引用格式: 

Wang, Z., Xu, G., Yu, B. et al. Cortical representation of multidimensional handwriting movement and implications for neuroprostheses. Nat Commun (2026). https://doi.org/10.1038/s41467-026-70536-7

通讯作者

郝耀耀，浙江大学脑机智能全国重点实验室研究员、博士生导师，南湖脑机交叉研究院兼聘研究员。主要研究方向:植入式脑机接口、脑机接口电极与微系统、脑机接口动物及临床应用

王跃明，浙江大学计算机科学与技术学院教授、博士生导师，南湖脑机交叉研究院常务副院长。主要研究方向:脑机接口、人工智能