FastGlioma介绍

FastGlioma简介

• 这是啥

这是一种视觉基础模型，用于快速 （<10 s） 和准确检测新鲜、未加工手术组织中的神经胶质瘤浸润。

• 有啥意义

手术后残留肿瘤的问题很严重，对其的治疗成本很高，这个模型可以检测患者床边的新鲜、未加工、未标记的手术组织

https://fastglioma.mlins.org这里可以演示

• 如何工作的

便携式 SRH 成像系统可在手术室中采集显微镜图像，由一名技术人员使用简单的触摸屏说明执行。将新鲜切除的手术标本直接加载到定制的显微镜载玻片中，并插入 SRH 成像仪中，无需进行组织处理。有关图像采集的更多详细信息，请参见 Extended Data 图 1。SRH 图像可以使用类似 H&E 的配色方案进行虚拟染色，以供临床医生查看，如上所示。全玻片 SRH 图像被分成多个补丁，每个补丁通过补丁分词器进行前馈传递（扩展数据图 3a）。然后，补丁标记加上附加的分类标记 被输入到作为视觉转换器的全玻片 SRH 编码器中。

它无需监督即可在几秒内对患者肿瘤情况进行诊断

• 训练细节

首先，使用使用分层自我监督学习训练的补丁分词器提取补丁特征（扩展数据图 3a、b）。其次，通过随机拆分、裁剪和遮罩补丁标记来生成同一全玻片图像的两个视图，从而学习全玻片图像特征。然后，两个视图都通过视觉转换器进行前馈传递，将补丁作为输入标记，从而最小化全玻片自监督目标（扩展数据图 3c）。使用这种两阶段策略在完整的 SRH 数据集上训练视觉基础模型，我们在先前基准测试的多类脑肿瘤诊断任务上获得了高质量的全玻片表示和最先进的性能。分类任务包括诊断最常见的脑肿瘤类型，包括肿瘤浸润量不同的弥漫性低级别和恶性神经胶质瘤。

• 技术关键，微调

序数度量学习的方法

使用现有的、先前注释的 SRH 肿瘤浸润数据集实现。肿瘤浸润数据集是基础 SRH 数据集100分之1

使用这个肿瘤浸润数据集，序数度量学习通过最大化具有不同肿瘤浸润程度的全玻片 SRH 图像之间的潜在距离或度量来微调 SRH 基础模型（扩展数据图 5a、b）。

此外，序数度量学习效率的提高源于通过对训练小批量中的所有图像进行成对比较，强制模型根据图像的肿瘤浸润对图像进行排名

FastGlioma可以输出一个介于 0 和 1 之间的标量值，该值表示全载玻片 SRH 图像中的肿瘤浸润程度

FastGlioma 还可以在手术切除早期识别肿瘤浸润致密的标本，以获得用于术中和最终病理诊断的高产量诊断组织。

技术关键：vision transformer

Vision Transformer (ViT)