结节良恶性预测：Parse and Recall: Towards Accurate Lung Nodule Malignancy Prediction like Radiologists

​仅用作学术分享，如有侵权，请联系删除

 

1. 摘要

临床实践中，结节的上下文结构和放射科医生积累的经验是影响结节良恶性鉴别准确性的两个核心因素。上下文信息提供关于结节的全面信息，如位置、形状和周围血管，经验丰富的放射科医生能从以前的病例中寻找线索，作为参考。本文提出了一种（受放射科医生启发的）方法来模拟放射科医生的诊断过程，该方法由【上下文解析】和【原型召回】模块组成。【上下文解析】先对结节的上下文结构进行分割，然后聚合上下文信息，以更全面地理解结节。【原型召回】利用基于原型的学习将学习过的案例压缩为比较分析的原型，在训练期时以动量方式在线更新。在这两个模块的基础上，我们的方法利用了结节的内在特征和从其他结节中积累的外部知识来实现良好的诊断。为了满足低剂量和非对比筛查的需要，分别从低剂量和非对比ct中收集了12852和4029个结节的大规模数据集，每个结节都有病理或随访证实的标签。多个数据集上的实验表明，我们的方法在低剂量和非对比度的情况下都取得了先进的筛选性能。

 

 

2. 方法

 

 

PARE的整体结构如图2所示，包含3个阶段，上下文分割，内部上下文解析和原型间召回，详细介绍如下：

 

2.1 上下文分割

结节的上下文信息对良恶性诊断有重要的影响。例如，与血管供血相关的结节比单独结节更有可能是恶性的。因此，用一个类u型网络(UNet)来对输入图像patch x进行分割(分割结果为m)，从而允许对结节及其周围结构进行后续的上下文建模。具体来说，m的每个体素都属于{0：背景，1：肺，2：结节，3：血管，4：气管}。分割过程允许PARE收集全面的上下文信息，这对准确诊断至关重要。为了诊断目的，从UNet的bottleneck中提取全局特征作为结节嵌入q，用于以后的诊断阶段。

 

2.2 内部上下文解析

本阶段试图通过聚合由分割模型产生的上下文信息来增强结节的判别表示。具体来说，上下文掩码(分割结果)通过重叠的patch嵌入被标记化为一组序列。输入的图像也被分割成patch，然后嵌入到上下文标记中，以保持原始的图像信息。此外，以可学习的方式添加位置编码来保留位置信息。

与ViT [7]中的类标记类似，我们将结节嵌入标记放到上下文序列的前面，用[q；t1，...，tg]∈R(g+1)xD表示。这里g是上下文标记的数量，D表示嵌入维数。然后，同时对这些标记进行自注意建模，称为自我上下文注意(SCA)，以将上下文信息聚合到结节嵌入中。在最后一个SCA块输出的嵌入标记作为更新的结节表示。我们认为，明确地建模结节嵌入及其上下文结构之间的依赖关系，可以导致更多的鉴别性表征的进化，从而提高对良恶性结节的区分。

 

2.3 原型间召回

原型定义：为了保留以前获得的知识，需要一种更有效的方法，而不是将所有学习到的结节存储在内存中，这会导致存储和计算资源的浪费，为了简化这个过程，我们建议将这些相关的结节浓缩成一种原型的形式。对于一组结节，我们通过最小化目标函数(

 

 

)将其聚类为N组{C1，...，CN }，d是欧氏距离和p代表结节嵌入，并引用每个聚类的中心，

 

 

作为其原型。

考虑到良性和恶性结节的不同，我们故意将原型分为良性和恶性两组，分别用PB∈RN/2×D和PM∈RN/2×D表示

跨原型注意力:除了要解析内部上下文，也鼓励模型捕捉结节和外部原型之间的级别依赖。这使得PARE能够探索除单个结节之外的相关识别基础。为了实现这一点，开发了交叉原型注意（CPA）模块，该模块将结节嵌入作为query，而原型作为key和value,它允许结节嵌入选择性地关注原型序列中最相关的部分。最后一个CPA模块的输出query作为最终的结节表征去预测其恶性标签，“良性”（y = 0）或“恶性”（y = 1）。

在线更新原型：原型以在线方式更新，从而允许它们快速适应结节表示的变化，对于数据（x，y）的结节嵌入q，挑出其最近的原型，然后根据以下动量规则进行更新：

 

 

 

λ为动量因子，默认设置为0.95。动量更新可以帮助加速收敛速度，提高泛化能力。

PARE的训练过程

 

算法1概述了我们的PARE模型的训练过程，它基于两个目标：分割和分类。将dice损失和交叉熵损失相结合进行分割，用交叉熵损失进行分类。此外，利用深度分类监督来增强结节嵌入在浅层中的表示，如UNet和SCA模块的输出。

 

3. 实验

 

 

 

 

 

 

 

公众号