CT-Realistic Lung Nodule Simulation from 3D Conditional Generative Adversarial Networks for Robust Lung Segmentaation
机构：美国马里兰州贝塞斯达国立卫生研究院
来源：CVPR2018
摘要：
数据可用性对深度学习系统的性能起着至关重要的作用。这一挑战在医学图像领域尤其严重，尤其是当涉及到病理学时，这是由于两个因素：1）病例数量有限；2）位置、规模和外观的巨大变化。在这项工作中，我们研究用人工生成的肺结节来扩充数据集是否能提高progressive holistically nested network（P-HNN）模型在CT扫描的病理性肺分割中的鲁棒性。为了实现这一目标，我们开发了一个三维生成对抗网络（GAN），它可以有效地学习肺部结节在三维空间中的性质分布（property distributions）。为了将结节嵌入其背景环境中，我们基于包含结节的中心部分已被删除的感兴趣体积来调整GAN。为了进一步提高真实感和与背景的融合，我们提出了一种新的多掩模重建损失（Multi-mask reconstruction loss）。我们对LIDC数据集的1000多个结节进行了训练，然后我们使用我们的GAN生成模拟训练图像，其中结节位于肺边界，这是已发表的PHNN模型执行（struggles）的案例。定性和定量结果表明，有了这些模拟图像，P-HNN模型能够更好地分割这些具有挑战性的情况下的肺区域。因此，我们的系统提供了一种有希望的方法来帮助克服通常困扰医学成像的数据匮乏。
目录：
一、解决了什么问题？
二、网络模型和参数设置
三、实验和结果
四、数据库
五、关键技术
六、对比算法及性能指标
七、优缺点及展望
其中二、三部分主要对该论文的具体描述，其余部分是根据该论文自己进行的总结
一、解决了什么问题？
如何在有限或没有专家干预的情况下，生成有效而充分的医学数据样本。在这项工作中，我们探索使用CGAN来根据周围组织信息生成真实自然的3D结节，增加特定任务的训练数据。
① 医学图像领域的数据可用性非常有限的原因：图像采集成本高，对敏感患者信息的保护，疾病病例数目的有限，数据标记困难，以及位置、规模、外表的巨大变化。
② 当前构造大型医学图像数据集的方法：使用简单的自动方法、大量的放射科医生劳动或从放射科医生报告中挖掘。
③ 目的：由于相对较大的（例如）5mm）的周围结节触及到肺结节边界的样本在训练集中并不常见，所以当使用P-HNN网络来分割这一类型的肺结节时会产生困难。为了提高P-HNN的鲁棒性，我们设计了3D CGAN模型，可以是在多个位置生成不同大小、不同外观的合成三维肺结节，并使它们与周围肺组织自然融合。
④ 贡献：（1）利用一个以周围肺组织为条件的三维GAN来制定肺结节的生成方法；（2）设计了一种新的多掩模重建损失，以产生高质量的真实结节，减轻边界不连续伪影；（3）提供了一种可行的方法来帮助克服获取困难医学图像中“边缘案例”的数据；（4）证明了GAN合成的数据可以改进判别模型的训练，在这种情况下，使用PHNN分割病理性肺。
二、 网络模型（解决该问题的方法和途径）和参数设置
3D CGAN：
① 生成器Generator采用UNet-like结构，并使用dropout给生成器注入随机性。
② 输入:从原始CT图像中裁剪出的感兴趣体积（VOI），其中包含结节的中心部分被删除。
③ 特点：为了产生高质量的结节图像并确保它们与周围肺组织自然融合，提出了一种特殊的多掩模重建损失（multi-mask reconstruction loss），以补充对抗性损失（the adversarial loss）。
图 1 肺结节生成的3D-CGAN结构
图 2 使用3D CGAN模拟的肺结节 （a）以肺结节为中心的VOI；（b）（a）的二维轴视图；（c）中心球区域被删除的（a）的二维轴视图；（d-e）模拟肺结节，分别使用L1重建损失和3D-CGAN多掩模L1丢失加对抗性损失。
（1）CGAN的条件：基于从特定肺结节位置裁剪的3D CT VOI的输入图像x。
优点：这种条件设置使生成器不仅从其周围环境中了解结节属性的分布，而且还强制生成的结节与背景环境自然融合。
（2）损失函数
①CGAN的对抗性损失函数
其中y是原始的VOI，G试图最小化这个目标，而对抗性鉴别器D试图最大化这个目标。
②重建损失reconstruction losses
优点：提供了一种从周围环境中学习潜在表现的方法，以恢复丢失的区域。
缺点：重建损失往往会产生模糊的结果，因为它倾向于将数据分布中的多个模式平均在一起。
我们将重建和对抗性损失结合在一起，使前者负责捕获缺失区域的整体结构，而后者学习根据上下文选择特定的数据模式。
③ 多掩膜L1损失函数Multi-mask L1 Loss
原因：由于生成器的目的是要了解VOI内结节外观的分布，因此只对该区域应用L1损失是很直观的。然而，在生成器的训练过程中，完全忽略周围区域会导致生成的结节与背景不连续。因此，为了提高相干性，我们使用了一种新的多掩模L1损失。
形式：让M是二进制掩码，其中VOI区域填充1。让N是M的扩展版本（dilated version）。然后，我们为N-M=1的体素（voxels）分配更高的L1损失权重：
其中是按元素计算的乘法运算，>=1是权重因子。我们发现3到6个体素的膨胀（dilated）通常都很好。
④ 目标函数
其中：α和λ是通过实验确定的。我们从经验上发现α=5和λ=100在我们的实验中效果很好。
（3）3D CGAN的网络结构
【注】我们发现，没有捷径连接，我们的CGAN模型不会收敛，这表明它们对于跨网络的信息流和处理精细的三维结构非常重要。
1）生成器由一个具有5个卷积层的编码路径和一个具有另外5个反卷积层的解码路径组成，其中以与U-net相似的方式添加了短程连接。为了注入随机性，我们在解码路径的前两个卷积层上应用dropout。
2）鉴别器包含一个具有5个卷积层的编码路径。为了提高训练的稳定性，包括跨步卷积而不是池运算，G和D的编码路径中的LeakyReLu，以及G的最后一个输出层的Tanh激活。
（4）优化
对CGAN模型进行端到端的训练，使用标准的GAN训练方法，在优化G和D之间交替进行，训练G使最大化，而不是最小化。
采用Adam优化器，学习率为0.0001，生成器和鉴别器的动量参数和。
三、 实验和结果
首先使用LIDC数据集验证CGAN。然后，使用人工生成的结节，我们测试它们是否有助于微调最先进的P-HNN病理性肺分割方法。
图 3 示例结果：（a）原始图像；（b）中心区域删除后的输入；（c）仅L1丢失，适用于整个图像；（d）Isola等人的方法[6]；（e）具有L1损耗的CGAN，仅适用于擦除区域；（f）我们的具有多掩模L1损耗的CGAN。
a) 当仅使用重建L1损失时，结果相当模糊，形状和外观的变化非常有限。
b) Isola等人的方法[6]的结果改善了仅L1的损失；但是，它与周围组织有明显的不一致/不一致，以及结节内出现的不希望的采样伪影。有可能的是，通过强制生成器重建整个图像，它会分散生成器对结节外观分布的学习。
c) 当只在擦除区域执行L1丢失时，Isola等人的伪影不会显示出来；但是，M区域和VOI的其余部分之间存在更强的边界伪影。
d) 加入多掩模损失，可以产生具有真实内部的结节，并且没有这种边界伪影。
图 4 周围型肺结节的LIDC患者的肺分割结果。所有指标都是以结节为中心的大小为64像素的VOI。
图 5 P-HNN示例的肺结节分割。（a）ground truth；（b）原始模型；（c）仅使用L1进行微调；（d）Isola等人；（e）CGAN
图4描绘了定量结果。首先，如图所示，使用所有CGAN变体进行微调可以提高P-HNN在周围型肺结节上的表现。这证实了使用模拟数据来扩充训练数据集的价值。
此外，结节的质量也很重要，在所有备选方案中，CGAN在Dice scores, Hausdorff distances and average surface distances产生了最大的改进。
特别是，对于我们所提出的系统，坏情况下的性能也要好得多，这表明它可以帮助P-HNN处理边缘情况。
就视觉质量而言，图5描绘了两个示例。正如这些例子所证明的那样，我们提出的CGAN使P-HNN在周围结节的分割掩模质量上有了显著的改善，从而克服了一个重要的局限性。
四、数据库
LIDC数据集包含1018例肺部结节患者的胸部CT扫描，总计约2000个结节。
& 训练集：排除直径小于5mm的结节，因为小结节在重采样后提供的背景信息非常有限，我们的目标是生成相对较大的结节。这就产生了大约4300个训练样本对。
& 测试集：22个病人，包含34个肺结节。对于每个结节，使用多个医生的联合掩膜。
a) 真实图像y：通过3个随机比例（比结节掩模的最大尺寸大2到2.5倍）裁剪以每个结节为中心的立方VOIs来生成。然后将所有VOIs重采样为64×64×64的固定大小。
b) 条件图像x：通过擦除直径为32的球体内以VOI为中心的像素而得到的。
五、关键技术（创新点）
①3D CGAN网络
②多掩模重建损失（Multi-mask reconstruction loss）--确保生成的结节与周围肺组织自然混合。
六、对比算法及性能指标
①证明带有多掩模重建损失的CGAN模型可以有效地生成真实的高质量肺结节CT图像。
& 性能指标：通过可视化，直接通过视觉效果判断。
& 对比算法：仅使用L1损失；Isola et al.’s方法；CGAN只在擦除区域执行L1丢失；CGAN with multi-mask L1 loss.
②证明带有多掩模重建损失的CGAN模型可以提高P-HNN模型的肺结节分割能力。
& 性能指标：Dice scores；Hausdorff distances；average surface distances；视觉效果
& 对比算法：P-HNN；CGAN_L1loss；Isola et al.’s方法；proposed CGAN
③选用P-HNN分割模型的原因
a) P-HNN网络模型是当前最先进的肺结节分割模型
b) P-HNN网络模型在遇见邻近边界的肺结节时会遇见困难，是由于这一类型的肺结节数据量太少，不足以充分捕捉到真是的肺结节边界。
七、优缺点及展望
1．主要贡献：
1) 使用3D GAN在肺血管周围制定肺结节的生成；
2) 设计了一种新的多掩模重建损失，以生成减轻边界不连续暗影的高质量逼真的结节；
3) 提供了一种可行的方法来克服困难，以获取医学图像中“边缘病例”的数据；
4) 证明GAN合成的数据可以改善判别模型的训练，在这种情况下，可以使用P-HNN分割病例肺部
2．自己的理解及展望
该文主要是根据给定的背景生成肺结节部分，并不是从噪声z中直接生成肺结节图像，具有一定的局限性。并且只研究了在P-HNN分割网络上的性能，没有了在多个网络上进行实验。
展望：证明了通过GAN来增加肺结节数据量的可行性，并且通过该文章学习了GAN网络的输入CT图像应该如何进行预处理，但是对于GAN网络与P-HNN分割网络如何结合的具体部分并未详细阐述，需要进一步研究。
