Medical World Model: Generative Simulation of Tumor Evolution for Treatment Planning

Medical World Model: Generative Simulation of Tumor Evolution for Treatment Planning

MeWM：医疗世界模型
代码仓库

动机

解决以下挑战：

1. 疾病的复杂性
2. 可视化、可追踪的推理过程

方法

整体框架

整体框架如图，大致流程如下:

1. 决策模型（Policy Model）根据图像以及临床指导生成动作（Action），即治疗建议
2. 肿瘤生成模型（Dynamics Model）为每个动作模拟治疗后的图像
3. 生存分析模型（Heuristic Function）评估每个模拟治疗后图像的风险分数
4. 选取风险分数最低（预后最好）的治疗方案给出建议

训练

1. Diffusion方式监督肿瘤生存模型
2. Combo Contrastive Learning：拉近相同动作生成的治疗后图像特征，拉远不同动作的治疗后图像特征

结果

相较于已有的方法有所提升，但是不能完全取代医生。更好的应用是辅助医生进行决策。

总结

本文的方法框架整体思路是利用基础模型完成“决策”、“评估”的一些过程。相较于直接生存分析之类而言，多了生成治疗结果的步骤使得推理过程更具有可解释性。然而，整条流程中对基础模型有较强的依赖，同时又需要一个生存分析专有模型进行选择。相当于是一个非常复杂的多阶段算法。因此，一个较大的担忧就是如此多模型的参与，可能会存在误差累积的问题。并且，最终的治疗方案选择还是落在了专有生存分析模型上，也就意味着泛化性有限，也强依赖于这一模型的性能。