Play with Diffusion Model(updating...)

Github stars

🥥CompVis / stable-diffusion⭐⭐⭐

• 任务：text2image
• 流程：环境配置 - 运行命令
• 补充：搭配diffusion-models-class、Image-to-image食用

🥥guided-diffusion⭐⭐⭐

• 任务：暂时还不清楚
• 流程：继承自improved-diffusion - 下载预训练模型 - 运行命令
• 补充：massive pre-trained models waiting to be explored，支持多卡训练

🥥improved-diffusion⭐⭐⭐⭐⭐

• 任务：完整的训练-预测流程，内含大量训练模型的超参搭配以及相应预训好的模型参数
• 流程：环境配置 - 数据准备（可以按照标签进行准备）- 训练 - sampling≈inference
• 补充：各种train的命令，conditional unconditional，支持多卡训练

🥥Diff-SCM❌

• 任务：method for lesion localization in Brain MRI.
• 流程：环境配置
• 补充：个人项目，无issue

🥥diffusion-anomaly⭐⭐⭐⭐

• 任务：医学图像异常检测
• 流程：继承自guided-diffusion - 数据准备（有参照）- 运行命令
• 补充：可做image2image，sampling过程可以可视化（visdom），较为完整

🥥DiffusionModelsForImageSynthesis❓

• 任务：显微图像
• 补充：暂时不太相关，没有仔细看

🥥Palette-Image-to-Image-Diffusion-Models

• 来自一个很有趣的发布，主要包括下面四个任务：
  • 灰白图上色
  • inpainting（给了新的启发）
  • uncropping
  • 照片修复
• 但上面这个GitHub仓库是非官方的
• 第一次尝试：我们的焦点在上色任务上，感觉比较坑，看着很完善，但data的配置文件得自己写，有点复杂
• 第二次尝试：看在inpainting的份上，再给一次机会😂
  • 进度：目前看到Data Prepare，疑问：mask_mode？搞清楚了，是随机生成了一个形状的画笔，然后固定了起点、终点、角度、作画次数，进行随机作画。作画区域被高斯噪声填充。
  • 感受：还是不太行，原因有二：
    • training的数据按道理是有ground truth（mask前），但到底是怎么计算loss的没看懂
    • run.py文件从models导入的库有问题
• 总结：适合暂时放弃

Task

I try to finish following tasks in order:

• improved-diffusion
• diffusion-anomaly