2024-02-06 - 计算机视觉的ChatGPT时刻—分割所有的视觉大模型SAM - 卢菁

摘要

2024-02-06 周二 桑梓 阴

课程内容

1. 计算机视觉的任务

技术路线: 目标分割 -> 目标检测 -> 目标识别 -> 目标跟踪

• 目标分割: 像素级别的对前景与背景进行分类，将背景剔除；
• 目标检测: 定位目标，确定目标位置及大小;
• 目标识别: 定性目标，确定目标是什么；
• 目标跟踪: 追踪目标运动轨迹；

2. 图像分割对比

3. 零样本学习

4. SAM 模型: 任务目标

5. SAM 模型架构

6. prompt-encoder

7. image-encoder

8. 数据引擎

• 手工阶段:
  a. 根据现有的已经标好的小数据集训练一个相对粗糙版的 SAM ;
  b. 粗糙版的 SAM 分割新数据，人工修正后，重新训练模型;
  c. 前两步骤反复迭代，数据越来越多；

• 半自动化阶段:
  a. 用分割好的 SAM 模型，分割图像，把无法分割的交由人工标注重新训练；
  b. SAM 模型在图像上分割，对得分较高，准确率较高，符合设定规则的结果进行保留；

9. SAM 模型缺点

10. 图像分割

• 医学应用(肿瘤诊断)

• 风格迁移

• 裂缝检测

• 目标追踪

• 图文多模态

• 图片声音多模态
  

总结

心得: 字越少，事越大