【论文阅读笔记】【SAM相关】 Personalize Segment Anything Model with One Shot

读论文时思考的问题

  1. 论文试图解决什么问题?

    • SAM只能割东西,因此对于某些特殊场景,需要先给SAM一个人工标注的Prompt才能较好地进行分割

    • 能否通过一些修改,让SAM分割出某些user-designed visual concepts【一般是以图片的方式来呈现,如果只有一张图片就不可能训练出一个较好的detector再来进行分割了】

    • 如何在不提供人工的prompt的前提下仍然能较好地进行使用SAM(较好地挖掘其能力)

  2. 文章提出了什么样的解决方法?

    • 提出了两个模型,PerSAM 和 PerSAM-F,实现通过 one-shot data 来进行SAM分割
  3. 你觉得该方法的关键之处在哪?

  4. 这个解决方法的局限性在哪里?有没有更好的解决方法?

  5. 文章是通过设计什么样的实验来支撑其解决方法的有效性的?(你说有效就有效吗,我不信)这些实验你觉得有效吗?

问题

  1. 这种 specific visual concepts 是语义层面的还是实例(instance)层面的?

  2. specific visual concept 究竟指的是什么?

  3. 第5页的local feature是只有物体的前景部分吗?  是的!

  4. 选取 location prior 的时候,如果根据topk选取多几个点会不会更好?

posted @ 2023-10-26 10:24  PanSTARRS  阅读(149)  评论(0)    收藏  举报