Recurrent Neural Networks for Semantic Instance Segmentation

Salvador A, Bellver M, Campos V, et al. Recurrent neural networks for semantic instance segmentation[J]. arXiv preprint arXiv:1712.00617, 2017.
https://github.com/imatge-upc/rsis

使用convlstm来进行instance segmentation的任务。简单来说就是每一个step预测一个instance。

文章使用了类似unet的结构，每一个conv lstm 某一个step的输入都由上一个conv lstm的hidden state、该conv lstm的前一step的hidden state 及encode feature组成

这里有个一个问题是如何指定训练时候的instance顺序，作者是使用 Hungarianalgorithm,去让网络学习一个Inference顺序。学到的顺序还是有点意思。
论文中描述的loss分别是iou loss，class loss，stop loss及一个box loss。