前一阵子好忙啊，好久没更新了。最近正好挖了新坑，来更新下。因为之前是做检测的，而目前课题顺道偏到了instance segmentation，这篇文章简单梳理一下从检测、分割结果到instance segmentation结果问题在哪里，以及已有的解决方案。

初见instance segmentation

分类、检测、分割是有天然的联系的：从目的来讲，三个任务都是为了正确的分类一张（或一部分）图像；进一步，检测和分割还共同负责定位任务。这些任务之间的不同是由于人在解决同一类问题时，对问题的描述方案不同导致的，是人为的。因而，可以找到一种共同的描述（或任务），即instance segmentation。那么，instance segmentation既然集成了上述3种任务，如果有上述3种任务的结果，是不是通过简单组合就可以得到instance segmentation的结果呢？显然是不行的。

 为什么不可以呢？或者说需要补全什么才可以得到instance segmentation的结果呢？我们先从每个任务分开来看，

• 检测：已经编码了空间上的相关性，但是缺少精细的定位（即segmentation mask）
• 分割：已经具备了精细的定位，但是缺少空间相关性

解释一下空间上的相关性，它对于检测和instance segmentation都非常重要。空间上的相关性即同一个像素由于处在物体的不同相对位置，它对于不同物体可能语义并不相同，如图中人的框虽然覆盖了部分羊，但是该框并不会分到羊这个类别，而是分到了人，正是由于空间上，羊没并有主导整个框。既然如此，解决方案似乎显而易见了，缺什么补什么就行了。

常用instance segmentation范例

依然沿着以上思路，精细定位比较容易补出来，那么空间相关性如何编码呢？与检测相似，可以采用roi pooling或position sensitive map解决。由于region是不规则的类似one－stage detection的anchor box的方案，就比较难实现了。我们可以开发出几种不同的解决方案：

• segmnetation-first：rank segmentation proposal, cut segmentation map
  • 使用分割结果作为初步结果，进一步加工产生结果
• instance-first
  • 使用bounding box作为初步结果，然后在框内估计region mask
• simutaneously
  • 借助position－sensitive map同时产生instance segmentation和detection的结果

 对于每一个方案，将简要介绍一篇相关论文，加深理解。仅仅是为了阐述明白每一个解决方案，文章不是特别新，大家多包涵了。

Segmnetation-first

Rank Segmentation Proposal: Simultaneous detection and segmentation [2] (2014)

这篇文章解决方案非常直接，对每个segmentation proposal提取特征，对他们进行分类，就可以得到instance segmentation的结果。采用两种特征：1）segmentation proposal bounding box内的特征，2）以上特征mask掉segmentation proposal的背景部分。

Cut Segmentation Map: Instancecut: from edges to instances with multi-cut [9] (2017)

也可借助另外一种方案使用segmentation map：利用边缘图对segmentation map进行分割，分割成不同的物体。[9]使用instance segmentation的标注训练了边缘检测器，注意这里的“边缘”是boundary，而不是edge。然后，使用这个边缘图划分超像素，以超像素为单位对图进行划分和贴标签。这里假设了一个物体一定对应一个联通域（这个假设是有问题的，有时候由于遮挡等问题可能对应多个联通域）。

 

其中，image partition采取非深度学习的方法进行求解，是CRF和multicut的结合。我自己对这部分的理解如下。

输入有三种：

其中，u，v是两个超像素，l，l'是他们的label。

为了给所有超像素选取标签（x_u,l＝1表示超像素u标注为l）采用conditional random field（CRF），这里先假设同标签的超像素之间不存在边缘。

利用已有的数学工具可有效的对最后一个方程式求解。

为了分割属于不同物体但被标为同一类别的像素，采用multicut的方法。

最后一个方程的不等式约束，使得图中所有的cycle只能包含0个或2个以上cutting edge。设想如果没有第二个cutting edge那么一定存在一个cycle可以联通两个区域，即无法形成联通域；如果有2个或以上cutting edge则可以将cycle彻底阶段，只能形成区域内和区域外的循环。 同样，利用已有的数学工具可有效的对方程式求解。

最后，为了同时对上述两个问题求解，只需要优化一个共同的目标，即：

 

Instance-first

这类方法比较多，如著名的mask RCNN就属于这种方法，思路是先进行检测，再对检测框中的内容进行分割。

我选的这篇文章Instance-aware semantic segmentation via multi-task network cascades [11] 年代更早一点，从结构图中，可以清晰的看到先进行类别无关的物体检测（rpn），然后对框内的部分估计一个类别无关的mask，最后对mask进行分类（与[1]方法相似）。

注意在stage3上再加入一个额外的box regression支路，这个结构就可以进行多次叠加。

Simutaneously

这里介绍Fully convolutional instance-aware semantic segmentation [12]，把它分为simutaneously不知道是否合适，不过这个方法确实比较不同。

 

由于物体的部件很难完全重合在一起，那么通过部件位置＋类别就可以区分出不同物体，因而采用inside score map。outside score map是为了同时进行检测和分割任务，outside部分虽然不属于物体，但是对bounding box有贡献，也需要有响应，因而又设置了outside score map并使用pixel－wise max的方式对inside和outside map进行结合，投票出检测结果。

总结

Reference

• Segmentation First
  • Resort segment proposals
    • [1] B. Hariharan, P. Arbela ́ez, R. Girshick, and J. Malik. Simultaneous detection and segmentation. In ECCV. 2014.
    • [2]  B.Hariharan,P.Arbela ́ez,R.Girshick,andJ.Malik.Hyper- columns for object segmentation and fine-grained localization. In CVPR, 2015. 
    • [3] J. Dai, K. He, and J. Sun. Convolutional feature masking for joint object and stuff segmentation. In CVPR, 2015 
  • Learn to propose
    • [4]  P. O. Pinheiro, R. Collobert, and P. Dollar. Learning to segment object candidates. In NIPS, 2015. 
    • [5] P. O. Pinheiro, T.-Y. Lin, R. Collobert, and P. Dolla ́r. Learning to refine object segments. In ECCV, 2016.
    • [6]  J. Dai, K. He, Y. Li, S. Ren, and J. Sun. Instance-sensitive fully convolutional networks. In ECCV, 2016. 
  • Cut semantic segmentation map into instances
    • [7]  A. Arnab and P. H. Torr. Pixelwise instance segmentation with a dynamically instantiated network. In CVPR, 2017.
    • [8]  M. Bai and R. Urtasun. Deep watershed transform for in- stance segmentation. In CVPR, 2017.
    • [9] A. Kirillov, E. Levinkov, B. Andres, B. Savchynskyy, and C. Rother. Instancecut: from edges to instances with multi- cut. In CVPR, 2017. 
    • [10]  S. Liu, J. Jia, S. Fidler, and R. Urtasun. SGN: Sequen- tial grouping networks for instance segmentation. In ICCV, 2017. 
• Instance First
  • [11]  J. Dai, K. He, and J. Sun. Instance-aware semantic segmentation via multi-task network cascades. In CVPR, 2016. 
  • Mask RCNN (2018)
• Simultaneously
  • [12]  Y. Li, H. Qi, J. Dai, X. Ji, and Y. Wei. Fully convolutional instance-aware semantic segmentation. In CVPR, 2017.