深度学习应用在图像分割上的网络模型概述

深度学习在图像分割上的模型概述

在这里主要介绍一下，深度学习在图像分割方面的一些主要模型。

摘要

图像分割是图像处理和计算机视觉的领域的一个重要课题，其应用主要包括场景理解，医学图像分割，机器人感知，视频监控，增强现实和图像压缩等。这篇文章主要主要回顾了基于深度学习模型的图像分割方法。

图像分割主要包括三种：1，语义分割：简单来说就是对图像中的像素点进行分类。就是把图像中每个像素赋予一个类别标签（比如汽车、建筑、地面、天空等），比如下图就把图像分为了草地（浅绿）、人（红色）、树木（深绿）、天空（蓝色）等标签，用不同的颜色来表示。

2. 实例分割。不需要对每个像素进行标记，它只需要找到感兴趣物体的边缘轮廓就行，比如下图中的人就是感兴趣的物体。该图的分割方法采用了一种称为Mask R-CNN的方法。我们可以看到每个人都是不同的颜色的轮廓，因此我们可以区分出单个个体。

3. 全景分割。它是语义分割和实例分割的结合。如下图所示，每个像素都被分为一类，如果一种类别里有多个实例，会用不同的颜色进行区分，我们可以知道哪个像素属于哪个类中的哪个实例。比如下图中黄色和红色都属于人这一个类别里，但是分别属于不同的实例（人），因此我们可以通过mask的颜色很容易分辨出不同的实例。

模型概述

1.Fully Convolutional Networks

FCN 全卷积神经网络，图像分割的开山之作。

论文地址：/abs/1411.4038

2 Convolutional Models With Graphical Models

一种联合训练CNN和完全连接的CRF进行语义图像分割的方法，并在具有挑战性的PASCAL VOC 数据集上取得了令人鼓舞的结果

3 Encoder-Decoder Based Models

目前使用最多的网络模型，大多数的网络模型都是在此基础上改动。比较典型的又Segnet,u_net。

论文地址 /abs/1505.04597

4 Multi-Scale and Pyramid Network Based Models

带有金字塔池化的网络结构，融合了不同尺度的特征。

5 R-CNN Based Models (for Instance Segmentation)

R-CNN 系列的网络，主要用于实例分割。其中表现较好的是Mask-RCNN,如上图所示。

6 Dilated Convolutional Models and DeepLab Family

空洞卷积用于扩大感受野。这个是当前网络改进的一个方法。

DeepLab系列网络，是第一次空洞卷积用在了卷积网络中，并且得到了一个较高的准确率。其中目前表现最好的是deeplabv3,网络结构上图所示。

论文链接 /abs/1706.05587

7 Recurrent Neural Network Based Models

循环卷积神经网路RNN，还有长短时记忆网络LSTM，这都是为处理具有时间的性质的图像开发的网络结构，比如视频，超声。

8 Attention-Based Models

目前网络的一个改进点就是使用注意力模块，这种注意力模块有很多种，主要就去提升特征学习的能力，提升分割精度。

这里有各种注意力的介绍和代码 /xmu-xiaoma666/External-Attention-pytorch

9 Generative Models and Adversarial Training

生成对抗模型

总结

目前大多数图像分割网络模型，大多数是基于上面的的改进或者不变的。目前基于Treansformer 的模型表现也很好，在这里就不过过介绍，想要详细的了解，可以去看具体的论文。在这里只是做一个概述，让我们知道有哪些具体的模型。