OpenMMLab 第六课速通

前言

首先，给出语义分割，目标检测和实例分割的区别。 语义分割就是把图像中每个像素赋予一个类别标签，呈现出来就是不同的类别的像素用不同的颜色进行表示。 目标检测，输出bbox检测框。 实例分割输出是mask。实例分割和语义分割容易混淆，注意语义分割对每一个像素进行分类，但是实例分割不需要，它只用找到感兴趣的物体的边缘轮廓就行了。像下面这张图一样。

再区分一下全景分割，注意全景分割中，类别cls指的是背景，前景专门说stuff实体。

全连接层的卷积化

这可以让网络适应任何尺寸的图片。之前有说过。来自2015年全卷积网络。简单来说，就是FC层的参数向量，原本都是对应不同类别的，现在把它们攒成卷积核（反向量化）。FC变成卷积操作。原本FC结果是一个向量，向量元素对应不同的类别，现在成了1*1*Class数，类别体现到通道上去了。

基于多层级特征的上采样

高层特征经过多次降采样，细节损失严重，低层卷积细节信息丰富但是语义信息贫乏，高层特征图中语义信息丰富但是细节信息贫乏。我们可以结合低层次和高层次的特征图。 利用上采样，结合低层特征图的方法恢复细节信息。

上下文的重要性

感兴趣局域的周围内容可以帮助我们做出更加准确的判断。就和阅读完型填空似的。但是滑动窗口丢失以上下文信息。 如果解决丢失上下文信息的问题呢？我们需要保证感受野够大~ 在2016年，PSPNet中，使用了多尺度池化的方法

DeepLab

这是我的毕设呜呜呜好好学 DeepLab是语义分割的一系列工作，主要贡献有

• 使用空洞卷积解决网络的下采样问题
• 使用条件随机场CRF作为后处理手段，精细化分割图
• 使用多尺度空洞卷积ASPP模块，捕捉上下文信息 2014 v1 2016 v2 2017 v3 2018 v3+

空洞卷积（取代下采样）

下采样+标准卷积 等价于 空洞卷积；不需要额外的插值操作。

条件随机场

一种后处理手法。crf是一个概率模型。

空间金字塔 ASPP

这是一种仿照PSPNet的手法，只不过不是不同尺度的标准卷积，而是不同尺度的膨胀卷积。

融入decoder思想

就是抽了一层低层卷积的细节信息，融合了而已。

评估