OpenMMLab 第六课速通
前言
首先,给出语义分割,目标检测和实例分割的区别。
语义分割就是把图像中每个像素赋予一个类别标签,呈现出来就是不同的类别的像素用不同的颜色进行表示。
目标检测,输出bbox检测框。
实例分割输出是mask。实例分割和语义分割容易混淆,注意语义分割对每一个像素进行分类,但是实例分割不需要,它只用找到感兴趣的物体的边缘轮廓就行了。像下面这张图一样。
再区分一下全景分割,注意全景分割中,类别cls指的是背景,前景专门说stuff实体。
全连接层的卷积化
这可以让网络适应任何尺寸的图片。之前有说过。来自2015年全卷积网络。简单来说,就是FC层的参数向量,原本都是对应不同类别的,现在把它们攒成卷积核(反向量化)。FC变成卷积操作。原本FC结果是一个向量,向量元素对应不同的类别,现在成了1*1*Class数,类别体现到通道上去了。
基于多层级特征的上采样
高层特征经过多次降采样,细节损失严重,低层卷积细节信息丰富但是语义信息贫乏,高层特征图中语义信息丰富但是细节信息贫乏。我们可以结合低层次和高层次的特征图。
利用上采样,结合低层特征图的方法恢复细节信息。
上下文的重要性
感兴趣局域的周围内容可以帮助我们做出更加准确的判断。就和阅读完型填空似的。但是滑动窗口丢失以上下文信息。
如果解决丢失上下文信息的问题呢?我们需要保证感受野够大~
在2016年,PSPNet中,使用了多尺度池化的方法
DeepLab
这是我的毕设呜呜呜好好学 DeepLab是语义分割的一系列工作,主要贡献有
- 使用空洞卷积解决网络的下采样问题
- 使用条件随机场CRF作为后处理手段,精细化分割图
- 使用多尺度空洞卷积ASPP模块,捕捉上下文信息 2014 v1 2016 v2 2017 v3 2018 v3+
空洞卷积(取代下采样)
下采样+标准卷积 等价于 空洞卷积;不需要额外的插值操作。
条件随机场
一种后处理手法。crf是一个概率模型。
空间金字塔 ASPP
这是一种仿照PSPNet的手法,只不过不是不同尺度的标准卷积,而是不同尺度的膨胀卷积。
融入decoder思想
就是抽了一层低层卷积的细节信息,融合了而已。