1 首先介绍一下one-hot编码:) 举个栗子， “he is a sunshine boy", 我们想把这句话中的每一个单词都用向量表示，一共5个单词，我们就用5-dim的向量来表示。 he => (1,0,0,0,0) is =>(0,1,0,0,0) … boy =>(0,0,0,0,1) 像这样，对应的维度为1，其余的维度都为0，这种表示方式就是one-hot了。 2 Skip-Gram模型 我们可以看到，one-hot仅仅能用来表示一个单词，不能表示单词之间的关系；这里的Skip-Gram模型的最终目的是为每一个单词建立一个d-dim的词向量，词向...

https://www.cnblogs.com/xin1998/

引言   对于小目标通常需要用到多尺度检测，作者提出的FPN是一种快速且效果好的多尺度检测方法。 方法      a,b,c是之前的方法，其中a,c用到了多尺度检测的思想，但他们都存在明显的缺点。   a方法：把每图片都进行缩放，在进行检测，这种做法最大的问题是太慢，因为要多花好几倍的时间；   c方法：其实就是SSD论文中用到的方法，feature map一层层下采样，然后对不同scale的feature map之间进行预测，这种做法最大的缺点就是底层feature map分辨率高但是语义信息弱，分类不准；   而作者在论文中提出的新方法——FPN（特征金字塔网络），速度跟c一...

引言   这篇论文深刻分析了one-stage的模型精度比two-stage更差的原因，并提出Focal Loss提高精度。 思路   在论文中，作者指出，造成one-stage模型精度差的原因主要是：正负样本极不平衡。一张图片只有那么几个目标，但是用来分类的Anchor Box却能达到几千个，大量的样本都是负样本，而且大多数负样本都是容易分类的简单样本，这些简单样本的loss虽然低但是凭借着数量众多，能对loss有很大的贡献。因此分类器只用无脑判负也能达到不错的效果。   作者提出的Focal Loss能很好减少简单样本对梯度的影响。   相比于传统的CE(Pt)=-log(P...

目的   让Faster R-CNN能做实例分割的任务。 方法   模型的结构图如下。      与Faster R-CNN相比，主要有两点变化。   (1) 用RoI Align替代RoI Pool。   首先回顾一下RoI Pool，流程为：将RPN产生的原图侯选框映射到CNNs输出的feature map上，显然原图比feature map大，所以映射后的像素坐标可能会有小数，这里的做法是用近邻插值法，通俗讲，坐标四舍五入。   而这种做法肯定会带来一些空间位置上的小误差，而我们后面的实例分割是逐像素的，接受不了这种误差，因此采用RoI Align，用双线性插值法替代近邻...

背景   SSD算法在检测小目标时精度并不高，本文是在在SSD的基础上做出一些改进，引入卷积层，能综合上下文信息，提高模型性能。 理解      Q1：DSSD和SSD的区别有哪些？   (1)SSD是一层一层下采样，然后分别在这些feature map上进行预测；而DSSD则是在后面加入了很多的Deconvolution Module，通过逆卷积算法feature map上采样，然后与前面的feature map通过点积产生新的feature map，包含上下文的信息。   (2)除了逆卷积操作，DSSD还引入了新的Prediction Module，如下图，可以看到主要使用...

背景   基于ResNet 101的Faster RCNN速度很慢，本文通过提出Position-sensitive score maps(位置敏感分值图)来给模型加速。 方法   首先分析一下，为什么基于ResNet 101的Faster R-CNN很慢？   其实主要的原因是ROI Pooling层后面的Conv5无法共享计算，每一个RoI都要计算一次，一次检测RoI可能有几百个，计算量巨大。   我们已经知道Conv层的作用是提取特征，那为什么不跟把Conv5放到RoI Pooling前面，让RoI映射到Conv5输出的feature map呢？   这是因为Conv5会...

背景   要在YOLO v2上作出改进。 方法   (1)分类器改变。从softmax loss改变为logistic loss，作用是处理符合标签，softmax loss只能用来预测只有一种类别的目标，logistic loss可以是多种类别。   (2)引入多级预测机制。在三种尺度的特征图上做detection。   (3)模仿了ResNet里residual block 的short cut，模型采用Darknet-53。 总结   没创新，效果好。

背景   YOLO v1检测效果不好，且无法应用于检测密集物体。 方法   YOLO v2是在YOLO v1的基础上，做出如下改进。   (1)引入很火的Batch Normalization，提高mAP和训练速度；   (2)加入了Anchor Box机制，每个grid cell5个Anchor Box；   (3)自动选择Anchor Box，这是作者所作出的创新，之前Anchor Box都是人为直接规定的，显然不是很合理。作者通过K-means聚类算法，用IoU作为距离度量，生成了Anchor Box的尺度。   (4)引入Multi-Scale的思想，YOLO v2去掉了...

背景   R-CNN系列算法检测速度不够快，YOLO v1检测准确率较低，而且无法检测到密集目标。 方法   SSD算法跟YOLO类似，都属于one stage的算法，即通过回归算法直接从原图得到预测结果，为了解决YOLO v1检测效果一般的问题，SSD提出了多尺度检测的方法以及在不同尺度上特征点的default box。   1.多尺度检测模型     如图所示是SSD模型跟YOLO模型的对比，我们可以看到最主要的区别是：   YOLO是在Conv层后面加上两个FC层，得到7*7*30的tensor用来回归预测；而SSD是添加金字塔式的Conv层，在不同Scale的feat...

背景   之前热门的目标检测方法都是two stage的，即分为region proposal和classification两个阶段，本文是对one stage方法的初次探索。 方法        首先看一下模型的网络结构，输入的原图片，经过24个卷积层提取特征，全连接层输出一个7*7*30的tensor，这个tensor里面就包含我们预测的结果了。   那么这个7*7*30的tensor包含哪些信息呢？   首先，7*7可以映射到448*448的原图片中，得到7*7个64*64的grid cell，对于原图中的每一个目标，中心点落在哪个grid cell里，就交给它来预测。  ...

背景   Fast R-CNN中的region proposal阶段所采用的SS算法成为了检测网络的速度瓶颈，本文是在Fast R-CNN基础上采用RPN(Region Proposal Networks)代替SS。 方法      从图中我们可以看到，RPN的输入为最后一个Conv层输出的feature map，输出为一系列ROI，后面的过程就跟Fast R-CNN一样了。   所以在这里我们只需要了解RPN是如何工作的。       论文里有这样一张图，讲解了RPN的过程(注意后面的k不是千，而是代表每个特征点要预测的anchors个数)。但我觉得可能很多人看到这张图都难以理...

背景   deep ConvNet兴起，VGG16应用在图像分类任务上表现良好，本文用VGG16来解决检测任务。SPP NET存在CNN层不能fine tuning的缺点，且之前的方法训练都是分为多个阶段，特征提取+SVM分类+边框回归，这些问题在Fast R-CNN上都得到了解决。 方法   网络模型采用VGG16结构,跟SPP NET相比有如下改进。   ROI pooling   将最后的max pooling层换成RoI pooling层，可以认为是SPP NET的特殊情况，只有一层金字塔，feature map被分为H*W个bin，作max pooling。   bbox...

背景   用ConvNet方法解决图像分类、检测问题成为热潮，但这些方法都需要先把图片resize到固定的w*h，再丢进网络里，图片经过resize可能会丢失一些信息。论文作者发明了SPP pooling(空间金字塔池化)层，让网络可以接受任意size的输入。并且用在目标检测任务上，可以只计算一次整图的feature map，再找到region proposal的feature map在原图上的映射，最后进行SPP pooling。 方法   (1)首先思考一个问题，为什么ConvNet需要一个固定size的图片作为输入，我们知道，Conv层只需要channel固定(彩色图片3，灰度图1...