（请从”图像处理“和”模式识别“选择一个方向回答，然后从这个

[问答题]

（请从”图像处理“和”模式识别“选择一个方向回答）

（本题为模式识别方向）介绍主流深度学习模型的演化过程，以及每次演化的创新点和优势所在

dut_zxy

2012 AlexNet

（1）与最早的卷积神经网络LeNet相比，AlexNet的层数更深，共有7层，并且使用ReLU作为非线性激活函数

（2）使用dropout对抗过拟合

（3）使用max-pooling下采样

2014 VGG

（1）与AlexNet相比，VGG的层数更深，最高达到19层，可以增强网络的非线性表达能力

（2）与AlexNet相比，VGG使用更小的卷积核。VGG大量使用3×3的卷积，将多个3×3卷积排列起来形成一个卷积序列，该卷积序列与大卷积核具有相同的感受野，并具有更少的参数

2014 GoogLeNet

GoogLeNet有很多版本，包括Inception v1，v2，v3等，后者大多是对v1的改进

Inception v1

（1）Inception v1采用模块化的结构，每一模块以上一模块的输出作为输入。对输入分别进行1×1、3×3、5×5的卷积以及 3×3的max pooling后，将四路分支通过并联（Concat）融合起来。并且在3×3和5×5的卷积之前，先进行1×1的卷积进行降维，以减少计算复杂度，去除特征冗余，并且3×3max pooling后也进行1×1卷积，以提升网络非线性表达能力。

（2）Inception v1使用多种大小的卷积核，意味着多种不同大小的感受野，最后的拼接意味着多尺度特征的融合，从而提高网络表达能力。

（3）未来防止梯度消失，Inception v1除了在网络最后使用softmax之外，还在中间层使用额外的两个辅助softmax反传梯度

（4）网络的最后使用全局平均池化代替全连接，减少了参数数量

Inception v2：

（1）在v1的基础上增加了Batch Normalization

（2）使用两个3×3卷积代替5×5卷积

Inception v3：

（1）把n×n卷积分解为一个1×n卷积核一个n×1卷积，进一步缩减参数量

（2）输入图像大小由224×224放大至299×299

2015 ResNet

（1）ResNet的最大特点是网络层数大大加深，由前面的十几层可以加深至50层（ResNet-50）101层（Reset-101）甚至上千层

（2）ResNet提出residual结构，使用跳层连接对抗过拟合，residual结构进行特征汇聚时使用相加操作（Eltwise-sum）

（3）ResNet也使用1×1卷积进行降维，使用全局平均池化代替全连接，减小参数量和计算复杂度

2016 DenseNet

（1）DenseNet使用模块化结构，网络可以分为多个denseblock，denseblock之间使用transition layer相连，transition layer对dense block的输出进行处理，防止网络过于庞大

（2）denseblock内，每层都以前面所有层的输出作为输出，以防止梯度消失，加强特征传递，更有效地利用特征

（3）DenseNet与ResNet相比，二者在特征融合时存在不同，DenseNet使用Concat操作，ResNet使用Eltwise操作

发表于 2018-08-14 09:07:10 回复(0)

提交观点

问题信息

网易算法工程师 2018

上传者：小小

难度：

1条回答 17收藏 887浏览

（请从”图像处理“和”模式识别“选择一个方向回答，然后从这个

问题信息

热门推荐

相关试题