【八股文-机器学习】如何计算网络计算量/参数量

参数量

1. 卷积层
   
   最后一项为bias，和输出纬度等长。

2. 全连接层
   
   同样最后一项是偏置项。

3. BN层
   
   两个可学习参数，一个缩放因子，一个平移因子。

计算量

1. 卷积计算量
   假设输入特征图是 ,卷积核大小是 , 步长为S，输出大小为

• 一次卷积的内部计算量
  乘法 ,加法 ，总计 , 如果要考虑bias则还要加一次加法运算。
• 一个特征图上需要卷积的次数
  假设两个方向上padding的长度为 ，则需要卷积的次数是
• C个特征图输出一个特征图需要的加法次数（指通道之间的加法，在上一步之后进行）
  

所以总体计算量为：

注意一点，参与大部分运算的通道参数是输入通道，因为输出通道每一纬都是输入通道的加和，这个累加次数是等于 。 可以看成卷积核数量为,每个卷积核输出1层。

2. 全连接层计算量
   假设输入输出长度分别为 。

• 首先对输入做处理，需要执行 次乘法和 次加法，如果有bias则额外需要执行一次加法，总计 次
• 然后因为输出长度，总共就需要

全连接层可以看做 的卷积核，对于他们来说，一个特征层就只有一个数，所以代入卷积的计算公式