首页 > 试题广场 >

LSTM的遗忘门使用的是什么激活函数()

[单选题]

LSTM的遗忘门使用的是什么激活函数()

  • Sigmoid
  • tanh
  • ReLU
LSTM中输入门,输出门,遗忘门都是用sigmoid作为激活函数,生成候选记忆时使用tanh
发表于 2020-07-08 00:29:03 回复(0)

选A

gate 实际上就是一层全连接层,输入是一个向量,输出是一个 0到1 之间的实数向量

sigmod函数能够将数据压缩到0-1,符合要求

发表于 2020-03-06 09:34:31 回复(0)
<p>LSTM三个门</p><p>遗忘门:sigmoid激活</p><p>输入门:tanh激活</p><p>输出门:tanh激活</p>
发表于 2020-06-01 03:53:16 回复(0)
sigmoid 遗忘输入输出
tanh 新的增量 
f*原始细胞+i*增量 新细胞 
o*tanh(新细胞) 输出量
编辑于 2020-04-16 19:12:06 回复(0)
Sigmoid的输出在0-1之间,当输入较大或较小时,其输出会非常接近1或0,从而保证该门开或关,符合门控物理定义
发表于 2021-06-30 14:42:34 回复(0)