通俗的来说,tanh作为激活函数将信息压缩在-1~1的信号之间,sigmoid函数取值范围0~1之间,可以作为控制输入的百分比,所以两个相乘就组成了输入门input gate;同理,根据当前时间步的输入来决定之前的记忆保留多少,也用sigmoid函数,这就是遗忘门forget gate。
1 1

相关推荐

牛客网
牛客网在线编程
牛客网题解
牛客企业服务