RNN知识点整理

Naive RNN

原生 RNN 单元对输入的数据进行简单的线性变换与激活。

对第 t 个时间的单元有：

• 2 个输入： 、
• 2 个输出： 、

计算过程

优缺点

优点：计算过程简单

缺点：简单地使用加法进行状态的叠加，存在长期依赖问题

长期依赖问题

对于比较长的数据序列，第 项的输出依赖于前 项，这意味着对第 项：

• 反向传播时，其相关的参数会累积前 次的梯度，容易导致梯度爆炸或梯度消失。

LSTM

通过使用门控机制（Gate mechanism）对原生 RNN 进行了改进，提高了学习能力。

每对第 个时间的单元有：

• 3 个输入 、 、
• 3 个输出 、、

计算过程

1. 首先，通过向量连接、线性变换和激活，计算基于输入特征 和上一步hidden state 的门控（gate）与候选状态（candidate state）：

   

   其中：

   • 门控使用sigmoid作为激活函数，用于将值域限制在 之间使得其更好地发挥门控的选择作用。

2. 然后，通过门控机制、线性变换和激活，计算当前时间步的hidden state 、cell state 以及 输出 ：

   

   其中：

   • 遗忘门 和输入门 分别控制了从上一个时间步的cell state 以及当前时间步的候选状态 分别保留的多少特征，得到 ；
   • 输出门 控制如何从cell state 得到hidden state ，并使用 进行非线性的激活（缩放）；
   • 最后通过线性变换得到当前时间步的输出 。

优缺点

优点：通过 与 连接并计算所得到的门控，丰富了当相邻时间步之间状态关联与传递的方式，门控机制所使用的不是简单的线性变换再相加，从而解决了 Naive RNN 所面临的长期依赖问题，提高了针对序列数据的学习能力。

References

• paper: Long Short-Term Memory
• 人人都能看懂的LSTM - 知乎专栏

GRU

进一步优化了 LSTM 中的门控和状态计算，拥有相似的计算效果以及更小的计算开销。

第 个时间步的输入输出分别为：

• 2 个输入： 、
• 1 个输出：

计算过程

1. 首先，计算 重置门 、更新门 ：

   

   其中：

   • 相比于 LSTM，GRU 只需要计算两个门控

2. 然后，使用门控进行计算：

   

   其中：

   • 先通过线性变换、重置门 和 激活，“重置”从上一个时间步传递过来的隐藏状态，得到候选状态 ；
   • 再通过更新门 同时控制“遗忘”和“记忆”得到 。

优缺点

优点：相比于 LSTM 少计算一个门控和状态，有着更小的计算开销以及与 LSTM 类似的性能。

References

• 人人都能看懂的GRU - 知乎专栏
• RNN、LSTM、GRU基础原理篇 - 知乎专栏

其他 RNN 变体

略

总结

• Naive RNN 存在梯度问题，在序列较长时容易导致梯度消失和梯度爆炸；
• 门控机制的引入提高了 RNN 模型的学习能力，降低了内部的长期依赖从而避免了梯度问题。