一、概念

相比LSTM,使用GRU能够达到相当的效果,并且相比之下更容易进行训练,能够很大程度上提高训练效率,因此很多时候会更倾向于使用GRU。

二、结构

1.与传统RNN的对比

GRU的输入输出结构与普通的RNN是一样的。
在这里插入图片描述

2.内部结构

2.1门控

在这里插入图片描述

2.2结构

在这里插入图片描述

  1. $h^{t-1'}=h^{t-1} * r$
  2. $h' = tanh(W * [x^{t},h^{t-1'}]^ T)$
  3. $h^t = (1 - z) * h^{t - 1} + z * h'$ 其中(z~[0, 1])
    GRU很聪明的一点就在于,我们使用了同一个门控 [公式] 就同时可以进行遗忘和选择记忆(LSTM则要使用多个门控)。

三、总结

与LSTM相比,GRU内部少了一个”门控“,参数比LSTM少,但是却也能够达到与LSTM相当的功能。

参考:https://zhuanlan.zhihu.com/p/32481747

Last modification:February 4th, 2021 at 03:56 pm
如果觉得我的文章对你有用,请随意赞赏