>>93
セル状態(上の横線)と隠れ状態(下の横線)に分かれているのがLSTM、
それをマージしたのがGRUだ。

LSTMの図
http://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-chain.png
GRUの図
http://colah.github.io/posts/2015-08-Understanding-LSTMs/img/LSTM3-var-GRU.png

LSTMネットワークの概要
http://qiita.com/KojiOhki/items/89cd7b69a8a6239d67ca
>LSTMのバリエーション
>　LSTMのもう少し劇的なバリエーションは、 Cho, et al. (2014) により導入された、
>　Gated Recurrent Unit 、あるいはGRUです。
>　これは忘却ゲートと入力ゲートを単一の「更新ゲート」に組み合わせます。
>　また、セル状態と隠れ状態をマージし、他のいくつかの変更を加えます。

わかるLSTM 〜 最近の動向と共に
http://qiita.com/t_Signull/items/21b82be280b46f467d1b
>終章：LSTMを超えて
>　GRUの構造は以下の通りです。ゲート数が3つから2つに減って、Update GateとReset Gateの
>　2つのゲートによってメモリセルの中身の維持・出力を制御しています。
>　GRUは機械翻訳のタスクにおいて、LSTMと遜色のない性能を出したことが報告されています。