短時間のデータしか処理できないRNNを解決したのがLSTM(Long Short-Term Memory)

LSTM は、 記憶 を 保持 できる LSTM ブロック を 隠れ 層 に し た もの です。

LSTM ブロック の 内部 構造 は、 記憶 セル・入力 ゲート( input gate)・入力 判断 ゲート( input modulation gate)・忘却 セル( forget gate)・出力 ゲート( output gate) で 構成 さ れ て い ます。   入力 4 箇所 には、 図 に 示す よう に 入力 データ と 再帰 データ が 各々 入り ます。 入力 ゲート には 必要 な 誤差 だけ 伝播 さ せる 機能、 出力 ゲート は 他 からの 無関係 な 出力 を 防ぐ 機能 が あり ます。 忘却 ゲート は、 記憶 セル の 内容 を 初期化 する 機能 です。   この 構造 により、 ネットワーク 全体 の アーキテクチャ とは 独立 し て、 記憶 ユニット に 読み書き、 保持、 リセット が 可能 となり、 長期 記憶 を 保持 できる よう なり まし た。 現在 LSTM は、 音声認識 だけで なく 動画 の キャプション 付け や 機械翻訳 まで 利用 さ れる よう に なっ て い ます。

blog