LSTM は、 記憶 を 保持 できる LSTM ブロック を 隠れ 層 に し た もの です。
LSTM ブロック の 内部 構造 は、 記憶 セル・入力 ゲート（ input gate）・入力 判断 ゲート（ input modulation gate）・忘却 セル（ forget gate）・出力 ゲート（ output gate） で 構成 さ れ て い ます。 入力 4 箇所 には、 図 に 示す よう に 入力 データ と 再帰 データ が 各々 入り ます。 入力 ゲート には 必要 な 誤差 だけ 伝播 さ せる 機能、 出力 ゲート は 他 からの 無関係 な 出力 を 防ぐ 機能 が あり ます。 忘却 ゲート は、 記憶 セル の 内容 を 初期化 する 機能 です。 この 構造 により、 ネットワーク 全体 の アーキテクチャ とは 独立 し て、 記憶 ユニット に 読み書き、 保持、 リセット が 可能 となり、 長期 記憶 を 保持 できる よう なり まし た。 現在 LSTM は、 音声認識 だけで なく 動画 の キャプション 付け や 機械翻訳 まで 利用 さ れる よう に なっ て い ます。
コメント