LSTMは長期依存のためのゲート付きRNN
正解
ゲートによって情報の保持と忘却を制御し、長い系列での勾配消失を緩和する。
正解になる理由
単純なRNNは時刻を経るほど勾配が消えやすく、遠い過去を学習しにくいです。LSTMは入力・忘却・出力ゲートでセル状態を更新し、必要な情報を長く流します。GRUはそれを簡略化した親戚です。Transformerは別系統で並列化に強いですが、LSTMの導入理由は「RNNの長期依存」です。
各誤答がなぜ誤りか
- 選択肢2: それはCNN寄りの説明で、LSTMの目的ではありません。
- 選択肢1: 隠れ状態を引き継ぐのがRNN/LSTMの前提です。
- 選択肢4: 位置符号化が不要になるわけではなく、LSTMの導入理由でもありません。