Transformer: Attentionスコアのスケーリング理由

問題:

TransformerのSelf-Attention機構で用いられるScaled Dot-Product Attentionでは、QueryベクトルとKeyベクトルの内積を \(\sqrt{d_k}\) (\(d_k\)はキーベクトルの次元数) で割るスケーリングを行います。このスケーリングを行う主な理由として、最も適切なものを選択してください。

選択肢:

• 計算結果を次元数に依存しないようにするため。
• 内積の値が大きくなりすぎることによる、後続のSoftmax関数での勾配消失を防ぎ、学習を安定化させるため。
• Attentionの計算に必要なメモリ量を削減するため。
• QueryベクトルとKeyベクトルの次元数を揃えるため。