Transformer: Self-Attentionスコアの役割

問題:

TransformerのSelf-Attention機構において、QueryベクトルとKeyベクトルの内積（またはScaled Dot-Product）によって計算されるアテンションスコアの主な役割は何ですか？

選択肢:

• 各単語の意味を個別に表現する。
• シーケンス内の単語間の関連性の強さ（注意を向ける度合い）を示す。
• 計算グラフの勾配を計算する。
• 次の単語を予測するための最終的な確率分布。