TransformerにおけるAttention
正解
入力中の各トークンが、他のどのトークンを重視するかを計算する。
正解になる理由
Self-AttentionはQuery・Key・Valueでトークン間の関連度を計算し、重要な文脈に重みを付けます。長距離依存を並列に扱いやすいのが特徴です。
各誤答がなぜ誤りか
- 選択肢1: 出典保証はAttentionの機能ではありません。
- 選択肢2: カーネルサイズの話はCNNです。
- 選択肢4: 語順は位置符号化などで別途与えるのが一般的で、Attentionが語順を捨てるわけではありません。