TransformerにおけるAttention
Attentionは、あるトークンの表現を作る際に、入力中の他のトークンをどの程度重視するかを計算する仕組みです。TransformerではSelf-Attentionにより、系列内の各トークン同士の関係性を並列に捉えます。これにより、離れた位置にある単語間の依存関係も扱いやすくなります。
正解の理由
選択肢1は、入力中の各トークンが他のどのトークンを重視するかを計算すると説明しています。これはAttentionの役割そのものです。Query、Key、Valueを用いて関連度を計算し、Softmaxで重みに変換し、その重みに基づいてValueを加重平均する流れを押さえましょう。
他の選択肢の評価
- 選択肢2はモデルのパラメータ削除であり、Attentionの説明ではありません。
- 選択肢3は画像の色数変換の説明です。Transformerは画像にも応用されますが、Attention自体は2色化処理ではありません。
- 選択肢4は訓練データの出典保証に関する説明です。Attentionは出典や権利を自動保証する仕組みではありません。
G検定向け整理
- Query: 何を探すかを表す問い合わせ。
- Key: 照合される目印。
- Value: 重みに応じて取り出される情報。
- Self-Attention: 同じ系列内でQ、K、Vを作る。
実務上、Attentionは長距離依存の把握に役立ちますが、計算量は系列長に強く影響されます。長文処理ではチャンク分割や検索との組み合わせが重要になります。
試験対策の確認
生成AI・LLMの論点では、便利さだけでなく、制約とリスクを同時に押さえることが重要です。プロンプト、RAG、ファインチューニング、トークン、コンテキスト、権利・機密情報の各用語は相互に関連します。実務では、モデルの出力をそのまま正解とみなさず、根拠確認、アクセス制御、ログ管理、人間によるレビューを組み合わせて安全に運用します。
追加の確認観点
生成AI・LLMの問題では、技術用語を単独で覚えるより、入力、検索、生成、検証、運用管理の流れに置いて理解することが重要です。トークンやコンテキストは制約、プロンプトは制御、RAGは外部知識の参照、ファインチューニングは振る舞いの調整、ガバナンスは安全な利用のための仕組みです。実務では、出力が自然でも根拠が正しいとは限らず、機密情報や著作権のリスクも残ります。G検定では、便利な応用例と同時に、限界、確認手順、人間のレビューが必要な場面を押さえてください。