自己回帰型言語モデル
自己回帰型言語モデルは、これまでに与えられたトークン列を条件として、次のトークンの確率分布を予測し、選ばれたトークンを文脈に追加しながら文章を生成します。GPT系モデルの基本的な生成方式として知られます。
正解の理由
選択肢1は、これまでのトークン列を条件に次のトークンを順に予測すると述べています。これは自己回帰型生成の中心的な仕組みです。たとえば「今日は天気が」という文脈があると、次に「良い」「悪い」などの候補に確率が割り当てられ、サンプリングや最大確率選択によって次トークンが決まります。
他の選択肢の評価
- 選択肢2は人間が全トークンを手入力して分類だけを行う説明で、生成モデルではありません。
- 選択肢3はテキストを必ず画像に変換するという誤った説明です。LLMは通常、トークン列としてテキストを扱います。
- 選択肢4は辞書順に固定して返す処理であり、確率分布に基づく言語生成ではありません。
頻出ポイント
- 生成は逐次的で、前に生成した内容が後続の生成に影響します。
- Temperature、top-k、top-pなどの設定で多様性や安定性が変わります。
- 自己回帰型は自然な長文生成に強い一方、誤った内容も流暢に続けることがあります。
実務では、長い回答ほど途中の誤りが後続に影響しやすいため、根拠提示、段階的確認、RAGなどで制御することが重要です。
試験対策の確認
生成AI・LLMの論点では、便利さだけでなく、制約とリスクを同時に押さえることが重要です。プロンプト、RAG、ファインチューニング、トークン、コンテキスト、権利・機密情報の各用語は相互に関連します。実務では、モデルの出力をそのまま正解とみなさず、根拠確認、アクセス制御、ログ管理、人間によるレビューを組み合わせて安全に運用します。
追加の確認観点
生成AI・LLMの問題では、技術用語を単独で覚えるより、入力、検索、生成、検証、運用管理の流れに置いて理解することが重要です。トークンやコンテキストは制約、プロンプトは制御、RAGは外部知識の参照、ファインチューニングは振る舞いの調整、ガバナンスは安全な利用のための仕組みです。実務では、出力が自然でも根拠が正しいとは限らず、機密情報や著作権のリスクも残ります。G検定では、便利な応用例と同時に、限界、確認手順、人間のレビューが必要な場面を押さえてください。