青の統計学-DS Playground-

生成AI・LLM編

基盤モデル、LLM、Transformer、プロンプト、RAG、生成AIのリスクに関するG検定対策問題

LLMのトークン レベル1

LLMにおけるトークンの説明として最も適切なものを選びなさい。

解説

LLMにおけるトークン

正解

モデルが処理するテキストの単位で、単語・文字・サブワードなどに分割される。

正解になる理由

トークンはLLMがテキストを切る基本単位です。課金、コンテキスト長、切り方による意味のずれ(トークナイザ)の基準になります。文字数と1対1ではありません。

各誤答がなぜ誤りか

  • 選択肢1: コンテキストウィンドウは「一度に扱えるトークン数の上限」であり、トークンそのものではありません。
  • 選択肢2: 学習率は最適化のパラメータです。
  • 選択肢3: 埋め込み次元はトークンをベクトル化した後の幅で、トークン数とは別です。
問題 3/20
カテゴリ一覧に戻る
問題検索