青の統計学-DS Playground-
学習を始める
便利ツール
各種リンク
基盤モデル、LLM、Transformer、プロンプト、RAG、生成AIのリスクに関するG検定対策問題
LLMにおけるトークンの説明として最も適切なものを選びなさい。
正解
モデルが処理するテキストの単位で、単語・文字・サブワードなどに分割される。
正解になる理由
トークンはLLMがテキストを切る基本単位です。課金、コンテキスト長、切り方による意味のずれ(トークナイザ)の基準になります。文字数と1対1ではありません。
各誤答がなぜ誤りか