LLMにおけるトークン
正解
モデルが処理するテキストの単位で、単語・文字・サブワードなどに分割される。
正解になる理由
トークンはLLMがテキストを切る基本単位です。課金、コンテキスト長、切り方による意味のずれ（トークナイザ）の基準になります。文字数と1対1ではありません。
各誤答がなぜ誤りか
- 選択肢1: コンテキストウィンドウは「一度に扱えるトークン数の上限」であり、トークンそのものではありません。
- 選択肢2: 学習率は最適化のパラメータです。
- 選択肢3: 埋め込み次元はトークンをベクトル化した後の幅で、トークン数とは別です。