トークン

LLMは、文章をそのまま読むのではなく、トークンという小さな単位に分けて処理します。英語ではおおむね単語や単語の一部が一つのトークンになります。日本語では、文字や語の区切りとトークンの区切りが一致しないこともあります。分け方は、モデルごとに異なります。

生成AIのサービスでは、料金や、一度に読み書きできる文章の量の上限（コンテキストウィンドウ）が、トークンの数で決まっていることが多くあります。業務で大量の文書を処理する場合は、トークンの数から費用を見積もります。

同じ内容でも、言語や書き方、モデルによってトークンの数が変わります。費用を抑えるには、不要な文章を入力に含めない、RAGで関係する部分だけを渡す、といった工夫が役に立ちます。長い会話を続けると、前のやり取りも毎回トークンとして数えられることがあります。