---
title: "トークンとは｜用語集｜アメリア・テクノロジー株式会社"
url: https://www.ameliatechnology.co.jp/glossary/token/
description: "トークンとは、LLMが文章を扱うときの単位で、文章を単語や文字の一部などに分けたものです。LLMは、文章をそのまま読むのではなく、トークンという小さな単位に分けて処理します。"
updated: 2026-11-14
publisher: "アメリア・テクノロジー株式会社"
---
# トークン

[生成AI・LLM](https://www.ameliatechnology.co.jp/glossary/?c=genai)

最終更新日：2026年11月14日

**トークンとは、**LLMが文章を扱うときの単位で、文章を単語や文字の一部などに分けたものです。

LLMは、文章をそのまま読むのではなく、トークンという小さな単位に分けて処理します。英語ではおおむね単語や単語の一部が一つのトークンになります。日本語では、文字や語の区切りとトークンの区切りが一致しないこともあります。分け方は、モデルごとに異なります。

生成AIのサービスでは、料金や、一度に読み書きできる文章の量の上限（コンテキストウィンドウ）が、トークンの数で決まっていることが多くあります。業務で大量の文書を処理する場合は、トークンの数から費用を見積もります。

同じ内容でも、言語や書き方、モデルによってトークンの数が変わります。費用を抑えるには、不要な文章を入力に含めない、RAGで関係する部分だけを渡す、といった工夫が役に立ちます。長い会話を続けると、前のやり取りも毎回トークンとして数えられることがあります。

## 関連する用語

- [LLM（大規模言語モデル）大量の文章を学び、次に来る言葉を予測することで文章を作るAIのモデルです。](https://www.ameliatechnology.co.jp/glossary/llm/)
- [コンテキストウィンドウLLMが一度のやり取りで読み込み、扱える文章の量の上限です。](https://www.ameliatechnology.co.jp/glossary/context-window/)
- [RAG（検索拡張生成）生成AIが答える前に、社内の文書などから関係する情報を探し、その情報をもとに答えを作らせる仕組みです。](https://www.ameliatechnology.co.jp/glossary/rag/)
- [ハルシネーション生成AIが事実と異なる内容を、正しいことのように答えてしまう現象です。](https://www.ameliatechnology.co.jp/glossary/hallucination/)
- [ファインチューニングすでに学習を終えたモデルに、特定の用途のデータを追加で学ばせ、性質を調整することです。](https://www.ameliatechnology.co.jp/glossary/fine-tuning/)
- [プロンプト人が生成AIに与える指示や質問の文章です。](https://www.ameliatechnology.co.jp/glossary/prompt/)

## この用語が出てくるコラム

- [アクセスキーの漏えいを防ぐ。キーを使わない設計](https://www.ameliatechnology.co.jp/blog/access-key-leak-prevention/)
- [つくったAIを直し続ける運用（LLMOps）の進め方](https://www.ameliatechnology.co.jp/blog/llmops/)
- [AIのニュースによく出る用語：生成AIからAIエージェントまで](https://www.ameliatechnology.co.jp/blog/ai-terms/)

[用語集の一覧に戻る](https://www.ameliatechnology.co.jp/glossary/) [ナレッジのトップへ](https://www.ameliatechnology.co.jp/knowledge/)

## 次の一歩

### AI開発の例を見る

帳票の読み取り、配車計画、需要予測、AIエージェントなど、お客様の社名を伏せ、業種で紹介しています。

[AI開発の例を見る](https://www.ameliatechnology.co.jp/works/ai/)

### 専門チームの時間を月単位で使う

AIタイムシェアは、相談・レッスンから開発の補助、既存のシステムとの連携まで。月20時間・20万円（税別）からです。

[AIタイムシェアを見る](https://www.ameliatechnology.co.jp/timeshare/)

## ご関心に合わせて、お選びください。

[情報を集めている方へ会社案内、AI開発の例、セキュリティ診断の報告書の見本をお送りします。資料をダウンロード](https://www.ameliatechnology.co.jp/download/)[課題が見えている方へオンラインで30分、お話をうかがいます。費用はかかりません。無料で相談する](https://www.ameliatechnology.co.jp/contact/)[進め方を決めたい方へ2〜4週間で、優先順位と計画をまとめるAI活用の診断です。診断について見る](https://www.ameliatechnology.co.jp/pricing/#diagnosis)

---

出典：アメリア・テクノロジー株式会社「トークンとは｜用語集｜アメリア・テクノロジー株式会社」 https://www.ameliatechnology.co.jp/glossary/token/
