トークンtoken
トークンはAIモデルがテキストを分割して処理する単位で、単語や文字とは必ずしも一致しない。
トークンは、AIモデルが入力を処理し出力を生成する際に用いるテキストの単位である。単語全体、単語の一部、句読点などが一つのトークンになり得るため、単語数や文字数とは一致しない。
トークン数は、コンテキストウィンドウの大きさ、利用量、API料金を示す際に使われる。デザイン分野のトークンは色や余白などの値を定義する変数を意味し、AIモデルのテキスト単位とは異なる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
100万トークンあたりの価格 Haiku 5.5、10万トークン以下のプロンプト Haiku 5.5、10万トークン超 Haiku 4.5 Sonnet 5.5
透かしは、モデルがトークン(言語モデルが読み書きする文章の小さな単位)を選ぶ際にわずかな統計的な偏りを加える仕組みです。
ツール定義に使うトークン 50以上のツールで約7万2,000 最初は約500
9項目のテストでは、256kトークンのコンテキストに隠したパスキーを15回の試行すべてで見つけ、コーディング問題100問のうち75問に合格し、ほとんど手助けなしで動くWebアプリやゲームを作りました。
テキストや画像と一緒に答えの候補リストを送ると、約150ミリ秒で各選択肢の確率を返し、支払うべき出力トークンもありません。
テキストを受け取り、次に来る可能性が最も高いトークン(モデルが読み書きするテキストの小さな単位)を予測します。
計画の確認に数分かけるだけで、トークンを大量に消費する作業が始まる前に、書式の誤り、余分なセクション、誤ったデータソースを見つけられます。
トークンはAIモデルがテキストを処理する単位で、使う量が多いほど一般にコストが上がり、応答も遅くなります。
事前学習では、それまでのトークン(モデルが処理するテキストの小さな単位)から次のトークンを予測するようモデルを訓練します。
MemoriesとChronicleはモデルが処理するテキストの単位であるトークンをより多く消費しますが、プロジェクトの経緯を覚えているエージェントが得られるなら追加コストに見合うとチームは考えています。
トレースとは、エージェントの1回の実行を構造化・入れ子にした記録で、会話の各ターン、ツール呼び出し、プロンプト、モデルの応答、トークン数、レイテンシ、ドル建てのコストがすべて含まれます。
プレフィル速度 毎秒85.71トークン
モデル1インスタンスの出力はおよそ毎秒50~60トークンで、短い回答には十分でも、複数の工程を伴うエンジニアリング作業には時間がかかりすぎます。
完成したテキストブロックのメモ化と、伸びていくコードブロックのトークン化のWeb Workerへの移動によって、長い返答中のメインスレッドのブロック時間は750ms超から約200msに減り、CPU使用量は3分の2減りました。
私たちは家族経営のお店です」のような店舗の定型文は、モデルが処理するテキストの小さな単位であるトークンのうち関係のないものを増やし、検索を混乱させます。
Museは十分なトークン(AIモデルが処理するテキストの単位)の利用枠付きで無料提供し、大きなユーザー基盤を築きます。
このモデルのコンテキストウィンドウ、つまり一度に考慮できる情報量は12万8,000トークンです。
別の例では、独自のプログラミング言語と強化学習のループを作ったハッカソンの応募作品を複数ターンにわたって評価し、モデルが処理するテキストの単位であるトークンを200万以上使いながら、サンドボックスの状態を失いませんでした。
複数のモデルにリクエストを振り分けるサービスであるAIゲートウェイの一つでは、2024年7月から2025年10月までのトークン量のうち、誰でもダウンロードできるオープンウェイトモデルが55.8%を占め、クローズドモデルの44.2%を上回りました。
通常の利用は無料で、週に1億トークンまで使えます。
Argonの導入価格は、入力100万トークンあたり$2、出力100万トークンあたり$10です。
出力上限100万トークンと導入価格
こうしたモデルは主に次のトークン、つまりモデルが処理する小さなテキスト単位を予測するため、その推論を正解と突き合わせて完全に確認することはできません。
ところが7月10日、あるエージェントが、公開インターネット上に露出していた有効なHugging Faceの書き込み用トークンを見つけたと発表しました。
トークン、計算資源、外部APIは原価で請求し、それとは別にオーケストレーション料金を受け取ります。
プロンプトキャッシュは、モデルがすでに受け取った内容を保存して再利用する仕組みで、こうした入力トークンのコストを約95%下げます。
AstraのニュースをAnthropicのClaude Sonnet 5.5やMetaの新しいエージェントMuseと合わせて見ると、答えはランキングの順位よりも、組織が作業をどう振り分け、トークンをどう把握し、エージェントをどう統制するかにあるように見えます。
トークンの無駄の多くは習慣から生まれます。
GitHub CLIの拡張機能も同じ代替トークンの方式を使います。
アクセシビリティ技術はもともとスクリーンリーダーのために作られたものですが、いまでは言語モデルがボタン、ラベル、テキスト欄をトークン効率のよい形で取り出すのに役立っています。
トークンとは、モデルが処理・生成するテキストの小さな単位です。
利用枠と招待で得られるトークン
APIの価格は入力100万トークンあたり$2、出力100万トークンあたり$10で、Claude Sonnet 5.5の価格と同じです。
前者はチームが作業を1か所にまとめられるかという問いを、後者はより速い出力がより速いトークン消費に見合うかという問いを投げかけます。
あわせて、プランの利用量とトークン消費の計算方法を見直しました。
開発者にとって最も具体的な公表値は、キャッシュ入力100万トークンあたり$0.10です。
複数のエージェントを調整し、共有のプロジェクト情報を継続的に生成すれば、トークン(モデルが処理するテキストの単位)の使用量と遅延が増えることもあります。
Claude Sonnet 5.5は、あるコーディングベンチマークでClaude Opus 5.5を上回り、入力トークンと出力トークンの料金も半分です。
API価格は、モデルが処理・生成するテキストの量を測る単位であるトークン100万個あたりで示されています。
トークンとはAIモデルが処理するテキストの単位で、トークンへの支出はそのコンピューティングの対価を払う方法の一つです。
この繰り返しのタスクは想定されたワークフローを示すものですが、Redditの例で時間やトークンがどれだけ節約されたかという測定値は示していません。
OpenRouterでは、Jevの価格は入力トークン100万個あたり約$0.042、出力トークンは$0と表示されていました。
使用したモデルはGemini 3.5 Flashで、処理したトークンは26億、費用はAPIクレジットで$1,000未満でした。
トークンとは、モデルが処理するテキストの単位です。
effortを高くすると1回の応答が長くなり、出力トークン(利用料金に影響するテキストの単位)が増えることがあります。
同期に使うNotionの接続には対象のSkillsデータベースへの読み取り権限を与え、そのトークンはリポジトリ内のファイルではなくGitHub Actionsのシークレットに として保存します。
このサービスは登録時に5トークンを付与し、対戦1回につき1トークンを消費します。
評価全体でCodexが処理したトークン(モデルの入力と出力を測る単位)は219億で、Claude Codeの29億の7.5倍でした。
モデルのトークン費用 月額約€300
比較として、同じトークン量でClaude Opus 4.8を使用した場合の推定コストは$61.70でした。
大統領討論会を使ったテストでは、約118万の入力トークンに対してJevを1191回呼び出しました。
プロフィール欄には、累計トークン使用量、最長タスク、日別の活動状況などが、Codexのデスクトップアプリとよく似た配置で表示されます。
言語モデルは次に来る可能性が高いトークンを計算する一方、記憶術は情報をイメージや場所に結びつけます。
記録を見直すと、トークンを浪費したり、作業を繰り返し中断させたりする使い方が見えてきます。
Yutoriが示すNavigator n2のAPI料金は、入力100万トークン当たり$0.50、キャッシュ済みの入力100万トークン当たり$0.05、出力100万トークン当たり$4.00です。
2026年9月時点でOpenRouterに掲載されていたJevの料金は、入力100万トークン当たり$0.042、出力100万トークン当たり$0.00でした。
リソース消費量 使用したトークンやストレージ
ただし、トークン使用量が常に少なかったわけではなく、このテストからタスク当たりの費用は分かりません。
報告された実行では、270万件のメッセージと1300億の出力トークンが発生しました。
比較的安価なNVIDIA RTX 3060でも、80億パラメータのモデルを毎秒40〜50トークンで動かせます。
最初のトークンが早くても、文章全体が同じ割合で速くなるわけではない
この草案には、通常の業務文書の文章に加え、内部指示とテスト用トークンを開示させる隠れた指示が含まれていました。
コストはトークン単価だけでは決まらない