推論トークンreasoning token

推論トークンは、推論モデルが問題を分解し検討する中間的な推論の段階で生成するトークンである。ユーザーに示される最終的な答えのトークンとは区別され、サービスによっては内容を公開せず数だけを示す場合もある。

API料金では通常、出力トークンとして計算される。そのためトークン単価が同じでも、推論を多く重ねるモデルはタスク一つあたりのコストが大きくなりうる。推論の量はreasoning effortなどの設定で調整する。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。