レイテンシは、コンピューティングやネットワークにおいて、要求や信号を送ってから応答が返ってくるまでにかかる時間を指す。通常はミリ秒(ms)単位で計測され、単位時間あたりの処理量を示すスループットと並んで性能評価の基本的な指標である。
AI分野では、モデルにプロンプトを送ってから最初のトークンが出るまでの時間(Time To First Token)、トークンの生成速度、応答全体が完了するまでの時間がレイテンシの指標として用いられる。AIエージェントの環境では、モデル呼び出しの間に挟まるフックやポリシー検査がレイテンシを増やすため、各検査段階に許容時間の予算を設けることが多い。