レイテンシ

latency

レイテンシは、要求を送ってから応答を受け取るまでの遅延時間で、AIモデルでは応答速度を示す主要な指標である。

記事25本最終言及

レイテンシは、コンピューティングやネットワークにおいて、要求や信号を送ってから応答が返ってくるまでにかかる時間を指す。通常はミリ秒(ms)単位で計測され、単位時間あたりの処理量を示すスループットと並んで性能評価の基本的な指標である。

AI分野では、モデルにプロンプトを送ってから最初のトークンが出るまでの時間(Time To First Token)、トークンの生成速度、応答全体が完了するまでの時間がレイテンシの指標として用いられる。AIエージェントの環境では、モデル呼び出しの間に挟まるフックやポリシー検査がレイテンシを増やすため、各検査段階に許容時間の予算を設けることが多い。

この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。

この項目を扱った記事

  • AIエージェントの性能改善、プロンプト最適化と重みの学習をどう使い分けるかAI性能 ·

    評価と指標: 完全一致、合格率、審査役を務めるモデル、あるいはコストやレイテンシー。

    記事を読む
  • 16GBのGPUで動くGyro-M、Gyro-Sから乗り換える価値はあるかAI性能 ·

    平均レイテンシは3,889 ms、総実行時間は3分6秒です。

    記事を読む
  • IBMが$110億でConfluentを買収した理由、AIエージェントの壁はデータ鮮度AIニュース ·

    リアルタイムデータとは、レイテンシー、つまり情報が届くまでの遅延が小さいというだけの話ではありません。

    記事を読む
  • AIエージェントを数えられない企業へ、セッション単位の可視化と4段階の統治AIセキュリティ ·

    …一のフックバイナリが、Claude Code、Cursor、Codex、GitHub Copilot、OpenCode、OpenClaw、Piなどのハーネスにある13~15カ所のフックポイントにハンドラーとして登録され、アイデンティティを付けてイベントを中継し、厳しいレイテンシー予算の中で許可か遮断かの判定を返します。

    記事を読む
  • AnthropicがIPO条件を決定、時価総額$1兆4,050億の裏に潜む懸念AIニュース ·

    しかし、チャット画面に慣れ親しんでいることと、ニューラルネットワーク、ベクトルデータベース、検索拡張生成(RAG、モデルが回答前に外部文書を取り込む手法)、レイテンシー、ストレージアレイを理解していることは別物です。

    記事を読む
  • AIエージェント開発者が知るべきLLMの仕組みと設計ルールAI活用 ·

    努力量(effort)はlow、medium、high、maxに設定でき、高い努力量は精度を改善しますが、レイテンシと費用の代償は大きくなります。

    記事を読む
  • AIエージェントの勝者は老舗企業、OpenAI会長が説く顧客データの価値AIニュース ·

    ストレージ階層: ソフトウェアはすべてを最速の階層に置くのではなく、レイテンシーとコストの目標に応じて回転式ディスク、フラッシュストレージ、RAMを組み合わせます。

    記事を読む
  • フロンティアモデルの隠れコストを削る3つの修正、プロンプト負債・キャッシュ・評価AI活用 ·

    キャッシュ読み取りは基本入力トークンのおよそ10分の1の価格で課金され、キャッシュヒットは応答レイテンシーも大幅に削ります。

    記事を読む
  • 16GB・70WのGPUで27Bモデルを128kコンテキストで動かす検証結果AI性能 ·

    段階別の推論ベンチマークは、4つの難易度に均等に分けた48問で構成され、1回答あたりの平均レイテンシは6,324ミリ秒でした。

    記事を読む
  • ChatGPTだけで自動化が完結?Zapier型ツールを置き換える4つの部品AIニュース ·

    1分未満のレイテンシー、高頻度のスケジュール、イベント対応のないアプリへのコネクターを必要とするワークフローは、依然として独立したプラットフォームと、その上に構築するエージェンシーの領域であるように見えます。

    記事を読む
  • 自己改善型AIエージェントはどう動くか、二重ループと安全設計の要点AI活用 ·

    企業利用では、コストが予算内、レイテンシーが目標内、セキュリティが要求水準以上という条件のもとで、期待されるタスク性能を最大化することが目標になります。

    記事を読む
  • TinyFish、AIエージェントを「顧客」にして1年で40万ユーザー獲得AI起業 ·

    2つ目のデモでは、保存済みのブラウザプロファイルを使ってエージェントが認証付きの開発者ダッシュボードにログインし、直近20回の実行における検索レイテンシをグラフ化しました。

    記事を読む
  • CompoundがOfficeをRustで書き直した理由、金融向けAIアナリストの設計AI起業 ·

    仮想マシン上のコンピュータ操作エージェント 1操作あたりのレイテンシが高く、アナリストが期待する応答性には遅すぎる

    記事を読む
  • エージェントの差別化は「インテリジェンスプレーン」へ、Oracleが示す4つの実践AI活用 ·

    クエリあたり平均レイテンシ 10.6秒 42.8秒

    記事を読む
  • OpenAIが金融専用モデルを作らなかった理由、ChatGPT金融版の設計思想AIニュース ·

    直接インデックス化したことでレイテンシーと失敗率は大幅に下がり、キム氏によれば、組み込みのデータバンドルはエンタープライズ利用者が最も高く評価する機能になりました。

    記事を読む
  • NVIDIA Agent Toolkit発表、ハーネス改良で性能30%から100%にAIニュース ·

    本番規模になると、スロットリング、レート制限、レイテンシーの急上昇にも直面し、これらはエージェントを遅くするだけでなく、精度と推論の質を低下させます。

    記事を読む
  • Claude Codeに「Mods」登場、ターミナル内部を書き換える拡張の使い方AI活用 ·

    長いセッションでは、レイテンシーが増え、すでに送ったテキストの再読に大量のトークンが費やされることになります。

    記事を読む
  • Figma MCPの上限で詰まり、Claude Designに乗り換えた開発者の事例AI活用 ·

    ウィジェット内のサンプルシナリオでは、チェックアウトフローのp95レイテンシが一晩で急上昇した理由といった問いを調査し、メトリクスとログを取得したうえでプルリクエストを提案します。

    記事を読む
  • AWSがエージェント向けにクラウドを再設計、30秒アカウントと期限付き権限AIニュース ·

    多段階のエージェントでは、平均値ではなくp99やp99.9のレイテンシでサービスを比べる。

    記事を読む
  • AIエージェントの見えない失敗、Claude Codeがトレースで価格フィルター欠落を修正AI活用 ·

    トレースとは、エージェントの1回の実行を構造化・入れ子にした記録で、会話の各ターン、ツール呼び出し、プロンプト、モデルの応答、トークン数、レイテンシ、ドル建てのコストがすべて含まれます。

    記事を読む
  • DeepMindのロボットAI第2世代、計画と動作を分けた仕組みと残る課題AIニュース ·

    レイテンシーは現実的なトレードオフです。

    記事を読む
  • 顧客対応AIエージェントを本番へ、記憶・権限・評価の5ステップAI活用 ·

    原因を探るため、Google Cloud Traceでリクエスト全体のレイテンシー、ツールに渡した引数、モデルの実行スパンを確認します。

    記事を読む
  • OpenAIのエージェントが速くなった理由、画面ではなく構造を読むAIニュース ·

    独自のハーネスを作ることもできますが、OpenAIは自社のハーネスでモデルを学習させているため、公式の実装には精度、レイテンシー、コストの面で利点があります。

    記事を読む
  • RunPod Flashで画像生成SaaSのGPUコストはどう変わるかAI起業 ·

    特定のGPUに固定すればレイテンシーの予測しやすさが優先され、代替を許せば可用性が優先されます。

    記事を読む
  • Jevのモデルルーティング、メール100通を23.00秒・$0.00196で分類AI性能 ·

    定型的な確認: 5種類のタスクにわたる150件の「はい・いいえ」の判断では、Jevの判断1件当たりのレイテンシー中央値は219ミリ秒で、合計費用は$0.0019でした。

    記事を読む

説明の誤りや、見つからない項目はありますか?

事典の説明は、AIPOSTの記事と広く知られた事実をもとにまとめています。誤りは訂正依頼でお知らせいただければ、確認して修正します。新しい記事に登場した名前は、記事の公開後に事典に加わります。