キャッシュヒット率cache hit rate
キャッシュヒット率は、キャッシュへの要求のうち、目的のデータをキャッシュから直接取り出して処理できた要求の割合を示す指標である。
記事3本
最終言及 キャッシュヒット率は、よく使うデータを高速な記憶領域に複製しておくキャッシュへの要求のうち、目的のデータをキャッシュから直接取り出せた要求、すなわちヒットの割合である。ヒット数を総要求数で割って求め、残りの割合はミス率と呼ばれる。値が高いほど、低速な元の記憶領域や再計算を経ずに処理できた要求が多いことを意味する。
CPUキャッシュ、データベース、Webキャッシュ、CDNなど、コンピューティング全般でキャッシュの性能を評価する指標として用いられる。大規模言語モデルのAPIにおけるプロンプトキャッシュでは、入力トークンのうちキャッシュから読み込まれたトークンの割合を指し、この割合が高いほど処理コストと応答の遅延が小さくなる。
この説明は、AIPOSTの記事と広く知られた事実をもとにまとめたものです。誤りがあれば訂正依頼でお知らせください。
この項目を扱った記事
システム指示とプロンプトの先頭部分を一定に保ってキャッシュヒット率を高め、診断ツールでキャッシュが途切れる箇所を見つけます。
評価では、オープンウェイトモデルの実行全体で98％のキャッシュヒット率を記録しています。