缓存命中率cache hit rate
缓存命中率是衡量对缓存发出的请求中，能直接从缓存取得所需数据的请求所占比例的指标。
4篇文章
最近提及 缓存命中率是指在对缓存发出的请求中，能够直接从缓存取得所需数据的请求，即命中，所占的比例。缓存是把常用数据复制到更快存储中的机制，命中率的计算方法是命中次数除以请求总数，其余部分称为未命中率。数值越高，说明越多请求无需经过较慢的原始存储或重新计算即可完成。
这一指标广泛用于评估CPU缓存、数据库、网页缓存和内容分发网络等各类缓存的性能。在大语言模型API的提示词缓存中，它指输入token中从缓存读取的部分所占的比例，比例越高，处理成本和响应延迟就越低。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误，请通过更正请求告诉我们。
涉及该条目的文章
据 Anthropic 介绍，缓存命中率超过 99%，CPU 和内存占用仅为原有 Git 镜像方案的两百分之一。
保持系统指令和提示词前缀稳定，以提高缓存命中率，并用诊断工具找出缓存中断的位置。
DeepSeek V4 Flash的运行使用了提示词上下文缓存，即复用此前已处理的输入；在开放权重模型的运行中，评估记录到98%的缓存命中率。