语义缓存是根据查询的语义相似性复用先前响应的缓存。与仅在输入字符串完全一致时才返回存储结果的传统缓存不同,语义缓存将查询转换为嵌入向量,若存在相似度超过阈值的历史查询,则返回其响应。
在大语言模型应用中,它用于在表述不同但含义相近的问题反复出现时减少模型调用,降低成本和响应延迟。既有GPTCache等开源实现,也有基于向量数据库的实现。若相似度阈值过松,可能对含义不同的问题错误返回先前答案,因此常与精确匹配缓存并用或增加校验环节。
semantic cache
根据查询的语义相似性复用先前响应的缓存,用于降低大语言模型应用的成本和延迟。
语义缓存是根据查询的语义相似性复用先前响应的缓存。与仅在输入字符串完全一致时才返回存储结果的传统缓存不同,语义缓存将查询转换为嵌入向量,若存在相似度超过阈值的历史查询,则返回其响应。
在大语言模型应用中,它用于在表述不同但含义相近的问题反复出现时减少模型调用,降低成本和响应延迟。既有GPTCache等开源实现,也有基于向量数据库的实现。若相似度阈值过松,可能对含义不同的问题错误返回先前答案,因此常与精确匹配缓存并用或增加校验环节。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
这一分类分为短期记忆和长期记忆:短期记忆存在于单个会话内(工作上下文窗口,加上用于重复查询的语义缓存),长期记忆则跨会话持久保存。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。