#KV 缓存
带有“KV 缓存”标签的文章1篇
标签文章
按从新到旧显示带有“KV 缓存”标签的文章。

AI应用
智能体开发者必懂的模型内部机制:采样、注意力与上下文工程
代码和数学任务用低温度,开放式创作才调高。上下文从 8k 增至 512k token,领先模型准确率由近 90% 跌至 10% 到 40%。工具集保持精简,极简四工具框架不输大型框架。新信息追加在提示词末尾,前置插入会使 KV 缓存失效。上下文自动压缩可能抹掉安全指令,需专门测试保护。
带有“KV 缓存”标签的文章1篇
按从新到旧显示带有“KV 缓存”标签的文章。

代码和数学任务用低温度,开放式创作才调高。上下文从 8k 增至 512k token,领先模型准确率由近 90% 跌至 10% 到 40%。工具集保持精简,极简四工具框架不输大型框架。新信息追加在提示词末尾,前置插入会使 KV 缓存失效。上下文自动压缩可能抹掉安全指令,需专门测试保护。