参数化记忆指神经网络从训练数据中学到并隐式存储在权重(即参数)中的知识。大语言模型在没有外部文档或工具的情况下回答问题时所依赖的知识即属于此类,也称为参数化知识。
与之相对的概念是非参数化记忆,即在推理时检索搜索引擎、文档库等模型外部的资料。检索增强生成(RAG)是将两者结合的代表性方法。由于参数化记忆无法包含训练数据截止日期之后的信息,更新需要重新训练或微调,因此在依赖最新信息的任务中通常会同时接入外部数据源。
parametric memory
参数化记忆是语言模型在训练过程中存储于权重(参数)中的知识,无需外部检索即可直接调用。
参数化记忆指神经网络从训练数据中学到并隐式存储在权重(即参数)中的知识。大语言模型在没有外部文档或工具的情况下回答问题时所依赖的知识即属于此类,也称为参数化知识。
与之相对的概念是非参数化记忆,即在推理时检索搜索引擎、文档库等模型外部的资料。检索增强生成(RAG)是将两者结合的代表性方法。由于参数化记忆无法包含训练数据截止日期之后的信息,更新需要重新训练或微调,因此在依赖最新信息的任务中通常会同时接入外部数据源。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
仅凭参数化知识,即不做检索、只依靠模型在训练中记住的内容,GPT-6 Astra的惊喜相关性骤降至0.11,Claude Fable 5.1降至0.15。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。