潜在空间是机器学习模型将数据表示为压缩数值向量的内部抽象空间。模型把每个输入映射为该空间中的一个点,语义相近的数据在空间中位置也相近。该空间的维度通常低于原始数据,可视为只保留数据核心特征的表示。
这一概念在生成模型领域尤为重要:变分自编码器、GAN和扩散模型通过在潜在空间中采样或操作点来生成新的图像或文本。嵌入模型生成的向量空间也是潜在空间的一例,在大语言模型中该词还用于指模型内部隐藏状态所在的空间。
latent space
机器学习模型将数据表示为压缩数值向量的内部抽象空间。
潜在空间是机器学习模型将数据表示为压缩数值向量的内部抽象空间。模型把每个输入映射为该空间中的一个点,语义相近的数据在空间中位置也相近。该空间的维度通常低于原始数据,可视为只保留数据核心特征的表示。
这一概念在生成模型领域尤为重要:变分自编码器、GAN和扩散模型通过在潜在空间中采样或操作点来生成新的图像或文本。嵌入模型生成的向量空间也是潜在空间的一例,在大语言模型中该词还用于指模型内部隐藏状态所在的空间。
本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。
持续学习跨越三个层级:真值空间(数据库中的记忆工程)、潜在空间(KV状态的提示词缓存)和权重空间(使用LoRA或QLoRA微调)。
阅读文章百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。