ShapeLearn

ShapeLearn是ByteShape开发的大语言模型量化技术,通过学习为每个张量确定最合适的数据格式。

1篇文章最近提及

ShapeLearn是ByteShape开发的大语言模型量化技术。它不对整个模型统一套用单一比特数,而是采用混合量化方式,通过学习为每个张量确定最合适的数据格式。

该技术旨在在2到4比特的极低比特数下保持模型质量。经ShapeLearn压缩的模型以GGUF格式发布,用于llama.cpp等本地推理环境。

本条目依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们。

涉及该条目的文章

  • 16GB显卡跑满128k上下文:ByteShape 3位量化27B模型实测AI性能 ·

    ByteShape用ShapeLearn量化技术处理的Qwen3.8-27B,其IQ3XS版本平均每个权重约3.01比特,在一台普通家用服务器上实现了这一点,随后又经历了一整套吞吐量、显存、推理、编程和智能体测试。

    阅读文章

发现说明有误或找不到条目?

百科说明依据AIPOST的文章与广为人知的事实整理。如有错误,请通过更正请求告诉我们,我们会核实并修改。新文章中出现的名称会在文章发布后加入百科。