一个拥有270亿参数、支持完整128k token上下文窗口的语言模型,如今可以完全装进一张功耗70瓦的16GB显卡里。ByteShape用ShapeLearn量化技术处理的Qwen3.8-27B,其IQ3_XS版本平均每个权重约3.01比特,在一台普通家用服务器上实现了这一点,随后又经历了一整套吞吐量、显存、推理、编程和智能体测试。简单概括:长上下文召回全部命中,推理和Python成绩扎实,三个浏览器应用和一个Blender资产都顺利完成,唯一崩盘的是一个Godot 3D关卡。测试过程中还反复出现一个操作层面的小毛病:模型在编写大段代码块时容易超出输出token上限,除非提示词明确要求它不要这么做。

ShapeLearn的不同之处

量化通过用更少的比特位存储权重来压缩模型。把位宽压到2、3或4比特,通常要牺牲智能水平。ShapeLearn的思路是为每个张量单独学习最理想的数据类型,而不是对整个模型套用同一种方案,ByteShape称这样即使在极低位宽下也能保住质量。模型卡片说明,IQ4_XS、IQ3_XS这类标签只是为了让文件能对应到Hugging Face的兼容性表格;实际格式是一种自定义的、逐张量混合的混合格式。

byteshape/Qwen3.8-27B-GGUF仓库显示,上个月的下载量达到2,056,119次,可见本地AI社区中已有相当多的人在使用它。

之所以选择IQ3_XS版本,是因为它搭配Q8 KV缓存后还能给128k上下文留出空间。KV缓存是模型为每个已读取的token保留的记忆;以8位精度存储可以缩小这部分占用,这正是长上下文能塞进16GB显卡的原因。

测试机器

部件 规格
操作系统 Ubuntu Server 24.04.4
主板 华硕 TUF Gaming X570-PLUS
CPU AMD Ryzen 5700X
内存 32GB DDR4 3600MHz
存储 ADATA Pro 960 2TB Gen4 SSD
推理GPU 英伟达 RTX 2000 Ada,16GB,70W
推理服务 llama.cpp(llama-cpp-server)

机器里还装了一张32GB的RTX 5090,但只用于加快批量基准测试的运行速度。下文所有关于模型本身的结果都来自那张16GB显卡。配置过程中暴露了这张卡的一个限制:试图调高预填充批大小时,因显存余量不足而失败。

128k上下文下的吞吐量

预填充是模型读取提示词的阶段;解码是模型写出答案的阶段。带缓存的预填充会复用之前轮次的KV缓存条目,所以数字会呈现惊人的增长。

指标 结果
冷预填充,512 token提示词 323.8 token/s
冷预填充,8k提示词时的峰值 446.5 token/s
32k无缓存预填充 391.6 token/s
带KV缓存预填充,512 token 2,205.9 token/s
带KV缓存预填充,32k token 87,677.4 token/s
解码生成 31.0-31.7 token/s

解码速度在不同生成长度下都稳定在每秒约31个token,对于一个运行在70W显卡上的稠密27B模型来说,这看起来已经是可用的交互式速度,而不只是批处理水平。

长上下文记忆与推理

大海捞针测试会把一个六位数的密钥藏进一大段文本中,分别放在上下文0%、25%、50%、75%和100%的深度,然后让模型把它找出来。在15次试验中,上下文最多达到256,608个token,模型每次都找到了密钥,拿下15分满分。整轮测试耗时55分53秒。有一点需要注意:当密钥位于上下文中部,也就是25%和50%深度时,回答变得更啰嗦,并暴露出比理想的一行答案更多的内部推理过程。

高高一摞纸张,中间夹着一张醒目的卡片,上面放着放大镜,旁边是一只秒表

▲ 深层上下文下的大海捞针召回

分级推理基准测试由48道题组成,平均分布在四个难度级别,每道题的平均延迟为6,324毫秒。

级别 得分
简单 12/12(100%)
中等 12/12(100%)
困难 10/12(83.3%)
专家 6/12(50.0%)
总计 40/48(83.3%)

按主题看,空间推理、状态跟踪和时间推理全部拿到100%,逻辑94%,概率86%。薄弱环节是约束问题的50%和信息论的0%。对于一个每权重约3比特存储的稠密27B模型,困难和专家级别的成绩算得上扎实,但谈不上出众。

HumanEval Remix包含100道Python编程题,总体通过率为77%。模型尝试了94道题,通过77道,在已作答题目中通过率为81.9%,另有6道完全未作答。平均延迟12,461毫秒,整轮耗时20分46秒。正是那些未作答的题目拉低了总体数字。

智能体构建的三个浏览器应用

每个编程任务都以智能体会话的形式运行,并由Playwright测试框架驱动无头Chrome自动验证结果。

SeatPlan:活动座位规划器

纸面上看这是三者中最难的一个:拖放重排桌子、分配宾客、调整座位顺序,还要在多个模态视图中搜索和筛选。最终版本通过了全部9项验证标准和全部45条测试断言,用掉64.1%的上下文,经历一次压缩和三次用户提示。

这个过程暴露了模型最主要的操作缺陷。最初几次尝试中,它试图一口气写完整个应用,反复超出最大输出token限制,代码在文件中途被截断。解决办法是修改系统提示词:明确写出严格的token上限,并告诉模型不要尝试一步到位的大规模重写。此后只用两次简短的追加提示,就修好了一个无法关闭的模态窗口和一个失效的拖放处理函数。

落沙沙盒

第二个任务要求做一个元胞自动机沙盒,包含沙、水、墙、酸和橡皮擦,并支持调节画笔大小。结果中,沙子堆成了沙丘,水向两侧扩散,酸能腐蚀墙壁和沙子。5次运行全部通过16条断言,零压缩、零提示词修改,也没有截断问题,上下文使用率52.5%。遗留了一个缺陷:沙粒偶尔会穿过静止的水向上"瞬移"。这个特定的bug似乎在许多语言模型面对同一提示词时都会出现,所以它更像是一个难题,而不是这个量化版本特有的弱点。

DUNGEON :: FORGE:程序化2D地牢探索

第三个任务是一个俯视角地牢生成器,采用二叉空间分割,即递归地把地图切分成房间的方法,再结合射线投射战争迷雾,只显示玩家视线范围内的地形。游戏跟踪玩家移动、视野半径、逐房间照明以及地图已探索的百分比。早期版本中视线会穿透墙壁;一次追加提示很快修好了射线投射逻辑,之后房间保持封闭,未探索地形也随着玩家移动平滑展开。外围墙壁边缘仍残留一些细小的三角形阴影瑕疵。该会话使用了73.4%的上下文,没有压缩,两次用户提示,并且在处理之前也出现了与SeatPlan相同的初始截断问题。

通过MCP操作Blender和Godot

最后两个任务通过模型上下文协议(MCP)把模型接入真实应用,这是一种让模型调用其他软件内部工具的标准。

工作台上一盏发光的六边形笼式灯笼,旁边是一个带深坑、尚未完成的悬浮游戏平台模型

▲ Blender灯笼渲染与未完成的Godot关卡

在Blender中,任务是建模并渲染一盏"星陨灯笼"。模型做出了一盏敦实的六边形灯笼,带有竖直的笼栅和顶部挂钩,内核为发光的黄色自发光材质,框架为金属金色。视口平移没有任何卡顿,这似乎归功于模型生成的低多边形几何体。四张1920x1080的渲染图每张2.0-2.1 MB。两处不足:要求的下缘悬挂装饰缺失,玻璃罩出现了奇怪的泛光或反射光晕。该会话只用了21.2%的上下文,经历一次压缩,不过它最初只把渲染结果发送到MCP缓冲区,直到被问到截图在哪里才保存到磁盘。对于一个3比特模型生成的优化版实时游戏资产,这个结果看起来可以接受。

Godot则是失败的那一个。任务要求做一个完整的3D平台关卡,包含移动平台、可收集的钥匙、深坑陷阱和关卡终点触发器。关卡本身渲染得很漂亮,柔和的粉彩表面,悬浮平台架在深渊上方。但实际游玩是另一回事:鼠标垂直视角是反的,悬浮的球形钥匙无法拾取,中央的移动平台够不着,掉进深坑后镜头在虚空中翻滚,没有重生。终端显示了原因。模型陷入了重复的思维循环,满是"hmm"和"wait"之类的字符串,不断消耗token却毫无进展。即使直接指示它停止测试、只修鼠标反转和钥匙碰撞,它还是回到同样的循环。经过七次压缩、88.5%的上下文使用后,会话被中止。如果换一个全新的上下文,而不是在已经被这么多次压缩拖垮的线程里继续,这个任务或许会有更好的机会。

智能体任务成绩单

任务 结果 用户提示 压缩次数 上下文使用率
座位规划器 通过 3 1 64.1%
沙子物理 通过 0 0 52.5%
地牢探索 通过 2 0 73.4%
Blender灯笼 通过 1 1 21.2%
Godot移动平台 失败 4 7 88.5%

与基础模型量化版的对比

同一组任务此前也跑过Unsloth以Q3_K_XL量化的基础Qwen模型,那是一个更大的文件。ByteShape的IQ3_XS版本攻克了要求苛刻的座位规划器,而基础量化版在更简单的看板应用上就已吃力。在Godot中,基础模型直接失败,ByteShape版本则在陷入循环前已接近做出可玩的关卡。基础模型唯一领先的地方是Blender的美术效果,它做出的灯笼视觉细节更丰富、更精致。总体来看,体积更小的ByteShape版本在大多数技术性工作上似乎胜过更大的基础量化版,3D资产的外观是例外。

结论与建议

对于手里有一张16GB显卡、又想要一个带真正长上下文的27B级模型的人来说,这个版本能胜任:256k token范围内召回全部命中,分级推理83%,HumanEval Remix通过率77%,五项智能体任务通过四项。如果主要用途是在Blender里生成漂亮的3D资产,基础的Q3_K_XL量化版可能是更好的选择;如果是代码生成和多步骤智能体工作,ByteShape版本看起来更强。

运行时有几条做法值得注意:

  • 把输出token上限写进系统提示词,并告诉模型不要在一轮中重写全部内容;测试中这样做消除了截断问题。
  • 不要把最大输出设得过高,否则容易触发上下文压缩。
  • 把大型重构拆成模块化步骤,而不是多文件一次性重写。
  • 在llama.cpp中把3比特权重与Q8 KV缓存搭配使用,才能把128k上下文控制在16GB以内。
  • 用MCP做自动化测试时,指示模型设置严格的执行超时,避免在无响应的进程上挂死。
  • 通过MCP渲染Blender时,一开始就说明相机视图必须以PNG文件形式保存到磁盘。
  • 如果智能体会话开始在"hmm"和"wait"上打转,直接重置上下文,不要在被反复压缩的线程里继续追加提示。