一个拥有270亿参数、支持完整128k token上下文窗口的语言模型,如今可以完全装进一张功耗70瓦的16GB显卡里。ByteShape用ShapeLearn量化技术处理的Qwen3.8-27B,其IQ3_XS版本平均每个权重约3.01比特,在一台普通家用服务器上实现了这一点,随后又经历了一整套吞吐量、显存、推理、编程和智能体测试。简单概括:长上下文召回全部命中,推理和Python成绩扎实,三个浏览器应用和一个Blender资产都顺利完成,唯一崩盘的是一个Godot 3D关卡。测试过程中还反复出现一个操作层面的小毛病:模型在编写大段代码块时容易超出输出token上限,除非提示词明确要求它不要这么做。
ShapeLearn的不同之处
量化通过用更少的比特位存储权重来压缩模型。把位宽压到2、3或4比特,通常要牺牲智能水平。ShapeLearn的思路是为每个张量单独学习最理想的数据类型,而不是对整个模型套用同一种方案,ByteShape称这样即使在极低位宽下也能保住质量。模型卡片说明,IQ4_XS、IQ3_XS这类标签只是为了让文件能对应到Hugging Face的兼容性表格;实际格式是一种自定义的、逐张量混合的混合格式。
byteshape/Qwen3.8-27B-GGUF仓库显示,上个月的下载量达到2,056,119次,可见本地AI社区中已有相当多的人在使用它。
之所以选择IQ3_XS版本,是因为它搭配Q8 KV缓存后还能给128k上下文留出空间。KV缓存是模型为每个已读取的token保留的记忆;以8位精度存储可以缩小这部分占用,这正是长上下文能塞进16GB显卡的原因。
测试机器
| 部件 | 规格 |
|---|---|
| 操作系统 | Ubuntu Server 24.04.4 |
| 主板 | 华硕 TUF Gaming X570-PLUS |
| CPU | AMD Ryzen 5700X |
| 内存 | 32GB DDR4 3600MHz |
| 存储 | ADATA Pro 960 2TB Gen4 SSD |
| 推理GPU | 英伟达 RTX 2000 Ada,16GB,70W |
| 推理服务 | llama.cpp(llama-cpp-server) |
机器里还装了一张32GB的RTX 5090,但只用于加快批量基准测试的运行速度。下文所有关于模型本身的结果都来自那张16GB显卡。配置过程中暴露了这张卡的一个限制:试图调高预填充批大小时,因显存余量不足而失败。
128k上下文下的吞吐量
预填充是模型读取提示词的阶段;解码是模型写出答案的阶段。带缓存的预填充会复用之前轮次的KV缓存条目,所以数字会呈现惊人的增长。
| 指标 | 结果 |
|---|---|
| 冷预填充,512 token提示词 | 323.8 token/s |
| 冷预填充,8k提示词时的峰值 | 446.5 token/s |
| 32k无缓存预填充 | 391.6 token/s |
| 带KV缓存预填充,512 token | 2,205.9 token/s |
| 带KV缓存预填充,32k token | 87,677.4 token/s |
| 解码生成 | 31.0-31.7 token/s |
解码速度在不同生成长度下都稳定在每秒约31个token,对于一个运行在70W显卡上的稠密27B模型来说,这看起来已经是可用的交互式速度,而不只是批处理水平。
长上下文记忆与推理
大海捞针测试会把一个六位数的密钥藏进一大段文本中,分别放在上下文0%、25%、50%、75%和100%的深度,然后让模型把它找出来。在15次试验中,上下文最多达到256,608个token,模型每次都找到了密钥,拿下15分满分。整轮测试耗时55分53秒。有一点需要注意:当密钥位于上下文中部,也就是25%和50%深度时,回答变得更啰嗦,并暴露出比理想的一行答案更多的内部推理过程。

▲ 深层上下文下的大海捞针召回
分级推理基准测试由48道题组成,平均分布在四个难度级别,每道题的平均延迟为6,324毫秒。
| 级别 | 得分 |
|---|---|
| 简单 | 12/12(100%) |
| 中等 | 12/12(100%) |
| 困难 | 10/12(83.3%) |
| 专家 | 6/12(50.0%) |
| 总计 | 40/48(83.3%) |
按主题看,空间推理、状态跟踪和时间推理全部拿到100%,逻辑94%,概率86%。薄弱环节是约束问题的50%和信息论的0%。对于一个每权重约3比特存储的稠密27B模型,困难和专家级别的成绩算得上扎实,但谈不上出众。
HumanEval Remix包含100道Python编程题,总体通过率为77%。模型尝试了94道题,通过77道,在已作答题目中通过率为81.9%,另有6道完全未作答。平均延迟12,461毫秒,整轮耗时20分46秒。正是那些未作答的题目拉低了总体数字。
智能体构建的三个浏览器应用
每个编程任务都以智能体会话的形式运行,并由Playwright测试框架驱动无头Chrome自动验证结果。
SeatPlan:活动座位规划器
纸面上看这是三者中最难的一个:拖放重排桌子、分配宾客、调整座位顺序,还要在多个模态视图中搜索和筛选。最终版本通过了全部9项验证标准和全部45条测试断言,用掉64.1%的上下文,经历一次压缩和三次用户提示。
这个过程暴露了模型最主要的操作缺陷。最初几次尝试中,它试图一口气写完整个应用,反复超出最大输出token限制,代码在文件中途被截断。解决办法是修改系统提示词:明确写出严格的token上限,并告诉模型不要尝试一步到位的大规模重写。此后只用两次简短的追加提示,就修好了一个无法关闭的模态窗口和一个失效的拖放处理函数。
落沙沙盒
第二个任务要求做一个元胞自动机沙盒,包含沙、水、墙、酸和橡皮擦,并支持调节画笔大小。结果中,沙子堆成了沙丘,水向两侧扩散,酸能腐蚀墙壁和沙子。5次运行全部通过16条断言,零压缩、零提示词修改,也没有截断问题,上下文使用率52.5%。遗留了一个缺陷:沙粒偶尔会穿过静止的水向上"瞬移"。这个特定的bug似乎在许多语言模型面对同一提示词时都会出现,所以它更像是一个难题,而不是这个量化版本特有的弱点。
DUNGEON :: FORGE:程序化2D地牢探索
第三个任务是一个俯视角地牢生成器,采用二叉空间分割,即递归地把地图切分成房间的方法,再结合射线投射战争迷雾,只显示玩家视线范围内的地形。游戏跟踪玩家移动、视野半径、逐房间照明以及地图已探索的百分比。早期版本中视线会穿透墙壁;一次追加提示很快修好了射线投射逻辑,之后房间保持封闭,未探索地形也随着玩家移动平滑展开。外围墙壁边缘仍残留一些细小的三角形阴影瑕疵。该会话使用了73.4%的上下文,没有压缩,两次用户提示,并且在处理之前也出现了与SeatPlan相同的初始截断问题。
通过MCP操作Blender和Godot
最后两个任务通过模型上下文协议(MCP)把模型接入真实应用,这是一种让模型调用其他软件内部工具的标准。

▲ Blender灯笼渲染与未完成的Godot关卡
在Blender中,任务是建模并渲染一盏"星陨灯笼"。模型做出了一盏敦实的六边形灯笼,带有竖直的笼栅和顶部挂钩,内核为发光的黄色自发光材质,框架为金属金色。视口平移没有任何卡顿,这似乎归功于模型生成的低多边形几何体。四张1920x1080的渲染图每张2.0-2.1 MB。两处不足:要求的下缘悬挂装饰缺失,玻璃罩出现了奇怪的泛光或反射光晕。该会话只用了21.2%的上下文,经历一次压缩,不过它最初只把渲染结果发送到MCP缓冲区,直到被问到截图在哪里才保存到磁盘。对于一个3比特模型生成的优化版实时游戏资产,这个结果看起来可以接受。
Godot则是失败的那一个。任务要求做一个完整的3D平台关卡,包含移动平台、可收集的钥匙、深坑陷阱和关卡终点触发器。关卡本身渲染得很漂亮,柔和的粉彩表面,悬浮平台架在深渊上方。但实际游玩是另一回事:鼠标垂直视角是反的,悬浮的球形钥匙无法拾取,中央的移动平台够不着,掉进深坑后镜头在虚空中翻滚,没有重生。终端显示了原因。模型陷入了重复的思维循环,满是"hmm"和"wait"之类的字符串,不断消耗token却毫无进展。即使直接指示它停止测试、只修鼠标反转和钥匙碰撞,它还是回到同样的循环。经过七次压缩、88.5%的上下文使用后,会话被中止。如果换一个全新的上下文,而不是在已经被这么多次压缩拖垮的线程里继续,这个任务或许会有更好的机会。
智能体任务成绩单
| 任务 | 结果 | 用户提示 | 压缩次数 | 上下文使用率 |
|---|---|---|---|---|
| 座位规划器 | 通过 | 3 | 1 | 64.1% |
| 沙子物理 | 通过 | 0 | 0 | 52.5% |
| 地牢探索 | 通过 | 2 | 0 | 73.4% |
| Blender灯笼 | 通过 | 1 | 1 | 21.2% |
| Godot移动平台 | 失败 | 4 | 7 | 88.5% |
与基础模型量化版的对比
同一组任务此前也跑过Unsloth以Q3_K_XL量化的基础Qwen模型,那是一个更大的文件。ByteShape的IQ3_XS版本攻克了要求苛刻的座位规划器,而基础量化版在更简单的看板应用上就已吃力。在Godot中,基础模型直接失败,ByteShape版本则在陷入循环前已接近做出可玩的关卡。基础模型唯一领先的地方是Blender的美术效果,它做出的灯笼视觉细节更丰富、更精致。总体来看,体积更小的ByteShape版本在大多数技术性工作上似乎胜过更大的基础量化版,3D资产的外观是例外。
结论与建议
对于手里有一张16GB显卡、又想要一个带真正长上下文的27B级模型的人来说,这个版本能胜任:256k token范围内召回全部命中,分级推理83%,HumanEval Remix通过率77%,五项智能体任务通过四项。如果主要用途是在Blender里生成漂亮的3D资产,基础的Q3_K_XL量化版可能是更好的选择;如果是代码生成和多步骤智能体工作,ByteShape版本看起来更强。
运行时有几条做法值得注意:


