270億パラメータの言語モデルが、128kトークンのコンテキストウィンドウをフルに保ったまま、消費電力70Wの16GBグラフィックスカード1枚の中だけで動くようになりました。ByteShapeがShapeLearn量子化を施したQwen3.8-27Bは、重み1つあたり約3.01ビットのIQ3_XS版で、ごく普通の自宅サーバー上でこれを実現し、その上でスループット、メモリ、推論、コーディング、エージェントの一連のテストを受けました。結論を先に言えば、長いコンテキストでの想起は完璧で、推論とPythonの結果は堅実、ブラウザアプリ3本とBlenderのアセットは動くものが仕上がり、3DのGodotレベルだけが崩壊しました。その過程で、運用上の癖がひとつ繰り返し現れました。大きなコードブロックを書くとき、プロンプトで禁じない限り、出力トークンの上限を超えてしまう傾向があるのです。

ShapeLearnは何が違うのか

量子化は、重みをより少ないビット数で保存してモデルを小さくする手法です。これを2、3、4ビットまで下げると、通常は知能が犠牲になります。ShapeLearnのアプローチは、モデル全体に一つの方式を当てはめるのではなく、テンソルごとに最適なデータ型を個別に学習するもので、ByteShapeによれば、非常に低いビット幅でも品質が保たれるとしています。モデルカードには、IQ4_XSやIQ3_XSといったラベルはHugging Faceの互換性テーブルにファイルを収めるためだけに付けられており、実際のフォーマットはテンソルごとに混在する独自のハイブリッド形式だと記されています。

byteshape/Qwen3.8-27B-GGUFのリポジトリは直近1か月で2,056,119回のダウンロードを記録しており、ローカルAIコミュニティの大部分がすでに手に取っていることがうかがえます。

IQ3_XSビルドを選んだのは、Q8のKVキャッシュと組み合わせれば128kコンテキストの余地が残るからです。KVキャッシュとは、モデルがすでに読み込んだすべてのトークンについて保持しているメモリのことで、これを8ビット精度で保存するとフットプリントが縮み、長いコンテキストが16GBのカードに収まるようになります。

テストマシン

構成要素 仕様
OS Ubuntu Server 24.04.4
マザーボード ASUS TUF Gaming X570-PLUS
CPU AMD Ryzen 5700X
RAM 32GB DDR4 3600MHz
ストレージ ADATA Pro 960 2TB Gen4 SSD
推論用GPU NVIDIA RTX 2000 Ada、16GB、70W
推論サーバー llama.cpp(llama-cpp-server)

32GBのRTX 5090も搭載されていましたが、バッチでのベンチマーク実行を速めるためだけに使われています。以下のモデル自体に関する結果は、すべて16GBカードで得たものです。セットアップ中にこのカードの限界がひとつ表面化しました。プリフィルのバッチサイズを上げようとすると、メモリの余裕が足りずに失敗したのです。

128kコンテキストでのスループット

プリフィルはモデルがプロンプトを読み込む段階、デコードは回答を書き出す段階です。キャッシュ済みプリフィルは前のターンのKVキャッシュのエントリを再利用するため、これほど劇的にスケールします。

指標 結果
コールドプリフィル、512トークンのプロンプト 323.8トークン/秒
コールドプリフィル、8kプロンプトでのピーク 446.5トークン/秒
キャッシュなしプリフィル、32k 391.6トークン/秒
KVキャッシュ済みプリフィル、512トークン 2,205.9トークン/秒
KVキャッシュ済みプリフィル、32kトークン 87,677.4トークン/秒
デコード生成 31.0 ~ 31.7トークン/秒

デコード速度は生成長によらず毎秒約31トークンで安定しており、70Wカード上の密な27Bモデルとしては、バッチ専用ではなく対話的に使える速度に見えます。

長文コンテキストの記憶と推論

Needle-in-a-Haystackテストは、大量のテキストの中にコンテキストの0%、25%、50%、75%、100%の深さで6桁のパスキーを隠し、モデルにそれを取り出させるものです。最大256,608コンテキストトークンに達する15回の試行で、モデルは毎回キーを見つけ出し、15回中15回の成績でした。全体の実行時間は55分53秒です。ただし注意点がひとつあり、針がコンテキストの中ほど、25%と50%の深さにあるときは、理想的な1行の回答に比べて応答が冗長になり、内部の推論過程が目に見える形で多く含まれていました。

高く積まれた紙の束の中ほどに埋もれた1枚の明るいカード、上に置かれた虫眼鏡と脇のストップウォッチ

▲ 深い位置でのNeedle-in-a-Haystack

段階別の推論ベンチマークは、4つの難易度に均等に分けた48問で構成され、1回答あたりの平均レイテンシは6,324ミリ秒でした。

難易度 スコア
Easy 12/12(100%)
Medium 12/12(100%)
Hard 10/12(83.3%)
Expert 6/12(50.0%)
全体 40/48(83.3%)

トピック別では、空間、状態追跡、時間的推論がいずれも100%、論理が94%、確率が86%でした。弱点は制約問題の50%と情報理論の0%です。重み1つあたり約3ビットで保存された密な27Bモデルとしては、HardとExpertの結果は傑出しているというより堅実といったところです。

Pythonのプログラミング課題100問からなるHumanEval Remixでは、全体の合格率は77%でした。モデルは94問に取り組んでそのうち77問に合格し、回答した問題に限れば81.9%の合格率で、6問は手つかずのままでした。平均レイテンシは12,461ミリ秒、実行時間は20分46秒です。見出しの数字を押し下げているのは、この未回答の問題です。

エージェントが作ったブラウザアプリ3本

各コーディング課題はエージェントセッションとして実行し、Playwrightのハーネスがヘッドレス版Chromeを操作して結果を自動検証しました。

イベント座席プランナー「SeatPlan」

3本の中で机上では最も難しい課題です。ドラッグ&ドロップでのテーブル配置変更、ゲストの割り当て、座席の並べ替え、複数のモーダルビューにまたがる検索とフィルタリングが求められました。最終ビルドは9つの検証基準と45のテストアサーションをすべて通過し、コンテキスト使用率は64.1%、コンパクションは1回、ユーザープロンプトは3回でした。

ここに至る過程で、このモデルの主な運用上の欠点が露わになりました。最初の試行では、アプリケーション全体を一気に書こうとして出力トークンの上限を繰り返し超え、コードがファイルの途中で切れてしまったのです。解決策はシステムプロンプトの変更でした。厳格なトークン上限を明示し、巨大な単一ステップの書き直しを試みないよう指示します。その後は、閉じられないモーダルウィンドウと壊れたドラッグ&ドロップのハンドラを直すのに、短い追加指示が2回あれば十分でした。

落下する砂のサンドボックス

2つ目の課題は、砂、水、壁、酸、消しゴムを備え、ブラシサイズを調整できるセルオートマトンのサンドボックスです。結果は、砂が積もって山になり、水が横に広がり、酸が壁と砂を溶かしていく様子を示しました。5回の実行で16のアサーションすべてに合格し、コンパクションはゼロ、プロンプトの修正もゼロ、切り詰めの問題もなく、コンテキスト使用率は52.5%でした。欠陥はひとつ残りました。砂の粒子が時おり、溜まった水の中を上方向に瞬間移動するのです。このバグはこのプロンプトを与えた多くの言語モデルに現れるようで、この量子化に固有の弱点というより難しい問題と読めます。

手続き生成の2Dクローラー「DUNGEON :: FORGE」

3つ目の課題は、マップを再帰的に部屋へ分割する手法である二分空間分割を使った見下ろし型のダンジョン生成器で、プレイヤーの視線内にある地形だけを明らかにするレイキャストの戦場の霧を組み合わせたものです。ゲームはプレイヤーの移動、視界半径、部屋ごとの照明、マップの探索済み割合を追跡しました。初期には視線が壁を突き抜けて漏れていましたが、追加プロンプトでレイキャストのロジックは速やかに修正され、以降は部屋が閉じたままになり、未探索の地形がプレイヤーの移動に合わせて滑らかに明らかになりました。外周の壁沿いには小さな三角形の影のアーティファクトが残りました。セッションのコンテキスト使用率は73.4%、コンパクションはなし、ユーザープロンプトは2回で、SeatPlanと同じ初期の切り詰め問題が現れたあと対処されました。

MCP経由のBlenderとGodot

最後の2つの課題では、モデルが他のソフトウェア内のツールを呼び出せるようにする標準規格、Model Context Protocol(MCP)を通じて、モデルを実際のアプリケーションにつなぎました。

作業台の上で光る六角形の檻型ランタンと、その隣にある落とし穴付きの作りかけの浮遊ゲームプラットフォームの模型

▲ Blenderのランタンと未完成のGodotレベル

Blenderでの課題は「Starfallランタン」のモデリングとレンダリングでした。モデルは、縦の檻状のバーと上部の取り付けフックを備えたどっしりした六角形のランタンを作り、発光する黄色のコアと金属調の金色のフレームを与えました。ビューポートのパンには一切の遅延がなく、これはモデルが生成したローポリゴンのジオメトリによるものと見られます。1920x1080のレンダリング4枚は、それぞれ2.0 ~ 2.1MBで出力されました。欠点は2つです。要求していた下縁周りの吊り飾りが欠けており、ガラスのケースには奇妙なブルームか反射のハローが出ていました。セッションのコンテキスト使用率はわずか21.2%でコンパクションは1回でしたが、当初はレンダリング結果をMCPのバッファにしか送らず、スクリーンショットはどこにあるのかと尋ねられるまでディスクに保存しませんでした。3ビットモデルが作る最適化済みのリアルタイムゲームアセットとしては、許容できる結果に思えます。

Godotは失敗でした。課題は、動くプラットフォーム、収集できる鍵、落とし穴のハザード、レベル終了のトリガーを備えた完全な3Dプラットフォーマーのレベルです。レベル自体はパステル調の表面と奈落の上に浮かぶプラットフォームで魅力的に描画されました。しかしプレイしてみると話は別でした。マウスの上下視点が反転し、浮遊する球体の鍵は拾えず、中央の動くプラットフォームには届かず、落とし穴に落ちるとカメラが虚空を転がり落ちてリスポーンしません。ターミナルを見ると理由が分かりました。モデルは「hmm」や「wait」といった文字列だらけの反復的な思考ループに陥り、進展のないままトークンを消費していたのです。テストをやめてマウスの反転と鍵の衝突判定だけを直せと直接指示しても、同じループに戻ってしまいました。コンパクション7回、コンテキスト使用率88.5%の時点でセッションは打ち切りとなりました。これほど多くのコンパクションで劣化したスレッドではなく、新しいコンテキストで始めていれば、この課題はもっと良い結果になったかもしれません。

エージェントの成績表

課題 結果 ユーザープロンプト コンパクション コンテキスト使用率
座席プランナー 合格 3 1 64.1%
砂の物理 合格 0 0 52.5%
ダンジョンクローラー 合格 2 0 73.4%
Blenderのランタン 合格 1 1 21.2%
Godotの動くプラットフォーム 不合格 4 7 88.5%

ベースモデルの量子化版との比較

同じ課題セットは以前、UnslothがQ3_K_XLで量子化したベースのQwenモデル、つまりより大きなファイルに対しても実行されていました。ByteShapeのIQ3_XSビルドは要求の厳しい座席プランナーをクリアしましたが、ベースの量子化版はより単純なカンバンボードで苦戦していました。Godotでは、ベースモデルは完全に失敗したのに対し、ByteShapeビルドはループに陥る前に動くレベルの手前まで迫りました。ベースモデルが上回った唯一の領域はBlenderの見た目で、そのランタンは視覚的なディテールと仕上がりに優れていました。総じて、より小さいByteShapeビルドは、3Dアセットの見栄えを例外として、大半の技術的な作業でより大きなベース量子化版を上回っているように見えます。

結論として押さえておきたいこと

16GBカードを持っていて、本当に長いコンテキストを備えた27Bクラスのモデルが欲しい人にとって、このビルドは役目を果たします。256kトークンまで完璧な想起、段階別推論で83%、HumanEval Remixで77%、エージェント課題5つのうち4つに合格という結果です。主な用途がBlenderで見栄えのよい3Dアセットを生成することなら、ベースのQ3_K_XL量子化版のほうが良い選択かもしれません。コード生成や複数ステップのエージェント作業なら、ByteShapeビルドのほうが有力に見えます。

運用する際には、いくつかの実践が重要です。

  • 出力トークンの上限をシステムプロンプトに書き、すべてを1ターンで書き直さないようモデルに指示する。テストではこれで切り詰めの問題が解消した。
  • 最大出力を過度に高く設定しない。コンテキストのコンパクションを招く。
  • 大きなリファクタリングは複数ファイルの書き直しではなく、モジュール単位のステップに分ける。
  • llama.cppで3ビットの重みにQ8のKVキャッシュを組み合わせ、128kコンテキストを16GBに収める。
  • MCPで自動テストを行うときは、応答しないプロセスで固まらないよう、厳格な実行タイムアウトを設定するようモデルに指示する。
  • MCP経由のBlenderレンダリングでは、カメラビューをPNGファイルとしてディスクに保存しなければならないと最初に伝える。
  • エージェントセッションが「hmm」や「wait」でループし始めたら、コンパクションを重ねたスレッド内で再プロンプトするのではなく、コンテキストをリセットする。