Gyro-Mは、Qwen3.8-Flash-Next-Gyroの中型版です。16GBのグラフィックスカードで動作し、6部構成のテストスイートに含まれる実践的なコーディング課題をすべてクリアしました。長文コンテキストの検索とPythonのコーディングベンチマークでも、満点に近いスコアを出しています。ただし、より小型のGyro-Sも同じプロジェクトの大半を同程度の結果で仕上げています。そのため、乗り換えるべきかどうかは、完成したコードの品質よりも、手元のハードウェアと、ツールの信頼性をどこまで重視するかで決まります。

テスト環境:16GBのVRAMと64GBのDDR4

テストしたモデルファイルはQwen3.8-Flash-Next-Gyro-M-TQ2_0.ggufで、サイズ9.2 GBの量子化版です。量子化とは、モデルの重みを圧縮して、より少ないメモリに収まるようにする手法です。このファイルを、モデルサービング用フレームワークのStrataを使い、128kトークンのコンテキストウィンドウでローカルに動かしています。

推論用のハードウェアは、16GBクラスのローカル環境を代表する構成です。

  • OS:Ubuntu Server 24.04.4
  • マザーボード:ASUS TUF Gaming X570-PLUS
  • CPU:AMD Ryzen 5700X
  • 推論用GPU:NVIDIA RTX 2000 Ada Generation(VRAM 16GB)
  • セカンダリGPU:RTX 5090(VRAM 32GB)。テストの自動化を補助します
  • システムメモリ:DDR4 3600MHzの64GB(16GBのDIMMを4枚)
  • ストレージと電源:2TBのGen4 SSDと1200WのATX電源

システムメモリを64GBに増やしたのには、はっきりした理由があります。Strataが大きなモデルをメモリ上に保持でき、コンテキストをSSDに退避させずに済むからです。

速度:プリフィルとデコード

ローカルモデルの体感速度は、2つの数値で表せます。プリフィルはモデルがプロンプトを読み込む速度、デコードは回答を書き出す速度です。

何もキャッシュされていないコールド状態のプリフィルは、プロンプトが長くなるほど速くなります。

プロンプトのサイズ コールド時のプリフィル(トークン/秒)
512トークン 354.4
2kトークン 633.8
8kトークン 941.3
16kトークン 1,002.0
32kトークン 1,025.0

プロンプトがすでに処理され、キーバリューキャッシュに保存されている場合、プリフィルははるかに高速です。キャッシュ利用時のプリフィルは、512トークンのプロンプトで毎秒2,645.2トークンから始まり、32kのプロンプトでは毎秒96,123.8トークンに達します。

デコード速度は16GBのカードで安定しています。256トークンの短い生成では毎秒54.9トークン、8kの生成では毎秒48.2トークンで、実行全体をまとめたスコアカードではデコードが毎秒57.8トークンと記録されています。

記憶と推論

長文コンテキストの検索

「干し草の中の針」テストは、非常に長い文書の中にパスキーを隠し、モデルに探させるものです。今回のテストは125,536コンテキストトークン、15回の試行で構成され、パスキーは文書の0%、25%、50%、75%、100%の深さに配置されています。

Gyro-Mは15回の試行すべてに3分48秒で合格しました。どの深さでもスコアは100%です。最も難しいのは75%の深さとみられます。この位置では、正しく答える前の内部の推論トレースが目に見えて長くなるためです。

論理と確率

推論ベンチマークは、4段階の難易度に分かれた48問の論理・確率問題で構成されています。Gyro-Mはそのうち41問、割合にして85.4%に正解しました。平均レイテンシは3,889 ms、総実行時間は3分6秒です。

難易度 正解数 正解率
初級 12問中12問 100%
中級 12問中12問 100%
上級 12問中11問 91.7%
エキスパート 12問中6問 50.0%

この傾向からは、一般的な論理には強い一方で、最上位の難易度でははっきりした限界があることがうかがえます。エキスパートで50%というスコアは、ローカルモデルとしては悪くないように見えますが、最先端の商用モデルと並べると際立つものではありません。

HumanEval Remix:100問中、失敗は1問

HumanEval Remixは、100問のPythonプログラミング課題のセットです。Gyro-Mは100問すべてに回答し、99問を初回の試行で正しく解きました。合格率は99%です。実行にかかった時間は18分30秒、課題あたりの平均レイテンシは11,101 msでした。

クリップボードを持った人物が、縦横10枚ずつ並んだ光るタイルの壁に向き合っており、隅の近くに1枚だけ暗いタイルがある

▲ 100問のコーディング課題で唯一の失敗

失敗が1問だけというのは見事な結果です。同時に、このベンチマークがトップクラスのローカルモデルには易しくなりすぎている可能性もうかがえ、Qwen 4のような次世代が登場する前に、より難しい問題が必要になるかもしれません。

6つの実践課題:Gyro-Sとの比較

ベンチマークで分かることには限りがあるため、スイートには6つの構築課題も含まれています。Gyro-Mは6つすべてに合格しました。ここで役に立つ指標は、各モデルがどれだけ手助けを必要としたかです。押さえておきたい用語は2つあります。コンパクションは、セッションが空きを作るために、それまでのコンテキストを圧縮するポイントのことです。コンテキスト使用率は、コンテキストウィンドウのうち使用中の割合で、セッションログではこのウィンドウを131kトークンとして数えています。

テーブル、砂の箱、石の迷路、ランタン、足場、村という6つのミニチュア模型が並ぶ作業台

▲ 6つの実践的なコーディング課題

課題 Gyro-M Gyro-S
イベント座席プランナー コンパクション0回、コンテキスト57.5%、追加プロンプトなし コンパクション2回、コンテキスト42%、同じテーブル内でのゲストのドラッグが欠落
Sand Physics 2.0 コンパクション1回、コンテキスト62.3% コンパクション0回、コンテキスト84%、テストのタイムアウトによるハング後に追加プロンプト1回
Dungeon Crawler 2.0 コンパクション2回、コンテキスト59%、追加プロンプトなし コンパクション2回、コンテキスト81%
Blenderのランタン コンパクション2回、コンテキスト53.5%、追加プロンプトなし コンパクション1回、コンテキスト49%、スクリーンショット取得中にBlenderが繰り返しクラッシュ
Godotの3Dプラットフォーマー コンパクション6回、コンテキスト55.8%、修正プロンプト1回 コンパクション5回、コンテキスト81%
漁村のジオラマ コンパクション3回、コンテキスト71.7% 報告なし

イベント座席プランナー

このWebアプリでは、テーブルを追加してドラッグで動かしたり、ゲストを同じテーブル内の席やテーブル間で移動したりできます。インスペクターのサイドバー、ゲスト検索、家族、VIP、スタッフといったゲストの区分によるフィルター、トースト通知、ダークとライトのテーマ切り替えも備えています。49件のnpmテストはすべて合格し、失敗はゼロでした。Gyro-Mが使ったトークンは約75.6kで、介入は不要でした。ここがGyro-Mの最も明確な勝ちどころです。Gyro-S版では、同じテーブル内でゲストをドラッグできませんでした。

Sand Physics 2.0

このブラウザ上のシミュレーションは、落下する砂、水、水に浮く油、壁、油の層を燃やす火、水を沸騰させて蒸気に変える溶岩を再現します。Gyro-Mはコンパクション1回で完成させ、131kトークンのうち82.1kを使いました。Gyro-Sはコンパクションを必要としませんでしたが、テスト実行がタイムアウトでハングした際に追加のプロンプトが必要でした。この課題では、2つのモデルはほぼ互角です。

Dungeon Crawler 2.0

この2D見下ろし型ゲームは、リアルタイムのレイキャスティング、動的ライティング、フォグ・オブ・ウォー、ミニマップを備えています。プレイヤーの体力が減ると見える光の半径が縮み、たいまつで回復します。プレイヤーは鍵を見つけ、扉を開けて脱出しなければなりません。Gyro-Mは追加のプロンプトなしで、ゲーム全体を1,679行の自己完結したHTMLとJavaScriptのファイルとして書き上げました。どちらのモデルも見た目も操作感も同じゲームを作りましたが、Gyro-Mのほうがコンテキストの負荷を抑えて仕上げています。

MCP経由のBlenderランタン

Model Context Protocol(MCP)は、モデルを外部ツールにつなぐプロトコルです。Gyro-MはMCPを通じて、Blenderで装飾的なファンタジー風のランタンをモデリングし、ライティングとカメラを設定して、複数アングルのレンダリングを自力で取得しました。仕上がりには、きれいなジオメトリ、金色のフレーム、ティール色を帯びたガラスパネル、光るコア、宙に浮くピンクのクリスタルが見られます。

Gyro-Sのランタンも課題を満たしており、フレームはよりずんぐりしていて、ライティングは暗めです。どちらの見た目が良いかは好みの問題ですが、Gyro-Mのほうがプロポーションとガラスのシェーディングは洗練されているように見えます。実用面での違いは安定性です。同じMCPツール呼び出しが、Gyro-Mではクラッシュなしで動いたのに対し、Gyro-Sの実行ではスクリーンショット取得中にBlenderが繰り返しクラッシュしました。少なくとも今回の実行に限れば、Gyro-Mのほうがツール呼び出しの順序立てを確実にこなせることがうかがえます。

Godotの3Dプラットフォーマー

最も要求の厳しい課題は、Godot 4.1で完全な3Dゲームを作るものです。動く足場、宙に浮く鍵、落ちるとリスポーンする危険な穴、チェックポイント、ゴールが求められます。Gyro-Mのビルドは仕様どおりに動作します。鍵を取るとカウンターが増え、往復する足場とエレベーターで残りの鍵に届き、チェックポイントが進行状況を保存し、3つ目の鍵を取るとゴールが解放されます。面が重なる箇所には、わずかなZファイティングのアーティファクトが現れます。

修正プロンプトが1回必要でした。最初のバージョンではマウスによる視点操作が効かず、プレイヤーが立ち止まっていてもカメラが小刻みに速く揺れていました。Gyro-MはGDScriptで、ヘッドボブのオフセットにローパスフィルターをかけ、速度に応じた周期にクランプを設けることで、両方を修正しました。Gyro-Sも完全なゲームを作り上げ、こちらは強いブルーム効果がかかっていました。

漁村のジオラマ

実験的なThree.jsのシーンで、制約のないデザインを試す課題です。Gyro-Mは、色とりどりの家、木の桟橋、小舟、岸辺の水面シェーダー、頭上を旋回するカモメを、途中の軌道修正なしで作り上げました。屋根のジオメトリはやや乱れてずれており、自由度の高い建築系の課題が依然として難しいことを映しています。

同様の構成で試すときの実用メモ

  • 16GBのGPUでGyro-MをStrataで動かすなら、TQ2_0のファイルを選びます。
  • システムRAMは64GBを検討します。長いセッションでも、Strataが大きなコンテキストをSSDに押し出さずに済みます。
  • 自動テストを実行するコーディングプロンプトには、明示的なタイムアウトの指示を入れます。テストランナーが固まっても、セッションがハングしないようにするためです。
  • MCP経由でモデルをBlenderにつなぐときは、タイムアウトやクラッシュの際にツールがパイプラインを止めてしまうのではなく、復旧可能なエラーメッセージを返すようにします。
  • モデルサイズの優劣は、推論スコアだけでなく、実際の開発作業で判断します。

Gyro-SからGyro-Mに乗り換えるべきか

スコアで上回るのはGyro-Mです。長文コンテキストの検索は15回中15回、推論は85.4%、HumanEval Remixは99%、構築課題は6つ中6つに合格しました。いくつかのプロジェクトではコンテキストの使用量も少なく、Blenderのツールチェーンもクラッシュなしで動かしています。

ただし、完成したコードで見ると差はわずかです。Gyro-Sはダンジョンクローラー、砂のシミュレーション、Godotのゲームを同等の結果で完成させており、明確な不足は、ドラッグ機能が1つ欠けていたこととBlenderのクラッシュに限られます。

妥当な読み方は次のとおりです。

  • すでに16GBのVRAMと十分なシステムメモリがあるなら、Gyro-Mは試す価値があります。特にMCPのツール作業や、長時間の自律的なセッションに向いています。
  • VRAMや計算資源に余裕がないなら、Gyro-Sを使い続けましょう。ほぼ同じ開発作業をこなせますし、新しいハードウェアが必要だと示す材料はここにはありません。
  • いずれの場合も、決める前に自分のプロジェクトの1つで両方のモデルを動かしてみてください。

より大型のGyro-Lというバリアントも存在しますが、このクラスのハードウェアで動かせるかどうかは、まだ答えが出ていません。