コーディングハーネスを入れ替えてもモデルが同じなら、バグ修正のスコアはほとんど動きません。これは、ローカルモデル1つ、Qwen 3.8 27Bを4種類のコーディングエージェント、Claude Code、OpenCode、Pi、そして新登場のDeepSeek Harnessに接続した統制されたテストから得られた主な結論です。それぞれの組み合わせに、SWE-rebenchスイートから選んだ同一の68件の実在するGitHub issueを、30分の制限時間で取り組ませました。結果はClaude Codeが27件、OpenCodeとDeepSeek Harnessがそれぞれ24件、Piが22件を修正しました。この差は、エージェントのロジックの実質的な違いではなく、ばらつきの範囲で説明できる程度の小さなものです。一方で大きく異なったのは、各ハーネスをローカルサーバーに対して正しく動かすまでにどれだけの手間がかかったか、そして動き始めた後にGPUをどれだけ効率的に使ったかという点でした。

何をどう検証したのか

ハーネスとは、言語モデルを自律的なエージェントに変えるソフトウェア層です。システムプロンプト、ファイル編集やシェルコマンド実行のためのツール、そしてタスクが終わるまでモデルを動かし続けるループを提供します。モデルは同じでも、モデルに何を見せ、何をさせるかはハーネスが決めます。

構成には、UnslothのQwen 3.8 27B UD Q4_K_XL GGUFファイルを、llama.cppのllama-serverで配信して使いました。バージョンは固定しています。Claude Code 2.1.300、OpenCode 1.14.43、Pi 1.0.4、DeepSeek Harness 0.2.0-rc.2、llama.cppはビルドb1-8ed274eです。llama-serverの設定も事前に固定しました。コンテキスト長は20万トークン、フラッシュアテンション有効、スロットは1つ(-np 1)、キーと値のキャッシュはq4_0で量子化、バッチサイズは4096と512、ドラフトトークン最大2つのMTP投機的デコーディング、そしてチャットテンプレート用の--jinjaフラグです。

すべてのハーネスに同じ入力を与えました。SWE-rebenchのissue説明文と、人の助けを借りずにissueを修正するよう指示する短い文です。タスクはpandas、scikit-learn、loguru、sqlfluffなどのPythonリポジトリから選び、エージェントが一度も目にしない非公開のテストスイートで自動採点しました。

68件のタスクを4つのハーネスで実行すると272回の実行になり、1回あたり最長30分かかります。これをRTX 3090 Ti 1枚でこなすのは現実的ではないため、NVIDIA RTX A6000を8基搭載したクラウドマシンを1時間あたり約$2.19で借り、並行して実行しました。当初の計画では156件のバグを対象にする予定でしたが、計算コストの都合で68件に絞りました。

結果と、それが引き分けに見える理由

ハーネス 修正したバグ数(68件中)
Claude Code 27
OpenCode 24
DeepSeek Harness 24
Pi 22

合計より重なりの方が多くを語ります。Claude CodeとDeepSeek Harnessをバグごとに比べると、両者が修正したのは同じ22件で、失敗したのも同じ39件でした。Claude CodeはDeepSeek Harnessが逃した5件を拾い、DeepSeek HarnessはClaude Codeが逃した2件を拾いました。事前に判定ルールを登録したペアごとのギャップ分析では、6組のハーネスの組み合わせのうち5組で大きな差、つまり68件のうち14件を超える差は否定されました。小さな差については統計的に結論が出ていません。

パズルのピースが5つの山に分けられ、両端の2つの山が最も高く、4本の腕がそれらを指している

▲ 全ハーネスが解けなかったバグと全てが解いたバグ

4つのハーネス全体で見ると、33件はどのハーネスも解けず、16件はすべてのハーネスが解きました。1つのハーネスだけが解いたバグは7件、2つが解いたのは10件、3つが解いたのは2件にとどまります。言い換えれば、68件のうち49件は、どのエージェントが動いていても同じ結果になりました。成功を左右するのは、ハーネスよりも個々のバグの難易度であるように見えます。

この数字には2つの注意点があります。Qwen 3.8はベンチマークのissueの多くが作られた後に公開されたため、学習データに解法の一部が含まれている可能性があり、それがハーネス間の差を縮めているかもしれません。また、Claude CodeはAnthropic自身のClaudeモデルを前提に作られているため、オープンウェイトのQwenモデルでの挙動は、Claudeで使った場合の性能を反映していない可能性があります。

まず直す必要があった4つのセットアップ上の問題

ベンチマークを回す前に、ローカル実行に関する4つの問題を解決する必要がありました。ローカル環境を構築する開発者が実際にぶつかりやすいのは、スコアよりもこうした問題です。

Claude Codeが起動しない

llama-serverに直接向けると、Claude Codeは「System message must be at the beginning」というJinjaテンプレートの例外を出して即座にクラッシュしました。新しいビルドのClaude Codeは、環境情報やトークン使用量を更新するため、会話の途中でシステムメッセージを挿入します。Qwen 3.8の標準チャットテンプレートは、コンテキストの先頭にあるシステムメッセージしか受け付けません。

解決策は、Claude Codeとllama-serverの間に置く小さなPythonプロキシでした。途中で送られるシステムメッセージを捕まえ、<system-reminder>タグで包んだユーザーメッセージに書き換えます。それらのメッセージを最初のシステムプロンプトに畳み込むという分かりやすい代案は、意図的に避けました。会話の先頭を変えると、ターンごとにサーバーのKVキャッシュのプレフィックスが無効になるからです。KVキャッシュは、処理済みトークンをGPUが保持している記録です。プロンプトの先頭が変わると何も再利用できず、履歴全体を再処理しなければなりません。

Claude CodeのWeb検索はAnthropicのクラウドエンドポイントに依存しているためローカルモデルでは動きませんが、通常のコード検索はbashコマンドへのフォールバックで機能します。

ハーネスごとに思考レベルを勝手に決める

各ハーネスは、送信するリクエストに独自の推論パラメータとサンプリングパラメータを黙って設定します。Piは推論の努力度をmedium、DeepSeek Harnessはhigh、Claude Codeはhigh努力度のアダプティブ思考を要求し、OpenCodeはtop_pを1.0にハードコードしてQwen推奨の0.9を上書きしていました。古いllama-serverのビルドは推論努力度のタグを無視しますが、新しいビルドはそのまま通すため、ツールごとにモデルの振る舞いが変わってしまいます。比較をエージェントのロジックだけに絞るため、プロキシを拡張し、すべてのリクエストからtemperature、top_p、top_k、reasoning、reasoning_effort、thinking、max_completion_tokensを取り除き、サーバー側の設定だけが効くようにしました。

スロット1つ、キャッシュ1つ

-np 1では、llama-serverはちょうど1つの会話だけをキャッシュに保持します。いくつかのハーネスは、セッションのタイトル生成をモデルに頼むなど、バックグラウンドで副次的な呼び出しを行います。シングルスロットのサーバーでは、その副次呼び出しがメインのコーディング会話を追い出し、次のターンで履歴全体をゼロから再処理することになります。簡単なテストでその影響が確かめられました。最初の呼び出しで処理したプロンプトトークンは370、キャッシュが効いた再実行では4、別のプロンプトがスロットを占めた後は再び370に戻りました。副次呼び出しは、Claude CodeではCLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1やDISABLE_AUTOUPDATER=1といったフラグ、OpenCodeでは固定の--titleで無効化しました。マルチGPUのレンタルマシンでは、llama-serverのRAMプロンプトキャッシュがインスタンスあたり最大8GBを消費してメモリ不足エラーを引き起こしたため、--cache-ram 0で無効にしました。

OpenCodeの検索ツール

テスト用コンテナにはインターネット接続がありませんでした。OpenCodeはGitHubからripgrepのリリースをダウンロードしようとして、全実行を通じて107回失敗した後、シェルのgrepにフォールバックしました。このフォールバックで1回の実行につき1、2回のモデル呼び出しが余計にかかり、OpenCodeは専用の検索ツールが壊れたままベンチマーク全体を完走したことになります。ripgrepを事前にインストールしておけば避けられます。

コンテキスト上限の扱いも異なります。OpenCode、Pi、DeepSeek Harnessはサーバーのコンテキスト長を読み取り、あふれる前に会話を圧縮します。Claude Codeは未知のモデルに対して20万トークンを仮定しますが、今回はたまたまこのサーバーと一致しました。より小さいコンテキストで動かす場合は、最大コンテキストトークン数の環境変数を手動で設定する必要があります。

トークン効率、ハーネスが本当に異なる点

バグに手を付ける前に、各ハーネスは指示とツール定義をGPUに送ります。初期プロンプトが最も軽かったのはPiで1,595トークン、次いでDeepSeek Harnessの2,948、Claude Codeの3,662、OpenCodeの8,665でした。

実行全体では差が広がりました。

ハーネス バグ1件あたり平均処理プロンプトトークン数
Pi 44,000
Claude Code 53,000
OpenCode 60,000
DeepSeek Harness 86,000

DeepSeek HarnessはPiの約1.7倍のプロンプトトークンを処理し、68件のうち54件でPiを上回りました。原因は不具合ではなく機能です。ミドルプルーニングと呼ばれるもので、ツールが長いファイル読み取り結果を返すと、DeepSeek Harnessはコンテキストを節約するため、その過去の結果の中間部分を切り詰めます。あるsqlfluffの実行では、errors.pyの読み取り結果が「tool result middle pruned」のマーカー付きで8,257文字から5,159文字に縮みました。しかし過去のメッセージを編集すると会話のプレフィックスが変わり、サーバーのKVキャッシュの照合が外れて全体の再処理を強いられます。

読み取り機の中で、切り抜いて継いだ部分のある紙テープが、時計が刻む間に先頭まで巻き戻されている

▲ コンテキスト削減が招くプロンプト全体の再処理

キャッシュの無効化はDeepSeek Harnessの68回の実行のうち21回で発生し、処理したトークン全体のおよそ3分の1を占めました。

高速なGPUでは、この影響は聞こえほど大きくありません。全実行のプロンプトトークンの約97パーセントはキャッシュから直接供給されたため、プロンプト処理にかかった時間はバグ1件あたり1.5分から2.3分にとどまり、応答生成には15.2分から15.4分かかりました。キャッシュ再利用なしで動かすApple Macのように、プロンプト処理が遅いハードウェアでは、同じキャッシュ破壊の挙動が実時間を大幅に膨らませる可能性が高いでしょう。これほど異なるアーキテクチャ間の速度比較は慎重に読む必要があります。

制限時間が勝者を変える

同じ実行結果に対して、より早い打ち切り時間を仮定すると順位は入れ替わりました。20分時点ではOpenCodeが22件で首位、Claude CodeとPiが各17件、DeepSeek Harnessが16件でした。28分時点ではClaude Code、OpenCode、DeepSeek Harnessが23件で並びました。Claude Codeの最終的なリードは、30分の枠の最後の2分で生まれたものです。実行時間はハードウェアによって変わるため、これらの打ち切りは示唆にとどまり、決定的なものではありません。

sqlfluffのissue #7617に対するPiのある実行は、固定のタイムアウトがいかに脆いかを示しています。モデルはバグを修正し、29分57秒の時点で4つのテストすべてが通ることを確認しましたが、要約を書いている最中の30分00秒に強制終了されました。得られた差分で非公開テストは合格していたにもかかわらず、この実行は失敗として採点されました。ハーネスは正しい編集を済ませた後も、最後の4、5分を検証のやり直しに費やす傾向があります。長時間の実行では、エージェントが完了を宣言するのを待つより、途中でgit diffを確認した方がよい理由がここにあります。

ローカルモデル向けハーネスの選び方

このテストを踏まえると、各ハーネスには異なる特徴があります。Claude Codeは、わずかでノイズの可能性もある差ながら、最も多くの合格数を出しました。Piは最もトークン効率が高く、GPUへの負荷も最も軽い結果でした。DeepSeek Harnessは、このオフライン環境で組み込みの検索ツールが動いた唯一のハーネスでしたが、キャッシュ無効化による最大のトークン量という代償を払いました。OpenCodeはripgrepが使えなかったため、検索が機能しない状態で動きました。Qwen Codeは未検証で、今後の比較候補です。

どれも、あるハーネスが別のものより優れていると証明するものではありません。公正なエージェント評価には隠れた混乱要因がつきまとい、どのハーネスもローカルのllama-serverではなくクラウドAPIを前提にした想定を組み込んでいます。実務上の結論は、選択より設定が効くということです。任意のハーネスをローカルモデルと組み合わせる際のチェックリストを示します。

  1. サーバーの前にプロキシを置き、途中のシステムメッセージをユーザーメッセージに格下げする。プロンプトの先頭には触れない。
  2. クライアント側のサンプリングと推論のパラメータを取り除き、どのツールにもサーバーの設定が適用されるようにする。
  3. セッションのタイトル生成などの副次呼び出しを無効にし、シングルスロットのサーバーがメインの会話をキャッシュに保てるようにする。
  4. ハーネスのコンテキスト上限を、推論サーバーの実際の上限に合わせる。
  5. 環境にripgrepを事前インストールする。特にオフラインで動かす場合は必須。

ローカルAIコーディング環境を組み立てる開発者は、これを作業の順序として受け取れます。まず配管を正しく整え、自分のハードウェアでトークン使用量とキャッシュの挙動を測り、その後で初めてどのハーネスが名目上トップかを気にすればよいのです。ここで得られた証拠に照らせば、結果を決めるのはエージェント自身より、エージェントの前にあるバグである場合の方が多いでしょう。