DeepSeek V4.1 FlashのAPI料金は競合の約10分の1で、公開ベンチマークのスコアはClaude Opus 5やGPT-5.6 Solに迫ります。ところが実際の建設業務で試すと、現在の最前線モデルとの差は大きく開きました。入札図面に関する検証済みの169問では正答率62.7%で、Claude Sonnet 5.5の93.3%に遠く及びません。配管の数量拾いでは20.7%にとどまり、Claude Opus 5.5の42.7%の半分以下でした。さらに原価報告の課題では、実際には$25万の赤字に向かっていた案件について$103万の黒字を予測しました。この結果からは、現時点ではトークン代の節約が、出力をもとに行動するリスクに見合わないことがうかがえます。

リーダーボードではなく実務タスクで測る理由

DeepSeekは中国発のオープンウェイトのモデルファミリーで、Hugging Faceなどのハブから重みをダウンロードし、自前のハードウェアで動かせます。V4.1 Flashのリリースノートは、Terminal-Bench 3.0、DeepSeek-SWE 1.1、CyberGym、Automation-Benchといった標準テストでClaude Opus 5やGPT-5.6 Solに匹敵する性能をうたっています。これらは有用な指標ではあるものの、配管図の床排水を正しく数えられるか、入札書類に仕込まれた落とし穴の条項を見抜けるかは、建設会社には分かりません。

そこで今回の評価では、建設に特化したベンチマークを用いました。構成は3つです。実際の入札図面9セットと、正解を確認済みの169問からなる客観的な図面テスト。Whole Foodsの11枚組の配管図面を題材に、82項目の数量を採点する数量拾いテスト。そして6つの業務ワークフローをルーブリックで採点する主観的な施工管理テストです。同じベンチマークのデータベースには、素のモデル38種とハーネス22種の結果が蓄積されており、DeepSeekの数値をClaude Sonnet 5.5、Claude Opus 5.5、GPT-6 Astra、GPT-6.1 Solと並べて比較できます。

検証環境:モデル、ハーネス、価格

DeepSeekは、無料のデスクトップアプリであるDeepSeek Harness上でテストしました。ハーネスとは、モデルをエージェントとして包み込むソフトウェア環境のことで、Claude CodeやChatGPT Codexと同様に、チャットセッション、ファイルアクセス、ツール、自動化を管理します。DeepSeek Harnessは公式サイトから無料でダウンロードでき、Windowsをはじめ複数のOSで動作します。モデルにも依存せず、設定のModelsタブでDeepSeekのAPIキーのほか、AnthropicやOpenAIのキー、OpenRouterのようなルーティングゲートウェイのキーを登録して切り替えられます。

建設のテストでは、いくつかの設定が結果を左右しました。

  • モデルの選択。 DeepSeek V4-ProではなくDeepSeek V4.1 Flashを選びました。V4-Proにはネイティブの視覚理解がなく、平面図を読めないためです。中核モデルが似た機能のマルチモーダル対応を備えるClaudeやChatGPTと違い、DeepSeekはバリアントごとにできることが異なるため、技術文書を処理する前に、使うモデルの能力を確認しておく必要があります。
  • ワークスペース。 各ワークスペースは標準のファイルダイアログで選んだローカルフォルダーに対応し、セッションと成果物はサイドバーでその下にまとめられます。テストはデスクトップ上のフォルダーから実行し、ClaudeやChatGPTで使っているデスクトップ連携の構成に合わせました。
  • 権限。 プロンプトバーのメニューにRead Only、Workspace Write、Fullの3段階があります。エージェントがシステム全体に触れずにプロジェクトファイルを編集できるよう、Workspace Writeを使いました。
  • プラグイン。 組み込みのプラグインで、Web検索、シェル実行の制限、エージェントループのディスパッチ、メインのチャットから子エージェントを生成するSubagent機能を制御でき、再帰の深さと並列数はスライダーで調整します。これらの上限を絞っておくと、トークン消費の暴走を防ぎやすくなります。

オープンウェイトをローカルで動かす案は、現実的でないとして見送りました。一般的なノートPCでは推論が遅すぎて日常業務に使えず、数万ドル規模の専用アクセラレーターへの投資が必要になるためです。

従量課金か定額サブスクリプションか

最大の魅力は価格です。DeepSeek V4.1 Flashの定価は、標準時間帯でキャッシュミス時の入力が100万トークンあたり$0.30、出力が100万トークンあたり$1.20で、競合の定価の約10分の1です。キャッシュヒット時の入力はさらに下がり、オフピークで100万トークンあたり$0.003、オンピークで$0.015、オフピークの出力は100万トークンあたり$0.60になります。

ただし、定額の個人向けサブスクリプションはなく、すべての呼び出しが従量課金です。対照的に、月額$200のClaudeやChatGPTのプランには補助されたトークン枠が含まれ、使い切れば素のAPI計算資源として推定$1万に相当します。したがってヘビーユーザーにとっては定額プランのほうが得になる可能性があり、従量課金で繰り返し必要になる$10ずつのクレジット追加は、ランニングコストを常に意識させるという別の摩擦も生みます。それでもオープンウェイトの競争には意味があります。プロプライエタリなベンダーに最前線モデルの価格を抑える圧力をかけるからです。

図面の読解:文字情報には強く、計測には弱い

図面テストは建築、構造、電気、機械、配管、土木の図面を対象にしています。DeepSeekの総合結果とタスク種別ごとの内訳を、最前線モデルと並べて示します。

モデル 図面テスト総合スコア
Claude Sonnet 5.5 93.3%
Claude Opus 5.5 92.5%
GPT-6 Astra 86.6%
GPT-6.1 Sol 85.8%
DeepSeek V4.1 Flash 62.7%
タスク種別 DeepSeek V4.1 Flash 最前線モデルの最高値
記載情報の読み取り 82.8% 96.5%(Claude Sonnet 5.5とOpus 5.5)
項目のカウント 55.9% 91.2%(Claude Sonnet 5.5)
図面からの計測 9.1% 81.8%(Claude Sonnet 5.5とGPT-6系モデル)

傾向は明白です。答えが図面上に文字で印刷されていれば、DeepSeekはそこそこの成績を出します。記号を数える必要があると精度が落ち、図面から実寸を縮尺で読み取る必要があるとほぼ必ず失敗します。具体的な誤答を2つ挙げます。402番の電気図面で、分電盤DB-GBが必須系統か非必須系統かを問われたDeepSeekは、提供された資料には記載がないと答えましたが、確認済みの正解は非必須でした。オフィス計画の201番の図面では、1階の小電力コンセントのカウントを拒みましたが、検証済みの数は6でした。

テスト中には安定性の問題もありました。DeepSeekはプロンプトの処理中に何度も停止し、手動で再開する必要がありました。同じ作業量でClaudeやChatGPTにこうした事態が起きることはまれです。

2つの配管系統に床排水記号が描かれた配管図と、その横で誤った比率に仕分けられた2皿のトークン

▲ 数は合うが系統が逆の排水カウント

配管の数量拾い:合計は合うが系統が逆

数量拾いとは、図面セット上のすべての項目を数えて計測し、見積もりできる状態にする作業です。11枚組の配管図面で82項目の数量を採点した結果は次の通りです。

モデル 数量拾いの精度
Claude Opus 5.5 42.7%
GPT-6 Astra 37.8%
GPT-6.1 Sol 35.4%
Claude Sonnet 5.5 34.2%
DeepSeek V4.1 Flash 20.7%

ここでは実用水準に近いモデルは1つもなく、首位でも5割を切ります。それでもDeepSeekの失敗の仕方は示唆に富みます。図面P100では、HD-1ハブドレンを数え、汚水系統とグリース排水系統のどちらに属するか振り分ける課題でした。検証済みの正解は汚水64、グリース2です。DeepSeekの回答は汚水6、グリース55でした。合計はおおむね合っているのに、振り分けがほぼ完全に逆転しています。この種の誤りは、金額を入れた見積書では明らかな欠落として表に出ません。誤った系統に対して誤った配管、継手、接続部の金額が計上される形で現れます。この結果を見る限り、DeepSeekは自動化した数量拾いのワークフローには向かないようです。

施工管理の6つのタスク

主観的ベンチマークでは、6つの現実的なワークフローをモデルに実行させ、それぞれ100点満点で採点します。入札見積もりの作成、受注時のベースライン工程表の作成、進捗管理と遅延回復の計画、調達管理、契約管理、原価報告の作成です。入札書類には意図的な罠が仕込まれており、たとえば現場付近での駐車を禁じる条項を入れて、見積担当が作業員の交通費を計上するかどうかを見ます。

タスク DeepSeek V4.1 Flash 競合の最高スコア
入札見積もり 32.2 67.8(Claude Opus 5.5)
受注時の工程表 30.3 67.2(Claude Sonnet 5.5)
進捗と遅延回復 25.6 66.6(GPT-6.1 Sol)
調達 36.8 58.4(Claude Opus 5.5)
契約管理 27.6 78.8(Claude Opus 5.5)
原価報告 24.0 71.8(Claude Opus 5.5)

DeepSeekは全カテゴリーで最下位でした。6タスクの平均でデータベース内の最高値は、Claude Opus 5.5の65.9%です。特に目立つ出力が2つあります。工程表を求められたDeepSeekは、29のタスクを依存関係のリンクがゼロの状態で出力しました。鉄骨建方、屋根葺き、SFRCスラブの打設といった作業は順を追って進めるしかないにもかかわらず、スプレッドシートにつながりのない日付が1列並んでいるだけでした。原価報告では、正解データで$25万の赤字見込みとされた案件に対し、利益率6.6%で$103万の黒字を予測しました。

この最後の結果が、コストをめぐる議論の枠組みを決めます。$30かかる処理が$10で済み、トークン代を$20節約できたとしても、出てきた報告書がプロジェクトを誤った財務の方向へ導くなら意味がありません。

Creatorモードと、形にならなかった数量拾いプラグイン

DeepSeek HarnessにはStandardのほかにCreatorモードがあり、ワークスペースのヘッダーで切り替えます。ハーネスの構成を公開し、通常のチャットでエージェントに指示して独自のUIプラグインを作成・インストールさせることができます。狙いとしては、ユーザーがClaudeのワークスペースを変更して拡張機能を追加できる、最近導入されたClaude Modsに相当します。DeepSeekでは同等の部品をプラグインと呼びます。

公平に試すため、建設向けの数量拾いプラグインの作成に挑みました。図面の上に拾い出し項目のオーバーレイが表示され、ユーザーがそれを調整できる対話型のインターフェースです。2時間にわたりプロンプトと修正を重ねた結果できたのは、項目の説明、単位、数量、単価、金額を並べた基本的な表形式のスケジュールに、CSVインポート、手入力のロス率欄、Run take-offボタンを付けたものでした。図面上の視覚的なオーバーレイはまったくなく、設計要件を満たしていません。試みは断念しました。Creatorモードは初心者向きとは言えず、テキストのプロンプトで高度な視覚ツールを作るのは、もどかしい作業でした。

2台のモニター。左は色付きのオーバーレイマーカーが載った図面、右は何も入っていないスプレッドシートの格子

▲ 目指した視覚的拾い出しツールと実際の表

ハーネスエンジニアリングへの懐疑的な見方

この実験は、「ハーネスエンジニアリング」をめぐる現在の熱気、つまりエンドユーザーが自分の使うエージェント環境を再設計すべきだという考え方への、より大きな判断にもつながります。サブエージェントの再帰の深さ、並列サブエージェントの上限、エージェントループのディスパッチ、シェルの制約といった調整項目は興味深いものの、実務者はむしろ従来型の構成、すなわち明確に定義したスキル、標準のプラグイン、きちんと構造化したプロジェクトフォルダー、検証済みのテストデータセットのほうが良い結果を得られる、というのがここでの見方です。プラットフォームの設計はAnthropicやOpenAIのような最前線のラボに任せ、建設の専門家はワークフロー、テスト、自分たちのデータの品質に時間を使うのが最善かもしれません。

ただし、重く受け止めるべき留保があります。DeepSeek Harnessは無料で登場したばかりであり、成熟した有料製品と真正面から比べるのはいささか酷です。価格優位は本物で、オープンウェイトの競争が最前線モデルの価格を抑え、すべての人に恩恵をもたらすことも確かです。

建設の専門家が受け取るべきこと

  • 自分のタスクでモデルを判断する。 公開ベンチマークで肩を並べていても、建設の実務能力には結びつきませんでした。自社の図面から作った少数の検証済み質問のほうが、リーダーボードより優れた選定ツールになります。
  • 文字の抽出と空間的な作業を分けて考える。 DeepSeekは記載情報の読み取りでは82.8%と使える水準でしたが、計測では9.1%でした。縮尺の読み取りやカウントに依存するワークフローでは、低コストの選択肢は現時点で持ちこたえられません。
  • 合計だけでなく系統への振り分けを確認する。 ハブドレンの例は、総数ではほぼ合っていても系統別にはほぼ全部誤りということがあり得ると示しています。拾い出しの各行を、金額を入れる前に図面と照合してください。
  • 生成された工程表は必ず開いてリンクを探す。 日付はあっても先行・後続の関係がない工程表は、工程表ではありません。
  • トークン代と判断リスクを天秤にかける。 安く回せても、出てきた原価報告が赤字を黒字に反転させるなら節約にはなりません。
  • ハーネスの作り直しではなくワークフローに時間を使う。 必要な能力を備えたモデルバリアントを選び、権限をWorkspace Writeに設定し、サブエージェントの深さと並列数に上限を設け、プロジェクトフォルダーを整理しておきます。プラグインやインターフェースの構築は、明確で検証済みの理由がない限りプラットフォーム側に任せるのが賢明です。

DeepSeek V4.1 Flashは安価でオープンであり、柔軟な無料ハーネスも備えています。しかし建設図面の解釈、数量拾い、管理報告に関しては、AnthropicとOpenAIの現行の最前線モデルのほうが依然としてはるかに正確です。そして首位のモデルを含め、数量拾いを監督なしで任せられる信頼を勝ち取ったものは、まだ1つもありません。