Anthropicの新モデルFable 5.2は、数学ベンチマーク(モデルを比較するための標準化されたテスト)で過去最高のスコアを記録しています。ただ、現場の研究者にとってより役に立つ尺度は、通常の利用上限のもとで、実際の未解決問題に対して何ができるかです。そうしたテストの一つで、Fable 5.2は博士課程レベルの未解決問題を40問以上収めたリポジトリに数時間取り組みました。生成されたのは、コード、ノート、監査データを合わせて542,941行と、すっきりまとまった3ページのレポートです。記録に残った成果は、最難関の未解決ケースを解き切ったものではなく、監査を経た慎重な前進であり、週間の計算リソース枠は3~4時間ほどで尽きました。

Anthropicが報告するFable 5.2の成果

Fable 5.2は、Anthropicの従来のフラッグシップであるOpus 5.5の直後に登場しました。目玉となる主張は、フェルマーの最終定理の証明の形式化、つまり証明をコンピューターが一歩ずつ検証できる形に書き直したことです。Anthropicによると、1,000体のFable 5.2エージェント(並列で動作する、モデルの独立したコピー)がおよそ28~30時間でこれを完了しました。得られた証明の長さは、これまでのコンピューター検証済みの証明の7分の1です。

Anthropicは同じタスクでOpus 5.5も動かしました。18時間後の完了率は26%でした。

Epoch AIによる専門家レベルの数学ベンチマーク、FrontierMathのスコアは次のとおりです。

モデル FrontierMath FrontierMath Tier 4
Fable 5.2 95.1% 100%
GPT-6 Astra 93.7% 97.6%
Opus 5.5 約91% 記載なし

Anthropicはまた、Fable 5.2が理論物理学でこれまで未解決だった2つの問題に新規の解法をもたらしたとも報告しています。

1,000エージェントの実行は、個人契約者が使えるものではない

フェルマーの成果は、1,000体のエージェントを1日以上連続で稼働させて得られたものです。個人向けのClaudeサブスクリプションでは、並列エージェントは既定で20体までに制限されており、個人向けの最上位プランは月額$200です。この規模の実行を個人アカウントで再現するのは現実的ではありません。週間の利用枠が数時間でなくなってしまうからです。

この差があるからこそ、実際の研究プロジェクトでのテストが参考になります。個人の研究者が実際に手にしているリソースで、モデルが何をするのかがわかります。

テスト内容:ランダムユニタリ行列をめぐる4年分の未解決問題

テストの素材は、4年間の博士課程の研究で積み上げられた研究ディレクトリです。ランダムユニタリ行列のスペクトル特性に関する未解決問題が40問以上収められています。具体的な問いは、次の3つの領域における特性多項式の導関数の漸近モーメントに関するものです。

  • 単位円の内部
  • 境界上
  • 境界近傍での微視的スケーリングのもと

次元N = 2の場合は、すでに博士論文で解決されていました。次元N = 3以上は、開始時点で未解決でした。

長いオフィステーブルでロボットたちがメモを仕分け、キーボードを打ち、書類を突き合わせて確認しており、その横でフォルダーの山が増えていく

▲ 草稿作成・計算・監査を並行して進めるエージェント

実行のセットアップ

  1. 旧モデルのFable 5.1 Maxがリポジトリの構造を要約し、制約条件を盛り込んだ開始プロンプトを作成しました。
  2. Fable 5.2 Maxを、Anthropicのコーディング・エージェントツールであるClaude Codeで、研究ディレクトリを対象に実行しました。
  3. プロンプトにはultracodeというキーワードを使いました。これは、サブ問題をまたいだマルチエージェントの並列実行を起動するものです。
  4. エージェントはノートを読み、証明の草稿を書き、主張を数値的に確認するPythonスクリプトを書き、結論をプレーンテキストのノート形式であるMarkdownで記録しました。

最初の数時間に起きたこと

開始直後から活動は活発でした。35分以内に、エージェントはリポジトリ内のファイルに9,000回を超える編集を加えています。Fable 5.2はマスターのREADMEファイルを更新し、補題検証用のサブトラッカーを作成し、代数的恒等式を数値的に確認するPythonスクリプトを実行しました。

計算リソースの消費も速いものでした。

経過時間 Fableの週間利用枠の消費
約1時間 53%
約3~4時間 92%、その後100%

Anthropicは現在、Fableの週間上限の無料リセットを2回分提供しており、有効期限は2027年3月9日です。これを使い、作業はFableの利用枠3週間分に相当する量まで続きました。

得られた成果物

プロジェクトへの変更を記録するバージョン管理システムのGitには、852ファイルに及ぶ30件のコミットが記録されました。追加された行の内訳は次のとおりです。

ファイルの種類 追加行数
JSON形式の検証監査ログ 445,139
Python 70,565
Markdownノート 24,908
その他のファイル 2,329
合計 542,941

最後にFable 5.2は、数学論文に使われる組版システムのLaTeXで、進捗レポートを3ページのPDFにまとめました。レポートは、ユニタリ行列の特性多項式のモーメントに関する厳密な知見を扱っています。KF-1と名付けられた目標、すなわち固定されたNにおける平面表現についての進捗が記録されており、N = 2で検証が達成されています。また、16本のレポートにわたる5ラウンドの独立監査も記録されています。これらの監査は、表現定理における非一様性に関する記述を特定し、修正しました。

虫眼鏡を持った研究者が、天井まで届く紙の山と薄い3ページの冊子の間に座っている

▲ 膨大な生の出力と3ページのレポートの対比

前進したところ、止まったところ

出発点と照らし合わせると、評価は分かれますが、そこに学ぶべき点がある結果に見えます。レポートで検証済みとされたマイルストーンはN = 2、つまりすでに解決されていた次元にとどまっています。記録されたマイルストーンには、未解決の目標であるN = 3の完成した証明は含まれていません。こう読むと、Fable 5.2は既知のケースの周りに検証済みの土台と監査証跡を築き、その過程で不正確な記述を修正したことになります。記録された結果のなかに、未解決問題が決着したことを示すものはありません。

目立つ限界は2つあります。

  • 計算リソース。1時間のマルチエージェント作業で週間利用枠の半分以上が消費され、3~4時間ですべてがなくなりました。
  • レビュー。数十万行というのは、1人が1行ずつ確認できる量をはるかに超えています。研究者は結局、エージェント自身が作る自動監査の枠組みに頼ることになり、その枠組みの設計が作業の中心的な部分になります。

Opus 5.5から変わった点

Opus 5.5も、すでに数学研究のワークフローに深く組み込めるほど有用でした。Fable 5.2について報告されている違いは、3つの領域に分かれます。

  • 持続的な作業の規模。フェルマーの形式化では、Opus 5.5が18時間で26%に達したのに対し、1,000体のFable 5.2エージェントはおよそ28~30時間で完了しました。
  • ベンチマークスコア。FrontierMathでFable 5.2は95.1%、Opus 5.5は約91%です。
  • 文体。以前のAnthropicのモデルは、深い抽象概念を扱う際に、思弁的で形而上学めいた言葉づかいに流れることがありました。Fable 5.2は、監査可能な、直接的で厳密な数学から外れません。

総合すると、Fable 5.2は、自律的な数学的推論と科学文献の統合において大きな前進であるように見えます。ただしこれは単一の研究プロジェクトからの判断であり、一般的な測定結果ではありません。

要点と次の一手

Fable 5.2は、実際の研究リポジトリに数時間取り組み、検証コードを自ら書き、自らの主張を複数ラウンドにわたって監査し、作業の現状を短く読みやすいレポートにまとめることができます。このテストで記録された結果には最難関の未解決ケースの解決は含まれておらず、計算リソースの上限と出力量の膨大さは、依然として現実の制約です。

同様のワークフローを試したい研究者は、次の手順を取ることができます。

  • プロジェクトを、監査基準と正解(グラウンドトゥルース)の基準を明示した個別のMarkdown追跡ファイルに整理し、エージェントが自分の作業を検証できるようにします。
  • 自律セッションを始める前に、まず高性能なモデルでリポジトリを調査し、綿密な開始プロンプトを書かせます。
  • エージェントに、恒等式や誤差限界を独立に確認するPythonスクリプトを書かせます。
  • 最上位モデルの利用枠は中核となる数学的推論に充て、定型的なコーディングなどの付随作業は小型で安価なモデルに回します。
  • 大規模な実行を始める前に、アカウントの利用設定で上限リセットを確認し、マルチエージェントのセッションは週間利用枠を数時間で使い切るものと見込んでおきます。
  • 生の出力を1行ずつレビューするのは現実的ではないため、最終レポートと監査の要約を丁寧に読みます。