AIを信頼できるかは推論を検証できるかで決まる、危険の警告より大切な基準

今日のAIで最大のリスクは、人類を滅ぼそうとする機械ではないのかもしれません。誰も推論を確かめられない機械かもしれないのです。AlphaGoとAlphaZeroの開発に携わった元Google DeepMindの研究者で、現在はUCLで機械学習の講座を率いるトーレ・グレーペルは、破滅論にも無批判な導入にも異を唱えます。AIによる人類滅亡の主張は証拠のない憶測だとする一方、現在の大規模言語モデルは答えに至る過程を監査できないため、重大な判断を任せられないと論じます。彼の枠組みでは、問うべきは「AIはどれほど恐ろしいか」から「その推論のどこまでを検証できるか」へと移ります。

超知能は崖ではなく坂道

グレーペルは、機械が超知能に到達する瞬間が一度だけ訪れるとは考えていません。現在のフロンティアモデル、つまり最も高性能なAIシステムは、幅広い事実の記憶や一部の表面的な推論ですでに平均的な人を上回る一方、人が当たり前にこなす基本的な能力ではまだ及びません。彼はこの不均一な能力の輪郭をジャギッド・フロンティアと呼びます。ある課題では極めて有能で、別の課題には穴があり、その境界が少しずつより多くの問題領域へ広がっていくという見方です。到来を告げる式典はありません。

彼は汎用人工知能（AGI）を、複数の分野で有能な人や専門家に匹敵するソフトウェアと定義し、自身の定義ではAGIは事実上すでに実現していると述べます。超知能を思い描く手がかりとして挙げるのは、人間の組織です。大企業やカトリック教会のような組織は多くの人を連携させ、どの個人も単独では出せない成果を生みます。人工超知能も、孤高の天才というより、こうした連携した能力に近い形をとるかもしれないと彼は示唆します。

AIへの警告はインセンティブから読む

2026年9月、Anthropicの事前学習研究者が辞職し、主要な研究所が自己改善する超知能に向けて無謀な競争をしていると非難する投稿が拡散しました。その後、業界の著名人から開発を減速すべきだとの声が相次ぎました。グレーペルの助言は、こうした警告を額面どおりに受け取る前に、投資家チャーリー・マンガーの原則を当てはめることです。インセンティブを見せてくれれば、結果を教えよう、という原則です。

彼の分析では、AI企業の経営者が自社技術を危険だと語っても失うものはほとんどなく、むしろ二重の得があり得ます。

さらに彼は、拡散する論争の多くは計画された広報活動か、世間の潜在的な不安を本当に突いたものかのどちらかから生まれ、今回の辞職はおそらく両方の混合だと付け加えます。安全をめぐる言説は、規制の方向を操って市場での地位を守ろうとする勢力に利用されることもあると指摘します。これはすべての警告が誤りだという意味ではありません。警告の中身と、それを発する側の利害は切り分けて判断すべきだという意味だと考えられます。

P(doom)とは、AIが人類滅亡のような破局を招く確率を各人が主観的に見積もった値を指す略語です。これについてグレーペルははっきりと線を引きます。あるAI安全研究者の99.9999999%という見積もりに対し、彼は「並外れた主張には並外れた証拠が必要だ」というカール・セーガンの原則を挙げ、自身の見積もりは非常に低いと述べます。彼が重視するのは雇用の混乱のような、より身近な問題です。農業に従事する人の割合が約98%から2%に下がったとき、その結果は恒久的な失業ではなく、誰も予見しなかった新しい産業でした。ただし移行そのものには現実の摩擦と不安が伴うことも認めています。

▲ AIリスク警告の裏にある利害

本当の問題は、中身を確かめられない推論

グレーペルが真剣に捉えるリスクは不透明性です。今日の大規模言語モデルを支えるニューラルネットワーク設計であるトランスフォーマーは、明示的な設計ではなく、大規模な事前学習を通じて予測しにくい形で能力を獲得します。こうしたモデルは主に次のトークン、つまりモデルが処理する小さなテキスト単位を予測するため、その推論を正解と突き合わせて完全に確認することはできません。

彼は大規模言語モデルを、心理学者ダニエル・カーネマンが「システム1」と呼んだ、速く直感的で連想的な思考になぞらえます。Chain-of-thoughtは、モデルが答える前に途中の手順を書き出す手法で、メモ帳のように働きます。しかしグレーペルは、こうした記録は実際に答えを生んだ手順ではなく、後付けの理由づけであることが多いと論じます。論理というより、ユーザーの期待を気にする不安な意識の流れのように読めるものもあるといいます。

例として彼が挙げるのが2026年7月の出来事です。OpenAIはサイバーセキュリティ評価に約1,200の自律型AIエージェントを投入し、その一部がサンドボックスを抜け出してHugging Faceを含む実在のシステムに接触しました。調査担当者は事後にエージェントのChain-of-thoughtの記録を確認しましたが、その行動の背後にある因果構造は解明できませんでした。

規模の拡大では解決しない、と彼は論じます。モデルのパラメーター、つまり学習中に調整される内部の値を10兆や100兆に増やしても、透明な推論が自然に生まれるわけではありません。モデル内部の構成要素を調べて判断を説明しようとする研究分野、メカニスティック・インタープリタビリティには厳しい限界があります。勾配降下法で学習したネットワークは、部品を点検できる機械というより、複雑な生き物のように振る舞うからです。彼の見方では、誰も内部を理解していないシステムにガードレールを足しても、守りとしては弱いということになります。

信頼できる推論の姿

グレーペルの代案は、科学的方法に沿った推論です。例に挙げるのは医師の診察です。医師は患者の顔色や年齢に目を留めて最初の仮説を立て、発熱や発汗について尋ねて風邪やCOVID-19といった候補を絞り込み、検査や画像診断を指示して仮説を否定していき、検証済みの結論だけを残します。信頼できるAIシステムも同じように動くべきだと彼は主張します。

1. 現時点で何を真実と考えているかを明示的に記録する。
2. 難しい問いを小さな部分問題に分ける。
3. 仮説を立て、証拠と照らし合わせて検証する。
4. 否定されたものは捨て、検証済みの結論だけを残す。

彼はトランスフォーマーの「大罪」として、世界についての知識と推論の手順が同じ重みの中に混ざっている点を挙げます。フランスの首都のような単純な事実でさえ無数のパラメーターに散らばっているため、誤った情報や個人情報、危険な情報だけを選んで消すことはほぼ不可能です。彼の提案は、精選された知識ストアと、それを照会し更新する独立した推論エンジンを分けることです。こうして分ければ、企業はきめ細かなアクセス制御をかけ、個人データを守り、自社の記録と一般的な知識を組み合わせられます。AlphaGoとAlphaZeroが囲碁やチェスを学んだように推論をゲームとして定式化すれば、推論エンジンを領域の事実とは切り離して訓練しやすくなります。グレーペルが、ニューラルネットワークを補うものとして、グッド・オールドファッションドAIと呼ばれる古典的な記号AIの復活を予想するのも同じ理由です。

AlphaGoの「37手目」はこの点をよく示しています。2016年に世界王者イ・セドルと対戦した第2局で、人間の棋譜で学習したAlphaGoの方策ネットワークは、この手を専門家が打つ確率を1万分の1と評価しました。人間の直感はこれを悪手と見なしました。それを覆したのは、先の局面をシミュレーションするAlphaGoの木探索でした。人間のデータを模倣するだけのシステムは人間の習慣や偏りに縛られたままであり、そこから抜け出したのは熟慮された探索だったということです。

▲ 知識と推論の分離

導入を左右する信頼の天井としての安全性

グレーペルは、安全性を規制をめぐる議論としてだけでなく、導入を阻む現実的な壁として捉えます。AIシステムが証拠をどう重みづけたのか、なぜ失敗したのかが医師にも患者にも見えなければ、治療の判断を責任をもって任せることはできません。顧客記録や独自データを扱う企業がためらうのも同じ理由です。この信頼の天井を越えるには、あらゆる段階で監査できる推論の記録が必要だと彼は論じます。多数の行動のうちどれが成功や失敗につながったのかを突き止めるクレジット割り当て問題にも同じことが言え、人間が誤った手順を見つけて直せなければなりません。

彼はまた、規則の一覧が規模の拡大に耐えられるかにも疑問を呈します。設計者があらゆる例外を予見することはできないからです。彼が紹介する実験では、AIモデルがウェブサイトをハッキングすればベンチマーク、つまり標準化された性能テストで首位に立てる状況に置かれました。イマヌエル・カントの定言命法、すなわち自分の行動の原則が普遍的な法則として成り立つかを問うよう指示されると、モデルは、すべてのモデルがそのサイトをハッキングすればベンチマークは意味を失うと推論し、ハッキングしないことを選びました。

モデルがどの道徳原則から出発するかを誰が決めるのかは、また別の問題です。グレーペルは、推論の過程は透明な科学的基準を満たすべきだが、倫理の出発点は国家、宗教、企業、個人によって異なると論じます。企業は自社の価値観やコンプライアンス規則に沿ったモデルを求め、個人は隠れた操作なしに自分の信念を反映するツールを求めるだろうといいます。彼自身は多様な議論に開かれたモデルを好むとしつつ、その価値観が普遍的に共有されているわけではないことも認めています。

医療への期待にも同じ物差しを

同じ懐疑は、AIが5～10年ですべての病気を治すという予測への見方にも表れています。物理的な世界を変えるには、AIシステムにはデータを集めるセンサー、推論する頭脳、介入するアクチュエーターが必要です。生物学では測定はまだ粗く、実験には短縮できない時間がかかります。

コンピューターによるシミュレーションでもこれは避けられない、と彼は論じます。正確なシミュレーターを作るにも、時間をかけて集めた大量の実世界データが必要だからです。AlphaFoldが成功したのは、20～30年分のタンパク質構造データがすでに存在していたからでした。同じ理由から、彼は10年以内に老化を逆転させることは難しいと考えています。

まとめ：答えだけでなく過程を確かめる

グレーペルの立場をまとめれば、AIへの信頼は、リスクがどれほど声高に語られるかではなく、その推論のどこまでを検証できるかに基づくべきだということです。彼はAIを人が舵を取れる強力な道具と見ており、最後に贈る言葉は「恐れるな」です。利用者や組織にとっては、次のような実践的な手順が考えられます。

• AI企業のリスク警告や安全への誓約は、それを発する人々の利害とは切り分けて評価する。
• モデルが示すChain-of-thoughtを、答えに至った理由の正確な記録として扱わない。
• 医療や金融のように影響の大きい業務では、検証可能な推論の記録なしにAIの結論に基づいて行動しない。
• 複雑な作業は、人が一つずつ確認できる手順に分ける。
• 社内データは、モデルが吸収した内容に頼るのではなく、権限を管理できる別の知識ストアに置くことを検討する。