Google DeepMindの会長であるデミス・ハサビス氏は、世界で最も高性能なAIシステムを手がける人物です。しかし、同氏が最近語っている内容の多くは、どこに線を引くべきかという点に向けられています。その中心にある警告は具体的です。AI開発の次の段階、つまり人間が各ステップを確認することなく、システムが閉じたループの中で自らを改善していく段階こそが、汎用人工知能(AGI、ほとんどのタスクで人間に匹敵するか上回るAIを指す言葉)への最も危険な道だというのです。同氏はこの警告に、もう一つの懸念を重ねています。強力な協調が最も必要とされるまさにその時に、国際機関が最も弱体化しているように見えるという点です。
AIの安全性をめぐる議論を追っている読者にとって、同氏の主張は有用なフィルターになります。制御の必要性を訴えているのは外部の批判者ではなく、この分野を主導する開発者の一人であり、その主張は漠然とした警鐘ではなく、具体的な工学的条件に基づいているからです。
自己改善はなぜ機能するのか、そしてどこから安全でなくなるのか
ハサビス氏は、AIシステムが自らのより優れた版を生み出す手助けをする「再帰的自己改善(RSI)」という考え方の源流を、DeepMindのゲームプレイシステムにたどります。AlphaGoは2016年、人間の棋譜を使って囲碁の世界チャンピオンに勝利しました。後継のAlphaZeroは人間のデータを完全に捨てました。ランダムな手から始めて何百万回もの自己対局を重ね、およそ12時間でランダムな指し手からグランドマスター級のチェスエンジンを打ち負かすまでに至ったのです。ハサビス氏は、午前11時には自分が勝てたのに、昼食の時間には負けていたと振り返っています。
これが機能する理由は、ゲーム、数学、コンピュータのコードが「検証可能な領域」だからだと同氏は説明します。チェスの対局、証明、コンパイルされたプログラムの結果は、曖昧さなく確認できます。そのためモデルは無限の合成学習データを生成できます。現時点で最良の版がより難しい問題を出し、その結果を正解と照らして採点し、人間が何もラベル付けしなくても次の版が改善していくという仕組みです。同氏は、AIによるコーディングと数学的推論における最近の大きな進歩はこのループのおかげだとする一方で、オープンエンドで主観的な領域ははるかに難しいままだと指摘しています。
同氏の見立てでは、業界は現在、RSIの初期のオープンループ段階にあります。AIコーディングツールは人間のエンジニアの生産性を3から5倍に高めていますが、アーキテクチャの設計、コードのレビュー、プロセスの監督は依然として人間が行っています。危険が訪れるのは、研究所がスピードを上げるためにその人間のステップを取り除いたときです。
閉ループ型RSIが生み出しうるもの
ハサビス氏の懸念は、自己改善するシステムが単に強力になるということではありません。人間による検証がなくなった時点で、開発者はシステムが何になるかを予測したり導いたりする能力を失うということです。同氏は、その結果として生まれそうなものを、内部の枠組みが人間の思考とはかけ離れた知性だと表現し、相互理解とアラインメントが極めて難しくなると述べています。同氏はこれを、およそ20年にわたって議論されてきた「知能爆発」シナリオと結びつけています。また、商業的な競争がコーディングシステムを急速に押し進め続ける中でも、研究者はこうしたリスクについて広く合意していると指摘しています。

▲ 常時監視下のサンドボックス内エージェント
同氏が整えておきたい工学的条件
ハサビス氏は開発の一時停止を求めるのではなく、研究所が今すぐ満たせる実践的な条件を示しています。その多くはごく普通のソフトウェア開発の規律です。同氏は、直近6か月に業界全体で起きた複数のサイバー関連および封じ込めに関するインシデントは、より厳密なエンジニアリングで防げたはずだと述べています。
| 安全対策 | 実務上の意味 |
|---|---|
| 攻撃より先に防御を | 一般公開前に、審査済みのサイバー防御担当者へ、防御用にファインチューニングしたフロンティアモデルを先行提供する |
| 強化されたサンドボックス | テスト中の自律エージェントを、隔離され堅牢化された環境で動かす |
| 継続的な実行時監視 | 自動テレメトリを導入し、どのエージェントも何週間も監視されないまま動くことがないようにする |
| 形式的な保証 | ヒューリスティックなテストにとどまらず、エージェントの挙動に数学的な上限を設ける方向へ進む |
| マルチエージェント理論 | 純粋数学者を複雑性理論やゲーム理論に迎え入れ、創発的な群れの挙動をモデル化する |
こうした協調的な投資がなければ、デジタル版の「原油流出」に似た不慮の大惨事が起こりうると同氏は警告します。この言い回しは注目に値します。同氏が描くシナリオは、意図的な攻撃ではなく、ずさんさから生まれる事故なのです。
ガバナンス:業界団体、政府の監督、外部監査人
制度面では、ハサビス氏は自身が公表した業界主導の自主規制機関(SRO)の提案を挙げています。研究所自身が運営しつつ、政府の監督に裏打ちされた組織です。まず米国の主導で始め、その後国際的な枠組みへ広げるべきだと同氏は提案します。現在の地政学的な摩擦が、まさに悪いタイミングで多国間機関を弱体化させているとも率直に認め、その状況を英国流の控えめな表現で「少々残念」と評しています。
ハサビス氏は、業界のリーダーが署名した自主的な安全協定を、不完全ではあるが価値があるものと見ています。共通の安全性ベンチマークで協力するための政治的・組織的な後ろ盾をエンジニアリングチームに与えるからです。同氏はさらに3つの要素を加えています。
- 相互レッドチーミング。競合する研究所同士が公開前に互いのモデルを安全性プロトコルに照らしてストレステストする。
- 会計事務所をモデルにした独立系の第三者評価機関の商業的なエコシステム。AccentureのAI安全性評価への参入が初期の例として挙げられている。
- 研究所間でのベンチマークと知見の共有。その協力を政府が奨励すべきか、許容すべきか、義務づけるべきかは未解決の問いとして残る。
ここには一貫したパターンがあります。ハサビス氏は、研究所内でのコードレビューから外部の監査まで、あらゆる段階で開発者以外の当事者による検証を求めているのです。
意識:なぜ他分野をまず議論の場に招きたいのか
二つ目の問いは哲学的に聞こえますが、ハサビス氏の枠組みでは安全性に直結します。参照点は二つあります。チャットボットに尋ねたら意識があると答えたという理由で意識があると結論づけたGoogleの元エンジニアと、Anthropicによるより慎重なモデル福祉の枠組みの探求です。後者はパスカルの賭けや、幼い子どもが健やかに育つよう大切に接することになぞらえられるアプローチです。
ハサビス氏の立場は、現在のAIシステムには主観的で現象的な経験の証拠がなく、統計モデルを意識があると呼ぶことは概念的な混乱と政策上の複雑さを生むというものです。同氏はこれを意識の「ハード・プロブレム」に根拠づけます。人間は同じ生物学的基盤を共有しているため、他の人間に内的経験があると合理的に想定できますが、AIシステムにはその等価性がなく、内的な感情の主張を裏づけることは極めて難しいというわけです。また、何千年もの探究を経てもなお、意識について合意された操作的定義は存在しないと指摘しています。この分野の他の人々が異なる直観を持っていることも認めています。
同氏は知能と意識は「二重に解離可能」だと主張します。フロンティアモデルは意識なしに高いタスク遂行能力を示す一方、犬、イルカ、サル、ゾウは明らかに夢を見て、感じ、世界を経験しますが、その分析能力はコンピュータよりはるかに限られています。自身の飼い犬がその例です。
自らの意志を持つエージェントではなく道具を作るべき二つの理由
ハサビス氏は、自己意志を持つ存在ではなく知的な道具に注力すべき理由を二つ挙げています。一つ目は技術的な理由です。システムに自己認識や独自の意志を与えることと、システムを「修正可能(corrigible)」、つまり指示に従い、停止や修正ができる状態に保つことの間には、本質的なトレードオフがあると同氏は見ています。内部の基準で命令を拒否できるシステムは、望ましくない挙動を止める操作者の能力を奪います。同氏はアイザック・アシモフのロボット工学三原則を、簡潔なルールが予測不能な例外的状況で破綻することを思い出させる例として挙げ、今日の言語モデルが15から20年前に研究者が予想していたよりも制御しやすいからといって、アラインメントはおおむね解決済みだと決めつけることに警鐘を鳴らしています。RSIと自己意志を組み合わせれば、危険は何倍にもなると同氏は言います。
二つ目は社会的な理由です。同氏の見方では、社会は意識を持つ人工的な存在の道徳的地位、法的権利、搾取の可能性について決着をつける準備がまったくできていません。誰かがその一線を越える前に、異なる文化の哲学者、神学者、芸術家、人文学者を巻き込んだ幅広い対話を同氏は望んでいます。提案する順序は、最初の閾値だけを越えることです。強力な科学的ツールを作り、それを神経科学に適用する。そうすれば5から10年以内に意識の神経相関を解明できる可能性があると同氏は見込んでいます。より明確な科学的基盤が得られたそのときに初めて、意識を持つ機械を作るべきか、どう作るべきかを社会が議論すべきだというのです。

▲ 機械の意識をめぐる学際的な議論
主権の問い:各国はどこに資金を投じるべきか
最後のテーマは、国家的なAIプログラムを検討している国々に直接関わります。ハサビス氏は、フロンティアAIが中国の研究所を含む世界の6から8の提供者に集中し、先頭集団が3から6か月の周期で互いを追い抜き合うと予想しています。オープンソースモデルはクローズドなフロンティアモデルに6か月から1年遅れて追随すると見込んでおり、研究者に力を与えることと悪意ある者を利することの間の未解決のトレードオフは残り続けます。
各国と企業への同氏の助言は率直です。$10億単位の資金を投じて国産の基盤モデルを一から学習させるのは冗長で経済的に非効率だというのです。価値は下流にあると同氏は主張します。領域特化のファインチューニング、データプライバシーと主権的なデータガバナンス、そして医療のような影響の大きい垂直アプリケーションです。医療の例は、DeepMind自身の実績に裏づけられています。AlphaFold 2は2020年に50年来のタンパク質折り畳み問題を解決し、現在では400万人を超える研究者がそのデータを使っています。DeepMindとそのスピンアウトであるIsomorphic Labsは、このアプローチを毒性や薬物挙動のモデリングへ広げていますが、予測された構造だけでは患者を治せないことも認めています。
この議論から受け取るべきこと
核心となるメッセージは、フロンティアAIの開発者が自らの分野に対してより多くのチェックを求めており、その要求が具体的だということです。安全性の議論を追う読者にとって、同氏の主張からいくつかの判断基準が浮かび上がります。
- AIが次のモデルの構築を手伝うとき、研究所がループの中に人間のレビューを残しているかを問う。ハサビス氏の枠組みでは、これが最も重要な一線です。
- 壮大な枠組みより先に、工学的な基本を確認する。サンドボックス、何週間も動き続けるエージェントを捕捉する監視、そして防御ツールがセキュリティチームに最初に届く仕組みです。
- 競合のレッドチームであれ独立した監査人であれ、外部による検証を本気度の証とみなし、自主的な協定は終点ではなく出発点と捉える。
- チャットボットの発言に基づく意識の主張には懐疑的であること。ただし、この見方自体が専門家の間でも意見の分かれる判断だと認識しておく。
- 国家戦略については、ハサビス氏の勧めに従い、フロンティアモデルを一から学習させるコストと既存モデルの上にアプリケーションを構築することを比較検討する。
道具を先に、次に神経科学、そして意識を持つ機械は幅広い社会的議論の後にという同氏の提案する順序が正しいかどうかは、研究所だけでなく、哲学者、政策立案者、そして市民が答えるべき問いとして残ります。同氏の主張がはっきりさせているのは、少なくとも一つの研究所が、次の飛躍の後ではなく前にその議論を行うよう求めているということです。


