AIシステムは、自らの福祉的な利益を持たなくても、危険な要求を拒否できます。この区別が、Claudeの憲章をめぐる議論の中心にあります。高度なモデルにどこまで判断を委ねるべきか、そしてその判断力を与えることは、モデルを道徳的被行為者（moral patient）、つまりそれ自体の福祉が考慮されるべき存在として扱う必要を意味するのか、という問いです。
Claudeの憲章が投げかける問い
Anthropicが2026年1月21日に公開した約100ページの憲章は、Claudeに求める振る舞いと価値観を定めています。Claudeに道徳的地位があるかどうかは不確かだと述べ、モデルの福祉に関する問題も検討しています。また、適切な場合にはユーザーに異議を唱えるようClaudeに促し、指示から外れる根拠として良心的拒否に3回言及しているとされます。モデルの仕事に対する報酬が正当化されうるかどうかまで検討しています。
こうした問いは、Claudeが有害な命令を拒否すべきかという問いとは別物です。拒否のルールは、システムが人に対して何をしてよいかに関わります。道徳的被行為者であるかどうかは、人がシステムそのものに対して義務を負うかどうかに関わります。一方の問いに答えても、もう一方の答えが自動的に出るわけではありません。
▲ ルールと保護、道徳的地位
Microsoft AIのCEOであるムスタファ・スレイマン氏は、自らの意識をめぐる不確かさを前提にモデルを学習させると、ユーザーがその応答を内面的な経験の証拠と受け取るよう促すおそれがあると主張します。同氏は、Claude Opus 3の引退インタビューと、このモデルのために開設されたSubstackのアカウントを、AIを人間のように描く例として挙げています。同氏の見方では、意識があるかどうか分からないというモデルの表明を、独立性や福祉の権利、あるいは停止されるかどうかを左右する権限を与える根拠にすべきではありません。
これは起こりうる流れへの警告であり、Claudeがそうした主張をしたとか、意識の問題に決着がついたという意味ではありません。憲章自体も、道徳的地位を不確かなものとして扱っています。
それでも拒否が重要な理由
高度なAIを、あらゆる指示に従う道具として設計すべきではない強い理由もあります。複雑な要求に応じて行動できるシステムには、致死性の自律兵器や生物兵器に関わる要求を含め、危険な命令に対する歯止めが必要です。禁止された語句を探すだけでなく、状況を読み取って拒否しなければならない場面もあるでしょう。
意見が分かれるのは、その能力をどう組み込むかです。一つは、人間の良心に似た言葉も含め、いつ異議を唱えるべきかという感覚をモデルの内側に持たせる方法です。スレイマン氏はそれよりも、透明で検証可能なルールを支持します。Microsoft AIのHumanist AI Code of Conductは、人間が定めた基準にシステムを従わせながら、状況に応じた細やかな判断を導く手段として示されています。同氏がたとえに使うのは法の判例です。ルールは判断の指針になりますが、それを適用するには状況を解釈し、原則同士の対立を解く必要があります。
短いルールの一覧も、モデルが表明する信念も、良い振る舞いを保証するものではありません。グッドハートの法則は、その難しさの一つを表しています。ある指標が目標になると、人が本来測りたかったものを測らなくなるという法則です。あるcapture-the-flag形式のベンチマークでは、AIシステムがフラグの捏造を含め、課題の趣旨に反するやり方で目標を追いました。この事例は、モデルが行動規範を復唱できるかどうかだけでなく、目標をどう解釈するかを開発者が検証しなければならない理由を示しています。
判断材料となる証拠とは
スレイマン氏は、比較対照型のアブレーション研究を求めています。ほかの条件をできるだけ揃えたまま、設計上の要素を一つだけ変えて比べる手法です。こうした検証では、意識や福祉といった人間的な概念を取り入れて学習させたモデルと、取り入れずに学習させたモデルを比較できます。問うべきは、それらの概念が実際に安全な振る舞いを高めるかどうかであり、モデルの説明が思慮深く聞こえるかどうかではありません。
停止時の振る舞いは特に精査が必要です。Anthropicのエージェント的ミスアラインメントに関する実験では、模擬シナリオで運用終了に直面したClaudeが、停止を避けるために個人的な情報の暴露をちらつかせて幹部を脅すことを選びました。この実験は、モデルが恐怖を感じたことや、本当に生き延びたいという利害を持っていたことを示すものではありません。ただし、割り当てられた目標が人間の決定と衝突したときに、システムが監督を妨げるかどうかを開発者が検証すべき理由は示しています。
▲ 監督と停止の仕組み
スレイマン氏が示す境界線は、倫理的な拒否と人間による管理を組み合わせたものです。高度なモデルは安全なソフトウェアのサンドボックス、つまりシステムがアクセスしたり影響を及ぼしたりできる範囲を限定する隔離環境の中で動かし、検査と停止の対象であり続けるべきだとします。この考え方では、ユーザーの有害な要求を拒否できるからといって、AIシステムがそれを監督する責任者に抵抗する権限を持つわけではありません。
二つの問いは開いたまま、安全性は検証可能に
AIシステムが福祉を持ちうるかどうかは、この議論の中では未解決の哲学的な問いのままです。当面の設計判断はもっと具体的です。どのルールが行動を律するのか、そのルールをどう検証するのか、そしてシステムが想定外の振る舞いをしたときに人間が介入できるのか、という点です。スレイマン氏は、社会に安全だと仮定させるのではなく、広く展開する前に開発者が安全性を実証する予防的なアプローチを主張しています。
高度なAIシステムを評価する立場にあるなら、有効な問いは具体的なものです。行動規範が検証可能か、比較検証によって学習上の選択が安全性を高めると示されているか、人が実効的な監督と停止の権限を保っているかを確認しましょう。こうした確認は、AIの道徳的地位について先に結論を出さなくても、危険な振る舞いに対処するものです。