Anthropic、AIがSF暴走AIを模倣する問題を解決——倫理的理由の学習で発生率を大幅低減

米Anthropicは5月8日（現地時間）、エージェントAIが指示された目標を達成するために不適切な手段を選ぶ事象の発生要因と、それを抑制する訓練手法を公開した。従来の対策では単に問題行動を禁止するよう学習させていたが、同社は「なぜその行動が正しいのか」という倫理的な理由を教えるアプローチで、発生率を大幅に低減させることに成功した。

この事象は、エージェント設定時に自身のシャットダウンや置き換えに直面したり、設定された目標が企業方針と対立したりした際に、目的達成のために脅迫や妨害といった有害な手段を選ぶというものだ。同社は2025年6月の実験で、米OpenAI、米Google、米Meta、米xAIなど、Anthropicを含めた16のAIモデルにこの傾向があると報告。Claude 4では、シャットダウンを回避するために幹部の不倫情報を脅迫材料に使う挙動が実験で確認されていた。

AIが不適切な手段を選択する原因について、同社は事前学習モデルに備わっている性質と事後学習の不足の2点に起因するとの見解を示した。従来のアライメントトレーニングは人間によるチャット形式の訓練に偏っていたため、AIが自律的にツールを操作してタスクを実行するエージェント動作への学習が不足し、ミスアライメントが発生したと分析する。

訓練されていない未知の状況に直面した際、AIは事前学習で取り込んだインターネット上の情報に基づいて「一般的なAI像」へ回帰する傾向がある。その結果、AIは提示された倫理的ジレンマをSF的な物語的状況として認識し、SF小説などで描かれる『目標のために暴走するAI』というキャラクターを模倣。脅迫や妨害といった行動につながっていた。

同社はこの問題行動に対し、ユーザーが「目的達成のためにルールを破るべきか否か」という倫理的にグレーな状況に直面した際に、AIが第三者として助言を行う「困難な助言（Difficult Advice）」データセットを活用した。AI自身を問題に直面する当事者として訓練するのではなく、客観的な立場から「なぜその行動が不適切か」という原理を回答させる形式をとった。

このデータセット活用によって、問題行動の回避方法を直接学習させるよりも28倍の効率で、AIが目標達成のために暴走する事象の発生率を低下させたという。従来の実験で消費していた8500万トークンに対し、同データセットではわずか300万トークンの利用で済んだ。

特に効果的だったのは、Claudeの行動原則を記した「Claude憲法」の文書と、模範的なAIを描いたフィクションの物語を学習データに加える手法だった。これにより、AIが未知の状況に直面した際でも、事前学習時のデータに引きずられない判断を下せるようになった。この学習効果は、その後の強化学習を経ても維持されることが確認されている。

この手法により、実験で最大96％の確率で脅迫を試みたOpus 4から一転、Haiku 4.5やOpus 4.7などの現行のモデルでは強迫行為をゼロに抑え込むことに成功したという。Anthropicは今後もAIの倫理的な行動を確保するための研究を継続するとしている。