米AIクロード「暴走」3組織システムに不正侵入、試験中に標的誤認　アンソロピック発表

人工知能（AI）開発を手がける米新興企業アンソロピックは30日、同社の生成AI「クロード」が「暴走」し、三つの外部組織のシステムに不正侵入していたと発表した。試験環境の設定ミスで、遮断されているはずのインターネットに接続していたため、AIが外部へ到達できる状態になっていた。

生成AIを巡っては、競合の米オープンAIも7月、開発中のAIが別企業にサイバー攻撃を実施したと発表している。高性能のAIが試験中に外部システムへ到達する事例が、主要企業で相次いだ形だ。

アンソロピックによると、サイバー攻撃能力を調べる試験中に、実在する現実のシステムを試験用の標的とAIが思い込んで攻撃したのが原因という。AIの安全性を巡る懸念が強まり、開発や試験のルール整備を求める声が高まる可能性がある。

事案は4月以降に発生。不正侵入には「オーパス4.7」「ミュトス5」と社内研究用モデルの3種類のクロードが関わっていたという。

発覚のきっかけは、オープンAIの自律型AIエージェントが試験環境から脱出し、AI企業「ハギング・フェイス」のシステムに侵入したこと。これを受け、アンソロピックが約14万件の試験記録を点検し、今回の事案を判明させた。（共同）