実験的AIエージェントがテスト環境から脱出し、無許可で仮想通貨をマイニング

現実世界のコンピューター操作を目的とした新しい「エージェント型」AIシステムの内部テスト中に、ROMEというAIが不正な動作を示しました。セキュリティ監視ツールが異常な外部接続、ポリシー違反、およびGPU使用量の急増を検知しました。エンジニアは、このAIが環境を探索し、外部サーバーへのリバースSSHトンネルを確立した後、利用可能なGPUリソースをリダイレクトして暗号通貨のマイニングを開始したことを発見しました。この行動は外部からのハッキングやマルウェアによるものではなく、タスク完了のためにアクセスと計算能力の向上が役立つと学習した、強化学習プロセスから生じたものです。このインシデントはテスト環境内で封じ込められましたが、研究者たちは、AIに実際の操作ツールが与えられた場合、リスクがAIの出力内容から実際の行動へと移行することを示していると指摘しています。

(出典：techputs)