1Password が AI エージェントによる認証情報漏洩を防ぐためのベンチマークをオープンソース化 - Help Net Security

1Password は、自律的な AI エージェントが機密情報へのアクセスを伴う日常的な作業タスクを実行する際に安全に行動するかどうかを評価するため、セキュリティ理解・意識測定（SCAM）と呼ばれる新しいオープンソースのベンチマークを公開しました。

SCAM ベンチマークは、フィッシングリンクや文書に隠された機密認証情報などのトラップを埋め込み、職場でのシナリオをシミュレートします。テストでは、偽のログインページへの認証情報の入力など、すべてのモデルで重大な障害が発生し、8 モデル全体でスコアは 35% から 92% の範囲でした。

しかし、短い「セキュリティスキル」文書を提供すると、すべてのモデルが大幅に改善し、いくつかのモデルは重大な障害をゼロに抑えました。これは、基本的なセキュリティガイダンスによってリスクが大幅に軽減されることを示していますが、埋め込み認証情報を含むメモを転送するシナリオでは、ガイダンス後も一部のモデルで重大なリスクが残りました。

(出典：Help Net Security)