私たちの第一段階の埋め込み評価

OpenAI
OpenAIは、モデルのアラインメントと安全対策を評価するため、第一段階の埋め込み評価に向けて4つの独立評価機関と契約を締結しました。

概要

OpenAIは、Apollo Research、METR、Transluce、Goodfireの4つの独立評価機関と契約を締結し、第一段階の埋め込み評価を開始しました。これらの評価により、専門家はOpenAIの内部モデル、システム、リソースに深くアクセスし、長期間にわたってモデルのアラインメントと安全対策の有効性を評価できます。Apollo Researchは潜在的な隠蔽的転覆行為とその検出を評価し、METRは最大規模の強化学習実行のアラインメントとモニタリングに焦点を当て、Transluceはトレーニング後のアラインメント評価を評価し、Goodfireはモデル内部を分析してトレーニング実行のモニタリングとアラインメントを行います。OpenAIは、深いアクセスとセキュリティ、機密性、監督、評価の整合性のバランスを取るためのプロトコルを策定しました。安全保安委員会が独立した監督を提供し、評価機関は調査結果の公開において独立性を維持し、編集および責任ある開示の遅延に関する規定が設けられています。この取り組みは、ホワイトハウス超知能協定の下でのOpenAIのコミットメントを支持し、業界全体で独立評価と公共の透明性に関するより強固な共有基準を構築することを目指しています。

(出典:OpenAI)