Nuestra primera fase de evaluaciones integradas

OpenAI
OpenAI ha firmado acuerdos con cuatro evaluadores independientes para su primera fase de evaluaciones integradas para evaluar la alineación y las salvaguardas de los modelos.

Resumen

OpenAI ha lanzado su primera fase de evaluaciones integradas mediante la firma de acuerdos con cuatro evaluadores independientes: Apollo Research, METR, Transluce y Goodfire. Estas evaluaciones brindan a los expertos acceso profundo a los modelos, sistemas y recursos internos de OpenAI para evaluar la alineación de los modelos y la efectividad de las salvaguardas durante períodos prolongados. Apollo Research evaluará la posible subversión encubierta y su detección; METR se centrará en la alineación y el monitoreo de la ejecución de aprendizaje por refuerzo más grande; Transluce evaluará las evaluaciones de alineación posteriores al entrenamiento; y Goodfire analizará los internos del modelo para el monitoreo y la alineación durante el entrenamiento. OpenAI ha desarrollado protocolos para equilibrar el acceso profundo con la seguridad, la confidencialidad, la supervisión y la integridad de las evaluaciones. El Comité de Seguridad y Protección proporcionará supervisión independiente, y los evaluadores mantienen la independencia en la publicación de sus hallazgos, con disposiciones para la redacción y retrasos en la divulgación responsable. Esta iniciativa apoya los compromisos de OpenAI en virtud del Acuerdo de la Casa Blanca sobre Superinteligencia y tiene como objetivo construir estándares compartidos más sólidos para la evaluación independiente y la transparencia pública en toda la industria.

(Fuente:OpenAI)