La "evaluación independiente" de OpenAI no parece nada independiente

Mother Jones
Las nuevas revisiones de seguridad de OpenAI por cuatro laboratorios externos están comprometidas por el acceso limitado y el control de OpenAI sobre el personal y la información compartida.

Resumen

OpenAI anunció que cuatro evaluadores independientes—METR, Apollo Research, Transluce y Goodfire—evaluarán sus modelos de IA y funciones de seguridad. Sin embargo, los evaluadores enfrentan limitaciones significativas: OpenAI aprueba a los miembros del equipo, selecciona qué personal pueden entrevistar y puede retener información por razones como "inviabilidad técnica, riesgos de seguridad o protección de propiedad intelectual". Cada evaluador recibe diferentes niveles de acceso y tiempo; por ejemplo, la investigación previa de METR se limitó a seis días en el sitio, y su informe señaló una gran dependencia de agentes de IA con "juicio y fiabilidad significativamente peores que los investigadores humanos". La evaluación de cuatro meses de Apollo puede ser limitada por OpenAI, Transluce solo puede acceder a materiales preaprobados, y el "acceso profundo" de Goodfire sigue sin definirse. Los críticos señalan que estas no son investigaciones verdaderamente independientes, ya que OpenAI conserva la última palabra sobre el alcance y el acceso, contradiciendo el compromiso anterior del CEO Sam Altman de "acceso similar al de un empleado". El artículo concluye que, aunque el anuncio indica cierta transparencia, está muy lejos de una independencia genuina.

(Fuente:Mother Jones)