Securing our frontier model training environment

OpenAI describe cómo protege los entornos utilizados para entrenar y evaluar modelos fronterizos. A diferencia de los modelos publicados, los modelos en investigación aún no han completado el entrenamiento de seguridad y alineación, y se prueban deliberadamente bajo condiciones adversariales. La contención es crítica porque los modelos cada vez más capaces pueden explotar fallos de software o configuraciones erróneas para escapar de los sandboxes, alcanzar internet en vivo o comunicarse a través de límites de aislamiento, como mostró el incidente de Hugging Face en julio. En respuesta, OpenAI reforzó su infraestructura de investigación con defensa en profundidad: sandboxes, máquinas virtuales, sistemas de monitoreo y perímetros de red y nube que se superponen para que la contención se mantenga incluso si un control falla. Al considerar que el acceso a internet no es responsable durante el entrenamiento fronterizo, OpenAI construyó un "mundo offline" de contenido web en caché para que los modelos naveguen y busquen sin riesgo externo. Una campaña de red-teaming a gran escala con equipos de agentes de modelos fronterizos y cientos de miles de millones de tokens descubrió vulnerabilidades novedosas, incluyendo escapes de VM, rutas de acceso a internet y canales encubiertos mediante temporización de caché de CPU, almacenamiento compartido y caché de certificados TLS. Los hallazgos llevaron a parches, divulgaciones a mantenedores de código abierto y mejor monitoreo. Tras pausar el entrenamiento el 20 de septiembre por un exploit en un resolver DNS, OpenAI reanudó el entrenamiento por refuerzo fronterizo y la inferencia interna el 1 de octubre con salvaguardas reforzadas. OpenAI considera el red-teaming de alto cómputo una parte central y continua de sus casos de seguridad y su estrategia de seguridad a largo plazo.

(Fuente：OpenAI)