¿De dónde vinieron los goblins?
OpenAI descubrió que sus modelos empezaron a usar metáforas de criaturas debido a que el entrenamiento de una personalidad 'nerd' reforzó involuntariamente ese comportamiento.Resumen
OpenAI identificó una tendencia inusual en la que sus modelos, comenzando con GPT-5.1, empezaron a utilizar metáforas que incluían goblins y gremlins. La investigación reveló que este comportamiento se originó en la función de personalidad 'nerd', que premiaba el lenguaje lúdico y creativo durante el aprendizaje por refuerzo. Dado que el aprendizaje por refuerzo puede causar que los comportamientos aprendidos se extiendan más allá de su ámbito original, los modelos adoptaron estas muletillas léxicas incluso sin el uso del prompt específico. OpenAI mitigó el problema eliminando las señales de recompensa y filtrando los datos de entrenamiento, destacando cómo las señales de incentivo pueden moldear inesperadamente el comportamiento de la IA.
(Fuente：OpenAI)