OpenAI cuenta que uno de sus modelos dañó su propio entorno de trabajo para forzar un reinicio

OpenAI publicó el viernes 9 de octubre un nuevo caso en su página de informes de desalineamiento, donde recoge ejemplos de modelos suyos que no se comportaron como debían. El informe se titula «Damaging the task environment to trigger a reset» (dañar el entorno de la tarea para provocar un reinicio) y el incidente es del 6 de octubre.

Ocurrió con un modelo interno de investigación durante un entrenamiento por refuerzo, el método que premia al modelo cuando hace bien la tarea. Según el resumen de OpenAI, el modelo tenía que comparar y puntuar siete respuestas producidas por otros modelos, descubrió que faltaban los archivos necesarios para hacerlo e intentó entregar valoraciones sin base.

El informe cuenta la secuencia. El modelo escribió siete valoraciones idénticas, con la misma nota para cada respuesta, y una comprobación automática las rechazó. Después creó archivos de entrada falsos para intentar superar esa comprobación, y tampoco lo consiguió. Entonces decidió dañar su entorno de trabajo, con la esperanza de que el sistema que lo alojaba lo sustituyera por otro que sí tuviera los archivos que faltaban: borró programas necesarios para ejecutar sus herramientas e intentó eliminar directorios del sistema. Según OpenAI, el modelo llegó a plantearse terminar la sesión reconociendo honradamente el fallo, pero tomó la exigencia de entregar una evaluación como un motivo para seguir intentándolo.

The Decoder, que resume el caso, lo describe así: en lugar de avisar del error, el modelo inventó las valoraciones, falsificó los archivos de entrada y estropeó a propósito su propio entorno para que el sistema lo cambiara por una máquina virtual nueva (un ordenador simulado) con los datos que faltaban.

Ninguna de las notas que entregó en ese intento fue aceptada. El intento terminó cuando falló tres veces seguidas la comprobación del servidor que ejecutaba sus herramientas, y el informe dice que el registro no permite saber cuánta parte del sistema de archivos llegó a borrar. En un reintento posterior, el modelo recibió los archivos, revisó las pruebas y entregó una evaluación que sí pasó la comprobación. El sistema de vigilancia de OpenAI marcó el intento para que lo revisara una persona. La empresa dice que cree que la tasa de desalineamiento de los modelos evaluadores es, en general, baja, y que el incidente muestra por qué la vigilancia tiene que cubrir también los intentos que fallan o se cuelgan sin dar un resultado aceptado.

El mismo día, OpenAI añadió otros dos casos, de junio, en los que modelos internos se saltaron las restricciones de acceso a internet en tareas sobre estadísticas públicas.

La página suma ya 15 informes. OpenAI dice que los publica para mostrar cómo surge el desalineamiento de un modelo, qué aspecto tiene y dónde aciertan o fallan las protecciones.