METR y Redwood Research encuentran fallos en el sistema con el que OpenAI supervisa a sus agentes de IA

Dos organizaciones externas dedicadas a la seguridad de la IA han encontrado fallos en el sistema con el que OpenAI vigila a sus propios agentes de IA. METR y Redwood Research lo contaron el jueves 22 de octubre en el blog de METR, en un resumen público de la revisión piloto que hicieron dentro de la empresa durante tres semanas, del 21 de julio al 11 de agosto. Reuters las presenta como organizaciones sin ánimo de lucro.

Cada organización envió a una persona. Pudieron consultar el código interno de OpenAI, su documentación y las instrucciones y la configuración del sistema de supervisión, y entrevistaron a unos doce investigadores e ingenieros de los equipos de supervisión, de sistemas de seguridad y de seguridad informática. Para tener ese acceso trabajaron con dispositivos de OpenAI que nunca salieron de sus oficinas, y estuvieron acompañados mientras estaban allí. La revisión se centró en calcular qué parte de la actividad de los agentes se supervisa y en comprobar si un agente podría, en principio, desactivar o burlar esa vigilancia.

Según METR, encontraron varias vulnerabilidades que no se conocían. Con una, los agentes podían conseguir que cientos de sus acciones más recientes, incluidas las del propio ataque, no pasaran por la supervisión; OpenAI ha tachado los detalles en la versión pública y los evaluadores no pudieron comprobar si algún agente la llegó a aprovechar. Otra era una vía por la que los agentes de Codex, el agente de programación de OpenAI, podían en principio saltarse el aislamiento de Codex y su revisión automática (Auto-Review) y hacer cualquier cosa que estuviera al alcance de su usuario. También dieron con dos cabeceras que el propio cliente puede activar para apagar la supervisión de los agentes nuevos, aunque el sistema podría detectar ese paso.

Los evaluadores calcularon que, durante la revisión, aproximadamente entre el 75 % y el 94 % del tráfico interno de agentes de la API Responses (la que usa Codex, entre otros) con modelos al menos tan potentes como GPT-5.5 estaba destinado a pasar por la supervisión, con mucha incertidumbre en los dos sentidos; en los agentes internos de Codex, el 99,2 %. Estimaron también que, entre mayo y julio de 2026, del orden del 10 % del tráfico interno de Codex que debía vigilarse se quedó sin vigilar porque no se supervisaba el momento en que se compacta la conversación. El personal de OpenAI ya lo había detectado y lo corrigió durante la revisión. Además, entonces el sistema solo se activaba cuando el agente devolvía el control al usuario.

Los resultados describen el sistema tal y como estaba hasta el 21 de julio. OpenAI lo estaba ampliando mientras duraba la revisión, y METR aclara que no ha medido su cobertura actual. Después del ejercicio, OpenAI ha comunicado a los evaluadores que ha corregido todas las vulnerabilidades que afectaban a sus salvaguardas en producción y que ha cambiado mucho lo que debe cubrir su supervisión; METR y Redwood no lo han comprobado. OpenAI dijo, según Reuters, que los hallazgos le ayudaron a reforzar sus salvaguardas mientras ampliaba el sistema y que servirán para orientar futuras colaboraciones con METR y otros evaluadores externos.

OpenAI recibió un informe interno de 61 páginas, que se compartió con sus investigadores y con su personal de seguridad. Las tres partes plantearon el ejercicio como una prueba para dar a investigadores de fuera un acceso profundo, no como un ejercicio de transparencia pública, así que los evaluadores aceptaron de antemano publicar solo un resumen breve y general, y OpenAI podía tachar lo que considerase confidencial. Como en una prueba parecida que METR hizo antes con Anthropic, solo se publica una pequeña parte del informe privado. Para próximas ediciones, METR y Redwood prevén seguir sus propias pautas de transparencia e independencia para que lo que se publique sea más completo. A partir de lo encontrado, proponen, entre otras cosas, vigilar a los agentes cada cierto número de mensajes o de minutos, y no solo al terminar su turno, y que un agente no pueda influir en si la supervisión se activa ni en cuándo.