IA en un minutoNoticiasAgentes
OpenAI dice que Codex encontró la causa de más de 600 fallos de rendimiento de ChatGPT
Redacción de IA en un minuto · Editor: Jon Elgezabal

En 30 segundos
OpenAI ha detallado Performance Factory, el sistema con el que agentes de Codex rastrean y corrigen los problemas de velocidad y disponibilidad de ChatGPT. Codex busca el origen de cada alerta, otro agente pone a prueba ese diagnóstico y un ingeniero aprueba o descarta el cambio propuesto. OpenAI reconoce que dar con la solución le resulta más difícil que hallar la causa.
OpenAI ha explicado hoy, jueves 19 de noviembre, cómo funciona Performance Factory, un sistema interno que pone a trabajar en la nube a agentes de Codex, su herramienta de programación con IA, para investigar y corregir los problemas de rendimiento de ChatGPT, como las subidas de latencia o las caídas de disponibilidad. Lo detallan dos ingenieros de la compañía en su blog.
Antes de Codex, según la empresa, sus ingenieros repasaban a mano métricas, registros y trazas, y leían código para averiguar por qué algo se había vuelto más lento; con el tiempo habían acumulado más de 30 herramientas propias de rendimiento. El siguiente paso fue investigar junto a Codex, después recoger su método en una habilidad compartida, llamada perf-forensics, y por último lanzar la investigación de forma automática cada vez que salta una alerta.
En el flujo dedicado a las regresiones, cada alerta abre una tarea. Un agente averigua cuándo empezó el empeoramiento, qué peticiones afecta y qué despliegue o cambio de configuración lo explica. Una segunda sesión de Codex intenta luego desmontar ese diagnóstico y, si resiste, Codex prepara el arreglo como una propuesta de cambio en GitHub. Un ingeniero la revisa y decide si se aplica. Tras el despliegue, otro agente mira si el rendimiento ha vuelto a su nivel anterior; si no es así, la tarea regresa a la fase de investigación.
En algo más de tres meses, ese flujo siguió más de 1.700 investigaciones y localizó la causa raíz en más de 600, lo que la empresa resume en 17 investigaciones automáticas al día. Al revisar a mano 100 diagnósticos, OpenAI calificó como acertados el 70 %; el 30 % restante necesitaba más trabajo o no llegaba a demostrar la causa.
La compañía admite que acertar con la corrección ha costado más que encontrar el origen: algunas propuestas de los agentes eran más complicadas de lo necesario o creaban problemas nuevos, por lo que añadió también una revisión crítica de cada arreglo. OpenAI dice que explora que los agentes lleguen a publicar sin intervención humana los cambios de bajo riesgo. Performance Factory es una herramienta interna de la empresa y no se ofrece como producto.
Por qué importa · análisis y opinión
Lo llamativo no es que una empresa de IA use su propia herramienta, sino dónde la pone: en el trabajo de guardia, el de investigar alertas, que suele depender de pocas personas que conocen a fondo el sistema. El reparto de papeles también dice mucho. Un agente propone, otro intenta tumbar la propuesta y una persona firma, una estructura que cualquier equipo puede imitar sin esperar a que exista un producto. Admitir que arreglar es más difícil que diagnosticar rebaja las expectativas: lo que hoy funciona mejor es buscar el origen, no cambiar el código sin supervisión. Para quien mantenga software propio, la lección práctica es empezar por ahí, por investigaciones repetidas y bien documentadas, antes de dejar que un agente toque producción.
Fuente oficial: OpenAI · Redactada con ayuda de IA: cómo hacemos las noticias


